CN105874776A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN105874776A
CN105874776A CN201480071844.3A CN201480071844A CN105874776A CN 105874776 A CN105874776 A CN 105874776A CN 201480071844 A CN201480071844 A CN 201480071844A CN 105874776 A CN105874776 A CN 105874776A
Authority
CN
China
Prior art keywords
information
image
area
phase
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480071844.3A
Other languages
English (en)
Other versions
CN105874776B (zh
Inventor
尹泳权
姜和映
金汶洙
金兑澔
丁晨弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105874776A publication Critical patent/CN105874776A/zh
Application granted granted Critical
Publication of CN105874776B publication Critical patent/CN105874776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种电子装置。所述电子装置包括：图像传感器，包括至少一个相位检测像素；控制单元，可操作地连接到图像传感器。控制单元被配置为：通过图像传感器获得关于至少一个被摄体的图像信息和相位差信息；基于相位差信息，识别与和所述图像信息相关联的多个区域相应的多条距离信息；基于所述多条距离信息来对所述图像信息进行处理。

Description

图像处理设备和方法
技术领域
本发明涉及一种图像处理设备和方法。更具体地，虽然并非仅仅如此，但是本发明涉及一种包括用于在电子装置中对图像进行处理的技术的图像处理设备和方法。
背景技术
现今，可通过使用电子装置的前置相机和后置相机同时拍摄图片并将图片存储为单个图像。也可将这种图像与通过配备在电子装置中的麦克风接收到的语音数据一起存储。
随着电子元件工业中技术的急剧发展，嵌入在便携式电子装置(例如，电话、平板、小型相机等)中的相机(例如，小型相机模块)的性能在提高。例如，像素数量的增加、光学图像稳定器功能的采用、镜头模块的改进等允许便携式电子装置的相机获得增强图像。此外，无线通信***技术的发展使与他人共享便携式电子装置获得的图像变得可能。例如，无线传输技术的发展允许高质量图像的更快传输。正因如此，便携式电子装置中的相机功能的重要性正在增加。
电子元件工业技术的显著发展允许配备在电子装置中的小型相机模块获得高质量图像。然而，由于这种相机模块在光学特性上的限制，所以不易获得相较于可在大型相机模块中获得的图像具有更低(即，更短或更小)景深的图像。这种具有更低景深的图像(也可被称作浅景深)可包括具有窄聚焦区域的图像。例如，如果被摄体(subject)连同背景一起被捕捉，则捕捉的图像可包括相较于清楚的被摄体图像而较不清楚的背景图像。
因为小型相机模块相较于大型相机模块由于物理限制而难以获得具有更低景深的图像，所以需要一种通过小型相机模块获得具有更低景深的图像的新技术。
以上信息仅作为背景信息呈现以帮助理解本公开。至于以上任何信息是否可应用为针对本公开的现有技术，尚未做出决定，也未做出声明。
发明内容
技术问题
本发明的特定实施例目的在于至少解决以上提到的问题和/或缺点并且至少提供以下描述的优点。因此，本发明的特定实施例的目的在于提供一种图像处理设备和方法。本发明的特定实施例的目的在于至少部分解决、减轻或消除与现有技术相关联的问题和/或缺点中的至少一个。特定实施例目的在于提供以下描述的优点中的至少一个。
技术方案
根据本公开(即，本发明)的一方面，提供一种电子装置。所述电子装置包括：图像传感器，包括至少一个相位检测像素；控制单元，可操作地连接到图像传感器。控制单元被配置为：通过图像传感器获得关于至少一个被摄体的图像信息和相位差信息；基于相位差信息，识别与和所述图像信息相关联的多个区域相应的多条距离信息；基于所述多条距离信息来对所述图像信息进行处理。
根据本公开的另一方面，提供一种电子装置的图像处理方法。所述图像处理方法包括：通过包括至少一个相位检测像素的图像传感器获得关于至少一个被摄体的图像信息和相位差信息；基于相位差信息，识别与和所述图像信息相关联的多个区域相应的多条距离信息；基于所述多条距离信息来对所述图像信息进行处理。
在特定实施例中，识别所述多条距离信息的步骤包括：识别与所述多个区域之中的聚焦的第一区域相应的第一距离信息和与所述多个区域之中的未聚焦的第二区域相应的第二距离信息之间的差，对所述图像信息进行处理的步骤包括：当所述差在第一范围内时对第二区域执行第一模糊处理，当所述差在第二范围内时对第二区域执行第二模糊处理。
在特定实施例中，模糊处理包括：当第一区域和第二区域彼此邻近时，对第一区域与第二区域之间的边界的至少一部分执行高斯模糊处理。
在特定实施例中，对所述图像信息进行处理的步骤包括：对所述多个区域之中的与所述多条距离信息中的第一距离信息相应的第一区域执行第一图像处理，并对所述多个区域之中的与所述多条距离信息中的第二距离信息相应的第二区域执行第二图像处理。
在特定实施例中，第一图像处理和第二图像处理中的至少一个图像处理包括以下处理中的至少一个处理：亮度调整处理、对比度调整处理、锐化处理、模糊处理、黑白处理、颜色调整处理、删除处理、替换处理和图像叠加处理。
根据本公开的另一方面，提供一种电子装置。所述电子装置包括：图像传感器，包括至少一个相位检测像素；控制单元，可操作地连接到图像传感器。控制单元被配置为：通过图像传感器获得关于至少一个被摄体的图像信息；通过所述至少一个相位检测像素获得与和所述图像信息相关联的多个区域之中的第一区域相应的第一相位差信息以及与第二区域相应的第二相位差信息；基于第一相位差信息和第二相位差信息，确定对第一区域和第二区域中的至少一个区域进行模糊处理。
在特定实施例中，控制单元还被配置为：通过基于第一相位差信息和第二相位差信息计算针对第一区域和第二区域的相对距离信息来确定模糊处理；基于相对距离信息来确定模糊控制数据；并基于模糊控制数据来确定模糊处理。
本发明的另一方面提供一种电子装置，包括：图像传感器，适用于捕捉图像(或图像数据)；检测装置，适用于从图像传感器检测在捕捉的图像(或在捕捉的图像数据)中呈现的多个对象的距离，其中，每个对象呈现在捕捉的图像的各个区域(或在捕捉的图像数据的各个部分)中；处理装置(例如，处理器、处理模块、处理单元、控制器、控制模块、控制单元)，可操作地连接到图像传感器和检测装置，并适用于根据检测出的各个对象的距离来对至少一个对应区域(或部分)进行处理，以产生经过处理的图像(或经过处理的图像数据)。另一方面提供一种产生经过处理的图像的相应方法。在特定实施例中，检测装置包括多个相位检测像素(也可被描述为相位差焦点检测像素)，但在可选实施例中，可采用适合于在图像传感器的视场中检测距对象的距离的不同检测器/传感器/感测机制/技术。对于相关领域的技术人员而言各种适合的可选检测装置将是清楚的。针对由处理装置执行的处理，在特定实施例中，所述处理可包括例如，对与在期望的聚焦区域之外的对象(例如，相较于聚焦区域更接近/靠近相机的对象和/或相较于聚焦区域进一步远离相机的对象)相应的至少一个区域进行处理，使得在作为结果得到的经过处理的图像中所述对象显得模糊。因此，所述处理可使用具有浅景深的相机来模拟图像的捕捉。例如，可由此在经过处理的图像中以锐利的聚焦呈现至少一个选择的区域，并且至少一个选择的区域可根据在这些区域中的对象距“相机”的相对距离而被呈现为模糊。
本发明的另一方面提供一种包括指令的计算机程序，其中，当执行所述指令时，所述指令被布置用于实现根据上述多个方面中的任一方面的方法和/或设备。另一方面提供了存储这样的程序的机器可读存储器。
通过以下结合附图公开的本公开的各种实施例的详细描述，本公开的其它方面、优点和突出特征对于本领域技术人员而言将变得清楚。
有利效果
根据本公开的各种实施例的电子装置可计算包含在捕捉的图像中的被摄体之间的距离，并对具有各种效果的图像进行处理。
附图说明
通过结合附图的以下描述，本公开的特定实施例的以上和其它方面、特征和优点将更清楚，其中：
图1是示出根据本公开的各种实施例的电子装置的框图；
图2是示出根据本公开的各种实施例的电子装置的用于计算距离信息的控制单元的子元件的框图；
图3是示出根据本公开的各种实施例的图像信号处理单元的框图；
图4A、图4B和图4C示出根据本公开的各种实施例的用于拍摄的被摄体的位置的示例；
图5示出根据本公开的各种实施例的图像传感器；
图6A和图6B示出根据本公开的各种实施例的图像装置的局部放大图；
图7A和图7B是示出根据本公开的各种实施例的控制子图像效果的操作的示图；
图8是根据本公开的各种实施例的电子装置的框图；
图9是示出根据本公开的各种实施例的在电子装置中响应于被摄体的相对位置来对图像进行处理的方法的流程图；
图10是示出根据本公开的各种实施例的提取包含在由电子装置捕捉的图像中的子图像之间的相对距离并随后处理模糊效果的过程的流程图，其中，所述电子装置与图像装置联网；
图11是示出根据本公开的各种实施例的通过提取包含在由电子装置捕捉的图像中的子图像之间的相对距离来处理模糊效果的方法的流程图，其中，所述电子装置与图像装置联网；
图12示出根据本公开的各种实施例的包括电子装置的网络环境。
贯穿附图，应注意：同样的标号用于表述相同或相似的元件、特征和结构。
具体实施方式
提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的各种实施例的全面理解。虽然以下描述包括用于帮助理解的各种特定细节，但是这些特定细节将被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可做出在此描述的各种实施例的各种改变和修改。此外，为了清楚和简明，公知的功能和结构的描述可被省略。
在以下描述和权利要求中使用的术语和词汇不限于文献含义，而仅被发明人用于能够对本公开有清楚且一致的理解。因此，对本领域的技术人员而言应清楚的是：仅为了示意目的而提供本公开的各种实施例的以下描述，而并非为了限制由权利要求及其等同物限定的本公开的目的。
将理解：除非上下文清楚地另有指示，否则单数形式包括复数的指示物。因此，例如，提到“组件表面”包括提到一个或更多个这样的表面。
还将理解：当在说明书中使用术语“包括”和/或“包括...的”或者是“包含”和/或“包含...的”时，该术语指定声明的特征、区域、整体、步骤、操作、元件和/或组件的存在，但并不排除存在或添加一个或更多个其它特征、区域、整体、步骤、操作、元件、组件和/或其组合。
将理解，虽然可在此使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应被这些术语所限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分进行区分。因此，在不脱离在此的教导的情况下，下面讨论的“第一元件”、“组件”、“区域”、“层”或“部分”可被称为第二元件、组件、区域、层或部分。
在此使用的术语“单元”或“模块”可指执行特定任务的软件或硬件组件或装置。单元或模块可被配置为常驻在可寻址存储介质上并被配置为在一个或更多个处理器上运行。因此，作为示例，模块或单元可包括组件(诸如，软件组件、面向对象的软件组件、类组件和任务组件)、处理、函数、属性、过程、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量。针对组件和模块/单元提供的功能可被组合为更少的组件和模块/单元，或者还被分离为另外的组件和模块。
在本公开中，电子装置可以是包括相机功能的装置。例如，电子装置可以是智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、便携式医疗装置、数码相机或可穿戴装置(例如，头戴式装置(HMD)、电子眼镜、电子衣服、电子手镯、电子项链、电子配件或智能手表)。
根据本公开的各种实施例，电子装置可以是包括通信功能的智能家用电器。例如，电子装置可以是电视机(TV)、数字视频盘(DVD)播放器、音频装置、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、TV盒(例如，Samsung HomeSynTM、Apple TVTM、Google TVTM等)、游戏控制台、电子词典、电子钥匙、摄像机或电子相框。
根据本公开的各种实施例，电子装置可以是医疗装置(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、超声诊断装置等)、导航装置、全球定位***(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、用于船舶的电子装置(例如，船用导航***、回转罗盘等)、航空电子装置、安全装置、或工业或家庭机器人。
根据本公开的各种实施例，电子装置可以是家具或具有通信功能的建筑或结构的一部分、电子板、电子签名接收装置、投影仪或各种测量仪器(例如，水表、电表、燃气表、电波表等)。在此公开的电子装置可以是以上提到的装置中的一个或它们的任意组合。如本领域技术人员所理解的，以上提到的电子装置仅是示例性的，不应被认为是对本公开的限制。
将参照附图更详细地描述根据本公开的各种实施例的电子装置。在本公开的以下描述中，术语“用户”可指使用电子装置的人或使用电子装置的设备(例如，人工智能电子装置)。
电子装置可包括具有用于检测相位差的像素(例如，相位检测像素，也被称为相位差检测像素)的图像传感器(或图像传感器模块)。电子装置可计算包含在捕捉的图像中的被摄体之间的距离并对具有各种效果的图像进行处理。电子装置可将从图像传感器获得的图像划分为一个或更多个子图像(或多个区域)，通过使用与子图像相应的相位检测像素信息来找出子图像之间的相对距离信息，并通过使用距离信息来对捕捉的具有预定效果的图像进行处理。
所述预定效果可以是图像根据包含在该图像中的子图像(例如，被摄体)之间的相对距离的模糊处理。术语“模糊”指用于使图像聚焦为散焦状态或失焦状态(也可被描述为移焦状态)的表现技术。例如，当从聚焦在具有任意背景的人的图像仅选择背景并随后对该背景执行模糊处理时，可获得具有低(浅)景深的新图像以及散焦的背景图像。术语“模糊”指使选择的图像(背景图像或人图像)成为散焦状态或失焦状态。换言之，如果距离检测***已经确定对象在正常的聚焦区域之外(即，在期望的景深之外)，则捕捉的图像中的至少一个选择的部分或区域可被处理，使得该区域中的对象在经过处理的图像中显得相对模糊。当任意捕捉的图像被模糊处理时，电子装置可基于距离信息(例如，被摄体之间的相对距离或从电子装置到特定被摄体的距离)来创建不同的模糊值。例如，基于聚焦的子图像，在具有更大的距离信息值的子图像的情况下，模糊值可被增加或减小。可选地，可根据距离信息值，将模糊值应用到除了由用户选择的至少一个子图像之外的其它子图像。换言之，为了使用具有有限景深的相机更准确地对图像的捕捉进行模拟，对象距离聚焦区域越远(可例如被预先确定，或者是由用户经由对装置的合适输入而设置的)，则在经过处理的图像中对象可能越模糊。
预定效果可以是根据包含在图像中的子图像(例如，被摄体)之间的相对距离的各种类型的图像滤波效果中的一种。图像滤波效果可基于不同地应用到各个子图像的不同滤波处理技术(例如，黑白、棕色、对比、古风、复古、柔和、素描等)。此外，这种效果可以是用于加强各个子图像中的具体颜色(例如，红色、蓝色、绿色、黄色等)的技术。
图1是示出根据本公开的各种实施例的电子装置的框图。
参照图1，电子装置可包括控制单元100、存储器单元110、图像装置120、显示单元130和输入单元140。
控制单元100可控制电子装置的全部操作，并且还控制包括图像传感器125的图像装置120。根据本公开的实施例，控制单元100可响应于来自图像传感器125的相位检测像素的输出，执行针对图像效果的预定功能。相位检测像素可以是上相位传感器(upper phase sensor)。控制单元100可从上相位传感器的输出计算关于包含在捕捉的图像中的用于拍摄的被摄体之间的相对距离的信息，随后通过使用距离信息来将图像处理为具有预定功能的效果。例如，控制单元100可将包含在从图像传感器125的彩色像素传感器输出的图像中的被摄体划分为子图像(或多个区域)，并检测(或获得)图像传感器125的分别布置在与子图像相应的区域的上相位传感器的输出。随后，控制单元100可通过分析上相位传感器的输出来计算(或识别)关于子图像之间的相对距离的信息，随后使用(或基于)从相对距离信息获得的距离值来处理图像。控制单元100可包括具有至少一个处理器的硬件和用于控制这种硬件的软件。
存储器单元110可将捕捉的图像和/或经过处理的图像存储在其中。存储器单元110可包括内部存储器和/或外部存储器。
包括图像传感器125的图像装置120可通过图像传感器125来检测图像，并将检测出的图像转换为电信号以形成数字数据。图像传感器125可包括至少一个彩色像素传感器(彩色像素或图像像素)和至少一个上相位传感器(相位检测像素)。彩色像素传感器可包括红色像素、绿色像素或蓝色像素中的至少一个。彩色像素传感器可获得用于拍摄的被摄体的图像。上相位传感器可被布置在图像传感器125的整个区域的至少一部分上。上相位传感器也可根据包含在捕捉的图像中的被摄体之间的相对距离来获得相位信息。
显示单元130可显示通过图像装置120捕捉的图像。显示单元130可包括液晶显示器(LCD)、发光二极管(LED)显示器等。输入单元140可接收用于控制电子装置或输入数据的用户输入动作，随后创建相应输入信号。显示单元130和输入单元140可以以触摸屏的形式被集成在一起。
图2是示出根据本公开的各种实施例的电子装置的用于计算距离信息的控制单元的子元件的框图。可使用图2中示出的硬件或使用软件来执行距离信息的计算。
参照图2，图像信号处理单元210可对在图像传感器125的彩色像素传感器(例如，图5中的图像像素520)检测出的图像进行处理。子图像提取单元220从通过图像信号处理单元210处理的整个图像提取各个子图像。每个子图像可与每个用于拍摄的被摄体相应。例如，第一子图像可以是与第一被摄体(例如，图4A、图4B和图4C中的被摄体410)相应的特定图像区域。相似的，第二子图像可以是与第二被摄体(例如，图4A、图4B和图4C中的被摄体420)相应的特定图像区域，第三子图像可以是与第三被摄体(例如，图4A、图4B和图4C中的被摄体430)相应的特定图像区域。第四子图像可以是与第四被摄体(例如，背景)相应的特定图像区域。
距离计算单元230可接收来自图像传感器125的上相位传感器(或相位检测像素)的信号或来自子图像提取单元220的信号。根据本公开的实施例，距离计算单元230可通过分析子图像所位于的区域的相位检测像素(例如，图5中的相位检测像素510)的输出来计算(或获得)各个子图像的相对距离信息。距离计算单元230可基于相位检测像素的输出值来获得相对距离信息。例如，相位检测像素可包括检测出被摄体的焦点位于图像传感器模块的第一焦点区域、检测出被摄体的焦点位于图像传感器模块与被摄体之间的第二焦点区域以及检测出被摄体的焦点位于其它区域的第三焦点区域。相位检测像素可基于形成在第一焦点区域至第三焦点区域的图像而输出不同值。距离计算单元230可基于来自与子图像相应的区域的相位检测像素的输出值来计算相对距离信息。
图像效果控制单元240可基于从距离计算单元230输出的子图像的距离信息值来创建将被用于处理子图像的图像效果的效果控制数据。如果图像效果是模糊效果，则控制单元100可具有基于深度信息值的深度图数据。图像效果控制单元240可根据从距离计算单元230输出的距离信息值来计算焦点位置的特定子图像与其它图像之间散焦的距离信息的差值(例如，图6D中的df1和/或df2)，并根据从深度图计算的差值来创建模糊控制数据。
图像效果处理单元250可从图像信号处理单元210接收图像数据并从图像效果控制单元240接收效果控制数据。此外，图像效果处理单元250可使用接收的效果控制数据来对包含在接收的图像数据中的子图像的效果进行处理。如果这种效果是模糊，则图像效果处理单元250可使用模糊控制数据将包含在图像中的每个子图像处理为模糊的。
图3是示出根据本公开的各种实施例的图像信号处理单元的框图。
参照图3，根据本公开的实施例的图像处理部件310可包括预处理器和后处理器(post-processor)。预处理器对从图像传感器120获得的全分辨率图像执行预处理。预处理器可从自图像传感器125的彩色像素传感器输出的图像提取并处理3A(自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF))，并执行镜头阴影补偿、死像素(dead pixel)、拐点校正等。后处理器可具有颜色插值器、图像处理链(IPC)和图像转换器。颜色插值器可执行颜色插值功能以将从图像传感器120输出的图像(即，Bayer数据)转换为彩色图像。IPC可针对经过颜色插值的数据执行降噪、伽马校正、亮度校正等。图像转换器将经过后处理的图像转换为Y信号、U信号、V信号(YUV)图像。例如，后处理器可执行用于对大小被调整并被缩放的图像进行颜色插值和后处理并随后将其转换为YUV图像的功能。
缩放器320对从图像处理单元310输出的全分辨率图像进行放大或缩小以具有适合于显示单元140的体积和大小。可使用抽取或使用插值和抽取两者来执行这种缩放以满足显示单元130的屏幕比率。从缩放器320输出的图像可作为预览图像被显示在显示单元130上。
缓冲器330临时存储从图像处理单元310输出的图像。缓冲器330可具有环形缓冲结构，并且缓冲与为预览模式预定义的帧的数量相等的图像。这种预览图像中的被缓冲的图像被用于实现在静止图像捕捉下的零快门时延(zero shutter lag)。相应地，当需要捕捉静止图像时，控制单元100在存储在缓冲器330中的图像之中选择并输出用于补偿零快门时延的特定图像(例如，如果零快门时延是三帧，则是缓冲器330中的图像之中三帧之前的先前图像)。此外，缓冲器330执行对在控制单元100的控制下捕捉的一个或更多个图像的缓冲，并将缓冲的图像输出到子图像提取单元220。
图4A、图4B和图4C示出根据本公开的各种实施例的用于拍摄的被摄体的位置的一些示例。
参照图4A至图4C，当如图4A所示，被摄体410、420和430布置在图像装置120的前方时，用户可如图4B或图4C中所示在聚焦在期望的被摄体的情况下进行拍摄。图4A示出如下示例：被摄体410位于距图像装置120最近的距离为D1的位置，被摄体430位于距图像装置120最远的距离为D3的位置。如果用户在如图4A中所示的状态下通过聚焦在特定被摄体上进行拍摄，则聚焦的被摄体可作为清楚图像再现在捕捉的图像中，而其它被摄体可作为较不清楚的图像与距离聚焦的被摄体的距离成比例地被再现。
图4B示出聚焦在最近的被摄体410上的示例，图4C示出聚焦在中间被摄体420上的示例。在图4B的情况下，被摄体410的图像可以是清楚的，而距被摄体410的距离分别为D4和D5的被摄体420和430的图像可以是较不清楚的。相较于被摄体420，被摄体430可作为相对较不清楚的图像被捕捉。相似地，在图4C中，被摄体420的图像可以是清楚的，距被摄体420的距离分别为D6和D7的被摄体410和430的图像可以是较不清楚的。相较于被摄体430，具有相对较大的距离的被摄体410可作为较不清楚的图像被捕捉。
如上所讨论的，图像传感器125的相位检测像素针对第一焦点区域、第二焦点区域和第三焦点区域来输出不同的相位值，其中，第一焦点区域与被摄体的焦点位于图像传感器模块的情况相应，第二焦点区域与被摄体的焦点位于图像传感器模块与被摄体之间的情况相应，第三焦点区域与被摄体的焦点位于其它区域的情况相应。例如，在焦点位于被摄体420上的图4C的情况下中，被摄体420在第一焦点区域中，被摄体410可在第二焦点区域中，被摄体430可在第三焦点区域中。
图5示出根据本公开的各种实施例的图像传感器。
参照图5，图像传感器125可包括至少一个相位检测像素510(例如，上相位传感器)和至少一个图像像素520(例如，彩色像素)。在图像传感器中，可形成与第一被摄体410相应的第一图像530、与第二被摄体420相应的第二图像540和与第三被摄体430相应的第三图像550。根据本公开的实施例，控制单元100可基于由至少一个相位检测像素检测出的相位值来获得关于被摄体410、420和430的相对距离信息，其中，被摄体410、420和430的图像被形成在图像传感器中。例如，基于包括在第一图像530中的至少一个相位检测像素的值，控制单元100可获得直至第一被摄体的距离。如果与第一图像530相应的相位检测像素的值与第一焦点区域相应，则控制单元100可确定焦点位于第一图像530中，然后基于镜头距离***获得距与第一图像530相应的第一被摄体的距离(例如，大概2m)。可选地，控制单元100可将图像传感器125划分为从R11至Rmn的多个子区域(或者多个区域)，并基于包含在各个子区域中的相位检测像素的值来获得与各个子区域相应的各个被摄体之间的距离。例如，如果与第一图像530相应的相位检测像素的值具有与第一焦点区域相应的值，并且如果与第二图像540相应的相位检测像素的值具有与第二焦点区域相应的值，则控制单元100可获得第一图像530与第二图像540之间的相对距离。
图6A和图6B示出根据本公开的各种实施例的图像装置的局部放大图。
参照图6A，形成图像传感器(例如，图1中的125)的像素651和像素655可包括布线区域613、光接收区域615和图像形成透镜617(例如，微透镜)。
布线区域613可按规律间隔布置在图像传感器125的基底611上，光接收区域615可被布置在各个邻近的布线区域613之间。例如，布线区域613和光接收区域615可交替布置在基底611上。布线区域613可具有电力线或信号线以及布置在其中的晶体管或任何其它装置。光接收区域615可将电信号传送至布线区域613，其中，光接收区域615是用于检测光并将其转换为电信号的光电转换区域。
每个像素(即，单位像素651和655)可包括单个光接收区域615、布线区域613和微透镜617，其中，布线区域613与光接收区域615相接并且在其中具有布线图案和晶体管，微透镜617被布置在光接收区域615的上方并且与光接收区域615相应。单位像素中的某些单位像素(例如，651)可作为图像检测像素(例如，彩色像素)进行操作，单位像素中的某些单位像素(例如，655)可包括具有相位分离结构的相位焦点检测像素(也被称为相位差焦点检测像素)。
相位焦点检测像素655可具有光栅619被配备在光接收区域615上的相位分离结构。每个微透镜617可被布置使得其光轴(P)可与相应的光接收区域615一致。空腔629被形成在邻近布线区域613之间的光接收区域上，光栅619可被布置在空腔629中。光栅619可遮盖光接收区域615中的一部分(例如，一半)以部分阻挡对光接收区域615的入射光。
参照图6B，相位焦点检测像素655可形成彼此邻近且分开的对655a和655b。布置在第一相位焦点检测像素655a上的光栅619a可处于与布置在第二相位焦点检测像素655b上的另一光栅619b不重叠的位置(例如，偏置位置)。如果第一相位焦点检测像素655a检测出穿过微透镜617的出射光瞳的一部分的光，则第二相位焦点检测像素655b可检测出穿过出射光瞳的其它部分的光。图像传感器125和/或具有图像传感器125的任何电子装置(诸如，相机或移动终端)可通过将从各个相位焦点检测像素655检测出的值彼此比较来测量图像传感器125的焦点调整状态。
根据本公开的实施例，相位焦点检测像素可根据第一焦点状态(例如，如实线661所示)、第二焦点状态(例如，如虚线663所示)和第三焦点状态(例如，如双点虚线665所示)来输出不同值，其中，第一焦点状态与被摄体的焦点位于图像传感器125的情况相应，第二焦点状态与被摄体的焦点位于图像传感器125与被摄体之间的情况相应，第三焦点状态与被摄体的焦点位于其它区域的情况相应。基于这种焦点状态，电子装置可识别被摄体之间的相对距离。
为了解释相位检测像素的结构和操作，具有光栅的相位焦点检测像素在图6A和图6B中被示出。可选地，可使用具有各种相位分离结构的任何其它相位检测像素。
如上所讨论，当使用图像装置120捕捉图像时，焦点区域位于期望的被摄体并且布置在图像传感器125中的相位检测像素(例如，上相位传感器)510可提取聚焦的被摄体与任何其它被摄体之间的距离信息。此时，控制单元100可从每一对相位检测像素(或上相位传感器)510或使用与如图5中所示的图像传感器125的各个子区域相应的相位检测像素(或上相位传感器)来找出相位差值。
在下文中，将假设：使用与如图5中所示的各个子区域相应的相位检测像素来计算关于被摄体的距离信息。图像可包含两个或更多个被摄体。为了计算关于这种被摄体的距离信息，控制单元100可找出聚焦的被摄体与未聚焦的被摄体(例如，聚焦在被摄体的前方或后方)之间的距离。
图7A和图7B是示出根据本公开的各种实施例的控制子图像效果的操作的示图。图7A示出单个子区域具有单个值的情况的示例，图7B示出单个子区域具有多个值的情况下的模糊处理的示例。图像效果可表示使用子图像之间的相对距离信息的对子图像的模糊处理(即，将子图像处理为模糊的)。
参照图7A，当从距离计算单元230接收到子图像之间的距离信息值时，图像效果控制单元240可找出聚焦的子图像与任何其它子图像之间的相对距离信息，基于相对距离信息来创建针对子图像的模糊处理的控制数据，并将创建的控制数据输出到图像效果处理单元250。例如，在图7A中，子图像740是聚焦图像，子图像745和747是未聚焦图像(例如，具有位于被摄体的前方的焦点的图像)。参照图7A，标号750指示深度的示例。深度图可指示子图像之间的相对距离。深度图表可记录根据确定的深度将由图像效果控制单元240用来处理图像(例如，模糊处理)的控制数据。
当进行拍摄时，图像传感器125投射的图像间隔(image gap)根据被摄体(即，子图像)与焦点位置之间的关系而变化，图像传感器125的相位传感器可根据从相应子区域(图5中的从R11到Rmn)检测出的图像之间的间隔来检测并输出相位差。此时，位于聚焦的子图像740的子区域711至713的相位传感器产生指定的相位差值，并且位于未聚焦的子区域721至723以及子区域731至733的相位传感器根据散焦的大小来产生相位差值。子图像745和747具有位于后方的焦点位置，子图像747的子区域可比子图像745的子区域具有更大的相位差。距离计算单元230可通过相位检测像素的相位差值来计算子图像的距离信息值。图像效果控制单元240可找出各个子图像的相对距离信息，将距离信息转换为深度图表中的控制数据，并将控制数据输出到图像效果处理单元250。
距离计算单元230可通过使用从相位检测像素输出的相位差值来计算子图像之间的距离，然后通过使用子图像之间的相对距离来找出深度图。这可按照图7A中所示的表示。根据本公开的实施例，当从子区域检测出两条或更多条距离信息时，可基于检测出的距离信息来找出关于子区域的距离信息。可根据子区域的大小而不同地应用深度图的准确度，并且可通过插值技术来填充没有信息的任何空间。
根据本公开的实施例，单个子区域可具有一个或更多个相位差值。例如，在图7B中，具有子区域752和753的子图像740包括被摄体410所位于的区域以及没有被摄体410的区域。因此，子区域752和753中的每一个可具有两个或更多个相位差值。在这种情况下，图像效果控制单元100可通过使用子区域中或邻近子区域之间的邻近子区域的值或图像特性(例如，边缘分布、颜色分布等)对具有两个或更多个的相位差值的子区域(例如，具有两条或更多条距离信息的子区域)进行子划分。例如，子区域752可具有至少两条距离信息。子区域752可包含与被摄体(例如，410)相应的第一区域和与背景相应的第二区域。距离计算单元230可通过子区域752内的图像处理来提取被摄体410的轮廓。距离计算单元230可将被摄体410与背景区分开，并通过被摄体410的轮廓、与子区域752邻近的子区域的距离信息、在子区域中获得的多条距离信息(例如，相位检测像素的值)或对子区域752的任何附加图像分析(例如，颜色分析、对比度分析等)中的至少一个来估计距离信息。基于估计的结果，距离计算单元230可允许子区域752具有多个距离信息值。对子区域752的图像处理技术可同样地应用到子区域753以及被摄体420和被摄体430的各个子区域。
根据本公开的实施例，可通过将子图像之间的相对距离信息应用到深度图表来确定用于图像的模糊处理的控制数据，并将确定的控制数据输出到图像效果处理单元250。此时，控制数据可被用于将包含在捕捉的照片图像中的各个子图像模糊处理为不同值。
图像效果处理单元250如图7B中所示根据与包含在输出到图像信号处理单元210的照片图像中的各个子图像410至子图像430相应的控制数据值来控制图像处理。控制数据可以是高斯模糊值，并且图像效果处理单元250可以是高斯滤波器。参照图7B，可对被摄体410执行分级处理760使得被摄体410与邻近子区域并未差别很大。在拍摄具有更低景深的照片的情况下，模糊值在被摄体与背景之间的边界不是离散的。被摄体和背景可以以高斯模糊的形式彼此逐步分离。这种基于被摄体与背景之间的模糊处理的连续分离和逐步分离可创建柔和且自然的图像。
图像效果控制单元240可根据子图像之间的相对距离信息来对捕捉的图像进行模糊处理。可选地或另外，除了模糊处理之外，图像效果控制单元240可控制各种类型的效果。例如，可执行不同类型的颜色过滤操作以对各个子图像进行处理。图像效果控制单元240可通过使用这些被摄体的距离信息来识别各个被摄体410、420和430，并且向被摄体410提供黑白效果，向被摄体420提供褐色效果(sepia effect)并向被摄体430提供蓝色加强效果(blueemphasis effect)。图像效果控制单元240可向聚焦的被摄体410提供模糊效果，并向未聚焦的被摄体420提供锐化效果。
图8是根据本公开的各种实施例的电子装置的框图。图8示出可根据距离信息将捕捉的图像处理为具有预定效果的设备。
参照图8，电子装置可包括至少一个应用处理器(AP)810、通信模块820、至少一个用户识别模块(SIM)卡824、存储器830、传感器模块840、输入模块850、显示器860、接口870、音频模块880、相机模块891、电力管理模块895、电池896、指示器897和电机898。
AP 810可驱动操作***或应用程序来控制连接到AP 810的多个硬件或软件组件，并且可执行对包括多媒体的各种数据的处理和操作。例如，可将AP 810实现为片上***(SoC)。根据本公开的实施例，AP 810还可包括图形处理单元(GPU)(未示出)。
通信模块820可在与通过网络连接到电子装置的其它电子装置的通信中执行数据发送/接收。通信模块820可包括蜂窝模块821、WiFi模块823、蓝牙(BT)模块825、GPS模块827、近场通信(NFC)模块828和射频(RF)模块829。
蜂窝模块821可以通过通信网络(例如，长期演进(LTE)、LTE-Advanced(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信***(UMTS)、WiBro、或全球移动通信***(GSM))来提供语音呼叫、视频呼叫、短消息服务(SMS)、互联网服务等。蜂窝模块821可通过使用例如用户识别模块(例如，SIM卡824)在通信网络中识别和认证电子装置。蜂窝模块821可执行可通过AP 810提供的功能中的至少一些功能。例如，蜂窝模块821可至少执行多媒体控制功能。
根据本公开的实施例，蜂窝模块821可包括通信处理器(CP)。例如，蜂窝模块821可被实现为SoC。虽然在图8中蜂窝模块821(例如，CP)、存储器830、电力管理模块895等被示为与AP 810分离的元件，但是AP 810可被实现为包括根据本公开的实施例的前述元件中的至少一些元件(例如，蜂窝模块821)。
根据本公开的实施例，AP 810或蜂窝模块821(例如，CP)可将从非易失性存储器和连接到非易失性存储器的其它元件中的至少一个接收到的命令或数据加载到易失性存储器中，并对加载的命令或数据进行处理。AP 810或蜂窝模块821可将从其它元件中的至少一个元件接收或由其它元件中的至少一个元件产生的数据存储在非易失性存储器中。
WiFi模块823、BT模块825、GPS模块827和NFC模块828中的每一个例如可包括用于处理通过相应模块发送或接收的数据的处理器。虽然在图2中蜂窝模块821、WiFi模块823、BT模块825、GPS模块827和NFC模块828被示为单独的块，但是根据本公开的实施例，蜂窝模块821、WiFi模块823、BT模块825、GPS模块827和NFC模块828中的至少一些模块(例如，两个或更多个模块)可被包括在一个集成芯片(IC)或一个IC封装中。例如，分别与蜂窝模块821、WiFi模块823、BT模块825、GPS模块827和NFC模块828相应的处理器中的至少一些处理器(例如，与蜂窝模块821相应的CP和与WiFi模块823相应的WiFi处理器)可被实现为一个SoC。
RF模块829可执行数据发送/接收(例如，RF信号发送/接收)。虽然未示出，但是RF模块829例如可包括收发器、功率放大模块(PAM)、频率滤波器、低噪放大器(LNA)等。RF模块829还可包括用于在无线通信中在空中发送/接收电磁波的组件(诸如，导体或导线)。虽然图8示出蜂窝模块821、WiFi模块823、BT模块825、GPS模块827和NFC模块828共享一个RF模块829，但是根据本公开的实施例，蜂窝模块821、WiFi模块823、BT模块825、GPS模块827和NFC模块828中的至少一个模块可通过单独的RF模块执行RF信号发送/接收。
至少一个SIM卡824可以是包括用户识别模块的卡，并且可被***形成在电子装置的特定位置的至少一个插槽。至少一个SIM卡824可包括唯一标识信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。
存储器830(例如，存储单元110)可包括内部存储器832或外部存储器834。例如，内部存储器832可包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))和非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、Not And(NAND)闪速存储器或Not Or(NOR)闪速存储器))中的至少一个。
根据本公开的实施例，内部存储器832可以是固态驱动器(SSD)。外部存储器834还可包括闪存驱动器，例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极速数字(xD)或记忆棒。外部存储器834可通过各种接口功能上连接到电子装置。根据本公开的实施例，电子装置还可包括诸如硬盘驱动器的存储装置(或存储介质)。
传感器模块840可测量物理量或检测电子装置的操作状态，并且可将测量的或检测出的信息转换成电信号。例如，传感器模块840可包括手势传感器840A、陀螺仪传感器840B、大气压传感器840C、磁性传感器840D、加速度传感器840E、握持传感器840F、接近传感器840G、颜色传感器840H(例如，红、绿、蓝(RGB)传感器)、生物识别传感器840I、温度/湿度传感器840J、光传感器840K和紫外线(UV)传感器840M中的至少一个。另外或可选地，例如，传感器模块840可包括电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外线(IR)传感器(未示出)、虹膜扫描仪(未示出)和/或指纹传感器(未示出)。传感器模块840还可包括用于控制包括在其中的一个或更多个传感器的控制电路。
输入模块(例如，输入单元140)850可包括触摸面板852、(数字)笔传感器854、键856或超声输入单元858。识别触摸输入的触摸面板852可包括例如电容触摸面板、电阻触摸面板、红外触摸面板和超声波触摸面板中的至少一种。触摸面板852还可包括控制电路。当触摸面板852是电容触摸面板时，触摸面板852可识别物理接触或接近。触摸面板852还可包括触觉层。在这种情况下，触摸面板852可向用户提供触觉响应。
例如，可使用与用于从用户接收触摸输入的装置相同或相似的装置或使用单独的识别片来实现(数字)笔传感器854。例如，键856可包括物理按钮、光学键或键盘。超声输入单元858是可通过经由输入工具产生超声信号并经由电子装置中的麦克风检测声波来识别数据的单元，并且超声输入单元858能够进行无线识别。根据本公开的实施例，电子装置也可通过使用通信模块820，从与其连接的外部装置(例如，计算机或服务器)接收用户输入。
显示器860(例如，显示单元130)可包括面板862、全息图单元864或投影仪866。例如，面板862可以是LCD或有源矩阵发光二极管(AM-OLED)。例如，面板862可被实现为柔性的、透明的或可穿戴的。面板862也可与触摸面板852一起被集成为一个模块。全息图单元864可通过使用光干涉在空气中显示立体图像。投影仪866可通过将光投射到屏幕上来显示图像。例如，屏幕可位于电子装置的内部或外部。显示器860还可包括用于控制面板862、全息图单元864或投影仪866的控制电路。
例如，接口870可包括高清多媒体接口(HDMI)872、通用串行总线(USB)874、光学接口876或D-超小型(D-sub)878。另外或可选地，例如，接口870可包括移动高清晰度链接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
音频模块880可提供声音和电信号之间的双向转换。例如，音频模块880中的至少一些元件可包括在输入/输出接口中。例如，音频模块880可对通过扬声器882、接收器884、耳机886或麦克风888输入或输出的声音信息进行处理。
相机模块891是可拍摄静止图像和运动图像两者的装置，并且根据本公开的实施例，相机模块891可包括一个或更多个图像传感器(例如，前置传感器或后置传感器，未示出)、镜头(未示出)、图像信号处理器(ISP，未示出)或闪光灯(例如，LED或氙气灯，未示出)。
电子管理模块895可管理电子装置的电力。虽然未示出，但是电力管理模块895例如可包括电力管理集成电路(PMIC)、充电器IC、或电池或燃料量表。
例如，PMIC可被安装在IC或SoC半导体中。充电方法可被分类为有线充电和无线充电。充电器IC可对电池充电，并可防止从充电器感应或流出过电压或过电流。根据本公开的实施例，充电器IC可包括用于有线充电和无线充电中的至少一种充电的充电器IC。无线充电的示例包括磁共振充电、磁感应充电和电磁充电，并且可添加用于无线充电的附加电路，诸如，线圈回路、谐振电路和整流器。
例如，电池量表可测量电池896的剩余容量、充电电压、充电电流或温度。电池896可存储或产生电，并可通过使用存储或产生的电向电子装置供电。例如，电池896可包括可再充电电池或太阳能电池。
指示器897可显示电子装置或电子装置的一部分(例如，AP 810)的特定状态，例如，启动状态、消息状态或充电状态。电机898可将电信号转换成机械振动。虽然未示出，但是电子装置可包括用于支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可根据例如数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流的特定标准来处理媒体数据。
根据本公开的实施例的电子装置的上述元件中的每一个元件可包括一个或更多个组件，并且相应元件的名称可根据电子装置的类型而不同。根据本公开的实施例的电子装置可包括上述元件中的至少一个，并且可排除所述元件中的一些元件，或者可进一步包括其它附加元件。此外，根据本公开的实施例的电子装置的元件中的一些元件可在执行与相应元件在组合之前的功能相同的功能的同时被组合以形成单个实体。
例如，在本公开所用的术语“模块”可表示包括硬件、软件和固件之一或它们中的两种或更多种的任意组合中的单元。例如，“模块”可与术语“单位”、“逻辑”、“逻辑块”、“组件”或“电路”互换。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是执行一个或更多个功能的最小单元或其一部分。“模块”可被机械或电子地实现。例如，根据本公开的“模块”可包括用于执行特定操作(现在已知或在将来将开发的操作)的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个。
根据本公开的实施例，在图8中示出的电子装置中，相机模块891可包括具有彩色像素和相位检测像素(例如，上相位传感器)的图像传感器125。AP 810(例如，控制单元100)可通过图像传感器125获得图像信息和相位差信息，基于相位差信息识别与图像信息的多个区域相应的多条距离信息，并基于多条距离信息来对图像信息进行处理。根据本公开的实施例，AP 810的操作中的至少一部分操作可被包括在具有相机模块891的处理器(例如，ISP)中。
根据本公开的各种实施例的电子装置可包括图像传感器(例如，图像传感器125)和控制单元(例如，控制单元100)，其中，图像传感器包括至少一个相位检测像素，控制单元可操作地连接到图像传感器。控制单元可被配置为通过图像传感器获得关于至少一个被摄体的图像信息和相位差信息，基于相位差信息来识别与和所述图像信息相关联的多个区域相应的多条距离信息，并基于距离信息对图像信息进行处理。
根据本公开的各种实施例，相位检测像素可包括第一焦点区域、第二焦点区域和第三焦点区域，其中，第一焦点区域与被摄体的焦点位于图像传感器的情况相应，第二焦点区域与被摄体的焦点位于图像传感器与被摄体之间的情况相应，第三焦点区域与被摄体的焦点位于其它区域的情况相应。
根据本公开的各种实施例，控制单元还可被配置为：基于与所述多个区域之中的第一区域相应的第一相位差信息和与所述多个区域之中的第二区域相应的第二相位差信息，识别第一区域与第二区域之间的距离信息。第一焦点区域的图像可以是第一区域的图像，第二焦点区域的图像和第三焦点区域的图像可以是第二区域的图像。控制单元还可被配置为：通过与第一区域相应的多个相位检测像素来获得多条相位差信息，并基于所述多条相位差信息来获得第一相位差信息。控制单元还可被配置为：基于所述多条距离信息来对所述多个区域中的至少一个区域进行模糊处理。
根据本公开的各种实施例，控制单元还可被配置为：获得第一距离信息与第二距离信息之间的差，其中，第一距离信息与所述多个区域之中的聚焦的第一区域相应，第二距离信息与所述多个区域之中的未聚焦的第二区域相应；当所述差在第一范围内时，对第二区域执行第一模糊处理；当所述差在第二范围内时，对第二区域执行第二模糊处理。在这种情况下，控制单元还可被配置为：当第一区域和第二区域彼此邻近时，对第一区域与第二区域之间的边界的至少一部分执行高斯模糊处理。
根据本公开的各种实施例，控制单元还可被配置为：对所述多个区域之中的与所述多条距离信息中的第一距离信息相应的第一区域执行第一图像处理，对所述多个区域之中的与所述多条距离信息中的第二距离信息相应的第二区域执行第二图像处理。控制单元还可被配置为：当第一区域和第二区域彼此邻近时，对第一区域和第二区域中的至少一个区域的一部分执行第三图像处理。第一图像处理和第二图像处理中的至少一个图像处理可包括以下处理中的至少一个处理：亮度调整处理、对比度调整处理、锐化处理、模糊处理、黑白处理、颜色调整处理、删除处理、替换处理和图像叠加处理。
图9是示出根据本公开的各种实施例的在电子装置中响应于被摄体的相对位置来对图像进行处理的方法的流程图。
参照图9，在操作911，控制单元100可分析图像。控制单元100可识别包含在图像中的被摄体。该图像可以是通过图像装置120捕捉的任何图像。可通过通信单元从外部装置或服务器下载图像。捕捉或下载的图像可被存储在存储单元110中。
在操作913，控制单元100可从包含在图像中的被摄体提取子图像。在操作915，控制单元100可计算提取的子图像之间的相对距离。在捕捉的图像的情况下，控制单元100可通过使用从图像传感器125的相位检测像素输出的相位差值来计算该距离。相位差值根据形成捕捉的照片图像的子图像的距离而可具有不同值。根据本公开的实施例，控制单元100可分析布置在子图像的位置的相位检测像素的输出，并找出焦点位置的子图像与其它位置的任何其它子图像之间的相对距离信息。在操作917，控制单元100可使用捕捉的照片图像中的子图像之间的相对距离信息，对每个子图像处理预定效果。该预定效果可以是各种效果(例如，模糊处理效果)中的一种效果。在操作919，控制单元100可在显示单元130上显示经过处理的照片图像并将经过处理的照片图像存储在存储单元110中。
在下文中，将假设：图像效果是模糊处理效果并且通过图像装置120捕捉图像。然而，即使在从外部装置或服务器下载图像或存储在存储单元110中的图像的情况下，也可用所需图像效果对包含子图像的相位差值或相对距离信息的特定图像进行处理。
图10是示出根据本公开的各种实施例的提取在包含在由电子装置捕捉的图像中的子图像之间的相对距离并随后处理模糊效果的过程的流程图，其中，电子装置与图像装置联网。
参照图10，电子装置可具有模糊拍摄模式，其中，所述模糊拍摄模式用于提取被摄体之间的距离并对捕捉的图像进行模糊处理。例如，可在图像装置的驱动状态下设置模糊拍摄模式。当选择了模糊拍摄模式时，控制单元100可通过操作1011和操作1013来识别模糊拍摄模式。如果识别出模糊拍摄模式，则控制单元100从图像传感器125的彩色像素传感器接收照片图像，随后在操作1015对照片图像进行处理。照片图像处理可包括预处理和后处理，并且经过处理的照片图像可被临时地存储在缓冲器中。
在操作1017，控制单元100可从包含在照片图像中的被摄体提取子图像。提取的子图像可以是基于相对距离信息进行模糊处理的目标。在操作1019，控制单元100可从图像传感器125的相位检测像素接收相位差值，并使用相位差值计算提取的子图像之间的相对距离。相位差值可根据形成捕捉的照片图像的子图像之间的距离而具有不同值。在距离计算中，控制单元100可分析布置在子图像的位置的相位检测像素的输出，并找出焦点位置的子图像与其它位置的子图像之间的相对距离信息。其后，在操作1021，控制单元100可从具有模糊控制数据的深度图表选择与子图像之间的相对距离信息值相应的模糊控制数据，并根据选择的模糊控制数据来对照片图像的子图像进行模糊处理。
控制单元100可对每个子图像执行照片图像的模糊处理，并可对位于焦点位置的特定子图像不进行模糊处理。在操作1021，控制单元100可根据深度图表(或称作模糊控制数据表)中的焦点位置的子图像与任何其它子图像之间的相对距离值来设置子图像的模糊控制数据，并对与设置的模糊控制数据相应的子图像执行模糊处理。与焦点位置的子图像接近的子图像(例如，具有小距离信息值)可比与焦点位置的子图像远离的子图像(例如，具有大距离信息值)具有更小的模糊控制数据值。具有更大距离的模块控制数据可具有更高权重值。可选地，具有更大距离信息值的子图像可具有更小的模糊值。在这种情况下，由于与焦点位置的子图像更接近的子图像具有更大模糊，所以会增加移焦(out focus)效果。
在焦点位置位于中间位置的子图像的情况下，可与距离信息值成比例地对在焦点前方的子图像或焦点后方的子图像同样执行模糊处理。例如，参照图6D，不管比投影在焦点位置的图像的间距小(焦点位置位于子图像的前方的情况)还是大(焦点位置位于子图像的后方的情况)，可根据提取的距离信息值以相同方式来控制移焦。在具有相同距离信息的情况下，相较于具有后方焦点位置的子图像，控制单元100可对具有前方焦点位置的子图像执行更高(或更小)的模糊处理。在这种模糊处理中，可向由用户选择的特定子图像提供具体模糊值。控制单元100可使用比子图像的模糊控制数据更高的值来对没有照片图像中的子图像的特定区域进行模糊处理。
在以上根据子图像之间的相对距离来对捕捉的照片图像进行模糊处理之后，在操作1023，控制单元100可将经过模糊处理的照片图像显示在显示单元130上并将它(优选地在压缩并编码后)存储在存储单元110中。
同时，如果在操作1013不是模糊拍摄，则控制单元100在操作1030执行预定模式的拍摄操作。这种拍摄模式可以是静止图像捕捉模式、视频记录模式等。如果在操作1011不是拍摄模式，则在操作1040执行另一功能。
图11是示出根据本公开的各种实施例的通过提取在包含在由电子装置捕捉的图像中的子图像之间的相对距离来处理模糊效果的方法的流程图，其中，电子装置与图像装置联网。
参照图11，在模糊拍摄时，控制单元100找出子图像之间的相对距离信息，确定模糊值，对照片图像的子图像进行模糊处理。在这种情况下，控制单元100应从捕捉的照片图像提取子图像。为了子图像的准确提取，模糊拍摄可采用聚焦在照片图像中的各个被摄体的连续拍摄技术。
当选择了模糊拍摄模式时，控制单元100可通过操作1111和操作1113识别模糊拍摄模式。如果识别出模糊拍摄模式，则控制单元100驱动图像装置120并在操作1115在聚焦包含在照片图像中的各个被摄体的情况下执行连续拍摄。图像装置120可在控制单元100的控制下在自动聚焦在图像传感器125中检测出的各个被摄体上的情况下连续捕捉照片图像，或用户可在手动聚焦在位于取景器内的被摄体的同时执行连续拍摄。这种各个被摄体可以是不同被摄体并变为子图像。
当由图像装置120执行连续拍摄操作时，图像传感器125的彩色像素传感器125连续获得照片图像，并且在操作1117对连续获得的照片图像进行处理。这种照片图像处理可包括预处理和后处理，经过处理的照片图像可被临时地存储在缓冲器中。
在操作1119，控制单元100从连续获得并缓冲的照片图像提取聚焦的被摄体作为子图像。在操作1121，控制单元100从图像传感器125的相位检测像素接收相位差值，并使用相位差值计算提取的子图像之间的相对距离。可由用户或默认地设置不进行模糊处理的图像(基本子图像)。由用户设置的基本子图像可以是初始聚焦的被摄体图像。默认设置的基本子图像可以是照片图像中位于中心的子图像。
在操作1121，控制单元100计算基本子图像与其它子图像之间的相对距离。图像传感器125的相位检测像素根据形成捕捉的照片图像的子图像之间的距离来输出不同相位差值。在距离计算中，控制单元100分析布置在子图像的位置的相位检测像素的输出，并找出焦点位置的子图像与其它位置的子图像之间的相对距离信息。在操作1123，控制单元100从具有模糊控制数据的深度图表选择与子图像之间的相对距离信息值相应的模糊控制数据，并根据选择的模糊控制数据来对照片图像的子图像进行模糊处理。
控制单元100可对每个子图像执行照片图像的模糊处理，并可对位于焦点位置的特定子图像不进行模糊处理。在操作1121，控制单元100根据深度图表中的焦点位置的子图像与任何其它子图像之间的相对距离值来设置子图像的模糊控制数据，并对与设置的模糊控制数据相应的子图像执行模糊处理。与焦点位置的子图像接近的子图像(例如，具有小距离信息值)可比与焦点位置的子图像远离的子图像(例如，具有大距离信息值)具有更小的模糊控制数据值。控制单元100可使用比子图像的模糊控制数据更高的值来对没有照片图像中的子图像的特定区域进行模糊处理。
在以上根据子图像之间的相对距离来对捕捉的照片图像进行模糊处理之后，在操作1125，控制单元100可将经过模糊处理的照片图像显示在显示单元130上并将照片图像(可被压缩并编码)存储在存储单元110中。控制单元100可存储所有连续捕捉的照片图像并还存储子图像之间的距离信息值。如果用户选择了具有不同焦点位置的照片图像并随后触发模糊功能，则控制单元100可再次执行以上讨论的操作1117至操作1125。
如果在操作1113没有执行模糊拍摄，则控制单元100在操作1130执行预定模式的拍摄操作。这种拍摄模式可以是静止图像捕捉模式、视频记录模式等。如果在操作1111不执行拍摄模式，则在操作1140执行另一功能。
根据本公开的各种实施例，一种电子装置的图像处理方法可包括以下操作：通过包括至少一个相位检测像素的图像传感器获得关于至少一个被摄体的图像信息和相位差信息的操作，基于相位差信息来识别与和所述图像信息相关联的多个区域相应的多条距离信息的操作，以及基于所述多条距离信息来对图像信息进行处理的操作。
根据本公开的各种实施例，关于被摄体的图像信息可包括关于第一焦点区域的图像信息、关于第二焦点区域的图像信息和关于第三焦点区域的图像信息，其中，在第一焦点区域中，被摄体的焦点位于图像传感器，在第二焦点区域中，被摄体的焦点位于图像传感器与被摄体之间，在第三焦点区域中，被摄体的焦点位于另一区域。
根据本公开的实施例，识别所述多条距离信息的操作可包括：基于与所述多个区域之中的第一区域相应的第一相位差信息和与所述多个区域之中的第二区域相应的第二相位差信息来识别第一区域与第二区域之间的距离信息。第一区域可以是第一焦点区域，第二区域可以是第二焦点区域和第三焦点区域。可基于通过与第一区域相应的多个相位检测像素获得的多条相位差信息来获得第一相位差信息。对图像信息进行处理的操作可包括：基于所述多条距离信息，对所述多个区域中的至少一个区域进行模糊处理。
根据本公开的各种实施例，识别所述多条距离信息的操作可包括：识别与所述多个区域之中的聚焦的第一区域相应的第一距离信息和与所述多个区域之中的未聚焦的第二区域相应的第二距离信息之间的差。对图像信息进行处理的操作可包括：当所述差在第一范围内时，对第二区域执行第一模糊处理；当所述差在第二范围内时，对第二区域执行第二模糊处理。模糊处理可包括：当第一区域与第二区域彼此邻近时，对第一区域与第二区域之间的边界的至少一部分进行高斯模糊处理。
根据本公开的各种实施例，对图像信息进行处理的操作可包括：对所述多个区域之中的与所述多条距离信息中的第一距离信息相应的第一区域执行第一图像处理，并对所述多个区域之中的与所述多条距离信息中的第二距离信息相应的第二区域执行第二图像处理。第一图像处理和第二图像处理中的至少一个图像处理可包括以下处理中的至少一个处理：亮度调整处理、对比度调整处理、锐化处理、模糊处理、黑白处理、颜色调整处理、删除处理、替换处理和图像叠加处理。
图12示出根据本公开的各种实施例的包括电子装置的网络环境。
参照图12，网络环境1200包括电子装置1201、电子装置1204、服务器1206和网络1262。电子装置1201可包括总线1210、处理器1220、存储器1230、输入/输出接口1240、显示器1250、通信接口1260和图像传感器模块1270。
总线1210可以是将前述组件相互连接并在前述组件之间发送通信(例如，控制消息)的电路。
例如，处理器1220可通过总线1210从前述组件(例如，存储器1230、输入/输出接口1240、显示器1250、通信接口1260和图像传感器模块1270)而非处理器1220接收指令，对接收的指令进行解码，并根据解码的指令执行操作或数据处理。
存储器1230可存储从处理器1220或其它组件(例如，输入/输出接口1240、显示器1250、通信接口1260和图像传感器模块1270)接收或产生的指令或数据。存储器1230可包括编程模块，例如，内核1231、中间件1232、应用编程接口(API)1233和应用1234。上述编程模块中的每一个模块可通过软件、固件、硬件或它们中的两个或更多个的组合而形成。
内核1231可控制或管理***资源(例如，总线1210、处理器1220和存储器1230)，其中，所述***资源用于执行在剩余其它编程模块(例如，中间件1232、API 1233和应用1234)中实现的操作或功能。此外，内核1231可提供允许中间件1232、API 1233或应用1234访问和控制或管理电子装置1201的单独组件的接口。
中间件1232可以用作API 1233或应用1234与内核1231之间的中介(也就是说，允许API 1233或应用1234与内核1231通信并且与内核1231交换数据)。中间件1232可通过使用例如向应用1234中的至少一个应用分配使用电子装置1201的***资源(例如，总线1210、处理器1220或存储器1230)的优先级的方法来对从应用1234接收的任务请求执行控制(例如，调度或负载均衡)。
API 1233是用于允许应用1234控制由内核1231和中间件1232提供的功能的接口，并且可包括用于例如文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，指令)。
根据本公开的各种实施例，应用1234可包括SMS/多媒体消息服务(MMS)应用、电子邮件应用、日历应用、提醒应用、医疗保健应用(例如，用于测量运动量或血糖的应用)和环境信息应用(例如，用于提供大气压信息、湿度信息、温度信息等的应用)。另外或可选地，应用1234可包括与电子装置1201和外部电子装置(例如，电子装置1204)之间的信息交换相关联的应用。例如，与信息交换相关联的应用可包括用于向外部电子装置传递特定信息的通知转发应用或用于管理外部电子装置的装置管理应用。
例如，通知转发应用可包括向外部电子装置(例如，电子装置1204)传递在电子装置1201的其它应用(例如，SMS/MMS应用、电子邮件应用、医疗保健应用或环境信息应用)中生成的通知信息的功能。另外或可选地，例如，通知转发应用可从外部电子装置(例如，电子装置1204)接收通知信息，并且可将接收的通知信息提供给用户。例如，装置管理应用可管理(例如，安装、删除或更新)与电子装置1201进行通信的外部电子装置(例如，电子装置1204)的至少一部分的功能(例如，打开/关闭外部电子装置本身(或其一些组件)或调整显示器的亮度(或分辨率)的功能)、外部电子装置上运行的应用、或外部电子装置中提供的服务(例如，呼叫服务或信息服务)。
根据本公开的各种实施例，应用1234可包括根据外部电子装置(例如，电子装置1204)的属性(例如，类型)指定的应用。例如，当外部电子装置是MP3播放器时，应用1234可包括与音乐回放相关联的应用。相似地，当外部电子装置是移动医疗装置时，应用1234可包括与健康保健相关联的应用。根据本公开的实施例，应用1234可包括向电子装置101分配的应用和从外部电子装置(例如，服务器1206或电子装置1204)接收的应用中的至少一个。
根据本公开的各种实施例，应用1234可执行以下操作：通过图像传感器获得关于至少一个被摄体的图像信息和相位差信息；基于相位差信息，识别与和图像信息相关联的多个区域相应的多条距离信息；基于所述多条距离信息来对图像信息进行处理。
例如，输入/输出接口1240可将通过输入/输出装置(例如，传感器、键盘或触摸屏)从用户输入的指令或数据通过总线1210传送到处理器1220、存储器1230、通信接口1260或图像传感器模块1270。例如，输入/输出接口1240可向处理器1220提供与通过触摸屏的用户触摸输入相应的数据。此外，例如，输入/输出接口1240可通过总线1210从处理器1220、存储器1230、通信接口1260或图像传感器模块1270接收指令或数据，并通过输入/输出装置(例如，扬声器或显示器)来输出接收到的指令或数据。例如，输入/输出接口1240可通过扬声器向用户输出由处理器1220处理的语音数据。显示器1250可向用户显示各条信息(例如，多媒体数据或文本数据)。
通信接口1260可建立电子装置1201与外部电子装置(例如，电子装置1204或服务器1206)之间的通信。例如，通信接口1260可通过无线通信或有线通信连接到网络1262，从而与外部装置进行通信。例如，无线通信可包括WiFi、BT、NFC、GPS和蜂窝通信(例如，LTE、LTE-A、CDMA、CDMA、UMTS、WiBro或GSM)中的至少一个。例如，有线通信可包括USB、HDMI、推荐标准232(RS-232)或普通老式电话服务(POTS)中的至少一个。
根据本公开的实施例，网络1262可以是电信网络。电信网络可包括计算机网络、互联网、物联网和电话网络中的至少一个。根据本公开的实施例，应用1234、应用编程接口1233、中间件1232、内核1231和通信接口1260中的至少一个可支持针对电子装置1201与外部装置之间的通信的协议(例如，传输层协议、数据链路层协议或物理层协议)。
根据本公开的实施例，图像传感器模块1270可包括例如相位检测像素(也被称作相位差检测像素)。图像传感器模块1270可通过相位检测像素来获得被摄体之间的相对距离。
如在前文中全面讨论的，根据本公开的各种实施例的图像处理设备和方法可通过包括相位检测像素的图像传感器来检测距每个被摄体的距离，找出被摄体之间的相对距离，并基于被摄体之间的相对距离对图像执行各种类型的图像处理。
将理解：本发明的实施例可以以硬件、软件或硬件与软件结合的形式被实现。任何这种软件可以以易失性或非易失性存储器(诸如，例如，如ROM的存储装置(无论是否是可擦除的或可重写的))的形式被存储，或者以诸如如RAM、存储器芯片、装置或集成电路的存储器的形式被存储，或者在光学可读介质或磁性可读介质(诸如，例如，CD、DVD、磁盘或磁带等)上被存储。将理解：存储装置和存储介质是适合存储包括指令的程序的机器可读存储器的实施例，其中，当执行所述指令时，所述指令实施本发明的实施例。因此，实施例提供一种包括用于实现如本说明书的权利要求书中的任一权利要求所要求保护的设备或方法的代码的程序以及存储这种程序的机器可读存储器。再进一步，这样的程序可经由任意介质(诸如，通过有线连接或无线连接携带的通信信号)以电子形式被传达，并且实施例可适当地涵盖这些。
贯穿本说明书的描述和权利要求，词语“包括”和“包含”以及所述词语的变形(例如，“包括…的”和“包括”)表示“包括但不限于”，并且不意图(且没有)排除其它部分、附件、组件、整体或步骤。
贯穿本发明的描述和权利要求，除非上下文另有需要，否则单数包含复数。具体地，除非上下文另有需要，否则在使用不定冠词时，说明书将被理解为考虑复数形式以及单数形式。
结合本发明的具体方面、实施例或示例所描述的特征、整体、特性、复合物、化学组分或群组将被理解为可应用于在此描述的任意其它方面、实施例或示例，除非它们之间互不兼容。
还将理解：贯穿本说明书的描述和权利要求，以一般形式“用于Y的X”的语言(其中，Y是某一动作、活动或步骤，X是用于执行该动作、活动或步骤的某一装置)包含为了进行Y而特别改编或布置的装置X，但并非仅为了进行Y。
虽然已经参照本公开的各种实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求和它们的等同物限定的本公开的精神和范围的情况下，可对其进行形式上和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：
图像传感器，包括至少一个相位检测像素；
控制单元，可操作地连接到图像传感器；
其中，控制单元被配置为：通过图像传感器获得关于至少一个被摄体的图像信息和相位差信息；基于相位差信息，识别与和所述图像信息相关联的多个区域相应的多条距离信息；基于所述多条距离信息来对所述图像信息进行处理。
2.如权利要求1所述的装置，其中，相位检测像素包括：
第一焦点区域，与被摄体的焦点位于图像传感器的情况相应；
第二焦点区域，与被摄体的焦点位于图像传感器与被摄体之间的情况相应；以及
第三焦点区域，与被摄体的焦点位于另一区域的情况相应。
3.如权利要求1所述的装置，其中，控制单元还被配置为：基于与所述多个区域之中的第一区域相应的第一相位差信息和与所述多个区域之中的第二区域相应的第二相位差信息，识别第一区域与第二区域之间的距离信息。
4.如权利要求3所述的装置，其中，控制单元还被配置为：通过与第一区域相应的多个相位检测像素来获得多条相位差信息；基于所述多条相位差信息来获得第一相位差信息。
5.如权利要求1至权利要求4中的任一权利要求所述的装置，其中，控制单元还被配置为：基于所述多条距离信息，对所述多个区域中的至少一个区域进行模糊处理。
6.如权利要求1所述的装置，其中，控制单元还被配置为：获得第一距离信息与第二距离信息之间的差，其中，第一距离信息与所述多个区域之中的聚焦的第一区域相应，第二距离信息与所述多个区域之中的未聚焦的第二区域相应；当所述差在第一范围内时，对第二区域执行第一模糊处理；当所述差在第二范围内时，对第二区域执行第二模糊处理，可选地，其中，控制单元还被配置为：当第一区域和第二区域彼此邻近时，对第一区域与第二区域之间的边界的至少一部分执行高斯模糊处理。
7.如权利要求1所述的装置，其中，控制单元还被配置为：对所述多个区域之中的与所述多条距离信息中的第一距离信息相应的第一区域执行第一图像处理，并对所述多个区域之中的与所述多条距离信息中的第二距离信息相应的第二区域执行第二图像处理。
8.如权利要求7所述的装置，其中，控制单元还被配置为：当第一区域和第二区域彼此邻近时，对第一区域和第二区域中的至少一个区域的一部分执行第三图像处理。
9.如权利要求7或权利要求8所述的装置，其中，第一图像处理和第二图像处理中的至少一个图像处理包括以下处理中的至少一个处理：亮度调整处理、对比度调整处理、锐化处理、模糊处理、黑白处理、颜色调整处理、删除处理、替换处理和图像叠加处理。
10.一种电子装置的图像处理方法，所述方法包括：
通过包括至少一个相位检测像素的图像传感器获得关于至少一个被摄体的图像信息和相位差信息；
基于相位差信息，识别与和所述图像信息相关联的多个区域相应的多条距离信息；
基于所述多条距离信息来对所述图像信息进行处理。
11.如权利要求10所述的方法，其中，关于被摄体的图像信息包括关于第一焦点区域的图像信息、关于第二焦点区域的图像信息和关于第三焦点区域的图像信息，其中，在第一焦点区域中，被摄体的焦点位于图像传感器，在第二焦点区域中，被摄体的焦点位于图像传感器与被摄体之间，在第三焦点区域中，被摄体的焦点位于另一区域。
12.如权利要求11所述的方法，其中，识别所述多条距离信息的步骤包括：
基于与所述多个区域之中的第一区域相应的第一相位差信息和与所述多个区域之中的第二区域相应的第二相位差信息，识别第一区域与第二区域之间的距离信息，
其中，第一区域是第一焦点区域，第二区域是第二焦点区域和第三焦点区域。
13.如权利要求12所述的方法，其中，第一相位差信息是基于多条相位差信息而获得的，其中，所述多条相位差信息是通过与第一区域相应的多个相位检测像素而获得的。
14.如权利要求10至权利要求13中的任一权利要求所述的方法，其中，对所述图像信息进行处理的步骤包括：基于所述多条距离信息，对所述多个区域中的至少一个区域进行模糊处理。
15.一种电子装置，包括：
图像传感器，包括至少一个相位检测像素；
控制单元，可操作地连接到图像传感器；
其中，控制单元被配置为：通过图像传感器获得关于至少一个被摄体的图像信息；通过所述至少一个相位检测像素获得与和所述图像信息相关联的多个区域之中的第一区域相应的第一相位差信息以及与第二区域相应的第二相位差信息；基于第一相位差信息和第二相位差信息，确定对第一区域和第二区域中的至少一个区域进行模糊处理。
CN201480071844.3A 2013-12-30 2014-12-26 图像处理设备和方法 Active CN105874776B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0166355 2013-12-30
KR1020130166355A KR20150077646A (ko) 2013-12-30 2013-12-30 이미지 처리 장치 및 방법
PCT/KR2014/012896 WO2015102317A1 (en) 2013-12-30 2014-12-26 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
CN105874776A true CN105874776A (zh) 2016-08-17
CN105874776B CN105874776B (zh) 2020-01-07

Family

ID=52146318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480071844.3A Active CN105874776B (zh) 2013-12-30 2014-12-26 图像处理设备和方法

Country Status (6)

Country Link
US (1) US9692959B2 (zh)
EP (1) EP2889832B1 (zh)
KR (1) KR20150077646A (zh)
CN (1) CN105874776B (zh)
AU (1) AU2014374638B2 (zh)
WO (1) WO2015102317A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214067A1 (en) * 2017-05-24 2018-11-29 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
CN109409187A (zh) * 2017-08-18 2019-03-01 三星电子株式会社 使用显示光获取生物识别信息的电子设备及其操作方法
CN110073652A (zh) * 2016-12-12 2019-07-30 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
CN112033369A (zh) * 2019-12-15 2020-12-04 张月云 失踪船体远程定位平台及方法
CN114208147A (zh) * 2019-08-09 2022-03-18 Lg伊诺特有限公司 图像传感器、相机模块和包括相机模块的光学装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927767B (zh) * 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
JP6472183B2 (ja) * 2014-07-28 2019-02-20 キヤノン株式会社 画像処理装置、その制御方法、プログラム
KR102283423B1 (ko) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
KR102364072B1 (ko) * 2015-08-11 2022-02-17 삼성전자 주식회사 이미지 처리 방법 및 이를 사용하는 전자 장치
JP6593629B2 (ja) * 2015-09-09 2019-10-23 ソニー株式会社 画像処理装置、固体撮像素子、および電子機器
US9456195B1 (en) * 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
WO2017117743A1 (zh) * 2016-01-06 2017-07-13 华为技术有限公司 处理图像的方法和设备
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP6748477B2 (ja) * 2016-04-22 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10762429B2 (en) 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US10044926B2 (en) 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
KR102390184B1 (ko) * 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
US10909706B1 (en) 2017-06-02 2021-02-02 Apple Inc. Robust hardware efficient disparity estimation using total-variation L1 regularization
KR102479492B1 (ko) 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
KR102486425B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
KR20200117562A (ko) 2019-04-04 2020-10-14 삼성전자주식회사 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN112861835A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 主体检测方法、装置、电子设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6900841B1 (en) * 1999-01-11 2005-05-31 Olympus Optical Co., Ltd. Image processing system capable of applying good texture such as blur
CN101297545A (zh) * 2005-10-28 2008-10-29 株式会社尼康 摄影装置、图像处理装置和程序
CN102027412A (zh) * 2008-05-19 2011-04-20 佳能株式会社 图像拾取***和透镜装置
CN102457681A (zh) * 2010-11-04 2012-05-16 佳能株式会社 图像处理设备和图像处理方法
CN102547131A (zh) * 2010-12-13 2012-07-04 索尼公司 成像设备及其控制方法
CN102957861A (zh) * 2011-08-24 2013-03-06 索尼公司 图像处理设备及其控制方法及程序
US20130208093A1 (en) * 2012-02-07 2013-08-15 Aptina Imaging Corporation System for reducing depth of field with digital image processing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7358999B2 (en) 1998-03-10 2008-04-15 Canon Kabushiki Kaisha Focus sensing apparatus, focus sensing method using phase-differential detection and computer-readable storage medium therefor
JP3944039B2 (ja) * 2002-09-13 2007-07-11 キヤノン株式会社 焦点調節装置及びプログラム
JP2009188697A (ja) * 2008-02-06 2009-08-20 Fujifilm Corp 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム
JP5517746B2 (ja) * 2010-05-26 2014-06-11 キヤノン株式会社 画像処理装置およびその方法
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
CN103238098B (zh) * 2010-11-30 2015-04-15 富士胶片株式会社 成像设备和对焦位置检测方法
KR20130038035A (ko) 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
WO2013061947A1 (ja) * 2011-10-28 2013-05-02 富士フイルム株式会社 撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置
JP5888940B2 (ja) 2011-11-11 2016-03-22 オリンパス株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9818202B2 (en) * 2011-12-13 2017-11-14 Sony Corporation Object tracking based on distance prediction
KR102150890B1 (ko) * 2014-02-21 2020-09-02 삼성전자주식회사 이미지 초점 표시 방법 및 상기 방법이 적용되는 전자장치
US10078198B2 (en) * 2014-08-08 2018-09-18 Samsung Electronics Co., Ltd. Photographing apparatus for automatically determining a focus area and a control method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6900841B1 (en) * 1999-01-11 2005-05-31 Olympus Optical Co., Ltd. Image processing system capable of applying good texture such as blur
CN101297545A (zh) * 2005-10-28 2008-10-29 株式会社尼康 摄影装置、图像处理装置和程序
CN102027412A (zh) * 2008-05-19 2011-04-20 佳能株式会社 图像拾取***和透镜装置
CN102457681A (zh) * 2010-11-04 2012-05-16 佳能株式会社 图像处理设备和图像处理方法
CN102547131A (zh) * 2010-12-13 2012-07-04 索尼公司 成像设备及其控制方法
CN102957861A (zh) * 2011-08-24 2013-03-06 索尼公司 图像处理设备及其控制方法及程序
US20130208093A1 (en) * 2012-02-07 2013-08-15 Aptina Imaging Corporation System for reducing depth of field with digital image processing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073652A (zh) * 2016-12-12 2019-07-30 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
CN110073652B (zh) * 2016-12-12 2022-01-11 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
WO2018214067A1 (en) * 2017-05-24 2018-11-29 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
CN109409187A (zh) * 2017-08-18 2019-03-01 三星电子株式会社 使用显示光获取生物识别信息的电子设备及其操作方法
CN109409187B (zh) * 2017-08-18 2024-03-12 三星电子株式会社 使用显示光获取生物识别信息的电子设备及其操作方法
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
US11425355B2 (en) 2018-09-30 2022-08-23 Huawei Technologies Co., Ltd. Depth image obtaining method, image capture device, and terminal
CN114208147A (zh) * 2019-08-09 2022-03-18 Lg伊诺特有限公司 图像传感器、相机模块和包括相机模块的光学装置
CN114208147B (zh) * 2019-08-09 2023-07-25 Lg伊诺特有限公司 图像传感器、相机模块和包括相机模块的光学装置
CN112033369A (zh) * 2019-12-15 2020-12-04 张月云 失踪船体远程定位平台及方法

Also Published As

Publication number Publication date
AU2014374638B2 (en) 2018-08-02
EP2889832A1 (en) 2015-07-01
US20150187083A1 (en) 2015-07-02
CN105874776B (zh) 2020-01-07
AU2014374638A1 (en) 2016-05-05
EP2889832B1 (en) 2018-08-15
US9692959B2 (en) 2017-06-27
WO2015102317A1 (en) 2015-07-09
KR20150077646A (ko) 2015-07-08

Similar Documents

Publication Publication Date Title
CN105874776A (zh) 图像处理设备和方法
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
CN104869320B (zh) 电子设备和控制电子设备操作方法
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
CN105282430B (zh) 使用照片的构图信息的电子装置及使用该装置的拍摄方法
US10003785B2 (en) Method and apparatus for generating images
EP3098703A2 (en) Method for outputting screen and electronic device supporting the same
CN108141535A (zh) 用于生成图像数据的电子设备和方法
CN108289161A (zh) 电子设备及其图像捕捉方法
KR102603426B1 (ko) 이미지 처리장치 및 방법
KR102328098B1 (ko) 전자장치의 초점 검출 장치 및 방법
CN107800930A (zh) 图像合成方法和支持该方法的电子设备
CN107666581A (zh) 提供视频内容的方法和支持该方法的电子装置
KR20160146281A (ko) 전자 장치 및 전자 장치에서 이미지 표시 방법
KR102272108B1 (ko) 영상 처리 장치 및 방법
CN107851422A (zh) 电子设备和电子设备中的显示控制方法
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
CN108513060A (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
KR102376700B1 (ko) 비디오 컨텐츠 생성 방법 및 그 장치
CN106254807B (zh) 提取静止图像的电子设备和方法
CN107888904B (zh) 用于处理图像的方法和支持该方法的电子装置
KR20150099017A (ko) 이미지를 처리하기 위한 전자 장치 및 방법
CN109964478A (zh) 一种拍摄方法以及电子装置
CN107888838A (zh) 用于处理图像的方法及支持该方法的电子设备
CN106454005A (zh) 电子装置和电子装置的图像编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant