CN111052727B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN111052727B
CN111052727B CN201880051949.0A CN201880051949A CN111052727B CN 111052727 B CN111052727 B CN 111052727B CN 201880051949 A CN201880051949 A CN 201880051949A CN 111052727 B CN111052727 B CN 111052727B
Authority
CN
China
Prior art keywords
image
processor
electronic device
depth information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880051949.0A
Other languages
English (en)
Other versions
CN111052727A (zh
Inventor
李宇镛
成大铉
金东勋
李基赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111052727A publication Critical patent/CN111052727A/zh
Application granted granted Critical
Publication of CN111052727B publication Critical patent/CN111052727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种电子装置。所述电子装置包括第一相机、第二相机和处理器。处理器被配置为使用第一相机获得第一图像并且使用第二相机获得第二图像，使用第一图像和第二图像确定与外部对象相应的深度信息，当深度信息的属性满足第一指定条件时，结合第一图像和第二图像存储深度信息，并且当所述深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的深度信息的存储。

Description

电子装置及其控制方法
技术领域
本公开总体上涉及一种电子装置和方法，更具体地讲，涉及一种用于使用利用双相机获得的多个图像确定深度信息的电子装置和方法。
背景技术
电子装置可具有双相机并且可使用双相机捕捉图像。双相机可被配置为具有不同的视角并且可被安装在电子装置的不同位置中。
电子装置可使用从双相机获得的第一图像和第二图像确定深度图信息。可将确定的深度图信息应用于使用第一图像或第二图像中的至少一个的各种图像处理。
深度图信息的有效性会根据拍摄条件而降低。例如，在低照明的情况下或者当电子装置与外部对象之间的距离变得彼此太近时，第一图像或第二图像的图像质量会劣化。当第一图像或第二图像的图像质量劣化时，由于使用第一图像和第二图像确定的深度图信息具有低质量，所以深度图信息会无法具有有效性。此外，当电子装置与外部对象之间的距离变得彼此太远时，由于电子装置不能使用第一图像和第二图像获得视差，故会无法使用第一图像和第二图像确定深度图信息。此外，当参考纹理信息未包括在第一图像和第二图像中的对焦区域中时，使用第一图像和第二图像获得的深度图信息会无法具有有效性。当深度图信息不具有有效性时，使用深度图信息的处理的有效性或精确度会降低。
发明内容
技术问题
使得本公开在于至少解决上述缺点并至少提供下面描述的优点。
本公开的各方面在于至少解决上述问题和/或缺点并至少提供下面描述的优点。因此，本公开的一方面在于提供一种用于在一定程度上确保结合多个图像存储的深度图信息的有效性的电子装置及其控制方法。
因此，本公开的另一方面在于提供一种用于使用深度图信息确定包括具有较好质量的内容的文件的结构的电子装置及其控制方法。
技术方案
根据本公开的一个方面，提供了一种电子装置。所述电子装置包括第一相机、第二相机和处理器。处理器被配置为使用第一相机获得第一图像并且使用第二相机获得第二图像，使用第一图像和第二图像确定与外部对象相应的深度信息，当深度信息的属性满足第一指定条件时，结合第一图像和第二图像存储深度信息，并且当所述深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的深度信息的存储。
根据本公开的另一方面，提供了一种电子装置的控制方法。所述方法包括使用电子装置的第一相机获得第一图像并使用电子装置的第二相机获得第二图像，使用第一图像和第二图像确定与外部对象相应的深度信息，当深度信息的属性满足第一指定条件时，结合第一图像和第二图像存储深度信息，并且当深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的深度信息的存储。
有益效果
根据各种实施例，电子装置可在一定程度上确保结合多个图像存储的深度图信息的有效性。
附图说明
通过结合附图的以下详细描述，本公开的特定实施例的以上和其他方面、特征和优点将更加显而易见，其中：
图1是根据实施例的电子装置的配置的示图；
图2a、图2b、图2c和图2d是根据实施例的扩展文件的格式的示图；
图3a、图3b和图3c是根据实施例的深度图图像的示图；
图4是根据实施例的叠置模式的用户界面(UI)屏幕的示图；
图5是根据实施例的第一图像与第二图像之间的关系的示图；
图6a、图6b、图6c、图6d和图6e是根据实施例的产生扩展文件的处理的实时取景模式的UI屏幕的示图；
图7是根据实施例的重新对焦功能的示图；
图8a是根据实施例的再现扩展文件的处理的示图；
图8b是根据实施例的当在包括在扩展文件中的图像上选择重新对焦功能时的UI屏幕的示图；
图8c是根据实施例的当放大/缩小效果被应用于包括在扩展文件中的图像时的UI屏幕的示图；
图9a是根据实施例的扩展文件的缩略图的示图；
图9b是根据实施例的指示在再现扩展文件时自动执行放大/缩小功能的UI屏幕的示图；
图9c和图9d是根据实施例的指示在再现扩展文件时自动执行重新对焦功能的UI屏幕的示图；
图10是根据实施例的用于产生扩展文件的流程图；
图11是根据实施例的用于验证深度信息的有效性的流程图；
图12是根据实施例的用于产生捕捉图像的流程图；
图13是根据实施例的用于再现扩展文件的流程图；
图14是根据实施例的电子装置的控制方法的流程图；
图15是根据实施例的在网络环境中根据指定条件存储深度信息的电子装置的示图；以及
图16是根据实施例的相机模块的示图。
具体实施方式
下面将参考附图在此对本公开的实施例进行描述。然而，本公开的实施例不限于特定实施例并且应当被解释为包括本公开的所有修改、改变、等效装置及方法和/或替代实施例。在附图的描述中，相似的附图标号用于相似的元件。
如这里所使用的术语“具有”、“可具有”、“包括”和“可包括”指示存在相应的特征(例如，诸如数值、功能、操作或部件的元素)，并且不排除存在另外的特征。
如这里所使用的术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”包括与它们一起列举的项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”指(1)包括至少一个A、(2)包括至少一个B或(3)包括至少一个A和至少一个B两者。
如这里所使用的诸如“第一”和“第二”的术语可使用相应的组件而不管重要性或顺序如何，并且被用于将组件与另一组件区分开而不限制组件。这些术语可被用于将一个元件与另一元件区分开的目的。例如，第一用户装置和第二用户装置指示不同的用户装置而不管顺序或重要性如何。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，并且类似地，第二元件可被称为第一元件。
将理解的是，当元件(例如，第一元件)与另一元件(例如，第二元件)“(可操作地或通信地)结合”/“(可操作地或通信地)结合到”另一元件(例如，第二元件)或者“连接到”另一元件(例如，第二元件)时，该元件可与另一元件直接结合/直接结合到另一元件，并且在该元件与另一元件之间可存在中间元件(例如，第三元件)。相比之下，将理解的是，当元件(例如，第一元件)与另一元件(例如，第二元件)“直接结合”/“直接结合到”另一元件(例如，第二元件)或者“直接连接到”另一元件(例如，第二元件)时，在该元件与另一元件之间不存在中间元件(例如，第三元件)。
如这里所使用的表述“被配置为(或被设置为)”可根据上下文与“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制作为”或“能够……”互换使用。术语“被配置为(被设置为)”不必须表示在硬件级中“被专门设计为”。相比之下，表述“被配置为……的设备”可指设备在特定上下文中与其他装置或部件一起“能够……”。例如，“被配置为(被设置为)执行A、B和C的处理器”可指用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者能够通过执行存储在存储器装置中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在描述本公开的各种实施例中使用的术语是出于描述特定实施例的目的并且不意在限制本公开。如这里所使用的，除非上下文另有清楚地指示，否则单数形式意在也包括复数形式。除非这里所使用的所有术语(包括技术术语或科学术语)另有定义，否则它们具有与相关领域的普通技术人员通常理解的含义相同的含义。除非在常用字典中定义的术语在这里被清楚地定义，否则它们应被解释为具有与相关技术的上下文含义相同或相似的含义，并且不应被解释为具有理想或夸大的含义。根据情况，即使在本公开中定义的术语也不应被解释为排除本公开的实施例。
如这里所使用的术语“模块”可例如指包括硬件、软件和固件中的一个或它们中的两个或更多个的组合的单元。“模块”可例如与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换地使用。“模块”可以是集成组件元件的最小单元或其一部分。“模块”可以是用于执行一个或更多个功能或其一部分的最小单元。“模块”可被机械地或电子地实现。例如，根据本公开的“模块”可包括用于执行已知或将在以后被开发的操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个。
根据本公开的电子装置可包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book阅读器)、桌上型PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗装置、相机和可穿戴装置中的至少一个。可穿戴装置可包括配件型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成型(例如，电子衣服)、身体安装型(例如，皮肤垫或纹身)和生物可植入型(例如，可植入电路)中的至少一个。
电子装置可以是家用电器。家用电器可包括例如电视机、数字视频光盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄录机和电子相框中的至少一个。
电子装置可包括各种医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机和超声机)、导航装置、全球定位***(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、用于船舶的电子装置(例如，用于船舶的导航装置和回转罗盘)、航空电子装置、安全装置、车头单元、用于家庭或工业的机器人、银行中的自动柜员机(ATM)、商店中的销售点(POS)装置或物联网(IoT)装置(例如，灯泡、各种传感器、电表或燃气表、喷水器装置、火警警报器、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
电子装置可包括家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪和各种测量仪器(例如，水表、电表、燃气表和电磁波计量表)中的至少一个。电子装置可以是上述各种装置之中的一个或更多个的组合。电子装置也可以是柔性装置。此外，电子装置不限于上述装置，并且可包括根据新技术的发展的电子装置。
在下文中，将参照附图对电子装置进行描述。在本公开中，术语“用户”指示使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
图1是根据实施例的电子装置的配置的示图。
参照图1，电子装置10可包括第一相机110、第二相机120、输入模块130、显示器140、存储器150和处理器160。电子装置10还可包括照度传感器或距离传感器中的至少一个。电子装置10的元件中的一些元件可彼此组合以被配置为一个实体。电子装置10可以以相同的方式执行组合之前的元件的功能。在图1示出的输入/输出关系仅为但不限于为便于描述的示例。
第一相机110可包括第一镜头组件和第一图像传感器。第一相机110可以是广角相机。第一镜头组件可被配置为具有第一视角和第一焦距。第一图像传感器可通过将来自外部对象(例如，对象)的通过第一镜头组件透射的光转换为电信号来获得与该外部对象相应的第一图像。由于第一镜头组件的属性，从第一相机110获得的图像可以是对焦在第一视场角(FOV)内的图像。第一图像传感器可被实现为电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
第二相机120可包括第二镜头组件和第二图像传感器。第二相机可以是长焦相机。第二镜头组件可被配置为具有第二视角和第二焦距。第二视角可小于第一视角，并且第二焦距大于第一焦距。第二图像传感器可通过将来自外部对象的通过第二镜头组件透射的光转换为电信号来获得与该外部对象相应的第二图像。由于第一镜头组件的属性与第二镜头组件的属性之间的差异，第二图像可以是对焦在第二FOV内的图像，并且可以是包括第一图像的整个区域的一部分区域的图像。第二FOV可相对窄于第一FOV。第二图像可包括与当第一图像针对第一图像的光学中心被放大指定放大倍率(例如，两倍)时的区域(例如，第一图像的部分区域)相应的图像。相反，部分区域可以是另一区域。然而，作为示例，部分区域被示为上述区域。第二图像传感器可被实现为CCD传感器或CMOS传感器。
第一相机110或第二相机120中的至少一个可检测光量并且可输出关于检测到的光量的信息。所述至少一个相机可选择在以下像素中的至少一个像素中包括的像素：包括在图像传感器的无效区域的列线(不被用于获得图像)中的至少一条列线中的像素和包括在图像传感器的无效区域的行线中的至少一条行线中的像素，并且所述至少一个相机可对由选择的像素的光电二极管检测到的模拟信号进行平均以计算亮度平均值，从而输出计算的亮度平均值作为关于光量的信息。
输入模块130可检测或接收用户输入。输入模块130可包括触摸屏、触摸面板或按钮键中的至少一个。用户输入可与驱动相机、设置图像存储格式、捕捉图像、调整对焦位置或选择应用于图像的效果中的至少一个相关联。
显示器140可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器或电子纸显示器。显示器140可向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器140可基于处理器160的指令显示使用第一相机110或第二相机120中的至少一个获得的图像(例如，实时取景图像)。
存储器150可以是易失性存储器(例如，随机存取存储器(RAM)等)、非易失性存储器(例如，只读存储器(ROM)、闪存等)或易失性存储器与非易失性存储器的组合。存储器150可存储与电子装置10的至少一个其他元件相关联的指令或数据。存储器150可存储用于使用第一图像和第二图像确定深度图信息的指令集。存储器150可存储用于确定深度图信息的属性是否满足指定条件(例如，有效性标准)的指令集。存储器150可存储用于产生指定扩展文件的指令集。存储器150可存储用于在产生或再现扩展文件时执行图像效果功能的指令集。功能可包括放大/缩小功能、重新对焦功能、实时对焦功能等。实时对焦功能可包括基于第一图像和第二图像的对焦位置改变功能或模糊程度调整功能中的至少一个。重新对焦功能可包括基于第一捕捉图像和第二捕捉图像改变对焦位置的功能或调整背景区域的模糊程度的功能中的至少一个功能。
当通过输入模块130验证了请求驱动相机的输入时，处理器160可驱动第一相机110和第二相机120。当第一相机110和第二相机120被驱动时，在实时取景模式下，处理器160可使用第一相机110获得第一图像并且可使用第二相机120获得第二图像，从而在显示器140上输出第一图像或第二图像中的至少一个图像。处理器160可在显示器140上输出第一图像。
处理器160可在实时取景模式下验证图像存储格式的设置。图像存储格式可包括单一图像格式或扩展文件格式中的至少一种。单一图像格式可以是使用第一相机110捕捉的图像(例如，第一捕捉图像)与使用第二相机120捕捉的图像(例如，第二捕捉图像)被分开存储而彼此不相关的格式。扩展文件格式可以是使用第一相机110捕捉的图像(例如，第一捕捉图像)与使用第二相机120捕捉的图像(例如，第二捕捉图像)彼此相关以被存储在一个扩展文件中的格式。可根据使用第一捕捉图像和第二捕捉图像确定的深度图信息的有效性来确定扩展文件格式。
当单一文件格式被设置为图像存储格式时，处理器160在使用第一相机110和第二相机120捕捉每个图像时会无法单独确定深度图信息。另一方面，当扩展文件格式被设置为图像存储格式时，处理器160可使用第一图像和第二图像确定深度图信息，并且可仅当确定的深度图信息满足指定条件时通过使深度图信息与第一捕捉图像和第二捕捉图像相关来产生扩展文件格式。在下文中，将详细给出在处理器160产生扩展文件格式的处理的描述。
在图像捕捉之前，处理器160可在显示器140上输出从第一相机110获得的第一图像或从第二相机120获得的第二图像中的至少一个图像的同时确定每个指定周期的深度图信息。指定周期可以是确定深度图信息的时间。处理器160可使用在第一图像和第二图像上重复的区域之间的视差来确定深度图信息。处理器160可使用立体视觉技术来确定深度图信息。由于重复的区域与第一图像的部分区域相应，故深度图信息可被产生为与第一图像的该部分区域相应的大小，其中，第一图像的该部分区域与第二图像的整个区域相应。
处理器160可确定使用第一图像和第二图像确定的深度图信息的属性是否满足指定条件。当深度图信息的属性满足指定条件时，处理器160可通过使用第一相机110的图像捕捉产生第一捕捉图像并且可通过使用第二相机120的图像捕捉产生第二捕捉图像。指定条件可以是用于确定深度图信息是否有效的标准。指定条件可以是环境照明强度大于或等于指定照明强度。处理器160可基于关于光量的信息确定环境照明强度是否大于或等于指定照明强度。指定条件可以是电子装置10与外部对象之间的距离在指定距离范围内。处理器160可基于包括在深度图信息中的深度值验证电子装置10与外部对象之间的距离并且可确定所确定的距离是否在指定距离范围内。指定距离范围可包括第一相机110的FOV和第二相机120的FOV。指定条件可以是满足指定参考纹理条件的纹理信息(被称为“参考纹理信息”)被包括在深度图信息中。当对焦区域的深度值与对焦区域周围的区域的深度值之间的差小于深度图信息中的指定值时，处理器160可确定参考纹理信息未被包括在深度图信息中。
当使用第一图像和第二图像确定的深度图信息的属性满足指定条件的一部分时，处理器160可仅使用第一相机110和第二相机120中的一个产生第一捕捉图像和第二捕捉图像。指定条件的所述部分可包括与当第一捕捉图像和第二捕捉图像中存在具有更好质量的图像时相应的条件。当环境照明强度小于指定照明强度时或者当电子装置10与外部对象之间的距离小于第一指定距离时，处理器160可使用第一相机产生第一捕捉图像而不使用第二相机120捕捉图像，并且可通过将第一捕捉图像放大(例如，数字地放大)指定放大倍率来产生第二捕捉图像。第一指定距离可小于指定距离范围的下限。第一指定距离可大于或等于包括在第一相机110的FOV中的距离中的最短距离并且可小于包括在第二相机120的FOV中的距离中的最短距离。当电子装置10与外部对象之间的距离大于第二指定距离时，处理器160可使用第二相机120产生第一捕捉图像而不使用第一相机110捕捉图像，并且可通过将第一捕捉图像放大(例如，数字地放大)指定放大倍率来产生第二捕捉图像。第二指定距离可大于或等于指定距离范围的上限。第二指定距离可以是大于或等于包括在第二相机120的FOV中的距离中的最长距离的距离。
当在实时取景模式下使用第一图像和第二图像确定的深度图信息的属性不满足指定条件时，处理器160会在当第一捕捉图像使用第一相机110被产生时并且当第二捕捉图像使用第二相机120被产生时无法使用第一捕捉图像和第二捕捉图像确定深度图。所述时刻可以是当通过输入模块130的对图像捕捉的请求被验证时以及当随着执行图像捕捉而完成了第一捕捉图像和第二捕捉图像的产生时的时刻。当使用第一图像和第二图像确定的深度图信息无效时，处理器160可通过跳过使用第一捕捉图像和第二捕捉图像确定深度图信息的处理来跳过产生扩展文件的处理中的不必要的处理。
当在实时取景模式下使用第一图像和第二图像确定的深度图信息的属性满足指定条件时并且当分别使用第一相机110和第二相机120产生第一捕捉图像和第二捕捉图像时，处理器160可使用第一捕捉图像和第二捕捉图像确定深度图信息并且可重新验证确定的深度图信息的属性是否满足指定条件。尽管在使用第一相机110和第二相机120的图像捕捉之前(例如，在实时取景模式下)深度图信息是有效的，但根据实施例的处理器160可重新确定深度图信息的有效性是否因图像捕捉期间的环境变化等而被改变。
当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性满足指定条件作为重新验证的结果时，处理器160可使用第一捕捉图像和第二捕捉图像产生处理的图像。处理器160可从第一相机110或第二相机120中的至少一个接收对焦区域的位置信息并且可基于接收到的位置信息验证对焦区域。对焦区域可包括包含人的区域。处理器160可验证第二捕捉图像上的对焦区域并且可基于深度图信息通过处理对焦区域的深度值不同的区域来产生处理的图像。处理可包括模糊、灵敏度劣化等。处理的图像可包括与第二捕捉图像相应的区域。
当处理的图像被产生时，处理器160可产生包括第一捕捉图像、第二捕捉图像和处理的图像的第一格式的扩展文件并且可将第一格式的扩展文件存储在存储器150中。第一格式的扩展文件可包括第一捕捉图像、第二捕捉图像、深度图信息、处理的图像和元数据。元数据可包括除了与第一捕捉图像和第二捕捉图像相关联的基本信息之外的深度图信息和关于处理的图像的信息。基本信息可包括图像捕捉时间、图像捕捉位置(例如，GPS)、第一捕捉图像与第二捕捉图像之间的相应信息等。相应信息可包括第一捕捉图像和第二捕捉图像中的每一个的光学中心或者关于相对于光学中心彼此相应的区域的信息中的至少一个。深度图信息和元数据可被存储为关于第一捕捉图像和第二捕捉图像中的每一个的属性的信息。
当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性不满足指定条件时，处理器160可产生不包括深度图信息的第二格式的扩展文件，并可将第二格式的扩展文件存储在存储器150中。第二格式的扩展文件可包括第一捕捉图像、第二捕捉图像和元数据。元数据可包括基本信息并且可不包括深度图信息。
当对叠置指定对象的请求(称为“叠置模式”)通过输入模块130被接收到时，处理器160可在第一图像与第二图像之中的在显示器140上输出的图像上叠置指定对象。指定对象可以是叠置在用户眼部区域上的太阳镜图像、叠置在用户头部区域上的帽子图像等。
在叠置模式下，处理器160可使用第一图像和第二图像确定每个指定周期的深度图信息并且可验证确定的深度图信息的属性是否满足指定条件。当使用第一图像和第二图像确定的深度图信息的属性不满足指定条件时，处理器160尽管使用第一相机110或第二相机120中的至少一个产生第一捕捉图像和第二捕捉图像但也会无法使用第一捕捉图像和第二捕捉图像确定深度图信息。当使用第一图像和第二图像确定的深度图信息的属性满足指定条件时，处理器160可使用第一捕捉图像和第二捕捉图像确定深度图信息并且可重新验证确定的深度图信息的属性是否满足指定条件。
在叠置模式下，当使用第一图像和第二图像确定的深度图信息的属性不满足指定条件时或者当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性不满足指定条件时，处理器160可产生指定对象的二维(2D)位置信息并且可结合第一捕捉图像或第二捕捉图像中的至少一个存储2D位置信息。2D位置信息可包括指定对象被叠置在第一捕捉图像或第二捕捉图像中的至少一个上的区域的2D坐标(x,y)以及关于指定对象的原始角度的旋转角度。处理器160可产生包括2D位置信息的第三格式的扩展文件并且可将第三格式的扩展文件存储在存储器150中。第三格式的扩展文件可包括第一捕捉图像、第二捕捉图像、2D位置信息和元数据。处理器160可将被指定为与2D位置信息相应的对象与第一捕捉图像或第二捕捉图像合成。第三格式的扩展文件可不单独地包括2D位置信息。
在叠置模式下，当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性满足指定条件时，处理器160可基于确定的深度图信息验证指定对象的三维(3D)位置信息并且可结合第一捕捉图像、第二捕捉图像和深度图信息存储3D位置信息。3D位置信息可包括指定对象被叠置在第一捕捉图像和第二捕捉图像中的至少一个捕捉图像上的区域的3D坐标或3D旋转角度中的至少一个。3D旋转角度可包括相对于指定对象的参考点关于轴(x,y,z)的旋转角度。处理器160可产生包括3D位置信息的第四格式的扩展文件并且可将第四格式的扩展文件存储在存储器150中。第四格式的扩展文件可包括第一捕捉图像、第二捕捉图像、深度图信息、3D位置信息和元数据。处理器160可将被指定为与3D位置信息相应的对象与第一捕捉图像或第二捕捉图像中的至少一个合成，并且可存储合成指定对象的图像而非第一捕捉图像或第二捕捉图像中的至少一个捕捉图像。第四格式的扩展文件可不包括3D位置信息。
当对再现存储的扩展文件的请求通过输入模块130被接收到时，处理器160可在显示器140上输出扩展文件以与被请求再现的扩展文件的格式相应。当扩展文件在图库上被选择时，处理器160可确定请求再现扩展文件。
当扩展文件具有包括第一捕捉图像、第二捕捉图像、深度图信息、处理的图像和元数据的第一格式时，处理器160可在再现扩展文件时在显示器140上输出第一捕捉图像、第二捕捉图像或处理的图像的至少一部分。当扩展文件被选择时，处理器160可在显示器140上输出扩展文件的代表性图像。代表性图像可以是第二图像或处理的图像。
在显示器140上输出代表性图像的同时，当放大功能通过输入模块130被请求时，处理器160可在显示器140上输出第一捕捉图像。处理器160可使代表性图像淡出并且可使第一捕捉图像淡入。当在显示器140上输出第一捕捉图像的同时缩小功能通过输入模块130被请求时，处理器160可在显示器140上输出代表性图像。处理器160可使第一捕捉图像淡出并且可使代表性图像淡入。处理器160可通过存储双相机(例如，第一相机110和第二相机120)的捕捉图像而不合成捕捉图像来防止在执行放大/缩小功能的处理中的图像质量劣化。
当在显示器140上输出代表性图像时，当重新对焦功能通过输入模块130被请求时，处理器160可基于包括在扩展文件中的深度图的深度信息对代表性图像施加重新对焦效果，并且可在显示器140上输出施加了重新对焦效果的代表性图像。处理器160可从代表性图像验证与将被改变的对焦位置相应的深度值，并且可通过模糊具有与从第二捕捉图像验证的深度值不同的深度值的区域来输出改变对焦位置的图像。当对存储具有改变的对焦位置的图像的请求被接收到时，处理器160可重新存储图像或者可更新并存储处理的图像。当对增加或降低对代表性图像的模糊程度的请求被接收到时，处理器160可使用处理的图像或第二捕捉图像针对具有与对焦区域的深度值不同的深度值的区域(例如，背景区域)增加或降低模糊程度。处理器160可在完成图像的捕捉时改变针对图像的对焦位置或模糊程度。
当扩展文件具有第一格式时，在输出扩展文件的代表性图像的同时，当在代表性图像上第一区域被选择并且当对将第一对象叠置在选择的区域上的请求被接收到时，处理器160可根据选择的区域的深度值确定第一对象的3D位置信息(例如，旋转角度和将被叠置的深度)，并且可叠置对象以与确定的3D位置信息相应。由于深度图信息是有效的，故可使用有效深度图信息使利用扩展文件表示的3D效果有效。当在捕捉的图像上叠置对象时，处理器160可使对象具有立体效果。
当扩展具有包括第一捕捉图像、第二捕捉图像和元数据的第二格式时，处理器160可在再现扩展文件时在显示器140上输出第一捕捉图像或第二捕捉图像的至少一部分。处理器160可验证在第一捕捉图像和第二捕捉图像之中通过输入模块130选择的图像并且可在显示器140上输出选择的图像。处理器160可在显示器140上输出第一捕捉图像和第二捕捉图像之中的代表性图像。处理器160可在显示器140上输出选择的图像或代表性图像时提供放大/缩小功能。当在显示器140上输出第一捕捉图像和第二捕捉图像中的一个的同时放大/缩小功能被请求时，处理器160可输出第一捕捉图像和第二捕捉图像中的另一图像。
当扩展文件具有包括第一捕捉图像、第二捕捉图像、指定对象的2D位置信息和元数据的第三格式时，处理器160可根据扩展文件在根据2D位置信息的位置上的再现来叠置并输出在显示器140上输出的代表性图像中指定的对象。
当扩展文件具有包括第一捕捉图像、第二捕捉图像、深度图信息、指定对象的3D位置信息和元数据的第四格式时，处理器160可根据第四格式的扩展文件在根据3D位置信息的位置上的再现来叠置并输出在显示器140上输出的代表性图像中指定的对象。
处理器160可与另一电子装置(例如，服务器)共享第一捕捉图像和第二捕捉图像。处理器160可经由通信模块将第一捕捉图像、第二捕捉图像或扩展文件中的与通过输入模块130的输入相应的图像或文件发送到另一电子装置。电子装置10可从所述另一电子装置接收存储在所述另一电子装置中的第一捕捉图像、第二捕捉图像或扩展文件。电子装置10可从所述另一电子装置接收第一捕捉图像、第二捕捉图像或扩展文件中的与通过输入模块130的输入相应的图像或文件。
当显示扩展文件的缩略图时，处理器160还可显示与扩展文件相关联的功能信息。当显示‘图库’文件夹中的扩展文件的缩略图时，处理器160还可显示与扩展文件相关联的功能信息。功能信息可包括关于在再现扩展文件时自动提供的功能的信息。当扩展文件(例如，第二格式的扩展文件)提供放大/缩小功能时，扩展文件的功能信息可包括指示自动提供放大/缩小功能的图标(例如，文本缩放)。当扩展文件(例如，第一格式的扩展文件)能够提供放大/缩小功能和重新对焦功能时，扩展文件的功能信息可包括指示能够提供放大/缩小功能的图标(例如，文本缩放)和指示能够提供重新对焦功能的图标(例如，文本对焦)。
当响应于对再现扩展文件的请求再现扩展文件时，处理器160可自动提供放大/缩小功能。在输出包括在扩展文件中的第二捕捉图像的同时，处理器160可输出包括在扩展文件中的第一捕捉图像。在输出第二捕捉图像的同时，处理器160可具有指定的转换效果并且可输出第一捕捉图像。所述指定转换效果可包括淡入/淡出效果、模糊整个图像等。处理器160可首先输出包括在扩展文件中的第一捕捉图像，并且随后可输出包括在扩展文件中的第二捕捉图像。
当响应于对再现扩展文件的请求再现扩展文件时，处理器160可自动提供重新对焦功能。当再现扩展文件时，在输出包括在扩展文件中的第一区域被对焦的第二捕捉图像的同时，处理器160可输出第二区域被对焦的第二捕捉图像。当输出近距离对象被对焦的第二捕捉图像时，处理器160可输出远距离对象被对焦的第二捕捉图像。在输出远距离对象被对焦的第二捕捉图像的同时，处理器160可输出近距离对象被对焦的第二图像捕捉图像。处理器160可基于近距离对象的深度值与远距离对象的深度值之间的差来确定提供具有不同对焦区域的第二捕捉图像的速度。当近距离对象的深度值与远距离对象的深度值之间的差大时，从具有近距离对象对焦的第二捕捉图像到具有远距离对象对焦的第二捕捉图像的速度改变快，并且相反情况时，速度可慢。元数据可包括在再现扩展文件时自动提供的功能信息、提供功能的速度(例如，改变图像的速度)、指定的转换效果(例如，模糊效果)等。
处理器160可使用照度传感器验证环境照明强度。此外，处理器160可使用距离传感器验证电子装置10与外部对象之间的距离。
电子装置10可使用立体视觉技术产生深度图信息。电子装置10可包括深度传感器并且可使用深度传感器获得深度图信息。电子装置10可确定用于第一图像的整个区域或第二图像的整个区域的深度图信息。
根据各种实施例，在实时取景模式下，处理器160可在存储器150处临时存储(例如，存储在易失性存储器处)通过使用第一图像和第二图像确定的深度图信息。处理器160可在使用第一相机110和第二相机120获得第一捕捉图像和第二捕捉图像时存储(例如，存储在非易失性存储器处)或者擦除临时存储的深度图信息。
根据一个实施例，当通过使用第一图像和第二图像确定的深度图信息的属性满足指定条件时，当第一捕捉图像和第二捕捉图像通过使用第一相机110和第二相机120被获得时，处理器160可结合第一图像和第二图像来存储临时存储的深度图信息。例如，处理器160可使临时存储的深度图信息与第一图像和第二图像相关联，并且产生包括临时存储的深度图信息以及第一图像和第二图像的扩展文件。在这种情况下，处理器160可跳过使用第一捕捉图像和第二捕捉图像确定深度图信息的操作。关于此点，处理器160可验证第一图像和第二图像是否与第一捕捉图像和第二捕捉图像分别相应。另外，如果第一图像和第二图像与第一捕捉图像和第二捕捉图像分别相应，则处理器160可跳过使用第一捕捉图像和第二捕捉图像确定深度图信息的操作。当包括在第一图像和第二图像中的对象由第一捕捉图像和第二捕捉图像组成时，处理器160例如可确定第一图像和第二图像与第一捕捉图像和第二捕捉图像相应。
根据一个实施例，当通过使用第一图像和第二图像确定的深度图信息的属性不满足指定条件时，当第一捕捉图像和第二捕捉图像通过使用第一相机110和第二相机120被获得时，处理器160可擦除临时存储的深度图信息。
电子装置10可使用深度图信息确定包括具有较好质量的内容(例如，图像、深度图信息等)的文件的结构。
一种电子装置包括第一相机、第二相机和处理器。处理器被配置为使用第一相机获得第一图像并使用第二相机获得第二图像，使用第一图像和第二图像确定与外部对象相应的深度信息，当深度信息的属性满足第一指定条件时，结合第一图像和第二图像存储深度信息，并且当深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的深度信息的存储。
根据实施例，电子装置还包括显示器。处理器还被配置为在显示器上将第一图像或第二图像的至少一部分输出为实时取景的步骤的至少一部分期间确定深度信息，并且响应于图像捕捉请求执行深度信息的存储。
根据实施例，处理器还被配置为当满足指定参考纹理条件的参考纹理信息被包括在深度信息中时、当环境照明强度满足指定照明范围时、或者当外部对象与电子装置之间的距离满足指定距离范围时，确定深度信息的属性满足第一指定条件。
根据实施例，处理器还被配置为使用指定格式将第一图像、第二图像和深度信息存储在一个文件中。
根据实施例，处理器还被配置为当深度信息的属性不满足第一指定条件时，确定深度信息的属性满足第二指定条件。
根据实施例，第二图像包括与第一图像被放大指定放大倍率的区域相应的图像。
根据实施例，处理器还被配置为使用深度信息或拍摄条件中的至少一个确定存储第一图像和第二图像的文件的结构。
根据实施例，处理器还被配置为通过根据外部对象与电子装置之间的距离或环境照明强度中的至少一个选择性地使用第一相机或第二相机来获得第一图像和第二图像。
根据实施例，处理器还被配置为当结合深度信息存储的第一图像或第二图像中的至少一个被选择时，在显示器上输出包括第一图像和第二图像的图像中的代表性图像。
根据实施例，处理器还被配置为当对改变结合深度信息存储的第一图像或第二图像中的至少一个的对焦区域的请求被接收到时，响应于所述请求基于深度信息改变第一图像或第二图像中的所述至少一个的对焦区域。
根据实施例，处理器还被配置为当对调整结合深度信息存储的第一图像或第二图像中的至少一个的背景模糊程度的请求被接收到时，响应于所述请求基于深度信息调整第一图像或第二图像中的所述至少一个的背景模糊程度。
图2a至2d是根据实施例的扩展文件的格式的示图。存储在扩展文件中的图像顺序的扩展文件的结构可被改变。扩展文件可被配置使得处理的图像被首先定位。
参照图2a至图2d，当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性满足指定条件时，处理器可产生第一格式的扩展文件。如图2a中所示出的，第一格式的扩展文件可包括长焦图像(例如，第二图像)、广角图像(例如，第一捕捉图像)、失焦图像(例如，处理的图像)、深度图信息和元数据。
当使用第一图像和第二图像确定的深度图信息的属性不满足指定条件时或者当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性不满足指定条件时，处理器可产生第二格式的扩展文件。如图2b中所示出的，第二格式的扩展文件可包括长焦图像(例如，第二捕捉图像)、广角图像(例如，第一捕捉图像)和元数据。
在叠置模式下，当使用第一图像和第二图像确定的深度图信息的属性不满足指定条件时或者当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性不满足指定条件时，处理器可产生第三格式的扩展文件。如图2c中所示出的，第三格式的扩展文件可包括长焦图像(例如，第二捕捉图像)、广角图像(例如，第一捕捉图像)、2D对象信息和元数据。
在叠置模式下，当使用第一捕捉图像和第二捕捉图像确定的深度图信息的属性满足指定条件时，处理器可产生第四格式的扩展文件。如图2d中所示出的，第四格式的扩展文件可包括长焦图像(例如，第二捕捉图像)、广角图像(例如，第一捕捉图像)、3D对象信息、深度图信息和元数据。
扩展文件的格式可根据有效深度图信息的范围以包括多种内容的形式被配置。
图3a至图3c是根据实施例的深度图图像的示图。图3a至图3c示出了并行的三个深度图图像。
参照图3a，深度图图像可显示有集中在相对靠近第一相机和第二相机的区域上的亮部，并且可显示有集中在相对远离第一相机和第二相机的区域上的暗部。在图3a中，在深度图图像中，对焦区域与背景区域之间的差可大于或等于指定值。处理器可确定参考纹理不被包括在深度图图像中。
在图3b或3c中，可验证对焦区域与背景区域之间的差小于指定值或者参考纹理信息未被包括在深度图信息中。
图4是根据实施例的叠置模式的UI屏幕的示图。
参照图4，处理器可在叠置模式下基于使用第一捕捉图像和第二捕捉图像确定的深度图信息来验证叠置对象(例如，面具图像)400的区域的深度值，并且可基于验证的深度值确定对象400的3D位置信息。处理器可通过使第一捕捉图像和第二捕捉图像与对象400的3D位置信息相关联来产生第四格式的扩展文件并且可将产生的扩展文件存储在存储器中。此后，当第四格式的扩展文件被选择时，处理器可叠置并显示对象400以进一步提供3D效果。
图5是根据实施例的第一图像与第二图像之间的关系的示图。
参照图5，由于第一相机的属性，故图像1可以是第一尺寸的图像。由于第二相机的属性，故图像2可以是第二尺寸的图像。理想地，由于第一相机的光学中心与第二相机的光学中心彼此相同，故图像2可与放大指定放大倍率的区域的图像相应。对焦区域可在包括在图像2中的区域上。
由于深度图图像针对在图像1和图像2中重复的区域被确定或产生，故深度图图像可与图像2的区域和尺寸相应。
图6a至图6e是根据实施例的产生扩展文件的处理的实时取景模式的UI屏幕的示图。实时取景模式可以是在图像捕捉之前在显示器上输出将被捕捉的图像的模式。
参照图6a至6e，处理器可在实时取景模式下提供实时对焦功能。例如，处理器可在实时取景模式下基于使用第一图像和第二图像确定的深度图信息的属性提供实时对焦功能。实时对焦功能可包括增加或降低除了对焦区域之外的区域的模糊程度的功能。处理器可输出指示能够在实时取景模式下调整的整个模糊程度的第一对象610和用于设置将被选择的模糊程度的第二对象620。处理器可通过输入模块验证与设置第二对象620(例如，拖动第二对象620)相应的模糊程度并且可模糊背景区域以与验证的模糊程度相应。
参照图6a，当深度图信息的属性满足指定条件时，处理器可通知用户能够实时调整对焦(例如，能够提供实时对焦功能)。处理器可从使用第一图像和第二图像确定的深度图信息的属性验证外部对象与电子装置之间的距离在指定距离范围内，并且可从关于从第一相机或第二相机提供的光量的信息验证环境照明强度大于或等于指定照明强度以及参考纹理信息被包括在深度图信息中。处理器可显示用于通知用户能够使用输入模块的操作提供实时对焦功能的第一句子。第一句可以是“实时对焦可用”。
参照图6b，处理器可使用利用第一图像和第二图像确定的深度图信息的属性验证外部对象与电子装置之间的距离小于指定距离范围的下限。处理器可在显示器上输出用于通知用户电子装置应与外部对象被分开布置的第二句子。第二句子可以是句子“离对象约4英尺”。
参照图6c，处理器可基于深度图信息的属性、第一图像的属性或第二图像的属性中的至少一个验证第一相机或第二相机被遮挡。当验证第一图像与第二图像之间的差大于来自使用第一图像和第二图像确定的深度图信息的属性的指定差标准时，处理器可验证第一相机或第二相机被遮挡。处理器可在显示器上输出用于通知用户第一相机或第二相机被遮挡的第三句子。第三句子可以是句子“后置相机被遮挡”。
参照图6d，处理器可使用深度图信息的属性验证满足参考纹理条件的参考纹理信息未包括在深度图信息中。当对焦区域的深度值与对焦区域周围的区域的深度值之间的差小于深度图信息中的指定值时，处理器可验证参考纹理信息未包括在深度图信息中。当参考纹理信息未被包括在深度图信息中时，处理器可在显示器上输出用于通知用户由于拍摄条件导致不能够提供实时对焦功能的第四句子。第四句子可以是句子“由于拍摄条件导致未应用实时对焦”。
参照图6e，当环境照明强度小于指定照明强度时，处理器可在显示器上输出用于通知用户由于低环境照明强度导致不能够提供实时对焦功能的第五句子。第五句子可以是句子“不可使用实时对焦。没有足够的光。”
在图6b至图6e中，当通过使用第一相机和第二相机的图像捕捉来产生第一捕捉图像和第二捕捉图像时，处理器会无法使用第一捕捉图像和第二捕捉图像产生深度图信息。另一方面，在图6a中，处理器160可通过使用第一相机和第二相机的图像捕捉产生第一捕捉图像和第二捕捉图像，并且可重新验证从第一捕捉图像和第二捕捉图像确定的深度图信息的属性是否满足指定条件。作为重新验证的结果，当深度图信息的属性满足指定条件时，处理器可结合第一捕捉图像和第二捕捉图像存储深度图信息。
图7是根据实施例的重新对焦功能的示图。
参照图7的附图标号710，处理器可验证用于请求执行图像捕捉的输入。用于请求执行图像捕捉的输入可以是对被分配为执行图像捕捉的对象711的选择。处理器可根据执行图像捕捉的请求产生第一捕捉图像和第二捕捉图像，并可结合深度图信息将第一捕捉图像和第二捕捉图像作为扩展文件存储在存储器中。此后，处理器可验证用于请求再现存储的扩展文件的输入。当验证选择被分配为再现最近存储的扩展文件的对象713时，处理器可获取最近存储的扩展文件。扩展文件可包括第一捕捉图像、第二捕捉图像和深度图信息。
参照附图标号720、附图标号730和附图标号740，处理器可在显示器上输出包括在获取的扩展文件中的代表性图像(例如，第二捕捉图像)，并且可提供用于包括在获取的扩展文件中的图像的重新对焦功能(例如，调整模糊程度的功能或改变对焦位置的功能)。当被分配为执行调整模糊程度的功能的对象751被选择时，处理器可根据使用对象751的设置(例如，对象751的拖动位置)使用第二捕捉图像改变除了对焦区域之外的背景区域的模糊程度。当特定区域在获取的扩展文件的代表性图像(例如，第一捕捉图像)上被选择时，处理器可将选择的区域验证为将被改变的对焦区域并且可模糊具有与验证的位置的深度值不同的深度值的区域。处理器可执行模糊以与对焦区域和对焦区域周围的区域之间的深度差相应。
参照附图标号720，当近距离对象(例如，杯子721)被选为将被改变的对焦位置时，处理器可验证杯子721的深度值并可在第二捕捉图像上针对杯子721的深度值模糊具有与杯子721的深度值不同的深度值的区域。
参照附图标记730，当中距离背景对象(例如，中间分区731)被选为将被改变的对焦位置时，处理器可在第二捕捉图像上针对分区731的深度值模糊具有与分区731的深度值不同的深度值的区域。
参照附图标号740，当远距离对象(例如，后方玩偶741)被选为将被改变的对焦位置时，处理器可在第二捕捉图像上针对玩偶741的深度值模糊具有与玩偶741的深度值不同的深度值的区域。
处理器可将应用了重新对焦功能的图像存储在新文件(例如，扩展文件)中。当被分配给保存为新文件的功能的菜单图标761被选择时，处理器可将应用了重新对焦功能的文件保存为新扩展文件。
图8a是根据实施例的再现扩展文件的处理的示图。
参照附图标号810，当在包括扩展文件的“图库”文件夹中选择了任何扩展文件时，处理器可验证选择的文件是包括深度图信息的扩展文件。
参照附图标号820，处理器可在显示器上输出包括在扩展文件中的代表性图像(例如，第二捕捉图像)。处理器可在代表性图像上输出用于可应用于包括在扩展文件中的图像的功能的菜单图标(例如，UI)。菜单图标可包括用于选择重新对焦功能的第一菜单图标821和用于选择放大/缩小功能的第二菜单图标823。
图8b是根据实施例的当在包括在扩展文件中的图像上选择重新对焦功能时的UI屏幕的示图。
参照图8a和图8b，当用于选择重新对焦功能的第一菜单图标821被选择时，在调整第二捕捉图像上除了对焦区域之外的背景区域的模糊程度的同时，处理器可在显示器上输出调整模糊程度的第二捕捉图像。例如，如830中所示出的，当模糊程度从第一菜单图标821的设置被设置为第一值(例如，最大值)时，处理器可模糊第二捕捉图像上除了对焦区域之外的背景区域与第一值相应。第一值可以是最高可配置强度。如840中所示出的，当模糊程度从第一菜单图标821的设置被设置为第二值(例如，最小值)时，处理器可输出未模糊背景区域的第二捕捉图像。
图8c是根据实施例的当放大/缩小效果被应用于包括在扩展文件中的图像时的UI屏幕的示图。
参照图8a和图8c，当如850处所示出的用于选择放大/缩小功能的第二菜单图标823被选择时，在显示器上输出代表性图像(例如，第二捕捉图像)的同时，处理器可在显示器上输出第一捕捉图像。可选地，如860处所示出的，当在显示器上输出第一捕捉图像的同时，处理器可在显示器上输出代表性图像(例如，第二捕捉图像)。
图9a是根据实施例的扩展文件的缩略图的示图。
参照图9a，如910处所示出的，处理器可在扩展文件的缩略图上显示与扩展文件相关联的功能信息。功能信息可包括关于在再现扩展文件时自动提供的功能的信息。当扩展文件是为了提供放大/缩小功能时，扩展文件的功能信息可包括指示自动提供放大/缩小功能的图标(例如，文本缩放)。当扩展文件能够提供放大/缩小功能和重新对焦功能时，扩展文件的功能信息可包括指示能够提供放大/缩小功能的图标(例如，文本缩放)和指示能够提供重新对焦功能的图标(例如，文本对焦)。
图9b是根据实施例的指示在再现扩展文件时自动执行放大/缩小功能的UI屏幕的示图。
参照图9b，当响应于对再现扩展文件的请求再现扩展文件时，处理器可自动地提供放大/缩小功能。如920处所示出的，在输出包括在扩展文件中的第二捕捉图像的同时，处理器可输出包括在扩展文件中的第一捕捉图像。如930处所示出的，在输出第二捕捉图像的同时，当将第二捕捉图像转换为第一捕捉图像时，处理器可提供指定的转换效果。指定转换效果可包括淡入/淡出效果等。如940处所示出的，处理器可首先输出包括在扩展文件中的第一捕捉图像并且随后可输出包括在扩展文件中的第二捕捉图像。
图9c和图9d是根据实施例的指示在再现扩展文件时自动执行重新对焦功能的UI屏幕的示图。
参照图9c和图9d，当响应于对再现扩展文件的请求再现扩展文件时，处理器可自动提供重新对焦功能。当在950处输出诸如近距离对象(例如，杯子)被对焦的第二捕捉图像时，处理器可在960处输出诸如远距离对象(例如，后方玩偶)被对焦的第二捕捉图像。在图9d中，在970处输出远距离对象(例如，玩偶)和近距离对象(例如，杯子)两者被对焦的第一捕捉图像的同时，处理器可在980处输出具有仅近距离对象被对焦并且远距离对象未被对焦的第二捕捉图像。
处理器可基于近距离对象的深度值与远距离对象的深度值之间的差确定提供每个具有不同对焦区域的第二捕捉图像的速度。当近距离对象的深度值与远距离对象的深度值之间的差大时，包括近距离对象被对焦的第二捕捉图像被转换为包括远距离对象被对焦的第二捕捉图像的速度相对快，并且反之亦然，速度可被确定为相对慢。元数据可包括在再现扩展文件时自动提供的功能信息、提供功能的速度(例如，改变图像的速度)、指定的转换效果(例如，模糊效果)等。
图10是根据实施例的用于产生扩展文件的流程图。图10示出用于在图像存储格式被设置为扩展文件时存储图像的方法。
参照图10，在步骤1010，当当前模式是实时取景模式时，处理器可驱动第一相机和第二相机。处理器可使用第一相机获得第一图像并且可使用第二相机获得第二图像。
在步骤1020，处理器可在显示器上输出第一图像或第二图像的至少一部分作为实时取景模式的代表性图像。处理器可在显示器上输出第二图像。处理器可在显示器上输出与第二图像相应的第一图像的部分区域。
在步骤1030，处理器可确定是否达到指定周期。当达到指定周期时，在步骤1040，处理器可使用第一图像和第二图像确定深度图信息。指定周期可以是被设置为验证确定的深度图信息的有效性的周期。
在步骤1050，处理器可确定深度图信息的属性是否满足指定条件。指定条件可以是验证深度图信息的有效性的标准。
在深度图信息的属性满足指定条件的条件下，在步骤1060，处理器可确定是否通过输入模块接收到图像捕捉请求。
当接收到图像捕捉请求时，在步骤1070，处理器可根据使用第一相机和第二相机的图像捕捉产生第一捕捉图像和第二捕捉图像，并且可使用第一捕捉图像和第二捕捉图像确定深度图信息。处理器可使第一捕捉图像、第二捕捉图像和深度图信息关联并且可存储包括第一捕捉图像、第二捕捉图像和深度图信息的扩展文件。处理器可使用第一捕捉图像、第二捕捉图像和深度图信息模糊第二捕捉图像上除了对焦区域之外的区域并且可产生还包括模糊的处理图像的扩展文件。
当在步骤1050确定深度图信息的属性不满足指定条件时，在步骤1080，处理器会无法使用第一图像和第二图像确定深度图信息。当产生第一捕捉图像和第二捕捉图像时，处理器可单独存储第一捕捉图像和第二捕捉图像或者可使第一捕捉图像与第二捕捉图像相关联并存储第一捕捉图像和第二捕捉图像。
在步骤1090，处理器可确定是否接收到对结束实时取景模式的请求。当接收到对结束实时取景模式的请求时，处理器可结束上述步骤1080和步骤1090。当接收到对停止执行图像捕捉的请求时或者当选择“图库”文件夹时，处理器可确定接收到对结束实时取景模式的请求。当未接收到对结束实时取景模式的请求时，处理器可分支到步骤1020。
图11是根据实施例的用于验证深度信息的有效性的流程图。图11的每个步骤可在实时取景模式下被周期性地执行或者可在请求图像捕捉时被执行。
参照图11，在步骤1110，处理器可从深度图信息确定在对焦区域中是否包括参考纹理信息。当深度图信息的对焦区域的深度值和与对焦区域相邻的背景区域的深度值之间的差小于指定值时，处理器可确定参考纹理信息未包括在对焦区域中。
在步骤1120，处理器可确定电子装置与外部对象之间的距离是否在指定距离范围内。处理器可基于包括在深度图信息中的深度值验证电子装置与外部对象之间的距离，并可确定验证的距离是否在指定距离范围内。指定距离范围可包括第一相机的FOV和第二相机的FOV。
在步骤1130，处理器可确定环境照明强度是否大于或等于指定照明强度。处理器可从第一相机或第二相机接收关于光量的信息，并且可基于关于光量的信息确定环境照明强度是否大于或等于指定照明强度。指定照明强度可以是用于确定低照明环境的标准并且可被实验确定。
在步骤1140，当在对焦区域中包括参考纹理信息时、当电子装置与外部对象之间的距离在指定距离范围内时、并且当环境照明强度大于或等于指定照明强度时，处理器可确定深度图信息满足指定条件。
在步骤1150，当在以下条件中的至少一个条件时，处理器可确定深度图信息不满足指定条件：在对焦区域中未包括参考纹理信息、电子装置与外部对象之间的距离不符合指定距离范围、并且环境照明强度小于指定照明强度。
图12是根据实施例的用于产生捕捉图像的流程图。
参照图12，在步骤1210，处理器可确定是否通过输入模块接收到图像捕捉请求。
在步骤1220，处理器可确定环境照明强度是否小于指定照明强度或电子装置与外部对象之间的距离是否小于第一指定距离。指定照明强度可以是用于确定低照明环境的标准并且可被实验确定。第一指定距离可小于指定距离范围的下限。
当在步骤1220确定环境照明强度小于指定照明强度或者电子装置与外部对象之间的距离小于第一指定距离时，在步骤1230，处理器可使用第一相机获得第一捕捉图像并且可通过将第一捕捉图像放大指定放大倍率获得第二捕捉图像。
当在步骤1220确定环境照明强度大于或等于指定照明强度或者电子装置与外部对象之间的距离大于或等于第一指定距离时，在步骤1240，处理器可确定电子装置与外部对象之间的距离是否大于第二指定距离。第二指定距离可大于或等于指定距离范围的上限。
当在步骤1240确定电子装置与外部对象之间的距离大于第二指定距离时，在步骤1250，处理器可使用第二相机获得第一捕捉图像并且可通过将第一捕捉图像放大指定放大倍率获得第二捕捉图像。
当在步骤1240确定电子装置与外部对象之间的距离小于或等于第二指定距离时，在步骤1260，处理器可使用第一相机获得第一捕捉图像并且可使用第二相机获得第二捕捉图像。
当在步骤1230至步骤1260使用第一相机或第二相机获得第一捕捉图像和第二捕捉图像时，在步骤1270，处理器可使第一捕捉图像与第二捕捉图像相关联并将第一捕捉图像与第二捕捉图像存储在扩展文件中。当深度图信息满足指定条件时，处理器可使用第一捕捉图像和第二捕捉图像产生深度图信息，并且重新确定深度图信息的属性是否满足指定条件。当深度图信息的属性满足指定条件时，处理器可存储还包括深度图信息的扩展文件。
图13是根据实施例的用于再现扩展文件的流程图。
参照图13，在步骤1310，在从“图库”文件夹中选择扩展文件之后，处理器可确定是否接收到对再现扩展文件的请求。
在步骤1320，当接收到对再现扩展文件的请求时，处理器可输出包括在扩展文件中的图像中的代表性图像和菜单图标。代表性图像可以是处理的图像或第一捕捉图像。菜单图标可包括用于选择重新对焦功能的第一菜单图标和用于选择放大/缩小功能的第二菜单图标中的至少一个。
在步骤1330，处理器可确定是否请求重新对焦功能。处理器可确定是否选择用于选择重新对焦功能的第一菜单图标。
在步骤1340，当请求了重新对焦功能时，处理器可输出用于改变对焦位置或调整模糊程度的UI屏幕。UI屏幕可包括与处理的图像一起的用于改变对焦位置或调整模糊程度的界面(例如，菜单图标)。
在步骤1350，处理器可确定是否通过UI屏幕接收到对改变对焦位置的请求。当在UI屏幕上选择任何区域时，处理器可确定接收到对改变对焦位置的请求。
当接收到对改变对焦位置的请求时，在步骤1360，处理器可在第二捕捉图像上模糊具有与对焦区域的深度值不同的深度值的区域，并且可输出模糊的第二捕捉图像。
在步骤1370，处理器可确定是否通过UI屏幕接收到对调整模糊程度的请求。当在UI屏幕上操作被分配为调整模糊程度的第三菜单图标时，处理器可确定接收到对调整模糊程度的请求。
当接收到对调整模糊程度的请求时，在步骤1375，处理器可调整代表性图像的模糊程度以与第三菜单图标的操作相应并且可输出调整了模糊程度的代表性图像。
在步骤1380，处理器可确定是否请求放大/缩小功能。处理器可确定用于选择放大/缩小功能的第二菜单图标是否被选择。
当请求了放大/缩小功能时，在步骤1385，处理器可输出第一捕捉图像而非代表性图像。在步骤1385，处理器可使代表性图像淡出并且可使第一捕捉图像淡入以输出淡入的第一捕捉图像。
当在步骤1385在输出第一捕捉图像的同时放大/缩小功能被请求时，处理器可输出代表性图像。
在步骤1390，处理器可执行步骤1320至步骤1385中的至少一个步骤，直到接收到对结束再现扩展文件的请求为止。
图14是根据实施例的用于电子装置的控制方法的流程图。
参照图14，在步骤1410，处理器可使用第一相机获得第一图像并且可使用第二相机获得第二图像。
在步骤1420，处理器可使用第一图像和第二图像确定与外部对象相应的深度信息。处理器可在显示器上输出第一图像或第二图像的至少一部分的实时取景模式下确定与外部对象相应的深度信息。
在步骤1430，当深度信息的属性满足第一指定条件时，处理器可结合第一图像(例如，第一捕捉图像)和第二图像(例如，第二捕捉图像)存储深度信息(例如，深度图信息)。当在实时取景模式下深度信息的属性满足第一指定条件时并且当产生第一捕捉图像和第二捕捉图像时，处理器可使用第一捕捉图像和第二捕捉图像确定深度图信息并且可重新确定深度图信息是否满足第一指定条件。当深度图信息满足第一指定条件作为重新确定的结果时，处理器可结合第一捕捉图像和第二捕捉图像来存储深度图信息。
在步骤1440，当深度信息的属性满足第二指定条件时，处理器可跳过结合第一图像(例如，第一捕捉图像)和第二图像(例如，第二捕捉图像)存储深度信息的步骤。当深度信息的属性满足第二指定条件时，它们无法满足第一指定条件。
根据实施例，一种通过至少一个处理器的电子装置的控制方法可包括：使用电子装置的第一相机获得第一图像并使用电子装置的第二相机获得第二图像，使用第一图像和第二图像确定与外部对象相应的深度信息，当深度信息的属性满足第一指定条件时，结合第一图像和第二图像存储深度信息，并且当深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的深度信息的存储。
根据实施例，在电子装置的显示器上将第一图像或第二图像的至少一部分输出为实时取景的步骤的至少一部分期间执行所述确定的步骤，并且响应于图像捕捉请求执行所述存储的步骤。
根据实施例，所述方法还包括当满足指定参考纹理条件的参考纹理信息被包括在深度信息中、环境照明强度满足指定照明范围或者外部对象与电子装置之间的距离满足指定距离范围中的至少一个时，确定深度信息的属性满足第一指定条件。
根据实施例，所述方法还包括当深度信息的属性不满足第一指定条件时，确定深度信息的属性满足第二指定条件。
根据实施例，所述确定的步骤还包括确定第一图像与第二图像之间的重复的区域的深度信息。
根据实施例，所述获得的步骤还包括通过根据外部对象与电子装置之间的距离或环境照明强度中的至少一个选择性地使用第一相机或第二相机获得第一图像和第二图像。
根据实施例，所述方法还包括使用深度信息或拍摄条件中的至少一个确定存储第一图像和第二图像的文件的结构。
根据实施例，所述方法还包括当接收到对改变结合深度信息存储的第一图像或第二图像中的至少一个的对焦区域的请求时，响应于所述请求基于深度信息改变第一图像或第二图像中的所述至少一个的对焦区域。
根据一个实施例，所述方法还包括当接收到对调整结合深度信息存储的第一图像或第二图像中的至少一个的背景模糊程度的请求时，响应于所述请求基于深度信息调整第一图像或第二图像中的所述至少一个的背景模糊程度。
图15是根据实施例的在网络环境1500中根据指定条件存储深度信息的电子装置1501的示图。
参照图15，在网络环境1500中，电子装置1501可通过第一网络1598(例如，短距离无线通信)与电子装置1502通信，或者可通过第二网络1599(例如，长距离无线通信)与电子装置1504或服务器1508通信。电子装置1501可通过服务器1508与电子装置1504通信。电子装置1501可包括处理器1520、存储器1530、输入装置1550、声音输出装置1555、显示装置1560、音频模块1570、传感器模块1576、接口1577、触觉模块1579、相机模块1580、电力管理模块1588、电池1589、通信模块1590、用户识别模块1596和天线模块1597。可省略电子装置1501的组件中的至少一个，或者可将其他组件添加到电子装置1501。一些组件可在如嵌入在显示装置1560(例如，显示器)中的传感器模块1576(例如，指纹传感器、虹膜传感器或照度传感器)的情况下被集成和实现。
处理器1520可操作软件(例如，程序1540)以控制连接到处理器1520的电子装置1501的其他组件(例如，硬件或软件元件)中的至少一个，并且可处理和计算各种数据。处理器1520可将从其他组件(例如，传感器模块1576或通信模块1590)接收到的命令集或数据加载到易失性存储器1532中，可处理加载的命令或数据，并且可将结果数据存储到非易失性存储器1534中。处理器1520可包括主处理器1521(例如，中央处理单元或应用处理器)和协处理器1523(例如，图形处理装置、图像信号处理器、传感器集线器处理器或通信处理器)，其中，协处理器1523独立于主处理器1521操作、另外地或替代地使用比主处理器1521更少的功率、或者被指定于指定功能。协处理器1523可与主处理器1521分开操作或者被嵌入。
协处理器1523可在主处理器1521处于未激活(例如，睡眠)状态时代替主处理器1521控制与电子装置1501的组件中的至少一个组件相关联的功能或状态中的至少一些功能或状态，或者在主处理器1521处于激活(例如，应用执行)状态时与主处理器1521一起控制与电子装置1501的组件中的至少一个组件相关联的功能或状态中的至少一些功能或状态。协处理器1523可被实现为在功能上与协处理器1523相关的另一组件的一部分。存储器1530可存储由电子装置1501的至少一个组件使用的多种数据(诸如，软件)，以及针对与软件相关联的命令的输入数据或输出数据。存储器1530可包括易失性存储器1532和/或非易失性存储器1534。
程序1540可作为软件被存储在存储器1530中并且可包括操作***1542、中间件1544或应用1546。
输入装置1550可以是用于从电子装置1501的外部(例如，用户)接收用于电子装置1501的组件的命令或数据的装置并且可包括例如麦克风、鼠标或键盘。
声音输出装置1555可以是用于将声音信号输出到电子装置1501的外部的装置并且可包括用于通用目的(诸如，多媒体播放或记录播放)的扬声器和仅用于接收呼叫的接收器。接收器和扬声器可被集成地或单独地实现。
显示装置1560可以是用于向用户视觉地呈现信息的装置并且可包括显示器、全息装置或投影仪以及用于控制相应装置的控制电路。显示装置1560可包括触摸电路或用于测量触摸的压力强度的压力传感器。
音频模块1570可对声音与电信号进行双向转换。音频模块1570可通过输入装置1550获得声音或者可通过有线或无线连接到声音输出装置1555或电子装置1501的外部电子装置输出声音。
传感器模块1576可产生与电子装置1501内部的操作状态(例如，电力或温度)或外部的环境状态相应的电信号或数据值。传感器模块1576可包括手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
接口1577可支持有线或无线连接到外部电子装置的指定协议。接口1577可包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、SD卡接口或音频接口。
连接端子1578可包括将电子装置1501物理连接到外部电子装置的连接器，诸如，HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1579可将电信号转换成由用户通过触觉或动觉感知的机械刺激(例如，振动或运动)或电刺激。触觉模块1579可以包括电机、压电装置或电刺激器。
相机模块1580可拍摄静止图像或视频图像。相机模块1580可包括至少一个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块1588可以是用于管理供应给电子装置1501的电力的模块，并且可用作电力管理集成电路(PMIC)的至少一部分。
电池1589可以是用于向电子装置1501的至少一个组件供电的装置并且可包括不可再充电(一次)电池、可再充电(二次)电池或燃料电池。
通信模块1590可在电子装置1501与外部电子装置之间建立有线或无线通信信道并且通过建立的通信信道支持通信执行。通信模块1590可包括独立于处理器1520(例如，AP)操作并且支持有线通信或无线通信的至少一个通信处理器。根据实施例，通信模块1590可包括无线通信模块1592(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块1594(例如，局域网(LAN)通信模块或电力线通信模块)，并且可通过第一网络1598(例如，短距离通信网络(诸如，蓝牙、WiFi直连或红外数据协会(IrDA)))或者第二网络1599(例如，长距离无线通信网络(诸如，蜂窝网络、因特网或计算机网络(例如，LAN或WAN)))使用无线通信模块1592和有线通信模块1594中的相应通信模块与外部电子装置通信。上述各种通信模块1590可分别实现在一个芯片中或实现在单独的多个芯片中。
无线通信模块1592可在通信网络中使用存储在用户识别模块1596中的用户信息识别和认证电子装置1501。
天线模块1597可包括一个或更多个天线以向外部源发送信号或电力或者从外部源接收信号或电力。通信模块1590可通过适合于通信方法的天线将信号发送到外部电子装置或从外部电子装置接收信号。
组件中的一些组件可通过***装置之间使用的通信方法(例如，总线、通用输入/输出(GPIO)、串行***接口(SPI)或移动工业处理器接口(MIPI))相互连接来彼此交换信号(例如，命令或数据)。
可通过连接到第二网络1599的服务器1508在电子装置1501与外部电子装置1504之间发送或接收命令或数据。电子装置1502与电子装置1504中的每一个可与电子装置1501相同类型或不同类型。由电子装置1501执行的所有操作或一些操作可由另一电子装置或多个外部电子装置执行。当电子装置1501自动或通过请求执行某些功能或服务时，除了自身执行功能或服务之外，电子装置1501还可请求外部电子装置执行与这些功能或服务相关的至少一些功能或服务，或者电子装置1501可请求外部电子装置执行与这些功能或服务相关的至少一些功能代替其自身执行这些功能或服务。接收请求的外部电子装置可执行请求的功能或另外的功能并将结果发送到电子装置1501。电子装置1501可基于接收到的结果按照原样提供请求的功能或服务，或者在另外处理接收到的结果之后提供请求的功能或服务。可使用云计算、分布式计算或客户机-服务器计算技术。
图16是根据实施例的相机模块1580的示图1600。
参照图16，相机模块1580可包括镜头组件1610、闪光灯1620、图像传感器1630、图像稳定器1640、存储器1650(例如，缓冲存储器)或图像信号处理器1660。镜头组件1610可收集从将被拍摄图像的对象发出或反射的光。镜头组件1610可包括一个或更多个透镜。相机模块1580可包括多个镜头组件1610。相机模块1580可形成双相机、360度相机或球形相机。当镜头组件1610包括多个镜头组件时，多个镜头组件中的一些镜头组件可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学缩放)，或者至少一个镜头组件可具有与其它镜头组件的镜头属性不同的一个或多个镜头属性。镜头组件1610可包括广角镜头或长焦镜头。
闪光灯1620可发射用于增强从对象反射的光的光。闪光灯1620可包括一个或更多个LED(例如，红-绿-蓝(RGB)、白色LED、红外(IR)LED或紫外(UV)LED)或氙气灯。图像传感器1630可通过将从对象发射或反射并经由镜头组件1610透射的光转换为电信号来获得与对象相应的图像。图像传感器1630可包括从具有不同属性的图像传感器(诸如，RGB传感器、黑-白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器中选择的一个图像传感器。包括在图像传感器1630中的每个图像传感器可使用CCD传感器或CMOS传感器来实现。
图像稳定器1640可沿特定方向移动图像传感器1630或包括在镜头组件1610中的至少一个镜头，或者响应于相机模块1580或包括相机模块1580的电子装置1501的移动控制图像传感器1630的操作属性(例如，调整读出定时)。这允许补偿由正捕捉的图像的移动导致的负面效果(例如，图像模糊)的至少一部分。图像稳定器1640可使用被布置在相机模块1580内部或外部的陀螺仪传感器或加速度传感器感测相机模块1580或电子装置1501的移动。图像稳定器1640可被实现为，例如光学图像稳定器。
存储器1650可至少暂时地存储经由图像传感器1630获得的图像的至少一部分用于后续图像处理任务。如果图像捕捉由于快门滞后而被延迟或者多个图像被快速捕捉，则获得的原始图像(例如，拜耳图案图像、高分辨率图像)可被存储在存储器1650中，并且原始图像的相应的副本图像(例如，低分辨率图像)可经由显示装置被预览。此后，如果满足指定条件(例如，通过用户的输入或***命令)，则存储在存储器1650中的原始图像的至少一部分可被图像信号处理器1660获得并处理。存储器1650可被配置为存储器1530的至少一部分或者被配置为独立于存储器1530操作的单独的存储器。
图像信号处理器1660可针对经由图像传感器1630获得的图像或存储在存储器1650中的图像执行一个或更多个图像处理。所述一个或多个图像处理可包括例如深度图产生、3D建模、全景产生、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外地或可选地，图像信号处理器1660可针对包括在相机模块1580中的组件中的至少一个组件执行控制(例如，曝光时间控制或读出定时控制)。由图像信号处理器1660处理的图像可被存储回存储器1650中用于进一步处理，或者可被提供给相机模块1580外部的外部组件(例如，存储器1530、显示装置1560、电子装置1502、电子装置1504或服务器1508)。图像信号处理器1660可被配置为处理器1520的至少一部分，或者被配置为独立于处理器1520操作的单独处理器。如果图像信号处理器1660被配置为与处理器1520分开的处理器，则由图像信号处理器1660处理的至少一个图像可由处理器1520经由显示装置1560按照原样显示或在被进一步处理之后显示。
这里使用的术语“模块”可表示例如包括硬件、软件和固件的一个或更多个组合的单元。术语“模块”可与术语“逻辑”、“逻辑块”、“部件”和“电路”可互换地使用。“模块”可以是集成部件的最小单元或者其部件。“模块”可以是用于执行一个或更多个功能或一个或更多个功能的一部分的最小单元。例如，“模块”可包括专用集成电路(ASIC)。
本公开的各种实施例可通过包括存储在由机器(例如，计算机)可读的机器可读存储介质中的指令的软件来实现。机器可以是从机器可读存储介质调用指令并根据调用的指令操作的装置并且可包括电子装置。当指令由处理器执行时，处理器可直接或使用在处理器的控制下的其他组件执行与指令相应的功能。指令可包括由编译器或解释器产生或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式被提供。这里，如这里使用的术语“非暂时性”是与对数据存储持久性的限制相反的对介质本身(即，有形的，而非信号)的限制。
根据实施例，根据本公开中公开的各种实施例的方法可被提供为计算机程序产品的一部分。计算机程序产品可作为产品在售卖者与购买者之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式被发布，或者可仅通过应用商店(例如，Play Store)被发布。在在线发布的情况下，计算机程序产品的至少一部分可被临时存储或产生在存储介质(诸如，制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
根据各种实施例的每个组件(例如，模块或程序)可包括以上组件中的至少一个，并且可省略以上子组件的一部分，或者还可包括另外的其他子组件。可选地或另外地，一些组件可集成在一个组件中并且可在集成之前执行由每个相应组件执行的相同或类似的功能。可顺序地、并行地、重复地或以启发式方法执行由根据本公开的各种实施例的模块、程序或其他组件执行的操作。此外，可以以不同的顺序执行至少一些操作，省略至少一些操作，或者可添加其他操作。
虽然已经参照本公开的特定实施例示出和描述了本公开，但本领域技术人员将理解，在不脱离本公开的范围的情况下，可对本公开进行形式上和细节上的各种改变。因此，本公开的范围不应被限定为限于实施例而是应由权利要求及其等同物限定。

Claims (14)

1.一种电子装置，包括：
第一相机；
第二相机；以及
处理器，被配置为：
使用第一相机获得与外部对象相应的第一图像并且使用第二相机获得与所述外部对象相应的第二图像；
使用第一图像和第二图像确定与所述外部对象相应的深度信息；
当所述深度信息的属性满足第一指定条件时，使所述深度信息与第一图像和第二图像结合，使用指定格式将第一图像、第二图像和所述深度信息存储在一个文件中，并且当接收到请求时，基于所述深度信息提供重新对焦功能；以及
当所述深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的所述深度信息的存储。
2.如权利要求1所述的电子装置，还包括：
显示器，
其中，处理器还被配置为：
在显示器上将第一图像或第二图像的至少一部分输出为实时取景的步骤的至少一部分期间确定所述深度信息；并且
响应于图像捕捉请求执行所述深度信息的存储。
3.如权利要求1所述的电子装置，其中，处理器还被配置为：
当在以下情况中的至少一种情况下时确定所述深度信息的属性满足第一指定条件：
满足指定参考纹理条件的参考纹理信息被包括在所述深度信息中，
环境照明强度满足指定照明范围，或者
所述外部对象与电子装置之间的距离满足指定距离范围。
4.如权利要求1所述的电子装置，其中，处理器还被配置为：
当所述深度信息的属性不满足第一指定条件时，确定所述深度信息的属性满足第二指定条件。
5.如权利要求1所述的电子装置，其中，第二图像包括与第一图像被放大指定放大倍率的区域相应的图像。
6.如权利要求1所述的电子装置，其中，处理器还被配置为：
使用所述深度信息或拍摄条件中的至少一个确定存储第一图像和第二图像的文件的结构。
7.如权利要求1所述的电子装置，其中，处理器还被配置为：
根据所述外部对象与电子装置之间的距离或环境照明强度中的至少一个通过选择性地使用第一相机或第二相机获得第一图像和第二图像。
8.如权利要求1所述的电子装置，还包括：
显示器，
其中，处理器还被配置为：
当结合所述深度信息存储的第一图像或第二图像中的至少一个被选择时，在显示器上输出包括第一图像和第二图像的图像中的代表性图像。
9.如权利要求1所述的电子装置，其中，处理器还被配置为：
当对改变结合所述深度信息存储的第一图像或第二图像中的至少一个的对焦区域的请求被接收到时，响应于所述请求基于所述深度信息改变第一图像或第二图像中的所述至少一个的对焦区域。
10.如权利要求1所述的电子装置，其中，处理器还被配置为：
当对调整结合所述深度信息存储的第一图像或第二图像中的至少一个的背景模糊程度的请求被接收到时，响应于所述请求基于所述深度信息调整第一图像或第二图像中的所述至少一个的背景模糊程度。
11.一种电子装置的控制方法，其中，所述电子装置包括执行所述控制方法的至少一个处理器，所述控制方法包括：
使用电子装置的第一相机获得与外部对象相应的第一图像并且使用电子装置的第二相机获得与所述外部对象相应的第二图像；
使用第一图像和第二图像确定与所述外部对象相应的深度信息；
当所述深度信息的属性满足第一指定条件时，使所述深度信息与第一图像和第二图像结合，使用指定格式将第一图像、第二图像和所述深度信息存储在一个文件中，并且当接收到请求时，基于所述深度信息提供重新对焦功能；以及
当所述深度信息的属性满足第二指定条件时，跳过结合第一图像和第二图像的所述深度信息的存储。
12.如权利要求11所述的控制方法，其中，在电子装置的显示器上将第一图像或第二图像的至少一部分输出为实时取景的步骤的至少一部分期间执行确定所述深度信息；并且
其中，响应于图像捕捉请求执行存储所述深度信息。
13.如权利要求11所述的控制方法，还包括：
当在以下情况中的至少一种情况下时，确定所述深度信息的属性满足第一指定条件：
满足指定参考纹理条件的参考纹理信息被包括在所述深度信息中，
环境照明强度满足指定照度范围，或者
所述外部对象与电子装置之间的距离满足指定距离范围。
14.如权利要求11所述的控制方法，还包括：
当所述深度信息的属性不满足第一指定条件时，确定所述深度信息的属性满足第二指定条件。
CN201880051949.0A 2017-08-22 2018-08-07 电子装置及其控制方法 Active CN111052727B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170106336A KR102338576B1 (ko) 2017-08-22 2017-08-22 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
KR10-2017-0106336 2017-08-22
PCT/KR2018/008935 WO2019039771A1 (en) 2017-08-22 2018-08-07 ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD

Publications (2)

Publication Number Publication Date
CN111052727A CN111052727A (zh) 2020-04-21
CN111052727B true CN111052727B (zh) 2023-05-09

Family

ID=65435828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051949.0A Active CN111052727B (zh) 2017-08-22 2018-08-07 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11025814B2 (zh)
EP (1) EP3628121B1 (zh)
KR (1) KR102338576B1 (zh)
CN (1) CN111052727B (zh)
WO (1) WO2019039771A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US11722764B2 (en) * 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11733684B2 (en) * 2018-09-27 2023-08-22 Hewlett-Packard Development Company, L.P. Overlaying production data on rendered 3D printed object
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070624A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
KR102419901B1 (ko) * 2020-09-16 2022-07-13 주식회사 익센트릭게임그루 이머시브 콘텐츠 제공 시스템
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
KR20230096167A (ko) 2021-12-22 2023-06-30 건국대학교 산학협력단 이미지 거리 측정 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016107962A1 (en) * 2014-12-30 2016-07-07 Nokia Corporation Improving focus in image and video capture using depth maps
EP3185037A1 (en) * 2015-12-23 2017-06-28 STMicroelectronics (Research & Development) Limited Depth imaging system
EP3190781A1 (en) * 2014-09-30 2017-07-12 Huawei Technologies Co. Ltd. Autofocus method, device and electronic apparatus

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7423686B2 (en) * 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
US8203595B2 (en) * 2009-05-21 2012-06-19 Alcatel Lucent Method and apparatus for enabling improved eye contact in video teleconferencing applications
US9628722B2 (en) * 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
KR20120084216A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
KR101912408B1 (ko) * 2011-06-29 2018-10-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20130056808A (ko) 2011-11-22 2013-05-30 삼성전자주식회사 3차원 영상의 부가정보를 부호화/복호화 하는 장치 및 방법
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
US20150201182A1 (en) * 2013-04-11 2015-07-16 Altek Semiconductor Corp. Auto focus method and auto focus apparatus
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
KR102220443B1 (ko) * 2014-06-09 2021-02-25 삼성전자주식회사 깊이 정보를 활용하는 전자 장치 및 방법
EP3188468B1 (en) * 2014-08-29 2019-05-22 Huawei Technologies Co., Ltd. Image processing method and electronic device
US9635242B2 (en) * 2014-09-29 2017-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
JP6531823B2 (ja) * 2015-04-02 2019-06-19 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190781A1 (en) * 2014-09-30 2017-07-12 Huawei Technologies Co. Ltd. Autofocus method, device and electronic apparatus
WO2016107962A1 (en) * 2014-12-30 2016-07-07 Nokia Corporation Improving focus in image and video capture using depth maps
EP3185037A1 (en) * 2015-12-23 2017-06-28 STMicroelectronics (Research & Development) Limited Depth imaging system

Also Published As

Publication number Publication date
EP3628121A1 (en) 2020-04-01
KR102338576B1 (ko) 2021-12-14
EP3628121B1 (en) 2022-01-26
CN111052727A (zh) 2020-04-21
KR20190021138A (ko) 2019-03-05
WO2019039771A1 (en) 2019-02-28
US20190068889A1 (en) 2019-02-28
US11025814B2 (en) 2021-06-01
EP3628121A4 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN111052727B (zh) 电子装置及其控制方法
EP3579544B1 (en) Electronic device for providing quality-customized image and method of controlling the same
CN111033569B (zh) 使用深度图编辑图像的装置及其方法
US10681287B2 (en) Apparatus and method for displaying AR object
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
US9900500B2 (en) Method and apparatus for auto-focusing of an photographing device
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
CN108141539A (zh) 数字拍摄装置及其操作方法
KR20180011539A (ko) 영상의 처리를 위한 전자 장치
KR102344104B1 (ko) 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
US20210084231A1 (en) Electronic device including plurality of cameras, and operation method therefor
CN109413399B (zh) 使用深度图合成对象的装置及其方法
EP3642673B1 (en) Electronic device for controlling focus of lens and method for controlling the same
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
US20200244875A1 (en) Electronic device and method for processing line data included in image frame data into multiple intervals
KR20200067027A (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
KR102650217B1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
CN115004685A (zh) 电子装置和用于在电子装置处显示图像的方法
CN115066882A (zh) 用于执行自动对焦的电子装置和方法
US11636675B2 (en) Electronic device and method for providing multiple services respectively corresponding to multiple external objects included in image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant