CN109309796B - 使用多个相机获取图像的电子装置和用其处理图像的方法 - Google Patents

使用多个相机获取图像的电子装置和用其处理图像的方法 Download PDF

Info

Publication number
CN109309796B
CN109309796B CN201810841607.0A CN201810841607A CN109309796B CN 109309796 B CN109309796 B CN 109309796B CN 201810841607 A CN201810841607 A CN 201810841607A CN 109309796 B CN109309796 B CN 109309796B
Authority
CN
China
Prior art keywords
image
camera
processor
external object
lens assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810841607.0A
Other languages
English (en)
Other versions
CN109309796A (zh
Inventor
金知学
李东禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109309796A publication Critical patent/CN109309796A/zh
Application granted granted Critical
Publication of CN109309796B publication Critical patent/CN109309796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本公开涉及一种使用多个相机获取图像的电子装置和用其处理图像的方法。根据本公开的实施例，所述电子装置可包括：第一相机；第二相机，包括镜头组件和能够改变镜头组件的光轴的驱动单元；处理器。处理器可：接收针对外部对象的拍摄信号；通过使用第一相机获取外部对象的第一图像，通过将第二相机的镜头组件设置为第一方向来获取外部对象的第二图像；通过将第二相机的镜头组件设置为第二方向来获取外部物体的第三图像；通过将第一图像的至少一部分与第二图像的至少一部分进行合成并将第一图像的至少一个其它部分与第三图像的至少一部分进行合成来产生外部对象的图像。此外，其它各种实施例可根据本公开来实现。

Description

使用多个相机获取图像的电子装置和用其处理图像的方法
技术领域
本公开的各种实施例总体涉及一种用于通过使用多个相机来获取图像的电子装置和用于通过使用该电子装置来处理图像的方法。
背景技术
一般地，市场上当前可获得的电子装置可以提供电子装置产生并存储外部对象的图像或视频的相机功能。近来，电子装置已装备有能够针对位于相对远离所述装置的外部对象以及位于相对靠近所述装置的对象获取具有高图像质量的照片或视频的多个相机(例如，双相机)。多个相机中的每一个可以具有不同的视角。在捕捉扩展图像的情况下，电子装置可以通过合成由具有不同视角的多个相机获取的图像来提供缩放功能。
以上信息被提供为背景信息仅用于帮助理解本公开。对于以上任何内容是否可用作针对本公开的现有技术，尚未做出确定，并且未做出断言。
发明内容
然而，在使用上述方法的缩放功能的情况下，扩展图像的图像质量可能在视角的中等缩放范围内下降。
为了解决上述问题，根据本公开的实施例，电子装置可以通过将从第一相机获取的外部对象的图像与从第二相机获取的外部对象的多个图像进行合成来产生外部对象的图像，其中，来自第二相机的图像与第二相机的第二相机镜头组件的不同角度相应。
根据本公开的实施例，一种电子装置可包括：第一相机；第二相机，包括镜头组件和能够改变镜头组件的光轴的驱动单元；处理器。处理器可接收针对外部对象的拍摄信号；通过使用第一相机获取外部对象的第一图像；通过将第二相机的镜头组件设置为第一方向来获取外部对象的第二图像；通过将第二相机的镜头组件设置为第二方向来获取外部物体的第三图像；通过将第一图像的至少一部分与第二图像的至少一部分进行合成并将第一图像的至少一个其它部分与第三图像的至少一部分进行合成来产生外部对象的图像。
根据本公开的实施例，一种通过使用多个相机的电子装置的图像处理方法可包括：响应于针对外部对象的拍摄信号从第一相机获取外部对象的第一图像的操作；从第二相机获取外部物体的第二图像，其中，第二图像通过使用包括在第二相机中的驱动单元将第二相机的镜头组件设置为第一方向而被获取；获取外部对象的第三图像，其中，第三图像通过将第二相机的镜头组件设置为第二方向而被获取；以及通过将第一图像的至少一部分与第二图像的至少一部分进行合成并将第一图像的至少一个其它部分与第三图像的至少一部分进行合成来产生外部对象的图像。
附图说明
从以下结合附图的描述中，本公开的特定实施例的以上和其它方面、特征和优点将更加清楚，其中：
图1是示出根据实施例的用于在网络环境中通过使用多个相机来获取图像的电子装置的框图；
图2是示出根据实施例的用于通过使用多个相机获取图像的相机模块的框图；
图3是示出根据本公开的实施例的用于通过使用多个相机来获取图像的电子装置的框图；
图4是根据本公开实施例的用于通过使用多个相机获取图像的相机模块的详细框图；
图5是示出根据本公开的实施例的用于处理图像的方法的流程图；
图6是示出根据本公开的实施例的用于处理图像的方法的流程图；
图7示出根据本公开的实施例的用于调整与外部对象的位置相应的第二相机镜头组件的方向的方法；
图8示出根据本公开的实施例的用于设置来自外部对象的图像的获取速度的方法；
图9示出根据本公开的实施例的用于将从第二相机获取的多个图像进行匹配和拼接的方法；
图10示出根据本公开的实施例的用于处理图像的方法；
图11是示出根据本公开的实施例的用于处理图像的方法的流程图；以及
图12示出根据本公开的实施例的用于处理图像的方法。
具体实施方式
图1是示出根据实施例的用于在网络环境(100)中通过使用多个相机来获取图像的电子装置(101)的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，远距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述组件中的至少一个(例如，显示装置160或相机模块180)，或者可在电子装置101中添加一个或更多个其它组件。在一些实施例中，所述组件中的一些组件可被实现为单个集成电路。例如，传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)可以实现为嵌入在显示装置160(例如，显示器)中。
处理器120可执行例如软件(例如，程序140)以控制与处理器120连接的电子装置101的至少一个其它组件(例如，硬件或软件组件)，并且可执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少一部分，处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收的命令或数据加载到易失性存储器132中，处理存储在易失性存储器132中的命令或数据，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))以及可独立于主处理器121操作或与主处理器121协同操作的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器集线器处理器或通信处理器(CP))。另外地或可选地，辅助处理器123可适于比主处理器121消耗更少的电力，或者专用于指定的功能。辅助处理器123可被实现为与主处理器121分开或被实现为主处理器121的一部分。处理器121可包括微处理器或任何合适类型的处理电路，诸如一个或多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。另外，将认识到，当通用计算机访问用于实现这里所示的处理的代码时，所述代码的执行将通用计算机转换为用于执行这里所示的处理专用计算机。附图中提供的特定的功能和步骤可以以硬件、软件或两者的组合来实现，并且可在计算机的编程指令内被整体地或部分地执行。本文没有权利要求元素将根据35U.S.C.112(f)的规定来解释，除非使用短语“用于…的装置”明确地叙述所述元素。此外，技术人员理解并领会到“处理器”或“微处理器”可以是要求保护的所述公开中的硬件。根据最宽泛的合理解释，所附权利要求是符合35U.S.C.§101的法定主题事项。
辅助处理器123可在主处理器121处于非激活状态(例如，睡眠)的同时代替主处理器121或者在主处理器121处于激活状态(例如，执行应用)的同时与主处理器121一起控制与电子装置101的组件中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可被实现为与辅助处理器123功能相关的另一组件(例如，相机模块180或通信模块190)的一部分。
存储器130可存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。各种数据可包括例如软件(例如，程序140)和针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
程序140可作为软件被存储在存储器130中，并且可包括例如操作***(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它组件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于一般目的，诸如播放多媒体或播放唱片，并且接收器可用于来电。根据一个实施例，接收器可实现为与扬声器分开或被实现为扬声器的一部分。
显示装置160可在视觉上向电子装置101的外部(例如，用户)提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中相应一个的控制电路。根据实施例，显示装置160可包括适用于检测触摸的触摸电路，或者适用于测量由触摸所产生的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦然。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或者经由线缆直接与电子装置101连接或无线地与电子装置101连接的外部电子装置(例如，电子装置102)的耳机来输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持一个或更多个指定的协议以用于经由线缆直接或无线地与外部电子装置(例如，电子装置102)连接的电子装置101。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子178可包括连接器，电子装置101可经由该连接器与外部电子装置(例如，电子装置102)进行物理连接。根据实施例，连接端子178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可由用户经由他的触觉感觉或动觉感觉而识别的机械激励(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电激励器。
相机模块180可捕捉静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理提供给电子装置101的电力。根据一个实施例，电力管理模块188可被实现为例如电力管理集成电路(PMIC)的至少一部分。
电池189可向电子装置101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的一次电池、可再充电的二次电池或燃料电池。
通信模块190可支持在电子装置101和外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道和经由建立的通信信道执行通信。通信模块190可包括可独立于处理器120(例如，应用处理器(AP))操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应的一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或者第二网络199(例如，远距离通信网络，诸如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。这些各种类型的通信模块可被实现为单个组件(例如，单个芯片)，或者可被实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))来识别和认证通信网络(例如，第一网络198或第二网络199)中的电子装置101。
天线模块197可向电子装置101的外部(例如，外部电子装置)发送信号或电力或者从电子装置的外部接收信号或电力。根据实施例，天线模块197可包括一个或更多个天线，并且由此可例如通过通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如，第一网络198或第二网络199)中使用的通信方案的至少一个天线。然后，可经由选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述组件中的至少一些可相互连接并通过***之间的通信方案(例如，总线、通用输入和输出(GPIO)、串行***接口(SPI)或移动行业处理器接口(MIPI))在其间传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同的类型的装置或不同的类型的装置。根据实施例，可在外部电子装置102、104或108中的一个或更多个处执行将在电子装置101处执行的所有操作或操作中的一些。例如，如果电子装置101应自动地执行功能或服务，或者响应于来自用户或另一装置的请求，电子装置101可请求一个或更多个外部电子装置来执行功能或服务的至少一部分以代替电子装置101执行所述功能或服务，或者电子装置101除了执行所述功能或服务之外，可请求所述一个或更多个外部电子装置来执行所述功能或服务的至少一部分。接收到请求的所述一个或更多个外部电子装置可执行请求的功能或服务的至少一部分或与请求相关的附加功能或附加服务，并将执行的结果传送到电子装置101。电子装置101可在有或没有进一步处理结果的情况下提供结果作为对请求的回复的至少一部分。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。
图2是示出根据实施例的用于通过使用多个相机获取图像的相机模块(180)的框图(200)。
参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可收集从将被拍摄图像的对象发射或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可被实现为例如双摄相机、360度相机或球形相机。多个镜头组件210中的一些可具有相同的镜头属性(例如，视角、焦距、自动聚焦、f数或光学缩放)。可选地，至少一个镜头组件可具有不同于另一镜头组件的镜头属性的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或远摄镜头。
闪光灯220可发射用于加强从对象反射的光的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红-绿-蓝(RGB)LED、白光LED、红外(IR)LED或紫外(UV)LED)或氙灯。
图像传感器230可通过将从对象发射或反射并经由镜头组件210传输的光转换为电信号来获得与对象相应的图像。根据实施例，图像传感器230可以是具有不同属性的各种图像传感器，诸如RGB传感器、黑-白(BW)传感器、IR传感器或UV传感器。另外，图像传感器230可以是具有相同属性的多个图像传感器，或者是具有不同属性的多个图像传感器。包括在图像传感器230中的每个图像传感器可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。
图像稳定器240可响应于相机模块180或包括相机模块180的电子装置101的移动来沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜或者控制图像传感器230的操作属性(例如，调整读出定时)。这允许补偿由关于相机模块180的移动引起的负面影响(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180内部的陀螺仪传感器(未示出)或加速度传感器(例如加速度计)(未示出)来感测相机模块180或电子装置101的移动。根据实施例，图像稳定器240可被实现为例如光学图像稳定器。
存储器250可至少临时存储经由图像传感器230获得的图像的至少一部分用于后续图像处理。例如，如果由于快门滞后而图像捕捉被延迟或者快速捕捉多个图像，则可将获得的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且它的相应的副本图像(例如，低分辨率图像)可经由显示装置160被预览。此后，如果满足指定条件(例如，通过用户的输入或***命令)，则可例如通过图像信号处理器260进一步处理存储在存储器250中的原始图像的至少一部分。根据实施例，存储器250可被配置为存储器130的至少一部分或者被配置为独立于存储器130进行操作的单独存储器。
图像信号处理器260可针对经由图像传感器230获得的图像或存储在存储器250中的图像执行一个或更多个图像处理。一个或更多个图像处理可包括例如深度图产生、三维(3D)建模、全景产生、特征点提取、图像合成、图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)等。另外地或可选地，图像信号处理器260可针对包括在相机模块180中的组件中的至少一个(例如，图像传感器230)执行控制(例如，曝光时间控制或读出定时控制)。由图像信号处理器260处理的图像可被存储回存储器250中用于进一步处理，或者可被提供给相机模块180的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，图像信号处理器260可被配置为处理器120的至少一部分，或者被配置为独立于处理器120进行操作的单独处理器。如果图像信号处理器260被配置为与处理器120分开的处理器，则由图像信号处理器260处理的图像可在处理之前或之后通过处理器120经由显示装置160显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这样的情况下，多个相机模块180中的至少一个可以是例如广角相机，并且多个相机模块180中的至少另一个可以是例如远摄相机。类似地，多个相机模块180中的至少一个可以是例如前置相机(即，安装在电子装置101的正面中的相机)，并且多个相机模块180中的至少另一个可以是例如后置相机。
图3是示出根据本公开的实施例的用于通过使用多个相机来获取图像的电子装置的框图。
参照图3，电子装置300(例如，图1的电子装置101)可包括无线通信电路310(例如，图1的通信模块190)、存储器320(例如，图1的存储器130)、触摸屏显示器330(例如，图1的显示器160)、相机模块340(例如，图1和图2的相机模块180)和处理器350(例如，图1的处理器120)。
根据本公开的实施例，无线通信电路310(例如，图1的通信模块190)可在电子装置300(例如，图1的电子装置101)、外部电子装置(图1的电子装置102或电子装置104)或服务器(例如，图1的服务器108)之间形成通信信道。
根据本公开的实施例，存储器320(例如，图1的存储器130)可存储相机模块340的操作程序、诸如各种应用的其它程序以及由相机模块340捕捉的图像。
根据本公开的实施例，触摸屏显示器330(例如，图1的显示器160)可具有集成在其中的显示单元331和触摸面板333。
根据本公开的实施例，触摸屏显示器330可在预览屏幕中显示从相机模块340接收的图像。
根据实施例，触摸屏显示器330可显示通过使用从第一相机341获取的外部对象的第一图像的至少一部分和从第二相机343获取的外部对象的第二图像的至少一部分合成的外部对象的图像。第二图像可与第二相机343的第二相机镜头组件的第一方向相应。另外，合成还可进一步使用第一图像的至少一个其它部分和与第二相机镜头组件的第二方向相应的外部对象的第三图像的至少一部分。
根据本公开的实施例，相机模块340(例如，图1的相机模块180)可将图像发送到显示单元331的预览屏幕，使得用户可识别通过相机模块340显示的图像。相机模块340可通过响应于请求拍摄的用户输入来捕捉图像来产生图像数据。
根据实施例，通过使用第一相机341的拍摄和通过使用第二相机343的拍摄可同时被执行。
根据实施例，第一相机341可捕捉具有比第二相机343更宽范围的图像。例如，第一相机341可提供比第二相机343更宽的视角。
根据本公开的实施例，处理器350(例如，图1的处理器120)可控制电子装置300的整体操作和电子装置300的内部组件之间的信号流，执行数据处理以及控制从电池提供到各种组件的电力。
根据本公开的实施例，处理器350可在显示预览屏幕的同时接收针对外部对象的拍摄信号，其中，预览屏幕正显示从相机模块340接收的外部对象的图像。响应于所述拍摄信号，处理器350可从第一相机341获取外部对象的第一图像。例如，当第一相机341包括广角镜头时，第一图像可以是具有宽视角的外部对象的图像。
根据实施例，处理器350可从第二相机343获取外部对象的多个图像，每个图像与正由驱动单元调整的角度相应。例如，处理器350可获取与第二相机343的第二相机镜头组件的第一方向相应的外部对象的第二图像，其中，第二相机镜头组件的角度由驱动单元调整。此外，在通过驱动单元再次调整第二相机镜头组件的角度之后，处理器350可从第二相机343获取与第二相机镜头组件的第二方向相应的外部对象的第三图像。
根据实施例，第二相机343可包括远摄镜头。获取的第二图像和第三图像可以是通过远摄镜头获取的外部对象的图像，并且具有比第一相机341更窄的视角。
根据实施例，处理器350可确定与从第二相机343获取的第二图像的至少一部分和第三图像的至少一部分相应的从第一相机341获取的第一图像的区域。处理器350可调整第二图像的至少一部分或第三图像的至少一部分的分辨率。在分辨率调整之后，处理器350可通过在与第二图像或第三图像的至少一部分相应的第一图像的所述区域中合成调整后的第二图像的至少一部分或者调整后的第三图像部分的至少一部分来产生外部对象的图像。
根据实施例，处理器350可将预览屏幕中的感兴趣区域(ROI)设置为包括外部对象。例如，ROI可被自动识别或由用户选择。
根据实施例，如果设置了ROI，则可为ROI执行获取第二图像和第三图像的操作。同样，第二图像和第三图像可分别与由驱动单元调整的第二相机镜头组件的第一方向和第二方向相应。此外，如果设置了ROI，则可通过合成与第一图像中的ROI相应的第二图像的至少一部分和第三图像的至少一部分来执行在第一图像的所述区域中合成第二图像的至少一部分和第三图像的至少一部分的操作。
图4是根据本公开的实施例的用于通过使用多个相机获取图像的相机模块的详细框图。
参照图4，处理器(例如，图2的图像信号处理器260或图3的处理器350)可响应于请求拍摄外部对象的输入来从第一相机410(例如，图3的第一相机341)获取外部对象的图像。例如，第一相机410可基于通过镜头411(例如，广角镜头)的由光接收传感器413接收的光来获取外部对象的图像。
根据实施例，响应于请求拍摄外部对象的输入，处理器可从第二相机420(例如，图3的第二相机343)获取与由第二相机镜头组件421(例如，远摄镜头)的移动设置的角度相应的外部对象的图像。
根据实施例，角度计算器425可基于外部对象的位置和缩放级别423来计算第二相机420的位置。角度计算器425可将第二相机420的计算位置发送到操作单元429。
根据实施例，时间计算器427可计算时间使得第二相机镜头组件421可在第二相机420的图像传感器(例如，图2的图像传感器230)的读出时间期间移动。例如，可通过调整第二相机镜头组件421的角度来执行移动第二相机镜头组件421的操作，使得第二相机镜头组件421的光轴方向改变。时间计算器427可将计算的第二相机镜头组件421的移动时间发送到操作单元429。
根据实施例，操作单元429可使用位置传感器431按照第二相机420的角度补偿振动误差(即，由用户的手的移动引起的误差)并相应地控制驱动单元433。此外，操作单元429可基于从时间计算器427接收的移动时间来控制驱动单元433以移动第二相机镜头组件421。
根据实施例，驱动单元433可在操作单元429的控制下调整第二相机镜头组件421的方向和位置。例如，驱动单元433可沿上/下/右/左方向移动第二相机镜头组件421。第二相机420可基于通过与驱动单元433的上/下/右/左方向相应的镜头421(例如，远摄镜头)的由光接收传感器435接收的光来获取外部对象的图像。
根据实施例，驱动单元433可将基于第二相机镜头组件421的调整的方向和位置获取的外部对象的图像437存储在存储器441(例如，图2的存储器250)中。外部对象的图像437可包括与第二相机镜头组件421的不同方向和位置相应的获取的外部对象的多个图像。
根据实施例，驱动单元433可包括光学图像稳定器(OIS)(例如，图2的图像稳定器240)。例如，处理器可通过使用光学图像稳定器调整第二相机镜头组件421的角度来改变第二相机镜头组件421的光轴方向。
根据实施例，图像位置计算器443可计算图像437的位置。例如，图像位置计算器443可在由第一相机410获取的图像的区域内确定从第二相机获取的图像437的位置。
例如，如图3所示，从第一相机410获取的外部对象的图像可以是包括外部对象的广角图像，并且从第二相机420获取的外部对象的图像可以是通过针对外部对象进行放大而获取的远摄图像。图像位置计算器443可在广角图像内确定远摄图像的位置。
根据实施例，图像匹配单元445可按比例缩小由第二摄像机420获取的图像437，并且基于由图像位置计算器443确定的位置匹配由第二相机420捕捉的各种图像。
根据实施例，图像拼接单元447可通过组合匹配的图像来产生图像。
根据实施例，图像合成器449可将由第一相机410获取的图像和由图像拼接单元447组合的图像进行合成。
根据实施例，滤波单元451可通过对由图像合成器449合成的图像进行滤波来去除诸如图像中的边界和/或噪声的处理伪像。另外，滤波单元可补偿由外部对象或持有电子装置的用户的手的移动引起的模糊。
图5是示出根据本公开的实施例的用于处理图像的方法的流程图。
参照图5，处理器(例如，图2的图像信号处理器260或图3的处理器350)可在预览屏幕中显示从相机模块(例如，图3的相机模块340)接收的外部对象的图像。
根据实施例，在操作501，处理器接收外部对象的拍摄信号(例如，用户输入)。
根据实施例，处理器可在操作501接收请求拍摄外部对象的输入，并且还接收缩放级别的输入。
根据实施例，处理器可响应于接收的拍摄信号来拍摄外部对象的图像。
根据实施例，在操作503，处理器通过使用第一相机(例如，图4的第一相机410)获取外部对象的第一图像。
根据实施例，如上所述，第一相机可包括广角镜头，并且可通过广角镜头获得具有宽视角的外部对象的第一图像。
根据实施例，在操作505，处理器通过使用驱动单元(例如，图4的驱动单元433)将第二相机的第二相机镜头组件(例如，图4的第二相机镜头组件421)设置为第一方向来获取外部对象的第二图像。处理器还可通过驱动单元将第二相机镜头组件设置为第二方向来获取外部对象的第三图像。
根据实施例，驱动单元可包括图像稳定器(例如，图2的图像稳定器240)。处理器可通过使用图像稳定器来调整第二相机镜头组件的角度。
根据实施例，第二相机(例如，图4的第二相机420)可包括远摄镜头。因此，处理器可获取具有比第一相机的图像更窄的视角的外部对象的图像。例如，分别与第二相机镜头组件的第一方向和第二方向相应的外部对象的第二图像和第三图像可以是远摄图像。
根据实施例，可同时执行从第一相机获取第一图像的操作503和获取第二图像和第三图像的操作505。
将参照图7和图8更详细地描述操作505。
根据实施例，在操作507，处理器可通过第一图像的至少一部分和第二图像的至少一部分进行合成并且通过将第一图像的至少一个其它部分和第三图像的至少一部分进行合成来产生外部对象的图像。
将参照图6、图9和图10更详细地描述操作507。
图6是示出根据本公开的实施例的用于处理图像的方法的流程图。
图6示出了针对图5的操作507的更详细的操作。所述操作涉及将从第一相机(例如，图4的第一相机410)获取的图像和从第二相机(例如，图4的第二相机420)获取的图像进行合成。
参照图6，在操作601，处理器(例如，图2的图像信号处理器260或图3的处理器350)确定通过使用第一相机获取的第一图像的区域，其中，所述区域与通过使用第二相机获取的第二图像的至少一部分或者第三图像的至少一部分相应。
根据实施例，在操作603，处理器调整第二图像的至少一部分或第三图像的至少一部分的分辨率。
根据实施例，在操作605，处理器在如在操作601确定的与第二图像的至少一部分和第三图像的至少一部分相应的第一图像的所述区域中将调整的第二图像的至少一部分或调整的第三图像的至少一部分进行合成。
根据实施例，处理器可按比例放大第一图像和/或按比例缩小第二图像和第三图像。处理器可将按比例放大的第一图像的至少一部分和按比例缩小的第二图像的至少一部分进行合成，并且可将按比例放大的第一图像的至少一个其它部分和按比例缩小的第三图像的至少一部分进行合成。
图7示出了根据本公开的实施例的用于调整与外部对象的位置相应的第二相机镜头组件的方向的方法。
参照图7，如标号710所示，处理器(例如，图2的图像信号处理器260或图3的处理器350)可从第一相机(例如，图4的第一相机410)获取外部对象715的第一图像711。处理器可基于第一图像711的缩放级别和外部对象715的位置(第一相机和外部对象715之间的距离信息)来计算从第二相机(例如，图4的第二相机420)获取的至少一个图像(例如，第二图像713)的像素移动值。像素移动值可指示例如与外部对象的相同部分相应的第一图像和第二图像中的像素之间的距离。
根据一个实施例，处理器可以基于运动值计算第二相机镜头组件(例如，图4的第二相机镜头组件421)的角度。基于计算的角度，处理器可以将如标号720所示的第二相机镜头组件721的第一角度723调整为如标号730所示的第二角度731。
根据实施例，处理器可在第二相机镜头组件的计算的角度使用位置传感器(例如，图4的位置传感器431)来补偿振动误差(例如，手振动)。例如，处理器可沿特定方向移动相机的图像传感器或调整相机的读出定时以补偿所述振动。
图8示出了根据本公开的实施例的用于设置来自外部对象的图像的获取速度的方法。
根据本公开的实施例，处理器(例如，图2的图像信号处理器260或图3的处理器350)可影响于请求拍摄外部对象的信号从第一相机(例如，图4的第一相机410)获取外部对象的第一图像。此外，处理器可响应于相同的信号从第二相机(例如，图4的第二相机420)获取外部对象的多个图像。例如，处理器可使用第二相机获取外部对象的多个图像，其中，每个图像与由驱动单元(例如，图4的驱动单元433)调整的第二相机镜头组件(例如，图4的第二相机镜头组件421)的不同角度相应。
因此，根据实施例，响应于请求拍摄外部对象的信号，处理器可在从第一相机获取外部对象的图像的同时，从第二相机获取与多个角度相应的外部对象的多个图像。
根据实施例，处理器可在图像传感器的读出时间期间移动第二相机镜头组件(例如，图2中的图像传感器230)。
例如，参照图8，标号810示出了从第一相机获取外部对象的图像的操作，标号820示出从第二相机获取与第二相机镜头组件的不同角度相应的外部对象的多个图像的操作。
根据实施例，如标号810所示，处理器可在曝光时间811内从第一相机获取第一图像。例如，第一图像可以是包括外部对象的广角图像。
根据实施例，如标号820所示，处理器可响应于请求拍摄的信号控制第二相机镜头组件移动到第一角度，针对第一角度的时间由标号821示出。处理器可在与第一角度相应的第一曝光时间823内从第二相机获取外部对象的第二图像。处理器可控制第二相机镜头组件移动到第二角度，针对第二角度的时间由标号825示出。处理器可在与第二角度相应的曝光时间827内从第二相机获取外部对象的第三图像。处理器可控制第二相机镜头组件移动到第三角度，针对第三角度的时间由标号829示出。处理器可在与第三角度相应的曝光时间831内从第二相机获取外部对象的第四图像。处理器可控制第二相机镜头组件移动到第四角度，针对第四角度的时间由标号833示出。处理器可在与第四角度相应的曝光时间835内从第二相机获取外部物体的第五图像。例如，与第一角度至第四角度相应的第二图像至第五图像可以是通过对外部对象进行按比例放大而获取的远摄图像。
根据实施例，如标号820所示，本公开可获得与第二镜头组件的不同角度相应的外部对象的多个图像(例如，第二图像至第五图像)。在如标号810所示从第一相机获取外部对象的第一图像的同时，可进行经由第二相机对多个图像的获取。经由第一相机的获取和经由第二相机的获取都可至时间t1841被完成。
根据实施例，处理器可减少获取第二图像至第五图像所需的时间，使得可以在从第一相机获取第一图像的同时完成从第二相机对第二图像至第五图像的获取。例如，处理器可将用于获取第二图像至第五图像的曝光时间(例如，823、827、831和835)调整为短于预定曝光时间。
根据实施例，通过调整用于从第二相机获取第二图像至第五图像的曝光时间，处理器可避免从第一相机获取第一图像和获取第二图像至第五图像之间的获取时间的差异。此外，通过调整用于从第二相机获取第二图像至第五图像的曝光时间，可避免由于时间延迟导致的图像质量的劣化，因为可以在从第一相机获取第一图像的同时从第二相机获取第二图像至第五图像。
根据实施例，在第二相机在曝光时间(例如，823、827、831和835)内获取第二图像至第五图像的同时，处理器可控制第一相机使得第一相机在该示例中连续地获取外部对象的四个图像。
根据实施例，处理器可针对从第一相机获取的外部对象的四个图像执行多帧降噪。因此，处理器可获取具有降噪的外部对象的图像。
根据实施例，处理器可将从第一相机获取的外部对象的四个图像(或者通过多帧降噪合成的一个图像)和从第二相机获取的与第二相机镜头组件的不同角度相应的外部对象的第二图像到第五图像进行合成。
根据实施例，处理器可通过控制第一相机获取例如外部对象的四个连续图像避免从第一相机获取图像和从第二相机获取图像之间的获取时间的差异，其中，所述四个连续图像中的每个图像在用于从第二相机获取第二图像至第五图像的曝光时间(例如，823、827、831和835)期间被捕获。
图9示出了根据本公开的实施例的用于将从第二相机获取的多个图像进行匹配和拼接的方法。
参照图9，如标号910所示，处理器可通过第二相机获取与第二相机的第二相机镜头组件的第一角度至第四角度相应的外部对象的第一图像至第四图像911、913、915和917。
根据实施例，处理器可通过在从第一相机(例如，图4的第一相机410)获取的图像的图像区域的环境中分析第一图像至第四图像911、913、915和917来确定第一图像至第四图像911、913、915和917的位置。基于图像中各种对象的XY坐标，例如，处理器可计算从第一相机获取的图像区域中的第一图像至第四图像911、913、915和917之间的位置差异。如果计算的差异较小，则可确定第一图像至第四图像911、913、915和917的位置彼此接近。
例如，如标号920所示，处理器可确定从第一相机获取的图像区域中的第一图像911的位置(如标号921所示)。通过相同的方法，如标号930所示，处理器可将第二图像至第四图像913、915、917的位置确定为从第一相机获取的图像区域中的标号933、935和937。
根据实施例，如果从第二相机获取的第一图像至第四图像的位置(坐标)在从第一相机获取的图像中被确定为如标号921、933、935和937所示，则处理器可针对第一图像至第四图像921、933、935和937重叠的区域执行处理图像的操作(即，将图像进行匹配的操作)。
例如，如果第一图像至第四图像921、933、935和937具有重叠区域(在标号930中示为交叉阴影线)，则处理器可以执行从多个图像中去除重叠区域的重复的操作。处理器还可通过使用从第一相机获取的图像的相应部分来针对第一图像至第四图像921、933、935和937不存在的区域执行提供图像939(在标号930中示为单对角线阴影线)的图像处理操作。
根据实施例，在将第一图像至第四图像921、933、935和937进行匹配之后，如标号940所示，处理器可通过执行将匹配的第一图像至第四图像921、933、935和937进行拼接的操作来产生一个图像。
根据实施例，处理器可将从第一相机获取的图像939和通过拼接操作组合的图像进行合成。例如，处理器可将图像939的至少一部分(例如，图像939的第一区域)和第一图像921的至少一部分进行合成，将图像939的至少一个其它部分(例如，图像939的第二区域)和第二图像933的至少一部分进行合成，将图像939的至少一个另外部分(例如，图像939的第三区域)和第三图像935的至少一部分进行合成，以及将图像939的至少一个又一部分(例如，图像939的第四区域)和第四图像937的至少一部分进行合成。
根据实施例，处理器可通过应用滤波器去除诸如由合成引起的边界的非自然效果来去除伪像。
图10示出了根据本公开的实施例的用于处理图像的方法。
参照图10，如标号1010所示，处理器(例如，图2的图像信号处理器260或图3的处理器350)可从第二相机(例如，图4的第二相机420)获取与第二相机镜头组件(例如，图4的第二相机镜头组件421)的不同角度相应的外部对象的多个图像1011、1013、1015、1017和1019。例如，多个图像1011、1013、1015、1017和1019可以是与不同角度相应的远摄图像。
根据实施例，处理器可通过执行将多个获取图像1011、1013、1015、1017和1019进行缝合的操作来产生一个图像1020。
根据实施例，处理器可通过将产生的图像1020和从第一相机(例如，图4的第一相机410)获取的外部对象的图像1030进行合成来产生图像1040。
拼接操作和合成操作已在图9中进行了描述，这里将省略对所述操作的详细描述。
如上所述，在拍摄扩展图像(例如，广角图像)的情况下，根据本公开的至少一个实施例的***可在不使用具有中等视角的相机的情况下提供具有与从具有中等视角的相机获取的图像相同的图像质量的缩放效果。这可通过将从第一相机获取的广角图像和从第二相机获取的多个远摄图像进行合成来完成，其中，来自第二相机的多个图像与第二相机镜头组件的不同角度相应。
以下图11和图12示出了针对与感兴趣区域(ROI)相应的区域而不是图像的整个区域来提高图像质量的方法。
图11是示出根据本公开的实施例的用于处理图像的方法的流程图。
参照图11，处理器(例如，图2的图像信号处理器260或图3的处理器350)可在预览屏幕中显示包括从相机模块接收的外部对象的图像。
根据实施例，在操作1101，处理器在包括外部对象的预览屏幕中设置ROI。例如，如果外部对象是人，则可通过识别面部或手来自动设置ROI。可选地，处理器可响应于用于在预览屏幕中设置ROI的用户输入来设置ROI。
根据实施例，在操作1103，处理器接收针对外部对象的拍摄信号。
根据实施例，在操作1103，处理器还可接收除了针对外部对象的拍摄信号之外的缩放级别的输入。
根据实施例，在操作1107，处理器响应于接收到的拍摄信号，通过使用相机(例如，图4的第一相机410)获取外部对象的第一图像。
根据实施例，在操作1109，处理器从第二相机(例如，图4的第二相机420)获取与第二相机镜头组件(例如，图2的第二相机镜头组件421)的第一方向相应的针对ROI的第二图像。可通过驱动单元(例如，图4的驱动单元433)调整第二相机镜头组件的角度。处理器还获取与第二相机镜头组件的第二方向相应的针对ROI的第三图像。
根据实施例，可同时执行从第一相机获取第一图像的操作1107和获取第二图像和第三图像的操作1109。
根据实施例，在操作1111，处理器确定与从第二相机获取的第二图像的至少一部分或第三图像的至少一部分相应的从第一图像获取的第一图像的区域。
根据实施例，在操作1113，处理器调整第二图像的至少一部分或第三图像的至少一部分的分辨率。在操作1115，处理器通过在操作1111确定的第一图像的区域中将调整的第二图像的至少一部分或调整的第三图像的至少一部分进行合成来产生外部对象的图像。
图12示出了根据本公开的实施例的用于处理图像的方法。
参照图12，处理器(例如，图2的图像信号处理器260或图3的处理器350)可在预览屏幕1201中将ROI设置为包括外部对象。ROI可被自动识别或由用户选择。在图12中，ROI1211与特定对象相应。
例如，为了针对ROI 1211获取图像，处理器可使用第二相机(例如，图4的第二相机420)的驱动单元(例如，图4的驱动单元433)将第二相机镜头组件(例如，图4的第二相机镜头组件421)从第一角度1213调整为第二角度1215。处理器可针对ROI从第二相机获取与由驱动单元调整的第二角度1215相应的至少一个图像。处理器可将针对ROI的至少一个图像与从第一相机(例如，图4的第一相机410)获取的特定对象的图像进行合成。
如上所述，在拍摄扩展图像的情况下，根据本公开的至少一个实施例的***可提供针对ROI具有提高的图像质量的缩放功能。这可通过将从第一相机获取的广角图像和从第二相机获取的针对ROI的至少一个的远摄图像进行合成的操作来完成，其中，远摄图像与第二相机镜头组件的角度相应。
根据各种实施例的电子装置可以是各种类型的电子装置中的一个。电子装置可包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体设备、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于上述那些。
应当理解，本公开的各种实施例和其中使用的术语不旨在将本文阐述的技术特征限制于特定实施例，并且包括针对相应实施例的各种改变、等同物或替换。关于附图的描述，相似的标号可用于表示相似或相关的元件。将理解，名词的单数形式也可表示复数，除非相关的上下文另外明确指出。如本文所使用的，如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”这样的短语中的每一个可包括一起列举的项的所有可能组合。如这里所使用的，如“第一”和“第二”这样的术语可表示相应的组件而不意味重要性的顺序，并且在不过度限制所述组件的情况下仅用于将每个组件与其它组件区分开。将理解，如果提及元件(例如，第一元件)“与…结合”、“结合到”、“与…连接”或“连接到”另一元件(例如，第二元件)，不管有没有术语“可操作地”或“通信地”，这都意味着所述元件可直接经由线缆、无线地或经由第三元件与另一个元件结合。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其它术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)互换使用。模块可以是适于执行一个或更多个功能的单个整体组件或其一部分。例如，根据实施例，模块可以以专用集成电路(ASIC)的形式来实现。
这里阐述的各种实施例可被实现为包括存储在由机器(例如，电子装置101)可读的存储介质(例如，内部存储器136或外部存储器138)中的一个或更多个指令的软件(例如，程序140)。例如，机器(例如，电子装置101)的处理器(例如，处理器120)可调用存储在存储介质中的一个或更多个指令中的至少一个，并且在处理器的控制下使用或不使用一个或更多个组件来执行它。这允许机器***作以根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器制作的代码或由解释器可执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。术语“非暂时性”仅意味着存储介质是有形装置并且不包括信号(例如，电磁波)。然而，该术语不在数据被半永久地存储在存储介质中和数据被临时存储在存储介质中之间进行区分。
根据实施例，根据本公开的各种实施例的方法可被包括并设置在计算机程序产品中。计算机程序产品可作为产品在卖方和买方之间被交易。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式被分发或者经由应用商店(例如，Play StoreTM)在线被分发(例如，下载或上载)或在两个用户装置(例如，智能手机)之间直接被分发。如果在线分发，则计算机程序产品的至少一部分可被临时产生或至少被临时存储在机器可读存储介质(诸如，制造商的服务器的存储器、应用商店的服务器或中继服务器)中。
根据各种实施例，上述组件的每个组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可以省略上述组件中的一个或更多个，或者可以添加一个或更多个其它组件。可选地或另外地，可将多个组件(例如，模块或程序)集成为单个组件。在这样的情况下，根据各种实施例，集成组件仍然可以以与在集成之前由多个组件中的相应的一个组件执行的相同或相似的方式执行多个组件中的每个组件的一个或更多个功能。根据各种实施例，由模块、程序或另一组件执行的操作可被顺序地、并行地、重复地或启发式地执行，或者所述操作中的一个或更多个可以以不同的顺序被执行或被省略，或者一个或更多个其它操作可被添加。
根据本公开的各种实施例，在拍摄扩展图像的情况下，电子设备可以在中等视角缩放范围中提供具有提高的质量的图像。电子设备可以包括具有不同视角的多个相机，并且上述可以通过将从第一相机获取的外部对象的图像和从第二相机获取的外部对象的多个图像进行合成的操作来实现，其中，来自第二相机的多个图像对应于第二相机的第二相机镜头组件的不同角度。
本公开的上述实施例的特定方面可以以硬件、固件或经由可以存储在记录介质(诸如，CD ROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码或者通过网络下载的最初存储在远程记录介质或非暂时性机器可读介质上并且将被存储在本地记录介质上的计算机代码的执行来实现，使得本文所述的方法可使用通用计算机、专用处理器或者可编程或专用硬件(例如，ASIC或FPGA)经由存储在记录介质上的这样的软件来呈现。如在本领域中将理解的，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器组件(例如，RAM、ROM、闪存等)，其中，所述软件或计算机代码当由计算机访问和执行时，处理器或硬件实现这里描述的处理方法。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求和它们的等同物所限定的本公开的情况下，可在其中进行形式和细节上的各种改变。

Claims (13)

1.一种电子装置，包括：
第一相机；
第二相机，包括镜头组件和能够通过调整镜头组件的角度改变镜头组件的光轴方向的驱动单元；以及
处理器，
其中，处理器配置为：
接收针对外部对象的拍摄信号，
通过使用第一相机获取外部对象的第一图像，
通过将第二相机的镜头组件的角度设置为第一方向来获取与第一方向相应的外部对象的第二图像，
通过将第二相机的镜头组件的角度设置为第二方向来获取与第二方向相应的外部对象的第三图像，其中，第二相机的镜头组件在用于获取第二图像的曝光时间与第二相机的图像传感器的读出时间之间从指向第一方向被移动到指向第二方向，以及
通过将第一图像的至少一部分与第二图像的至少一部分进行合成并将第一图像的至少一个其它部分与第三图像的至少一部分进行合成来产生外部对象的图像，
其中，在产生外部对象的图像的操作中，处理器还被配置为：
确定第一图像的与第二图像的至少一部分或第三图像的至少一部分相应的区域，
调整第二图像的所述至少一部分或第三图像的所述至少一部分的分辨率，以及
在确定的区域中将调整的第二图像的所述至少一部分或调整的第三图像的所述至少一部分进行合成。
2.如权利要求1所述的电子装置，其中，第二相机的视角特性比第一相机的视角特性窄。
3.如权利要求1所述的电子装置，其中，处理器还被配置为：
扩展第一图像的尺寸并且/或者减小第二图像或第三图像的尺寸，
将减小的第二图像的至少一部分与减小的第三图像的至少一部分进行匹配，
通过将匹配的第二图像的至少一部分与匹配的第三图像的至少一部分进行拼接来产生第四图像，以及
将第四图像与第一图像的至少一部分进行合成。
4.如权利要求1所述的电子装置，其中，处理器还被配置为在预定时间内，通过使用第一相机获取第一图像并且通过使用第二相机获取第二图像和第三图像。
5.如权利要求4所述的电子装置，其中，处理器还被配置为：
控制第二相机根据比预定曝光时间短的曝光时间来获取第二图像和第三图像，并控制第一相机获取单个图像作为第一图像，或者
控制第二相机根据所述曝光时间来获取第二图像和第三图像，并控制第一相机获取多个图像作为第一图像，其中，针对所述多个图像中的每一个的曝光时间与第二图像和第三图像的曝光时间相应。
6.如权利要求1所述的电子装置，其中，驱动单元包括图像稳定器，并且
处理器还被配置为至少通过使用图像稳定器沿第一方向或第二方向调整第二相机。
7.如权利要求1所述的电子装置，其中，处理器还被配置为：
基于第一图像获取第一相机与外部对象之间的距离信息，以及
基于获取的距离信息控制驱动单元调整第二相机的镜头组件的角度。
8.如权利要求1所述的电子装置，其中，处理器还被配置为：
接收用于设置感兴趣区域(ROI)的输入，以及
至少部分地基于ROI控制第二相机，其中，第二图像和第三图像根据ROI而被获取。
9.一种通过使用多个相机的电子装置的图像处理方法，所述图像处理方法包括：
响应于针对外部对象的拍摄信号，使用第一相机获取外部对象的第一图像；
通过将第二相机的镜头组件的角度设置为第一方向来获取与第一方向相应的外部对象的第二图像，其中，第二相机包括镜头组件和能够通过调整镜头组件的角度改变镜头组件的光轴方向的驱动单元；
通过将第二相机的镜头组件的角度设置为第二方向来获取与第二方向相应的外部对象的第三图像，其中，第二相机的镜头组件在用于获取第二图像的曝光时间与第二相机的图像传感器的读出时间之间从指向第一方向被移动到指向第二方向；以及
通过将第一图像的至少一部分与第二图像的至少一部分进行合成并将第一图像的至少一个其它部分与第三图像的至少一部分进行合成来产生外部对象的图像，
其中，产生外部对象的图像的步骤还包括：
确定第一图像的与第二图像的至少一部分或第三图像的至少一部分相应的区域；
调整第二图像的所述至少一部分或第三图像的所述至少一部分的分辨率；以及
在确定的区域中将调整的第二图像的所述至少一部分或调整的第三图像的所述至少一部分进行合成。
10.如权利要求9所述的方法，还包括：
扩大第一图像的尺寸并且/或者减小第二图像或第三图像的尺寸；
将减少的第二图像的至少一部分与减少的第三图像的至少一部分进行匹配；以及
通过将匹配的第二图像的至少一部分与匹配的第三图像的至少一部分进行拼接来产生第四图像，并且
将第四图像与第一图像的至少一部分进行合成。
11.如权利要求9所述的方法，还包括：
在预定时间内获取第一图像、第二图像和第三图像，
控制第二相机根据比预定曝光时间短的曝光时间来获取第二图像和第三图像，并控制第一相机获取单个图像作为第一图像，或者
控制第二相机根据所述曝光时间来获取第二图像和第三图像，并控制第一相机获取多个图像作为第一图像，其中，针对所述多个图像中的每一个的曝光时间与第二图像和第三图像的曝光时间相应。
12.如权利要求9所述的方法，还包括：
基于第一图像获取第一相机与外部对象之间的距离信息，以及
基于获取的距离信息控制驱动单元调整第二相机的镜头组件的角度。
13.如权利要求9所述的方法，还包括：
接收用于设置感兴趣区域(ROI)的输入，以及
至少部分地基于ROI控制第二相机，其中，第二图像和第三图像根据ROI而被获取。
CN201810841607.0A 2017-07-27 2018-07-27 使用多个相机获取图像的电子装置和用其处理图像的方法 Active CN109309796B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170095468A KR102328539B1 (ko) 2017-07-27 2017-07-27 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
KR10-2017-0095468 2017-07-27

Publications (2)

Publication Number Publication Date
CN109309796A CN109309796A (zh) 2019-02-05
CN109309796B true CN109309796B (zh) 2021-07-27

Family

ID=63207501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810841607.0A Active CN109309796B (zh) 2017-07-27 2018-07-27 使用多个相机获取图像的电子装置和用其处理图像的方法

Country Status (5)

Country Link
US (1) US10956774B2 (zh)
EP (1) EP3435655B1 (zh)
JP (1) JP7185434B2 (zh)
KR (1) KR102328539B1 (zh)
CN (1) CN109309796B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101180A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 이미지 안정화를 위한 전자 장치 및 그의 동작 방법
KR20200117695A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
US11886642B2 (en) * 2019-04-24 2024-01-30 Hubbell Incorporated System and method for integrated surveillance and communication into lighting equipment
CN110278360B (zh) * 2019-06-28 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11606504B2 (en) 2019-09-10 2023-03-14 Samsung Electronics Co., Ltd. Method and electronic device for capturing ROI
WO2021147228A1 (zh) * 2020-01-21 2021-07-29 神盾股份有限公司 图像扫描装置及图像扫描方法
CN111405087B (zh) * 2020-03-05 2022-12-09 维沃移动通信有限公司 一种电子产品及其摄像方法
CN114095641A (zh) * 2020-07-21 2022-02-25 珠海格力电器股份有限公司 一种图像的显示方法和装置
CN113973171B (zh) * 2020-07-23 2023-10-10 宁波舜宇光电信息有限公司 多摄摄像模组、摄像***、电子设备和成像方法
CN114697658A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 编解码方法、电子设备、通信***以及存储介质
CN115633252B (zh) * 2021-08-11 2023-10-20 荣耀终端有限公司 拍摄方法及其相关设备
KR102350853B1 (ko) * 2021-10-18 2022-01-13 주식회사 스튜디오레논 투명 디스플레이 장치를 이용한 영상 표시 시스템 및 이를 이용한 영상 표시 방법
KR20230071408A (ko) * 2021-11-16 2023-05-23 삼성전자주식회사 프리뷰 이미지를 제공하는 방법 및 그 전자 장치
CN116170693B (zh) * 2023-04-25 2023-07-21 山西乐宸科技有限公司 一种安防监控***控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5962841A (ja) * 1982-10-01 1984-04-10 Minolta Camera Co Ltd フレ−ミング用ミラ−を有する薄型偏平形状カメラ
CN101127829A (zh) * 2006-08-15 2008-02-20 沈洪 多场景摄像装置
CN101572775A (zh) * 2008-05-03 2009-11-04 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4560261A (en) 1982-05-07 1985-12-24 Minolta Camera Kabushiki Kaisha Flat camera with self photograph framing mirror
US6727954B1 (en) 1998-08-12 2004-04-27 Minolta Co., Ltd. Electronic camera and image processing system
JP2000059606A (ja) 1998-08-12 2000-02-25 Minolta Co Ltd 高精細画像作成システム
JP2003134375A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP2005303694A (ja) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US8199212B2 (en) 2008-05-03 2012-06-12 Olympus Imaging Corp. Image recording and playback device, and image recording and playback method
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP5395956B2 (ja) * 2010-07-02 2014-01-22 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理方法
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
JP2012133185A (ja) * 2010-12-22 2012-07-12 Olympus Corp 撮像装置
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
EP2979445A4 (en) 2013-03-27 2016-08-10 Bae Sys Inf & Elect Sys Integ ELECTROOPTICAL FUSION ZOOM CAMERA WITH SEVERAL VIEW FIELDS AND MULTIPLE SENSORS
JP5919440B2 (ja) * 2013-08-01 2016-05-18 富士フイルム株式会社 撮像モジュール及び電子機器
US20150131924A1 (en) * 2013-11-13 2015-05-14 Microsoft Corporation Creation of Rectangular Images from Input Images
WO2015163833A1 (en) * 2014-04-23 2015-10-29 Gürzumar Süleyman Ataullah Digital image capturing method and electronic device for digital image capturing
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
JP6600163B2 (ja) * 2014-08-19 2019-10-30 キヤノン株式会社 像振れ補正装置及びその制御方法
US9426362B2 (en) 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
CN107835959B (zh) * 2015-07-10 2021-04-09 株式会社尼康 摄像装置、摄像光学***、摄像装置的制造方法以及摄像方法
WO2017092804A1 (en) * 2015-12-02 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device and method for controlling cameras thereof
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5962841A (ja) * 1982-10-01 1984-04-10 Minolta Camera Co Ltd フレ−ミング用ミラ−を有する薄型偏平形状カメラ
CN101127829A (zh) * 2006-08-15 2008-02-20 沈洪 多场景摄像装置
CN101572775A (zh) * 2008-05-03 2009-11-04 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法

Also Published As

Publication number Publication date
EP3435655B1 (en) 2023-02-22
JP2019030007A (ja) 2019-02-21
KR20190012465A (ko) 2019-02-11
US20190034756A1 (en) 2019-01-31
US10956774B2 (en) 2021-03-23
CN109309796A (zh) 2019-02-05
EP3435655A1 (en) 2019-01-30
JP7185434B2 (ja) 2022-12-07
KR102328539B1 (ko) 2021-11-18

Similar Documents

Publication Publication Date Title
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
EP3457680B1 (en) Electronic device for correcting image and method for operating the same
US11461910B2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
US11558553B2 (en) Electronic device for stabilizing image and method for operating same
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
CN109672827B (zh) 用于组合多个图像的电子装置及其方法
KR102452564B1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
US11107198B2 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
CN109413399B (zh) 使用深度图合成对象的装置及其方法
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
US11778307B2 (en) Electronic device for providing camera preview and method therefor
TWI785162B (zh) 提供影像的方法及用於支持所述方法的電子裝置
CN112840644A (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
CN115004685A (zh) 电子装置和用于在电子装置处显示图像的方法
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
US20200304717A1 (en) Electronic device for auto focusing function and operating method thereof
KR102457559B1 (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
CN115516494A (zh) 用于生成图像的方法及其电子装置
US20230085017A1 (en) Electronic device and method for improving quality of image by using multiple cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant