CN110996013A - 电子装置和处理图像的方法 - Google Patents

电子装置和处理图像的方法 Download PDF

Info

Publication number
CN110996013A
CN110996013A CN201911355618.9A CN201911355618A CN110996013A CN 110996013 A CN110996013 A CN 110996013A CN 201911355618 A CN201911355618 A CN 201911355618A CN 110996013 A CN110996013 A CN 110996013A
Authority
CN
China
Prior art keywords
image
image data
electronic device
data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911355618.9A
Other languages
English (en)
Other versions
CN110996013B (zh
Inventor
白宇铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140025000A external-priority patent/KR102124188B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110996013A publication Critical patent/CN110996013A/zh
Application granted granted Critical
Publication of CN110996013B publication Critical patent/CN110996013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J21/00—Catalysts comprising the elements, oxides, or hydroxides of magnesium, boron, aluminium, carbon, silicon, titanium, zirconium, or hafnium
    • B01J21/06—Silicon, titanium, zirconium or hafnium; Oxides or hydroxides thereof
    • B01J21/063—Titanium; Oxides or hydroxides thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J35/00—Catalysts, in general, characterised by their form or physical properties
    • B01J35/30—Catalysts, in general, characterised by their form or physical properties characterised by their physical properties
    • B01J35/39—Photocatalytic properties
    • C—CHEMISTRY; METALLURGY
    • C04—CEMENTS; CONCRETE; ARTIFICIAL STONE; CERAMICS; REFRACTORIES
    • C04B—LIME, MAGNESIA; SLAG; CEMENTS; COMPOSITIONS THEREOF, e.g. MORTARS, CONCRETE OR LIKE BUILDING MATERIALS; ARTIFICIAL STONE; CERAMICS; REFRACTORIES; TREATMENT OF NATURAL STONE
    • C04B41/00—After-treatment of mortars, concrete, artificial stone or ceramics; Treatment of natural stone
    • C04B41/45—Coating or impregnating, e.g. injection in masonry, partial coating of green or fired ceramics, organic coating compositions for adhering together two concrete elements
    • C04B41/50—Coating or impregnating, e.g. injection in masonry, partial coating of green or fired ceramics, organic coating compositions for adhering together two concrete elements with inorganic materials
    • C04B41/5025—Coating or impregnating, e.g. injection in masonry, partial coating of green or fired ceramics, organic coating compositions for adhering together two concrete elements with inorganic materials with ceramic materials
    • C04B41/5041—Titanium oxide or titanates
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C1/00—Design or layout of roads, e.g. for noise abatement, for gas absorption
    • E01C1/005—Means permanently installed along the road for removing or neutralising exhaust gases
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C7/00—Coherent pavings made in situ
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C7/00—Coherent pavings made in situ
    • E01C7/08—Coherent pavings made in situ made of road-metal and binders
    • E01C7/35—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them
    • E01C7/353—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them with exclusively bituminous binders; Aggregate, fillers or other additives for application on or in the surface of toppings with exclusively bituminous binders, e.g. for roughening or clearing
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C7/00—Coherent pavings made in situ
    • E01C7/08—Coherent pavings made in situ made of road-metal and binders
    • E01C7/35—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them
    • E01C7/358—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them with a combination of two or more binders according to groups E01C7/351 - E01C7/356
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325—Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Materials Engineering (AREA)
  • Organic Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Ceramic Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Inorganic Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种电子装置和处理图像的方法。一种电子装置包括第一图像传感器、第二图像传感器、一个或更多个图像处理模块和显示器。第一图像传感器产生第一图像数据。第二图像传感器产生第二图像数据。一个或更多个图像处理模块处理第一图像数据和第二图像数据中的一个或更多个图像数据。显示器显示由一个或更多个图像处理模块处理的第一图像数据或第二图像数据中的一个或更多个图像数据。缩略图产生模块使用由一个或更多个图像处理模块处理的第一图像数据和第二图像数据中的一个或更多个图像数据来产生缩略图数据。一种方法包括将多个图像数据转换为可显示在显示器上的格式，并使用可显示的格式的图像数据产生缩略图数据。

Description

电子装置和处理图像的方法
本申请是申请日为2014年3月13日、申请号为201480014885.9、题为“电子装置和处理图像的方法”的专利申请的分案申请。
技术领域
本公开的多种实施例涉及一种用于处理图像的方法及其电子装置。
背景技术
随着信息通信(IT)技术和半导体技术的发展，多种类型的电子装置被包括到多媒体装置中以提供多种多媒体服务。例如，便携式电子装置可以提供诸如广播服务、无线互联网服务和音乐播放服务等多种多媒体服务。
电子装置可以使用通过图像传感器获取的一个或更多个图像来提供多种服务。例如，电子装置可以使用图像信号处理器(ISP)对通过图像传感器获取的图像数据执行诸如水平调节、噪声去除、伽马校正和色彩空间转换等的图像处理，并提供多种服务。
然而，因为电子装置使用一个ISP执行多种图像处理，所以可能存在降低图像数据的处理速度的问题。
发明内容
为了解决上述缺陷，主要目的在于提供用于有效地处理通过电子装置中的一个或更多个图像传感器获取的图像数据的设备和方法。
本公开的实施例可以提供一种减少通过电子装置中的一个或更多个传感器获取的图像数据的处理延迟的设备和方法。
本公开的实施例可以提供一种用于有效地产生关于电子装置中的捕捉的图像数据的缩略图数据的设备和方法。
本公开的实施例可以提供一种用于使用与电子装置中的图像处理单元(即，图像信号处理器(ISP))不同的处理器产生关于捕捉的图像数据的缩略图数据的设备和方法。
本公开的实施例可以提供一种用于在电子装置的不同的处理器中使用在图像处理单元(即，ISP)中产生的一个或更多个数据来产生关于捕捉的图像数据的缩略图数据的设备和方法。
本公开的实施例可以提供一种用于在电子装置中互锁并存储使用与图像处理单元(即，ISP)不同的处理器产生的缩略图数据和捕捉的图像数据的设备和方法。
本公开的实施例可以提供一种用于在电子装置的不同的处理器中使用图像处理单元(即，ISP)中产生的元数据互锁并存储捕捉的图像数据和缩略图数据的设备和方法。
通过提供一种用于处理图像的电子装置和方法来实现上述方面。
根据本公开的实施例，一种电子装置包括第一图像传感器、第二图像传感器、一个或更多个图像处理模块、显示器和缩略图产生单元。第一图像传感器产生第一图像数据。第二图像传感器产生第二图像数据。一个或更多个图像处理模块处理第一图像数据和第二图像数据中的一个或更多个图像数据。显示器显示由一个或更多个图像处理模块处理的第一图像数据或第二图像数据中的一个或更多个图像数据。缩略图产生模块使用由一个或更多个图像处理模块处理的第一图像数据或第二图像数据中的一个或更多个图像数据产生缩略图数据。
根据本公开的实施例，一种电子装置包括一个或更多个处理器和显示单元。所述一个或更多个处理器接收图像数据，处理图像数据并产生预览图像。显示单元显示由所述一个或更多个处理器产生的预览图像。所述一个或更多个处理器被配置为响应于与捕捉指令对应的信号使用预览图像的至少一部分来产生大小小于预览图像的图像。
根据本公开的实施例，提供了一种电子装置的操作方法。所述方法包括如下操作：使用多个图像传感器产生多个图像数据；通过一个或更多个图像处理模块将多个图像数据转换为可显示在显示单元上的格式；在与图像处理模块分离的另一模块中使用在图像处理模块中转换的可显示的格式的图像数据来产生缩略图数据。
根据本公开的实施例，提供了一种电子装置的操作方法。所述方法包括如下操作：存储一个或更多个图像数据；通过一个或更多个处理器将所述一个或更多个图像数据中的一个或更多个图像数据转换为预览图像；响应于指示捕捉指令的信号，通过处理器使用预览图像的至少一部分产生大小小于预览图像的图像。
根据本公开的实施例，一种电子装置包括一个或更多个图像传感器和接口。所述一个或更多个图像传感器产生图像数据。接口处理在所述一个或更多个图像传感器中产生的图像数据。接口将图像数据发送到一个或更多个模块。所述一个或更多个模块基于相应的模块的图像数据处理方法改变图像数据的格式。
在进行下面的具体实施方式部分之前，可以有益地阐述贯穿本专利文件所使用的特定的词汇和用语的定义：术语“包括”和“包含”及其派生词的含义为包括而非限制；术语“或”是包括性的，其含义为和/或；用语“与……相关”和“与其相关”及其派生词的含义可为包括、被包括在……内、与……相互连接、包含、包含在……内、连接到或与……连接、结合到或与……结合、与……通信、与……合作、交错、并列、近似于、受……约束或以……进行约束、具有或具有……性质等；术语“控制器”的含义为控制至少一个操作的任何装置、***或其部件，这样的装置可以以硬件、固件或软件或其中至少两者的一定的组合来实现。应该注意的是，与任何特定控制器相关的功能可以是本地或远程地被集中化或分布化。提供了贯穿本专利文件的特定词汇和用语的定义，本领域普通技术人员应该理解的是，如果不是在大多数情况下，则在一些情况下，这样的定义应用于所限定的词汇和用户的先前及以后的使用中。
附图说明
为了更完整地理解本公开及其优点，现在将结合附图来参考下面的描述，在附图中，相同的附图标记指示相同的部件：
图1A是示出根据本公开的实施例的包括电子装置的网络环境的示图；
图1B是示出根据本公开的实施例的电子装置的框图；
图2是示出根据本公开的实施例的处理器的详细框图；
图3是示出根据本公开的另一实施例的电子装置的框图；
图4是示出根据本公开的另一实施例的处理器的详细框图；
图5是示出根据本公开的又一实施例的电子装置的框图；
图6是示出根据本公开的又一实施例的处理器的详细框图；
图7是示出根据本公开的实施例的外部图像处理单元的详细框图；
图8是示出根据本公开的实施例的存储器的详细框图；
图9是示出根据本公开的实施例的接口的框图；
图10是示出根据本公开的实施例的电子装置中的用于产生缩略图数据的过程的流程图；
图11是示出根据本公开的实施例的电子装置中的用于互锁和存储缩略图数据和获取的图像数据的过程的流程图；
图12A和图12B是示出根据本公开的实施例的划分和存储的图像数据的结构的示图；
图13是示出根据本公开的又一实施例的电子装置的框图。
具体实施方式
本专利文件中的在下面讨论的图1A至图13和用于描述本公开的原理的多种实施例仅是举例说明，且不应被以限制本公开的范围的方式进行理解。本领域技术人员应理解的是，本公开的原理可以以任意合适地布置的电子装置来实现。可以在下面参照附图对本公开进行描述。本公开可以进行多种修改，且可以具有多种实施例。已经在附图中示例性地示出了特定的实施例，并已经公开了相关的详细描述。但是，这些没有意在将本公开限制为特定的实施例形式，且应被理解为包括被包括在本公开的精神和技术范围中的所有改变、等同物或替换物。在对附图的描述中，相同的附图标记用于相同的组成元件。
在本公开中可使用的诸如“包含”、“包括”、“可以包含”或“可以包括”的表述指示存在公开的对应功能、操作和组成元件等，且不限制另外的一个或更多个功能、操作或组成元件等。此外，在本公开中，应该理解的是，术语“包含”、“包括”、“具有”等用于表示存在在说明书中公开的特征、数量、步骤、操作、组成元件、部件或其组合，且不预先排除存在或补充一个或更多个其他特征、数量、步骤、操作、组成元件、部件或其组合的可能性。
在本公开中，表述“或”等包括排列在一起的词语的任意和所有组合。例如，“A或B”可以包括A、或可以包括B、或可以包括全部的A和B。
在本公开中，表述“第一”和“第二”等可以修饰本公开的多种组成元件，但是不限制对应的组成元件。例如，表述不限制对应的组成元件的顺序和/或重要性等。表述可以用于将一个组成元件与另一组成元件区分开来。例如，第一用户装置和第二用户装置全部为用户装置，且代表不同的用户装置。例如，第一组成元件可以被命名为第二组成元件而不脱离本公开的精神和范围。相同地，即使第二组成元件也可以被命名为第一组成元件。
当提到一个组成元件“连接”或“访问”到另一组成元件时，应该理解的是，一个组成元件可以直接连接或访问到另一组成元件，或者第三组成元件可以存在于这两个组成元件之间。相反，当提到一个组成元件“直接连接”或“直接访问”到另一组成元件时，应该理解的是，在这两个组成元件之间不存在第三组成元件。
在本公开中使用的术语仅用于描述特定的实施例，且不意在限制本公开的精神和范围。除非在上下文中进行了另外地清楚的定义，否则单数的表达方式包括复数的表达方式。
除非另外地定义，否则这里使用的所有术语(包括技术术语或科学术语)具有与由本领域具有普通知识的人所通常理解的含义相同的含义。除非在本公开中进行了清楚地定义，否则，如在通用字典中所定义的术语应被解释为具有与相关技术的上下文中的含义一致的含义，且不被理想化或过渡正式地进行解释。
根据本公开的实施例的电子装置可以为包括相机功能的装置。例如，电子装置可以包括智能电话、平板型个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、网络本计算机、个人数字助理(PDA)、便携式媒体播放器(PMP)、MPEG音频层3(MP3)播放器、移动医疗仪器、相机和可穿戴装置(例如，诸如电子眼镜的头戴式显示器(HMD)、电子服装、电子手环、电子项链、电子附件、电子纹身或智能手表)中的至少一种。
根据一些实施例，电子装置可以为具有相机功能的智能电子家用电器。例如，智能电子家用电器可以包括电视、数字多功能盘(DVD)播放器、音频装置、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、TV盒(例如，Samsung HomeSynTM、AppleTVTM或Google TVTM)、游戏控制台、电子字典、电子锁***、摄像机和电子相框中的至少一种。
根据一些实施例，电子装置可以包括多种医学仪器(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、计算机化断层扫描(CT)、运动相机和超声机等)、导航装置、全球定位***(GPS)接收器、车辆娱乐装置、船舶电子设备(例如，船舶导航装置和回转罗盘等)、飞行电子设备、安全仪器和工业或家用机器人中的至少一种。
根据一些实施例，电子装置可以包括具有相机功能的家具或建筑/结构的一部分、电子板、电子签名输入装置、投影仪和多种测量仪器(例如，自来水、电、气或无线电波测量仪器等)中的至少一种。根据本公开的电子装置可以为前述的多种装置之一或者两个或更多个的组合。此外，对于本领域技术人员明显的是，根据本公开的电子装置受限于前述设备。
下面将参照附图对根据多种实施例的电子装置进行描述。在多种实施例中使用的术语“用户”可以指使用电子装置或利用电子装置的装置(例如，模糊电子装置)的人。
下面，本公开的实施例描述了用于处理通过电子装置中的多个图像传感器获取的图像数据的技术。
图1A是示出了根据本公开的实施例的包括电子装置的网络环境100的示图。
参照图1A，电子装置101可以包括总线110、处理器120、存储器130、输入/输出接口140、显示器150、通信接口160、图像处理模块170和图像传感器模块180。
总线110可以为将前述的组成元件彼此连接并在前述的组成元件之间发送通信信号(例如，控制消息)的电路。
处理器120可以例如通过总线110接收来自前述其他组成元件(例如，存储器130、输入/输出接口140、显示器150、通信接口160、图像处理模块170或图像传感器模块180)的指令，对接收的指令进行解释，并根据解释的指令执行操作或数据处理。
存储器130可以存储从处理器120或其他组成元件(例如，输入/输出接口140、显示器150、通信接口160、图像处理模块170或图像传感器模块180等)接收或由处理器120或其他组成元件产生的指令或数据。存储器130可以包括核心131、中间件132、应用程序接口(API)133或应用134等的程序模块。前述的各程序模块可以由软件、固件、硬件或它们中的至少两个或更多个的组合构成。
核心131可以控制或管理用于执行在其他的程序模块(例如，中间件132、API 133或应用134)中实现的操作或功能的***资源(例如，总线110、处理器120或存储器130等)。此外，核心131可以提供使中间件132、API 133或应用134能够访问以及控制或管理电子装置101的独立的组成元件的接口。
中间件132可以实现使API 133或应用134与核心131能够通信和交换数据的中继的角色。此外，关于从应用134接收的工作请求，例如，中间件132可以对应用134中的至少一个应用使用能够使用电子装置100的***资源(例如，总线110、处理器120或存储器130等)来分配优先级顺序等的方法来执行工作请求的控制(例如，时序安排或负载平衡)。
作为使应用134能够控制在核心131或中间件132中提供的功能的接口的API 133可以包括例如用于文件控制、窗口控制、图像处理或字符控制等的至少一个接口或功能(例如，指令)。
根据多种实施例，应用134可以包括短消息服务(SMS)/多媒体消息服务(MMS)应用、电子邮件(e-mail)应用、日历应用、闹钟应用、健康护理应用(例如，测量动量或血糖等的应用)或环境信息应用(例如，提供压强、湿度或温度信息等的应用)等。另外地或可选择地，应用134可以为与在电子装置101和外部电子装置(例如，电子装置102或电子装置104)之间的信息交换相关的应用。与信息交换相关的应用可以包括例如用于将特定的信息推送到外部电子装置的通知推送应用或用于管理外部电子装置的装置管理应用。
例如，通知推送应用可以包括向外部电子装置(例如，电子装置102或电子装置104)推送在电子装置101的其他的应用(例如，SMS/MMS应用、e-mail应用、健康护理应用或环境信息应用等)中产生的通知信息的功能。另外或可选择地，例如，通知推送应用可以接收来自外部电子装置(例如，电子装置102或电子装置104)的通知信息并将接收的通知信息提供给例如用户。例如，装置管理应用可以管理(例如，安装、删除或更新)与电子装置101通信的外部电子装置(例如，电子装置102或电子装置104)的至少一部分的功能(例如，启用/停用外部电子装置自身或其一些组成部件，或者调节显示亮度或分辨率)、在外部电子装置中运行的应用或在外部电子装置中提供的服务(例如，呼叫服务或信息服务)。
根据多个实施例，应用134可以包括根据外部电子装置(例如，电子装置102或电子装置104)的属性(例如，种类)而指定的应用。例如，当外部电子装置为MP3播放器时，应用134可以包括与音乐播放相关的应用。相似地，当外部电子装置是移动医学仪器时，应用134可以包括与健康护理相关的应用。根据一个实施例，应用134可以包括为电子装置101指定的应用和从外部电子装置(例如，服务器106、电子装置102或电子装置104)接收的应用中的至少一个。
输入/输出接口140可以将通过传感器(例如、加速度传感器和陀螺仪传感器)或输入装置(例如，键盘或触摸屏)从用户输入的指令或数据经总线110推送到例如处理器120、存储器130、通信接口160或图像处理模块170。例如，输入/输出接口140可以向处理器120提供关于通过触摸屏输入的用户的触摸的数据。此外，例如，输入/输出接口140可以通过输出装置(例如，扬声器或显示器)经总线110输出从处理器120、存储器130、通信接口160或图像处理器模块170接收的指令或数据。例如，输入/输出接口140可以经扬声器向用户输出通过处理器120处理的声音数据。
显示器150可以向用户显示多种信息(例如，多媒体数据或文本数据等)。
通信接口160可以连接电子装置101和外部装置(例如，电子装置102、电子装置104或服务器106)之间的通信。例如，通信接口160可以支持网络通信162(例如，互联网、局域网(LAN)、广域网(WAN)、电信网络、蜂窝网络、卫星网络或普通老式电话***(POTS)等)、短距离通信164(例如，无线保真(WiFi)、蓝牙(BT)或近场通信(NFC))和有线通信(例如，通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐性标准-232(RS-232)或POTS等)。根据一个实施例，可以在API 133和中间件132中的至少一个中支持用于在电子装置100和外部装置之间通信的协议(例如，短距离通信协议、网络通信协议或有线通信协议)。电子装置102和104均可以为与电子装置101相同的装置(例如，相同种类的装置)或不同的装置(例如，不同种类的装置)。
图像传感器模块180可以向图像处理模块170提供通过对象拍摄而获取的图像数据。此时，图像传感器模块180可以包括功能性连接到电子装置101的至少一个图像传感器模块。
图像处理模块170可以对从图像传感器模块180或外部电子装置102和104提供的图像数据执行图像处理。例如，图像处理模块170可以执行图像数据的水平调节、噪声去除、伽马校正和转换为可以在显示器150上显示的格式中的一个或更多个图像处理。图像处理模块170可以控制将图像处理过的图像数据存储在存储器130或在显示器150上显示图像数据。例如，图像处理模块170可以将显示在显示器150上的图像数据(例如，YUV数据)和与相应的图像数据相关的元数据发送到存储器130。这里，转换成可以在显示器150上显示的格式的图像处理可以包括色彩空间转换。
图像处理模块170可以选择并同步通过至少一个图像传感器模块180获取的图像数据中的至少两个图像数据。例如，图像处理模块170可以使用与图像数据相应的图像获取时间戳或图像处理延迟时间和图像获取时间戳来选择并合成至少两个图像数据。
作为另一示例，当捕捉事件发生时，图像处理模块170可以使用存储在存储器130中的图像数据(例如，预览图像)和关于每个图像数据的元数据来产生关于获取的图像数据的缩略图数据。例如，图像处理模块170可以使用与对从图像传感器模块180提供的图像数据进行图像处理的模块逻辑或物理分开的不同的模块来产生关于捕捉的图像数据的缩略图数据。缩略图数据可以表现缩小图像以有利于相应的图像的检索或使得用户可以容易地识别相应的图像的图像数据。
图1B是示出根据本公开的实施例的电子装置的框图。
参照图1B，电子装置101可以包括处理器120、存储器130、图像传感器180-1至180-N、输入单元(输入接口)140和显示单元(即，显示器)150。这里，处理器120可以包括应用处理器(AP)。
处理器120可以控制电子装置100以提供多种服务。
处理器120可以解释从包括在电子装置101中的一个或更多个其他的组成元件(例如，存储器130、图像传感器180-1至180-N、显示单元150和输入单元140)接收的指令，并根据解释的指令来执行操作或数据处理。例如，处理器120可以执行对从图像传感器180-1至180-N提供的图像数据的水平调节、噪声去除、伽马校正和转换为可显示在显示单元150上的格式中的一种或多种图像处理。处理器120可以控制以将经图像处理的图像数据存储在存储器130中或将图像数据显示在显示单元150。例如，处理器120可以将显示在显示单元150上的图像数据(例如，YUV数据)和关于相应的图像数据的元数据发送到存储器130。这里，转换为可显示在显示单元150上的格式的图像处理可以包括色彩空间转换。
处理器120可以执行存储在存储器130中的一个或更多个程序，并可以控制电子装置101以提供多种多媒体服务。例如，处理器120可以执行存储在处理器130中的程序，并可以选择并合成通过图像传感器180-1至180-N获取的图像数据中的至少两个图像数据。例如，处理器120可以使用与图像数据相应的图像获取时间戳或图像处理延迟时间和图像获取时间戳来选择并合成至少两个图像数据。
作为另一示例，当捕捉事件发生时，处理器120可以使用存储在存储器130中的经图像处理的图像数据(例如，预览图像)和关于每个图像数据的元数据来产生关于捕捉的图像数据的缩略图数据。例如，处理器120可以使用与对从图像传感器180-1至180-N提供的图像数据进行图像处理的模块(例如，ISP)逻辑或物理分开的不同的模块来产生关于捕捉的图像数据的缩略图数据。
存储器130可以存储从包括在电子装置101中的一个或更多个组成元件接收的或一个或更多个组成元件产生的指令或数据。例如，存储器130可以包括内部存储器或外部存储器。内部存储器可以包括例如易失性存储器(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和同步动态随机存取存储器(SDRAM)等)和非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程只读存储器(PROM)、可擦除PROM(EPROM)、电可擦除可编程ROM(EEPROM)、屏蔽式ROM、闪速ROM、与非(NAND)闪速存储器和或非(NOR)闪速存储器等)中的至少一种。外部存储器可以包括闪速驱动器，例如，紧凑闪存(CF)、安全数据(SD)、micro-SD、xD和记忆棒中的至少一种。外部存储器可以经多种接口与电子装置101功能性地连接。
图像传感器180-1至180-N可以提供通过对象拍摄而获取的图像数据。此时，图像传感器180-1至180-N可以通过串行接口(诸如移动行业处理器接口(MIPI)和移动显示数字接口(MDDI))和并行接口(诸如并行总线)将图像数据发送到处理器120。这里，第一图像传感器180-1可以位于电子装置101的前方，第N图像传感器180-N可以位于电子装置101的后方。
输入单元140可以将由用户输入的指令或数据发送到处理器120或存储器130。例如，输入单元140可以包括触摸输入单元、笔传感器、键或超声波输入装置。
显示单元150可以通过图形用户界面来提供电子装置101的状态信息、静态画面、运动画面或数据。例如，显示单元150可以显示从处理器120提供的一个或更多个图像。作为另一示例，显示单元150可以显示基于处理器120中的图像处理延迟时间和图像获取时间戳或图像获取时间戳来选择的至少一个图像。
尽管没有示出，但是电子装置101还可以包括能够与其他电子装置或服务器经语音通信或数据通信进行连接通信的通信单元。这里，通信单元可以分为支持不同的通信网络的多个通信子模块。
在前述实施例中，电子装置101可以包括多个图像传感器180-1至180-N。这时，在多个图像传感器180-1至180-N中，一个或更多个图像传感器可以被选择性地连接到电子装置101。例如，在多个图像传感器180-1至180-N中，一个或更多个图像传感器可以经有线接口而被选择性地连接到电子装置101。作为另一示例，在多个图像传感器180-1至180-N中，一个或更多个图像传感器可以经诸如蓝牙和无线LAN的无线接口而被选择性地连接到电子装置101。
图2是示出根据本公开的实施例的处理器的详细框图。
参照图2，处理器120可以包括图像处理单元(即，图像信号处理器(ISP))200、显示器控制单元210、图像产生控制单元220、缩略图产生单元230和运动画面产生单元240。
图像处理单元200可以执行对从各图像传感器180-1至180-N提供的图像数据的水平调节、噪声去除、伽马校正和色彩空间转换中的一种或多种图像处理。图像处理单元200可以将经图像处理的图像数据发送到存储器130和显示器控制单元210中的一个或更多个。例如，图像处理单元200可以将显示在显示单元150上的图像数据(例如，YUV数据)和关于相应的图像数据的元数据发送到存储器130。
显示器控制单元210可以控制通过显示单元150提供图形用户界面。例如，显示器控制单元210可以控制在显示单元150上显示从图像处理单元200或存储器130提供的图像数据(例如，预览图像)。例如，显示器控制单元210可以控制在显示单元150上一起显示经图像处理单元200的从图像传感器180-1至180-N提供的图像数据。
图像产生控制单元220可以选择并合成经图像传感器180-1至180-N获取的图像数据中的至少两个图像数据。例如，当捕捉事件发生时，图像产生控制单元220可以使用存储在存储器130中的图像数据的图像获取时间戳或图像处理延迟时间和图像处理时间戳来选择和合成至少两个图像数据。
缩略图产生单元230可以使用在存储器130中存储的经图像处理的图像数据(例如，预览图像)或关于各个图像数据的元数据来产生缩略图数据。例如，当捕捉事件发生时，缩略图产生单元230可以使用存储在存储器130中的图像数据的YUV数据和关于相应的图像数据的元数据来产生缩略图数据。例如，在合成通过多个图像传感器180-1至180-N获取的至少两个图像数据并产生获取的图像数据的情况下，缩略图产生单元230可以基于每个图像数据的处理延迟时间来合成图像数据并可以产生缩略图数据。此时，缩略图产生单元230可以使用图像获取时间戳或包括在元数据中的帧识别信息互锁捕捉的图像数据和缩略图数据，并将互锁结果存储在存储器130中。
运动画面产生单元240可以对存储在存储器130中的经图像处理的图像数据进行编码并产生运动画面数据。例如，运动画面产生单元240可以包括视频预处理器和视频编码器。视频预处理器可以对存储在存储器130中的经图像处理的图像数据执行诸如缩放、旋转、色彩空间转换和翻转的预处理，并将预处理结果存储在存储器130中。视频编码器根据预设的编码方法对由视频预处理器进行预处理并存储在存储器130中的图像数据进行编码，并产生运动画面数据。
虽然没有示出，但是处理器120可以进一步包括能够对从图像传感器180-1至180-N提供的一个或更多个图像数据设置图像获取时间戳的时间设置单元。例如，时间设置单元可以以每帧为单位在相应的图像数据的元数据中记录与从图像传感器180-1至180-N提供的每个图像数据对应的时间。作为另一个示例，当在图像传感器180-1至180-N中存在可选择性地连接到电子装置100的一个或更多个图像传感器时，时间设置单元可以将图像获取时间戳设置到从连接到电子装置101的一个或更多个图像传感器提供的一个或更多个图像数据的元数据。这时，图像获取时间戳可以经包括在每个图像传感器中的分开的模块而被设置到通过能够选择性地连接到电子装置101的一个或更多个图像传感器获取的图像。
在前述实施例中，处理器120可以通过一个图像处理单元200来处理从图像传感器180-1至180-N提供的图像数据。
在另一实施例中，处理器120可以包括多个图像处理单元，并处理从分别的图像传感器180-1至180-N提供的图像数据。
图3是示出根据本公开的另一实施例的电子装置的框图。
参照图3，电子装置300可以包括处理器310、存储器320、图像传感器330-1至330-N、外部图像处理单元340-1至340-(N-1)、输入单元350和显示单元360。这里，处理器310可以包括AP。
处理器310可以控制电子装置300提供多种服务。
处理器310可以解释从包括在电子装置300中的一个或更多个其他的组成元件(例如，存储器320、图像传感器330-1至330-N、外部图像处理单元340-1至340-(N-1)、输入单元350和显示单元360)接收的指令，并根据解释的指令来执行操作或数据处理。例如，处理器310可以执行对从第一图像传感器330-1提供的图像数据的水平调节、噪声去除、伽马校正和转换为可在显示单元360上显示的格式中的一种或多种图像处理。处理器310可以控制在存储器320中存储经图像处理的图像数据或在显示单元360上显示图像数据。例如，处理器310可以将显示在显示单元360上的图像数据(例如，YUV数据)和关于相应的图像数据的元数据发送到存储器320。作为另一示例，处理器310可以控制通过外部图像处理单元340-1至340-(N-1)将存储在存储器320中的图像转换为可以显示在显示单元360上的格式并将经转换的图像显示在显示单元360上。这里，转换为可显示在显示单元360上的格式的图像处理可以包括色彩空间转换。
处理器310可以执行存储在存储器320中的一个或更多个程序，并控制电子装置300提供多种多媒体服务。例如，处理器310可以执行存储在存储器320中的程序，以及选择并合成通过图像传感器330-1至330-N获取的图像数据中的至少两个图像数据。例如，处理器310可以使用与图像数据对应的图像获取时间戳或图像处理延迟时间和图像获取时间戳来选择并合成至少两个图像数据。
作为另一个示例，当捕捉事件发生时，处理器310可以使用存储在存储器320中的经图像处理的图像数据(例如，预览图像)和关于每个图像数据的元数据来产生关于捕捉的图像数据的缩略图数据。例如，处理器310可以使用与对从第一图像传感器330-1提供的图像数据进行图像处理的处理器310的内部模块(例如，ISP)逻辑或物理分开的不同的模块来产生关于捕捉的图像数据的缩略图数据。这时，不同的模块可以与处理器310内的处理图像的内部模块逻辑或物理地分开或与处理器310物理地分开。
存储器320可以存储从包括在电子装置300中的一个或更多个组成元件接收的或由一个或更多个组成元件产生的指令或数据。
图像传感器330-1至330-N可以将通过对象拍摄而获取的收集的图像提供到处理器310。此时，图像传感器330-1至330-N可以通过串行接口(诸如MIPI和MDDI)和并行接口(诸如并行总线)将图像数据发送到处理器310或外部图像处理单元340-1至340-(N-1)。这里，第一图像传感器330-1可以位于电子装置300的前方，第N图像传感器330-N可以位于电子装置300的后方。
外部图像处理单元340-1至340-(N-1)可以控制执行诸如对从图像传感器330-2至330-N提供的图像进行水平调节、噪声去除和伽马校正的图像处理，并可以通过处理器310将处理结果存储在存储器320中。这里，外部图像处理单元340-1至340-(N-1)还可以包括能够将图像获取时间戳设置到与从图像传感器330-2至330-N提供的图像相关的图像数据的时间设置单元。例如，时间设置单元可以以每帧为单位在相应的图像数据的元数据中记录与从图像传感器330-2至330-N提供的每个图像数据对应的时间。
输入单元350可以将由用户输入的指令或数据发送到处理器310或存储器320。例如，输入单元350可以包括触摸输入单元、笔传感器、键或超声波输入装置。
显示单元360可以通过图形用户界面来提供电子装置300的状态信息、静止画面、运动画面或数据。例如，显示单元360可以显示从处理器310提供的一个或更多个图像数据。作为另一示例，显示单元360可以显示基于处理器310中的图像处理延迟时间和图像获取时间戳或图像获取时间戳来选择的至少一个图像数据。
尽管没有示出，但是电子装置300还可以包括能够与其他电子装置或服务器经语音通信或数据通信进行连接通信的通信单元。这里，通信单元可以分为支持不同的通信网络的多个通信子模块。
在前述实施例中，电子装置300可以包括多个图像传感器330-1至330-N。这时，在多个图像传感器330-1至330-N中，一个或更多个图像传感器可以被选择性地连接到电子装置300。例如，在多个图像传感器330-1至330-N中，一个或更多个图像传感器可以经有线接口而被选择性地连接到电子装置300。在这样的情况下，连接到可选择性地连接到电子装置300的一个或更多个图像传感器的外部图像处理单元可以安装在电子装置300中，或可与图像传感器一起选择性地连接到电子装置300。
作为另一示例，在多个图像传感器330-1至330-N中，一个或更多个图像传感器可以经诸如蓝牙和无线LAN的无线接口而被选择性地连接到电子装置300。在这样的情况下，连接到可选择性地连接到电子装置300的一个或更多个图像传感器的外部图像处理单元可以连接到电子装置300，或可与图像传感器一起选择性地连接到电子装置300。
图4是示出根据本公开的另一实施例的处理器的详细框图。
参照图4，处理器310可以包括图像处理单元(即，ISP)400、内部接口410、格式改变单元420、显示器控制单元430、图像产生控制单元440、缩略图产生单元450和运动画面产生单元460。
图像处理单元400可以执行对从第一图像传感器330-1提供的图像数据的水平调节、噪声去除、伽马校正和色空间转换中的一种或多种图像处理。图像处理单元400可以将经图像处理的图像数据发送到存储器320和显示器控制单元430中的一种或多种。例如，图像处理单元400可以将显示在显示单元360上的图像数据(例如，YUV数据)和关于相应的图像数据的元数据发送到存储器320。
内部接口410可以将从各外部图像处理单元340-1至340-(N-1)提供的图像数据发送到存储器320。例如，内部接口410可以包括MIFI和CAMIF中的一个或更多个。
格式改变单元420可以将存储在存储器320中的从外部图像处理单元340-1至340-(N-1)提供的图像数据改变为可显示在显示单元360上的图像数据的格式。例如，格式改变单元420可以对从存储器320提供的图像数据进行色彩空间转换并将图像数据发送到显示器控制单元430。例如，格式改变单元420可以控制将被改变为可显示在显示单元360上的图像数据的格式的从外部图像处理单元340-1至340-(N-1)提供的图像数据存储在存储器320中。
显示器控制单元430可以控制通过显示单元360提供图形用户界面。例如，显示器控制单元430可以控制在显示单元360上显示从图像处理单元400和格式改变单元420中的一个或更多个提供的图像。例如，显示器控制单元430可以控制在显示单元360上一起显示经图像处理单元400提供的从第一图像传感器330-1提供的图像数据和通过格式改变单元420提供的第N图像传感器330-N的图像数据。
图像产生控制单元440可以选择并合成经图像传感器330-1至330-N获取的图像数据中的至少两个图像数据。例如，当捕捉事件发生时，图像产生控制单元440可以使用存储在存储器320中的图像的图像获取时间戳或图像处理延迟时间和图像处理时间戳来选择和合成至少两个图像数据。
缩略图产生单元450可以使用在存储器320中存储的经图像处理的图像数据或关于各个图像数据的元数据来产生缩略图数据。例如，当捕捉事件发生时，缩略图产生单元450可以使用存储在存储器320中的每个图像数据的YUV数据和关于相应的图像数据的元数据来产生缩略图数据。例如，在合成通过多个图像传感器330-1至330-N获取的至少两个图像数据并产生捕捉的图像数据的情况下，缩略图产生单元450可以基于每个图像数据的处理延迟时间来合成图像数据并可以产生缩略图数据。此时，缩略图产生单元450可以使用图像获取时间戳或包括在元数据中的帧识别信息互锁捕捉的图像数据和缩略图数据，并将互锁结果存储在存储器320中。
运动画面产生单元460可以对存储在存储器320中的经图像处理的图像数据进行编码并产生运动画面数据。例如，运动画面产生单元460可以包括视频预处理器和视频编码器。视频预处理器可以对存储在存储器320中的经图像处理的图像数据执行诸如缩放、旋转、色彩空间转换和翻转的预处理并将预处理结果存储在存储器320中。视频编码器根据预设的编码方法对由视频预处理器进行预处理并存储在存储器320中的图像数据进行编码，并产生运动画面数据。
虽然没有示出，但是处理器310可以进一步包括能够对从第一图像传感器330-1或第一图像传感器330-1和外部图像处理单元340-1至340-(N-1)提供的图像数据设置图像获取时间戳的时间设置单元。例如，时间设置单元可以以每帧为单位在相应的图像数据的元数据中记录与从第一图像传感器330-1提供的图像数据对应的时间。这时，图像获取时间戳可以经连接到每个图像传感器的外部图像处理单元被设置到通过第二图像传感器330-2至第N图像传感器330-N获取的图像数据。
在前述实施例中，处理器310可以包括用于将从外部图像处理单元340-1至340-(N-1)提供的图像数据改变为可显示在显示单元360上的图像数据的格式的格式改变单元420。
在另一实施例中，如果外部图像处理单元340-1至340-(N-1)可以将图像数据改变为可显示在显示单元360上的图像数据的格式，则处理器310可以被构造为不包括格式改变单元420。
图5是示出根据本公开的又一实施例的电子装置的框图。
参照图5，电子装置500可以包括处理器510、存储器520和550、图像传感器530-1至530-N、外部图像处理单元540-1至540-(N-1)、显示单元560和输入单元570。这里，处理器510可以包括AP。
处理器510可以控制电子装置500提供多种服务。
处理器510可以解释从包括在电子装置500中的一个或更多个其他的组成元件接收的指令，并根据解释的指令来执行操作或数据处理。例如，处理器510可以执行对从第一图像传感器530-1提供的图像数据的水平调节、噪声去除、伽马校正和转换为可显示在显示单元560上的格式中的一种或多种图像处理。处理器510可以控制在第一存储器520中存储经图像处理的图像数据或在显示单元560上显示图像数据。例如，处理器510可以将显示在显示单元560上的图像数据(例如，YUV数据)和关于相应的图像数据的元数据发送到第一存储器520。这里，转换为可显示在显示单元560上的格式的图像处理可以包括色彩空间转换。
处理器510可以执行存储在第一存储器520中的一个或更多个程序，并控制电子装置500提供多种多媒体服务。例如，处理器510可以执行存储在存储器520中的程序，以及选择并合成通过图像传感器530-1至530-N获取的图像数据中的至少两个图像数据。例如，处理器510可以使用与图像数据对应的图像获取时间戳或图像处理延迟时间和图像获取时间戳来选择并合成至少两个图像数据。
作为另一个示例，当捕捉事件发生时，处理器510可以使用存储在第一存储器520中的经图像处理的图像数据(例如，预览图像)和关于每个图像数据的元数据来产生关于捕捉的图像数据的缩略图数据。例如，处理器510可以使用与对从第一图像传感器530-1提供的图像数据进行图像处理的模块(例如，ISP)分离的不同模块来产生关于捕捉的图像数据的缩略图数据。
第一存储器520可以存储从包括在电子装置500中的一个或更多个组成元件接收的或一个或更多个组成元件产生的指令或数据。
图像传感器530-1至530-N可以向处理器510提供通过对象拍摄而获取的图像。此时，图像传感器530-1至530-N可以通过串行接口(诸如MIPI和MDDI)和并行接口(诸如并行总线)将图像发送到处理器510或外部图像处理单元540-1至540-(N-1)。这里，第一图像传感器530-1可以位于电子装置500的前方，第N图像传感器530-N可以位于电子装置500的后方。
外部图像处理单元540-1至540-(N-1)可以控制执行诸如对从图像传感器530-2至530-N提供的图像数据进行水平调节、噪声去除、伽马校正和色彩空间转换的图像处理，并可以将处理结果存储在第一存储器520中。此外，外部图像处理单元540-1至540-(N-1)可以控制将时间信息设置到从图像传感器530-2至530-N提供的图像数据并将设置了时间信息的图像数据存储在第二存储器550中。例如，外部图像处理单元540-1至540-(N-1)可以将时间信息设置到相应的图像数据的元数据。
第二存储器550可以存储从外部图像处理单元540-1至540-(N-1)提供的未处理的图像数据。例如，第二存储器550可以存储从外部图像处理单元540-1至540-(N-1)提供的原始图像数据。这时，第二处理器550可以与外部图像处理单元540-1至540-(N-1)的每一个对应地存在。
显示单元560可以通过图形用户界面来提供电子装置500的状态信息、静态画面、运动画面或数据。例如，显示单元560可以显示从处理器510提供的一个或更多个图像数据。作为另一示例，显示单元560可以显示基于处理器510中的图像处理延迟时间和图像获取时间戳或图像获取时间戳来选择的至少两个图像数据。
输入单元570可以将由用户输入的指令或数据发送到处理器510或第一存储器520。例如，输入单元570可以包括触摸输入单元、笔传感器、键或超声波输入装置。
尽管没有示出，但是电子装置500还可以包括能够与其他电子装置或服务器经语音通信或数据通信进行连接通信的通信单元。这里，通信单元可以分为支持不同的通信网络的多个通信子模块。
在前述实施例中，电子装置500可以包括多个图像传感器530-1至530-N。这时，在多个图像传感器530-1至530-N中，一个或更多个图像传感器可以被选择性地连接到电子装置500。例如，在多个图像传感器530-1至530-N中，一个或更多个图像传感器可以经有线接口而被选择性地连接到电子装置500。在这样的情况下，连接到可选择性地连接到电子装置500的一个或更多个图像传感器的外部图像处理单元可以安装在电子装置500中，或可与图像传感器一起选择性地连接到电子装置500。
作为另一示例，在多个图像传感器530-1至530-N中，一个或更多个图像传感器可以经诸如蓝牙和无线LAN的无线接口而被选择性地连接到电子装置500。在这样的情况下，连接到可选择性地连接到电子装置500的一个或更多个图像传感器的外部图像处理单元可以连接到电子装置500，或可与图像传感器一起选择性地连接到电子装置500。
图6是示出根据本公开的又一实施例的处理器的详细框图。
参照图6，处理器510可以包括图像处理单元(即，ISP)600、内部接口610、显示器控制单元620、图像产生控制单元630、运动画面产生单元640和缩略图产生单元650。
图像处理单元600可以执行对从第一图像传感器530-1提供的图像数据的水平调节、噪声去除、伽马校正和色彩空间转换中的一种或多种图像处理。图像处理单元600可以将经图像处理的图像数据发送到第一存储器520和显示器控制单元620中的一个或更多个。例如，图像处理单元600可以将显示在显示单元560上的图像数据(例如，YUV数据)和关于相应的图像数据的元数据发送到第一存储器520。
内部接口610可以将从各外部图像处理单元540-1至540-(N-1)提供的图像发送到第一存储器520。例如，内部接口610可以包括MIFI和CAMIF中的一个或更多个、以及用于发送在外部图像处理单元540-1至540-(N-1)中转换为可显示在显示单元560上的格式的图像的RDI。
显示器控制单元620可以控制通过显示单元560提供图形用户界面。例如，显示器控制单元620可以控制在显示单元560上显示从图像处理单元600和第一存储器520中的一个或更多个提供的图像数据。例如，显示器控制单元620可以控制在显示单元560上一起显示经图像处理单元600提供的第一图像传感器530-1的图像数据和从第一存储器520获取的第N图像传感器530-N的图像数据。
图像产生控制单元630可以选择并合成经图像传感器530-1至530-N获取的图像数据中的至少两个图像数据。例如，当捕捉事件发生时，图像产生控制单元630可以使用存储在第一存储器520和第二存储器550中的图像数据的图像获取时间戳或图像处理延迟时间和图像处理时间戳来选择和合成至少两个图像数据。
运动画面产生单元640可以对存储在第一存储器520和第二处理器550中的经图像处理的图像数据进行编码并产生运动画面数据。例如，运动画面产生单元640可以包括视频预处理器和视频编码器。视频预处理器可以对存储在第一存储器520和第二存储器550中的图像数据执行诸如缩放、旋转、色彩空间转换和翻转的预处理并将预处理结果存储在第一存储器520和第二存储器550中的一个或更多个中。视频编码器可以根据预设的编码方法对由视频预处理器进行预处理并存储在第一存储器520和第二存储器550中的一个或更多个中的图像数据进行编码，并产生运动画面数据。
缩略图产生单元650可以使用在第一存储器520中存储的经图像处理的图像数据(例如，预览图像)或关于相应的元数据来产生缩略图数据。例如，当捕捉事件发生时，缩略图产生单元650可以使用存储在第一存储器520中的每个图像数据的YUV数据和关于相应的图像数据的元数据来产生缩略图数据。例如，在合成通过多个图像传感器530-1至530-N获取的至少两个图像数据并产生捕捉的图像数据的情况下，缩略图产生单元650可以基于每个图像数据的处理延迟时间来合成图像数据并可以产生缩略图数据。此时，缩略图产生单元650可以使用图像获取时间戳或包括在元数据中的帧识别信息互锁捕捉的图像数据和缩略图数据，并将互锁结果存储在第一存储器520中。
虽然没有示出，但是处理器510可以进一步包括能够对从第一图像传感器530-1或第一图像传感器530-1和外部图像处理单元540-1至540-(N-1)提供的图像数据设置图像获取时间戳的时间设置单元。例如，时间设置单元可以以每帧为单位在相应的图像数据的元数据中记录与从第一图像传感器530-1提供的图像数据对应的时间。这时，图像获取时间戳可以经连接到每个图像传感器的外部图像处理单元设置到通过第二图像传感器530-2至第N图像传感器530-N获取的图像数据。作为另一示例，时间设置单元可以以每帧为单位在相应的图像数据的元数据中记录与从外部图像处理单元540-(N-1)提供的图像数据对应的时间。在这样的情况下，图像产生控制单元630可以基于存储在第一存储器520中的图像的图像获取时间戳来选择并合成用于合成的至少两个图像。
图7是示出根据本公开的实施例的外部图像处理单元的详细框图。
参照图7，外部图像处理单元540可以包括图像处理控制单元700和时间设置单元710。
图像处理控制单元700可以执行对从图像传感器530-2至530-N提供的图像数据的水平调节、噪声去除、伽马校正和转换为可显示在显示单元560上的格式中的一种或多种图像处理。例如，图像处理控制单元700可以将从图像传感器530-2至530-N提供的图像数据YUV 422色彩空间转换为图像数据YUV 420，从而转换为可显示在显示单元560上的格式。
图像处理控制单元700可以将存储在第二存储器550中的一个或更多个图像数据转换为可显示在显示单元560上的格式，并将转换的图像数据发送到图像产生控制单元630。例如，图像处理控制单元700可以根据图6的图像产生控制单元630的控制来接收为来自第二存储器550的图像合成而选择的图像数据，将接收的图像数据转换为可显示在显示单元560上的格式，并将转换的图像数据发送到图像产生控制单元630。作为另一示例，当捕捉事件发生时，图像处理控制单元700可以将存储在第二存储器550中的图像中的一个或更多个图像数据转换为可显示在显示单元560上的格式，并将转换的图像数据发送到图像产生控制单元630。
时间设置单元710可以为从图像传感器530-2或530-N提供的图像数据设置图像获取时间戳。例如，时间设置单元710可以包括时间***单元和帧设置单元，并可以以每帧为单位来记录与从图像传感器530-2或530-N提供的图像数据对应的时间。
在前述实施例中，外部图像处理单元540可以包括图像处理控制单元700和时间设置单元710。在另一实施例中，时间设置单元710可以位于外部图像处理单元540外部。
图8是示出根据本公开的实施例的存储器的详细框图。
参照图8，第一存储器520可以逻辑地或物理地分为多个块800、810和820以存储数据。例如，从处理器510的图像处理单元600提供的图像数据可以存储在第一存储器520的第三块820中。
从外部图像处理单元540-1至540-(N-1)提供的图像数据可以存储在第一存储器520的第一块800中。此时，图像数据可以被分为Y数据、UV数和元数据，并可以存储在第一块800中的内部块802、804和806中。这里，元数据可以包括图像数据的帧标识符、图像获取时间戳、焦点数据和图像设置信息(EXIF)中的一种或多种。
当捕捉事件发生时，存储在第二存储器550中的图像数据可以通过外部图像处理单元540-1至540-(N-1)存储在第一存储器520的第三块820中。
在前述实施例中，电子装置可以利用串行接口和并行接口将通过图像传感器产生的图像数据发送到每个模块。例如，电子装置可以使用如下图9中构造的MIPI接口将通过图像传感器产生的图像数据发送到每个模块。
图9是示出根据本公开的实施例的接口的框图。
参照图9，MIPI接口可以包括根据图像的格式的多个通路(lane)900。例如，MIPI接口可以根据发送数据容量而由MIPI-4-Lane PHY、MIPI 2-Lane PHY和MIPI 1-Lane PHY构成。
MIPI接口可以通过与每个通路900对应的串行接口(例如，相机串行接口(CSI))910将图像数据发送到对应的模块930。例如，MIPI-4-Lane PHY可以通过MIPI CSI_0将图像数据发送到一个或更多个模块，MIPI 2-Lane PHY可以通过MIPI CSI_1将图像数据发送到一个或更多个模块，MIPI 1-Lane PHY可以通过MIPI CSI_2将图像数据发送到一个或更多个模块。
通过MIPI接口接收图像数据的模块可以根据每个模块的特性处理图像数据的格式。例如，VPE模块可以对通过MIPI接口提供的图像数据执行诸如缩放、旋转、色彩空间转换和翻转的图像处理。联合图像专家组(JPEG)解码(DCD)模块可以支持对通过MIPI接口提供的JPEG格式的图像数据进行解码所需的硬件加速功能。VFE模块可以将诸如色彩改变的多种效果应用到通过MIPI接口提供的图像数据。离线JEPG模块可以支持对通过MIPI接口提供的JPEG格式的图像数据进行解码所需的硬件加速功能。
当通过如上构造的MIPI接口发送图像数据时，电子装置可以因存储器的限制和MIPI接口的发送容量而使用划分并发送图像数据的划分发送方法。例如，当发送11百万字节(MB)的图像数据时，电子装置可以将11MB的图像数据分为8MB的数据1200和3MB的数据1210，并通过MIPI接口发送划分的图像数据。例如，电子装置可以将11MB的图像数据分为8MB的数据1200和3MB的数据1210并存储划分的图像数据，如图12A中所示，并通过PIPE方法发送划分的图像数据1200和1210。接收通过MIPI接口划分的数据1200和1210的电子装置的存储器可以将划分的数据1200和1210集合为一个数据，并以划分的格式来存储划分的数据1200和1210。如图12B中所示，电子装置可以灵活地设置存储器的大小(例如，划分的数据的大小)和数据的划分数量。作为另一示例，如果电子装置可以通过MIPI接口一次发送11MB的数据，如图12B中所示，则电子装置可以使用11MB中用于预览图像的预设的数据容量(例如，3MB)，并使用过剩余的数据容量(例如，8MB)发送原图像数据。在这样的情况下，电子装置可以一次发送原图像数据，或基于原图像数据的大小通过MIPI接口进行划分并发送原图像数据。例如，如果原图像数据是7MB，则电子装置可以通过MIPI接口一次发送预览图像的3MB和原图像数据的7MB。如果原图像数据是15MB，则电子装置可以固定地使用预览图像的3MB，并将原图像数据分为8MB和7MB的原图像数据，并两次通过MIPI接口一次发送8MB和7MB的原图像数据。当划分和发送原图像数据时，电子装置可以使用元数据将划分的原图像数据组合为一个图像。
根据本公开的实施例，电子装置包括第一图像传感器、第二图像传感器、一个或更多个图像处理模块、显示器和缩略图产生单元。第一图像传感器产生第一图像数据。第二图像传感器产生第二图像数据。一个或更多个图像处理模块处理第一图像和第二图像数据中的一个或更多个图像数据。显示单元显示经一个或更多个图像处理模块处理的第一图像数据和第二图像数据中的一个或更多个图像数据。缩略图产生模块使用经一个或更多个图像处理模块处理的第一图像数据和第二图像数据中的一个或更多个图像数据来产生缩略图数据。
一个或更多个图像处理模块包括：第一图像处理模块，被构造为处理从第一图像传感器接收的第一图像数据；第二图像处理模块，被构造为处理从第二图像传感器接收的第二图像数据，其中，第一图像处理模块形成在应用处理器(AP)中。
缩略图产生模块形成在应用处理器中。
一个或更多个图像处理模块被构造为处理第一图像数据和第二图像数据中的一个或更多个图像数据，并产生可显示在显示器上的格式的一个或更多个预览数据和关于相应的图像数据的元数据。
在捕捉事件时，缩略图产生模块被构造为使用一个或更多个预览数据和关于在一个或更多个图像处理模块中产生的相应的图像数据的元数据来产生关于捕捉的图像数据的缩略图数据。
电子装置还可以包括存储器，其中，缩略图产生模块被构造为使用包括在元数据中的图像获取时间戳或帧识别信息来互锁缩略图数据和捕捉的图像数据，并将互锁结果存储在存储器中。
图10是示出根据本公开的实施例的电子装置中的用于产生缩略图数据的过程的流程图。
参照图10，在步骤1001，电子装置可使用多个图像传感器来产生图像数据。例如，电子装置可以使用位于电子装置的前方的第一图像传感器和位于电子装置的后方的第二图像传感器来产生图像数据。
当产生图像数据时，在步骤1003，电子装置可将图像数据转换为可显示在显示单元上的预览格式。例如，电子装置可以使用一个或更多个图像处理单元(即，ISP)将图像数据转换为可显示在显示单元上的预览格式。例如，当参照图2时，电子装置100可以使用图像处理单元200将通过图像传感器130-1至130-N产生的图像数据转换为可显示在显示单元140上的预览格式(例如，YUV数据)。此时，图像处理单元200可一起产生关于转换为可显示在显示单元140上的预览格式的图像数据的元数据，并将图像数据和关于图像数据的元数据存储在存储器120中。作为另一示例，当参照图5和图6时，电子装置500可以使用图像处理单元600将通过第一图像传感器530-1产生的图像数据转换为可显示在显示单元140上的预览格式(例如，YUV数据)，并可以使用外部图像处理单元540-1至540-(N-1)将通过第二图像传感器530-2至第N图像传感器530-N产生的图像数据转换为可显示在显示单元140上的预览格式。此时，图像处理单元600和外部图像处理单元540-1至540-(N-1)可一起产生关于转换为可显示在显示单元140上的预览格式的图像数据的元数据，并将图像数据和关于图像数据的元数据存储在第一存储器520和第二存储器550中的一个或更多个存储器中。这里，元数据可以包括相应的图像数据的帧标识符(ID)、图像获取时间戳和图像设置信息(EXIF)中的一种或多种。
当将图像数据转换为可显示在显示单元上的预览格式时，在步骤1005，电子装置可使用预览格式的数据来产生关于捕捉的图像数据的缩略图数据。例如，电子装置可使用与图像处理单元分开的不同的模块来产生缩略图数据。例如，当参照图2时，电子装置100的缩略图产生单元230可使用存储在存储器120中的相应的图像数据的元数据和预览格式的图像数据来产生关于捕捉的图像数据的缩略图数据。作为另一示例，当参照图5和图6时，电子装置500的缩略图产生单元650可使用存储在第一存储器520和第二存储器550中的一个或更多个存储器中的相应的图像数据的元数据和预览格式的图像数据来产生关于捕捉的图像数据的缩略图数据。
图11是示出根据本公开的实施例的电子装置中的用于互锁并存储缩略图数据和捕捉的图像数据的过程的流程图。
参照图11，在步骤1101，电子装置可使用多个图像传感器来产生图像数据。例如，电子装置可以使用位于电子装置的前方的第一图像传感器和位于电子装置的后方的第二图像传感器来产生图像数据。
当产生图像数据时，在步骤1103，电子装置可将图像数据转换为可显示在显示单元上的预览格式。例如，电子装置可以使用一个或更多个图像处理单元(即，ISP)将图像数据转换为可显示在显示单元上的预览格式。此时，电子装置可将在一个或更多个图像处理单元中转换为预览格式的图像数据和关于相应的图像数据的元数据存储在存储器中。这里，元数据可以包括相应的图像数据的帧ID、图像获取时间戳和图像设置信息(EXIF)中的一种或多种。
当将图像数据转换为可显示在显示单元上的预览格式时，在步骤1105，电子装置可以将预览格式的图像数据显示在显示单元上。
在步骤1107，电子装置可以确定捕捉事件是否发生。例如，电子装置可以确定是否感测到与捕捉事件对应的硬件按键。作为另一示例，电子装置可以确定是否感测到与捕捉事件对应的图标的选择。作为又一示例，电子装置可以确定是否感测到与捕捉事件对应的用户的手势。
如果在步骤1107没有发生捕捉事件，则电子装置可返回步骤1101并使用多个图像传感器来产生图像数据。
如果在步骤1107发生了捕捉事件，则电子装置可使用预览格式的图像数据来产生关于捕捉的图像数据的缩略图数据。例如，当性能低的第一图像传感器位于电子装置前方并且性能高的第二图像传感器位于电子装置后方时，电子装置可使用通过第一图像传感器产生的性能低的图像数据作为可显示在显示单元上的预览图像数据。电子装置可将通过第二图像传感器产生的性能高的图像数据转换为预览格式并产生预览图像数据。据此，当捕捉事件在性能高的图像数据的处理延迟的时间发生时，电子装置可识别并合成与在捕捉事件发生时间点显示在显示单元上的预览图像数据对应的性能低的图像数据作为捕捉的图像数据和包括与捕捉事件发生时间点对应的图像获取时间戳的性能高的图像数据。在根据捕捉时间产生缩略图数据时，电子装置可通过合成在捕捉事件发生时间点显示在显示单元上的性能低的图像数据的预览图像数据和包括与捕捉事件发生时间戳对应的图像获取时间戳的性能高的图像数据的预览图像来产生缩略图数据。例如，电子装置可使用与图像处理单元分开的不同的模块来产生缩略图数据。
在产生缩略图数据之后，在步骤1111，电子装置可使用缩略图数据的元数据来互锁缩略图数据和捕捉的图像数据，并可以存储互锁结果。例如，电子装置可使用包括在用于产生缩略图数据的元数据中的帧识别信息或图像获取时间戳来互锁捕捉的图像数据和缩略图数据，并将互锁结果存储在存储器中。
根据本公开的实施例，提供了一种电子装置的操作方法。该方法包括以下操作：使用多个图像传感器来产生多个图像数据；通过一个或更多个图像处理模块将多个图像数据转换为可显示在显示单元上的格式；在与图像处理模块分开的另一模块中使用在图像处理模块中转换的可显示的格式的图像数据来产生缩略图数据。
如权利要求13所述的方法，其中，产生图像数据的步骤包括：使用连接到电子装置的或通过有线接口或无线接口连接到电子装置的多个图像传感器产生多个图像数据。
该方法还可以包括：在显示器上显示在图像处理模块中转换的可显示的格式的图像数据中的一个或更多个图像数据。
转换成可显示的格式的步骤包括：使用形成在应用处理器(AP)中的第一图像处理模块将使用多个图像传感器中的第一图像传感器产生的第一图像数据转换为可显示在显示器上的格式；使用形成在与AP分开的第二图像处理模块将使用多个图像传感器中的第二图像传感器产生的第二图像数据转换为可显示在显示器上的格式。
产生缩略图数据的步骤包括以下操作：在包括在AP中的另一模块中使用在第一图像处理模块和第二图像处理模块中转换的可显示的格式的图像数据来产生缩略图数据。
转换成可显示的格式的步骤包括：使用一个或更多个图像处理模块处理多个显示数据中的一个或更多个图像数据；产生可显示在显示器上的格式的一个或更多个预览数据和关于相应的图像数据的元数据。
产生缩略图数据的步骤包括：在捕捉事件时，在另一模块中使用在一个或更多个图像处理模块中产生的一个或更多个预览数据和关于相应的图像数据的元数据来产生关于捕捉的图像数据的缩略图数据。
该方法还可包括：使用包括在元数据或帧识别信息中的图像获取时间戳来互锁缩略图数据和捕捉的图像数据；将互锁结果存储在存储器中。
根据本公开的实施例，电子装置包括一个或更多个图像传感器和接口。一个或更多个图像传感器产生图像数据。接口处理在一个或更多个图像传感器中产生的图像数据。接口将图像数据发送到一个或更多个模块。一个或更多个模块基于相应的模块的图像数据处理方法改变图像数据的格式。
接口包括移动行业处理器接口(MIPI)方法的接口。
一个或更多个模块包括图像信号处理器(ISP)、视频预处理(VPE)模块、视频前端(VFE)模块和预览图像产生模块中的一种或多种。
当基于一个或更多个模块的图像数据处理方法来改变图像数据的格式时，ISP产生包括关于图像数据的格式改变的信息的元数据。
元数据包括图像数据的帧识别信息、图像获取时间戳和图像设置信息(可交换图像文件格式(EXIF))中的一种或多种。
ISP被构造为使用元数据产生在一个或更多个图像传感器中产生的图像数据的缩略图数据。
接口被构造为基于接口的发送性能将图像数据划分为多个部分，并将划分的图像数据发送到一个或更多个模块。
图13是示出根据本公开的又一实施例的电子装置的框图。在下面的描述中，电子装置1300例如可以构造图1中示出的电子装置101的一部分或全部。
参照图13，电子装置1300可以包括一个或更多个处理器1310、SIM卡1314、存储器1320、通信模块1330、传感器模块1340、输入模块1350、显示模块1360、接口1370、音频模块1380、相机模块1391、功率管理模块1395、电池1396、指示器1397或电机1398。
处理器1310(例如处理器120)可以包括一个或更多个AP 1311或一个或更多个通信处理器(CP)1313。在图13中，示出了在处理器1310内包括AP 1311和CP 1313，但是AP1311和CP 1313可被分别包括在不同的IC封装件内。根据一个实施例，AP 1311和CP 1313可被包括在一个IC封装件内。
AP 1311可驱动操作***或应用程序，并控制连接到AP 1311的多个硬件或软件组成元件，并可以执行包括多媒体数据的多种数据的处理和操作。AP 1311可以实现为例如芯片上***(SoC)。根据一个实施例，处理器1310还可以包括图形处理单元(GPU)(未示出)。
CP 1313可以执行管理数据链路以及转换在连接到网络的电子装置1300(例如，电子装置101)和其他的电子装置(例如，电子装置102、电子装置104或服务器106)之间的通信中的通信协议的功能。CP 1313可以实现为例如SoC。根据一个实施例，CP 1313可以执行多媒体控制功能的至少一部分。CP 1313可使用订阅者身份模块(例如，SIM卡1314)来执行通信网络内的电子装置的区分和验证。此外，CP 1313可以向用户提供语音呼叫、视频呼叫、文本信息或包数据等的服务。
此外，CP 1313可以控制通信模块1330的数据发送/接收。在图13中，诸如CP 1313、功率管理模块1395或存储器1320等的组成元件被示出为与AP 1311分开的组成元件，但是根据一个实施例，AP 1311可以被实现为包括前述组成元件的至少一些(例如，CP 1313)。
根据一个实施例，AP 1311或CP 1313可以将从连接到其他的组成元件中的每个或至少一个组成元件的非易失性存储器接收的数据或指令加载到易失性存储器，并可以处理加载的指令或数据。此外，AP 1311和CP 1313可将从至少一个其他的组成元件接收的或由至少一个其他的组成元件产生的数据存储在非易失性存储器中。
SIM卡1314可为包括订阅者身份模块的卡，并可以***到设置在电子装置的特定位置中的槽中。SIM卡1314可包括唯一的识别信息(例如，集成电路卡ID(ICCID))或订阅者信息(例如，国际移动订阅者身份(IMSI))。
存储器1320(例如，存储器130)可以包括内部存储器1322或外部存储器1324。内部存储器1322可以包括例如易失性存储器(例如，DRAM、SRAM和SDRAM等)和非易失性存储器(例如，OTPROM、PROM、EPROM、EEPROM、屏蔽式ROM、闪速ROM、NAND闪速存储器和NOR闪速存储器等)中的至少一种。根据一个实施例，内部存储器822可以为SSD。外部存储器1324还可以包括闪速驱动器，例如，CF、SD、micro-SD、Mini-SD、xD或记忆棒等。外部存储器1324可以通过多种接口功能性地连接到电子装置1300。根据一个实施例，电子装置1300还可以包括诸如硬盘的存储装置(或存储介质)。
通信模块1330(例如，通信接口160)可以包括无线通信模块1331或射频(RF)模块1334。无线通信模块1331块可以包括例如WiFi 1333、BT 1335、GPS 1337或NFC 1339。例如，无线通信模块1331可以使用射频提供无线通信功能。另外地或可选择地，无线通信模块1331可以包括用于将电子装置1300与网络(例如，互联网、LAN、WAN、电信网络、蜂窝网络、卫星网络或POTS等)连接的网络接口(例如，LAN卡)或调制解调器等。
RF模块1334可以进行数据的发送/接收，例如，RF信号的发送/接收。虽然没有示出，但是RF模块1334可以包括例如收发器、可插式验证模块(PAM)、滤频器或低噪放大器(LNA)等。此外，RF模块1334还可以包括以无线通信在自由空间中发送/接收电磁波的组件，例如，导体或导线等。
传感器模块1340可以测量物理量、感测电子装置1300的启用状态、并将测量的或感测的信息转换为电信号。传感器模块1340可以包括例如手势传感器1340-A、陀螺仪传感器1340-B、压强传感器1340-C、磁传感器1340-D、加速度计传感器1340-E、持握传感器1340-F、接近传感器1340-G、色彩传感器1340-H(例如，RGB传感器)、生物传感器1340-I、温度/湿度传感器1340-J、光传感器1340-K和紫外(UV)传感器1340-M中的至少一种。另外地或可选择地，传感器模块1340可以包括例如气味传感器(未示出)、肌电(EMG)传感器(未示出)、脑电(EEG)传感器(未示出)、心电(ECG)传感器(未示出)、红外(IR)传感器(未示出)、虹膜传感器(未示出)或指纹传感器(未示出)等。传感器模块1340还可以包括控制属于传感器模块1340的至少一个或更多个传感器的控制电路。
输入模块1350可以包括触摸面板1352、(数字)笔传感器1354、键1356或超声波输入装置1358。触摸面板1352可以例如以电容方法、压强感测方法、红外方法和超声波方法中的至少一种方法来识别触摸输入。此外，触摸面板1352还可以包括控制电路。在电容方法中，可以进行物理接触或接近识别。触摸面板1352还可以包括触觉层。在这样的情况下，触摸面板1352可以为用户提供触觉响应。
(数字)笔传感器1354可以例如以与接收用户的触摸输入的方法相同或相似的方法或利用分开的识别片来实现。键1356可以包括例如物理按键、光学按键、键盘或触摸按键。作为能够通过麦克风(例如，麦克风1388)感测声波并确定电子装置中的数据的装置的超声波输入装置1358能够进行通过产生超声波信号的输入工具的无线识别。根据一个实施例，电子装置1300可以使用通信模块1330从连接到其的外部装置(例如，网络、计算机或服务器)接收用户输入。
显示模块1360(例如，显示器150)可以包括面板1362、全息图1364或投影仪1366。面板1362可以为例如液晶显示器(LCD)或有源矩阵有机发光二极管(AMOLED)等。面板1362可以实现为例如柔性的、透明的或可穿戴的。面板1362可以与触摸面板1352构造为一个模块。全息图1364可以使用光的干涉在空气中表现三维图像。投影仪1366可以将光透射到屏幕并显示视频。屏幕可以位于例如电子装置100的内部或外部。根据一个实施例，显示模块1360还可以包括用于控制面板1362、全息图1364或投影仪1366的控制电路。
接口1370可以包括例如HDMI 1372、USB 1374、光学通信端子1376或D-sub(D-subminiature)1378。接口1370可以包括例如在图1中示出的通信接口160。另外地或可选择地，接口1379可以包括例如移动高清链路(MHL)(未示出)、安全数字/多媒体卡(SD/MMC)(未示出)或红外数据协会(IrDA)未示出。
音频模块1380可以使声音和电信号互相转换。音频模块1380的至少一些组成元件可以被包括在例如图1中示出的输入/输出接口140中。音频模块1380可以处理例如通过扬声器1382、接收器1384、耳机1386或麦克风1388等输入或输出的声音信息。
相机模块1391是能够获取静态画面和运动画面的装置。根据一个实施例，相机模块1391可以包括一个或更多个图像传感器(例如、前部传感器或后部传感器)、透镜(未示出)、ISP(未示出)或闪光灯(未示出)(例如，LED或氙灯)。
电源管理模块1395可以管理电子装置1300的电源。虽然没有示出，但是电源管理模块1395可以包括例如电源管理集成电路(PMIC)、充电集成电路(IC)和电池或燃料计。
PMIC可以安装在例如集成电路或SoC半导体内。充电方法可以被分为有线式和无线式。充电IC可以对电池充电，并可以防止来自电子充电器的过电流或过电压内流。根据一个实施例，充电IC可以包括有线充电方法和无线充电方法中的至少一种的充电IC。作为无线充电方法，存在例如磁共振方法、磁感应方法和电磁方法等。充电IC可以添加有用于无线充电的辅助电路，例如，线圈回路、共振电路或整流器电路等。
电池计可以测量例如电池1396的电平以及充电电压、电流或温度。电池1396可以存储并产生电力，并可以使用存储的或产生的电力向电子装置1300提供电源。电池1396可以包括例如可充电单体或太阳能单体。
指示器1397可以显示电子装置1300或其一部分的特定状态，例如，启动状态、消息状态或充电状态等。电机1398可以将电信号转换成机械振动。虽然没有示出，但是电子装置1300可以包括用于移动TV支持的处理装置(例如，GPU)。用于移动TV支持的处理装置可以处理例如数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流等的标准媒体数据。
根据本公开的实施例的电子装置的前述组成元件可以均由一个或更多个组件构成，相应的组件的名称可以根据电子装置的种类而不同。根据本公开的电子装置可以包括至少一个前述组成元件，并可以省略一些组成元件或进一步包括另外的其他组成元件。此外，根据本公开的电子装置的一些组成元件组合并构造为一体，因而可以相同地执行在组合之前的相应的组成元件的功能。
如上所述，本公开的实施例可以通过互锁使用与图像处理单元不同的处理器产生的缩略图数据和捕捉的数据并将互锁结果存储在电子装置中来改善图像处理单元(即，ISP)的图像处理速度。
本公开的实施例可以通过使用在电子装置的不同的处理器中的图像处理单元中产生的元数据来产生缩略图数据而改善缩略图的处理速度。这里，元数据可以包括图像数据的帧标识符、图像获取时间戳、焦点信息、图像设置信息(EXIF)和闪光灯信息等。
虽然已经参照本公开的特定的优选的实施例示出和描述了本公开，但是本领域技术人员应该理解的是，电子装置的操作可以改变、合并或再利用，且可以在其中进行诸如被省略等的多种改变而不脱离本公开的精神和范围。因此，本公开的精神和范围不应被所述实施例限制或限定，且应该仅被权利要求和权利要求的等同物所限定。

Claims (12)

1.一种电子装置，包括：
一个或更多个处理器，被配置为接收图像数据，处理图像数据并产生预览图像；以及
显示器，被配置为显示由所述一个或更多个处理器产生的预览图像，
其中，所述一个或更多个处理器被配置为响应于与捕捉指令对应的信号，使用预览图像的至少一部分来产生大小小于预览图像的图像。
2.如权利要求1所述的电子装置，其中，大小小于预览图像的图像包括分辨率小于预览图像的图像。
3.如权利要求1所述的电子装置，还包括：
一个或更多个图像传感器，被配置为产生图像数据。
4.如权利要求1所述的电子装置，还包括：
通信模块，被配置为从外部电子装置接收图像数据。
5.如权利要求4所述的电子装置，其中，外部电子装置包括通过有线接口或无线接口连接到所述电子装置的其它电子装置以及图像传感器中的至少一个。
6.如权利要求1所述的电子装置，还包括：
存储器，被配置为存储大小小于预览图像的图像。
7.一种电子装置中的方法，所述方法包括：
存储一个或更多个图像数据；
通过一个或更多个处理器将所述一个或更多个图像数据中的一个或更多个图像数据转换为预览图像；以及
响应于指示捕捉指令的信号，通过处理器使用预览图像的至少一部分来产生大小小于预览图像的图像。
8.如权利要求7所述的方法，还包括：
在显示器上显示在处理器中转换的预览图像。
9.如权利要求7所述的方法，其中，转换为预览图像的步骤包括：
使用包括在应用处理器(AP)中的第一图像处理模块来将所述一个或更多个图像数据中的第一图像数据转换为预览图像；以及
使用与AP分离地形成的第二图像处理模块来将所述一个或更多个图像数据中的第二图像数据转换为预览图像。
10.如权利要求9所述的方法，其中，产生大小小于预览图像的图像的步骤包括：
响应于指示捕捉指令的信号，通过处理器使用预览图像的至少一部分来产生分辨率小于预览图像的图像。
11.如权利要求9所述的方法，其中，产生大小小于预览图像的图像的步骤包括：
在捕捉事件时，使用在所述一个或更多个处理器中产生的关于相应的图像数据的元数据以及一个或更多个预览数据中的一个或更多个来产生大小小于预览图像的图像。
12.如权利要求11所述的方法，还包括：
使用包括在元数据中的图像获取时间戳或帧识别信息来对大小小于预览图像的图像和捕捉的图像数据进行互锁，并将互锁结果存储在存储器中。
CN201911355618.9A 2013-03-13 2014-03-13 电子装置和处理图像的方法 Active CN110996013B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361780635P 2013-03-13 2013-03-13
US61/780,635 2013-03-13
KR1020140025000A KR102124188B1 (ko) 2013-03-13 2014-03-03 이미지를 처리하는 전자장치 및 방법
KR10-2014-0025000 2014-03-03
CN201480014885.9A CN105075241B (zh) 2013-03-13 2014-03-13 电子装置和处理图像的方法
PCT/KR2014/002091 WO2014142564A1 (en) 2013-03-13 2014-03-13 Electronic device and method for processing image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480014885.9A Division CN105075241B (zh) 2013-03-13 2014-03-13 电子装置和处理图像的方法

Publications (2)

Publication Number Publication Date
CN110996013A true CN110996013A (zh) 2020-04-10
CN110996013B CN110996013B (zh) 2022-07-01

Family

ID=51537108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911355618.9A Active CN110996013B (zh) 2013-03-13 2014-03-13 电子装置和处理图像的方法

Country Status (2)

Country Link
CN (1) CN110996013B (zh)
WO (1) WO2014142564A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055585B (zh) * 2019-12-27 2022-06-10 青岛海信移动通信技术股份有限公司 拍摄界面的缩略图显示方法及移动终端

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051241A (ja) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd 電子カメラ
US20020057473A1 (en) * 2000-08-25 2002-05-16 Nikon Corporation Electronic camera
US20030090504A1 (en) * 2001-10-12 2003-05-15 Brook John Charles Zoom editor
CN1554183A (zh) * 2001-09-10 2004-12-08 ������������ʽ���� 数字照相机***、图像存储装置和数字照相机
US20060187227A1 (en) * 2005-01-31 2006-08-24 Jung Edward K Storage aspects for imaging device
KR20080006774A (ko) * 2006-07-13 2008-01-17 엠텍비젼 주식회사 썸네일 데이터 전송 방법 및 장치
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN101420504A (zh) * 2007-10-25 2009-04-29 鸿富锦精密工业（深圳）有限公司 图像浏览***及方法
US20100118175A1 (en) * 2008-11-10 2010-05-13 Victor Charles Bruce Imaging Apparatus For Image Integration
CN101742035A (zh) * 2008-11-11 2010-06-16 夏普株式会社 图像形成装置以及预览显示方法
US20120120186A1 (en) * 2010-11-12 2012-05-17 Arcsoft, Inc. Front and Back Facing Cameras
CN102467341A (zh) * 2010-11-04 2012-05-23 Lg电子株式会社 移动终端以及在其中控制图像拍摄的方法
CN102546925A (zh) * 2010-12-29 2012-07-04 Lg电子株式会社 移动终端及其控制方法
CN102915669A (zh) * 2012-10-17 2013-02-06 中兴通讯股份有限公司 一种实景地图的制作方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100018335A (ko) * 2008-08-06 2010-02-17 삼성디지털이미징 주식회사 썸네일 표시 제어 방법 및 장치, 및 이를 이용한 디지털촬영 장치
KR20100032135A (ko) * 2008-09-17 2010-03-25 주식회사 케이티테크 썸네일 이미지 출력방법 및 그 이미지 출력장치
KR101500505B1 (ko) * 2009-01-29 2015-03-09 엘지전자 주식회사 휴대 단말기 및 그 동작방법

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051241A (ja) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd 電子カメラ
US20020057473A1 (en) * 2000-08-25 2002-05-16 Nikon Corporation Electronic camera
CN1554183A (zh) * 2001-09-10 2004-12-08 ������������ʽ���� 数字照相机***、图像存储装置和数字照相机
US20030090504A1 (en) * 2001-10-12 2003-05-15 Brook John Charles Zoom editor
US20060187227A1 (en) * 2005-01-31 2006-08-24 Jung Edward K Storage aspects for imaging device
KR20080006774A (ko) * 2006-07-13 2008-01-17 엠텍비젼 주식회사 썸네일 데이터 전송 방법 및 장치
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN101420504A (zh) * 2007-10-25 2009-04-29 鸿富锦精密工业（深圳）有限公司 图像浏览***及方法
US20100118175A1 (en) * 2008-11-10 2010-05-13 Victor Charles Bruce Imaging Apparatus For Image Integration
CN101742035A (zh) * 2008-11-11 2010-06-16 夏普株式会社 图像形成装置以及预览显示方法
CN102467341A (zh) * 2010-11-04 2012-05-23 Lg电子株式会社 移动终端以及在其中控制图像拍摄的方法
US20120120186A1 (en) * 2010-11-12 2012-05-17 Arcsoft, Inc. Front and Back Facing Cameras
CN102546925A (zh) * 2010-12-29 2012-07-04 Lg电子株式会社 移动终端及其控制方法
CN102915669A (zh) * 2012-10-17 2013-02-06 中兴通讯股份有限公司 一种实景地图的制作方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RD: "合成曝光完美的风光海景照", 《影像视觉》 *

Also Published As

Publication number Publication date
CN110996013B (zh) 2022-07-01
WO2014142564A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
US11509807B2 (en) Electronic device and method for generating thumbnails based on captured images
US10348971B2 (en) Electronic device and method for generating thumbnails based on captured images
KR102122476B1 (ko) 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법
CN104869305B (zh) 处理图像数据的方法及其装置
US20160127653A1 (en) Electronic Device and Method for Providing Filter in Electronic Device
US20150058630A1 (en) Electronic device and method for extracting encrypted message
US10999501B2 (en) Electronic device and method for controlling display of panorama image
KR20150141039A (ko) 웨어러블 전자 장치, 메인 전자 장치, 시스템 및 그 제어 방법
US9747945B2 (en) Method for creating a content and electronic device thereof
US10747489B2 (en) Method for displaying content and electronic device therefor
US20150063778A1 (en) Method for processing an image and electronic device thereof
KR20150043894A (ko) 복수의 영상의 프리뷰 영역을 조정하는 전자 장치 및 방법
US9959598B2 (en) Method of processing image and electronic device thereof
CN110996013B (zh) 电子装置和处理图像的方法
KR20150050695A (ko) 이미지 처리 방법 및 그 전자 장치
CN114630153A (zh) 用于应用处理器的参数传输方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant