CN105144684B - 摄像装置和图像处理方法 - Google Patents

摄像装置和图像处理方法 Download PDF

Info

Publication number
CN105144684B
CN105144684B CN201480011948.5A CN201480011948A CN105144684B CN 105144684 B CN105144684 B CN 105144684B CN 201480011948 A CN201480011948 A CN 201480011948A CN 105144684 B CN105144684 B CN 105144684B
Authority
CN
China
Prior art keywords
image
data
image data
script
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480011948.5A
Other languages
English (en)
Other versions
CN105144684A (zh
Inventor
岛村正吾
伊藤健世
户井田真希
谷宪
市川学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105144684A publication Critical patent/CN105144684A/zh
Application granted granted Critical
Publication of CN105144684B publication Critical patent/CN105144684B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

摄像装置(1)具有:摄像部(2),其对被摄体进行摄像而取得第1图像数据;图像处理部(4),其对第1图像数据进行图像处理而取得第2图像数据;第1存储部(3),其存储包含第1图像数据和第2图像数据中的一方或双方在内的图像数据;图像解析部(5),其对第1存储部(3)中存储的图像数据的特征进行解析;脚本生成部(6),其根据图像解析部(5)的解析结果生成脚本数据;以及组图像处理部(7),其根据脚本数据对第1存储部(3)中存储的多个图像数据进行合成而生成组图像数据。

Description

摄像装置和图像处理方法
技术领域
本发明涉及对通过多次拍摄而取得的多个图像进行布局并生成作为一张图像的组图像的图像数据的摄像装置和图像处理方法。
背景技术
在数字照相机或数字摄像机等摄像装置中,由于所取得的图像作为数字数据进行存储或记录,所以,能够容易地加工所取得的图像。
灵活运用这种特征的摄像装置的用途之一具有组照片。所谓组照片是指对通过多次拍摄而取得的多个照片进行布局而得到的合成照片。
更详细地讲,拍摄者为了通过表现基于不同场面和不同视点的立体感的图像、与时间经过对应的拍摄图像以及存在被摄体运动的拍摄图像来表现拍摄时的感情和想象,生成由多个图像构成的组照片。然后,通过该组图像向观看的人传达拍摄时的感情和想象。为了实现该目的,组照片的排列方式和排列顺序有脚本,在引起观看的人的感情这方面,该脚本也是很重要的。
因此,例如,要得到期望的组照片的拍摄者在拍摄该组照片中使用的多个照片时,需要预先考虑该组照片的脚本来拍摄适于该脚本的照片。
另外,作为摄像装置,公知有容易且高效地实施多个拍摄模式下的一连串拍摄的摄像装置(例如参照专利文献1)。在该摄像装置中,在对特定的拍摄对象物进行一连串模式拍摄时,在摄像装置的背面显示部中同时显示作为一连串模式拍摄的样本的多个引导图像。然后,根据用户的操作,为了进行属于一连串模式拍摄的一个拍摄,从背面显示部同时显示的多个引导图像中选择任意的引导图像,与实时取景图像一起显示在背面显示部中,进行一个拍摄。然后,通过依次进行这种拍摄,进行一连串模式拍摄。
现有技术文献
专利文献
专利文献1:日本特开2004-215157号公报
发明内容
发明要解决的课题
如上所述,在拍摄期望的组照片中使用的多个照片时,拍摄者需要预先考虑该组照片的脚本来拍摄适于该脚本的照片。
但是,例如,对于不习惯组照片的拍摄者来说,不容易想起脚本本身和适于该脚本的照片是哪种照片等。并且,在取得了组照片中使用的多个照片后,也不容易决定组照片的结构(要配置的照片的形状和布局等)等。
因此,在摄像装置中,期望能够对脚本本身和适于该脚本的照片的想起以及组照片的结构的决定等组照片的生成进行支援。
但是,以往,不存在这种对组照片的生成进行支援的摄像装置。
例如,在上述专利文献1所记载的摄像装置中,虽然能够针对特定的拍摄对象物进行一连串模式拍摄,但是,针对任意的被摄体,无法对上述组照片的生成进行支援。
另外,上述技术课题不仅在照片(即静态图像)中产生,还可能在动态图像中产生。即,与静态图像、动态图像无关,可能在全部图像中产生。
基于以上的实际情况,本发明的目的在于,提供进行支援以使得针对任意的被摄体能够以简单的操作容易地生成期望的组图像的图像数据的技术。
用于解决课题的手段
本发明的第1方式提供一种摄像装置,该摄像装置对多个图像数据进行合成而生成组图像数据,其中,所述摄像装置具有:摄像部,其对被摄体进行摄像而取得第1图像数据;图像处理部,其对所述第1图像数据进行图像处理而取得第2图像数据;第1存储部,其存储包含所述第1图像数据和所述第2图像数据中的一方或双方在内的图像数据;图像解析部,其对所述第1存储部中存储的图像数据的特征进行解析;脚本生成部,其根据所述图像解析部的解析结果生成脚本数据;脚本变更部,其进行变更所述脚本生成部所生成的所述脚本数据的设定;以及组图像处理部,其根据所述脚本数据对所述第1存储部中存储的多个图像数据进行合成而生成组图像数据,当所述脚本生成部根据所述图像解析部的解析结果生成了所述脚本数据后,在所述脚本变更部进行了变更所述脚本数据的设定的情况下,使所述脚本数据优先,另一方面,在所述脚本变更部未进行变更所述脚本数据的设定的情况下,与所述第1存储部中存储的所述图像数据的变更同步地,根据所述图像解析部的解析结果来更新所述脚本数据。
本发明的第2方式提供一种摄像装置,在第1方式所记载的摄像装置中,所述脚本数据包含组图像的分割数、分割形状、要合成的图像的配置信息。
本发明的第3方式提供一种摄像装置,在第1方式所记载的摄像装置中,由所述图像解析部解析特征的图像数据是实时取景图像的图像数据。
本发明的第4方式提供一种摄像装置,在第1方式所记载的摄像装置中,由所述组图像处理部合成的多个图像数据包含实时取景图像的图像数据。
本发明的第5方式提供一种摄像装置,在第1方式所记载的摄像装置中,所述摄像装置还具有显示图像数据的显示部,所述显示部显示由所述组图像处理部生成的组图像数据。
本发明的第6方式提供一种摄像装置,在第1方式所记载的摄像装置中,所述摄像装置还具有存储图像数据的第2存储部,由所述组图像处理部生成的组图像数据存储在所述第2存储部中。
本发明的第7方式提供一种摄像装置,在第1方式所记载的摄像装置中,所述摄像装置还具有受理脚本变更指示的受理部,所述脚本生成部根据由所述受理部受理的脚本变更指示和所述图像解析部的解析结果生成脚本数据。
本发明的第8方式提供一种摄像装置,在第7方式所记载的摄像装置中,所述图像解析部的解析结果的特征是主要被摄体的数量、主要被摄体是风景、主要被摄体是纵长的、主要被摄体是移动体、主要被摄体是人物及其表情、主要被摄体的像倍率。
本发明的第9方式提供一种摄像装置,在第1方式所记载的摄像装置中,读出所述第2存储部中存储的图像数据并存储在所述第1存储部中。
本发明的第10方式提供一种图像处理方法,该图像处理方法具有以下步骤:对被摄体进行摄像而取得第1图像数据;在第1存储部中存储所述第1图像数据;对所述第1图像数据进行图像处理而取得第2图像数据;在第1存储部中存储所述第2图像数据;对所述第1存储部中存储的图像数据的特征进行解析;根据所述解析结果生成脚本数据;以及根据所述脚本数据对所述第1存储部中存储的多个图像数据进行合成而生成组图像数据。
发明效果
根据本发明,能够提供进行支援以使得针对任意的被摄体能够以简单的操作容易地生成期望的组图像的图像数据的技术。
附图说明
图1是示出本发明的实施例的摄像装置的结构例的图。
图2是示出本发明的实施例的照相机的主要电气***的整体结构的框图。
图3是示出本发明的实施例的照相机的处理整体的流程图。
图4是示出本发明的实施例的照相机的图像处理的流程图。
图5是示出本发明的实施例的照相机的基本图像处理的流程图。
图6是示出本发明的实施例的照相机的特殊图像处理的流程图。
图7是示出本发明的实施例的照相机的组图像生成处理的流程图。
图8是示出本发明的实施例的照相机的静态图像记录处理的流程图。
图9是示出本发明的实施例的照相机的组图像操作处理的流程图。
图10是示出本发明的实施例的照相机的脚本设定处理的流程图。
图11A是用于说明本发明的实施例的照相机的组图像处理部进行的颜色变更处理的第1图。
图11B是用于说明本发明的实施例的照相机的组图像处理部进行的颜色变更处理的第2图。
图11C是用于说明本发明的实施例的照相机的组图像处理部进行的颜色变更处理的第3图。
图11D是用于说明本发明的实施例的照相机的组图像处理部进行的颜色变更处理的第4图。
图11E是用于说明本发明的实施例的照相机的组图像处理部进行的颜色变更处理的第5图。
图11F是用于说明本发明的实施例的照相机的组图像处理部进行的颜色变更处理的第6图。
图12A是用于说明本发明的实施例的照相机的组图像处理部进行的亮度变更处理的第1图。
图12B是用于说明本发明的实施例的照相机的组图像处理部进行的亮度变更处理的第2图。
图12C是用于说明本发明的实施例的照相机的组图像处理部进行的亮度变更处理的第3图。
图13A是用于说明通过本发明的实施例的照相机中设定的脚本(分割数、分割形状)实现的组图像的第1图。
图13B是用于说明通过本发明的实施例的照相机中设定的脚本(分割数、分割形状)实现的组图像的第2图。
图13C是用于说明通过本发明的实施例的照相机中设定的脚本(分割数、分割形状)实现的组图像的第3图。
图13D是用于说明通过本发明的实施例的照相机中设定的脚本(分割数、分割形状)实现的组图像的第4图。
图14A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的第1图。
图14B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的第2图。
图14C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的第3图。
图15A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第1图。
图15B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第2图。
图15C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第3图。
图15D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第4图。
图15E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第5图。
图15F是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第6图。
图15G是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第7图。
图15H是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的另一个第8图。
图16A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图16B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图16C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图16D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图16E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第5图。
图16F是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第6图。
图17A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图17B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图17C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图18A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图18B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图18C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图18D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图18E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第5图。
图18F是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第6图。
图18G是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第7图。
图19A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图19B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图19C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图19D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图19E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第5图。
图20A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图20B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图20C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图20D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图21A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图21B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图21C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图21D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图21E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第5图。
图22A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图22B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图22C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图22D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图22E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第5图。
图23A是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第1图。
图23B是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第2图。
图23C是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第3图。
图23D是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第4图。
图23E是用于说明通过本发明的实施例的照相机中设定的脚本而显示在显示面板中的组图像的又一个第5图。
具体实施方式
下面,参照附图对本发明的实施例进行说明。另外,在本说明书中,实时取景图像与根据释放操作等的来自照相机(摄像装置的一例)的用户的明确拍摄指示而取得的图像不同,是通过照相机的实时取景功能随时取得的图像。
图1是示出本实施例的摄像装置的结构例的图。
图1所示的摄像装置1具有对多个图像数据进行合成而生成组图像数据的功能,如图1所示,包括摄像部2、第1存储部3、图像处理部4、图像解析部5、脚本生成部6、组图像处理部7、显示部8、第2存储部9、受理部10。
摄像部2对被摄体进行摄像而取得第1图像数据。第1存储部3存储包含第1图像数据和后述第2图像数据中的一方或双方在内的图像数据。图像处理部4对第1图像数据进行图像处理而取得第2图像数据。图像解析部5对第1存储部3中存储的图像数据的特征进行解析。脚本生成部6根据图像解析部5的解析结果生成脚本数据(以下也简称为脚本)。组图像处理部7根据脚本数据对第1存储部3中存储的多个图像数据进行合成而生成组图像数据。显示部8显示图像数据。第2存储部9存储图像数据。受理部10受理指示。
在这种结构的摄像装置1中,脚本数据例如包含组图像的分割数、分割形状、要合成的图像的配置信息。并且,由图像解析部5解析特征的图像数据例如是实时取景图像的图像数据。并且,由组图像处理部7合成的多个图像数据例如包含在摄像部2中反复对被摄场进行连续摄像而得到的实时取景图像的图像数据。
并且,显示部8例如显示由组图像处理部7生成的组图像数据。并且,第2存储部9例如存储由组图像处理部7生成的组图像数据。并且,例如,当受理部10受理脚本变更指示时,脚本生成部6根据该脚本变更指示和图像解析部5的解析结果生成脚本数据。
并且,读出第2存储部9中存储的图像数据并存储在第1存储部3中。并且,第2存储部9还存储第1图像数据、第2图像数据等。
并且,在这种结构的摄像装置1中,例如实施以下的图像处理方法。实施具有以下步骤的图像处理方法:对被摄体进行摄像而取得第1图像数据的步骤;在第1存储部3中存储第1图像数据的步骤;对第1图像数据进行图像处理而取得第2图像数据的步骤;在第1存储部3中存储第2图像数据的步骤;对第1存储部3中存储的图像数据的特征进行解析的步骤;根据该解析结果生成脚本数据的步骤;以及根据该脚本数据对第1存储部3中存储的多个图像数据进行合成而生成组图像数据的步骤。
并且,在这种结构的摄像装置1的计算机中,例如执行以下的图像处理程序。
执行使该计算机执行以下步骤的图像处理程序:对被摄体进行摄像而取得第1图像数据的步骤;在第1存储部3中存储第1图像数据的步骤;对第1图像数据进行图像处理而取得第2图像数据的步骤;在第1存储部3中存储第2图像数据的步骤;对第1存储部3中存储的图像数据的特征进行解析的步骤;根据该解析结果生成脚本数据的步骤;以及根据该脚本数据对第1存储部3中存储的多个图像数据进行合成而生成组图像数据的步骤。
如以上说明的那样,根据本实施例,由于通过摄像装置1、摄像装置1中实施的图像处理方法或摄像装置1中执行的图像处理程序,根据图像(例如实时取景图像)的特征生成脚本,根据该脚本生成组图像,所以,能够进行支援以使得针对任意的被摄体能够以简单的操作容易地生成期望的组图像。
图2是示出本实施例的照相机的主要电气***的整体结构的框图。图2所例示的照相机11是将所取得的图像作为数字数据进行存储或记录的摄像装置。照相机11的用户能够一边观察作为显示部的显示面板135中显示的实时取景图像,一边通过使用了操作部123的释放操作来指示图像的取得。另外,照相机11除了具有取得静态图像(即照片)和动态图像的功能以外,还具有取得对多个静态图像或动态图像进行布局而得到的组图像的功能。
首先,参照图2对照相机11的结构进行说明。照相机11具有照相机主体100以及能够相对于照相机主体100进行拆装的包含拍摄镜头201的更换式镜头200。另外,在本实施例中,例示了能够更换拍摄镜头的照相机的结构,但是,拍摄镜头也可以固定在照相机主体上。
更换式镜头200具有拍摄镜头201、光圈203、驱动器205、微计算机207、闪存209。并且,照相机主体100和更换式镜头200经由接口(以下记为I/F)300连接。
拍摄镜头201由用于形成被摄体像的单个或多个光学透镜构成,是单焦点镜头或变焦镜头。在拍摄镜头201的光轴的后方配置有光圈203。光圈203的口径可变,限制通过拍摄镜头201的被摄体光束的光量。并且,拍摄镜头201能够通过驱动器205而在光轴方向上移动。根据来自微计算机207的控制信号对拍摄镜头201的焦点位置进行控制,在拍摄镜头201是变焦镜头的情况下,还对拍摄镜头201的焦距进行控制。并且,驱动器205还进行光圈203的口径的控制。
与驱动器205连接的微计算机207与I/F 300和闪存209连接。微计算机207根据闪存209中存储的程序进行动作。根据程序进行动作的微计算机207与后述照相机主体100内的微计算机121进行通信,根据来自微计算机121的控制信号进行更换式镜头200的控制。
在闪存209中,除了所述程序以外,还存储有更换式镜头200的光学特性和调整值等各种信息。I/F 300是用于进行更换式镜头200内的微计算机207和照相机主体100内的微计算机121的相互间的通信的接口。
在照相机主体100内,在拍摄镜头201的光轴上配置有机械快门101。机械快门101通过遮断被摄体光束来控制被摄体光束针对后述摄像元件103的照射时间,例如可以采用公知的焦面式快门等。在机械快门101的后方,在通过拍摄镜头201形成被摄体像的位置配置有摄像元件103。
在摄像元件103中,以二维方式呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流,该光电转换电流通过与各光电二极管连接的电容器进行电荷蓄积。在各像素的前面配置有拜尔排列的RGB滤镜。另外,摄像元件103的结构不限于包含以拜尔排列的方式排列的RGB滤镜的结构,例如也可以是FOVEON(FoveonIncorporated的注册商标)那样的在元件的厚度方向上排列有多个传感器的结构。
摄像元件103与模拟处理部105连接。模拟处理部105针对从摄像元件103读出的光电转换信号(以下记为模拟图像信号)在降低了复位噪声等之后进行波形整形,进而进行增益放大以成为适当亮度。模拟处理部105与A/D转换部107连接。A/D转换部107对模拟图像信号进行模拟-数字转换,将得到的数字图像信号(以下记为图像数据)输出到总线110并存储在SDRAM 127中。即,在照相机11中,摄像元件103、模拟处理部105、A/D转换部107整体作为对被摄体进行摄像并取得其图像的摄像部发挥功能。另外,在本说明书中,将图像处理部109进行图像处理之前的原始的图像数据记为RAW数据。
摄像元件103内置有电子快门,在动态图像摄像时或实时取景摄像时那样反复进行摄像时,在开放机械快门101的状态下使用内置的电子快门进行摄像。
总线110是用于将在照相机主体100的内部读出或生成的各种数据转送到照相机主体100的内部的转送路。在总线110上,除了所述A/D转换部107以外,还连接有图像处理部109、AE(Auto Exposure:自动曝光)处理部111、AF(Auto Focus:自动对焦)处理部113、图像压缩解压缩部117、通信部119、微计算机121、SDRAM(Synchronous DRAM:同步DRAM)127、存储器接口(以下称为存储器I/F)129、显示驱动器133、音频部137。
图像处理部109具有进行基本图像处理的基本图像处理部109a、用于在设定了应用艺术滤镜等特殊效果的模式的情况下实施特殊效果的特殊图像处理部109b、生成组图像的图像数据的组图像处理部109c、以及通过模式匹配处理等对图像数据进行解析来检测被摄体的被摄体检测部109d。图像处理部109读出SDRAM 127中暂时存储的图像数据,对该图像数据实施图像处理。
基本图像处理部109a对RAW数据进行光学黑体(OB)减法处理、白平衡(WB)校正、在拜尔数据的情况下进行的同时化处理、颜色再现处理、伽马校正处理、亮度变更处理、边缘强调处理、噪声降低(NR)处理等。
特殊图像处理部109b针对基本图像处理部109a处理后的图像数据,根据所设定的特殊效果(艺术滤镜)等进行赋予各种视觉上的特殊效果的特殊图像处理。例如,作为特殊效果(艺术滤镜)的模式之一,在设定了玩具照片模式的情况下,对图像数据进行附加阴影效果的处理。
并且,在特殊效果(艺术滤镜)中设定了神奇对焦模式、粗糙黑白模式、透视画模式、水晶模式的情况下,分别对图像数据进行软对焦处理、噪声重叠处理、晕映处理、十字滤镜处理。
组图像处理部109c根据所设定的组图像的脚本对多个图像数据进行合成,生成将与多个图像数据对应的多个图像布局成规定的配置的图像即组图像的图像数据。被合成的多个图像数据包括由图像处理部109进行处理前的原始图像数据(RAW数据)、由基本图像处理部109a进行处理后的图像数据、以及在设定了特殊效果的情况下由基本图像处理部109a和特殊图像处理部109b进行处理后的图像数据中的任意一方。但是,组图像处理部109c在执行对图像数据进行合成的处理之前,对构成组图像的各图像进行校正。具体而言,对多个图像数据进行解析,计算图像间的颜色分布的差异和亮度平均的差异等。然后,根据计算出的信息对构成组图像的各图像的颜色和亮度进行校正,以使得组图像成为最佳状态。通过对图像进行校正并进行图像间的调整处理,作为组图像,能够得到更加良好的图像。
另外,以后,将仅由基本图像处理部109a进行处理后的图像数据或由基本图像处理部109a和特殊图像处理部109b进行处理后的图像数据的图像也记为帧图像。
被摄体检测部109d通过使用了模式匹配技术等的图像解析,进行检测规定的被摄体、例如人的面部或宠物等动物的处理。进而,在被摄体检测部109d中,还可以进行计算检测到的被摄体的种类、大小、位置、特征性的配色等的处理。这些检测结果例如可以利用于拍摄模式的切换、自动对焦、以固定大小对被摄体像进行摄像的自动变焦、组图像的脚本的生成、相似配色或色调(颜色的基调、明度、深浅、彩度方向的平衡)的图像提取、检索等。
AE处理部111根据经由总线110输入的图像数据测定被摄体亮度,将测定的被摄体亮度信息经由总线110输出到微计算机121。
另外,这里,采用由AE处理部111根据图像数据计算被摄体亮度的结构,但是,照相机11通过设置专用的测光传感器以测定被摄体亮度,也可以实现同样的功能。
AF处理部113从图像数据中提取高频成分的信号,通过累计处理而取得对焦评价值。AF处理部113将所取得的对焦评价值经由总线110输出到微计算机121。即,照相机11通过所谓的对比度法进行拍摄镜头201的对焦。
图像压缩解压缩部117在将图像数据记录到与存储器I/F 129连接的记录介质131中时,针对从SDRAM 127读出的图像数据,在静态图像的情况下根据JPEG压缩方式等进行压缩,并且,在动态图像的情况下根据MPEG等各种压缩方式进行压缩。
微计算机121对JPEG图像数据或MPEG图像数据附加构成JPEG文件、MPO文件、MPEG文件所需要的标题,生成JPEG文件、MPO文件、MPEG文件。
微计算机121将所生成的文件经由存储器I/F 129记录在记录介质131中。
并且,图像压缩解压缩部117还进行JPEG图像数据或MPEG图像数据的解压缩,以用于图像再现显示。在解压缩时,读出记录介质131中记录的文件,在图像压缩解压缩部117中实施解压缩处理后,将解压缩后的图像数据暂时存储在SDRAM 127中。
另外,在本实施例中,作为图像压缩方式,示出了采用JPEG压缩方式、MPEG压缩方式的例子,但是,压缩方式不限于此,也可以是TIFF、H.264等其他压缩方式。
通信部119与外部设备进行通信,以使得对后述闪存125内存储的模板进行更新和追加。通信部119可以通过有线LAN或无线LAN而与外部设备连接,除此以外,也可以通过USB缆线等而与外部设备连接。
微计算机121发挥作为照相机11整体的控制部的功能,对照相机的各种过程进行统一控制。例如,通过微计算机121的控制来进行组图像的脚本的生成、变更等。在微计算机121上,除了所述I/F 300以外,还连接有操作部123和闪存125。
操作部123包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字按钮、OK按钮、模式拨盘等各种输入按钮和各种输入键等操作部件,检测这些操作部件的操作状态,将检测结果输出到微计算机121。微计算机121根据来自操作部123的操作部件的检测结果,执行与用户操作对应的各种过程。即,在照相机11中,操作部123作为受理来自用户的各种指示(例如拍摄指示、脚本变更指示、再现指示等)的受理部发挥功能。
电源按钮是用于指示照相机11的电源的接通/断开的操作部件。当按压电源按钮时,照相机11的电源接通,当再次按压电源按钮时,照相机11的电源断开。
释放按钮涉及通过半按而接通的第一释放开关、以及在从半按起进一步按下而成为全按时接通的第二释放开关。当第一释放开关接通时,微计算机121执行AE动作和AF动作等拍摄准备过程。并且,当第二释放开关接通时,对机械快门101等进行控制,从摄像元件103等取得基于被摄体图像的图像数据,执行将该图像数据记录在记录介质131中的一连串的拍摄过程而进行拍摄。
再现按钮是用于进行再现模式的设定和解除的操作按钮,当设定再现模式时,从记录介质131读出所拍摄的图像的图像数据,在显示面板135中再现显示图像。
菜单按钮是用于使显示面板135显示菜单画面的操作按钮。在菜单画面上,能够进行各种照相机设定。作为照相机设定,存在特殊效果(艺术滤镜)的设定。作为特殊效果,能够设定神奇对焦、流行艺术、玩具照片、粗糙黑白、透视画等各种特殊效果。除此以外,还能够在菜单画面上进行组图像的设定。作为组图像的设定,例如存在组图像的脚本的设定。在组图像的脚本的设定中,能够设定组图像的分割数、分割形状、要合成的图像的配置等。并且,通过结合旅行、运动会等这样的事件或活动来设定拍摄场景,能够自动设定适于该拍摄场景的脚本(组图像的分割数、分割形状、要合成的图像的配置等)。
进而,通过指定多个模板中的一方,能够自动设定与该模板对应的脚本。另外,在各模板中规定了组图像的分割数、分割形状、要合成的图像的配置等。并且,在组图像的脚本的设定中,还能够设定是否使用户设定的脚本优先。
在该设定中,在进行了使用户设定的脚本优先的设定的情况下,原则上不变更该脚本,根据该脚本生成组照片。另一方面,在未进行使用户设定的脚本优先的设定的情况下,根据图像(例如实时取景图像)的解析结果,该脚本可以变更为照相机11推荐的最佳脚本。但是,任意情况下,如后面详细叙述的那样,用户通过进行脚本变更指示,能够变更与用户意思对应的脚本。另外,在未进行组图像的脚本的设定的情况下,根据图像(例如实时取景图像)的解析结果,自动设定照相机11推荐的最佳脚本。
模式拨盘是用于选择拍摄模式的拨盘。在照相机11中,通过对模式拨盘进行操作,动作模式在进行通常拍摄的通常模式与进行组图像拍摄的组图像模式之间进行切换。也可以通过菜单画面等进行通常模式与组图像模式的切换。
操作部123还具有触摸输入部124。触摸输入部124例如是重叠配置在显示面板135上的触摸面板传感器。触摸输入部124检测用户对显示面板135进行的触摸操作,将检测结果输出到微计算机121。微计算机121根据来自操作部123的触摸输入部124的检测结果,执行与用户操作对应的各种过程。
另外,操作部123也可以在显示面板135上具有上述各种按钮。即,也可以代替在照相机11的表面上以物理方式设置按钮,而在显示面板135上显示按钮并利用触摸输入部124检测针对显示面板135上显示的按钮进行的操作。
另外,也可以代替在显示面板135上显示释放按钮,而使显示面板135作为释放按钮发挥功能。该情况下,可以将触摸显示面板135时作为半按释放按钮的状态,将持续触摸规定的时间(例如1秒)以上时视为全按释放按钮的状态,也可以将触摸时视为半按释放按钮的状态和全按释放按钮的状态。
闪存125是存储用于执行微计算机121的各种过程的程序的非易失性存储介质。微计算机121根据闪存125中存储的程序进行照相机整体的控制。并且,闪存125存储彩色矩阵系数、与白平衡模式对应的R增益和B增益、伽马表、曝光条件决定表等各种调整值。进而,闪存125存储组图像的脚本、即与如何对构成组图像的图像进行布局有关的信息(与组图像的分割数、分割形状、要合成的图像的配置等有关的信息)等作为模板,并且,关联地存储拍摄场景(旅行、运动会等)。存储上述程序和调整值的存储介质只要是非易失性存储介质即可,不限于闪存。
SDRAM 127是图像数据等的暂时存储用的可电改写的易失性存储器。该SDRAM 127暂时存储从A/D转换部107输出的图像数据、在图像处理部109或图像压缩解压缩部117等中进行处理后的图像数据。
存储器I/F 129与记录介质131连接。存储器I/F 129进行针对记录介质131写入和读出图像数据和附加在图像数据中的标题等数据的控制。记录介质131例如是相对于照相机主体100拆装自如的存储卡等记录介质,但是不限于此,也可以是照相机主体100中内置的非易失性存储器或硬盘等。
显示驱动器133与显示面板135连接。显示驱动器133根据从SDRAM 127或记录介质131读出并通过图像压缩解压缩部117进行解压缩后的图像数据,使显示面板135显示图像。显示面板135例如是设置在照相机主体100的背面的液晶显示器(LCD),进行图像显示。作为图像显示,包含在刚刚拍摄之后在短时间内显示所记录的图像数据的记录浏览显示、记录介质131中记录的静态图像和动态图像的图像文件的再现显示、以及实时取景显示等动态图像显示。另外,关于显示面板135,除了LCD以外,也可以是有机EL等,还可以采用其他显示面板。并且,关于显示面板135,在拍摄模式是组图像模式的情况下,在显示面板135上定义用于显示图像的多个区域(以下记为显示区域。)。另外,多个显示区域的布局由组图像的脚本来划定。
音频部137与SP(扬声器)139和MIC(麦克风)141连接。音频部137将作为所输入的数字数据的声音信息转换为模拟信号,使SP 139出声。并且,音频部137将由MIC 141检测到的声音转换为数字数据,作为声音信息输出到总线110。音频部137经由总线110与微计算机121之间进行数字数据的发送接收。另外,在再现所记录的声音信息时使用SP 139。并且,MIC 141检测照相机11的周围的声音,用于记录或环境的判断。
在这种结构的照相机11中,例如,摄像元件103、模拟处理部105、A/D转换部107对应于图1所示的摄像部2。并且,例如,基本图像处理部109a或基本图像处理部109a和特殊图像处理部109b对应于图1所示的图像处理部4。并且,例如,SDRAM 127对应于图1所示的第1存储部3。并且,例如,被摄体检测部109d对应于图1所示的图像解析部5。并且,例如,微计算机121对应于图1所示的脚本生成部6。并且,例如,组图像处理部109c对应于图1所示的组图像处理部7。并且,例如,显示面板135对应于图1所示的显示部8。并且,例如,记录介质131对应于图1所示的第2存储部9。并且,例如,操作部123对应于图1所示的受理部10。
接着,参照图3~图10对如上所述构成的照相机11进行的处理进行说明。另外,通过微计算机121执行闪存125中存储的程序,进行图3~图10的流程图所示的照相机11的处理。首先,对图3所示的照相机的处理整体的流程进行说明。
对操作部123内的电源按钮进行操作而使照相机11的电源接通,当图3所示的照相机11的处理开始后,微计算机121对照相机11进行初始化(步骤S1)。这里,进行机械初始化和各种标志等的初始化等电气初始化。作为初始化对象的标志,例如有表示是否处于动态图像记录中的记录中标志等,通过初始化将记录中标志设定为“无效”。
当初始化完成后,接着,微计算机121判定是否按压了再现按钮(步骤S3)。这里,检测操作部123内的再现按钮的操作状态来进行判定。并且,在再现按钮显示在显示面板135上的情况下,检测来自触摸输入部124的信号来进行判定。
当按下再现按钮时,微计算机121将动作模式设定为再现模式,执行再现处理(步骤S4)。当再现处理完成后,再次执行步骤S3的处理。另外,省略再现处理的详细说明,但是,例如,根据用户的指示,微计算机121进行在显示面板135中显示记录介质131中存储的图像等的处理。
当在步骤S3中判定为未按下再现按钮时,微计算机121判定是否按下了菜单按钮、即是否成为显示菜单画面并进行照相机设定的状态(步骤S5)。这里,检测操作部123内的菜单按钮的操作状态来进行判定。在菜单按钮显示在显示面板135上的情况下,检测来自触摸输入部124的信号来进行判定。
当按下菜单按钮时,微计算机121检测针对操作部123的进一步的操作,根据检测结果对照相机设定进行变更(步骤S7)。当照相机设定处理完成后,再次执行步骤S3的处理。
另外,作为照相机设定,例如有拍摄模式设定、记录模式设定、图像的精加工设定、组图像的脚本设定、选择要组入组图像中的预先取得的图像的设定、是否记录图像的设定等。在拍摄模式中有通常拍摄模式和组图像模式。并且,在记录模式中,作为静态图像记录模式,有JPEG记录、JPEG+RAW记录、RAW记录等,作为动态图像记录模式,有Motion-JPEG、H.264等。在本实施例中,作为一例,设定JPEG记录作为静态图像记录模式。进而,在图像的精加工设定中,有成为看起来自然的图像(Natural)、成为鲜艳的图像(Vivid)、成为平和的图像(Flat)、艺术滤镜等特殊效果的设定。
当在步骤S5中判定为未按压菜单按钮时,微计算机121判定是否按下了动态图像按钮(步骤S9)。这里,检测操作部123内的动态图像按钮的操作状态来进行判定。在动态图像按钮显示在显示面板135上的情况下,检测来自触摸输入部124的信号来进行判定。
当判定为未按下动态图像按钮时,微计算机121执行步骤S19的处理。另一方面,当按下动态图像按钮时,微计算机121使记录中标志反转(步骤S11)。即,如果记录中标志为“无效”则变更为“有效”,如果记录中标志为“有效”则变更为“无效”。进而,微计算机121根据反转后的记录中标志的状态来判定是否是图像记录中(步骤S13)。
当判定为记录中标志“有效”时,微计算机121判断为指示了动态图像记录的开始,生成动态图像文件(步骤S15),进行用于记录图像数据的准备。例如,在电源接通后首次按下动态图像按钮的情况下等进行这种处理。另外,在动态图像文件生成后,执行步骤S19的处理。
当在步骤S13中判定为记录中标志“无效”时,微计算机121判断为指示了动态图像记录的结束,关闭动态图像文件(步骤S17)。即,在进行在动态图像文件的标题中记录帧数的处理等而成为能够再现动态图像文件的状态后,结束写入处理。另外,在针对动态图像文件的写入结束后,执行步骤S19的处理。
在步骤S19中,微计算机121判定拍摄模式是否是组图像模式、且是否对操作部123进行了规定的组图像操作。这里,检测SDRAM 127中存储的拍摄模式的设定和操作部123的操作状态来进行判定。
当判定为是组图像模式且进行了规定的操作时,微计算机121执行组图像操作处理(步骤S600)。当组图像操作处理完成后,执行步骤S21的处理。另外,关于组图像操作处理的详细情况,参照图9在后面详细叙述。
当在步骤S19中判定为拍摄模式不是组图像模式、或未对操作部123进行规定的组图像操作时,微计算机121判定是否半按了释放按钮(步骤S21)。这里,检测与释放按钮联动的第一释放开关从断开到接通的转变来进行判定。在释放按钮显示在显示面板135上的情况下或显示面板135作为释放按钮发挥功能的情况下,检测表示触摸了显示释放按钮的区域或显示实时取景图像的显示区域的信号来进行判定。
当半按释放按钮时,微计算机121执行AE/AF动作(步骤S23)。这里,AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度,根据该被摄体亮度计算成为适当曝光的快门速度、光圈值等,由此进行AE动作。并且,驱动器205经由更换式镜头200内的微计算机207使拍摄镜头201的焦点位置移动,以使得由AF处理部113取得的对焦评价值成为峰值,由此进行AF动作。另外,在通过来自触摸输入部124的信号进行AF动作的情况下,使拍摄镜头201移动,以使得对焦在触摸位置处显示的被摄体上。在AE/AF动作后,执行步骤S25的处理。关于AF动作,除了上述的所谓对比度AF以外,也可以使用利用了专用传感器的相位差AF等各种AF方式。
当在步骤S21中判定为未半按释放按钮时,微计算机121判定是否全按了释放按钮(步骤S27)。这里,检测第二释放开关从断开到接通的转变来进行判定。通过连续检测并判定第二释放开关为接通的状态,也可以进行连拍拍摄。并且,在释放按钮显示在显示面板135上的情况下或显示面板135作为释放按钮发挥功能的情况下,检测表示触摸了显示释放按钮的区域或显示实时取景图像的显示区域的信号来进行判定。
当全按释放按钮时,微计算机121进行基于机械快门的静态图像拍摄(步骤S29)。这里,利用在步骤S23中计算出的光圈值对光圈203进行控制,并且,利用计算出的快门速度值对机械快门101的快门速度进行控制。然后,当经过与快门速度对应的曝光时间后,从摄像元件103读出图像信号,通过模拟处理部105和A/D转换部107进行处理后的RAW数据经由总线110暂时存储在SDRAM 127中。
然后,微计算机121读出SDRAM 127中暂时存储的RAW数据,使图像处理部109执行图像处理(步骤S100a),执行将处理后的图像数据等记录在记录介质131中的静态图像记录处理(步骤S500)。另外,关于图像处理和静态图像记录处理的详细情况,分别参照图4~图7、图8在后面详细叙述。当静态图像记录处理完成后,微计算机121执行步骤S25的处理。
当在步骤S27中判定为未全按释放按钮时,微计算机121执行AE动作以成为动态图像或实时取景图像(步骤S35)。通过AE处理部111计算用于以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO感光度,由此进行AE动作。
在AE动作后,微计算机121进行基于电子快门的拍摄(步骤S37)。这里,使用电子快门从摄像元件103读出图像信号,通过模拟处理部105和A/D转换部107进行处理后的RAW数据经由总线110暂时存储在SDRAM 127中。
然后,微计算机121仅在拍摄模式是组图像模式的情况下,进行组图像的脚本设定处理(步骤S700)。另外,脚本设定处理的详细情况参照图10在后面详细叙述。当脚本设定处理完成后,微计算机121读出S37中暂时存储在SDRAM 127中的RAW数据,使图像处理部109执行与基于机械快门的拍摄的情况相同的图像处理(步骤S100b)。进而,在微计算机121的控制下,显示驱动器133对显示面板135进行控制,以使得将显示实时取景图像的显示区域的图像变更为在步骤S37中取得并在步骤S100b中进行图像处理后的图像数据,对实时取景图像进行更新(步骤S39)。
当对实时取景图像进行更新后,微计算机121判定是否是动态图像记录中(步骤S41)。这里,根据SDRAM 127中存储的记录中标志的状态来进行判定。
在记录中标志“无效”的情况下,微计算机121执行步骤S25的处理。另一方面,在记录中标志“有效”的情况下,微计算机121判断为动态图像记录中,进行动态图像记录(步骤S43)。即,记录在步骤S39中更新的实时取景图像的图像数据作为在步骤S15中生成的动态图像文件的帧图像。
然后,微计算机121执行步骤S25的处理。
在步骤S25中,微计算机121判定电源是否断开。在电源接通的情况下,执行步骤S3的处理。在断开的情况下,微计算机121执行必要的结束处理后,结束照相机11的处理。
接着,参照图4~图7对图3所示的基于机械快门的拍摄或基于电子快门的拍摄和脚本设定后进行的图像处理进行更加详细地说明。
另外,基于机械快门的拍摄后进行的图像处理的对象是通过基于机械快门的拍摄而取得的RAW数据,基于电子快门的拍摄和脚本设定后进行的图像处理的对象是通过基于电子快门的拍摄而取得的RAW数据。
如图4所示,图像处理主要由基本图像处理部109a进行的基本图像处理、特殊图像处理部109b进行的特殊图像处理、组图像处理部109c进行的组图像生成处理构成。
微计算机121读出SDRAM 127中暂时存储的RAW数据,当对图像处理部109指示图像处理时,首先,基本图像处理部109a对读出的RAW数据执行基本图像处理(步骤S200)。
如图5所示,基本图像处理部109a执行的基本图像处理由7个图像处理步骤构成。首先,进行光学黑体(OB)减法运算(步骤S201)。在该步骤中,基本图像处理部109a内的OB运算部分别从构成图像数据的各像素的像素值中减去由于摄像元件103的暗电流等而引起的光学黑体值。
在OB减法运算后,进行白平衡(WB)校正(步骤S203)。在该步骤中,基本图像处理部109a内的WB校正部根据所设定的白平衡模式,对图像数据进行WB校正。具体而言,从照相机主体的闪存125中读出与用户设定的白平衡模式对应的R增益和B增益,通过对图像数据乘以该值来进行校正。或者,在自动白平衡的情况下,根据RAW数据计算R增益和B增益,使用这些增益进行校正。
接着,进行同时化处理(步骤S205)。在该步骤中,针对进行了白平衡校正后的图像数据,基本图像处理部109a内的同时化处理部将各像素的数据(拜尔数据)转换为RGB数据。具体而言,从周边通过插值求出该像素中没有的数据,将其转换为RGB数据。另外,在使用FOVEON(Foveon Incorporated的注册商标)形式的摄像元件作为摄像元件103的情况等在RAW数据中每1个像素具有多个数据的情况下,省略该步骤。
在同时化处理后,进行颜色再现处理(步骤S207)。在该步骤中,基本图像处理部109a内的颜色再现处理部进行对图像数据乘以与所设定的白平衡模式对应的彩色矩阵系数的线性转换,对图像数据的颜色进行校正。另外,由于彩色矩阵系数存储在闪存125中,所以读出进行使用。
在颜色再现处理后,进行亮度变更处理(步骤S209)。在该步骤中,基本图像处理部109a内的亮度变更处理部对图像数据(RGB数据)进行伽马校正处理。进而,从RGB数据颜色转换为YCbCr数据,对转换后的图像数据的Y数据进行伽马校正。另外,在伽马校正中,读出闪存125中存储的伽马表进行使用。
在亮度变更处理后,进行边缘强调(步骤S211)。在该步骤中,针对图像数据,基本图像处理部109a内的边缘强调处理部通过带通滤波器提取边缘成分,根据边缘强调度乘以系数并与图像数据进行相加,由此对图像数据的边缘进行强调。
最后,进行NR(噪声去除)(步骤S213)。在该步骤中,基本图像处理部109a内的NR部对图像进行频率分解,根据频率进行核化处理,由此进行降低噪声的处理。
当以上的基本图像处理完成后,在设定了特殊效果(艺术滤镜)的情况下,针对由基本图像处理部109a进行处理后的图像数据,特殊图像处理部109b执行特殊图像处理(图4的步骤S101、步骤S300)。
如图6所示,以根据特殊效果的设定而进行的5个图像处理步骤为中心构成特殊图像处理部109b执行的特殊图像处理。
具体而言,依次判定是否设定了玩具照片、神奇对焦、粗糙黑白、透视画、水晶作为特殊效果(艺术滤镜)(步骤S303、步骤S307、步骤S311、步骤S315、步骤S319)。
在设定了玩具照片的情况下,对图像数据进行阴影附加处理(步骤S305)。在该步骤中,特殊图像处理部109b生成根据与中心之间的距离而使亮度逐渐降低的增益映射图(增益值为1以下),通过根据该增益映射图对图像数据乘以与各像素对应的增益,在周边附加阴影。
在设定了神奇对焦的情况下,对图像数据进行软对焦处理(步骤S309)。在该步骤中,特殊图像处理部109b生成对图像整体实施了晕映处理的图像数据,以规定的比例(例如3:2等)对晕映前的图像的图像数据和晕映处理后的图像的图像数据进行合成。
在设定了粗糙黑白的情况下,对图像数据进行噪声重叠处理(步骤S313)。在该步骤中,特殊图像处理部109b将预先生成的噪声图案与图像数据进行相加。另外,也可以根据随机数等生成噪声图案。
在设定了透视画的情况下,对图像数据进行晕映处理(步骤S317)。在该步骤中,特殊图像处理部109b以AF的对象为中心,根据距离对图像的周边(例如上下或左右或其双方)逐渐进行晕映。
在设定了水晶的情况下,对图像数据进行十字滤镜处理(步骤S321)。在该步骤中,特殊图像处理部109b检测图像中的亮点,对图像数据进行加工,以使得以该亮点为中心描绘十字图案。
当以上的特殊图像处理完成后,组图像处理部109c判定拍摄模式是否是组图像模式(图4的步骤S103)。在拍摄模式不是组图像模式的情况下,结束图像处理。
在拍摄模式是组图像模式的情况下,组图像处理部109c使用显示面板135的多个显示区域中显示的多个图像的图像数据执行组图像生成处理(图4的步骤S400)。
如图7所示,组图像处理部109c执行的组图像生成处理由5个图像处理步骤构成。
首先,进行图像解析(步骤S403)。在该步骤中,组图像处理部109c计算显示面板135的显示区域中显示的多个图像的图像数据分别具有的颜色分布和亮度分布。另外,也可以不根据显示区域中显示的图像的图像数据本身(即,由基本图像处理部109a和特殊图像处理部109b进行处理后的图像数据),而根据与这些图像数据对应的进行图像处理之前的RAW数据来计算颜色分布和亮度分布。
在图像解析后,进行颜色变更处理,以使得构成组图像的多个图像数据的图像成为大致相同颜色(步骤S405)。在该步骤中,组图像处理部109c对各图像数据的色差Cb、色差Cr进行偏置来进行校正,以使得多个图像数据的色差Cb、色差Cr的峰值成为它们的平均值。例如,如果是通过图像解析而计算出图11A和图11D所示的颜色分布(色差的分布)的情况,则如图11B和图11E所示对色差Cb、色差Cr的分布进行偏置。其结果,如图11C和图11F所示,进行颜色变更处理后的多个图像示出大致相同的颜色。
另外,关于颜色变更处理中的颜色变更的方法,除了上述对色差Cb和色差Cr进行变更的方法以外,例如也可以通过在RGB颜色空间中对R或B乘以增益等其他方法来实现。
进而,在颜色变更处理后,进行亮度变更处理,以使得构成组图像的多个图像数据的图像的亮度大致相同(步骤S407)。在该步骤中,组图像处理部109c对各图像数据进行校正,以使得多个图像数据各自的亮度分布的平均成为多个图像数据整体的亮度分布的平均。例如,如果是通过图像解析而得到图12A所示的亮度Y的分布的情况,则如图12B所示通过对各图像数据的RGB数据进行分别不同的伽马转换,对亮度Y的分布进行校正,如图12C所示,使多个图像的亮度大致相同。另外,不通过针对亮度成分的伽马转换而通过RGB颜色空间中的伽马转换来校正亮度的理由是因为,即使在通过校正而大幅变更了亮度的情况下,图像的颜色也不会不自然。
另外,关于亮度变更处理中的亮度变更的方法,除了上述使用伽马变化的方法以外,例如也可以通过仅对阴凉处等暗部区域的亮度进行变更、或仅对亮部区域的亮度进行变更等其他方法来实现。
在亮度变更处理后,进行对校正了颜色和亮度后的多个图像数据进行合成的合成处理(步骤S409)。在该步骤中,组图像处理部109c根据所设定的组图像的脚本对显示面板135的多个显示区域中显示的多个图像的图像数据、更详细地讲为进行了颜色变更处理和亮度变更处理后的多个图像数据进行合成,生成以在显示面板135中显示这些多个图像的方式进行布局的组图像的图像数据。
最后,针对组图像整体,与照相机设定中的精加工设定无关,根据组图像的脚本赋予特殊图像处理部109b在艺术滤镜等中能够应用的效果即晕映处理或阴影附加等特殊效果(步骤S411),结束组图像生成处理。另外,这样生成的组图像也反映在显示面板135的显示中。至此,图4的图像处理结束。
根据如上述那样进行动作而生成组图像的照相机11,根据与其他图像进行比较的结果分别对构成组图像的多个图像进行校正。然后,通过对校正后的图像的图像数据进行合成,生成组图像的图像数据。因此,与仅单独对图像进行图像处理的现有的照相机相比,能够得到良好的图像作为在图像间取得了色调和明亮度的平衡的组图像。另外,在图7中,示出了对各图像执行颜色变更处理和亮度变更处理的例子,但是,根据与其他图像进行比较的结果而进行的图像处理不限于此,也可以执行其他图像处理。
接着,参照图8对图3所示的针对通过机械快门拍摄而取得的图像数据的图像处理后进行的静态图像记录进行更加详细地说明。
如图8所示,当静态图像记录处理开始后,首先,微计算机121判定拍摄模式是否是组图像模式(步骤S501)。在该步骤中,根据SDRAM 127中存储的拍摄模式的设定来进行判定。
在拍摄模式不是组图像模式的情况下,微计算机121对显示驱动器133进行控制,在显示面板135中记录浏览显示通过机械快门拍摄并由图像处理部109进行图像处理后的图像数据的一张图像(步骤S515)。
然后,微计算机121对存储器I/F 129进行控制,使记录介质131记录所显示的图像的图像数据(步骤S517),结束静态图像记录处理。另外,图像数据可以在通过图像压缩解压缩部117以JPEG形式压缩后进行记录,也可以不压缩进行记录。进而,还可以记录由图像处理部109进行图像处理之前的RAW数据。
另一方面,在拍摄模式是组图像模式的情况下,微计算机121判定是否成为记录为了构成组图像而拍摄的图像即帧图像(也记为拍摄图像)的设定(步骤S503)。在成为进行记录的设定的情况下,微计算机121对存储器I/F 129进行控制,使记录介质131记录由图像处理部109进行处理后的帧图像(步骤S504)。
然后,微计算机121判定组合是否完成、即是否已经拍摄完构成组图像的全部帧图像(步骤S505)。另外,在设定了组入组图像中的预先取得的图像的情况下,判定是否已经拍摄完除了预先取得的图像以外的全部帧图像。在该步骤中,通过根据所设定的组图像的脚本而决定的张数的帧图像是否存储在SDRAM 127的帧图像区域中来进行判断。在未拍摄全部帧图像的情况下,结束静态图像记录处理。
在已经拍摄完全部帧图像的情况下,微计算机121对显示驱动器133进行控制,使显示面板135记录浏览显示由图像处理部109生成的组图像(步骤S507)。
然后,微计算机121对存储器I/F 129进行控制,使记录介质131记录由图像处理部109生成的组图像的图像数据(步骤S511),结束静态图像记录处理。
接着,参照图9对组图像操作处理进行更加详细地说明。
如图9所示,当组图像操作处理开始后,确定成为组图像操作处理开始的原因的操作。具体而言,微计算机121依次判定是否进行了拍摄帧变更操作、区域放大操作、区域分割操作(步骤S601、步骤S605、步骤S609)。另外,拍摄帧变更操作、区域放大操作、区域分割操作是与脚本变更指示对应的操作的一例。
例如,根据触摸输入部124是否检测到针对未显示图像的显示区域的触摸操作,判定是否进行了步骤S601的拍摄帧变更操作。当检测到针对未显示图像的显示区域的触摸操作时,微计算机121进行拍摄帧变更信息存储处理、即将用于在切换应该显示实时取景图像的显示区域而触摸的显示区域中显示实时取景图像的信息存储在SDRAM 127中的处理(步骤S603)。
另外,在本步骤中,也可以代替触摸操作而通过十字键等键操作来指定未显示图像的显示区域。
例如,根据触摸输入部124是否检测到描绘显示实时取景图像的显示区域与未显示图像的显示区域之间的边界的触摸操作,判定是否进行了步骤S605的区域放大操作。当检测到这种触摸操作时,微计算机121进行区域放大信息存储处理、即如下处理:在SDRAM127中存储用于将与检测到该触摸操作的边界相邻的显示实时取景图像的显示区域和未显示图像的显示区域合并成一个显示区域、并在该合并后的显示区域中显示实时取景图像的信息(步骤S607)。
例如,根据触摸输入部124是否检测到在显示实时取景图像的显示区域的外周上的2点间从一点描绘到另一点的触摸操作,判定是否进行了步骤S609的区域分割操作。当检测到这种触摸操作时,微计算机121进行区域分割信息存储处理、即如下处理:在SDRAM 127中存储用于以检测到该触摸操作的2点间为边界将显示区域分割成两部分并在一个区域中显示实时取景图像的信息(步骤S611)。
至此,图9的组图像操作处理结束。
接着,参照图10对组图像的脚本设定处理进行更加详细地说明。在组图像的脚本设定处理中,如图10所示,根据步骤S700的判定结果执行步骤S701、S703、S705、S707这4个步骤或步骤S705、S707这2个步骤。
具体而言,首先,微计算机121判定在S7的照相机设定(参照图3)中是否进行了使用户设定的脚本优先的设定(步骤S700)。
在判定为未进行使用户设定的脚本优先的设定的情况下(步骤S700:否),微计算机121取得实时取景图像并进行图像解析(步骤S701)。具体而言,取得在步骤S37(参照图3)中暂时存储在SDRAM 127中的RAW数据或至少对RAW数据实施了基本图像处理后的图像数据中的任意一方作为解析用图像数据,对该解析用图像数据上表现的被摄体的种类和特征(是静止的被摄体还是移动的被摄体、宠物等动物、汽车、山、海、天空等风景、家具、餐具等静物、桥、大厦等建筑物、道路等)、与被摄体之间的距离、视场角内的位置、大小、数量等这样的脚本的生成所需要的要素进行解析。然后,从该解析结果取得被摄体和构图的信息(步骤S703)。另外,被摄体和构图的信息例如是哪种被摄体如何配置等的信息。
然后,微计算机121根据所取得的被摄体和构图的信息生成适当的脚本(脚本数据)(步骤S705)。但是,在进行了脚本变更指示(拍摄帧变更操作、区域放大操作或区域分割操作)的情况下,根据SDRAM 127中存储的对应的信息(拍摄帧变更信息、区域放大信息或区域分割信息)以及步骤S703中取得的被摄体和构图的信息生成适当的脚本(脚本数据)。然后,微计算机121将所设定的脚本变更为所生成的脚本(步骤S707)。
另一方面,在判定为进行了使用户设定的脚本优先的设定的情况下(步骤S700:是),跳过步骤S701、S703,微计算机121仅在进行了脚本变更指示(拍摄帧变更操作、区域放大操作或区域分割操作)的情况下,根据SDRAM 127中存储的对应的信息(拍摄帧变更信息、区域放大信息或区域分割信息)生成对应的脚本(脚本数据)(步骤S705),将所设定的脚本变更为所生成的脚本(步骤S707)。至此,图10的组图像的脚本设定处理结束。
另外,由照相机11中设定的脚本实现的组图像例如成为图13A、图13B、图13C或图13D所示的分割数、分割形状的组图像。图13A、图13D所示的组图像的分割数相同,均为4个,但是,分割形状不同。并且,图13B、图13C所示的组图像的分割数相同,均为3个,但是,分割形状不同。另外,分割形状不限于四边形,如图13D所示,也可以是其他多边形或圆形等。
根据如上所述进行动作的照相机11,根据所设定的组图像的脚本,在显示面板135中进行如下显示。
在被摄体检测部109d判断为主要被摄体是人物的情况下,能够根据检测到的面部的数量来判断人数。示出该例子。
例如,如图14A所示,如果在左上方的显示区域中配置实时取景图像而进行显示时进行了拍摄指示,则如图14B所示,在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在其余的显示区域中分别配置实时取景图像(参照图14C)上表现的各人物的面部而进行显示。这种显示基于根据图14C所示的实时取景图像的解析结果、即在实时取景图像上表现了3个人物的面部等的解析结果而生成的脚本。另外,在图14A、图14B中,记为“LV”的图像表示实时取景图像,该“LV”实际可以显示,也可以不显示(后述图15~图23也同样)。也可以不显示“LV”,而在进行了拍摄指示的帧图像(图14B的情况下为左上方的帧图像)中进行能够与实时取景图像进行区分的显示(例如显示为“拍摄图像”)(后述图15~图23也同样)。
并且,例如,如图15A所示,如果在左上方的显示区域中配置实时取景图像而进行显示时进行了拍摄指示,则如图15B所示,临时在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在右上方的显示区域中配置实时取景图像而进行显示后,如图15C所示,在将左下方和右下方的显示区域合并为一个显示区域而得到的下侧的显示区域中配置实时取景图像而进行显示。这种显示基于根据实时取景图像的解析结果、即在实时取景图像上表现了风景等的解析结果而生成的脚本。另外,在图15C所示的显示中,也可以以更换左上方和右上方的显示区域与下侧的显示区域的方式进行配置并显示。
这样,在被摄体检测部109d判断为主要被摄体是包含远方风景的图像或包含左右横向移动的移动体的图像的情况下,成为图15A~图15C所示的构图。
或者,如果在进行图15A所示的显示时进行了拍摄指示,则如图15D所示,临时在左上方的显示区域中配置帧图像、并且在右上方的显示区域中配置实时取景图像而进行显示后,如图15E所示,在将右上方和右下方的显示区域合并为一个显示区域而得到的右侧的显示区域中配置实时取景图像而进行显示。这种显示基于根据实时取景图像的解析结果、即在实时取景图像上表现了人物的全身等的解析结果而生成的脚本。另外,在图15E所示的显示中,也可以以更换左上方和左下方的显示区域与右侧的显示区域的方式进行配置并显示。
或者,如果在进行图15A所示的显示时进行了拍摄指示,则如图15F所示,临时在左上方的显示区域中配置帧图像、并且在右上方的显示区域中配置实时取景图像而进行显示后,如图15G所示,在将左下方和右下方的显示区域合并为一个显示区域而得到的下侧的显示区域中配置实时取景图像而进行显示。这种显示基于根据实时取景图像的解析结果、即在实时取景图像上表现了从右侧向左侧移动的人物等的解析结果而生成的脚本。另外,在图15G所示的显示中,也可以更换左上方和右上方的显示区域与下侧的显示区域,如图15H所示进行显示。
并且,例如,如图16A所示,在左上方的显示区域中配置实时取景图像而进行显示时,如图16B所示,在实时取景图像上表现的人物以笑脸大声笑的情况下,如图16C所示,开始进行动态图像记录。另外,图16C所示的“MOVIE”表示处于动态图像记录中。这种显示基于根据实时取景图像的解析结果、即在实时取景图像上表现以笑脸大声笑的人物等的解析结果而生成的脚本。另外,能够根据从MIC 141和音频部137输入的声音信息来判断声音。
或者,如果在进行图16A所示的显示时进行了拍摄指示,则如图16D所示(与图14B所示的显示同样),在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在其余的显示区域中分别配置实时取景图像上表现的各人物的面部而进行显示。然后,在右下方的显示区域中显示的实时取景图像上表现的人物以笑脸大声笑的情况下,如图16E所示,对右下方的显示区域中显示的实时取景图像实施特殊图像处理(例如与神奇对焦对应的软对焦处理等)而进行显示。或者,如图16F所示,增大右下方的显示区域的大小而进行同样的显示。这种显示基于根据实时取景图像的解析结果、即在实时取景图像上表现包含以笑脸大声笑的1个人物的3个人物的面部等的解析结果而生成的脚本。
这样,根据判断出由音频部137检测到的声音的结果,成为图16B~图16E所示的构图。除此之外,也可以利用被摄体检测部109d对人物的面部的表情进行解析并根据表情来决定构图。
并且,例如,如图17A所示,如果在显示面板135中以1帧形式显示实时取景图像时进行了拍摄指示,则如图17B所示,临时在左下方的较小的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在除此以外的显示区域中配置实时取景图像而进行显示后,如图17C所示,在右上方的显示区域中配置帧图像、并且在左侧的显示区域中配置实时取景图像而进行显示。这种显示基于根据实时取景图像的解析结果、即在实时取景图像上表现人物的全身等的解析结果而生成的脚本。
这样,在利用被摄体检测部109d判断出包含人物、大厦等建筑物这样的纵方向的主要被摄体的图像的情况下,成为图17A~图17C所示的构图。
并且,例如,如图18A所示,如果在左上方的显示区域中配置实时取景图像而进行显示时进行了拍摄指示,则如图18B所示,在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在右上方的显示区域中配置实时取景图像而进行显示。此时,如图18C所示,当进行了描绘显示实时取景图像的右上方的显示区域与未显示图像的右下方的显示区域之间的边界的触摸操作(区域放大操作)时,如图18D所示,在将右上方和右下方的显示区域合并为一个显示区域而得到的右侧的显示区域中配置实时取景图像而进行显示。这种显示基于根据用户的区域放大操作而生成的脚本。
或者,例如,如果在进行图18A所示的显示时进行了拍摄指示,则如图18E所示,在左上方的显示区域中配置帧图像、并且在左下方的显示区域中配置实时取景图像而进行显示。此时,如图18F所示,当进行了描绘显示实时取景图像的左下方的显示区域与未显示图像的右下方的显示区域之间的边界的触摸操作(区域放大操作)时,如图18G所示,在将左下方和右下方的显示区域合并为一个显示区域而得到的下侧的显示区域中配置实时取景图像而进行显示。这种显示也基于根据用户的区域放大操作而生成的脚本。
并且,例如,如图19A所示,在左上方的显示区域中配置实时取景图像而进行显示时,如图19B所示,当进行了描绘显示实时取景图像的左上方的显示区域与未显示图像的左下方的显示区域之间的边界的触摸操作(区域放大操作)时,如图19C所示,在将左上方和左下方的显示区域合并为一个显示区域而得到的左侧的显示区域中配置实时取景图像而进行显示。然后,如图19D所示,进而,当进行了描绘显示实时取景图像的左侧的显示区域与未显示图像的右侧的显示区域(右上方和右下方的显示区域)之间的边界的触摸操作(区域放大操作)时,如图19E所示,在将左侧和右侧的显示区域合并为一个显示区域而得到的显示区域中配置实时取景图像而进行显示。这种显示也基于根据用户的区域放大操作而生成的脚本。
这样,在利用被摄体检测部109d判断出视场角中的主要被摄体所占的比例、像倍率(即根据焦距和与被摄体之间的距离进行运算并放大拍摄而得到的图像)的情况下,成为图19A~图19E所示的构图。
但是,例如,如图20A所示,在左上方的显示区域中配置实时取景图像而进行显示时进行了拍摄指示,如图20B所示,在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在右上方的显示区域中配置实时取景图像而进行显示时,如图20C所示,在进行了描绘显示帧图像的左上方的显示区域与显示实时取景图像的右上方的显示区域之间的边界的触摸操作的情况下,如图19D所示,不进行区域放大。这是因为,与进行了该触摸操作的边界相邻的图像的一方、即左上方的显示区域中显示的帧图像被确定为组图像的合成中使用的图像。这种情况下,不进行区域放大。另外,由于这种触摸操作不相当于描绘显示实时取景图像的显示区域与未显示图像的显示区域之间的边界的触摸操作,所以,本身也不是区域放大操作。
并且,例如,如图21A所示,如果在左上方的显示区域中配置实时取景图像而进行显示时进行了拍摄指示,则如图21B所示,在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在将右上方和右下方的显示区域合并为一个显示区域而得到的右侧的显示区域中配置实时取景图像而进行显示。此时,如图21C所示,当进行了在显示实时取景图像的右侧的显示区域的外周上的2点间从一个点描绘到另一个点的触摸操作(区域分割操作)时,如图21D或图21E所示,右侧的显示区域被分割为右上方的显示区域和右下方的显示区域,在其中一方(在本例中为右上方)的显示区域中配置实时取景图像而进行显示。另外,在图21E所示的显示的例子中,是缩小实时取景图像而进行显示以使得实时取景图像上表现的被摄体(人物的全身)收敛在右上方的显示区域中的例子。这种显示基于根据用户的区域分割操作或实时取景图像的解析结果而生成的脚本。
另外,在照相机11中,通过拍摄帧变更操作、区域放大操作、区域分割操作来进行脚本变更指示,但是,也可以通过其他操作来进行。例如,如图22A所示,在左上方的显示区域中配置实时取景图像而进行显示时,当进行了朝向望远侧(长焦距侧)的变焦操作时,如图22B、图22C所示,显示根据该变焦操作而放大了被摄体的实时取景图像。然后,当进一步进行朝向望远侧的变焦操作时,如图22D所示,显示根据该变焦操作而进一步放大了被摄体的实时取景图像,但是,该情况下,在将左上方和左下方的显示区域合并为一个显示区域而得到的左侧的显示区域中配置实时取景图像而进行显示,以使得该实时取景图像上表现的面部不会缺失。然后,当进一步进行朝向望远侧的变焦操作时,如图22E所示,显示根据该变焦操作而进一步放大了被摄体的实时取景图像,但是,该情况下,在将左侧、右上方和右下方的显示区域合并为一个显示区域而得到的显示区域中配置实时取景图像而进行显示,以使得该实时取景图像上表现的面部不会缺失。这种显示基于根据用户朝向望远侧的变焦操作而生成的脚本。
并且,例如,如图23A所示,如果在左上方的显示区域中配置实时取景图像而进行显示时进行了拍摄指示,则如图23B所示,在左上方的显示区域中配置帧图像(根据上述拍摄指示而得到的拍摄图像)、并且在右上方的显示区域中配置实时取景图像而进行显示。此时,当进行了朝向望远侧的变焦操作时,如图23C所示,显示根据该变焦操作而进一步放大了被摄体的实时取景图像。此时,当进一步进行朝向望远侧的变焦操作时,如图23D所示,显示根据该变焦操作而进一步放大了被摄体的实时取景图像,但是,该情况下,在将右上方和右下方的显示区域合并为一个显示区域而得到的右侧的显示区域中配置实时取景图像、并且据此在将左上方和左下方的显示区域合并为一个显示区域而得到的左侧的显示区域中配置左上方显示的帧图像而进行显示,以使得该实时取景图像上表现的面部不会缺失。或者,如图23E所示,在较小的其他的显示区域中配置左上方的显示区域中显示的帧图像、并且在其余的显示区域中配置根据变焦操作而进一步放大了被摄体的实时取景图像而进行显示,以使得该实时取景图像上表现的面部不会缺失。这种显示也基于根据用户朝向望远侧的变焦操作而生成的脚本。
除此之外,还考虑检测实时取景图像的主要被摄体的特征性的颜色,提取或切出使用相似颜色或相关联颜色的图像。例如,在主要被摄体的人物穿着红色毛衣的情况下,判断为配色中红色部分较强,考虑切出被摄场内的夕阳、苹果、邮筒、信号机、标识、广告板、汽车、托球(玩具)等与“红色”相关联的被摄体而做成组照片。也可以利用颜色信息从过去拍摄的图像中进行检索而做成组照片。基于颜色的判断不限于单色,也可以包含色调(颜色的基调、明度、深浅、彩度方向的平衡)在内进行判断,能够生成流行颜色的组照片或昏暗感的颜色的组照片。
如以上说明的那样,在本实施例的照相机11中,用户当然能够手动设定组图像的脚本,照相机11还能够根据实时取景图像的解析结果自动设定适当的脚本。并且,任意情况下,用户都能够通过脚本变更指示而自由地变更所设定的脚本。而且,由于根据该设定的脚本生成组图像,所以,根据本实施例的照相机11,能够进行支援以使得针对任意的被摄体能够以简单的操作容易地生成期望的组图像的图像数据。
另外,如上所述,作为摄像装置,例示了数字照相机进行了说明,但是,上述技术不限于照相机专用设备,还可以应用于带照相机的便携电话(智能手机)、平板型设备以及其他便携设备。并且,上述实施例示出了本发明的具体例以使得容易理解发明,本发明不限于这些实施例。本发明的摄像装置能够在不脱离权利要求书所规定的本发明的思想的范围内进行各种变形、变更。
标号说明
1:摄像装置;2:摄像部;3:第1存储部;4:图像处理部;5:图像解析部;6:脚本生成部;7:组图像处理部;8:显示部;9:第2存储部;10:受理部;11:照相机;100:照相机主体;101:机械快门;103:摄像元件;105:模拟处理部;107:A/D转换部;109:图像处理部;109a:基本图像处理部;109b:特殊图像处理部;109c:组图像处理部;109d:被摄体检测部;110:总线;111:AE处理部;113:AF处理部;117:图像压缩解压缩部;119:通信部;121、207:微计算机;123:操作部;124:触摸输入部;125、209:闪存;127:SDRAM;129:存储器I/F;131:记录介质;133:显示驱动器;135:显示面板;137:音频部;139:SP;141:MIC;200:更换式镜头;201:拍摄镜头;203:光圈;205:驱动器;300:I/F。

Claims (10)

1.一种摄像装置,该摄像装置对多个图像数据进行合成而生成组图像数据,其特征在于,所述摄像装置具有:
摄像部,其对被摄体进行摄像而反复取得第1图像数据;
图像处理部,其对所述第1图像数据进行图像处理而取得第2图像数据;
第1存储部,其存储包含所述第1图像数据和所述第2图像数据中的一方或双方在内的图像数据;
图像解析部,其对所述第1存储部中存储的所述第1图像数据或所述第2图像数据的特征进行解析,输出包括被摄体和构图的信息的解析结果;
脚本生成部,其根据所述图像解析部的解析结果生成脚本数据;
脚本变更部,其进行变更所述脚本生成部所生成的所述脚本数据的设定;以及组图像处理部,其根据所述脚本数据,确定图像的配置,以按照所述确定的图像的配置将处理后的图像数据配置于规定位置的方式对所述处理后的图像数据进行图像合成而生成一个组图像数据,所述处理后的图像数据是对所述第1存储部中存储的多个第1图像数据或第2图像数据进行颜色转换处理或亮度转换处理而得到的图像数据,
当所述脚本生成部根据所述图像解析部的解析结果生成了所述脚本数据后,在所述脚本变更部进行了变更所述脚本数据的设定的情况下,使所述脚本数据优先,另一方面,在所述脚本变更部未进行变更所述脚本数据的设定的情况下,与所述第1存储部中存储的所述图像数据的变更同步地,根据所述图像解析部的解析结果来更新所述脚本数据。
2.根据权利要求1所述的摄像装置,其特征在于,
所述脚本数据包含组图像的分割数、分割形状、要合成的图像的配置信息。
3.根据权利要求1所述的摄像装置,其特征在于,
由所述图像解析部解析特征的图像数据是实时取景图像的图像数据。
4.根据权利要求1所述的摄像装置,其特征在于,
由所述组图像处理部合成的多个图像数据包含实时取景图像的图像数据。
5.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有显示图像数据的显示部,
所述显示部显示由所述组图像处理部生成的组图像数据。
6.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有存储图像数据的第2存储部,
由所述组图像处理部生成的组图像数据存储在所述第2存储部中。
7.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有受理脚本变更指示的受理部,
所述脚本生成部根据由所述受理部受理的脚本变更指示和所述图像解析部的解析结果生成脚本数据。
8.根据权利要求7所述的摄像装置,其特征在于,
所述图像解析部的解析结果的特征是主要被摄体的数量、主要被摄体是风景、主要被摄体是纵长的、主要被摄体是移动体、主要被摄体是人物及其表情、主要被摄体的像倍率。
9.根据权利要求6所述的摄像装置,其特征在于,
读出所述第2存储部中存储的图像数据并存储在所述第1存储部中。
10.一种图像处理方法,其特征在于,该图像处理方法具有以下步骤:
对被摄体进行反复摄像而取得第1图像数据;
在第1存储部中存储所述第1图像数据;
对所述第1图像数据进行图像处理而取得第2图像数据;
在第1存储部中存储所述第2图像数据;
对所述第1存储部中存储的所述第1图像数据或所述第2图像数据的特征进行解析,输出包括被摄体和构图的信息的解析结果;
根据所述解析结果生成脚本数据;
进行变更所述脚本数据的设定;
当根据所述解析结果生成了所述脚本数据后,在进行了变更所述脚本数据的设定的情况下,使所述脚本数据优先,另一方面,在未进行变更所述脚本数据的设定的情况下,与所述第1存储部中存储的所述图像数据的变更同步地,根据所述解析结果来更新所述脚本数据;以及
根据所述脚本数据,确定图像的配置,以按照所述确定的图像的配置将处理后的图像数据配置于规定位置的方式对所述处理后的图像数据进行图像合成而生成一个组图像数据,所述处理后的图像数据是对所述第1存储部中存储的多个第1图像数据或第2图像数据进行颜色转换处理或亮度转换处理而得到的图像数据。
CN201480011948.5A 2013-03-12 2014-02-04 摄像装置和图像处理方法 Expired - Fee Related CN105144684B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013049536A JP2014176024A (ja) 2013-03-12 2013-03-12 撮影装置、画像処理方法、及び、画像処理プログラム
JP2013-049536 2013-03-12
PCT/JP2014/052483 WO2014141771A1 (ja) 2013-03-12 2014-02-04 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体

Publications (2)

Publication Number Publication Date
CN105144684A CN105144684A (zh) 2015-12-09
CN105144684B true CN105144684B (zh) 2018-08-28

Family

ID=51536447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480011948.5A Expired - Fee Related CN105144684B (zh) 2013-03-12 2014-02-04 摄像装置和图像处理方法

Country Status (5)

Country Link
US (1) US9684988B2 (zh)
EP (1) EP2975835B1 (zh)
JP (1) JP2014176024A (zh)
CN (1) CN105144684B (zh)
WO (1) WO2014141771A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153056B2 (en) * 2013-03-07 2015-10-06 Shutterfly, Inc. Adaptive and fast image collage creation
US20160093020A1 (en) * 2014-09-30 2016-03-31 Umm Al-Qura University Method of procuring integrating and sharing self portraits for a social network
JP6608196B2 (ja) * 2015-06-30 2019-11-20 キヤノン株式会社 情報処理装置、情報処理方法
US11138207B2 (en) 2015-09-22 2021-10-05 Google Llc Integrated dynamic interface for expression-based retrieval of expressive media content
JP6757140B2 (ja) * 2016-01-08 2020-09-16 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
CN106027905B (zh) * 2016-06-29 2019-05-21 努比亚技术有限公司 一种用于天空对焦的方法和移动终端
US20180068475A1 (en) * 2016-09-08 2018-03-08 Tenor, Inc. Dynamic ad hoc generation of customizable image-based files on computing device displays over interactive data networks
US20180191797A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Dynamically generating customized media effects
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
TWI776191B (zh) * 2020-07-22 2022-09-01 黃仲賢 可編導式自動攝影系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153498A (ja) * 2002-10-30 2004-05-27 Konica Minolta Holdings Inc 画像の撮影および出力システム、方法
JP2008278458A (ja) * 2007-03-30 2008-11-13 Casio Comput Co Ltd 撮像装置、画像表示装置、及びそのプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215157A (ja) 2003-01-08 2004-07-29 Minolta Co Ltd 撮像装置、およびプログラム
JP2006287917A (ja) * 2005-03-08 2006-10-19 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
JP2008017238A (ja) * 2006-07-07 2008-01-24 Casio Comput Co Ltd 撮像装置、スルー画像表示制御方法、及びスルー画像表示制御プログラム
US8615112B2 (en) 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム
US20110029914A1 (en) * 2009-07-30 2011-02-03 Whitby Laura R Apparatus for generating artistic image template designs
KR101206132B1 (ko) * 2010-02-16 2012-11-28 인하대학교 산학협력단 영상 합성 방법 및 장치
AU2010257231B2 (en) * 2010-12-15 2014-03-06 Canon Kabushiki Kaisha Collaborative image capture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153498A (ja) * 2002-10-30 2004-05-27 Konica Minolta Holdings Inc 画像の撮影および出力システム、方法
JP2008278458A (ja) * 2007-03-30 2008-11-13 Casio Comput Co Ltd 撮像装置、画像表示装置、及びそのプログラム

Also Published As

Publication number Publication date
US9684988B2 (en) 2017-06-20
JP2014176024A (ja) 2014-09-22
EP2975835A1 (en) 2016-01-20
EP2975835B1 (en) 2019-10-16
WO2014141771A1 (ja) 2014-09-18
CN105144684A (zh) 2015-12-09
US20150348302A1 (en) 2015-12-03
EP2975835A4 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105144684B (zh) 摄像装置和图像处理方法
CN105100594B (zh) 摄像装置和摄像方法
JP3873994B2 (ja) 撮像装置、及び画像取得方法
CN107809579A (zh) 摄像装置和摄像方法
CN103533216B (zh) 摄影装置以及图像处理方法
CN109155815A (zh) 摄像装置及其设定画面
CN104365082B (zh) 摄像装置、图像处理装置、以及记录方法
CN103888665B (zh) 拍摄装置和拍摄方法
CN103339925B (zh) 摄像装置、图像处理装置以及摄像方法
CN102447912B (zh) 图像处理装置、白平衡校正方法以及摄像装置
CN104243795B (zh) 图像处理装置以及图像处理方法
CN104956657B (zh) 摄像装置和图像处理方法
CN104883480B (zh) 摄像装置和摄像方法
CN103685928B (zh) 图像处理装置以及图像处理方法
CN105282429A (zh) 摄像装置和摄像装置的控制方法
CN106797453A (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN106165409B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN101742336B (zh) 图像处理装置以及图像处理方法
CN105847666B (zh) 摄像设备及其控制方法
CN103685937B (zh) 图像编辑装置以及图像编辑方法
CN103685934A (zh) 图像编辑装置以及图像编辑方法
JP2006025311A (ja) 撮像装置、及び画像取得方法
CN104144286A (zh) 拍摄装置和拍摄方法
JP4989362B2 (ja) 撮像装置、及び、そのスルー画像の表示方法、並びに、撮影画像の記録方法
CN107809578A (zh) 摄像装置以及摄像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180828