CN108107571A - 图像处理装置及方法及非暂时性计算机可读记录介质 - Google Patents

图像处理装置及方法及非暂时性计算机可读记录介质 Download PDF

Info

Publication number
CN108107571A
CN108107571A CN201810092382.3A CN201810092382A CN108107571A CN 108107571 A CN108107571 A CN 108107571A CN 201810092382 A CN201810092382 A CN 201810092382A CN 108107571 A CN108107571 A CN 108107571A
Authority
CN
China
Prior art keywords
image
pixel
depth
field
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810092382.3A
Other languages
English (en)
Other versions
CN108107571B (zh
Inventor
三浦健
泽井省吾
黒田康浩
小山纮史
平本博
平本一博
石黒弘介
大野良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of CN108107571A publication Critical patent/CN108107571A/zh
Application granted granted Critical
Publication of CN108107571B publication Critical patent/CN108107571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明提供一种图像处理装置和图像处理方法。在智能电话(1)中，边缘检测部件(107)从改变焦距而拍摄的不同的多个输入图像中检测边缘来作为特征，将检测出的边缘的强度检测为特征量。并且，景深推定部(111)使用由边缘检测部件(107)检测出的边缘的强度，对于对象像素来推定景深，所述景深是表示对象像素在多个输入图像中的哪个输入图像中合焦的信息。并且，景深图生成部(113)基于景深推定部(111)的推定结果来生成景深图。本发明的图像处理装置和图像处理方法能够生成与所需的合焦状态相应的合成图像。

Description

图像处理装置及方法及非暂时性计算机可读记录介质
本发明是2014年10月29日所提出的申请号为201410592165.2、发明名称为《图像处理装置及图像处理方法》的发明专利申请的分案申请。
技术领域
本发明涉及一种进行图像处理的图像处理装置和图像处理方法，尤其涉及一种图像处理装置及方法及非暂时性计算机可读记录介质。
背景技术
当通过相机(camera)等摄像装置来拍摄目标被摄物时，进行将围绕着该被摄物的背景也包含在内的场景(scene)信息的导入，并输出与该场景信息相关的图像。此时，根据使关于被摄物及背景的焦点如何对准，所输出的图像的印象变得不同。
此处，在想要输出对目标被摄物进行强调的图像的情况下，有如下方法，即：使景深变浅，以对作为近景的目标被摄物合焦而使作为远景的背景不合焦。为了使景深变浅，必须采取进行近拍，或者使用远摄镜头，或者打开光圈等措施，但普通人难以实施这些措施，或者难以备齐可进行这些措施的硬件(hardware)。而且，在智能电话(smartphone)等带相机功能的移动电话中，硬件的限制非常严格，主流的做法是输出景深较深而从近景到远景看上去都合焦的泛焦(pan-focus)图像，因而难以在受到广泛使用的这些设备的硬件上获取被摄物景深浅的图像。
因此，为了在难以使景深变浅的相机中也能输出对目标被摄物进行强调的图像，如专利文献1等所示，提出有如下技术：当进行摄像操作时，自动地连续拍摄被摄物像对好焦的合焦图像与被摄物像未对好焦的不合焦图像，通过将合焦图像与不合焦图像予以合成，从而获取被摄物的轮廓周围为模糊状态的图像(所谓软焦点(soft focus)图像)。
现有技术文献
专利文献
专利文献1：日本专利特开2003-8966号公报
发明内容
[发明所要解决的问题]
然而，当通过拍摄获得的拍摄图像中包含多个被摄物时等，存在想要获取其中一个被摄物已合焦(对好焦)而另一个被摄物不合焦(模糊)的合成图像的情况(case)，也存在相反的情况，即想要获取另一个被摄物已合焦而其中一个被摄物不合焦的合成图像。在如上所述的以往的图像处理装置和图像处理方法中，存在难以像这样获取与所需的合焦状态相应的合成图像的问题。
本发明是为了解决所述问题而完成，其目的在于提供一种能够生成与所需的合焦状态相应的合成图像的图像处理装置和图像处理方法。
[解决问题的技术手段]
为了解决所述问题，本发明采用如下方案。另外，后述的用于实施发明的方式的说明及附图中使用的符号是为了参考而标注，本发明的构成要素并不限定于标注有该符号的要素。
用于解决上述问题的第1发明是一种图像处理装置，其包括：
特征检测部件(图1的处理部10：例如边缘(edge)检测部107)，从多个输入图像(由摄像部50拍摄的多个拍摄图像)中检测规定特征(特征量、特征点)(图4、图15的步骤A11、图19的步骤J7)；以及
景深图生成部件(图1的处理部10；景深图生成部113)，基于所述特征检测部件的检测结果来生成景深图(depth map)(图4的步骤A17、图15的步骤F17、图19的步骤J27)。
而且，作为另一发明，也可构成一种图像处理方法，其包括如下步骤：
从多个输入图像(由摄像部50拍摄的多个拍摄图像)中检测规定特征(特征量、特征点)(图4、图15的步骤A11、图19的步骤J7)；以及
基于所述特征的检测结果来生成景深图(图4的步骤A17、图15的步骤F17、图19的步骤J27)。
进而，作为另一发明，也可构成一种程序(图1的图像处理程序81)，其用于使计算机(图1的智能电话1、图像处理装置、其他信息处理装置)执行如下步骤：
特征检测步骤(图4、图15的步骤A11、图19的步骤J7)，从多个输入图像(由摄像部50拍摄的多个拍摄图像)中检测规定特征(特征量、特征点)；以及
景深图生成步骤(图4的步骤A17、图15的步骤F17、图19的步骤J27)，基于所述特征检测步骤的检测结果来生成景深图。
根据该第1发明等，从多个输入图像中检测规定特征，并基于检测出的特征来生成景深图。通过基于从多个输入图像中检测出的特征，从而能够生成景深图。
景深图是能够对于各坐标的像素指定该像素在哪个输入图像中合焦(即合焦的输入图像)的信息，并且是能够对于各输入图像指定其合焦的像素的坐标(即合焦的区域)的信息。借助以此方式生成的景深图，能够生成与所需的合焦状态相应的合成图像。作为该“与所需的合焦状态相应的合成图像”，例如包含规定的被摄物合焦而其他被摄物不合焦的合成图像、或者所有被摄物都合焦的合成图像(也称作全焦点图像)。
而且，也能够在借助景深图而暂时生成与所需的合焦状态相应的合成图像后，变更合焦的被摄物，或者变更不合焦的程度，而生成不同的合成图像。
而且，只要存储景深图与生成景深图时所用的输入图像，便能够生成与所需的合焦状态相应的合成图像，因此无须在拍摄时预先生成多个合成图像，能够削减图像数据量，还能够减轻图像文件(file)的管理负担等。
尤其，本发明能够较佳地适用于如智能电话等带相机功能的移动电话机般，生成景深较深而从近景到远景看上去都合焦的泛焦图像的图像处理装置。
而且，作为第2发明，也可构成一种图像处理装置，
其根据第1发明的图像处理装置，其中
所述特征检测部件具有从所述多个输入图像中检测规定特征量(边缘强度、高斯差(Difference of Gaussian，DoG)值、背景程度等)的特征量检测部件(图1的处理部10)，
所述图像处理装置进一步包括景深推定部件(图1的景深推定部111)，所述景深推定部件使用由所述特征量检测部件检测出的特征量，对于对象像素(图像中的所有像素、一部分像素)来推定景深(图4、图15的步骤A15)，所述景深是表示对象像素在所述多个输入图像中的哪个输入图像中合焦的信息，
所述景深图生成部件基于所述景深推定部件的推定结果来生成所述景深图(图4的步骤A17、图15的步骤F17)。
根据该第2发明，使用从多个输入图像中检测出的特征量，对于对象像素来推定景深，所述景深表示对象像素在多个输入图像中的哪个输入图像中合焦。只要能够对于对象像素推定出表示所述对象像素在多个输入图像中的哪个输入图像中合焦的景深，便能够基于该推定结果来生成景深图。另外，对象像素既可设为图像中的所有像素，也可设为图像中的一部分区域中所含的像素。
此时，作为另一发明，也可构成一种图像处理装置，其中
所述特征量检测部件具有从所述多个输入图像中检测边缘来作为特征的边缘检测部件(图1的边缘检测部107)，
所述景深推定部件使用由所述边缘检测部件检测出的边缘的强度来作为所述特征量，以对于所述对象像素推定所述景深。
根据该另一发明，从多个输入图像中检测边缘来作为特征，并使用检测出的边缘的强度来作为特征量，以对于对象像素推定景深。根据本申请发明人的见解，从输入图像检测出的边缘的强度与该焦距处的合焦程度存在相关。因此，通过使用边缘的强度来作为特征量，能够适当地推定出针对对象像素为合焦的输入图像。
而且，作为第3发明，也可构成一种图像处理装置，
其根据第2发明的图像处理装置，其中
所述景深推定部件使用由所述特征量检测部件检测出的所述多个输入图像各自的特征量，对于所述对象像素进行使用第1种参数值(成本(cost)值)与第2种参数值(罚分(penalty)值)的规定的适当解运算处理(使能量函数的值最大化或最小化的得分(score)值运算处理：图7的步骤C1～C7)，从而判定针对所述对象像素为合焦的输入图像，所述第1种参数值是根据该对象像素的特征量而决定，所述第2种参数值被规定为使该对象像素合焦的第1输入图像与使该对象像素的附近像素合焦的第2输入图像不同时的罚分。
根据该第3发明，通过进行使用第1种参数值与第2种参数值的规定的适当解运算处理，从而能够能够适当地判定针对对象像素为合焦的输入图像。
此时，作为另一发明，也可构成一种图像处理装置，其中
在所述适当解运算处理中，对于所述对象像素，由所述第1种参数值减去所述第2种参数值，从而运算出规定的得分值，
所述景深推定部件对于所述对象像素，将所述得分值满足规定的高值条件的输入图像判定为合焦的输入图像(图7的步骤C5)。
根据该另一发明，在适当解运算处理中，对于对象像素，由第1种参数值减去第2种参数值，从而运算出得分值，对于对象像素，将得分值满足规定的高值条件的输入图像判定为合焦的输入图像。由此，可实施抑制，以对于对象像素尽可能选择特征量大的输入图像，且对于附近像素尽可能不使输入图像发生变化。通过进行此种得分值运算处理，从而能够正确地判定针对对象像素为合焦的输入图像。
而且，作为另一发明，也可构成一种图像处理装置，其中
在所述适当解运算处理中，对于所述对象像素，将所述第1种参数值加上所述第2种参数值，从而运算出规定的得分值，
所述景深推定部件对于所述对象像素，将所述得分值满足规定的低值条件的输入图像判定为合焦的输入图像。
根据该另一发明，在适当解运算处理中，对于对象像素，将第1种参数值加上第2种参数值，从而运算出得分值，对于对象像素，将得分值满足规定的低值条件的输入图像判定为合焦的输入图像。由此，能够正确地判定针对对象像素为合焦的输入图像。
而且，作为另一发明，也可构成一种图像处理装置，其中
在所述适当解运算处理中，设所述第1输入图像合焦时的景深与设所述第2输入图像合焦时的景深之差越大，则将所述第2种参数值设为更大的值(图3的罚分值表89；P1＜P2)，从而运算所述得分值。
根据该另一发明，在适当解运算处理中，设第1输入图像合焦时的景深与设第2输入图像合焦时的景深之差越大，则将第2种参数值设为更大的值来运算得分值。由此，能够以选择对于对象像素的附近像素而言焦点尽可能近的输入图像的方式来运算得分值。
而且，作为另一发明，也可构成一种图像处理装置，其中
在所述适当解运算处理中，使用根据所述多个输入图像中的2个输入图像的组合而独立地决定的所述第2种参数值，来运算所述得分值。
根据该另一发明，在适当解运算处理中，使用根据多个输入图像中的2个输入图像的组合而设定的第2种参数值，来运算得分值。例如，在第1输入图像的焦点与第2输入图像的焦点大幅背离的情况下，通过设定大的值来作为第2种参数，从而能够使得焦点大幅背离的输入图像难以被判定为合焦的输入图像。
而且，作为另一发明，也可构成一种图像处理装置，其中
在所述适当解运算处理中，对于构成所述输入图像的图线(line)，对于该图线上的像素运算所述得分值(式(2)、式(3)的能量函数的值)(图7的步骤C3)，
所述景深推定部件对于构成所述输入图像的图线上的像素，基于所述得分值来判定合焦的输入图像(图7的步骤C5)。
根据该另一发明，在适当解运算处理中，对于构成输入图像的每条图线，对于该图线上的像素运算得分值，从而对于构成输入图像的每条图线，对于该图线上的像素，基于得分值来判定合焦的输入图像。由此，能够使与景深推定相关的运算容易化。
而且，作为第4发明，也可构成一种图像处理装置，
其根据第3发明的图像处理装置，进一步包括：
被摄物模糊区域检测部件(图1的处理部10)，从所述多个输入图像中检测被摄物模糊区域，
在所述适当解运算处理中，对于由所述被摄物模糊区域检测部件检测出的被摄物模糊区域，将所述第1种参数值及所述第2种参数值中的至少一个设为与在所述被摄物模糊区域以外的区域中使用的参数值不同的值来进行运算。
根据该第4发明，从多个输入图像中检测被摄物模糊区域。并且，在适当解运算处理中，对于该被摄物模糊区域，将第1种参数值及第2种参数值中的至少一个设为与在被摄物模糊区域以外的区域中使用的参数值不同的值来进行运算。由此，对于被摄物模糊区域中所含的像素，能够适当地判定合焦的输入图像。
而且，作为另一发明，也可构成一种图像处理装置，进一步包括：
对比度修正部件(图1的对比度修正部105)，对所述多个输入图像进行对比度(contrast)修正(图4、图15的步骤A9)，
所述特征量检测部件从经所述对比度修正部件修正后的所述多个输入图像中检测所述特征量(图4、图15的步骤A11)。
根据该另一发明，对多个输入图像进行对比度修正，从经对比度修正后的多个输入图像中检测特征量，从而能够对适当地反映出输入图像的特征的特征量进行检测。
而且，作为第5发明，也可构成一种图像处理装置，
其根据第2发明至第4发明中任一发明的图像处理装置，进一步包括：
焦点分离判定部件(图1的焦点分离判定部109)，判定所述多个输入图像的焦点是否被适当分离(图6的焦点分离判定处理)，
所述景深推定部件使用所述焦点分离判定部件的判定结果为肯定判定的输入图像，来对所述对象像素推定所述景深(图6的步骤B7)。
根据该第5发明，判定多个输入图像的焦点是否被适当分离，使用该判定结果为肯定判定的输入图像，对于对象像素推定景深。当输入图像的焦点未被适当分离时，会产生目标被摄物与除此以外的背景未被适当分离等的问题。因此，适当地变更焦距，将输入图像的焦点被适当分离的输入图像作为对象来进行景深的推定。
此时，作为另一发明，也可构成一种图像处理装置，其中
所述焦点分离判定部件具有相关运算部件(图1的处理部10)，所述相关运算部件对于与由所述特征量检测部件检测出特征量的所述多个输入图像分别对应的图像，算出不同图像间的相关值(图6的步骤B1)，将与由所述相关运算部件算出的相关值满足规定的低阈值条件的图像对应的输入图像，判定为焦点被适当分离的输入图像(图6的步骤B5)。
根据该另一发明，对于与由特征量检测部件检测出特征量的多个输入图像分别对应的图像，算出不同图像间的相关值，将与算出的相关值满足规定的低阈值条件的图像对应的输入图像，判定为焦点被适当分离的输入图像。若输入图像的焦点被适当分离，则检测出特征量的不同图像间的相关值应会成为一定程度上小的值。因此，通过使用不同图像间的相关值来作为指标值，能够切实地判定输入图像的焦点是否被适当分离。
而且，作为另一发明，也可构成一种图像处理装置，其中
所述焦点分离判定部件对于与由所述特征量检测部件检测出特征量的所述多个输入图像分别对应的图像，将特征的数量或比例满足规定的高阈值条件(图6的步骤B3)的输入图像，判定为焦点被适当分离的输入图像(图6的步骤B5)。
根据该另一发明，对于与由特征量检测部件检测出特征量的多个输入图像分别对应的图像，将特征的数量或比例满足规定的高阈值条件的输入图像，判定为焦点被适当分离的输入图像。若输入图像的焦点被适当分离，则特征的数量或比例应成为一定程度上大的值。因而，通过使用特征的数量或比例来作为指标值，从而能够切实地判定输入图像的焦点是否被适当分离。
而且，作为第6发明，也可构成一种图像处理装置，
其根据第2发明至第5发明中任一发明的图像处理装置，其中
所述特征量检测部件从所述多个输入图像或将所述多个输入图像缩小后的缩小输入图像(图1的输入图像缩小部101)中检测所述特征量(图4的步骤A11)，
所述景深图生成部件基于所述景深推定部件的推定结果来生成经缩小的景深图(图4的步骤A17)。
根据该第6发明，从多个输入图像或将多个输入图像缩小后的缩小输入图像中检测特征量。并且，基于景深的推定结果来生成经缩小的景深图。对于多个输入图像或者将多个输入图像缩小后的缩小输入图像，适用所述发明的景深图生成方法，从而能够生成经缩小的景深图。缩小景深图的容量比景深图小，因此在存储到存储器(memory)中时将削减存储器容量。
而且，作为第7发明，也可构成一种图像处理装置，
其根据第6发明的图像处理装置，进一步包括：
复原部件(图1的景深图复原部115)，复原所述经缩小的景深图(图4的步骤A19)；以及
修正部件(图1的景深图修正部117)，生成使用规定的修正用图像(输入图像)对经所述复原部件复原的景深图进行修正所得的景深图(图4的步骤A21)。
根据该第7发明，使用规定的复原方法来复原经缩小的景深图。以此方式经复原的景深图因其复原会产生下述等问题，即：在成为景深的边界的部分产生凹凸，或者被摄物的边界部分的边缘的位置发生偏离。因此，生成使用规定的修正用图像对经复原的景深图即复原景深图进行修正所得的景深图。由此，能够消除所述问题而获得适当的景深图。
而且，作为第8发明，也可构成一种图像处理装置，
其根据第1发明的图像处理装置，其中
所述特征检测部件具有特征点检测部件(图1的处理部10)，所述特征点检测部件将在产生视差的多个视点拍摄的拍摄图像(以视差方式拍摄的拍摄图像)作为所述多个输入图像，从所述输入图像中检测特征点(图19的步骤J7)，
所述图像处理装置进一步包括：
视点位置关系推定部件(图1的处理部10)，基于由所述特征点检测部件检测出的特征点，推定所述多个拍摄图像各自的视点的相对位置关系(相机矩阵：旋转矩阵、平移移动矢量(vector))(图19的步骤J23)；以及
像素位置推定部件(图1的处理部10)，进行规定的推定运算(光束法平差(bundleadjustment))，推定构成所述多个输入图像的像素的三维位置(图19的步骤J25)，
所述景深图生成部件基于所述视点位置关系推定部件的推定结果与所述像素位置推定部件的推定结果来生成所述景深图(图19的步骤J27)。
根据该第8发明，通过基于视点的相对位置关系及进行规定的推定运算而推定出的构成多个输入图像的像素的三维位置，从而能够适当地生成景深图，所述视点的相对位置关系是基于从在产生视差的多个视点拍摄的拍摄图像中检测出的特征点而推定出。
而且，作为第9发明，也可构成一种图像处理装置，
其根据第8发明的图像处理装置，其中
所述视点位置关系推定部件包括：
特征点追踪部件(图1的处理部10)，追踪由所述特征点检测部件检测出的特征点(图19的步骤J11)；以及
基点输入图像提取部件(图1的处理部10)，基于所述特征点追踪部件的追踪结果，从所述多个输入图像中提取成为基点的输入图像即基点输入图像(基础帧(base frame))(图19的步骤J13)，
对于由所述基点输入图像提取部件所提取的基点输入图像，基于由所述特征点检测部件检测出的特征点，推定所述多个拍摄图像各自的视点的相对位置关系。
根据该第9发明，通过基于对基点输入图像检测出的特征点，从而能够准确地推定多个拍摄图像各自的视点的相对位置关系，所述基点输入图像是基于对特征点进行追踪的追踪结果而从多个输入图像中提取的图像。
而且，作为第10发明，也可构成一种图像处理装置，
其根据第8发明或第9发明的图像处理装置，进一步包括：
显示部件(图1的显示部30)；以及
显示控制部件(图1的显示控制部127)，进行使所述显示部件显示引导显示(图22的(1)、图22的(2)、图22的(3)、图22的(4)的引导箭头、引导图形)的控制，所述引导显示用于对所述用户引导自身装置的移动方法(移动方向、移动量)，所述自身装置的移动方法用于使所述多个拍摄图像产生视差。
根据该第10发明，通过显示用于对用户引导自身装置的移动方法的引导显示，从而能够使用户知晓为了生成景深图而如何使自身装置移动才好，因此极其便利，所述自身装置的移动方法用于使所述多个拍摄图像产生视差。
而且，作为第11发明，也可构成一种图像处理装置，进一步包括：
移动各量检测部件(图1的惯性传感器(sensor)75(加速度传感器、陀螺仪传感器(gyro sensor))、处理部10、惯性计测单元(unit)IMU、全球定位***(Global PositionSystem，GPS)单元、惯性导航装置INS)，检测自身装置的移动各量(移动距离、移动方向)，
所述显示控制部件基于所述移动各量检测部件的检测结果，来使所述引导显示的显示(图22的(1)、图22的(2)、图2的2(3)、图22的(4)的引导箭头的显示位置或引导图形的显示位置)发生变化。
根据该第11发明，通过基于检测出的自身装置的移动各量来使引导显示的显示发生变化，从而能够将自身装置的适当的移动方向或移动距离告知给用户。
而且，作为第12发明，也可构成一种图像处理装置，
其根据第1发明至第11发明中任一发明的图像处理装置，进一步包括：
全焦点图像生成部件(图1的全焦点图像生成部119)，使用所述景深图与所述多个输入图像来生成全焦点图像(图4、图19的步骤A23)。
根据该第12发明，通过使用景深图与多个输入图像，能够生成针对构成输入图像的像素分别为合焦状态的图像即全焦点图像。
而且，作为另一发明，也可构成一种图像处理装置，进一步包括：
全焦点图像生成部件(图1的全焦点图像生成部119)，使用由所述景深图生成部件所生成的景深图与所述多个输入图像来生成全焦点图像(图15的步骤F19)；
景深图缩小部件(图1的景深图缩小部121)，使用规定的缩小方法来缩小由所述景深图生成部件所生成的景深图(图15的步骤F21)；以及
存储部件(图1的存储部80、图像数据集(data set)83)，与所述多个输入图像及所述全焦点图像中的至少一个相关联地存储所述经缩小的景深图即缩小景深图。
根据该另一发明，使用由景深图生成部件所生成的景深图与多个输入图像来生成全焦点图像。并且，使用规定的缩小方法来缩小由景深图生成部件所生成的景深图，并与多个输入图像及全焦点图像中的至少一个相关联地存储经缩小的景深图即缩小景深图。通过存储缩小景深图，与存储景深图其自身的情况相比，将削减存储器容量。而且，通过与多个输入图像或全焦点图像相关联地予以存储，随后便能够使用这些图像信息来进行全焦点图像的修正等，或者在其他装置中利用这些图像信息。
而且，作为另一发明，也可构成一种图像处理装置，进一步包括：
景深图复原部件(图1的景深图复原部115)，使用规定的复原方法来复原所述存储部件中存储的缩小景深图(图15的步骤A47)；以及
修正部件(图1的景深图修正部117)，使用规定的修正用图像来修正所述经复原的景深图即复原景深图(图15的步骤A49)。
根据该另一发明，使用规定的复原方法来复原存储部件中存储的缩小景深图。并且，使用规定的修正用图像来修正经复原的景深图即复原景深图。经复原的景深图因其复原会产生下述等问题，即：在成为景深的边界的部分产生凹凸，或者被摄物的边界部分的边缘的位置发生偏离。因此，使用规定的修正用图像来对经复原的景深图即复原景深图进行修正。由此，能够消除所述问题而获得适当的景深图。
此时，作为另一发明，也可构成一种图像处理装置，
所述修正用图像是相关联地存储在所述存储部件中的全焦点图像或所述多个输入图像中的至少任一个输入图像，
所述修正部件对于所述复原景深图中的修正对象像素，进行加权平均化处理(基于式(3)的加权平均化处理)，从而对该修正对象像素的复原景深图的像素值进行修正，所述加权平均化处理是针对该修正对象像素的附近像素的景深图的像素值，进行该修正对象像素的修正用图像的像素值与该附近像素的修正用图像的像素值为越接近的值则越高的加权，进而，进行该修正对象像素与该附近像素的距离越近则越高的加权。
根据该另一发明，作为修正用图像，使用相关联地存储在所述存储部件中的全焦点图像或所述多个输入图像中的至少任一个输入图像。并且，对于复原景深图中的修正对象像素，进行加权平均化处理，从而对该修正对象像素的复原景深图的像素值进行修正，所述加权平均化处理是针对该修正对象像素的附近像素的景深图的像素值，进行该修正对象像素的修正用图像的像素值与该附近像素的修正用图像的像素值为越接近的值则越高的加权，进而，进行该修正对象像素与该附近像素的距离越近则越高的加权。借助该方法，能够获得前景与背景的边界变得明确的景深图。
而且，作为第13发明，也可构成一种图像处理装置，
其根据第1发明至第12发明中任一发明的图像处理装置，进一步包括：
显示部件(图1的显示部30)；
输入部件(图1的输入部20)，接受用户操作；以及
合成图像生成部件(图1的强调图像生成部123)，根据针对所述输入部件的用户操作，基于所述景深图来生成合成图像，所述合成图像是将相当于特定景深的输入图像中的像素的像素值合成到相当于所述特定景深以外的景深的输入图像中而成，
所述显示部件显示由所述合成图像生成部件所生成的合成图像。
根据该第13发明，根据从接受用户操作的输入部件输入的用户操作，基于景深图来生成合成图像，所述合成图像是将相当于特定景深的输入图像中的像素的像素值适用到相当于特定景深以外的景深的输入图像中而成。并显示所生成的合成图像。由此，例如能够生成在由用户所指定的部分对好焦的合成图像，以供用户阅览。
而且，作为第14发明，也可构成一种图像处理装置，
其根据第12发明的图像处理装置，进一步包括：
显示部件(图1的显示部30)；
输入部件(图1的输入部20)，接受用户操作；以及
合成图像生成部件(图1的强调图像生成部123)，具有对所述全焦点图像进行虚化处理的虚化处理部件(图1的处理部10)，且根据针对所述输入部件的用户操作，基于所述景深图来生成合成图像，所述合成图像是将相当于特定景深的输入图像中的像素的像素值合成到所述虚化处理的所得图像中而成，
所述显示部件显示由所述合成图像生成部件所生成的合成图像。
根据该第14发明，根据从接受用户操作的输入部件输入的用户操作，基于景深图来生成合成图像，所述合成图像是将相当于特定景深的输入图像中的像素的像素值合成到对全焦点图像进行了虚化处理的所得图像中而成，并显示所生成的合成图像。由此，例如能够生成在由用户所指定的部分对好焦的合成图像，以供用户阅览。
此时，作为另一发明，也可构成一种图像处理装置，其中
所述合成图像生成部件判定由用户操作所指定的图像上的区域是否为进行了所述虚化处理的区域，当该判定结果为肯定判定时，将该区域的虚化程度变更为与所述规定的虚化程度不同的虚化程度，以对所述合成图像进行再次虚化处理。
根据该另一发明，对于由用户操作所指定的图像上的区域，对已通过虚化处理暂时虚化的图像变更虚化程度，从而能够生成再次虚化的合成图像。由此，例如通过用户在合成图像中轻击已虚化的部分，从而能够变更(加强或减弱)该部分的虚化程度。
而且，作为第15发明，也可构成一种图像处理装置，
其根据第14发明的图像处理装置，进一步包括：
显示控制部件(图1的显示控制部127)，根据针对所述输入部件的用户操作(图标(icon)操作、轻击操作)，使所述显示部件显示指定用图形(图25的(1)、图25的(2)的椭圆形的图形或圆形、矩形的图形)，所述指定用图形用于供所述用户指定设为合焦对象的区域即合焦对象区域，
所述合成图像生成部件基于所述景深图，将所述输入图像中包含在所述指定用图形中的像素的景深作为所述特定景深，来生成所述合成图像。
根据该第15发明，根据针对输入部件的用户操作，使显示部件显示指定用图形，所述指定用图形用于供用户指定设为合焦对象的区域即合焦对象区域，从而用户能够通过简便的操作来指定合焦对象区域。
而且，作为第16发明，也可构成一种图像处理装置，
其根据第15发明的图像处理装置，其中
所述输入部件具有与所述显示部件一体地构成的触摸屏，
所述显示控制部件在使所述显示部件显示所述指定用图形之后，根据下述操作中的任一种来变更所述显示的指定用图形的形状(放大/缩小指定用图形)，即：(1)针对所述指定用图形的缩放操作(外扩(pinch out)操作/内缩(pinch in)操作)、(2)针对所述指定用图形的多次轻击操作(双击(double tap)操作)、及(3)对所述指定用图形持续进行轻击操作的持续时间(进行长按操作时的长按时间)。
根据该第16发明，通过简便的用户操作，便能够变更指定用图形的大小。
而且，作为第17发明，也可构成一种图像处理装置，
其根据第13发明或第14发明的图像处理装置，其中
所述输入部件具有与所述显示部件一体地构成的触摸屏(图1的触摸屏21)，
所述合成图像生成部件将基于针对所述触摸屏的操作而决定的景深作为所述特定景深，来生成所述合成图像。
根据该第17发明，通过针对与显示部件一体地构成的触摸屏的操作，便能够生成合成图像。
而且，作为第18发明，也可构成一种图像处理装置，
其根据第17发明的图像处理装置，其中
所述显示部件显示可确认拍摄对象的确认画面(实时显示基于来自摄像元件的输出信号的图像的画面)，
所述图像处理装置进一步包括：
存储部件(图1的存储部80)，根据所述确认画面上的针对所述触摸屏的轻击操作，对设为合焦对象的确认画面上的位置即合焦对象位置进行存储；以及
摄像部件(图1的摄像部50)，在所述存储部件中存储合焦对象位置后，根据规定的摄像条件的成立来进行摄像，
所述特征检测部件将由所述摄像部件所拍摄的多个拍摄图像作为所述多个输入图像来检测所述特征，
所述合成图像生成部件将与存储在所述存储部件中的合焦对象位置对应的景深作为所述特定景深，来生成所述合成图像。
根据该第18发明，用户能够在确认画面上指定合焦对象位置。并且，能够在随后进行摄像，并生成将与在确认画面上指定的合焦对象位置对应的景深作为特定景深的合成图像。
此时，作为另一发明，也可构成一种图像处理装置，其中
所述摄像部件在所述存储部件中存储合焦对象位置后，将下述情况中的任一种视为所述摄像条件的成立来进行摄像，即：(1)侦测到针对所述输入部件的规定摄像操作；(2)侦测到持续一定时间以上的轻击操作；及(3)侦测到多次轻击操作。
根据该另一发明，在通过轻击操作而存储合焦对象位置后，可通过简便的用户操作来进行摄像。
而且，作为第19发明，也可构成一种图像处理装置，
其根据第17发明的图像处理装置，其中
所述显示部件显示规定的显示用图像(输入图像)，
所述图像处理装置进一步包括：
合焦对象区域设定部件(图1的处理部10)，根据显示有所述显示用图像的显示画面上的针对所述触摸屏的缩放操作，设定设为合焦对象的区域即合焦对象区域；以及
虚化处理部件(图1的处理部10)，对于由所述合焦对象区域设定部件所设定的合焦对象区域以外的区域，以规定的虚化程度来进行虚化处理，
所述虚化处理部件具有虚化程度变更部件(图1的处理部10)，该虚化程度变更部件根据针对由所述合焦对象区域设定部件所设定的合焦对象区域的缩放操作(外扩操作/内缩操作)，来变更所述虚化程度(提高/降低虚化程度)。
根据该第19发明，用户能够在显示有显示用图像的显示画面上，通过针对触摸屏的轻击操作，来指定设为合焦对象的区域即合焦对象区域。并且，通过以规定的虚化程度来对合焦对象区域以外的区域进行虚化处理，从而能够生成强调出合焦对象区域的合成图像。
而且，作为第20发明，也可构成一种图像处理装置，
其根据第19发明的图像处理装置，其中
所述虚化程度变更部件根据针对所述合焦对象区域的外扩操作来阶段性地提高所述虚化程度，根据针对所述合焦对象区域的内缩操作来阶段性地降低所述虚化程度。
根据该第20发明，通过简便的用户操作，能够变更对合焦对象区域以外的区域进行虚化处理的虚化程度。
而且，作为第21发明，也可构成一种图像处理装置，
其根据第1发明至第12发明中任一发明的图像处理装置，其中
所述多个输入图像是以不同的焦距拍摄的多个拍摄图像，
所述图像处理装置进一步包括：
显示部件(图1的显示部30)；
输入部件(图1的输入部20)，接受用户操作；
显示控制部件(图1的显示控制部127)，进行如下控制，即，使所述显示部件的规定位置显示焦距范围指定用图像(其为焦距范围图像，可视为调整器图像)(图27的(1)、图27的(2)、图27的(3)的焦距滑块(slider)S1)，所述焦距范围指定用图像用于供用户指定焦距范围；以及
合成图像生成部件(图1的强调图像生成部123)，基于所述景深图来生成合成图像，所述合成图像使与针对所述焦距范围指定用图像的用户操作所指定的焦距范围对应的景深的像素合焦，而使除此以外的像素不合焦，
所述显示部件显示由所述合成图像生成部件所生成的合成图像。
根据该第21发明，用户能够通过针对焦距范围指定用图像的操作，来生成使与所需的焦距范围对应的景深的像素合焦而使除此以外的像素不合焦的合成图像，从而阅览该合成图像。
而且，作为第22发明，也可构成一种图像处理装置，
其根据第1发明至第12发明中任一发明的图像处理装置，其中
所述多个输入图像是以不同的焦距拍摄的多个拍摄图像，
所述图像处理装置进一步包括：
显示部件(图1的显示部30)；
输入部件(图1的输入部20)，接受用户操作；
显示控制部件(图1的显示控制部127)，进行如下控制，即，使基于所述多个输入图像的多个参照用图像(多个输入图像、对多个输入图像分别检测出特征的特征检测图像、对多个输入图像分别实施有对比度修正的对比度修正图像、将多个输入图像与对应的特征检测图像相乘所得的积图像)依次显示在所述显示部件上；以及
合成图像生成部件(图1的强调图像生成部123)，基于所述景深图来生成合成图像，所述合成图像使与如下的输入图像的焦距对应的景深的像素合焦，而使除此以外的像素不合焦，所述输入图像与所述依次显示的参照用图像中由用户所指定的参照用图像相对应，
所述显示部件显示由所述合成图像生成部件所生成的合成图像。
根据该第22发明，用户能够阅览依次显示的参照用图像来指定强调显示出所需被摄物的参照用图像，并基于景深图来生成合成图像并阅览该合成图像，所述合成图像使与如下的输入图像的焦距对应的景深的像素合焦，而使除此以外的像素不合焦，所述输入图像与所述依次显示的参照用图像中由用户所指定的参照用图像相对应。
而且，作为第23发明，也可构成一种图像处理装置，
其根据第22发明的图像处理装置，进一步包括：
积图像生成部件(图1的处理部10)，对于所述多个输入图像，分别生成将该输入图像与由所述特征检测部件检测出特征的特征检测图像(边缘图像)相乘所得的积图像(将输入图像与边缘图像以像素为单位进行相乘而获得的图像)，
所述显示控制部件进行如下控制，即，将由所述积图像生成部件所生成的积图像作为所述参照用图像而依次显示在所述显示部件上。
根据该第23发明，对于多个输入图像分别生成将该输入图像与检测出特征的特征检测图像相乘所得的积图像，并作为参照用图像而依次显示，从而用户能够容易地指定要合焦的景深。
而且，作为第24发明，也可构成一种图像处理装置，
其根据第17发明的图像处理装置，其中
所述合成图像生成部件基于针对所述触摸屏的拖拽操作，动态地变更所述特定景深而动态地生成所述合成图像，
所述显示部件配合所述拖拽操作而显示由所述合成图像生成部件动态地生成的合成图像。
根据该第24发明，基于用户针对触摸屏的拖拽操作，能够实时地生成合成图像并予以显示。
而且，作为第25发明，也可构成一种图像处理装置，
其根据第2发明至第7发明中任一发明的图像处理装置，进一步包括：
输入部件(图1的输入部20)，接受用户操作，
所述景深推定部件具有景深再推定部件(图1的处理部10)，所述景深再推定部件对于通过所述用户操作而指定的指定区域中所含的像素，再推定所述景深，
所述景深图生成部件具有景深图再生成部件(图1的处理部10)，所述景深图再生成部件基于所述景深再推定部件对景深的再推定结果来再生成景深图。
根据该第25发明，当用户在图像中发现显示不自然的部分时，通过用户指定该部分，从而能够对该部分进行景深的再推定，并基于该景深的再推定结果，而获得不自然的部分得到适当修正的景深图。
而且，作为第26发明，也可构成一种图像处理装置，
其根据第25发明的图像处理装置，其中
所述景深再推定部件对于所述指定区域中所含的像素，将所述第1种参数值及所述第2种参数值中的至少一个变更为与所述景深推定部件在起初的景深推定中使用的参数值不同的值来进行所述适当解运算处理，从而再推定所述景深。
根据该第26发明，对于指定区域中所含的像素，能够将第1种参数值及第2种参数值中的至少一个变更为与景深推定部件在起初的景深推定中使用的参数值不同的值来进行适当解运算处理，从而能够适当地再推定景深。
而且，作为另一发明，也可构成一种图像处理装置，其中
所述图像处理装置包括像素特定部件，所述像素特定部件特定所述所述全焦点图像中规定的像素(例如，在触摸屏上用户所点触的区域的像素，或是边缘强度在规定值以上或是未满规定值的区域的像素)，
所述合成图像生成部件对于所述全焦点图像中由所述像素特别指定部件所特别指定的像素，使虚化程度小于所述规定的虚化程度，或者对于所述全焦点图像中由所述像素特别指定部件所特别指定的像素以外的像素，使虚化程度大于所述规定的虚化程度，从而进行所述虚化处理。
当将要强调的景深的像素合成到使全焦点图像一样地虚化的图像中时，会产生如下现象，即，在合焦与不合焦的边界附近，会产生如轮廓一般的成为不自然的像素值的区域。为了避免该现象，对于全焦点图像中由像素特别指定部件所特别指定的像素，使虚化程度小于规定的虚化程度，或者对于全焦点图像中由像素特别指定部件所特别指定的像素以外的像素，使虚化程度大于规定的虚化程度，从而进行虚化处理。由此，能够避免所述现象，而获得适当的合成图像。
而且，作为另一发明，也可构成一种图像处理装置，进一步包括：
显示控制部件，进行如下控制，即：使所述显示部件的规定位置显示景深指定用操作窗(例如图17的景深指定用操作窗W1，或是图27的焦距滑块S1)，所述景深指定用操作窗用于供用户指定所述特定景深，
通过显示在所述显示部件上的景深指定用操作窗，用户可使用所述输入部件来指定所述特定景深。
根据该另一发明，进行如下控制，即，使显示部件的规定位置显示用于供用户指定特定景深的景深指定用操作窗。并且，用户从显示在显示部件上的景深指定用操作窗，使用输入部件来指定特定景深。由此，用户能够从景深指定用操作窗指定任意的特定景深。其结果，生成特定景深的像素得到强调的强调图像并显示在显示部上，因此用户能够阅览所选择的景深的像素得到强调的合成图像。
而且，作为另一发明，也可构成一种图像处理装置，其中
所述输入部件具有与所述显示部件一体地构成的触摸屏(图1的触摸屏21)，
所述用户通过针对所述触摸屏的轻击操作来指定所述特定景深。
根据该另一发明，用户能够通过针对触摸屏的轻击操作来指定特定景深。
而且，作为另一发明，也可构成一种图像处理装置，其中
所述用户操作为轻击操作，
所述合成图像生成部件将通过所述轻击操作而受到轻击的图像上的区域作为所述指定区域(图8的步骤D1)，基于该指定区域来选择所述特定景深(例如图8的步骤D5)。
根据该另一发明，用户操作为轻击操作，将通过轻击操作而受到轻击的图像上的区域作为指定区域，基于该指定区域来选择特定景深。由此，伴随用户的轻击操作，能够对于受到轻击的指定区域选择特定景深来生成合成图像，并显示在显示部上。
而且，作为另一发明，也可构成一种图像处理装置，进一步包括：
显示控制部件，进行如下控制，即，使所述合焦图像、从所述多个输入图像中选择的输入图像、所述合成图像及所述景深图中的任一图像作为显示用图像而显示在所述显示部件上，
所述显示用图像能够参照为所述用户使用所述输入部件来指定所述特定景深。
根据该另一发明，显示控制部件进行如下控制，即，使合焦图像、从多个输入图像中选择的输入图像、合成图像及景深图中的任一图像作为显示用图像而显示在显示部件上。并且，用户基于显示在显示部件上能够参照的显示用图像，使用输入部件来指定特定景深。由此，用户能够阅览显示用图像来指定想要强调显示的部分。
而且，作为另一发明，也可构成一种图像处理装置，其中
所述合成图像生成部件选择下述景深中的任一个来作为所述特定景深，即：(1)与最接近所述指定区域的中心位置的像素对应的景深、(2)与所述指定区域中所含的像素中在所述景深图中景深最深或最浅的像素对应的景深、(3)与像素值最接近所述指定区域中所含的像素的像素值的平均值的像素对应的景深、及(4)所述指定区域中在景深图上对应的景深的像素所占的面积最大的景深。
根据该另一发明，选择下述景深中的任一个来作为特定景深，从而生成合成图像，即：(1)与最接近指定区域的中心位置的像素对应的景深、(2)与指定区域中所含的像素中在景深图中景深最深或最浅的像素对应的景深、(3)与像素值最接近指定区域中所含的像素的像素值的平均值的像素对应的景深、及(4)指定区域中在景深图上对应的景深的像素所占的面积最大的景深。
而且，作为另一发明，也可构成一种图像处理装置，其中
所述特征量检测部件具有边缘检测部件(图1的边缘检测部107)，所述边缘检测部件检测边缘来作为所述多个输入图像的特征，
所述输入部件具有与所述显示部件一体地构成的触摸屏(图1的触摸屏21)，
所述用户操作为拖拽操作，
所述图像处理装置进一步包括：
景深选择部件(图1的处理部10)，根据所述拖拽操作来选择一个景深(图9的步骤E5)；以及
类似度计算部件(图1的处理部10)，算出所述用户的拖拽操作的方向、与由所述景深选择部件所选择的景深的输入图像中通过所述拖拽操作而指定的指定区域中所含的边缘的方向的类似度(图9的步骤E6)，
所述景深再推定部件对于所述指定区域中所含的像素，将所述第1种参数值及所述第2种参数值中的至少一个变更为与所述景深推定部件在起初的景深推定中使用的参数值不同的值来进行所述得分值运算处理，从而再推定所述景深。
根据该另一发明，特征量检测部件具有检测边缘来作为多个输入图像的特征的边缘检测部件。并且，根据用户针对触摸屏的拖拽操作来选择一个景深，并算出用户的拖拽操作的方向、与所选择的景深的输入图像中通过拖拽操作而指定的指定区域中所含的边缘的方向的类似度。并且，景深再推定部件对于通过拖拽操作而指定的指定区域中所含的像素，将第1种参数值及第2种参数值中的至少一个变更为与景深推定部件在起初的景深推定中使用的参数值不同的值来进行得分值运算处理，从而能够适当地再推定图像中的边缘部分的景深。
附图说明
图1是表示智能电话的功能结构的一例的框图。
图2是表示图像数据集的数据结构的一例的图。
图3是表示罚分值表的表结构的一例的图。
图4是表示图像处理的流程的一例的流程图。
图5是紧跟着图4的流程图。
图6是表示焦点分离判定处理的流程的一例的流程图。
图7是表示景深推定处理的流程的一例的流程图。
图8是表示强调图像生成处理的流程的一例的流程图。
图9是表示强调图像修正处理的流程的一例的流程图。
图10的(1)是输入图像的一例，图10的(2)是输入图像的一例，图10的(3)是边缘图像的一例，图10的(4)是边缘图像的一例。
图11的(1)是景深图的一例，图11的(2)是全焦点图像的一例。
图12的(1)是复原景深图的一例，图12的(2)是修正景深图的一例。
图13的(1)是针对全焦点图像的虚化图像的一例，图13的(2)是强调图像的一例，图13的(3)是虚化图像的一例，图13的(4)是强调图像的一例。
图14的(1)是强调图像的一例，图14的(2)是针对强调图像的修正图像的一例。
图15是表示第2图像处理的流程的一例的流程图。
图16是表示变形例中的罚分值表的表结构的一例的图。
图17是表示景深选择用操作窗的一例的图。
图18是表示第2强调图像生成处理的流程的一例的流程图。
图19是表示第3图像处理的流程的一例的流程图。
图20的(1)是表示特征点检测结果的一例的图，图20的(2)是表示特征点检测结果的一例的图，图20的(3)是表示特征点追踪结果的一例的图。
图21的(1)是表示正面视点的特征点的坐标的推定结果的一例的图，图21的(2)是表示上视点的特征点的坐标的推定结果的一例的图，图21的(3)是表示左视点的特征点的坐标的推定结果的一例的图。
图22的(1)是表示确认画面的一例的图，图22的(2)是表示引导显示的一例的图，图22的(3)是表示引导显示的一例的图，图22的(4)是表示引导显示的一例的图。
图23是表示第4图像处理的流程的一例的流程图。
图24是表示第3强调图像生成处理的流程的一例的流程图。
图25的(1)是表示区域指定用图形的一例的图，图25的(2)是区域指定用图形的尺寸(size)调整的说明图。
图26的(1)是通过外扩操作变更虚化程度的说明图，图26的(2)是通过内缩操作变更虚化程度的说明图。
图27的(1)是表示焦距滑块的一例的图，图27的(2)是表示焦距滑块的一例的图，图27的(3)是表示焦距滑块的一例的图。
图28是表示像素的区别显示的一例的图。
图29是表示第4强调图像生成处理的流程的一例的图。
图30是表示记录介质的一例的图。
图31是使用视差方式的景深图的生成原理的说明图。
图32是表示过曝效果虚化处理的流程的一例的流程图。
[符号的说明]
1：智能电话
7：存储卡
10：处理部
20：输入部
21：触摸屏
30：显示部
40：通信部
50：摄像部
55：移动电话用天线
60：移动电话用无线通信电路部
70：时钟部
75：惯性传感器
80：存储部
81：图像处理程序
83：图像数据集
85：强调图像数据
87：修正强调图像数据
89：罚分值表
101：输入图像缩小部
103：对位部
105：对比度修正部
107：边缘检测部
109：焦点分离判定部
111：景深推定部
113：景深图生成部
115：景深图复原部
117：景深图修正部
119：全焦点图像生成部
121：景深图缩小部
123：强调图像生成部
125：强调图像修正部
127：显示控制部
710：卡槽
720：卡读写器
811：焦点分离判定程序
813：景深推定程序
815：强调图像生成程序
817：强调图像修正程序
833：输入图像数据
833a：摄影时间日期
833b：图像编号
833c：缩小输入图像数据
835：缩小景深图数据
837：全焦点图像数据
891：种类
893：第1罚分值
895：第2罚分值
897：第3罚分值
A1、A3、A5、A7、A9、A11、A13、A15、A17、A19、A21、A23、A25、A27、A29、A31、A33、A35、A37、A39、A41、A43、A45、A47、A49、B1、B3、B5、B7、B9、C1、C3、C5、C7、C9、D1、D3、D5、D7、D9、D11、D13、D15、E1、E3、E5、E6、E7、E9、E11、E13、E15、E17、E19、F17、F19、F21、G3、G5、G7、G9、G11、H1、H3、H5、H7、J1、J3、J5、J7、J9、J11、J13、J15、J17、J19、J21、J23、J25、J27、K1、K3、K5、K7、K9、K11、K13、K15、K17、L1、L3、L5、L7：步骤
BAR：景深选择用滚动条
R1：区域
S1：焦距滑块
W1：景深选择用操作窗
具体实施方式
以下，参照附图来说明适用本发明的较佳实施方式的一例。本实施方式中，作为图像处理装置，对将本发明适用于带相机功能的移动电话机的一种即智能电话时的实施方式进行说明。但是，可适用本发明的方式当然不限定于以下说明的实施方式。
图1是表示本实施方式中的智能电话1的功能结构的一例的框图。智能电话1具有处理部10、输入部20、显示部30、通信部40、摄像部50、移动电话用天线(antenna)55、移动电话用无线通信电路部60、时钟部70、惯性传感器75及存储部80而构成。
处理部10是按照存储在存储部80中的***程序等各种程序来统一控制智能电话1的各部的处理器(processor)，是具有中央处理器(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等处理器而构成。
本实施方式中，处理部10具有输入图像缩小部101、对位部103、对比度修正部105、边缘检测部107、焦点分离判定部109、景深推定部111、景深图生成部113、景深图复原部115、景深图修正部117、全焦点图像生成部119、景深图缩小部121、强调图像生成部123、强调图像修正部125及显示控制部127，来作为主要的功能部。但是，这些功能部只不过是作为一实施例而记载，当然也可将除此以外的功能部作为必要构成要素。
输入部20是具有触摸屏21而构成的输入装置，将针对触摸屏21的用户操作的侦测信号输出至处理部10。触摸屏21作为用户与智能电话1之间的输入接口(interface)发挥功能。
本实施方式中，构成为：当经由输入部20来选择智能电话1的相机功能时，用户可选择“摄影模式”与“图像阅览模式”这2个模式来作为模式(mode)，进而，可随附于这些模式来选择“强调图像生成模式”与“强调图像修正模式”这2个模式。
显示部30是具有液晶显示器(Liquid Crystal Display，LCD)等而构成的显示装置，进行基于从处理部10输出的显示信号的各种显示。在显示部30上，除了时刻信息或用于启动应用程序(application)的图标以外，还显示后述的图像处理中生成的各种图像。
通信部40是用于按照处理部10的控制，在与外部的信息处理装置(例如个人计算机(personal computer))之间收发在装置内部所利用的信息的通信装置。作为通信部40的通信方式，可适用各种方式，例如经由遵照规定的通信规格的缆线(cable)来进行有线连接的形式、经由被称作支架(cradle)的与充电器兼用的中间装置来连接的形式、利用近距离无线通信来无线连接的形式等。
摄像部50是可拍摄任意场景的图像而构成的摄像器件(device)，是具有电荷耦合器件(Charge Coupled Device，CCD)影像传感器(image sensor)或互补金属氧化物半导体(Complementary MOS，CMOS)影像传感器等摄像元件(半导体元件)而构成。摄像部50使从摄影对象物发出的光通过未图示的透镜(lens)而在摄像元件的受光平面上成像，通过光电转换，将像的光的明暗转换成电信号。经转换的电信号通过未图示的模拟/数字(AnalogDigital，A/D)转换器而转换成数字信号，并输出至处理部10。
显示控制部127基于从摄像部50输出的经数字化的电信号，控制显示部30来显示呈现出用户作为摄影对象的场景的画面(后述的确认画面)。并且，根据用户的摄像操作(例如轻击触摸屏21的摄像按钮(button)的操作)，基于从摄像部50输出的电信号而转换成规定格式(format)(例如联合图像专家组(Joint Photographic Experts Group，JPEG)方式等)的图像数据作为拍摄图像的数据而存储到存储部80中。本说明书中，将作为摄像部50的拍摄结果而获得的图像称作“拍摄图像”。
移动电话用天线55是在与智能电话1的通信服务运营商所设置的无线基站之间进行移动电话用无线信号的收发的天线。
移动电话用无线通信电路部60是包含射频(Radio Freqency，RF)转换电路、基带(baseband)处理电路等的移动电话的通信电路部，通过进行移动电话用无线信号的调制/解调等，从而实现通话或邮件(mail)的收发等。
时钟部70是智能电话1的内部时钟，例如是具有晶体振子及作为振荡电路的晶体振荡器而构成。时钟部70的计时时刻被随时输出至处理部10。
惯性传感器75是对智能电话1的惯性信息进行检测的传感器，例如是具有三轴的加速度传感器或三轴的陀螺仪传感器而构成，以将传感器作为基准的三维的局部(local)坐标系而检测出的三轴的加速度矢量及三轴的角速度矢量被输出至处理部10。
存储部80是具有只读存储器(Read Only Memory，ROM)或快闪(flash)ROM、随机存取存储器(Random Access Memory，RAM)等存储装置而构成，对处理部10用于控制智能电话1的***程序或者用于执行各种应用程序处理的各种程序或数据等进行存储。
本实施方式中，在存储部80中，作为程序，存储有作为图像处理(参照图3及图4)而执行的图像处理程序81。图像处理程序81包含作为焦点分离判定处理(参照图5)而执行的焦点分离判定程序811、作为景深推定处理(参照图6)而执行的景深推定程序813、作为强调图像生成处理(参照图7)而执行的强调图像生成程序815、作为强调图像修正处理(参照图8)而执行的强调图像修正程序817来作为子程序(subroutine)。对于这些处理，后文使用流程图来详细叙述。
而且，在存储部80中，作为数据，存储图像数据集83、强调图像数据85、修正强调图像数据87及罚分值表89。
图像数据集83包含处理部10为了进行各种图像处理而使用的各种数据，将该数据结构的一例示于图2。各图像数据集83中，存储有与在各不相同的场景由摄像部50所拍摄的图像相关的数据的组合。各图像数据集83中，包含多个输入图像数据833、基于该多个输入图像数据833而生成的缩小景深图数据835、及基于该多个输入图像数据833及该缩小景深图数据835而生成的全焦点图像数据837。
多个输入图像数据833是分别包含输入图像及与该输入图像相关的随附信息的数据，所述输入图像是对于某个场景由摄像部50改变焦距或合焦距离、光圈值等与相机的摄像相关的各参数(以下称作“相机各参数”)而由摄像部50拍摄的拍摄图像。作为各输入图像数据833中的该输入图像的随附信息，相关联地存储有摄影日期时间833a、用于唯一(unique)识别输入图像的图像编号833b、及经缩小的输入图像的数据即缩小输入图像数据833c。
摄影日期时间833a是基于时钟部70的计时时刻而由处理部10存储于输入图像数据833中。
本实施方式中，处理部10按照规定的规则(rule)来设定图像编号833b，且相关联地存储于输入图像数据833中。
例如，当摄像部50在摄像时将焦点对准最跟前来摄像，并逐渐将焦点向深处移动而进行摄像时，处理部10根据各输入图像的摄影日期时间833a，基于摄影时刻越往后则焦距变得越长这一规则，从摄影时刻早的输入图像开始，按照顺序从1开始依次分配图像编号833b。相反地，当在摄像时将焦点对准最深处来摄像，并逐渐将焦点向跟前移动而进行摄像时，只要基于摄影时刻越往后则焦距变得越短这一规则，从摄影时刻迟的输入图像开始，按照顺序从1开始依次分配图像编号833b即可。而且，除此以外，在根据摄像时的相机各参数来自动标注图像名的情况(例如随着合焦距离增加而以Image××的××增加的方式来自动标注图像文件名的情况)下，也可按照拍摄图像的图像名(Image1、Image2、Image3、…)的顺序(升序)来分配图像编号833b。
而且，例如在采用摄像部50在摄像时将相机各参数设为可交换影像文件格式(Exchangeable Image File Format，EXIF)信息等元数据(metadata)而存储于输入图像中的结构的情况下，也可参照该相机各参数来分配与相机各参数相应的图像编号833b。
缩小景深图数据835是景深图生成部113使用缩小输入图像而生成的经缩小的景深图即缩小景深图的数据。所谓景深图，是指如下所述的图数据，即，对于各像素来确定表示该像素在多个输入图像中的哪个输入图像中合焦的信息即景深。本实施方式中，对于对象像素，进行推定景深的景深推定处理，所述景深是表示对象像素在多个输入图像中的哪个输入图像中合焦的信息，并基于该景深推定的结果来生成景深图。另外，本实施方式中，将对象像素设为图像中的所有像素来进行说明，但当然也可并非图像中的所有像素，而是将图像中的一部分区域中所含的像素设为对象像素。
全焦点图像数据837是下述图像的数据，该图像是全焦点图像生成部119使用景深图与多个输入图像而生成，且包含被推定为在所有像素处合焦的输入图像的像素值。
多个输入图像或全焦点图像例如以JPEG形式进行编码，且与图像No831或摄影日期时间832、智能电话的机型、光圈值、焦距、合焦距离、像素数、GPS信息等随附的EXIF信息一并予以存储。此时，缩小景深图数据835可作为随附的数据而以包含在EXIF信息中的形式来存储，借此，能够作为1个JPEG文件而存储在存储部80中。在EXIF信息中，可进而包含用于生成缩小景深图的信息(例如缩小率)。图像数据集83被存储在非易失性的存储器(例如快闪ROM)中。
另外，也可不使缩小景深图作为随附的数据而包含在EXIF信息中，而是将缩小景深图与多个输入图像及全焦点图像中的至少一个一同以JPEG形式进行编码而包含在图像数据集83中。此时，作为这些经编码的图像数据的EXIF信息，只要包含用于生成缩小景深图的信息(例如缩小率)即可。
而且，详细情况后述，但在本实施方式中，进行判定多个输入图像的焦点是否被适当分离的焦点分离判定处理，并使用焦点被适当分离的输入图像来生成缩小景深图。即，判定为焦点未被适当分离的输入图像不用于缩小景深图的生成。因此，较佳为，使表示将多个输入图像中的哪个输入图像用于缩小景深图的生成的信息包含在EXIF信息中。即，通过预先将缩小景深图与用于生成该缩小景深图的输入图像的信息相关联地予以存储，从而在随后使用缩小景深图来进行全焦点图像的生成或强调图像的生成、强调图像的修正等处理时，可明确使用哪个输入图像来进行处理才好。
强调图像数据85是强调图像生成部123按照用户操作来对全焦点图像中的特定的像素部分进行强调，而使其他像素部分虚化的图像的数据。另外，该强调图像数据85既可作为临时数据而存储在易失性的存储器(例如RAM)中，也可包含在图像数据集83中而存储在非易失性的存储器(例如快闪ROM)中。
修正强调图像数据87是强调图像修正部125按照用户操作来对强调图像的一部分进行修正所得的图像数据。另外，该修正强调图像数据87也是既可作为临时数据而存储在易失性的存储器(例如RAM)中，也可包含在图像数据集83中而存储在非易失性的存储器(例如快闪ROM)中。
罚分值表89是规定罚分值的表，所述罚分值是在景深推定部111进行的景深推定处理中，作为后述的适当解运算处理而进行得分值运算处理时所用的参数值的一种，该罚分值表89被预先存储在非易失性的存储器(例如ROM)中。得分值运算处理中，对于对象像素，算出与该对象像素所对应的景深的边缘图像的边缘强度相应的成本值，并使用成本值与罚分值来运算规定的能量函数的值，以作为得分值。罚分值是对于对象像素与该对象像素的附近像素，使合焦的输入图像发生变化时扣除的罚分。本实施方式中，成本值相当于第1种参数值，罚分值相当于第2种参数值。
图3是表示罚分值表89的表结构的一例的图。
在罚分值表89中，相关联地规定有种类891、第1罚分值893与第2罚分值895。
对于对象像素与附近像素，使合焦的输入图像在图像编号833b中变化“1”时的罚分值为第1罚分值893。而且，对于对象像素与附近像素，使合焦的输入图像在图像编号833b中变化“2以上”时的罚分值为第2罚分值895。并且，在种类891的“通常时”，规定“P1”作为第1罚分值893，规定“P2”作为第2罚分值895。其中，“P1＜P2”。
而且，在种类891的“强调图像修正时”，在用户的拖拽方向与边缘方向满足规定的近似条件的情况、与用户的拖拽方向与边缘方向满足规定的背离条件的情况下，规定有不同的罚分值。具体而言，关于前者，规定“P1-α”作为第1罚分值893，规定“P2-α”作为第2罚分值895。而且，关于后者，规定“P1+α”作为第1罚分值893，规定“P2+α”作为第2罚分值895。“α”的值可适当设定，例如“α＝1”。
2-1.第1实施例
2-1-1.处理的流程
图4及图5是表示处理部10按照存储在存储部80中的图像处理程序81而执行的图像处理的流程的流程图。该图像处理是在由用户选择智能电话1的相机功能时开始执行的处理。
本实施例中，作为图像处理，对着眼于设为“摄影模式”，而使用例如改变焦距来拍摄的多个拍摄图像来作为输入图像，以进行景深图或全焦点图像、强调图像、修正强调图像的生成/显示的处理进行图示/说明。但是，当然也可如以往的智能电话所具备的相机功能般，进行不改变焦距而拍摄并显示泛焦图像的“通常摄影模式”下的摄像，但对于与此相关的处理省略图示/说明。
首先，处理部10对由用户经由输入部20而选择的模式进行判定(步骤A1)。当所选择的模式为“摄影模式”时(步骤A1；摄影模式)，处理部10按照用户的快门(shutter)操作，控制摄像部50对于同一场景改变焦距来拍摄多幅图像(步骤A3)。例如，伴随用户的1次快门操作，获取将某场景作为对象的1个图像数据集83。
随后，输入图像缩小部101进行使用规定的缩小方法来将多个输入图像分别缩小的输入图像缩小处理(步骤A5)。此时，以尽可能避免丢失原始的输入图像的图像信息的方式，例如将纵横缩小为1/2n(n为1以上的整数)。输入图像的缩小可通过缩减采样(downsampling)等公知的方法来实现。缩小输入图像是与成为缩小对象的原始的输入图像相关联地受到存储。
随后，对位部103进行存储在存储部80中的多个缩小输入图像的对位处理(步骤A7)。
当用户所进行的摄影并非在将智能电话1固定的状态等稳定状态下的摄影，而是摄影者在手持状态下进行时，在输入图像间发生位置偏离的可能性高。若存在位置偏离，则作为合焦/不合焦而输出的像素的位置会发生偏离，其结果，有可能会生成包含错误的景深信息的景深图。因此，进行缩小输入图像的对位。在对位处理中，可适用各种方法，例如可适用采用光流(optical flow)的公知的对位方法。该方法包括块匹配(block matching)法或梯度法等方法。
接下来，对比度修正部105进行对比度修正处理(步骤A9)。当在后述的边缘检测处理中检测边缘时，存在如下问题，即，因在摄影场景中存在强光，导致在输入图像间边缘发生偏离。因此，对于输入图像的亮度，进行遵照规定的对比度修正运算式的对比度修正。此时，既可对整个图像实施对比度修正，也可对图像中的一部分实施对比度修正。
在对图像中的一部分实施对比度修正的情况下，必须考虑过曝的发生。所谓过曝，是指在被照射到强光的区域发生曝光过度，从而丢失灰阶的信息而变得雪白的情况。在过曝的区域(以下称作“过曝区域”)，有时灰阶会整体上减弱，在检测边缘时，有可能检测不到适当的边缘。
因此，使用公知的方法来检测过曝区域，对于该过曝区域，优选对包含该过曝区域的大一圈的区域，进行局部性地降低对比度的处理。借助该处理，能够避免在后段的边缘检测处理中，在过曝区域的边界检测错误位置处的边缘，从而能够在后述的景深推定及景深图生成中降低边缘偏离的影响。
而且，所述过曝也可通过适用高动态范围(High Dynamic Range，HDR)来避免，所述HDR是指利用多次曝光来拍摄相同图像并合成为1幅图像。本申请的申请人发明了使用曝光转换函数来避免过曝的方法。详细内容在国际公开第2013/054446号说明书中有所公开，对以“y＝a/xb”表示的曝光转换函数进行定义，使用采用低曝光的输入图像的像素值的采样数据的最小平方法等方法，来推定曝光转换函数中所含的(a，b)的曝光转换参数的值，由此来求出曝光转换函数。并且，使用求出的曝光转换函数来修正对象图像的灰阶值，从而生成灰阶值的减弱得以消除的对象图像。通过对以此方式生成的对象图像进行边缘检测，从而能够在后述的景深推定及景深图生成中降低边缘偏离的影响。
继而，边缘检测部107对在对比度修正处理中获得的与多个缩小输入图像分别对应的对比度修正图像进行边缘检测处理(步骤A11)。本实施例中，作为输入图像的特征，检测对比度修正图像中的边缘。具体而言，例如，作为边缘检测处理，进行使用拉普拉斯滤波器(Laplacian filter)的边缘检测。另外，也可不使用拉普拉斯滤波器，而使用除此以外的索贝尔(Sobel)滤波器或罗伯特(Roberts)滤波器、福森(Forsen)滤波器、范围滤波器(range filter)之类的边缘检测用的滤波器。而且，也可将对比度修正图像通过傅里叶变换(Fourier transformation)而转换成频率区域，以去除低频成分，从而检测作为高频成分的边缘。
继而，焦点分离判定部109按照存储在存储部80中的焦点分离判定程序811来进行焦点分离判定处理(步骤A13)。
图6是表示焦点分离判定处理的流程的流程图。
首先，焦点分离判定部109算出边缘图像间的相关值(步骤B1)。相关值可通过如下方式而算出，即，对于构成2个边缘图像的所有像素进行相关运算，该相关运算进行所有像素彼此的卷积运算。并且，焦点分离判定部109对于各边缘图像，算出边缘强度超过规定阈值强度的像素数(步骤B3)。
随后，焦点分离判定部109对满足规定的焦点分离条件的边缘图像进行判定(步骤B5)。焦点分离条件例如可预先规定为：步骤B1中算出的相关值未达第1阈值(第1阈值条件)，且步骤B3中算出的像素数达到第2阈值(第2阈值条件)。即，将相关值满足规定的低阈值条件且像素数满足规定的高阈值条件预先规定为焦点分离条件。
另外，也可取代边缘强度超过规定阈值强度的像素数，而算出边缘强度超过规定阈值强度的像素的比例。此时，只要将相关值未达第1阈值(第1阈值条件)，且边缘强度超过规定阈值强度的像素的比例达到规定阈值(第2阈值条件)预先规定为焦点分离条件即可。即，也可将相关值满足规定的低阈值条件，且像素的比例满足规定的高阈值条件预先规定为焦点分离条件。
继而，焦点分离判定部109将与判定为满足焦点分离条件的边缘图像对应的输入图像，决定为用于景深推定的输入图像(步骤B7)。并且，焦点分离判定部109删除不满足焦点分离条件的输入图像后(步骤B9)，结束焦点分离判定处理。
另外，在所述中，当存在不满足焦点分离条件的输入图像时，也可进行错误(error)告知，以促使用户进行再次摄影。即，也可使摄像部50改变焦距来再次进行同一场景的摄像。
返回图4，进行焦点分离判定处理后，景深推定部111按照存储在存储部80中的景深推定程序813来进行景深推定处理(步骤A15)。
图7是表示景深推定处理的流程的流程图。
景深推定部111对于构成缩小输入图像的各图线进行循环(loop)A的处理(步骤C1～C9)。在循环A的处理中，景深推定部111对于该图线中所含的像素，执行基于能量函数的适当解运算处理(步骤C3)。
在适当解运算处理中，执行得分值运算处理，该得分值运算处理是对构成多个输入图像的像素来运算该输入图像各自的得分值。具体而言，基于能量函数，算出构成输入图像的各像素的得分值。得分值是对于对象像素，使用成本值及罚分值来运算各输入图像的得分值，所述成本值是根据该对象像素所对应的景深的输入图像的边缘强度而决定，所述罚分值被规定为使该对象像素合焦的第1输入图像与使该对象像素的附近像素合焦的第2输入图像不同时的罚分。并且，将运算出的得分值满足规定的高值条件的输入图像推定为合焦的输入图像。
对本实施方式中使用的能量函数进行说明。
根据本申请发明人的见解，从边缘图像求出的边缘的强度(边缘强度)与该焦距处的合焦程度相关。并且可认为，多个输入图像中，在该像素处边缘最强的输入图像可说是该像素处最合焦的输入图像。根据该逻辑，基于边缘信息而导出各像素的景深适当解，并生成其集合即景深图。当由边缘图像生成景深图时，例如使用下述式(1)所示的能量函数。
[数1]
在式(1)中，“p”及“q”为像素(像素的坐标值)，“Np”表示像素p的附近规定范围。像素q是包含在像素p的附近规定范围Np中的像素，为像素p的附近像素。
“Rx”为像素x处的景深，例如与输入图像的图像编号833b一一对应。图像编号833b如前所述，基于规定的规则(例如摄影时刻越往后则焦距越长或越短这一规则)而从1开始依次分配。此时，图像编号833b成为焦距的升序或降序，因此可以说该图像编号833b表示输入图像的景深。
“C(p、Rx)”是景深Rx处的像素p的成本值，该成本值是作为边缘强度的倒数而算出。即，边缘强度越强，则成本值越小。T[]是当满足括弧内的条件时取“1”，不满足时取“0”的函数。
“P(p)”是像素p处的罚分值。“P1”是景深变化1时的罚分值即第1罚分值，“P2”是景深变化2以上时的罚分值即第2罚分值。该第1罚分值及第2罚分值是在罚分值表89的“通常时”中规定的罚分值。如前所述，“P1＜P2”。
式(1)的能量函数导出适当解，该适当解是用于：以对于对象像素p尽可能选择多个输入图像中最合焦的输入图像的信息，而对于对象像素p的附近像素q尽可能选择焦点近的输入图像的方式，来选择对于各像素使用多个输入图像中的哪个输入图像的像素值才好。在为适当解时，该能量函数的值即得分值取最大值。而且，在该能量函数的内部，根据边缘图像中的像素值(亮度值)来决定该得分值，且被设计成，若依次选择取最大像素值的输入图像，则能量函数的输出达到最大。表示该情况的是式(1)的右边第1项的成本值。
另一方面，采用如下设定：当使在对象像素p的附近像素q处选择的输入图像发生变化时，扣除罚分值，即，减去规定值。表示该情况的是式(1)的右边第2项及第3项的罚分项。具体而言，当使对象像素p合焦的第1输入图像与使附近像素q合焦的第2输入图像不同时，从得分值中减去规定的罚分值(第1罚分值及第2罚分值)。
而且，如上所述，第2罚分值被规定为比第1罚分值大的值(P1＜P2)。这意味着，对于对象像素p推定的景深“Rp”与对于附近像素q推定的景深“Rq”之差越大，则从得分值中减去更大的罚分值。
根据以上所述，式(1)的能量函数实施抑制，以尽可能选择取最大像素值的输入图像，且对于附近的像素则尽可能不使输入图像发生变化。通过使用成本值，对于各像素，容易选择边缘强的输入图像来作为合焦的输入图像，能够获得反映出边缘强度的景深图。而且，通过使用罚分值，以推定的景深不会产生不均衡的方式来进行限制，能够获得景深顺畅地变化的平滑的景深图。
另外，摄像部50所拍摄的输入图像原则上是改变焦距而拍摄的不同的拍摄图像，但即使在输入图像中包含相同焦距的图像也无问题。此时，对于相同焦距的输入图像，只要将罚分值设为“0”来进行上文所述的适当解运算处理即可。
本实施方式中，为了使所述适当解运算处理中的得分值的运算容易化，将式(1)的能量函数一次元化，对于构成输入图像的每条图线运算得分值，以算出景深适当解。若将式(1)一次元化，则成为下述式(2)。
[数2]
Lr＝-C(p，d)-min(Lr(p-r，d)，Lr(p-r，d±1)+P1(p)，miniLr(p-r，i)+P2(p))
+min(Lr(p-r，i))…(2)
在式(2)中，“Lr”为图线r处的罚分函数。“Lr(p，d)”是图线r中的像素p处的成本值。而且，“C(p，r)”是在像素p处景深为r时的成本值。
在步骤C3中，基于式(2)的能量函数来执行得分值计算处理，对于构成该图线的像素分别算出得分值。并且，景深推定部111对于该图线中所含的像素，分别对该像素x判定得分值达到最大的景深Rx(步骤C5)。并且，景深推定部111将与所判定的景深Rx对应的图像编号833b的输入图像判定为该像素x处的合焦的输入图像后(步骤C7)，将处理跳转到下条图线。
当对于构成输入图像的所有图线进行了步骤C3～C7的处理后，景深推定部111结束循环A的处理(步骤C9)，结束景深推定处理。
返回图4的图像处理，当进行了景深推定处理后，景深图生成部113进行缩小景深图生成处理(步骤A17)。具体而言，基于景深推定处理的结果，生成对构成缩小输入图像的各像素分配有与所推定的景深相应的位(bit)值的图，并将其作为缩小景深图。另外，生成的缩小景深图只要根据在景深推定处理中使用的输入图像的数量来设定位数即可。例如，若输入图像为3幅～4幅，则只要以2位来表现景深图即可，若输入图像为5幅～8幅，则只要以3位来表现景深图即可。所生成的缩小景深图是与多个输入图像相关联地存储到存储部80的图像数据集83中。
继而，景深图复原部115进行缩小景深图复原处理(步骤A19)。具体而言，使用规定的复原方法来将缩小景深图放大至原始大小，并将其作为复原景深图。
继而，景深图修正部117进行景深图修正处理(步骤A21)。具体而言，景深图修正部117使用从多个输入图像中选择的一个输入图像来作为修正用图像，以修正复原景深图。此时，例如可选择多个输入图像中的焦距最接近中间值的输入图像来作为修正用图像。
另外，也可使用对从多个输入图像中选择的2个以上的输入图像进行合成所得的合成图像来作为修正用图像。
景深图的修正可通过进行使用修正用图像的像素值的加权平均化处理来实现。该加权平均化处理以下述式(3)来给出。
[数3]
在式(3)中，“p”为修正对象像素，“q”是位于修正对象像素附近的附近像素。“G(p，q)”是修正对象像素p与附近像素q之间的距离越近则值越大的函数，例如以高斯(Gauss)函数而给出。而且，“I(p)”是修正用图像的修正对象像素p处的亮度值，“I(q)”是修正用图像的附近像素q处的亮度值。并且，“W(I(p)，I(q))”是亮度值“I(p)”与“I(q)”为越接近的值则值越大的函数。“D(q)”是景深图中的附近像素q处的值，“D’(p)”表示通过加权平均化而获得的景深图的修正对象像素p处的修正值。在以后的处理中，利用以此方式获得的修正景深图来作为景深图。
此处，为了减轻式(3)的加权平均化处理的处理负载，也可使用量化码(code)而按照下述式(4)来进行加权平均化处理，但省略详细的原理说明。
[数4]
继而，全焦点图像生成部119进行全焦点图像生成处理(步骤A23)。具体而言，基于在步骤A21中经修正的景深图，从多个输入图像中提取应选择的像素值，生成全焦点图像，该全焦点图像包含所有像素中合焦度高的输入图像的像素值。所生成的全焦点图像数据837是与输入图像数据833及缩小景深图835相关联地存储到存储部80的图像数据集83中。
移到图5，显示控制部127控制显示部30显示全焦点图像(步骤A25)。随后，处理部10判定是否由用户经由输入部20而选择了“强调图像生成模式”(步骤A27)，若判定为已选择(步骤A27；是(Yes))，则强调图像生成部123按照存储在存储部80中的强调图像生成程序815来进行强调图像生成处理(步骤A29)。
图8是表示强调图像生成处理的流程的流程图。
强调图像生成部123按照用户操作来判定指定区域(步骤D1)。具体而言，识别出触摸屏21中的受到轻击的区域，将受到轻击的区域判定为指定区域。随后，强调图像生成部123从指定区域中选择代表像素(步骤D3)。
由于由用户的手指所轻击的部位具有面积，因此对应的坐标并不限于一个，而是遍及多个坐标。因此，将提取多个像素值，从而无法唯一决定想要强调(维持合焦)的焦距。因此，本实施例中，从由提取的多个像素值构成的指定区域中选择一个像素来作为代表像素。
作为此时的代表像素的选择方法，例如可选择下述像素中的任一像素来作为代表像素，即：(1)最接近指定区域的中心位置的像素、(2)与指定区域中所含的像素中在景深图中景深最深或最浅的像素、及(3)像素值最接近指定区域中所含的像素的像素值的平均值的像素。
随后，强调图像生成部123基于景深图来选择代表像素的景深(步骤D5)。即，判定作为代表像素而选择的像素在景深图中关联于哪个景深，并选择所判定的景深。
另外，也可并非选择代表像素来选择该代表像素的景深，而是利用景深图来选择一个景深，并不进行代表像素的选择。具体而言，也可省略步骤D3，而在步骤D5中，例如选择(4)指定区域中在景深图上对应的景深的像素所占的面积最大的景深。
继而，强调图像生成部123基于景深图来特别指定与在步骤D5中选择的景深对应的像素(步骤D7)。即，基于表示景深图的各像素的景深的位值，来判定在步骤D5中判定的景深的像素相当于哪个像素。
随后，强调图像生成部123生成强调图像(步骤D9)。具体而言，使用虚化滤波器，进行以规定的虚化程度来使整个全焦点图像虚化的处理。作为此时的虚化滤波器，例如可适用高斯滤波器(Gaussian filter)等公知的滤波器。并且，将在步骤D7中特别指定的像素的像素值合成到作为虚化处理的结果而获得的虚化图像中，将该处理结果作为强调图像(合成图像)。并且，显示控制部127以所生成的强调图像来更新显示部30的显示(步骤D11)。
当将位于要强调的焦距处的像素合成到对全焦点图像一样地适用虚化滤波器所得的图像中时，会产生如下现象，即，在合焦与不合焦的边界附近，会产生如轮廓一般的成为不自然的像素值的区域。该现象是由于下述原因而产生，即，在摄影场景中的物体的边界附近，尽管是不处于要强调显示的焦距处的像素，但也会受到处于要强调显示的焦距处像素影响。为了避免该现象，对于并非应强调显示的像素的部分进行加权而对全焦点图像实施虚化滤波，以进行合成。具体而言，对于全焦点图像中的在步骤D7中特别指定的像素以外的图像部分，使虚化程度大于所述的规定的虚化程度来进行虚化处理。
另外，也可取代以上所述，而对于在步骤D7中特别指定的像素，使虚化程度小于所述的规定的虚化程度来进行虚化处理。
继而，强调图像生成部123判定紧跟着是否有用户操作(步骤D13)。若判定为紧跟着有用户操作(步骤D13；是)，则强调图像生成部123使处理返回步骤D1。该操作除了包含用户轻击完全不同的位置的情况以外，还包含用户从轻击一次的位置进行拖拽操作的情况。即，在由用户进行了拖拽操作的情况下，伴随指定区域通过拖拽操作而依次变化来动态地选择代表像素，基于景深图来动态地判定代表像素的景深。并且，强调图像生成部123基于伴随指定区域通过拖拽操作发生变化而动态地判定的景深，动态地生成与该代表像素相应的合成图像，且显示控制部129进行如下控制，即，使动态地生成的合成图像配合拖拽操作而动态地显示在显示部30上。
若在步骤D13中判定为紧跟着无用户操作(步骤D13；否(No))，强调图像生成部123按照用户操作来判定是否结束强调图像生成模式(步骤D15)，在判定为不结束的情况下(步骤D15；否)，使处理返回步骤D13。另一方面，在判定为结束的情况下(步骤D15；是)，结束强调图像生成处理。
返回图5，进行强调图像生成处理后，处理部10判定强调图像是否正显示在显示部30上(步骤A31)，若判定为正在显示(步骤A31；是)，则判定是否由用户经由输入部20而选择了“强调图像修正模式”(步骤A33)。并且，若判定为已选择(步骤A33；是)，则强调图像修正部125按照存储在存储部80中的强调图像修正程序817来进行强调图像修正处理(步骤A35)。
图9是表示强调图像修正处理的流程的流程图。
强调图像修正部125将由用户经由触摸屏21而拖拽的区域作为指定区域(步骤E1)。并且，强调图像修正部125从指定区域中选择代表像素(步骤E3)。代表像素可利用与在图8的强调图像生成处理的步骤D3中选择代表像素时同样的方法来选择。
继而，强调图像修正部125基于景深图来选择代表像素的景深(步骤E5)。即，判定作为代表像素而选择的像素在景深图中关联于哪个景深，并选择所判定的景深。
随后，强调图像修正部125算出余弦(cosine)类似度，来作为表示用户的拖拽方向、与在步骤E5中选择的景深的输入图像中指定区域中所含的边缘的方向的相对关系的指标值(步骤E6)。余弦类似度是矢量空间模型(model)中的类似度计算方法的一种，是表达矢量彼此所成的角度的近似度的指标值。余弦类似度越接近“1”，则表示矢量彼此越类似，余弦类似度越接近“0”，则表示矢量彼此越不类似。另外，也可取代余弦类似度，而算出拖拽方向与边缘方向的余弦距离。
强调图像修正部125基于在步骤E5中算出的余弦类似度，设定针对指定区域内的像素的罚分值。具体而言，当余弦类似度超过规定阈值(例如0.7)时，视为拖拽方向与边缘方向满足近似条件，而设定在罚分值表89中规定的罚分值(将第1罚分值设定为“P1-α”，将第2罚分值设定为“P2-α”)。而且，当余弦类似度为阈值以下时，视为拖拽方向与边缘方向满足背离条件，而设定在罚分值表89中规定的罚分值(将第1罚分值设定为“Pi+α”，将第2罚分值设定为“P2+α”)。
其结果，当拖拽方向与边缘方向满足近似条件时(例如当拖拽方向与边缘方向平行时)，罚分值比通常时小，因此相对于对象像素与该对象像素附近的像素的景深差的罚分变弱。其结果，视为针对指定区域中所含的像素为合焦而选择的输入图像的容许度变大，在更广的景深幅度下选择输入图像的可能性提高，因此产生使边缘部分相对增强(强调)的作用。
另一方面，当拖拽方向与边缘方向满足背离条件时(例如当拖拽方向与边缘方向正交时)，罚分值比通常时大，因此相对于对象像素与该对象像素附近的像素的景深差的罚分变强。其结果，视为针对指定区域中所含的像素为合焦而选择的输入图像的容许度变小，选择输入图像的景深幅度受到较强限制，由此产生使边缘部分相对减弱(消除)的作用。
另外，在所述中，当拖拽方向与边缘方向满足近似条件时，使罚分值比通常时小，但也可取代于此，当拖拽方向与边缘方向满足近似条件时，将罚分值设为与通常时相同的值。此时，对通常时生成的景深图进行保存，以保存与拖拽方向近似的边缘信息。
继而，强调图像修正部125对于指定区域内的像素，执行基于式(1)的能量函数的得分值计算处理(步骤E9)。并且，强调图像修正部125对于指定区域内的像素，将得分值达到最大的输入图像判定为合焦的输入图像(步骤E11)。
随后，强调图像修正部125进行修正景深图生成处理(步骤E13)。具体而言，基于步骤E11的判定结果，生成对构成输入图像的各像素分配有与判定为合焦的输入图像相应的位值的景深图，并将其作为修正景深图。
随后，强调图像修正部125进行修正强调图像生成处理(步骤E15)。具体而言，使用在步骤E13中生成的修正景深图，生成对指定区域的像素值进行了修正的强调图像。
继而，强调图像修正部125判定是否由用户紧跟着进行了拖拽操作(步骤E17)，若判定为进行了拖拽操作(步骤E17；是)，则使处理返回步骤E1。另一方面，若判定为未进行拖拽操作(步骤E17；否)，则强调图像修正部125判定是否由用户进行了结束强调图像修正模式的操作(步骤E19)。
若判定为未进行结束强调图像修正模式的操作(步骤E19；否)，则强调图像修正部125使处理返回步骤E17。另一方面，若判定为进行了结束强调图像修正模式的操作(步骤E19；是)，则结束强调图像修正处理。
返回图5，若进行了强调图像修正处理，则处理部10判定是否由用户经由输入部20而选择了摄影模式或图像阅览模式(步骤A37)，若判定为进行了选择(步骤A37；是)，则使处理返回步骤A1。另一方面，若判定为未选择(步骤A37；是)，则处理部10判定是否由用户经由输入部20进行了相机功能的结束操作(步骤A39)。
若判定为未进行相机功能的结束操作(步骤A39；否)，则处理部10使处理返回步骤A27。另一方面，若判定为进行了相机功能的结束操作(步骤A39；是)，则处理部10结束图像处理。
另一方面，若在步骤A1中判定为由用户选择了“图像阅览模式”(步骤A1；图像阅览模式)，则显示控制部127控制显示部30显示存储部80的图像数据集83中存储的全焦点图像的一览(步骤A41)。并且，处理部10按照来自输入部20的用户操作，从一览显示的全焦点图像中选择一个全焦点图像(步骤A43)。
继而，处理部10提取与在步骤A43中选择的全焦点图像相关联地存储在图像数据集83中的缩小景深图(步骤A45)。并且，景深图复原部115进行对所提取的缩小景深图进行复原的缩小景深图复原处理(步骤A47)。存储在图像数据集83中的缩小景深图已被缩小，因而无法直接用作景深图，因此要进行复原，以恢复到原始尺寸。
此处，对缩小景深图进行复原所得的复原景深图因其复原会产生下述问题，即，与全焦点图像中的边缘部分产生偏离。若在该状态下进行前述的强调图像生成处理，则无法正确反映想要强调显示的被摄物，会将背景的一部分包含在合焦区域中，或者相反地使目标被摄物的一部分成为不合焦区域。因而，不适合将复原所得的复原景深图直接用作景深图。因此，景深图修正部117进行对复原景深图进行修正的复原景深图修正处理(步骤A49)。
具体而言，景深图修正部117读出与在步骤A39中提取的缩小景深图相关联地存储的全焦点图像，进行使用该全焦点图像来作为修正用图像的加权平均化处理，以对复原景深图进行修正。此时的加权平均化处理可使用与前述的式(3)相同的式来实现。
此时，在式(3)中，“p”为修正对象像素，“q”是位于修正对象像素附近的附近像素。“G(p，q)”是修正对象像素p与附近像素q之间的距离越近则值越大的函数，例如以高斯函数而给出。而且，“I(p)”是全焦点图像的修正对象像素p处的亮度值，“I(q)”是全焦点图像的附近像素q处的亮度值。并且，“W(I(p)，I(q))”是亮度值“I(p)”与“I(q)”为越近的值则值越大的函数。“D(q)”是景深图中的附近像素q处的值，“D’(p)”表示通过加权平均化而获得的景深图的修正对象像素p处的修正值。在以后的处理中，利用以此方式获得的修正景深图来作为景深图。
另外，也可取代使用全焦点图像作为修正用图像来修正复原景深图，而使用从多个输入图像中选择的输入图像来作为修正用图像而修正复原景深图。此时，例如也可选择多个输入图像中的焦距最接近中间值的输入图像来作为修正用图像。而且，也可使用对从多个输入图像中选择的2个以上的输入图像进行合成所得的合成图像来作为修正用图像而修正复原景深图。
若在步骤A49中进行了复原景深图修正处理，则处理部10使处理移到步骤A25。即，显示控制部127控制显示部30显示在步骤A43中选择的全焦点图像。以后的处理相同。
2-1-2.实验结果
接下来，对于所述处理，表示实际使用图像来进行实验的结果。
图10的(1)、图10的(2)表示对于同一场景改变焦距而拍摄的2幅图像。
图10的(1)是将焦点对准作为近景的兔子玩偶部分而拍摄的输入图像，图10的(2)是将焦点对准作为背景的树木部分而拍摄的输入图像。
对这些输入图像进行对位处理及对比度修正处理，随后进行边缘检测处理，由此而获得的边缘图像分别为图10的(3)及图10的(4)。图10的(3)是通过对图10的(1)的输入图像进行边缘检测处理而获得的边缘图像，由于是将焦点对准兔子玩偶部分而进行摄像，因此兔子玩偶轮廓作为边缘而受到检测。与此相对，图10的(4)是通过对图10的(2)的输入图像进行边缘检测处理而获得的边缘图像，由于是将焦点对准背景的树木部分而进行摄像，因此作为背景的树木的部分的边缘受到检测。
图11的(1)表示使用图10的(3)、图10的(4)所示的2幅边缘图像来进行适当解运算处理而生成的景深图。由于输入图像为2幅，因此以1位来表现景深图。观察该图可知，作为近景的兔子玩偶部分与作为背景的树木部分被适当分离。
图11的(2)表示使用图11的(1)的景深图与2幅输入图像而生成的全焦点图像。观察该图可知，生成了作为近景的兔子玩偶部分与作为背景的树木部分这两者为合焦状态的全焦点图像。
图12的(1)表示在景深图复原处理中复原后的景深图，图12的(2)表示在景深图修正处理中生成的修正景深图。观察该图可知，通过使用选择输入图像来对复原景深图进行加权平均化处理，从而获得了作为近景的兔子玩偶部分与作为背景的树木部分的边界清晰明了的修正景深图。
图13的(1)、图13的(2)、图13的(3)、图13的(4)是表示在强调图像生成处理中生成强调图像的结果的图。图13的(1)表示对全焦点图像一样地实施虚化处理的结果，图13的(2)表示为了强调而将作为前景的兔子玩偶部分合成到图13的(1)的虚化图像中的结果。
观察图13的(2)，但在兔子玩偶的周边产生了如轮廓一般的造成不自然显示的区域。该现象是由于下述原因而产生，即，在兔子玩偶部分与背景的树木部分的边界附近，尽管是不处于要强调显示的景深处的像素，但也会受到处于要强调显示的景深处的像素影响。因此，减小针对作为近景的兔子玩偶部分的权重而对全焦点图像进行虚化处理的结果为图13的(3)。并且，为了强调而将作为前景的兔子玩偶部分合成到该图13的(3)的虚化图像中的结果为图13的(4)。观察该图可知，在图13的(2)中看到的、在兔子玩偶周边产生的如轮廓一般的不自然显示得以消除。
图14的(1)表示将在强调图像生成处理中生成的强调图像示意化，而仅图示出作为前景的兔子玩偶部分的图。通过由用户来轻击兔子玩偶部分，从而在显示部30上显示强调出兔子玩偶部分的强调图像。观察该图可知，兔子的右耳的一部分成为朝内侧缺损般的形状。这是因为，在图12的(1)、图12的(2)所示的景深图中，在兔子玩偶的右耳部分未能适当地推定出景深，导致生成局部不正确的景深图。
当使用前述的能量函数来选择合焦度高的输入图像时，视能量函数中的系数设定，有时无法选择适当的输入图像，其结果，有时在显示的图像中，位于对象焦距处的被摄物部分以外的像素未被虚化而显示出来。
因此，看到在显示的强调图像中，位于对象焦距处的被摄物部分以外的像素未被虚化而显示出来的用户选择强调图像修正模式。并且，在强调图像修正模式中，以描出想要修正的部分的方式来进行拖拽操作。具体而言，在图14的(1)中，用户以描出图像中的区域R1的部分的方式进行拖拽操作。于是，处理部10将区域R1作为指定区域R1，对于指定区域R1内的像素，使能量函数的系数(更具体而言为罚分值)发生变化而进行再计算，通过再计算来修正强调图像。
具体而言，算出拖拽方向与边缘方向的余弦类似度，根据该值来设定罚分值。此处，判定余弦类似度为规定阈值以下，从而判定拖拽方向与边缘方向满足近似条件，结果为，将第1罚分值设为“P1-α”，将第2罚分值设为“P2-d”来进行再计算。即，将罚分值设定得比通常时低来进行再计算。其结果，如前所述，相对于拖拽方向，产生相对地强调边缘的作用，对于指定区域R1，获得景深的分布相对于通常时生成的景深图而被修正得较大的景深图。通过基于该经修正的景深图来修正合成图像，从而缺损的兔子的右耳的边缘部分得到强调/补全，如图14的(2)所示，在显示画面上显示在指定区域R1中兔子玩偶的右耳形状得到适当修正的修正强调图像。
2-1-3.作用效果
根据第1实施例，在智能电话1中，边缘检测部件107从多个输入图像中检测边缘来作为特征，且将检测出的边缘的强度检测为特征量。并且，景深推定部111使用由边缘检测部件107所检测出的边缘的强度，对于对象像素来推定景深，该景深是表示对象像素在多个输入图像中的哪个输入图像中合焦的信息。并且，景深图生成部113基于景深推定部111的推定结果来生成景深图。
更具体而言，输入图像缩小部101将多个输入图像分别缩小，并从缩小后的输入图像中检测边缘。并且，进行使用检测出的边缘强度的适当解运算处理，对于对象像素推定景深，并基于该推定结果来生成景深图。
在景深的推定中，进行规定的适当解运算处理来推定景深，所述规定的适当解运算处理基于作为边缘检测部107的检测结果而获得的、与多个输入图像分别对应的边缘检测图像的边缘强度。在适当解运算处理中，进行得分值运算处理。在该得分值运算处理中，对于对象像素，使用边缘强度来算出成本值并加上得分值，对于该对象像素的附近像素，当使选择的输入图像发生变化时，从得分值中减去罚分值。即，实施抑制，以对于对象像素尽可能选择边缘强度强的输入图像，且对于附近像素尽可能选择焦点近的输入图像。进行此种得分值运算处理，将得分值满足规定的高值条件的输入图像判定为合焦的输入图像，从而能够正确地推定景深。
景深图是对于各坐标的像素，可特别指定该像素在哪个输入图像中合焦(即景深)的信息，并且是可对各输入图像特别指定合焦的像素的坐标(即合焦的区域)的信息。本实施方式中，使用以此方式生成的景深图与多个输入图像来生成全焦点图像，并显示在显示部30上。
显示在显示部30上的全焦点图像根据用户操作而被用于强调图像的生成。具体而言，根据用户针对触摸屏21的轻击操作或拖拽操作来选择一个景深。并且，基于景深图来特别指定所选择的景深的像素，生成强调图像。具体而言，以规定的虚化程度来对全焦点图像进行虚化处理，生成将特定的像素所对应的景深的输入图像的像素值合成到该处理结果图像中而成的强调图像，并显示在显示部30上。由此，可生成将焦点对准由用户所指定的部分的强调图像，以供用户阅览。
而且，强调图像根据用户操作而受到修正。具体而言，景深推定部111在侦测到用户操作时，对于由用户所指定的指定区域中所含的像素来再推定景深。并且，景深图生成部113基于景深的再推定结果来再生成景深图，并基于该再生成的景深图来生成修正强调图像。由此，可对强调图像中的由用户所指定的部分进行修正，以提供与用户的要求相应的修正强调图像。
2-2.第2实施例
第1实施例是将改变焦距而拍摄的多个输入图像缩小，对该缩小的输入图像进行景深推定处理而生成缩小景深图。第2实施例是如下所述的实施例，即：不将多个输入图像缩小而设为原来的大小，对该多个输入图像进行与第1实施例同样的图像处理，而生成景深图。
图15是表示处理部10取代图4及图5的图像处理而执行的第2图像处理中相当于图像处理的图4的部分的流程图。另外，对于与图像处理相同的步骤标注相同的符号。
首先，处理部10对由用户经由输入部20而选择的模式进行判定(步骤A1)。若所选择的模式为“摄影模式”，则处理部10按照用户的快门操作来控制摄像部50对于同一场景改变焦距来拍摄多幅图像(步骤A3)。多个输入图像被存储到图像数据集83中。
随后，对比度修正部105对于存储在图像数据集83中的景深不同的多个输入图像分别进行对位处理(步骤A7)及对比度修正处理(步骤A9)。并且，边缘检测部107对经对比度修正处理修正后的多个输入图像分别进行边缘检测处理(步骤A11)。
随后，焦点分离判定部109对在边缘检测处理中获得的边缘图像分别进行焦点分离判定处理(步骤A13)。并且，景深推定处理使用由焦点分离判定部109判定为焦点被适当分离的边缘图像来进行景深推定处理(步骤A15)。
随后，景深图生成部113进行景深图生成处理(步骤F17)。具体而言，基于景深推定处理的结果，生成对于构成输入图像的各像素分配有与推定为合焦的景深相应的位值的图，并将其作为景深图。另外，生成的景深图只要根据在景深推定处理中使用的输入图像的数量来设定位数即可。例如，若输入图像为3幅～4幅，则只要以2位来表现景深图即可，若输入图像为5幅～8幅，则只要以3位来表现景深图即可。
随后，全焦点图像生成部119进行全焦点图像生成处理(步骤F19)。具体而言，基于在景深图生成处理中获得的景深图，从多个输入图像中提取应选择的像素值，生成全焦点图像，该全焦点图像包含所有像素中合焦度高的输入图像的像素值。所生成的全焦点图像是与多个输入图像相关联地存储在存储部80的图像数据集83中。
随后，景深图缩小部121进行景深图缩小处理(步骤F21)。具体而言，使用规定的缩小方法将在步骤F17中生成的景深图缩小。此时，以在将景深图复原为原始大小时尽可能避免丢失原始的景深图的图像信息的方式，例如将纵横缩小为1/2n(n为1以上的整数)。输入图像的缩小可通过缩减采样等公知的方法来实现。所生成的缩小景深图是与多个输入图像及全焦点图像相关联地存储在存储部80的图像数据集83中。
3.第3实施例
第3实施例是利用与在所述的第1实施例及第2实施例中说明的方法不同的方法来生成景深图的实施例。本实施例中，使用以产生视差的方式使相机位置发生变化而在不同的视点拍摄的多个拍摄图像来生成景深图。将该以产生视差的方式使相机位置发生变化而在不同的视点拍摄图像的方式称作“视差方式”来进行说明。
3-1.景深图的生成流程
图19是在第3实施例中，将处理部10取代图4及图5的图像处理而执行的第3图像处理中相当于图4的部分抽除的流程图。另外，对于与图像处理相同的步骤标注相同的符号，并省略再次说明。
若在步骤A1中判定模式为摄影模式(步骤A1；摄影模式)，则处理部10控制摄像部50改变相机的位置来拍摄不同视点的多幅图像(步骤J3)。本实施例的方法中，为了生成景深图，必须使拍摄目标被摄物所得的拍摄图像产生视差。因此，较佳的是，对用户进行告知，以促使用户改变相机的位置而从多个视点来拍摄目标被摄物。
继而，处理部10输入首先拍摄的拍摄图像来作为基准输入图像(步骤J5)。然后，处理部10对该基准输入图像进行检测多个特征点的特征点检测处理(步骤J7)。作为特征点的检测方法，可适用各种方法，例如可适用：使用哈里斯(Harris)、斯蒂芬斯(Stephens)、普莱思(Plessey)的角点检测算法(corner detection algorithm)等的方法；或者对输入图像实施仿射变换(affine transformation)以检测尺度不变特征转换(Scale InvariantFeature Transform，SIFT)特征的方法等公知的方法。
图20的(1)是表示对基准输入图像检测特征点的结果的图。
该基准输入图像是将作为被摄物的盒子置于桌子上，利用相机从正面视点拍摄该盒子所得的拍摄图像，图像中所示的多个矩形的标记(marker)表示通过进行特征点检测处理而检测出的特征点。观察该图可知，从基准输入图像中检测出了多个特征点。
继而，处理部10输入下个拍摄图像来作为输入图像(步骤J9)。然后，处理部10进行特征点追踪处理(步骤J11)。特征点的追踪例如可适用使用多重分辨率分析的方法。具体而言，使用对于基准输入图像而制作的多重分辨率图像与对于该输入图像而制作的多重分辨率图像，例如从粗糙的分辨率开始依次在相同的分辨率间进行特征点的追踪处理。并且，通过以将输入图像分割成多个块的块单位来使特征点的移动量传播，从而更稳定地追踪特征点。此时，算出在基准输入图像中检测出的各特征点在该输入图像中朝哪个方向移动何种程度，即特征点的移动方向及移动量。
图20的(2)是表示对输入图像检测出特征点的结果的图。
该输入图像是从左视点拍摄与图20的(1)同样被置于桌子上的被摄物所得的拍摄图像。对于该输入图像进行特征点追踪的结果为图20的(3)。在图20的(3)中，各线的起点与终点表示各图像中的特征点的位置，线的颜色表示各特征点的移动方向，线的长度表示各特征点的移动量。观察该图，可知在不同视点处拍摄的拍摄图像中，对应的各特征点移动的情况。
继而，处理部10判定是否提取该输入图像来作为基点输入图像(关键帧(keyframe))(步骤J13)。所谓基点输入图像，是指成功追踪到特征点的图像，例如当在该输入图像中使特征点的移动量传播的结果为，特征点的总体移动量为规定阈值即第1阈值以上(或超过第1阈值)时，提取该输入图像来作为基点输入图像。
若判定为提取该输入图像来作为基点输入图像(步骤J13；是)，则处理部10将该基点输入图像中的特征点的坐标值存储到存储部80中(步骤J15)。而且，若判定为不提取该输入图像来作为基点输入图像(步骤J13；否)，则处理部10使处理移到步骤J17。
继而，处理部10判定是否结束基点输入图像的提取(步骤J17)。例如，在步骤J13中，当特征点的总体移动量达到比第1阈值大的阈值即第2阈值以上(或超过第2阈值)时，判定为结束基点输入图像的提取。即，在特征点的总体移动量大到一定程度的时点，结束基点输入图像的提取。若判定为不结束基点输入图像的提取(步骤J17；否)，则处理部10使处理返回步骤J9。由此，将提取多个输入图像来作为基点输入图像。
若判定为结束基点输入图像的提取(步骤J17；是)，处理部10对于基点输入图像，使用在步骤J15中存储在存储部80中的特征点的坐标值，来推定基础矩阵(FundamentalMatrix)F(步骤J19)。基础矩阵F是如下所述的矩阵，即，基于对极几何(epipolargeometry)，将对2个图像中的投影点的标准化图像坐标之间的关系进行定义的本质矩阵(Essential Matrix)E相似转换成图像的坐标系而成。另外，基础矩阵F及本质矩阵E其自身是公知的，因此对矩阵的要素省略说明。
基础矩阵F是以3×3的矩阵来表示，其要素的数量为9个，但将基础矩阵F的弗罗宾尼斯范数(Frobenius norm)设为“1”，因而实质的未知数的数量为8个。因而，只要获得最低8组特征点的对应点的坐标值，便可求出基础矩阵F。因此，对于基点输入图像的组合，使用在步骤J15中存储在存储部80中的8组以上的特征点的对应点的坐标值，来推定基础矩阵F。并且，例如使用随机采样一致性(RANdom Sampling Consensus，RANSAC)的算法，去除偏离值，且推定适当的基础矩阵F。而且，在适用RANSAC后，将一定误差以内的特征点的全部作为采样数据，使用最小平方法来推定更适当的基础矩阵F。
继而，处理部10将在步骤J19中推定出的基础矩阵F转换成本质矩阵E(步骤J21)。本质矩阵E可通过使相机的内部参数作用于基础矩阵F而求出。另外，本实施例中，设为相机的内部参数为已知的。
随后，处理部10使用在步骤J21中求出的本质矩阵E来算出相机矩阵(步骤J23)。相机矩阵是表示基点输入图像的视点的相对位置关系的矩阵，且是包含表示相机移动的旋转矩阵及平移移动矢量的矩阵。相机矩阵的计算可以说是基点输入图像的视点的相对位置关系的计算。
继而，处理部10进行光束法平差处理(步骤J25)。所谓光束法平差，是指用于从输入图像推定几何学的三维模型参数的方法。光束法平差处理中，基于输入图像间的各特征点的对应关系来算出各特征点的三维坐标。并且，将算出的各特征点的三维坐标再投影到图像面上，反复再推定作为再投影点与特征点的距离而算出的再投影误差，从而推定更正确的特征点的三维坐标值。而且，光束法平差处理中，进行与所述同样的处理来对构成在步骤J23中算出的相机矩阵的参数值进行推定，从而对构成相机矩阵的参数值进行调整。
图21的(1)、图21的(2)、图21的(3)是推定特征点的三维坐标，并从不同的视点观察相同的特征点群时的采样图像。
图21的(1)表示从正面视点观察特征点群时的采样图像，图21的(2)表示从上视点观察特征点群时的采样图像，图21的(3)表示从左视点观察特征点群时的采样图像。观察这些采样图像可知，正确地推定出了特征点的三维坐标，该特征点群对应于各个视点而呈现出不同的分布。
随后，处理部10使用步骤J25的光束法平差处理的结果来生成景深图(步骤J27)。为了生成景深图，必须对各像素分别算出三维空间内的像素的位置坐标。因此，对于作为对象的像素(以下称作“对象像素”)，使用将该对象像素在三维空间内的位置(以下称作“对象像素位置”)投影到基点输入图像上的位置(以下称作“投影像素位置”)、与拍摄基点输入图像时的相机位置，来推定对象像素位置。
首先，使用在光束法平差处理中调整了参数值的相机矩阵、与预先存储在存储部80中的相机的初始位置，来推定拍摄各基点输入图像的相机位置。初始位置可为任意位置，将预定的三维坐标值作为初始位置的坐标值而存储在存储部80中。使用该初始位置与相机矩阵(旋转矩阵及平移移动矢量)，以初始位置为基准来算出拍摄各基点输入图像的相机位置。
另外，初始位置可预先使规定位置存储在存储部80中，但也可并非如此，而是将利用GPS(Global Positioning System)等定位用信号进行定位运算而算出的位置作为初始位置，以进行所述运算。
而且，对于基点输入图像的组合，以像素为单位来算出对应关系。具体而言，使用本质矩阵E，在基点输入图像间，仅对图像上的某图线上进行对应点的探索。更具体而言，使用准全局最佳化的方法，算出在基点输入图像间，基本上颜色相近且与附近像素的对应关系相近的对象像素的对应点的位置。
将如此般对于基点输入图像的组合而算出的对象像素的对应点的位置作为投影像素位置。并且，对于基点输入图像的组合，使用算出的2个相机位置与算出的2个投影像素位置来推定对象像素位置，算出从视点到对象像素位置为止的距离。将所有像素作为对象像素来进行所述处理，生成将对于各像素分别算出的距离作为景深的景深图。
图31是景深图的生成原理的说明图。
在图31中，对于基点输入图像A与基点输入图像B的组合，将拍摄各基点输入图像时的相机位置设为相机位置A及相机位置B，并分别以黑圆点来表示。而且，将1个像素设为对象像素，将使对象像素位置投影在基点输入图像A上的位置设为投影像素位置A，将使对象像素位置投影在基点输入图像B上的位置设为投影像素位置B，并分别以白圆点来表示。
图31中，将连结相机位置A和投影像素位置A的直线、与连结相机位置B和投影像素位置B的直线的交点，推定为对象像素位置。若求出对象像素位置，便可算出从视点到对象像素位置为止的距离，因此求出对于对象像素的景深。将所有像素作为对象像素，以所述方式算出对象像素位置，算出从视点到对象像素位置为止的距离，生成将该距离作为景深的景深图。
以所述方式生成景深图后的后段的处理与前述的第1实施例及第2实施例同样。
3-2.引导显示
所述景深图的生成方法中，为了获得视差，用户必须移动相机来从多个视点拍摄图像。此时，若只是简单地提示用户来移动相机，多数情况下用户并不知晓如何来移动相机才好，从而存在不便的问题。例如，如果只是在一处旋转相机，则不会产生视差，从而无法获得距离信息，因此必须促使用户不要进行此种操作。因此，也可进行如下所述的处理。
处理部10在第1幅拍摄图像的拍摄后，使用户在相机的显示画面上轻击映出有目标被摄物的部分等，以指定被摄物。并且，处理部10进行人检测或物检测来检测被摄物区域，并提示所检测的被摄物区域。例如，使包含被摄物区域的比该被摄物区域稍大的图形(以下称作“被摄物指定图形”)显示在第1幅拍摄图像上。例如，只要使点线或虚线的矩形图形作为被摄物指定图形而显示即可。
继而，显示控制部127使显示部30显示引导显示，该引导显示用于引导用户使自身装置(相机)移动的方向(朝右方向、左方向、上方向、下方向中的哪个方向移动)或用户使自身装置移动的距离(使自身装置移动何种程度才好)。具体而言，将表示使自身装置朝哪个方向移动才好的引导用的箭头(以下称作“引导箭头”)或用于将用户导向目标摄影位置的引导用的图形(以下称作“引导图形”)作为引导显示而显示在显示部30上。例如，引导图形是与确认画面共同的形状及尺寸，用户可掌握需要以预览(preview)画面与引导图形吻合的方式来移动相机的操作。
此处，所谓确认画面，是指当以摄影模式来启动相机时，基于从摄像部50(摄像器件)输出的信号而映出在显示部30上的画面，确认画面的图像根据来自摄像器件的输出信号来更新。即，在确认画面上显示有拍摄对象的图像并实时更新。摄影者通过观察确认画面，能够确认被摄物的摄像状态，在进行摄影时，能够确认目标被摄物是否被适当地映出，或者决定从哪个位置或哪个角度来进行摄影。
此处，应使被摄物移动的方向只要是产生视差的方向即可，例如可为垂直方向或者水平方向中的任一种。然而，较佳地为在相机的重力方向为基准的上方向移动。具体而言，使相机向水平方向或是下方向移动的情况，在移动前存在于移动前相机的视野中的、位于与移动方向的相反方向的被摄物部分的资讯(被摄物的侧面或上面的资料)，在移动后被摄物自身成为阴影而从视野中消失，发生了所谓的遮蔽现象(occlusion)。结果，在产生景深图时成为必要的对应点从移动后的图像中消失了。相反地，在朝上方向移动的情况，由于被摄物被放置在地面、地板、桌子上等，在移动前的相机的视野中被摄物的底面的资讯少，即使相机移动后成为影子的区域也小。因此，遮蔽现象的发生被抑制，相较于被摄物自身成为阴影的情况不会遗漏多个对应点。此外，在处理部10的上方向的检测由于可基于由惯性传感器75进行的重力方向的检测来实现，因此无论相机的摄影角度(确认画面的显示方向)如何，均可引导朝向上方向的移动。
在第1幅拍摄图像存储后，处理部10跟踪(tracking)所检测出的被摄物区域以使被摄物指定图形追随于该被摄物区域，并且根据自身装置的移动来使引导显示的显示发生变化。此处，根据自身装置的移动，自身装置的移动距离及移动方向从当初的摄影位置开始发生变化。因此，作为自身装置的移动各量，例如对自身装置的移动距离及移动方向进行检测，并基于该检测结果来使显示部30的引导显示的显示发生变化。
惯性传感器75中包含三轴的加速度传感器及三轴的陀螺仪传感器，以传感器为基准的局部坐标系中的三轴的加速度矢量及三轴的角速度矢量被输出至处理部10。处理部10对从惯性传感器75输出的三轴的角速度矢量进行积分而算出相机的姿势，并基于算出的姿势，将局部坐标系中的三轴的加速度矢量坐标转换成例如以地球为基准的绝对坐标系中的三轴的加速度矢量。并且，处理部10对坐标转换后的三轴的加速度矢量进行积分而算出三轴的速度矢量。处理部10以规定的时间间隔来进行该处理，基于在该时间间隔中算出的三轴的速度矢量，来算出各时间间隔内的自身装置的移动距离及移动方向。
处理部10基于算出的相机的移动方向，来判定使显示画面的引导图形朝哪个方向移动(引导图形的移动方向)。而且，处理部10基于算出的相机的移动距离，来判定使显示画面的引导图形移动多少(引导图形的移动量)。并且，基于判定出的移动方向及移动量来使引导图形的显示发生变化。
此处，在将被摄物上的特定的特征点作为对象的情况下，对于该特征点产生一定的视差所需的移动距离根据到被摄物为止的距离(例如焦距)而变长。因此，只要根据到被摄物为止的距离来使引导图形的更新条件不同即可。例如，在焦距为规定距离以上时基于一定距离X的移动的引导图形在画面上的移动幅度A、与焦距小于规定距离时基于一定距离X的移动的引导图形在画面上的移动幅度B的关系上，以A＜B的方式来使引导图形的移动幅度不同即可。
图22的(1)、图22的(2)、图22的(3)、图22的(4)是表示此时的引导显示的一例的图。
图22的(1)、图22的(2)、图22的(3)、图22的(4)中，表示了具备图像处理装置的电子设备的一例即智能电话1的显示画面。由外框围成的整个区域表示智能电话1的显示画面，在显示画面的中央部，显示有前述的确认画面。
图22的(1)表示从正面视点拍摄被摄物的拍摄图像。当摄像部50的摄像结束而第1幅拍摄图像被保存时，再次显示确认画面。当用户在该确认画面上轻击作为被摄物的儿童的显示部分时，如图22的(1)所示，显示出包围2个儿童的虚线的矩形图形即被摄物指定图形。
继而，作为引导显示，例如图22的(2)为显示有表示使相机朝水平方向(此处为右方向)移动的矩形图形的状态。观察该图，显示有表示使相机朝用户观察时的右方向移动的右方向的引导箭头。而且，与确认画面为相同尺寸的矩形的引导图形以突出到确认画面的右框外的方式而显示。用户按照该引导箭头及引导图形，一边注意将被摄物维持在确认画面的中央，一边持相机朝右方向移动。
随后，当朝右方向移动时，如上所述般由处理部10来判定引导显示的移动方向及移动量，使引导图形的显示位置朝向与智能电话1的移动方向相反的方向，变更与智能电话1的移动距离相应的移动量。具体而言，如图22的(3)所示，伴随用户朝右方向移动，显示中的引导图形朝画面左方向移动。
最终，如图22的(4)所示，当通过用户的移动而引导图形与确认画面吻合时(当判定为引导图像的轮廓与确认画面的轮廓吻合时)，处理部10识别出用户的移动已完成，在该位置由摄像部50自动进行摄像，获取在与第1幅拍摄图像的关系上具有视差的第2幅拍摄图像。
另外，图1的惯性传感器中所含的加速度传感器及陀螺仪传感器也可为将加速度传感器及陀螺仪传感器封装(package)化的惯性计测单元IMU(Inertial MeasurementUnit)。
而且，所述中，基于由惯性传感器或惯性计测单元检测出的加速度矢量或角速度矢量来检测自身装置的移动各量，但除此以外，例如也可在图像处理装置中内置GPS单元等利用从定位用卫星发送的定位用信号来进行定位运算的单元，基于该传感器的检测结果来检测移动各量。在GPS中，可基于从GPS卫星发送的GPS卫星信号，进行利用虚拟距离或多普勒(Doppler)频率的定位运算(虚拟距离定位、多普勒定位)，算出自身装置的位置。也可基于通过该定位运算求出的定位位置的差值来检测自身装置的移动速度或移动方向。而且，在GPS中，也可进行利用多普勒频率的速度矢量运算，而算出自身装置的速度矢量。也可根据以此方式算出的速度矢量来检测自身装置的移动距离及移动方向。
而且，也可取代惯性传感器75，而在图像处理装置中具备惯性导航装置INS(Inertial Navigation System)，通过该惯性导航装置来检测图像处理装置的移动距离及移动方向，所述惯性导航装置INS进行惯性导航运算而独立地检测移动距离及移动方向。
而且，除了如上所述般检测自身装置的移动各量(移动方向或移动距离)，并基于该检测结果来使引导显示的显示发生变化以外，例如也可基于在第3图像处理(参照图19)的步骤J11中的特征点追踪处理中追踪特征点的结果，来使引导显示的显示发生变化。即，也可在特征点追踪处理中追踪特征点，结果判定特征点朝哪个方向移动多少(特征点的移动方向及移动距离)，并基于该判定结果来决定使显示画面的引导图形朝哪个方向移动多少(引导图形的移动方向及移动量)，以使引导图形的显示发生变化。
4.第4实施例
4-1.通过用户操作进行默认(default)合焦位置的设定
所述实施例中，对下述情况进行了说明，即：在生成全焦点图像后，在强调图像生成模式中执行的强调图像生成处理中，用户从全焦点图像中指定要强调的区域，生成使该指定区域中所含的像素合焦的强调图像。但是，在该方法中，为了生成用户所需的图像，在摄像部50的摄像后，用户每次都必须指定想要强调的区域，从而存在不便的问题。
因此，也可在摄像部50的摄像前，使用户可指定默认的合焦位置(以下称作“默认合焦位置”)。具体而言，用户也可在确认画面上，进行轻击显示画面的轻击操作等，从而指定默认合焦位置。
图23是将此时处理部10取代图4及图5的图像处理而执行的第4图像处理中与图像处理的图4对应的部分抽除的流程图。另外，对于与图像处理相同的步骤标注相同的符号，并省略再次说明。
处理部10若判定模式是摄影模式(步骤A1)，则判定是否侦测到轻击操作(步骤G3)。若判定为侦测到轻击操作(步骤G3；是)，则处理部10基于指定区域来决定代表像素(步骤G5)。指定区域是由用户所轻击的区域，处理部10与所述实施例同样地，从该指定区域中选择一个像素来作为代表像素。作为此时的代表像素的选择方法，例如可选择最接近指定区域的中心位置的像素、或像素值最接近指定区域中所含的像素的像素值的平均值的像素，来作为代表像素。并且，处理部10将决定的代表像素存储到存储部80中(步骤G7)。
继而，处理部10判定摄像条件是否成立(步骤G9)。具体而言，将下述等条件作为摄像条件，当这些摄像条件中的任一个条件成立时，使摄像部50执行摄像，所述条件为：(1)侦测到步骤G3中的轻击操作；(2)侦测到步骤G3中的轻击操作后，侦测到摄影按钮的按下操作；(3)侦测到步骤G3中的轻击操作后，手指未离开该轻击位置而经过了一定时间(例如5秒)以上的时间(长按操作的侦测)；及(4)侦测到步骤G3中的轻击操作后，侦测到再次轻击相同位置的操作(双击操作的侦测)。
若判定为摄像条件不成立(步骤G9；否)，则处理部10使处理返回步骤G3。若判定为摄像条件成立(步骤G9；是)，则处理部10进行使摄像部50改变焦距来拍摄多幅图像的摄像处理(步骤G11)。然后，处理部10使处理移到步骤A5。
图24是表示在第4图像处理中，处理部10取代图8的强调图像生成处理而执行的第3强调图像生成处理的流程的一例的流程图。另外，对于与强调图像生成处理相同的步骤标注相同的符号，并省略再次说明。
处理部10从存储部80中读出在步骤G7中存储的代表像素(步骤J1)。并且，处理部10基于存储在存储部80中的景深图，判定所读出的代表像素的景深(步骤J3)。然后，处理部10使处理移到步骤D7。
另外，在所述的第4图像处理中，用户在指定默认合焦位置时，也可使用光标(cursor)等来进行以像素为单位的合焦位置的指定。而且，也可通过用户进行用手指来圈住整个被摄物的操作，从而使以被摄物为单位的合焦位置的指定成为可能。
而且，也可不在步骤G5中进行决定代表像素的处理，例如首先按照用户操作(例如针对触摸屏的轻击操作)来决定指定区域，随后使摄像部50进行摄像，在摄像后，在起初决定的指定区域中所含的像素(及对应的景深)中，特别指定包含得最多的景深的像素，生成使对于该景深而特别指定的像素合焦的强调图像。即，也可不决定代表像素，而是从由用户所指定的指定区域中决定合焦的景深。
而且，步骤G11中的摄像处理也可设为如下处理，即：与第3实施例中说明的第3图像处理的步骤J3中的摄像同样地，让用户改变相机的位置，以使摄像部50从多个视点拍摄目标被摄物。
4-2.通过脸检测/人检测来设定默认合焦位置
在所述处理中，当设定默认合焦位置时，也可对在确认画面上作为被摄物而映出的人物或该人物的脸进行检测，将检测出的人物或脸设为默认的合焦位置，进行与所述同样的处理，从而生成强调图像。而且，也可在拍摄图像后，对在显示输入图像的输入图像显示画面上作为被摄物而映出的人物或该人物的脸进行检测，将检测出的人物或脸设为默认的合焦位置，进行与所述同样的处理，从而生成强调图像。
5.第5实施例
5-1.通过图形来指定区域
在所述实施例中，当想要使焦点对准目标被摄物时，若在与该目标被摄物为同程度的纵深距离上存在不同的被摄物，则对于该被摄物也会生成对好焦的图像。因而，存在如下问题，即：当在与目标被摄物为同程度的纵深距离处发生用户未意图的被摄物的映入时，无法将焦点仅对准目标被摄物，并通过虚化处理来将未意图地映入的被摄物虚化。
因此，例如也可在拍摄后的预览显示有输入图像的显示画面上，显示以由用户所轻击的点为中心的圆形或椭圆形、矩形的图形(以下称作“区域指定用图形”)，使该区域指定用图形的大小动态地变化，从而使用户可指定不希望通过虚化处理来虚化的区域。
图25的(1)、图25的(2)是表示此时的区域指定用图形的一例的图。
图25的(1)、图25的(2)中，作为输入图像，表示了在中央部显示有作为目标被摄物的马克杯的图像。在该输入图像上，在图像的右边界部，映出有用户未意图的被摄物即纸杯的一部分。用户操作区域指定用图形来指定马克杯的图像部分，以强调作为目标被摄物的马克杯的图像部分，而将未意图的被摄物即纸杯的图像部分虚化。
具体而言，如图25的(1)所示，当侦测到由用户轻击了作为目标被摄物的马克杯的图像部分时，显示控制部127例如使椭圆形的区域指定用图形显示在轻击位置处。此时显示的区域指定用图形的尺寸只要设为预先规定的尺寸即可，图25的(1)中表示在马克杯的中央部显示有尺寸相对较小的区域指定用图形的状态。区域指定用图形可通过使用两根手指的缩放操作来变更其尺寸，通过外扩操作来使区域指定用图形的尺寸放大，通过内缩操作来使区域指定用图形的尺寸缩小。
如图25的(2)所示，当用户利用两根手指来对区域指定用图形进行外扩操作时，区域指定用图形的尺寸放大。并且，用户通过外扩操作来调整区域指定用图形的尺寸或形状，以由区域指定用图形来覆盖整个马克杯。并且，用户进行按下确定按钮等确定操作，从而确定要强调显示的区域。
此时，处理部10在强调图像生成处理中侦测到确定操作后，将由区域指定用图形围成的区域设为指定区域。并且，对于该指定区域，例如特别指定该指定区域中所含的各像素的景深中最多的像素所属的景深，在景深图上使属于该特定景深(或该特定景深与规定范围内的景深)内的像素合焦，而对其他像素进行虚化处理而使其不合焦。而且，对于未包含在指定区域中的区域，也同样进行虚化处理而使其不合焦。此时的虚化处理中，例如当在实施虚化处理的区域中映入有被摄物时，只要以该被摄物与其周围的背景区域的纵深距离变得大致相等的方式来改换景深图的景深，基于改换后的景深图来实施虚化处理等即可。
另外，对于进行虚化处理的区域，也可根据从所述合焦区域的景深算起的景深差、或从由用户所轻击的位置算起的距离，来变更虚化程度。例如，也可为：在未包含在指定区域中的区域中，从合焦区域算起的景深差越大的区域，则使虚化程度越高来进行虚化处理。而且，也可为：在未包含在指定区域中的区域中，从轻击位置算起的距离越远的区域，使虚化程度越高来进行虚化处理。此时，也可为：对于从合焦区域算起的景深差相等的区域、或者从轻击位置的中心位置算起的距离相等的区域，将虚化程度设为相同的值来进行虚化处理。
而且，区域指定用图形的操作方法并不限于所述，例如也可利用第1次轻击操作来显示区域指定用图形，并通过重复轻击所显示的区域指定用图形的操作，来阶段性地放大区域指定用图形的大小。而且，也可基于进行轻击操作后不使手指离开而持续进行轻击操作的时间来进行，该时间越长，则越放大区域指定用图形的大小。
而且，除了通过用户的缩放操作(外扩操作/内缩操作)来放大/缩小区域指定用图形的尺寸以外，例如还可进行由用户来轻击指定用图形的外缘部分，以使外缘朝外侧扩大或朝内侧缩小的操作，从而可使区域指定用图形的形状发生变化。
而且，也可根据从区域指定用图形的中心算起的距离或面积，来变更虚化处理中的虚化程度。具体而言，也可为：从区域指定用图形的中心算起的距离越长，或者区域指定用图形的面积越大，则使虚化程度越大。
而且，也可并非如上所述般使用区域指定用图形来指定想要强调的区域，而是由用户通过拖拽操作及放开(drop)操作来进行涂满所需区域的操作，以指定不想虚化的区域，但省略该图示。
5-2.通过用户操作来变更虚化程度
而且，在如上所述般对于想要强调的区域以外的区域实施虚化处理的情况下，也可通过用户操作来调整使对象区域虚化的程度。具体而言，例如也可根据针对显示画面的缩放操作来变更虚化处理中的虚化程度，以实施虚化处理。
具体而言，例如在显示有全焦点图像的显示画面上，让用户通过缩放操作来指定要强调显示的区域。此时，例如也可算出通过缩放操作而接触的两根手指的中心位置，将由在景深图上与所算出的中心位置的像素为相同景深的像素构成的区域设定为合焦对象区域，对于合焦对象区域以外的区域，设定为作为虚化处理对象的虚化对象区域，对该虚化对象区域进行虚化处理。
此时，根据用户的缩放操作来变更虚化处理中的虚化程度，进行针对虚化对象区域的虚化处理。具体而言，当进行了外扩操作时，阶段性地提高虚化程度，进行针对虚化对象区域的虚化处理。而且，当进行了内缩操作时，根据该内缩操作来阶段性地降低虚化程度，进行针对虚化对象区域的虚化处理。
图26的(1)、图26的(2)是表示此时的虚化处理的一例的图。
在图26的(1)、图26的(2)中，表示了映出有包含玩具车及布偶的多个被摄物的全焦点图像。在该图像中，考虑将玩具车设为目标被摄物，而将除此以外的被摄物或背景虚化的情况。此时，如图26的(1)所示，当用户轻击玩具车的图像区域，并用两根手指来进行外扩操作时，处理部10根据两根手指的间隔(两根手指所接触的两点的坐标间隔)的扩大，来阶段性地提高虚化程度，进行针对玩具车的图像部分以外的图像区域的虚化处理。其结果，如图26的(2)所示，生成清晰地显示出玩具车的图像区域，而除此以外的图像区域被虚化的图像。
另一方面，在图26的(2)中，当用户利用两根手指来对玩具车的图像区域进行内缩操作时，处理部10根据两根手指的间隔(两根手指所接触的两点的坐标间隔)的缩窄，来阶段性地降低虚化程度，进行针对玩具车以外的图像区域的虚化处理。其结果，逐渐恢复到图26的(1)的显示状态。
而且，在变更所述虚化程度的情况下，也能以由在景深图上处于相同景深的像素构成的区域为单位，独立地设定虚化程度，以进行虚化处理。具体而言，将在缩放操作中接触到画面的两根手指的中心位置的景深作为基准景深，对于由处于基准景深的像素构成的区域，以规定的基准虚化程度来进行虚化处理，或者不对该区域进行虚化处理。而且，也可从基准景深起，按照景深变近的顺序来设定区域，越是由景深远离基准景深的像素构成的区域，则越从所述基准虚化程度阶段性地提高虚化程度等。
例如，在通过外扩操作来提高虚化程度的情况下，将由景深相同的像素构成的区域按照焦距变近的顺序设为区域A～区域D。此时，当在缩放操作中接触到画面的两根手指的中心位置的像素包含在区域B中时，也可对于区域B将虚化程度设定为20％，对于区域A及区域C将虚化程度设定为50％，对于区域D将虚化程度设定为80％，对于各区域，分别对该区域中所含的全像素以对应的虚化程度来进行虚化处理。
换言之，也可以说这带有通过内缩操作来减弱虚化程度的效果。其原因在于，例如当默认将各区域的虚化程度设定为100％时，在所述情况下，对于区域B使虚化程度为100％→20％，由此大幅减弱虚化的程度，对于区域A及区域C使虚化程度为100％→50％，由此将虚化的程度减弱至一半，对于区域D使虚化程度为100％→80％，由此稍许减弱虚化的程度。另外，此时也可对于区域D不降低虚化程度而设为100％，由此使生成的强调图像呈现出对比度。
另外，并不限于如上所述般，当在映出有目标被摄物的区域中进行内缩操作时阶段性地降低虚化程度来进行虚化处理，也可为当在图像中的任意区域内进行内缩操作时，阶段性地降低虚化程度来进行虚化处理。而且，也可为当在图像中的任意区域内进行外扩操作而非内缩操作时，阶段性地降低虚化程度来进行虚化处理。
6.第6实施例
为了能够对于任意焦距范围来合焦而自由地生成图像，也可在输出图像的生成时或输出图像生成后的编辑画面上，在输出图像或输出图像的外侧显示用于供用户指定焦距范围的焦距滑块，以使用户能够指定任意的焦距范围。另外，在本实施例中，焦距与景深为一一对应。
图27的(1)、图27的(2)、图27的(3)是表示焦距滑块(其为焦距显示图像，可视为调整器图像)的一例的图。
图27的(1)、图27的(2)、图27的(3)中，表示了兔子玩偶作为前景显示在中心部，而树木及建筑物作为背景而显示的输出图像的一例。而且，在输出图像的左下部，显示有以横向的滚动条(bar)表示的焦距滑块S1。焦距滑块S1意味着：越往左侧则焦距越近(near)，越往右侧则焦距越远(far)。
在焦距滑块S1上，用于供用户指定焦距下限的朝右的三角形状的下限指定用图标、与用于供用户指定焦距上限的朝左的三角形状的上限指定用图标显示在焦距滑块S1的滚动条上，用户通过拖拽操作来使这些图标左右移动，从而用户能够指定任意的焦距范围。
当使焦距范围发生变化时，处理部10参照存储部80中存储的景深图，来特别指定与所指定的焦距范围对应的景深的像素。并且，生成使所特别指定的像素合焦而使除此以外的像素不合焦的图像。另外，对于不合焦的像素，较佳的是，该像素的焦距越远离所指定的焦距范围，则越提高虚化程度来进行虚化处理等。借此，将生成如下所述的图像，即，对于由未包含在所指定的焦距范围内的像素构成的区域，随着焦距远离所指定的焦距范围，虚化的程度变强，无不协调感且自然。
如图27的(1)所示，当使焦距滑块S1的焦距范围朝焦距近的一侧(前景侧)变化时，生成作为前景的兔子玩偶得到强调而作为背景的树木及建筑物被虚化的图像。另一方面，如图27的(2)所示，当使焦距滑块S1的焦距范围朝焦距远的一侧(背景侧)变化时，生成作为背景的树木及建筑物得到强调而作为前景的兔子玩偶被虚化的图像。
而且，当侦测到用户的轻击操作时，也可基于景深图来判定与轻击位置的附近规定范围中所含的像素的焦距对应的景深，并使所判定的景深反映至焦距滑块S1中的焦距范围内。
例如，如图27的(3)所示，当由用户来轻击作为背景的树木部分时，将以该轻击位置为中心的规定半径的圆中所含的像素作为附近范围像素，对该附近范围像素的景深中的最小景深及最大景深进行判定。并且，也能以与所判定的最小景深及最大景深对应的方式来使焦距滑块S1上的下限指定用图标及上限指定用图标的显示位置自动移动。
而且，在强调图像生成处理中，当用户轻击图像上的任意位置而生成使处于与该位置相同的焦距处的像素合焦而使处于其他焦距处的像素不合焦的强调图像时，为了向用户展示哪个像素将合焦(或哪个像素将不合焦)，也可进行将处于与轻击位置相同的焦距处的像素与处于其他焦距处的像素区别开来的显示。
具体而言，处理部10对用户的轻击位置处所含的像素进行判定。此时，例如处理部10特别指定位于轻击位置中心的像素，将其作为处理对象像素。并且，处理部10参照景深图来推定与处理对象像素为相同焦距的像素，使这些像素闪烁显示等，以使用户能够与其他像素区别开来。
图28的(1)、图28的(2)是表示此时的图像的区别显示的一例的图，表示了兔子玩偶作为前景显示在中心部，而树木及建筑物作为背景而显示的输出图像的一例。
如图28的(1)所示，当用户轻击作为前景的兔子玩偶的躯体部分时，判定出与轻击位置对应的像素，而使处于相同焦距处的像素闪烁显示。为了简化说明，若假设构成兔子玩偶的像素的焦距全部相同，则如图28的(1)所示，将构成兔子玩偶的像素设为区别显示的对象，使兔子玩偶的图像部分闪烁显示。
而且，如图28的(2)所示，当用户轻击作为背景的树木部分时，判定出与轻击位置对应的像素，而使处于相同焦距处的像素闪烁显示。为了简化说明，若假设构成作为背景的树木及建筑物的像素的焦距全部相同，则如图28的(2)所示，将构成作为背景的树木的像素设为区别显示的对象，使背景的图像部分闪烁显示。
另外，作为所述的区别显示，也可使处于相同焦距的像素以与除此以外的像素不同的颜色来半透明地显示，或者以不同的颜色来涂满并显示，或者施以规定的花纹或影线(hatching)等，以实现处于相同焦距的像素的区别显示。
7.第7实施例
在所述的实施例中，在由摄像部50进行摄像之后，直至在强调图像生成处理中生成强调图像为止需要一定的时间。在此期间，用户只能等待，因而没有效率，因此在强调图像生成处理中，也可夹着使用户指定哪个图像部分合焦/不合焦的处理。
具体而言，进行如下处理，即，将以不同的焦距拍摄的多个拍摄图像作为输入图像，例如检测边缘作为这些输入图像的特征。并且，对于各输入图像，分别生成通过将该输入图像与对于该输入图像而生成的边缘图像以像素为单位来相乘而获得的图像(以下称作“积图像”)，将该积图像作为参照用图像，按照焦距变近的顺序(或变远的顺序)来依次显示。循环一圈后，重复该显示。
用户阅览依次显示的积图像，当显示出清晰地显示有想要合焦的被摄物的积图像时，进行用于选择该图像的选择操作(例如轻击操作)。此时，对与通过用户的选择操作而选择的积图像对应的输入图像进行特别指定，生成使处于该输入图像的焦距处的像素合焦而使除此以外的像素不合焦的图像并予以显示。
图29是表示此时处理部10取代图8的强调图像生成处理而执行的第4强调图像生成处理的流程的一例的流程图。
首先，处理部10进行积图像生成处理(步骤K1)。具体而言，对于多个输入图像，分别生成积图像，该积图像是算出该输入图像、与在步骤A11的边缘检测处理中对于该输入图像而获得的边缘图像之积所得。
另外，输入图像与边缘图像的积图像有时亮度会变低，因此较佳的是，对于生成的积图像进行提高亮度的处理。
继而，显示控制部127进行使起初的积图像显示在显示部30上的控制(步骤K3)。具体而言，例如使与焦距最短的输入图像对应的积图像、或者与焦距最长的输入图像对应的积图像显示在显示部30上。
随后，处理部10判定是否进行了针对触摸屏21的轻击操作(步骤K5)，若判定为未进行(步骤K5；否)，则判定从起初的积图像的显示开始后是否经过了规定时间(例如1分钟)(步骤K7)。
若判定为尚未经过规定时间(步骤K7；否)，则显示控制部127控制显示部30显示接下来的积图像(步骤K9)。并且，处理部10使处理返回步骤K5。
另一方面，若判定为进行了轻击操作(步骤K5；是)，则处理部10特别指定与该积图像对应的输入图像的焦距(步骤K11)。并且，强调图像生成部123生成强调图像(步骤K13)。具体而言，若景深图已生成并已存储到存储部80中，则基于存储在存储部80中的景深图来生成强调图像，该强调图像使与在步骤K11中特别指定的焦距对应的景深的像素合焦，而对除此以外的像素实施虚化处理以使其不合焦。若景深图尚未生成，则待机至景深图生成为止。
继而，显示控制部127控制显示部30显示所生成的强调图像(步骤K15)。并且，处理部10结束第4强调图像生成处理。
另一方面，若在步骤K7中判定为经过了规定时间(步骤K7；是)，则处理部10对默认输入图像的焦距进行特别指定(步骤K17)。此处，默认输入图像例如可采用焦距最短的输入图像或焦距最长的输入图像。并且，处理部10将处理移到步骤K13。
根据所述处理，根据用户的喜好来决定使哪个焦距合焦，因此难以自动决定要合焦的位置，但通过在强调图像生成处理的执行过程中使用户指定要合焦的位置，从而能够消除该问题。而且，也能够消除在强调图像生成处理的执行过程中仅让用户等待的没有效率的问题。
另外，也可省略步骤K1的积图像生成处理，而在步骤K3中，显示控制部127例如使由摄像部50拍摄的多个输入图像作为参照用图像而依次显示。而且，也可使对于由摄像部50拍摄的多个输入图像分别检测出特征(例如边缘)而得的特征检测图像、或对多个输入图像分别进行了对比度修正而得的对比度修正图像等图像，作为参照用图像而依次显示。
8.第8实施例
第8实施例设想输入图像产生了过曝的情况，是与对过曝区域发挥效果的虚化处理(以下称作“过曝效果虚化处理”)相关的实施例。优选的是，在包含过曝的区域中，以对应于光的强度而膨胀的方式来实施虚化。但是，当使用进行简单的卷积运算(空间性的加权平均)的滤波器，来进行针对包含过曝区域的输入图像的虚化处理时，会获得与现实世界背离的不自然的虚化结果的图像。
此处，通常的虚化处理以下述式(5)而给出。
[数5]
I′(x)＝∑w(n)*I(x+n)/∑w(n)…(5)
其中，“x”表示像素，“I(x)”表示虚化对象图像的像素x的像素值，“I′(x)”表示虚化图像的像素x的像素值，“w(n)”表示空间性的权重(虚化核函数(kernel))，“n”表示像素x的附近像素。
对于过曝区域，存在原本的光的强度不明的问题。由于以8位来表示的灰阶值已饱和，因而原本灰阶值为256以上的像素的灰阶值会被修正为255。即，当将“L(x)”设为像素x处的光的强度时，设“I(x)＝min(L(x)，255)”来算出像素值。因此，当使用式(5)来进行虚化处理时，会不当地加权平均得较低。其结果，过曝区域不会产生膨胀。
因此，本实施例中，按照下述式(6)及式(7)来进行虚化处理。
[数6]
L′(x)＝∑w(n)*L(x+n)/∑w(n)…(6)
[数7]
I′(x)＝min(L′(x)，255)…(7)
即，并不使用饱和的像素值来进行加权平均，而是进行针对光强度的加权平均，使用以该加权平均求出的光的强度来修正输入图像的像素值，从而获得虚化结果的图像的像素值。
而且，作为用于避免所述问题的其他方法，可考虑对过曝区域设定大的权重来对像素值进行加权平均。具体而言，例如按照下述式(8)来进行加权平均。
[数8]
I′(x)＝∑w2(I(x+n))*w(n)*I(x+n)/∑w(n)*w2(I(x+n))…(8)
在式(8)中，“w2”为针对过曝区域的权重，越是过曝区域中所含的像素值，可设定越大的值。具体而言，例如可按照下述式(9)～式(11)中的任一式来算出并设定权重“w2”。
[数9]
w2(p)＝max(1，p-240)…(9)
[数10]
w2(p)＝p＞240？10：1…(10)
[数11]
w2(p)＝exp(-(p-255)2/s)…(11)
其中，式(11)中的“s”为适当的参数值。
图32是表示此时处理部10所执行的过曝效果虚化处理的流程的一例的流程图。
首先，处理部10输入作为处理对象的图像即处理对象图像(步骤L1)。然后，处理部10进行从输入的处理对象图像中检测过曝区域的过曝区域检测处理(步骤L3)。
继而，处理部10以像素为单位来设定过曝区域用的权重“w2”(步骤L5)。具体而言，按照式(9)～式(11)中的任一式，对于各像素分别算出并设定过曝区域用的权重“w2”。
继而，处理部10使用在步骤L5中设定的过曝区域用的权重“w2”与处理对象像素的像素值“I”，按照式(8)来进行针对处理对象图像的像素值“I”的加权平均运算，获得包含经修正的像素值“I′”的虚化结果的图像(步骤L7)。然后，处理部10结束过曝效果虚化处理。
另外，在所述的过曝效果虚化处理中，为了进行更现实的虚化，也可适用基于越往过曝区域的中央则光的强度越大这一假设的模型，以进行虚化处理。例如，也可根据从过曝区域与非过曝区域的边界算起的距离，来将过曝区域用的权重“w2”设定得较大。具体而言，也可进行使用公知的边界检测方法来对过曝区域与非过曝区域的边界进行检测的处理，对于该过曝区域中所含的像素，像素的位置从检测出的边界算起的距离越长，则对过曝区域用的权重“w2”设定越大的值，从而进行针对像素值“I”的加权平均运算。
而且，除了所述的过曝效果虚化处理以外，例如也可利用与基准图像为相同视角的低曝光图像来推定过曝区域的真实像素值，使用该推定出的像素值来进行虚化处理。
在过曝区域的真实像素值的推定中，可使用各种方法。具体而言，例如将作为虚化基准的基准图像与低曝光图像这2幅图像的对应的2点(但过曝区域除外)的像素值，适用于由前述的“y＝a/xb”表示的曝光转换函数，通过最小平方法，算出曝光转换函数中所含的曝光转换参数(a，b)的值。并且，使用算出的曝光转换参数(a、b)的值，来对低曝光图像的像素值进行转换，从而推定过曝区域的真实像素值。
关于将所述过曝考虑在内的各种虚化处理，例如可将通过第1实施例或第2实施例中说明般的使焦点位置错开而获取多幅图像的聚焦包围(focus bracket)方式而拍摄的多个拍摄图像(输入图像)、或通过第3实施例中说明般的视差方式而拍摄的多个拍摄图像(输入图像)适用作处理对象图像。
即，作为用于执行在所述各种实施例中说明的图像处理的图像处理程序的子程序，将用于执行所述过曝效果虚化处理的过曝效果虚化处理程序预先存储到存储部80中，在处理部10按照图像处理程序而执行的图像处理中，读出并执行过曝效果虚化处理程序，由此，能够对以各种方式拍摄的图像来实现将过曝考虑在内的有效的虚化。
9.变形例
当然，可适用本发明的实施例并不限定于所述实施例，可在不脱离本发明的主旨的范围内进行适当变更。以下，对变形例进行说明，但对于与所述实施例相同的结构标注相同的符号，并省略再次说明。
9-1.图像处理装置
所述实施方式中，对将图像处理装置设为智能电话时的实施方式进行了说明，但可适用作图像处理装置的电子设备并不限于智能电话。例如，当然也可将相机或数字相机(digital camera)、输入板(tablet)终端、个人数字助理(Personal Digital Assistant，PDA)等电子设备适用作图像处理装置。只要是具备摄像部的电子设备，便可在各种电子设备中适用本发明的图像处理装置。
而且，例如用户也可基于在图像处理装置中显示在显示部上的景深图或全焦点图像来选择景深，使基于所选择的景深而生成的强调图像显示在规定的信息处理装置的显示部上。具体而言，例如用户对手边的智能电话与个人计算机进行通信连接。然后，用户基于显示在智能电话的显示器(display)上的景深图或全焦点图像来选择景深。智能电话基于由用户所选择的景深来生成强调图像，并将该强调图像发送至个人计算机。个人计算机使从智能电话收到的强调图像显示在显示器上，用户在个人计算机的显示画面上确认强调图像。
另外，此时，也可从智能电话将一整套图像数据发送至个人计算机，由个人计算机取代智能电话来生成强调图像，并使该强调图像显示在个人计算机的显示器上。此时，智能电话及个人计算机成为本发明中的图像处理装置。
9-2.特征量
所述实施方式中，举从改变焦距而拍摄的景深不同的多个输入图像中检测边缘来作为特征，使用该边缘强度作为特征量来推定景深的情况为例而进行了说明，但并不限于此。
例如，作为与边缘强度同样地跟合焦度存在正相关的特征量，也可检测以高斯函数之差表示的DoG(Difference of Gaussian)值来作为特征量。此时，对于多个输入图像，例如分别实施使用标准偏差σ(分散σ2)不同的2个高斯滤波器的滤波处理，由此获得标准偏差σ不同的2幅平滑化图像。并且，对于多个输入图像，分别算出2幅平滑化图像的差值，由此获得DoG图像。使用以此方式获得的DoG图像的各像素的像素值(DoG值)来作为特征量，进行与所述实施方式同样的适当解运算处理，对于各像素来推定景深。此时，也可生成对于各像素反映出合焦度的景深图。
而且，作为合焦度以外的评价指标，例如也可检测图像的背景程度来作为特征量，使用检测出的背景程度来作为特征量，进行与所述实施方式同样的适当解运算处理，获得对于各像素反映出背景程度的图。此时，优选选择多个输入图像中映出有背景的输入图像，生成对于各像素反映出背景程度的图。
除了这些特征量以外，例如也可检测在图像中使用的代表颜色与该颜色的比例、颜色分布等颜色特征来作为特征量。而且，也可检测图像中所含的规则性的图案(pattern)即纹理(texture)来作为特征量。而且，也可检测图像中的物体(obiect)的形状来作为特征量。而且，也可使用方位选择性滤波器而检测特定的方位信息来作为特征量。无论如何，若特征量为合焦度的指标，则将获得反映出合焦度的图，若特征量为其他评价指标，则将获得反映出该评价指标的图。
9-3.适当解运算处理
所述实施方式中，作为适当解运算处理，对使用式(1)的能量函数来算出得分值，并将得分值达到最大的输入图像判定为合焦的输入图像的情况进行了说明，但也可取代式(1)而使用下述式(12)的能量函数来算出得分值，将得分值达到最小的输入图像判定为合焦的输入图像。
[数12]
式(12)中，式(1)的右边的各项为正(plus)而非负(minus)。该式表示：对于对象像素，将得分值加上与该对象像素所对应的边缘图像的边缘强度相应的成本值，并且，当使该对象像素合焦的第1输入图像与使该对象像素的附近像素合焦的第2输入图像不同时，将得分值加上罚分值。并且，将得分值满足规定的低值条件的输入图像判定为合焦的输入图像。
将式(12)的能量函数一次元展开而得的与式(2)对应的式如下述式(13)般表示。
[数13]
而且，当使用式(1)的能量函数时，将得分值达到最大的输入图像判定为合焦的输入图像，但该方法不过是一例。例如，当输入图像的数量为N个时，例如也可按照得分值变大的顺序来对规定比例(例如3成)的数量的得分值进行特别指定，从其中选择1个得分值，对合焦的输入图像进行判定。即，也可无须选择得分值为最大者，而选择为第2大或第3大的得分值。这是表示将得分值满足规定的高值条件的输入图像判定为合焦的输入图像的一例。
同样，当使用式(12)的能量函数时，也可按照得分值变小的顺序来对规定比例(例如3成)的数量的得分值进行特别指定，从其中选择1个得分值。这是表示将得分值满足规定的低值条件的输入图像判定为合焦的输入图像的一例。
9-4.显示用图像
所述实施方式中，对使基于景深图生成的全焦点图像作为显示用图像而显示在显示部30上的情况进行了说明，但并非必须使全焦点图像显示在显示部30上。
具体而言，也可取代全焦点图像，而将从多个输入图像中选择的代表图像作为显示用图像而显示在显示部30上。此时，例如可选择最先拍摄的输入图像、或最后拍摄的输入图像、焦距最接近中间值的输入图像来作为代表图像。
而且，除此以外，也可使景深图作为显示用图像而显示在显示部30上，还可使对多个输入图像中的任意输入图像进行合成所得的合成图像作为显示用图像而显示在显示部30上。
无论如何，用户一边阅览显示在显示部30上的所述显示用图像，一边对输入部20进行操作，以选择图像中的想要修正的部分。
9-5.景深选择窗的显示
显示控制部127也可控制显示部30显示规定的显示用图像，并进行如下控制，即，在该显示画面的规定位置，显示景深选择用操作窗，该景深选择用操作窗用于供用户选择景深。此时，用户经由输入部20来从景深选择用操作窗选择景深。
图17是表示此时的显示画面的一例的图，表示在显示部30上显示有全焦点图像的状态。另外，仅图示出作为前景的兔子玩偶部分，而对于作为背景的树木部分省略了图示。观察该图，在显示画面的左下部，显示有用于供用户选择景深的景深选择用操作窗W1。景深选择用操作窗W1是以依照各景深而划分的纵长的进度条(gauge)所示，用户通过轻击操作来上下移动进度条的中央部所示的景深选择用滚动条BAR，从而可选择景深。
图18是表示此时强调图像生成部123所执行的第2强调图像生成处理的流程的流程图。另外，对于与图8所示的强调图像生成处理相同的步骤标注相同的符号，并省略再次说明。
强调图像生成部123首先判定用户操作(步骤H1)。若判定用户操作为显示画面中的图像的轻击操作(步骤H1；图像的轻击操作)，则强调图像生成部123将受到轻击的区域(轻击区域)判定为指定区域(步骤H2)。然后，强调图像生成部123将处理移到步骤D3。
另一方面，若判定用户操作为针对景深选择用操作窗的图标的操作(步骤H1；景深选择用操作窗的图标操作)，则强调图像生成部123判定图标的移动目的地的景深(通过图标而选择的景深)(步骤H3)。并且，强调图像生成部123参照景深图，对与所判定的景深对应的像素进行特别指定(步骤H5)。并且，强调图像生成部123基于所特别指定的像素来生成强调图像(步骤H7)。具体而言，使用虚化滤波器，进行以第1虚化程度来将整个全焦点图像虚化的处理。并且，将在步骤H5中特别指定的像素的像素值合成到作为虚化处理的结果而获得的虚化图像中，从而生成强调图像。
9-6.再次的虚化处理
在所述实施方式中所说明的强调图像生成处理中，当侦测到用户操作时，也可判定由用户所指定的图像上的区域是否为进行了虚化处理的区域，若该判定结果为肯定判定，则将该区域的虚化程度设为与规定的虚化程度不同的虚化程度，以对强调图像进行再次虚化处理。
具体而言，当用户经由触摸屏21而轻击在强调图像生成处理中经过了虚化处理的部分中的规定部分时，处理部10判定该部分是否为已进行了虚化处理的部分(以下称作“已虚化部分”)。并且，若判定为已虚化部分，则处理部10进行确认告知，以向用户确认是加强还是减弱该已虚化部分的虚化程度。若由用户选择减弱虚化程度，则处理部10对于已虚化部分，使虚化程度小于规定的虚化程度来进行虚化处理。另一方面，若由用户选择加强虚化程度，则处理部10对于已虚化部分，使虚化程度大于规定的虚化程度来进行虚化处理。并且，控制显示部30显示进行了虚化处理的结果的强调图像。
9-7.用户操作
所述实施方式中，将用户进行强调图像的生成或强调图像的修正时的操作设为针对触摸屏21的轻击操作或拖拽操作来进行说明，但并非必须按照针对触摸屏21的用户操作来进行强调图像的生成或强调图像的修正。
例如，当图像处理装置具备操作按钮(包含十字键)时，也可按照该操作按钮的操作来进行强调图像的生成或强调图像的修正。此时，例如也可在显示部30上显示有全焦点图像的状态下，显示用于指定图像上的位置的指定用图标(例如箭头图标)，用户使用操作按钮来移动该指定用图标，以指定显示用图像中的想要强调的部分。而且，也可在显示部30上显示有强调图像的状态下，显示用于指定图像上的位置的所述指定用图标，用户使用操作按钮来移动该指定用图标，以指定强调图像中的想要修正的部分。
98.强调图像的生成
所述实施方式中，对基于全焦点图像来生成强调图像的情况进行了说明。具体而言，将想要强调的部分的景深的输入图像的像素值合成到对全焦点图像实施了虚化处理的图像中，从而生成强调图像。但是，也可不生成全焦点图像，而仅使用输入图像来生成强调图像。
具体而言，例如当由用户进行了操作输入时，也可基于景深图，在处于应通过该操作输入来强调的景深处的输入图像中的对象像素的像素值中，合成对该景深以外的输入图像中的除对象像素以外的像素进行了虚化处理者，从而生成强调图像。而且，也可在从通过用户操作而指定的指定区域中选择的像素所对应的景深的输入图像的像素值中，合成除此以外的景深的输入图像的像素值，从而生成强调图像。即，也可将处于应通过用户的操作输入来强调的景深处的输入图像中的对象像素的像素值，合成到相当于该景深以外的景深的输入图像中，从而生成强调图像。
9-9.强调图像生成时机(timing)
也可并非在用户进行轻击操作或拖拽操作时生成强调图像，而是将其他的任何动作(action)作为触发信号(trigger)，从而生成强调图像。具体而言，例如也可在显示部30上显示用于进行强调图像生成的指示的按钮，当侦测到经由触摸屏21而按下该按钮时，生成强调图像。而且，若为具备操作按钮的图像处理装置，则也可侦测该操作按钮的按下而生成强调图像。
而且，也可在图像处理装置中内置用于侦测振动的传感器(例如加速度传感器或陀螺仪传感器之类的惯性传感器)，当侦测到由用户进行了挥动图像处理装置的操作时，生成强调图像。
进而，也可在图像处理装置中设置麦克风(mic)来作为集音部，当侦测到有规定的语音输入至该麦克风时，生成强调图像。此时，只要使将设为强调图像生成的触发信号的某种语音数字化而成的语音数据预先存储在图像处理装置中，并进行对从麦克风输入的语音与所存储的语音数据进行对照的语音识别处理，而判定是否由用户指示了强调图像的生成等即可。在这些情况下，例如可使强调显示的景深从输入图像的景深的浅的一侧朝向深的一侧、或者从输入图像的景深的深的一侧朝向浅的一侧依次变化，依次生成强调图像，并使生成的强调图像依次显示等。
9-10.缩放操作
当用户进行了针对触摸屏21的缩放操作时，也可按照该缩放操作来进行显示图像的放大/缩小或旋转。具体而言，当侦测到用户用两根手指来轻击触摸屏21，并进行了增大/缩小该轻击的两点间的距离的操作时，例如也可对与该轻击的两点间的中心坐标对应的景深图上的像素进行特别指定，将该特定的像素作为基准来放大/缩小整个显示图像。而且，当侦测到由用户进行了以使连结两点间的直线的角度发生变化的方式扭转手指的操作时，例如也可对与该轻击的两点间的中心坐标对应的景深图上的像素进行特别指定，将该特定的像素作为基准来使整个显示图像旋转。
9-11.景深的再推定
所述实施方式中，在图9的强调图像修正处理中，基于拖拽方向与边缘方向的余弦类似度来变更罚分值，对于指定区域内的像素执行得分值运算处理，以再推定景深。即，对于指定区域内的像素，变更第2种参数值来执行得分值运算处理。但是，也可取代于此而对指定区域内的像素变更成本值，以执行得分值运算处理。即，也可对于指定区域内的像素来变更第1种参数值，以执行得分值运算处理。
强调图像修正处理中，必须生成在由用户所指定的指定区域中对边缘进行了强调的修正图像。为了强调边缘，必须从与指定区域内的代表像素的景深接近的景深的输入图像中，选择相当于边缘的像素。成本值是作为边缘强度的倒数而算出，因此边缘强度越强，则成本值越小。即，边缘强度越强的图像，则成本值越小。因而，为了从相近景深的输入图像中选择相当于边缘的像素，只要减小相对于与指定区域内的代表像素的景深接近的景深的输入图像的成本值即可。成本值可对应于每个输入图像而独立地变更。因此，通过仅对某输入图像减小成本值，从而可使该输入图像容易被选到，相反地，通过仅对某输入图像增大成本值，从而可使该输入图像难以被选到。
另外，也可仅变更成本值与罚分值中的任一个来进行景深的再推定，但当然也可变更成本值与罚分值这两者来进行景深的再推定。即，可变更第1种参数值及第2种参数值中的至少一个来进行得分值运算处理，以进行景深的再推定。
9-12.罚分值
可设定为罚分值的值并不限于第1罚分值与第2罚分值这两者。例如，也可如图16的罚分值表89所示，除了第1罚分值893及第2罚分值895以外，还设定第3罚分值897。具体而言，对于对象像素与附近像素，也可规定第3罚分值897，以作为使合焦的输入图像在图像编号833b中变化“3以上”时的罚分值。图16的罚分值表895中，在种类891的“通常时”，规定“P3”作为第3罚分值897。其中，“P1＜P2＜P3”。
而且，在种类891的“强调图像修正时”，在用户的拖拽方向与边缘方向满足规定的近似条件的情况、与用户的拖拽方向与边缘方向满足规定的背离条件的情况下，规定有不同的罚分值。具体而言，关于前者，规定“P3-β”作为第3罚分值897。而且，关于后者，规定“P3+β”作为第3罚分值897。另外，“β”的值可适当设定，例如“β＝1”。
而且，也可根据用户的拖拽方向与图像中的边缘方向的相对关系来变更罚分值。具体而言，例如也可根据拖拽方向与边缘方向的类似度来独立地规定罚分值(以下称作“与方向类似度相应的罚分值”)，并使用该与方向类似度相应的罚分值来进行适当解运算处理。作为表示拖拽方向与边缘方向的类似度的指标值，可与所述实施方式同样地，适用余弦类似度或余弦距离。
具体而言，取代在所述实施方式中定义的罚分值P(p)，而规定与方向类似度相应的罚分值Pdir(p)。例如，作为余弦类似度为“1”(拖拽方向与边缘方向平行)时的与方向类似度相应的罚分值，预先规定与通常时的罚分值相同的值。而且，以随着余弦类似度变小(随着拖拽方向与边缘方向背离)，而从通常时的罚分值起使值逐渐变大的方式来规定罚分值，作为余弦类似度为“0”(拖拽方向与边缘方向正交)时的罚分值，预先规定的是规定的最大值。并且，算出用户的拖拽方向与边缘方向的余弦类似度，使用对算出的余弦类似度进行规定的与方向类似度相应的罚分值，来进行适当解运算处理。
该与方向类似度相应的罚分值在进行所述实施方式中说明的景深的再推定时有用。如前所述，本申请发明的特征在于，拖拽方向与边缘方向越近似，则使罚分值越小，相反地，拖拽方向与边缘方向越背离，则使罚分值越大。当用户在显示图像中发现了显示的问题、即发现发生了景深的运算失误(miss)时，利用拖拽操作来特别指定发生了运算失误的部位，以进行强调图像的修正要求。
当用户以描出正确显示的物体的边缘方向的方式进行拖拽时，拖拽方向与边缘方向的余弦类似度成为接近“1”的值。此时，使用将余弦类似度设为“1”的与方向类似度相应的罚分值来进行适当解运算处理，但此时的罚分值是与通常时的罚分值相同的值，因此对于正确显示的物体，能够保存通常时生成的景深图。
另一方面，当用户以描出发生了运算失误的部分的方式来进行拖拽时，只要发生了运算失误的部分的边缘方向与正确显示的部分的边缘方向不同，就会在拖拽方向与边缘方向之间产生方向差，余弦类似度小于“1”。例如，当拖拽方向与边缘方向正交时，余弦类似度为“0”。此时，使用余弦类似度为“0”时的与方向类似度相应的罚分值来进行适当解运算处理，而作为此时的罚分值，规定了最大值，因此罚分变得最强。其结果，再生成对于发生了运算失误的部分更正确地表示出了景深的景深图。通过使用以此方式再生成的景深图来修正强调图像，从而能够适当地修正发生了运算失误的部分。
而且，也可独立地决定一个输入图像至另一输入图像的罚分值。具体而言，也可取代在所述实施方式中定义的罚分值P(p)，而设定图像间罚分值Pij(p)。其中，“i”及“j”为图像的编号。
例如，设为输入图像的焦距为“f1～f4”这四个，其大小关系为“f1＜f2＜＜＜＜＜f3＜f4”。此时，由于“f1”与“f2”的背离幅度不太大，因此加大“f1”的输入图像与“f2”的输入图像之间的图像间罚分值P12(p)，以使“f1”的输入图像与“f2”的输入图像容易被相互选择为合焦的输入图像。同样，由于“f3”与“f4”的背离幅度不太大，因此加大“f3”的输入图像与“f4”的输入图像之间的图像间罚分值P34(p)，以使“f3”的输入图像与“f4”的输入图像容易被相互选择为合焦的输入图像。
另一方面，由于“f2”与“f3”大幅背离，因此减小“f2”的输入图像与“f3”的输入图像之间的图像间罚分值P23(p)，以使“f2”的输入图像与“f3”的输入图像难以被相互选择为合焦的输入图像。由此，对于“n”的输入图像至“f2”的输入图像、或者“f3”的输入图像至“f4”的输入图像，提高罚分，从而可使其容易被选择为焦距接近的图像，对于“f2”的输入图像至“f3”的输入图像，降低罚分，从而可使其难以被选择为焦距远的图像。
9-13.被摄物模糊对策
也可对输入图像中的被摄物模糊的区域(以下称作“被摄物模糊区域”)进行检测，并变更成本值及罚分值中的至少一个，以使在该被摄物模糊区域中推定的景深(视为合焦而选择的输入图像)难以被变更。所谓被摄物模糊，是指因摄像时被摄物移动，且该移动的速度快于相机的快门速度(speed)，因而造成图像中的被摄物模糊。被摄物模糊区域的检测可使用以往公知的方法来实现。
若检测到被摄物模糊区域，则将该被摄物模糊区域中的罚分值P(p)变更为比通常时的罚分值大的值而进行得分值运算处理，或者将成本值C(p，Rp)变更为比使用边缘强度而算出的成本值小的值而进行得分值运算处理。由此，可生成对于被摄物模糊区域适当地推定出了景深的景深图。
9-14.记录介质(非暂时性计算机可读记录介质)
所述实施例中，对如下情况进行了说明，即，与图像处理相关的各种程序或数据被存储在图像处理装置的存储部80中，通过处理部10读出并执行这些程序，从而实现所述各实施例中的图像处理。此时，存储部80除了具有ROM或快闪ROM、硬盘(hard disk)、RAM之类的内部存储装置以外，也可还具有存储卡(memory card)或小型快闪卡(Compact Flashcard)、存储棒(memorystick)、通用串行总线(Universal Serial Bus，USB)存储器、可重写式光盘(Compact Disk-Rewritable，CD-RW)(光盘)、磁光盘(Magnetic Optical，MO)之类的记录介质(记录媒体(media)、外部存储装置)，使所述的各种程序或数据存储在这些记录介质中。
图30是表示此时的记录介质的一例的图。
在图像处理装置中，设置有用于***存储卡7的卡槽(card slot)710，并设置有卡读写器(card reader/writer)(R/W)720，该卡读写器720用于读取在***卡槽710中的存储卡7上存储的信息，或者向存储卡7中写入信息。卡读写器720按照处理部10的控制，进行将记录在存储部80中的程序或数据写入存储卡7中的动作。记录在存储卡7中的程序或数据由图像处理装置以外的信息处理装置(例如个人计算机)予以读取，由此，在该信息处理装置中，能够实现所述实施例中的图像处理。

Claims (18)

1.一种图像处理装置，其特征在于，包括：
图像输入部件，输入对于同一场景的多个输入图像；
显示部件，显示参照用图像，其中所述参照用图像为所述多个输入图像的一个或是由所述多个输入图像建立而成的图像；
特征检测部件，从所述多个输入图像中检测规定特征；
景深图生成部件，基于所述特征检测部件检测所述规定特征的检测结果来生成景深图；
输入部件，接受第一用户操作，所述第一用户操作在所述场景中选择区域；以及
显示控制部件，控制所述显示部件以将信息反映至所述参照用图像，所述信息关于根据所述第一用户操作所选择的所述区域，使用所述景深图而判定的像素的景深。
2.根据权利要求1所述的图像处理装置，其特征在于，所述显示控制部件进一步控制所述显示部件以在所述显示部件上显示调整器图像，其允许基于在所述显示部件上的第二使用者操作而调整所述参照用图像的图像的特征。
3.根据权利要求2所述的图像处理装置，其特征在于，所述调整器图像包括焦距范围图像，所述焦距范围图像用以允许通过所述第二用户操作在所述参照用图像中的像素合焦显示下做出景深的选择。
4.根据权利要求2所述的图像处理装置，其特征在于，所述调整器图像包括焦距显示图像，所述焦距显示图像表示出基于所述第一用户操作所选的所述区域的所述像素的景深所对应的焦距。
5.根据权利要求1所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件反映出所述信息以使在判定的所述像素的所述景深处的像素以不同于所述参照用图像中的其他景深处的像素的方式来显示。
6.根据权利要求5所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件反映出所述信息以使在所述判定的像素的所述景深处的所述像素以闪烁方式显示。
7.根据权利要求1所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件反映出所述信息给所述参照用图像以使判定的所述像素的所述景深处的像素合焦且使其他景深处的像素不合焦。
8.根据权利要求7所述的图像处理装置，其特征在于，使所述其他景深处的像素不合焦的方法包括虚化所述其他景深处的像素。
9.根据权利要求8所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件将所述信息反映给所述参照用图像以虚化所述其他景深处的像素，所述虚化的虚化程度根据要被虚化的像素的景深与所述判定的像素的所述景深之间的差异。
10.根据权利要求8所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件反映出所述信息以虚化所述其他景深处的像素，所述虚化的虚化程度根据要被虚化的像素与所述判定的像素之间的距离。
11.根据权利要求8所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件反映出所述信息，以根据用户的缩放操作的虚化程度来虚化所述其他景深处的像素。
12.根据权利要求7所述的图像处理装置，其特征在于，所述第一用户操作使用光标指定要被合焦观看的合焦位置或是以圈选操作来指定要被合焦观看的物。
13.根据权利要求7所述的图像处理装置，其特征在于，所述显示控制部件控制所述显示部件以显示图形，所述图形包括所述参照用图像中被用户点击的点，
所述输入部件接收用户输入，所述用户输入改变所述图形的尺寸；且
不管所述信息的反映，所述图形特别指定的像素避免看起来不合焦。
14.根据权利要求7所述的图像处理装置，其特征在于，所述输入部件接收用户输入，所述用户输入通过涂满操作来指定不要被虚化的区域，且不管所述信息的反映，被指定的所述区域的特定像素避免看起来不合焦。
15.根据权利要求1所述的图像处理装置，其特征在于，所述输入部件在所述图像输入部件完成所述多个输入图像的输入之前接收所述第一用户操作。
16.一种图像处理装置，其特征在于，包括：
图像输入部件，输入对于同一场景的多个输入图像；
特征检测部件，从所述场景中检测规定特征；
景深图生成部件，基于所述特征检测部件检测所述规定特征的检测结果来生成景深图；
检测部件，检测所述多个输入图像的至少一个中的人或脸；以及
图像生成部件，基于所述景深图来生成图像，其中，根据检测到的所述人或检测到的所述脸来判定的像素的景深处的像素看起来合焦，且其他像素的景深处的像素看起来不合焦。
17.一种图像处理方法，其特征在于，包括：
输入对于同一场景的多个输入图像；
显示参照用图像，所述参照用图像为所述多个输入图像的一个或是由所述多个输入图像建立而成的图像；
从所述多个输入图像中检测规定特征；
基于所述规定特征的检测结果来生成景深图；
接受第一用户操作，所述第一用户操作在所述场景中选择区域；以及
将信息反映至所述参照用图像，所述信息关于根据所述第一用户操作所选择的所述区域，使用所述景深图而判定的像素的景深。
18.一种非暂时性计算机可读记录介质，储存程序以让计算机执行如下步骤：
输入对于同一场景的多个输入图像的输入步骤；
显示参照用图像的显示步骤，所述参照用图像为所述多个输入图像的一个或是由所述多个输入图像建立而成的图像；
从所述多个输入图像中检测规定特征的检测步骤；
基于所述规定特征的检测结果来生成景深图的生成步骤；
接受第一用户操作的接收步骤，所述第一用户操作在所述场景中选择区域；以及
将信息反映至所述参照用图像的反映步骤，所述信息关于根据所述第一用户操作所选择的所述区域，使用所述景深图而判定的像素的景深。
CN201810092382.3A 2013-10-30 2014-10-29 图像处理装置及方法及非暂时性计算机可读记录介质 Active CN108107571B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-226045 2013-10-30
JP2013226045 2013-10-30
CN201410592165.2A CN104660900B (zh) 2013-10-30 2014-10-29 图像处理装置及图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410592165.2A Division CN104660900B (zh) 2013-10-30 2014-10-29 图像处理装置及图像处理方法

Publications (2)

Publication Number Publication Date
CN108107571A true CN108107571A (zh) 2018-06-01
CN108107571B CN108107571B (zh) 2021-06-01

Family

ID=52994878

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410592165.2A Active CN104660900B (zh) 2013-10-30 2014-10-29 图像处理装置及图像处理方法
CN201810092382.3A Active CN108107571B (zh) 2013-10-30 2014-10-29 图像处理装置及方法及非暂时性计算机可读记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410592165.2A Active CN104660900B (zh) 2013-10-30 2014-10-29 图像处理装置及图像处理方法

Country Status (5)

Country Link
US (2) US9508173B2 (zh)
JP (1) JP6511247B2 (zh)
KR (1) KR101709380B1 (zh)
CN (2) CN104660900B (zh)
TW (1) TWI554936B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324532A (zh) * 2019-07-05 2019-10-11 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
CN112868224A (zh) * 2019-04-01 2021-05-28 谷歌有限责任公司 捕获和编辑动态深度图像的技术

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734582B2 (en) * 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
JP6179224B2 (ja) * 2013-07-02 2017-08-16 富士通株式会社 画像処理フィルタの作成装置及びその方法
US9734551B1 (en) * 2013-12-01 2017-08-15 Google Inc. Providing depth-of-field renderings
US9594893B2 (en) * 2014-01-15 2017-03-14 Lenovo (Singapore) Pte. Ltd. Multi-touch local device authentication
KR102326275B1 (ko) * 2014-02-25 2021-11-16 삼성전자주식회사 이미지 표시 방법 및 장치
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
JP6399437B2 (ja) * 2014-06-04 2018-10-03 パナソニックＩｐマネジメント株式会社 制御装置及びそれを用いた作業管理システム
CN104038699B (zh) * 2014-06-27 2016-04-06 努比亚技术有限公司 对焦状态的提示方法和拍摄装置
WO2016172619A1 (en) 2015-04-23 2016-10-27 Apple Inc. Digital viewfinder user interface for multiple cameras
WO2016202837A1 (en) * 2015-06-16 2016-12-22 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
JP6614824B2 (ja) * 2015-06-26 2019-12-04 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US20180225831A1 (en) * 2015-08-07 2018-08-09 Nec Corporation Image processing device, image restoring device, and image processing method
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
US20170091905A1 (en) * 2015-09-24 2017-03-30 Dell Products L.P. Information Handling System Defocus Tracking Video
US10389804B2 (en) 2015-11-11 2019-08-20 Adobe Inc. Integration of content creation and sharing
US10198590B2 (en) * 2015-11-11 2019-02-05 Adobe Inc. Content sharing collections and navigation
US10249061B2 (en) 2015-11-11 2019-04-02 Adobe Inc. Integration of content creation and sharing
US10783431B2 (en) 2015-11-11 2020-09-22 Adobe Inc. Image search using emotions
US10516875B2 (en) * 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
KR102510821B1 (ko) * 2016-02-05 2023-03-16 삼성전자주식회사 영상 처리 방법, 장치 및 기록 매체
JP6482130B2 (ja) * 2016-02-25 2019-03-13 Kddi株式会社 幾何検証装置、プログラム及び方法
JP6765057B2 (ja) * 2016-03-18 2020-10-07 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法およびプログラム
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
JP6684168B2 (ja) * 2016-06-28 2020-04-22 キヤノン株式会社 画像処理装置および画像処理方法
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10096097B2 (en) * 2016-08-01 2018-10-09 The United States Of America As Represented By The Secretary Of The Navy Content-aware bidirectional image edge highlighting
CN109565544B (zh) * 2016-08-09 2020-11-24 夏普株式会社 位置指定装置及位置指定方法
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的***和方法
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
KR102561099B1 (ko) * 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
CN106570821A (zh) * 2016-10-29 2017-04-19 深圳市金立通信设备有限公司 一种图像处理方法及终端
JP7014175B2 (ja) * 2016-11-08 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
KR101871937B1 (ko) * 2016-11-15 2018-07-02 주식회사 스트로크플레이 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정 장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
JP6948787B2 (ja) * 2016-12-09 2021-10-13 キヤノン株式会社 情報処理装置、方法およびプログラム
WO2018112764A1 (zh) * 2016-12-20 2018-06-28 广东欧珀移动通信有限公司 图像处理方法与装置、控制方法与装置、成像与电子装置
US10389936B2 (en) * 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
JP6911435B2 (ja) * 2017-03-23 2021-07-28 富士フイルムビジネスイノベーション株式会社 情報処理装置、表示システム、及びプログラム
KR102309297B1 (ko) * 2017-03-31 2021-10-06 엘지전자 주식회사 단말기 및 그 제어 방법
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
CN110663246B (zh) * 2017-05-24 2021-08-06 深圳市大疆创新科技有限公司 用于处理图像的方法和***
CN107038681B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
WO2019058487A1 (ja) 2017-09-21 2019-03-28 オリンパス株式会社 ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
JP6590899B2 (ja) * 2017-12-07 2019-10-16 キヤノン株式会社 撮像装置、撮像方法およびプログラム
CN108227919B (zh) * 2017-12-22 2021-07-09 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影***
US10733706B2 (en) * 2018-01-07 2020-08-04 Htc Corporation Mobile device, and image processing method for mobile device
US11893755B2 (en) 2018-01-19 2024-02-06 Interdigital Vc Holdings, Inc. Multi-focal planes with varying positions
JP6749510B2 (ja) 2018-01-29 2020-09-02 Eizo株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN111656776B (zh) * 2018-01-30 2022-08-09 索尼公司 图像处理器、图像处理方法和计算机可读记录介质
CN108279287B (zh) * 2018-02-01 2020-12-18 嘉兴市丰成五金材料股份有限公司 基于通信技术的烟雾快速散发***
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
DE112019000869T5 (de) * 2018-02-19 2020-11-05 Murakami Corporation Bedienungsdetektionsvorrichtung und Bedienungsdetektionsverfahren
CN108550182B (zh) * 2018-03-15 2022-10-18 维沃移动通信有限公司 一种三维建模方法和终端
US11477434B2 (en) 2018-03-23 2022-10-18 Pcms Holdings, Inc. Multifocal plane based method to produce stereoscopic viewpoints in a DIBR system (MFP-DIBR)
EP3776456A4 (en) * 2018-04-11 2022-01-26 Nokia Technologies Oy METHOD AND DEVICE FOR SIGNALING AND STORAGE OF GROUPING TYPES IN AN IMAGE CONTAINER FILE
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
WO2020010018A1 (en) 2018-07-05 2020-01-09 Pcms Holdings, Inc. Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays
JP7262940B2 (ja) 2018-07-30 2023-04-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
DE102018213052A1 (de) * 2018-08-03 2020-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer Erklärungskarte
CN109246354B (zh) * 2018-09-07 2020-04-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
DK201870623A1 (en) * 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10783649B2 (en) * 2018-09-17 2020-09-22 Adobe Inc. Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) * 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR102562361B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN111275657A (zh) * 2018-11-20 2020-06-12 华为技术有限公司 虚焦检测方法、设备及计算机可读介质
CN109151329A (zh) * 2018-11-22 2019-01-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
TWI678546B (zh) * 2018-12-12 2019-12-01 緯創資通股份有限公司 距離偵測方法、距離偵測系統與電腦程式產品
US10917516B1 (en) 2018-12-18 2021-02-09 United Services Automobile Association (Usaa) Data access system for representatives
CN109767466B (zh) * 2019-01-10 2021-07-13 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
US10554890B1 (en) 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
KR102597518B1 (ko) 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
CN113474809A (zh) * 2019-02-26 2021-10-01 株式会社索思未来 信息处理装置以及信息处理方法
CN109902695B (zh) * 2019-03-01 2022-12-20 辽宁工程技术大学 一种面向像对直线特征匹配的线特征矫正与提纯方法
WO2020200396A1 (en) * 2019-03-29 2020-10-08 Nokia Technologies Oy Apparatus for doppler shift compensation, corresponding method and computer program
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN111901479B (zh) * 2019-05-06 2021-05-25 苹果公司 一种用于显示相机用户界面的方法、电子设备和非暂态计算机可读存储介质
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
CN110567437B (zh) * 2019-06-28 2021-05-18 武汉理工大学 港口起重机械摄影测量方法
CN112446251A (zh) * 2019-08-30 2021-03-05 深圳云天励飞技术有限公司 图像处理方法及相关装置
CN110796649B (zh) * 2019-10-29 2022-08-30 北京市商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN111140103A (zh) * 2019-12-28 2020-05-12 王体 办公柜锁孔封闭平台
KR102470250B1 (ko) * 2020-03-26 2022-11-24 박재현 광학적 부분 차단을 이용한 다이내믹 영상 생성방법
US11889044B2 (en) * 2020-04-16 2024-01-30 Eys3D Microelectronics, Co. Fusion method and fusion system for multiple depth information
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN111724381B (zh) * 2020-06-24 2022-11-01 武汉互创联合科技有限公司 基于多视图交叉验证的显微图像细胞计数与姿态识别方法
US20220005226A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Camera calibration using measured motion
RU2745010C1 (ru) * 2020-08-25 2021-03-18 Самсунг Электроникс Ко., Лтд. Способы реконструкции карты глубины и электронное вычислительное устройство для их реализации
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US20220104887A1 (en) * 2020-10-06 2022-04-07 Asensus Surgical Us, Inc. Surgical record creation using computer recognition of surgical events
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
CN113076685A (zh) * 2021-03-04 2021-07-06 华为技术有限公司 图像重建模型的训练方法、图像重建方法及其装置
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
CN115063789B (zh) * 2022-05-24 2023-08-04 中国科学院自动化研究所 基于关键点匹配的3d目标检测方法及装置
US20240031540A1 (en) * 2022-07-21 2024-01-25 Apple Inc. Foveated down sampling of image data
CN115409845B (zh) * 2022-11-03 2023-02-03 成都新西旺自动化科技有限公司 一种异形高精度均衡对位方法及***
US20240169494A1 (en) * 2022-11-21 2024-05-23 Varjo Technologies Oy Extended depth-of-field correction using reconstructed depth map
CN116679080A (zh) * 2023-05-30 2023-09-01 广州伏羲智能科技有限公司 一种河流表面流速确定方法、装置及电子设备
CN116740158B (zh) * 2023-08-14 2023-12-05 小米汽车科技有限公司 图像深度确定方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp ３次元形状計測装置および方法、並びに記録媒体
JP2008039491A (ja) * 2006-08-02 2008-02-21 Fuji Heavy Ind Ltd ステレオ画像処理装置
CN102472622A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 距离推定装置、距离推定方法、集成电路、计算机程序
CN102812715A (zh) * 2011-01-27 2012-12-05 松下电器产业株式会社 三维图像摄影装置以及三维图像拍摄方法
JP2012248001A (ja) * 2011-05-27 2012-12-13 Canon Inc 画像処理装置および画像処理方法、プログラム
CN102883170A (zh) * 2011-07-12 2013-01-16 索尼公司 图像处理装置、图像处理方法及图像处理程序

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4692878A (en) * 1985-03-29 1987-09-08 Ampower Technologies, Inc. Three-dimensional spatial image system
JP3624859B2 (ja) 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
JP4230128B2 (ja) 2001-06-20 2009-02-25 富士フイルム株式会社 撮像装置およびその制御方法
CN100573231C (zh) * 2004-09-08 2009-12-23 日本电信电话株式会社 三维显示方法、装置
JP2006146455A (ja) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc 電子機器、指標付画像の表示方法
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
KR101228304B1 (ko) 2006-06-16 2013-01-30 삼성전자주식회사 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8497920B2 (en) 2008-06-11 2013-07-30 Nokia Corporation Method, apparatus, and computer program product for presenting burst images
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
CN102257827B (zh) 2008-12-19 2014-10-01 皇家飞利浦电子股份有限公司 从图像创建深度图
JP2010166247A (ja) * 2009-01-14 2010-07-29 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011010194A (ja) * 2009-06-29 2011-01-13 Nikon Corp ボカシ画像形成装置及びそれを備えたカメラ
JP5375401B2 (ja) * 2009-07-22 2013-12-25 カシオ計算機株式会社 画像処理装置及び方法
CN101930606A (zh) * 2010-05-14 2010-12-29 深圳市海量精密仪器设备有限公司 一种图像边缘检测的景深扩展方法
CN102472620B (zh) * 2010-06-17 2016-03-02 松下电器产业株式会社 图像处理装置及图像处理方法
JP5682203B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
CN102713513B (zh) * 2010-11-24 2015-08-12 松下电器产业株式会社 摄像装置、摄像方法、程序以及集成电路
KR101733131B1 (ko) * 2010-12-14 2017-05-10 한국전자통신연구원 3차원 제스처 처리 방법 및 장치
JP5720488B2 (ja) 2011-08-16 2015-05-20 リコーイメージング株式会社 撮像装置および距離情報取得方法
JP2014210670A (ja) * 2011-09-01 2014-11-13 旭硝子株式会社 強化ガラスパネルの製造方法
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
US20130176458A1 (en) 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
KR20150004397A (ko) * 2012-04-26 2015-01-12 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지들 내에서의 대화형 리포커싱을 제공하기 위한 시스템들, 방법들, 및 매체들
TWI489326B (zh) * 2012-06-05 2015-06-21 Wistron Corp 操作區的決定方法與系統
US9632574B2 (en) * 2012-10-31 2017-04-25 Sony Corporation Device and method for authenticating a user
US8760500B1 (en) * 2013-10-23 2014-06-24 Google Inc. Depth map generation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp ３次元形状計測装置および方法、並びに記録媒体
JP2008039491A (ja) * 2006-08-02 2008-02-21 Fuji Heavy Ind Ltd ステレオ画像処理装置
CN102472622A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 距离推定装置、距离推定方法、集成电路、计算机程序
CN102812715A (zh) * 2011-01-27 2012-12-05 松下电器产业株式会社 三维图像摄影装置以及三维图像拍摄方法
JP2012248001A (ja) * 2011-05-27 2012-12-13 Canon Inc 画像処理装置および画像処理方法、プログラム
CN102883170A (zh) * 2011-07-12 2013-01-16 索尼公司 图像处理装置、图像处理方法及图像处理程序

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112868224A (zh) * 2019-04-01 2021-05-28 谷歌有限责任公司 捕获和编辑动态深度图像的技术
CN112868224B (zh) * 2019-04-01 2023-08-29 谷歌有限责任公司 捕获和编辑动态深度图像的方法、装置和存储介质
US11949848B2 (en) 2019-04-01 2024-04-02 Google Llc Techniques to capture and edit dynamic depth images
CN110324532A (zh) * 2019-07-05 2019-10-11 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
CN110324532B (zh) * 2019-07-05 2021-06-18 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
TWI554936B (zh) 2016-10-21
KR101709380B1 (ko) 2017-02-22
TW201516829A (zh) 2015-05-01
CN104660900A (zh) 2015-05-27
JP6511247B2 (ja) 2019-05-15
KR20150050486A (ko) 2015-05-08
CN104660900B (zh) 2018-03-02
US9508173B2 (en) 2016-11-29
US10127639B2 (en) 2018-11-13
CN108107571B (zh) 2021-06-01
JP2015111822A (ja) 2015-06-18
US20170039686A1 (en) 2017-02-09
US20150116353A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
CN104660900B (zh) 图像处理装置及图像处理方法
US9619933B2 (en) Model and sizing information from smartphone acquired image sequences
CN105323425B (zh) 融合图像***中的场景运动校正
JP6468865B2 (ja) 画像処理装置及び画像処理方法
CN101601279B (zh) 摄像装置以及摄像方法
CN102843509B (zh) 图像处理装置和图像处理方法
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN109076159A (zh) 电子设备及其操作方法
CN109614983A (zh) 训练数据的生成方法、装置及***
CN104063871B (zh) 可穿戴设备的图像序列场景分割方法
CN107808372B (zh) 图像穿越处理方法、装置、计算设备及计算机存储介质
CN111199169A (zh) 图像处理方法和装置
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116129016B (zh) 一种姿态运动的数字同步方法、装置、设备及存储介质
CN108537189A (zh) 生成顾客轨迹图的方法及装置、存储介质、终端
TW201006527A (en) Measuring object contour method and measuring object contour apparatus
CN108432229B (zh) 一种通过自拍实现他人拍照效果的方法及拍照设备
CN113284081B (zh) 深度图超分辨率优化方法、装置、处理设备及存储介质
CN109785369A (zh) 一种虚拟现实人像采集方法及装置
CN104933677B (zh) 用以在多个讯框中决定多个候选讯框的方法
CN108109158B (zh) 基于自适应阈值分割的视频穿越处理方法及装置
CN114719759B (zh) 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法
CN110941974B (zh) 虚拟对象的控制方法和装置
KR102218095B1 (ko) 인물 및 평면 인식을 이용한 증강 현실 구현 방법 및 위 방법을 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체
JP2019079299A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant