CN101753844A - 图像显示装置及摄像装置 - Google Patents

图像显示装置及摄像装置 Download PDF

Info

Publication number
CN101753844A
CN101753844A CN200910260604A CN200910260604A CN101753844A CN 101753844 A CN101753844 A CN 101753844A CN 200910260604 A CN200910260604 A CN 200910260604A CN 200910260604 A CN200910260604 A CN 200910260604A CN 101753844 A CN101753844 A CN 101753844A
Authority
CN
China
Prior art keywords
image
subject
signal
distance
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910260604A
Other languages
English (en)
Inventor
高柳涉
奥智岐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101753844A publication Critical patent/CN101753844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种图像显示装置，该图像显示装置具备：被摄体距离检测部，其检测由摄像部摄影的各被摄体的被摄体距离；输出图像生成部，其根据由所述摄像部的摄影而得到的输入图像，生成与位于特定距离范围内的被摄体对焦的图像来作为输出图像；和显示控制部，其基于所述被摄体距离检测部的检测结果，将作为所述输出图像中的图像区域的、位于所述特定距离范围内的被摄体出现的图像区域作为聚焦区域来提取，并按照能够辨识所述聚焦区域的方式在显示部上显示基于所述输出图像的显示图像。

Description

图像显示装置及摄像装置
本申请要求2008年12月18日提交的申请号为2008-322221的日本专利申请的优先权，通过在此引用而将其内容引入本申请中。
技术领域
本发明涉及一种对基于摄影图像的图像进行显示的图像显示装置以及包括该图像显示装置的摄像装置。
背景技术
在具备自动聚焦功能的数码照相机等摄像装置中，通常，按照与AF区域内的被摄体对焦的方式执行光学自动聚焦控制，之后进行实际的摄影处理。自动聚焦控制的结果大多能够在设置于摄像装置的显示画面上确认。但是，在该方法中，有时设置于摄像装置的显示画面会很小，因此很难辨识与AF区域内的哪个部分对焦，所以，有时用户会错误地确认实际上对焦(换言之，聚焦)的区域。
鉴于此，以容易确认实际上对焦的区域为目的，在某个以往的摄像装置中，进行了如下的基于对比度检测方式的控制。将摄影图像的图像区域划分为多个块，移动聚焦透镜的同时求出各块的AF评价值，并在每一个聚焦透镜的透镜位置处，计算出对AF区域内的所有块的AF评价值进行总计的总计AF评价值。而且，将总计AF评价值最大的透镜位置作为聚焦透镜位置来导出。另一方面，在每一块中，检测使该块的AF评价值最大化的透镜位置来作为块聚焦透镜位置，判断聚焦透镜位置与对应的块聚焦透镜位置之间的差最小的块为对焦的区域(聚焦区域)，并识别显示该区域。
但是，在该方法中，由于必须使聚焦透镜进行多阶段的移动，因此该移动会导致摄影所必须的时间增加。另外，不能应用于不伴随透镜移动的摄影中。
另外，虽然用户想要获取与关注被摄体对焦的摄影图像，但是在实际获得的摄影图像中有时关注被摄体会模糊。最好是能够在获得摄影图像之后根据摄影图像生成与期望的被摄体对焦的图像。
发明内容
本发明的第一图像显示装置具有：被摄体距离检测部，其检测由摄像部摄影的各被摄体的被摄体距离；输出图像生成部，其根据由所述摄像部的摄影而得到的输入图像，生成与位于特定距离范围内的被摄体对焦的图像来作为输出图像；和显示控制部，其基于所述被摄体距离检测部的检测结果，将作为所述输出图像中的图像区域的、位于所述特定距离范围内的被摄体出现的图像区域作为聚焦区域来提取，并按照能够辨识所述聚焦区域的方式在显示部上显示基于所述输出图像的显示图像。
具体而言，例如，所述被摄体距离检测部基于所述输入图像的图像数据和所述摄像部的光学***的特性，检测所述输入图像上的各位置处的被摄体的被摄体距离，所述输出图像生成部接受所述特定距离范围的指定，并对所述输入图像进行与所述被摄体距离检测部检测的被摄体距离、被指定的所述特定距离范围、所述摄像部的光学***的特性相应的图像处理，从而生成所述输出图像。
更具体而言，例如，所述输入图像的图像数据中包括基于所述输入图像上的各位置处的被摄体的被摄体距离的信息，所述被摄体距离检测部从所述输入图像的图像数据中提取所述信息，并基于提取结果和所述光学***的特性来检测所述输入图像上的各位置处的被摄体的被摄体距离。
或者，更具体而言，例如，所述被摄体距离检测部将表示所述输入图像的多个颜色的颜色信号中包含的规定的高频成分按每个颜色信号进行提取，并基于提取结果和所述光学***的轴上色差的特性来检测所述输入图像上的各位置处的被摄体的被摄体距离。
本发明的第一摄像装置具备：摄像部；上述第一图像显示装置。
另外，例如，在本发明的摄像装置中，通过利用了所述摄像部的摄影而得到的图像数据被作为所述输入图像的图像数据而提供给所述图像显示装置，在所述输入图像的摄影之后，按照指定所述特定距离范围的操作，根据所述输入图像生成所述输出图像，并在所述显示部上显示基于该输出图像的所述显示图像。
本发明的第二图像显示装置的特征在于，具备：图像获取部，其获取包含基于各被摄体的被摄体距离的被摄体距离信息的图像数据来作为输入图像的图像数据；特定被摄体距离输入部，其接受特定被摄体距离的输入；和图像生成/显示控制部，其基于所述被摄体距离信息对所述输入图像进行图像处理，来生成与位于所述特定被摄体距离上的被摄体对焦的输出图像，并在显示部上显示所述输出图像或基于所述输出图像的图像。
而且，例如，所述图像生成/显示控制部在所述输出图像中确定对焦的被摄体，并对该对焦的被摄体进行强调后显示在所述显示部上。
本发明的第二摄像装置具备：摄像部；上述第二图像显示装置。
本发明的意义乃至效果会通过以下所示的实施方式的说明而变得更加明确。但是，以下的实施方式始终是本发明的一个实施方式，本发明和各构成要件的用语的意义不仅限于以下实施方式的记载。
附图说明
图1是本发明的第1实施方式所涉及的摄像装置的示意整体模块图。图2(a)和(b)分别是表示在图1的摄像装置中获得的原始图像和目标聚焦图像的例子的图。图3(a)～(d)分别是表示在图1的摄像装置中获得的强调显示图像的例子的图。图4是表示本发明的第1实施方式所涉及的生成强调显示图像时的亮度调整例的图。图5是表示图1的摄像装置的动作的流程的流程图。图6是用于说明本发明的第2实施方式所涉及的透镜所具有的轴上色差的特性的图。图7(a)～(c)分别是表示本发明的第2实施方式所涉及的点光源和具有轴上色差的透镜、各颜色光的成像点以及摄像元件的位置关系的图，图7(a)表示点光源和透镜间距离比较小的情况，图7(b)表示点光源和透镜间距离为中等程度的情况，图7(c)表示点光源和透镜间距离比较大的情况。图8是表示本发明的第2实施方式所涉及的点光源和具有轴上色差的透镜与摄像元件的位置关系、摄像元件上的各颜色光的像的宽度的图。图9是表示本发明的第2实施方式所涉及的通过具有轴上色差的透镜获得的原始图像的色信号的分辨率特性的图。图10是表示本发明的第2实施方式所涉及的通过具有轴上色差的透镜获得的原始图像的色信号的分辨率特性的图。图11是本发明的第2实施方式所涉及的摄像装置的整体模块图。图12(a)～(d)是用于说明本发明的第2实施方式所涉及的从原始图像经过中间生成图像的生成来生成目标聚焦图像的原理的图。图13是用于说明本发明的第2实施方式的具体例所涉及的两个被摄体距离(D1和D2)的图。图14是表示两个被摄体距离(D1和D2)下的两个被摄体与原始图像上的这两个被摄体的像的图。图15是图11所示的高频成分提取/距离检测部以及被摄景深度放大处理部的内部模块图。图16是用于说明原始图像、中间生成图像以及目标聚焦图像上的像素位置的意义的图。图17是表示在图15的高频成分提取/距离检测部中生成的值的特性的图。图18是用于说明图15的高频成分提取/距离检测部的被摄体距离推定方法的图。图19是图11所示的被摄景深度控制部的内部模块图。图20是用于说明在图19的被摄景深度控制部中执行的处理的内容的图。图21是用于说明在图19的被摄景深度控制部中执行的处理的内容的图。图22是能够代替图11的被摄景深度放大处理部和被摄景深度控制部而使用的被摄景深度调整部的内部模块图。图23是用于说明在图22的被摄景深度调整部中执行的处理的内容的图。图24是图22所示的被摄景深度调整部的变形内部模块图。图25是本发明的第1实施方式所涉及的摄像装置的示意整体模块图，是在图1中追加了操作部和深度信息生成部的图。
具体实施方式
以下，参照附图具体说明本发明的几个实施方式。在所参照的各图中，对相同的部分赋予相同符号，并原则上省略关于相同部分的重复说明。
(第1实施方式)首先，说明本发明的第1实施方式。图1是第1实施方式所涉及的摄像装置100的示意整体模块图。摄像装置100(以及后述的其它实施方式的摄像装置)是能够摄影和记录静止图像的数码照相机、或能够摄影和记录静止图像和运动图像的数码摄像机。摄像装置100具备由符号101～106所参照的各部分。另外，摄影与摄像是相同的意思。
摄像部101具备光学***和CCD(Charge Coupled Device)等摄像元件，根据使用摄像元件的摄影，输出表示被摄体像的电信号。原始图像生成部102通过对摄像部101的输出信号进行规定的影像信号处理，生成图像数据。将原始图像生成部102的生成图像数据表示的一张静止图像称作原始图像。原始图像表示在摄像部101的摄像元件上成像的被摄体像。另外，图像数据是表示图像的颜色和明度的数据。
原始图像的图像数据中包括依赖于原始图像的各像素位置的被摄体的被摄体距离的信息。例如，由于摄像部101的光学***具有的轴上色差，原始图像的图像数据中会包括这样的信息(关于该信息，将在其它实施方式中详细说明)。被摄体距离检测部103从原始图像的图像数据提取该信息，并基于提取结果检测(推定)原始图像的各像素位置的被摄体的被摄体距离。将表示原始图像的各像素位置的被摄体的被摄体距离的信息称作被摄体距离信息。另外，某被摄体的被摄体距离指该被摄体与摄像装置(在本实施方式中是摄像装置100)之间的实际空间上的距离。
目标聚焦图像生成部104基于原始图像的图像数据、被摄体距离信息以及被摄景深度设定信息，生成目标聚焦图像的图像数据。被摄景深度设定信息是指定应由目标聚焦图像生成部104生成的目标聚焦图像的被摄景深度的信息，根据被摄景深度设定信息指定位于目标聚焦图像的被摄景深度内的最短的被摄体距离和最长的被摄体距离。以下，也会将由被摄景深度设定信息指定的被摄景深度仅称作指定被摄景深度。例如，通过用户的操作设定被摄景深度设定信息。即，具体而言，例如，用户通过对设置在摄像装置100中的操作部107(参照图25，在图11的摄像装置1中是操作部24)进行规定的设定操作，能够自如地设定指定被摄景深度。在图25中，设置在摄像装置100中的深度信息生成部108从上述设定操作的内容中识别指定被摄景深度，从而生成被摄景深度设定信息。用户能够通过对操作部107(在图11的摄像装置1中是操作部24)输入上述最短的被摄体距离和最长的被摄体距离来设定指定被摄景深度，也能够通过对操作部107(在图11的摄像装置1中是操作部24)输入目标聚焦图像的被摄景深度内的最短、中间或最长的被摄体距离和目标聚焦图像的被摄景深度的深度来设定指定被摄景深度。因此，可以说摄像装置100的操作部107(在图11的摄像装置1中是操作部24)作为特定被摄体距离输入部而起作用。
目标聚焦图像是与位于指定被摄景深度内的被摄体对焦且未与位于该指定被摄景深度外的被摄体对焦的图像。目标聚焦图像生成部104通过按照被摄景深度设定信息对原始图像进行与被摄体距离信息相应的图像处理，生成具有指定被摄景深度的目标聚焦图像。从原始图像生成目标聚焦图像的方法将在其它实施方式中进行例示。另外，对焦和“聚焦”的意思相同。
显示控制部105基于目标聚焦图像的图像数据、被摄体距离信息以及被摄景深度设定信息，生成特殊的显示图像的图像数据。为方便起见，将该特殊的显示图像称作强调显示图像。具体而言，基于被摄体距离信息和被摄景深度设定信息，在目标聚焦图像的整个图像区域内，确定对焦的图像区域来作为聚焦区域，并对目标聚焦图像进行规定的加工处理，使得聚焦区域在显示部106的显示画面上能够区别于其它图像区域地被识别出来。加工处理后的目标聚焦图像作为强调显示图像被显示在显示部106(液晶显示器等)的显示画面上。另外，将目标聚焦图像的整个区域中未对焦的图像区域称作非聚焦区域。
将位于指定被摄景深度内的被摄体距离上的被摄体称作聚焦被摄体，将位于指定被摄景深度外的被摄体距离上的被摄体称作非聚焦被摄体。目标聚焦图像和强调显示图像的聚焦区域中具有聚焦被摄体的图像数据，目标聚焦图像和强调显示图像的非聚焦区域中具有非聚焦被摄体的图像数据。
说明原始图像、目标修正图像以及强调显示图像的例子。图2(a)的图像200表示原始图像的例子。原始图像200中是通过对包括人物即被摄体SUBA和SUBB的实际空间区域进行摄影而获得的原始图像。被摄体SUBA的被摄体距离比被摄体SUBB的被摄体距离小。另外，图2(a)的原始图像200是假设了摄像部101的光学***具有比较大的轴上色差的情况下的原始图像。由于该轴上色差，在原始图像200上被摄体SUBA和SUBB表现得比较模糊。
图2(b)的图像201是基于原始图像200的目标聚焦图像的例子。生成目标聚焦图像201时，假设按照被摄体SUBA的被摄体距离位于指定被摄景深度内的一方面被摄体SUBB的被摄体距离位于指定被摄景深度外的方式制定被摄景深度设定信息。因此，在目标聚焦图像201上，清晰地描绘了被摄体SUBA的一方面，被摄体SUBB的像是模糊的。
如上所述，显示控制部105按照在显示部106的显示画面上能够辨识聚焦区域的方式对目标聚焦图像进行加工来获得强调显示图像。图3(a)～(d)的图像210～213分别是基于目标聚焦图像201的强调显示图像的例子。目标聚焦图像201的被摄体SUBA的图像数据所存在的图像区域被包括在聚焦区域中。实际上，被摄体SUBA的周边被摄体(例如，被摄体SUBA的脚下的地面)的图像数据所存在的图像区域也被包括在聚焦区域中，但是，现在为了防止图示的复杂化以及便于说明，假设在强调显示图像210～213中被摄体SUBA以外的全部被摄体的图像区域被包括在非聚焦区域。
例如，如图3(a)所示，通过对目标聚焦图像201进行强调聚焦区域内的图像的边缘的加工处理，能够辨识聚焦区域。在此时获得的强调显示图像210中，被摄体SUBA的边缘被强调显示。边缘的强调能够由使用周知的边缘强调滤波器的滤波处理来实现。在图3(a)中，通过加粗显示被摄体SUBA的轮廓来表示强调了被摄体SUBA的边缘的状态。
或者，例如，如图3(b)的强调显示图像211所示，通过对目标聚焦图像201进行增加聚焦区域内的图像的亮度(或明度)的加工处理，能够辨识聚焦区域。在此时获得的强调显示图像211中，被摄体SUBA被显示得比其它部分更亮。
或者，例如，如图3(c)的强调显示图像212所示，通过对目标聚焦图像201进行降低非聚焦区域内的图像的亮度(或明度)的加工处理，也能够辨识聚焦区域。在此时获得的强调显示图像212中，被摄体SUBA以外的被摄体被显示得较暗。另外，也可以对目标聚焦图像201进行增加聚焦区域内的图像的亮度(或明度)而降低非聚焦区域内的图像的亮度(或明度)的加工处理。
或者，例如，如图3(d)的强调显示图像213所示，通过对目标聚焦图像201进行降低非聚焦区域内的图像的彩度的加工处理，能够辨识聚焦区域。此时，不改变聚焦区域内的图像的彩度。但是，也可以增加聚焦区域内的图像的彩度。
另外，降低非聚焦区域内的图像的亮度时，可以一律按照相同程度降低非聚焦区域内的图像的亮度，但是如图4所示，也可以随着亮度被降低的图像区域的被摄体距离远离指定被摄景深度的中心，逐渐增加亮度的降低程度。降低明度或彩度时也同样。在边缘强调中，也可以使边缘强调的程度不一致。例如，随着边缘强调的图像区域的被摄体距离远离指定被摄景深度的中心，逐渐降低边缘强调的程度。
另外，在上述的加工处理中，也可以组合多个加工处理来实施。例如，也可以采用降低非聚焦区域内的图像的亮度(或明度)的同时强调聚焦区域内的图像的边缘的加工处理。以上举了几个用于能够辨识聚焦区域的方法，但是这些仅仅是例示，只要在显示部106上能够辨识聚焦区域，可采用任何其它方法。
在图5中说明摄像装置100的动作的流程。首先，在步骤S11中，获取原始图像，接着在步骤S12中，根据原始图像的图像数据生成被摄体距离信息。之后，在步骤S13中，摄像装置100接受用户进行的对被摄景深度进行指定的操作，并根据指定的被摄景深度制成被摄景深度设定信息。然后，在步骤S14中，利用被摄体距离信息和被摄景深度设定信息，根据原始图像的图像数据生成目标聚焦图像的图像数据，进一步在步骤S15中生成基于目标聚焦图像的强调显示图像来进行显示。
在显示了该强调显示图像的状态下，执行步骤S16的分离处理。具体而言，在步骤S16中，摄像装置100接受用户进行的确定操作或调整操作。调整操作是对指定被摄景深度进行变更的操作。
在步骤S16中，用户进行了调整操作时，根据被该调整操作变更的指定被摄景深度变更被摄景深度设定信息之后，再次进行步骤S14和S15的处理。即，按照变更后的被摄景深度设定信息，根据原始图像的图像数据再次生成目标聚焦图像的图像数据，并生成和显示基于新的目标聚焦图像的强调显示图像。之后，再次接受用户的确定操作或调整操作。
另一方面，在步骤S16中，用户进行了确定操作时，将成为当前显示的强调显示图像的基础的目标聚焦图像的图像数据，通过压缩处理记录在记录介质(未图示)中(步骤S17)。
根据摄像装置100(和后述的其它实施方式的摄像装置)，摄影原始图像之后，能够生成与任意的被摄体对焦的、具有任意的被摄景深度的目标聚焦图像。即，由于能够进行摄影后的聚焦控制，因此能够消除由于对焦失误引起的摄影的失败。
根据这样的摄影后的聚焦控制，用户想要制成与期望的被摄体聚焦的图像，但是有时设置在摄像装置中的显示画面会比较小，因此很多情况下很难辨识哪一个被摄体处于聚焦状态。考虑到此，在本实施方式中，按照能够辨识处于聚焦状态的图像区域(聚焦被摄体)的方式生成强调显示图像。由此，用户能够轻易识别哪一个被摄体处于聚焦状态，能够确实且轻易地获得与期望的被摄体聚焦的图像。另外，由于使用距离信息特定聚焦区域，因此能够告知用户正确的聚焦区域。
(第2实施方式)说明本发明的第2实施方式。在第2实施方式中，将详细说明从原始图像生成目标聚焦图像的方法的同时，交叉地说明本发明的摄像装置的详细结构和动作例。
参照图6、图7(a)～(c)以及图8，说明在第2实施方式的摄像装置中使用的透镜10L的特性。透镜10L具有比较大的规定的轴上色差。因此，如图6所示，从点光源300向透镜10L的光301被透镜10L分离为蓝色光301B、绿色光301G以及红色光301R，且蓝色光301B、绿色光301G以及红色光301R在互不相同的成像点302B、302G以及302R上进行成像。蓝色光301B、绿色光301G以及红色光301R分别是光301的蓝、绿以及红色成分。
在图7(a)等中，符号11表示在摄像装置中所利用的摄像元件。摄像元件11是CCD(Charge Coupled Device)或CMOS(Complementary MetalOxide Semiconductor)图像传感器等固体摄像元件。摄像元件11是所谓单板方式的图像传感器，在作为摄像元件11的一个图像传感器的各感光像素的前面，配置有仅使光的红色成分透过的红色滤色器、仅使光的绿色成分透过的绿色滤色器、仅使光的蓝色成分透过的蓝色滤色器之中的任一个。红色滤色器、绿色滤色器以及蓝色滤色器的排列是贝叶(ベイヤ)排列。
如图8所示，分别用XB、XG以及XR表示从透镜10L的中心到成像点302B、302G以及302R的距离。这样，根据透镜10L所具有的轴上色差，不等式“XB＜XG＜XR”成立。另外，用XIS表示从透镜10L的中心到摄像元件11的距离。在图8中，“XB＜XG＜XR＜XIS”成立，但是根据光源300到透镜10L的中心的距离310(参照图6)的变化，距离XB、XG、XR与距离XIS的大小关系会发生变化。若将点光源300考虑为关注的被摄体，则距离310是对关注的被摄体而言的被摄体距离。
图7(a)～(c)是表示由于距离310发生变化而成像点302B、302G以及302R的位置发生变化的状态的图。图7(a)表示距离310为比较小的距离且“XB＝XIS”成立时的、成像点302B、302G、302R与摄像元件11的位置关系。图7(b)表示距离310从图7(a)的状态增大而使“XG＝XIS”成立时的、成像点302B、302G、302R与摄像元件11的位置关系。图7(c)表示距离310从图7(b)的状态增大而使“XR＝XIS”成立时的、成像点302B、302G、302R与摄像元件11的位置关系。
距离XIS与距离XB、XG、XR一致时的透镜10L的位置，是与蓝色光301B、绿色光301G、红色光301R对应的透镜10L的聚焦位置。因此，“XB＝XIS”、“XG＝XIS”、“XR＝XIS”成立时，从摄像元件11获得分别与蓝色光301B、绿色光301G、红色光301R完全对焦的状态的图像。但是，在处于与蓝色光301B完全对焦状态的图像中，绿色光301G和红色光301R的像会模糊。在处于与绿色光301G和红色光301R完全对焦的状态的图像中也相同。图8的YB、YG以及YR分别表示形成在摄像元件11的摄像面上的蓝色光301B、绿色光301G、红色光301R的图像的半径。
包括轴上色差特性的透镜10L的特性在摄像装置的设计阶段就已预先知道，并且摄像装置当然也能够识别距离XIS。因此，摄像装置只要知道距离310，就能够利用透镜10L的特性与距离XIS来推定蓝色光301B、绿色光301G、红色光301R的图像的模糊状态。另外，只要知道距离310，就能够决定蓝色光301B、绿色光301G、红色光301R的图像的点扩散函数(Point Spread Function)，因此利用点扩散函数的反函数就能够去除这些图像的模糊。另外，也可以改变距离XIS，但是在以下的说明中，为了说明的简化，没有特别的说明时，距离XIS被固定为一定距离。
图9表示被摄体距离与从摄像元件11获得的原始图像的B、G、R信号的分辨率之间的关系。这里的原始图像指对从摄像元件11获得的RAW数据进行去马赛克处理(demosaic)而得到的图像，相当于由后述的去马赛克处理部14生成的原始图像(参照图11等)。B、G、R信号分别指表示与蓝色光301B对应的图像上的蓝色成分的信号、表示与绿色光301G对应的图像上的绿色成分的信号、表示与红色光301R对应的图像上的红色成分的信号。
另外，本说明书中的分辨率不表示图像的像素数，而是指在图像上能够表现的最大的空间频率。换言之，本说明书中的分辨率是表示在图像上能够再现得细微到何种程度的尺度，也称作分辨能力。
在图9中，曲线320B、320G以及320R分别表示原始图像的B、G、R信号中的分辨率的被摄体距离依赖性。在图9(以及后述的图10等)的表示分辨率与被摄体距离之间的关系的坐标图中，横轴和纵轴分别表示被摄体距离和分辨率，在横轴上从左到右其对应的被摄体距离会增大，并且在纵轴上从下到上其对应的分辨率会增大。
被摄体距离DDB、DDG以及DDR分别是对应于图7(a)的“XB＝XIS”、对应于图7(b)的“XG＝XIS”、对应于图7(c)的“XR＝XIS”成立时的被摄体距离。因此，“DDB＜DDG＜DDR”成立。
如曲线320B所示，原始图像的B信号的分辨率在被摄体距离为距离DDB时最大，在被摄体距离以DDB为起点减少或增大时该分辨率减少。同样，如曲线320G所示，原始图像的G信号的分辨率在被摄体距离为距离DDG时最大，在被摄体距离以DDG为起点减少或增大时该分辨率减少。同样，如曲线320R所示，原始图像的R信号的分辨率在被摄体距离为距离DDR时最大，在被摄体距离以DDR为起点减少或增大时该分辨率减少。
从上述的分辨率的定义可知，原始图像的B信号的分辨率表示原始图像上的B信号的最大空间频率(对于G和R信号也相同)。若某信号的分辨率比较高，则该信号中包括比较多的高频成分。因此，对于被摄体距离比较近的被摄体(例如，被摄体距离为DDB的被摄体)而言，原始信号的B信号中包括高频成分，对于被摄体距离比较远的被摄体(例如，被摄体距离为DDR的被摄体)而言，原始信号的R信号中包括高频成分，对于被摄体距离为中等程度的被摄体(例如，被摄体距离为DDG的被摄体)而言，原始信号的G信号中包括高频成分。另外，在某信号包括的频率成分内，将规定频率以上的频率成分称作高频率成分(以下，简称为高频成分)，将小于规定频率的频率成分称作低频率成分(以下，简称为低频成分)。
若互相补充这些高频成分，则能够生成聚焦范围宽的图像，即被摄景深度深的图像。图10是在图9上添加了曲线320Y的图，该曲线320Y表示通过互相补充原始信号B、G以及R信号的高频成分而生成的Y信号(即亮度信号)的分辨率。进行这样的补充之后，在与期望聚焦的被摄体(例如作为主要被摄体的人物)之间使被摄体距离不同的被摄体(例如，背景)模糊时，能够生成与期望聚焦的被摄体对焦的聚焦范围窄的图像(即，被摄景深度浅的图像)。
关于关注的某图像，Y信号(或B、G以及R信号的全部)所具有的分辨率为某一定基准分辨率RSO以上的被摄体距离的范围是第1实施方式中叙述过的被摄景深度。在本实施方式中，将被摄景深度也称作聚焦范围。
图11是本实施方式所涉及的摄像装置1的整体模块图。摄像装置1具有由符号10～24所参照的各部分。能够将摄像装置1的结构应用于第1实施方式的摄像装置100(参照图1)中。将图11的摄像装置1的结构应用于摄像装置100时，可以考虑成摄像部101包括光学***10和摄像元件11，原始图像生成部102包括AFE12和去马赛克处理部14，被摄体距离检测部103包括高频成分提取/距离检测部15，目标聚焦图像生成部104包括被摄景深度放大处理部16和被摄景深度控制部17，显示控制部105包括显示控制部25，显示部106包括LCD19和触摸屏控制部20。
光学***10由包括用于进行光学变焦的变焦透镜和用于调整焦点位置的聚焦透镜的透镜组、用于调节入射到摄像元件11的入射光量的光圈形成，在摄像元件11的摄像面上使具有期望的视角且具有期望的明亮度的图像成像。将光学***10作为单个透镜表示的是上述的透镜10L。因此，光学***10具有与透镜10L所具有的轴上色差相同的轴上色差。
摄像元件11对通过光学***10入射的表示被摄体的光学像(被摄体像)进行光电变换，并向AFE12输出通过该光电变换获得的模拟点信号。AFE(Analog Front End)12放大从摄像元件11输出的模拟信号，并将放大后的模拟信号变换为数字信号之后输出。按照使AFE12的输出信号电平最佳化的方式，与对光学***10的光阑值的调整连动地调整AFE12的信号放大中的放大率。另外，将AFE12的输出信号也称作RAW数据。RAW数据能够暂时存储于DRAM(Dynamic Random Access Memory)13中。另外，DRAM13除了RAW数据外，还能暂时存储摄像装置1内生成的各种数据。
如上所述，由于摄像元件11是采用了贝叶排列的单板方式图像传感器，因此在由RAW数据表示的二维图像中，红、绿以及蓝色信号分别按照贝叶排列配置成马赛克状。
去马赛克处理部14通过对RAW数据进行周知的去马赛克处理来生成RGB形式的图像数据。将由去马赛克处理部14生成的图像数据表示的二维图像称作原始图像。形成原始图像的每个像素中分配有R、G以及B信号。某像素的R、G以及B信号分别是表示该像素的红、绿以及蓝色的强度的颜色信号。分别用R0、G0以及B0表示原始图像的R、G以及B信号。
高频成分提取/距离检测部15(以下，简称为提取/检测部15)提取颜色信号R0、G0以及B0各自的高频成分，并且通过该提取来推定原始图像的各位置处的被摄体距离，生成表示推定被摄体距离的被摄体距离信息DIST。另外，向被摄景深度放大处理部16输出与高频成分的提取结果相应的信息。
被摄景深度放大处理部16(以下简称为放大处理部16)基于从提取/检测部15输出的信息，通过对由颜色信号R0、G0以及B0表示的原始图像的被摄景深度进行方法(即增加被摄景深度的深度)来生成中间生成图像。分别用R1、G1以及B1表示中间生成图像的R、G以及B信号。
被摄景深度控制部17基于被摄体距离信息DIST和指定针对目标聚焦图像的被摄景深度的被摄景深度设定信息，来调整中间生成图像的被摄景深度，从而生成被摄景深度浅的目标聚焦图像。根据被摄景深度设定信息，能决定针对目标聚焦图像的被摄景深度的深度和将哪个被摄体作为聚焦被摄体。基于用户的指示等，由CPU23制作被摄景深度设定信息。分别用R2、G2以及B2表示目标聚焦图像的R、G以及B信号。
目标聚焦图像的R、G以及B信号被赋予给照相机信号处理部18。也可以将原始图像或中间生成图像的R、G以及B信号赋予给照相机信号处理部18。
照相机信号处理部18将原始图像、中间生成图像或目标聚焦图像的R、G以及B信号变换为由亮度信号Y以及色差信号U和V构成的YUV形式的影像信号后进行输出。通过将该影像信号提供给液晶显示屏LCD19或设置在摄像装置1外部的外部显示装置(未图示)，能够在LCD19的显示画面上或外部显示装置的显示画面上显示原始图像、中间生成图像或目标聚焦图像。
在摄像装置1中还能进行所谓触摸屏操作。用户通过触摸LCD19的显示画面，能够进行对摄像装置1的操作(即，触摸屏操作)。触摸屏控制部20通过检测施加在LCD19的显示画面上的压力来接受触摸屏操作。
压缩/扩展处理部21通过使用规定的压缩方式压缩从照相机信号处理部18输出的影像信号，生成压缩影像信号。另外，通过扩展该压缩影像信号，能够复原压缩前的影像信号。能够在SD(Secure Digital)存储卡等非易失性存储器的记录介质22中记录压缩影像信号。另外，也能在记录介质22中记录RAW数据。CPU(Central Processing Unit)23综合控制形成摄像装置1的各部分的动作。操作部24接受对摄像装置1的各种操作。对操作部24的操作内容被传递给CPU23。
照相机信号处理部18中内置的显示控制部25具有与第1实施方式中所述的显示控制部105(参照图1)相同的功能。即，基于被摄体距离信息DIST和被摄景深度设定信息，通过对目标聚焦图像进行第1实施方式中所述的加工处理，生成应在LCD19的显示画面上显示的强调显示图像。按照在LCD19的显示画面上能够辨识获得的强调显示图像的聚焦区域的方式进行该加工处理。
第1实施方式的图5的动作顺序也能应用在第2实施方式中。即，在用户对暂时生成的目标聚焦图像和基于此的强调显示图像进行了调整操作时，按照被该调整操作改变后的指定被摄景深度来对被摄景深度设定信息进行变更，并根据变更后的被摄景深度设定信息从中间生成图像(或原始图像)的图像数据再次生成目标聚焦图像的图像数据，从而生成并显示基于新的目标聚焦图像的强调显示图像。之后，再次接受用户的确定操作或调整操作。用户进行了确定操作时，将作为当前显示的强调显示图像的基础的目标聚焦图像的图像数据通过压缩处理记录在记录介质22中。
(目标聚焦图像的生成原理：被摄景深度的控制原理)参照图12(a)～(d)，说明从原始图像生成目标聚焦图像的方法的原理。在图12(a)中，曲线400B、400G以及400R分别表示原始图像的B、G以及R信号的分辨率的被摄体距离依赖性，即颜色信号B0、G0以及R0的分辨率的被摄体距离依赖性。曲线400B、400G以及400R分别与图9的曲线320B、320G以及320R相同。图12(a)和(b)的距离DDB、DDG以及DDR与图9中的距离DDB、DDG以及DDR相同。
由于轴上色差，颜色信号B0、G0以及R0的分辨率高的被摄体距离互不相同。如上所述，对于被摄体距离比较近的被摄体而言颜色信号B0中包括高频成分，对于被摄体距离比较远的被摄体而言颜色信号R0中包括高频成分，对于被摄体距离为中等程度的被摄体而言颜色信号G0中包括高频成分。
获得这样的颜色信号B0、G0以及R0之后，在颜色信号B0、G0以及R0之中确定具有最大的高频成分的信号，并通过将所确定的颜色信号的高频成分附加给其它两个颜色信号，能够生成中间生成图像的颜色信号B1、G1以及R1。由于各颜色信号的高频成分的大小根据被摄体距离的变化而变化，因此对互不相同的第1、第2、第3…被摄体距离分别进行该处理。原始图像的整体图像区域内表示了具有各种被摄体距离的被摄体，由图11的提取/检测部15推定各被摄体的被摄体距离。
在图12(b)中，曲线410表示中间生成图像的B、G以及R信号的分辨率的被摄体距离依赖性，即颜色信号B1、G1以及R1的分辨率的被摄体距离依赖性。曲线410是将第一被摄体距离的颜色信号B0、G0以及R0的分辨率的最大值、第二被摄体距离的颜色信号B0、G0以及R0的分辨率的最大值、第三被摄体距离的颜色信号B0、G0以及R0的分辨率的最大值…连合在一起的曲线。中间生成图像的聚焦范围(被摄景深度)比原始图像的大，在中间生成图像的聚焦范围(被摄景深度)内包括距离DDB、DDG以及DDR。
生成中间生成图像，并基于用户的指示等，设定如图12(c)所示的被摄景深度曲线420。图11的被摄景深度控制部17，按照使表示目标聚焦图像的B、G以及R信号的分辨率的被摄体距离依赖性的曲线与被摄景深度曲线420大致相同的方式，修正中间生成图像的B、G以及R信号。图12(d)的实线曲线430表示通过该修正获得的目标聚焦图像的B、G以及R信号的分辨率的被摄体距离依赖性，即颜色信号B2、G2以及R2的分辨率的被摄体距离依赖性。适当设定被摄景深度曲线420时，能够生成聚焦范围窄的目标聚焦图像(被摄景深度浅的目标聚焦图像)。即，能够生成只与期望的被摄体距离上的被摄体对焦而其它的被摄体距离上的被摄体模糊了的目标聚焦图像。
对从颜色信号B0、G0以及R0生成颜色信号B1、G1以及R1的方法的原理进行补充说明。将颜色信号B0、G0、R0、B1、G1以及R1看作被摄体距离D的函数，将这些分别表示为B0(D)、G0(D)、R0(D)、B1(D)、G1(D)以及R1(D)。颜色信号G0(D)能够被分离为高频成分Gh(D)与低频成分GL(D)。同样，颜色信号B0(D)能够被分离为高频成分Bh(D)与低频成分BL(D)，颜色信号R0(D)能够被分离为高频成分Rh(D)与低频成分RL(D)。即，下式成立。G0(D)＝Gh(D)+GL(D)，B0(D)＝Bh(D)+BL(D)，R0(D)＝Rh(D)+RL(D)。
假设光学***10中无轴上色差，则根据局部颜色变化少的这样的图像的性质，通常，下述式(1)成立，并且下述式(2)也成立。这对任意的被摄体距离都成立。实际空间中的被摄体具有各种颜色成分，但是将被摄体具有的颜色成分从局部看时，很多情况下，虽然在微小区域内亮度会变化但是颜色几乎没有变化。例如，沿某一方向对绿叶的颜色成分进行扫描时，根据叶子的纹路而亮度会变化，但是颜色(色相等)几乎没有变化。因此，假设光学***10中无轴上色差时，很多情况下式(1)和(2)成立。Gh(D)/Bh(D)＝GL(D)/BL(D)，           …(1)Gh(D)/GL(D)＝Bh(D)/BL(D)＝Rh(D)/RL(D)…(2)
另一方面，由于实际上光学***10中存在轴上色差，因此对于任意的被摄体距离而言，颜色信号B0(D)、G0(D)以及R0(D)的高频成分互不相同。若反过来考虑，则能够对某一被摄体距离使用具有大的高频成分的一个颜色信号来补偿其它两个颜色信号的高频成分。例如，如图13所示，现设在被摄体距离D1处的颜色信号G0(D)的分辨率比颜色信号B0(D)和R0(D)的分辨率大且设比D1大的某被摄体距离为D2。另外，如图14所示，用符号441表示被摄体距离D1处的被摄体SUB1的图像数据所在的原始图像中的一部分图像区域，用符号442表示被摄体距离D2处的被摄体SUB2的图像数据所在的原始图像中的一部分图像区域。在图像区域441和442上分别出现了被摄体SUB1和SUB2的图像。
图像区域441中的G信号，即G0(D1)(＝Gh(D1)+GL(D1))中会包括很多高频成分，但是由于轴上色差，图像区域441中的B信号和R信号，即B0(D1)(＝Bh(D1)+BL(D1))和R0(D1)(＝Rh(D1)+RL(D1))中包括的高频成分很少。利用图像区域441中的G信号的高频成分来生成该图像区域441中的B和R信号的高频成分。分别用Bh′(D1)和Rh′(D1)表示生成的图像区域441中的B和R信号的高频成分时，根据下述式(3)和(4)求出Bh′(D1)和Rh′(D1)。Bh′(D1)＝BL(D1)×Gh(D1)/GL(D1)    …(3)Rh′(D1)＝RL(D1)×Gh(D1)/GL(D1)    …(4)
若光学***10中没有轴上色差，则根据上述式(1)和(2)，可以认为“Bh(D1)＝BL(D1)×Gh(D1)/GL(D1)”和“Rh(D1)＝RL(D1)×Gh(D1)/GL(D1)”成立，但是由于实际存在的光学***10的轴上色差，对于被摄体距离D1，欠缺了基于原始图像的B和R信号的高频成分Bh(D1)和Rh(D1)。由上述式(3)和(4)生成该欠缺部分。
另外，实际上，由于B0(D1)的高频成分Bh(D1)和R0(D1)的高频成分Rh(D1)很少，因此能够看作B0(D1)≈BL(D1)且R0(D1)≈RL(D1)。因此，对于被摄体距离D1，根据式(5)和(6)并利用B0(D1)、R0(D1)以及Gh(D1)/GL(D1)来生成B1(D1)和R1(D1)，从而生成包括高频成分的信号B1和R1。如式(7)所述，设G1(D1)为G0(D1)。B1(D1)＝BL(D1)+Bh′(D1)≈B0(D1)+B0(D1)×Gh(D1)/GL(D1)  …(5)R1(D1)＝RL(D1)+Rh′(D1)≈R0(D1)+R0(D1)×Gh(D1)/GL(D1)  …(6)G1(D1)＝G0(D1)                  …(7)
以上关注G信号包括很多高频成分的图像区域441，说明了信号B1、G1以及R1的生成方法，在B或R信号包括很多高频成分的图像区域中也进行同样的生成处理。
(高频成分提取、距离推定、被摄景深度放大)说明负责基于上述原理的处理的部分的详细结构例。图15是图11所示的提取/检测部15和放大处理部16的内部模块图。向提取/检测部15和放大处理部16输入原始图像的颜色信号G0、R0以及B0。提取/检测部15具备：HPF(高通滤波器)51G、51R和51B、LPF(低通滤波器)52G、52R和52B、最大值检测部53、距离推定计算部54、选择部55、计算部56。放大处理部16具备选择部61G、61R和61B和计算部62。
原始图像、中间生成图像或目标聚焦图像等任意的二维图像，在水平和垂直方向上多个像素排列为矩阵状而形成，如图16(a)～(c)所示，用(x，y)表示该二维图像上的关注像素的位置。x和y分别表示关注像素的水平和垂直方向的坐标值。而且，分别用G0(x，y)、R0(x，y)以及B0(x，y)表示原始图像的像素位置(x，y)处的颜色信号G0、R0以及B0，分别用G1(x，y)、R1(x，y)以及B1(x，y)表示中间生成图像的像素位置(x，y)处的颜色信号G1、R1以及B1，分别用G2(x，y)、R2(x，y)以及B2(x，y)表示目标聚焦图像的像素位置(x，y)处的颜色信号G2、R2以及B2。
HPF51G、51R以及51B是具有相同结构和相同特性的二维空间滤波器。HPF51G、51R以及51B通过对输入信号G0、R0以及B0进行滤波，提取包含在信号G0、R0以及B0中的规定的高频成分Gh、Rh以及Bh。对于像素位置(x，y)，分别用Gh(x，y)、Rh(x，y)以及Bh(x，y)表示提取出的高频成分Gh、Rh以及Bh。
空间滤波器对输入到空间滤波器中的输入信号进行滤波，并输出由此获得的信号。基于空间滤波器的滤波指利用关注像素位置(x，y)上的输入信号与关注像素位置(x，y)的周边位置上的输入信号来获得空间滤波器的输出信号的操作。用IIN(x，y)表示关注像素位置(x，y)上的输入信号的值，用IO(x，y)表示针对关注像素位置(x，y)的空间滤波器的输出信号时，两者满足下述式(8)的关系。h(u，v)表示空间滤波器的位置(u，v)处的滤波器系数。根据式(8)的空间滤波器的滤波器尺寸是(2w+1)×(2w+1)。w是自然数。 I O ( x , y ) = Σ v = - w w Σ u = - v w { h ( u , v ) · I IN ( x + u , y + v ) } . . . ( 8 )
HPF51G是拉普拉斯滤波器等对输入信号的高频成分进行提取并输出的空间滤波器，利用关注像素位置(x，y)上的输入信号G0(x，y)与关注像素位置(x，y)的周边位置上的输入信号(包括G0(x+1，y+1)等)，获得针对关注像素位置(x，y)的输出信号Gh(x，y)。HPF51R和51B也相同。
LPF52G、52R和52B是具有相同结构和相同特性的二维空间滤波器。LPF52G、52R和52B通过对输入信号G0、R0以及B0进行滤波，提取包含在信号G0、R0以及B0中的规定的低频成分GL、RL以及BL。分别用GL(x，y)、RL(x，y)以及BL(x，y)表示对像素位置(x，y)提取的低频成分GL、RL以及BL。也可以根据“GL(x，y)＝G0(x，y)-Gh(x，y)，RL(x，y)＝R0(x，y)-Rh(x，y)，BL(x，y)＝B0(x，y)-Bh(x，y)”，求出低频成分GL(x，y)、RL(x，y)以及BL(x，y)。
计算部56通过按每个颜色信号且按每个像素位置来用低频成分对通过上述方式获得的高频成分进行标准化，求出值Gh(x，y)/GL(x，y)、Rh(x，y)/RL(x，y)以及Bh(x，y)/BL(x，y)。而且，按每个颜色信号且按每个像素位置，求出这些值的绝对值Ghh(x，y)＝|Gh(x，y)/GL(x，y)|、Rhh(x，y)＝|Rh(x，y)/RL(x，y)|以及Bhh(x，y)＝|Bh(x，y)/BL(x，y)|。
图17表示由计算部56获得的信号Ghh、Rhh以及Bhh与被摄体距离之间的关系。绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)分别是信号Ghh、Rhh以及Bhh的位置(x，y)上的值。曲线450G、450R以及450B分别描绘了相对于被摄体距离的变化而信号Ghh、Rhh以及Bhh如何变化。从图12(a)的曲线400G与图17的曲线450的比较可知，信号Ghh的被摄体距离依赖性相同或类似于信号G0的分辨率的被摄体距离依赖性(信号Rhh和Bhh也相同)。这是由于信号G0的高频成分Gh以及与其绝对值成比例的信号Ghh随着信号G0的分辨率的增减而增减。
最大值检测部53按每个像素位置来确定绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)中的最大值，并输出表示绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)之中哪一个最大的信号SEL_GRB(x，y)。将绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)之中Bhh(x，y)为最大的情况称作案例1，将Ghh(x，y)为最大的情况称作案例2，将Rhh(x，y)为最大的情况称作案例3。
距离推定计算部54基于绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)，推定像素位置(x，y)上的被摄体的被摄体距离DIST(x，y)。参照图18，说明该推定方法。在距离推定计算部54中，首先，预先定义满足0＜DA＜DB的两个被摄体距离DA和DB。距离推定计算部54根据在绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)之中哪一个最大来变更被摄体距离的推定方法。
在案例1中，判断像素位置(x，y)上的被摄体的被摄体距离比较小，在满足0＜DIST(x，y)＜DA的范围内，从Rhh(x，y)/Ghh(x，y)求出推定被摄体距离DIST(x，y)。图18的线段461表示案例1中的Rhh(x，y)/Ghh(x，y)与推定被摄体距离DIST(x，y)的关系。在Bhh(x，y)为最大的案例1中，如图17所示，随着与像素(x，y)对应的被摄体距离增大，Ghh(x，y)和Rhh(x，y)也会一起增大，但是可以认为Ghh(x，y)和Rhh(x，y)相对于被摄体距离的增大的增大程度中Ghh(x，y)的增大程度更大。因此，在案例1中，按照随着Rhh(x，y)/Ghh(x，y)减少而DIST(x，y)增大的方式求出推定被摄体距离DIST(x，y)。
在案例2中，判断像素位置(x，y)上的被摄体的被摄体距离为中等程度，在满足DA≤DIST(x，y)＜DB的范围内，从Bhh(x，y)/Rhh(x，y)求出推定被摄体距离DIST(x，y)。图18的线段462表示案例2中的Bhh(x，y)/Rhh(x，y)与推定被摄体距离DIST(x，y)之间的关系。在Ghh(x，y)为最大的案例2中，如图17所示，随着与像素(x，y)对应的被摄体距离增大，Bhh(x，y)减少，而Rhh(x，y)增大。因此，在案例2中，按照随着Rhh(x，y)/Ghh(x，y)减少而DIST(x，y)增大的方式求出推定被摄体距离DIST(x，y)。
在案例3中，判断像素位置(x，y)上的被摄体的被摄体距离比较大，在满足DB＜DIST(x，y)的范围内，从Bhh(x，y)/Ghh(x，y)求出推定被摄体距离DIST(x，y)。图18的线段463表示案例3中的Bhh(x，y)/Ghh(x，y)与推定被摄体距离DIST(x，y)之间的关系。在Rhh(x，y)为最大的案例3中，如图17所示，随着与像素(x，y)对应的被摄体距离增大，Ghh(x，y)和Bhh(x，y)会一起减少，但是可以认为Ghh(x，y)和Bhh(x，y)相对于被摄体距离的增大的减少程度中Ghh(x，y)的减少程度更大。因此，在案例3中，按照随着Bhh(x，y)/Ghh(x，y)增大而DIST(x，y)增大的方式求出推定被摄体距离DIST(x，y)。
由图9的曲线320G、320R、320B表示的颜色信号的分辨率的被摄体距离依赖性以及根据此的信号Ghh、Rhh、Bhh的被摄体距离依赖性(参照图7)，被光学***10所具有的轴上色差的特性决定，并且该轴上色差的特性在摄像装置1的设计阶段就被决定。另外，从表示信号Ghh、Rhh、Bhh的被摄体距离依赖性的曲线450G、450R、450B的形状能够决定图18的线段461～463。因此，从光学***10所具有的轴上色差的特性，能够预先决定Ghh(x，y)、Rhh(x，y)、Bhh(x，y)与DIST(x，y)之间的关系。实际上，例如，预先将包括了该关系的LUT(查找表)设置在距离推定计算部54中，通过将Ghh(x，y)、Rhh(x，y)、Bhh(x，y)赋予给该LUT来获得DIST(x，y)即可。将包含针对所有的像素位置的推定被摄体距离DIST(x，y)的信息称作被摄体距离信息DIST。
这样，由于具有轴上色差，因此原始图像的图像数据中会包含依赖于被摄体的被摄体距离的信息。在提取/检测部15中，将该信息作为信号Ghh、Rhh、Bhh来提取，并利用提取结果和已知的轴上色差的特性求出DIST(x，y)。
选择部55基于信号SEL_GRB(x，y)来选择由计算部56计算出的值Gh(x，y)/GL(x，y)、Rh(x，y)/RL(x，y)以及Bh(x，y)/BL(x，y)之中的一个，并将选择值作为H(x，y)/L(x，y)来输出。具体而言，在Bhh(x，y)为最大的案例1中，将Bh(x，y)/BL(x，y)作为H(x，y)/L(x，y)来输出，在Ghh(x，y)为最大的案例2中，将Gh(x，y)/GL(x，y)作为H(x，y)/L(x，y)来输出，在Rhh(x，y)为最大的案例3中，将Rh(x，y)/RL(x，y)作为H(x，y)/L(x，y)来输出。
向放大处理部16赋予原始图像的颜色信号G0(x，y)、R0(x，y)、B0(x，y)与信号H(x，y)/L(x，y)。选择部61G、61R以及61B基于信号SEL_GRB(x，y)选择第一和第二输入信号内的一方，并将选择的信号作为G1(x，y)、R1(x，y)、B1(x，y)来输出。选择部61G、61R以及61B的第一输入信号分别是G0(x，y)、R0(x，y)以及B0(x，y)，选择部61G、61R以及61B的第二输入信号分别是由计算部62求出的“G0(x，y)+G0(x，y)×H(x，y)/L(x，y)”、“R0(x，y)+R0(x，y)×H(x，y)/L(x，y)”以及“B0(x，y)+B0(x，y)×H(x，y)/L(x，y)”。
在Bhh(x，y)为最大的案例1中，按照以下方式进行选择部61G、61R以及61B的选择处理：G1(x，y)＝G0(x，y)+G0(x，y)×H(x，y)/L(x，y)，R1(x，y)＝R0(x，y)+R0(x，y)×H(x，y)/L(x，y)，且B1(x，y)＝B0(x，y)；在Ghh(x，y)为最大的案例2中，按照以下方式进行选择部61G、61R以及61B的选择处理：G1(x，y)＝G0(x，y)，R1(x，y)＝R0(x，y)+R0(x，y)×H(x，y)/L(x，y)，且B1(x，y)＝B0(x，y)+B0(x，y)×H(x，y)/L(x，y)；在Rhh(x，y)为最大的案例3中，按照以下方式进行选择部61G、61R以及61B的选择处理：G1(x，y)＝G0(x，y)+G0(x，y)×H(x，y)/L(x，y)，R1(x，y)＝R0(x，y)，且B1(x，y)＝B0(x，y)+B0(x，y)×H(x，y)/L(x，y)。
例如，当关注的像素位置(x，y)为图14的图像区域441内的像素位置时(参照图13)，绝对值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)之中Ghh(x，y)最大。因此，此时，由于H(x，y)/L(x，y)＝Gh(x，y)/GL(x，y)，所以对应于被摄体距离D1的像素位置(x，y)变成：G1(x，y)＝G0(x，y)，R1(x，y)＝R0(x，y)+R0(x，y)×Gh(x，y)/GL(x，y)，且，B1(x，y)＝B0(x，y)+B0(x，y)×Gh(x，y)/GL(x，y)。这三个式子等于在上述式(5)～(7)中将“(D1)”替换成“(x，y)”后的式子。
(目标聚焦图像的具体生成方法)图19是图11所示的被摄景深度控制部17的内部模块图。图19的被摄景深度控制部17具备可变LPF部71、截止频率控制部72。在可变LPF部71中具备形成为能够可变地设定截止频率的三个可变LPF(低通滤波器)71G、71R以及71B，截止频率控制部72基于被摄体距离信息DIST和被摄景深度设定信息来控制可变LPF71G、71R以及71B的截止频率。通过向可变LPF71G、71R以及71B输入信号G1、R1以及B1，从可变LPF71G、71R以及71B获得表示目标聚焦图像的颜色信号G2、R2以及B2。
在生成颜色信号G2、R2以及B2之前，基于用户的指示等生成被摄景深度设定信息。基于被摄景深度设定信息，设定与图12(c)所示相同的图20的被摄景深度曲线420。在由被摄景深度设定信息表示的指定被摄景深度之内，用DMIN表示最短的被摄体距离，用DMAX表示最长的被摄体距离(参照图20)。当然，0＜DMIN＜DMAX。
根据被摄景深度设定信息决定将哪个被摄体作为聚焦被摄体，并且决定应属于目标聚焦图像的被摄景深度之内的被摄体距离DMIN、DCN以及DMAX。被摄体距离DCN是目标聚焦图像的被摄景深度的中心距离，DCN＝(DMIN+DMAX)/2成立。用户能够直接指定DCN的值。另外，用户能够直接指定表示指定被摄景深度的深度的距离差(DMAX-DMIN)。但是，也可以对距离差(DMAX-DMIN)使用预先设定的固定值。
另外，用户能够通过指定应成为聚焦被摄体的特定被摄体来决定DCN的值。例如，在LCD19的显示画面上显示了原始图像或中间生成图像或者暂时生成的目标聚焦图像的状态下，用户利用触摸屏功能指定显示有特定被摄体的显示部分。能够根据该指定结果与被摄体距离信息DIST设定DCN。更具体而言，例如，对于用户而言的特定被摄体为图14的被摄体SUB1时，用户利用触摸屏功能进行指定图像区域441的操作。这样，对图像区域441推定的被摄体距离DIST(x，y)被设定为DCN(推定理想时，DCN＝D1)。
被摄景深度曲线420是决定被摄体距离与分辨率的关系的曲线，被摄景深度曲线420上的分辨率在被摄体距离DCN处取最大值，随着被摄体距离远离DCN而该分辨率逐渐减少(参照图20)。被摄体距离DCN处的被摄景深度曲线420上的分辨率比基准分辨率RSO大，被摄体距离DMIN和DMAX处的被摄景深度曲线420上的分辨率与基准分辨率RSO一致。
在截止频率控制部72中，假定针对所有的被摄体距离分辨率均与被摄景深度曲线420上的最大分辨率一致的假想信号。图20的虚线421表示假想信号中的分辨率的被摄体距离依赖性。在截止频率控制部72中，求出通过低通滤波处理将虚线421变换为被摄景深度曲线420时所需的低通滤波器的截止频率。即，将假设假想信号为向可变LPF71G、71R以及71B的输入信号时的可变LPF71G、71R以及71B的输出信号称作假想输出信号的情况下，截止频率控制部72按照表示假想输出信号的分辨率的被摄体距离依赖性的曲线与被摄景深度曲线420一致的方式，设定可变LPF71G、71R以及71B的截止频率。图20中，上下方向的实线箭头组表示对应于虚线421的假想信号的分辨率降低到被摄景深度曲线420的分辨率的状态。
根据被摄体距离信息DIST，截止频率控制部72决定对哪个图像区域设定什么样的截止频率。例如(参照图14)，考虑被摄体距离D1的被摄体SUB1的图像数据所在的图像区域441内存在像素位置(x1，y1)、且被摄体距离D2的被摄体SUB2的图像数据所在的图像区域442内存在像素位置(x2，y2)的情况。此时，若忽略被摄体距离的推定误差，则对应像素位置(x1，y1)的推定被摄体距离DIST(x1，y1)和对应其周边像素位置的推定被摄体距离成为D1，而对应像素位置(x2，y2)的推定被摄体距离DIST(x2，y2)和对应其周边像素位置的推定被摄体距离成为D2。另外，如图21所示，设对应于被摄体距离D1和D2的、被摄景深度曲线420上的分辨率分别是RS1和RS2。
此时，截止频率控制部72决定将与虚线421对应的假想信号的分辨率降低到分辨率RS1为止所需的低通滤波器的截止频率CUT1，将截止频率CUT1应用于图像区域441内的信号G1、R1以及B1上。由此，在可变LPF71G、71R以及71B中，对图像区域441内的信号G1、R1以及B1进行截止频率为CUT1的低通滤波处理。该低通滤波处理后的信号被作为目标聚焦图像的图像区域441内的信号G2、R2以及B2而输出。
同样，截止频率控制部72决定将与虚线421对应的假想信号的分辨率降低到分辨率RS2为止所需的低通滤波器的截止频率CUT2，将截止频率CUT2应用于图像区域442内的信号G1、R1以及B1上。由此，在可变LPF71G、71R以及71B中，对图像区域442内的信号G1、R1以及B1进行截止频率为CUT2的低通滤波处理。该低通滤波处理后的信号被作为目标聚焦图像的图像区域442内的信号G2、R2以及B2而输出。
事先准备好规定低通滤波处理后获得的分辨率与低通滤波器的截止频率之间的关系的表格数据或计算式，能够使用该表格数据或计算式来决定应对可变LPF部71设定的截止频率。根据该表格数据或计算式，规定对应于分辨率RS1和RS2的截止频率分别为CUT1和CUT2。
如图21所示，由于被摄体距离D1属于目标聚焦图像的被摄景深度内且被摄体距离D2不包括在目标聚焦图像的被摄景深度中，因此，按照CUT1＞CUT2成立的方式设定截止频率CUT1和CUT2，通过可变LPF部71，图像区域442内的图像比图像区域441内的图像模糊，结果，在目标聚焦图像中，图像区域442内的图像的分辨率比图像区域441内的图像的分辨率低。另外，与图21所示的情况不同，DMAX＜D1＜D2时，也按照CUT1＞CUT2成立的方式设定截止频率CUT1和CUT2，但是由于被摄体距离D1和D2不属于被指定的被摄体景深内，因此，通过可变LPF部71，中间生成图像中的图像区域441和442内的图像均变模糊。但是，就其模糊的程度而言，图像区域442比图像区域441大，结果，在目标聚焦图像中，图像区域442内的图像的分辨率比图像区域441内的图像的分辨率低。
通过对中间生成图像的整体图像区域进行这样的低通滤波处理，从可变LPF部71输出目标聚焦图像的各像素位置处的颜色信号G2、R2以及B2。如上所述，用图12(d)的曲线430表示该颜色信号G2、R2以及B2的分辨率的被摄体距离依赖性。由截止频率控制部72决定的截止频率用于将假想信号(421)的分辨率特性变换为被摄景深度曲线420的分辨率特性，相对于此，实际的颜色信号G1、R1以及B1的分辨率特性与假想信号的该特性不同。因此，曲线430与被摄景深度曲线420稍微不同。
(第1变形例)在上述的方法中，通过高频成分的补充处理和低通滤波处理来实现从原始图像生成目标聚焦图像的处理，但是也可以利用在将轴上色差引起的图像模糊看作图像劣化时的点扩散函数(Point Spread Function，以下称作PSF)来从原始图像生成中间生成图像之后生成目标聚焦图像。将该方法作为第1变形例来说明。
能够将原始图像考虑为因轴上色差而劣化的图像。这里的劣化是轴上色差导致的图像的模糊。将表示该劣化过程的函数或空间滤波器称作PSF。由于只要决定了被摄体距离就能求出每个颜色信号的PSF，因此，只要基于被摄体距离信息DIST所包含的原始图像上的各位置的推定被摄体距离，就能决定原始图像上的各位置的每个颜色信号的PSF。只要对颜色信号G0、R0以及B0进行利用了这些PSF的反函数的卷积运算，就能够去除轴上色差导致的原始图像的劣化(模糊)。去除劣化的处理也被称作图像复原处理。通过该去除而获得的图像是第1变形例的中间生成图像。
图22是第1变形例所涉及的被摄景深度调整部26的内部模块图。能够用被摄景深度调整部26替换图11的放大处理部16和被摄景深度控制部17。分别用G1′、R1′以及B1′表示由被摄景深度调整部26生成的中间生成图像的G、R以及B信号，并且分别用G2′、R2′以及B2′表示由被摄景深度调整部26生成的目标聚焦图像的G、R以及B信号。在第1变形例中，该颜色信号G2′、R2′以及B2′被作为目标聚焦图像的颜色信号G2、R2以及B2来提供给显示控制部25。
图22的图像复原滤波器81是用于使上述的反函数作用在信号G0、R0以及B0上的二维空间滤波器。图像复原滤波器81相当于表示轴上色差导致的原始图像的劣化过程的PSF的逆滤波器。滤波器系数计算部83根据被摄体距离信息DIST求出原始图像上的各位置处的与颜色信号G0、R0以及B0对应的PSF的反函数，并且为了将该求出的反函数作用于信号G0、R0以及B0而计算出图像复原滤波器81的滤波器系数。图像复原滤波器81通过使用由滤波器系数计算部83计算出的滤波器系数对颜色信号G0、R0以及B0分别进行滤波，从而生成颜色信号G1′、R1′以及B1′。
图23的虚线500表示颜色信号G1′、R1′以及B1′的分辨率的被摄体距离依赖性。如上所述，曲线400G、400R以及400B表示颜色信号G0、R0以及B0的分辨率的被摄体距离依赖性。通过按每个颜色信号的图像复原处理，获得分辨率在G、R以及B信号中均高的中间生成图像。
被摄景深度调整滤波器82也是二维空间滤波器。被摄景深度调整滤波器82通过按每个颜色信号对颜色信号G1′、R1′以及B1′进行滤波，来生成表示目标聚焦图像的颜色信号G2′、R2′以及B2′。由滤波器系数计算部84计算出作为被摄景深度调整滤波器82的空间滤波器的滤波器系数。
根据被摄景深度设定信息，设定图20或图21所示的被摄景深度曲线420。与图23的虚线500对应的颜色信号G1′、R1′以及B1′相当于与图20或图21的虚线421对应的上述的假想信号。被摄景深度调整滤波器82按照表示颜色信号G2′、R2′以及B2′的分辨率的被摄体距离依赖性的曲线与被摄景深度曲线420一致的方式，对颜色信号G1′、R1′以及B1′进行滤波。
基于被摄景深度设定信息与被摄体距离信息DIST，由滤波器系数计算部84计算出用于实现这样的滤波的被摄景深度调整滤波器82的滤波器系数。
另外，也可以通过将图22的被摄景深度调整部26内的被摄景深度调整滤波器82和滤波器系数计算部84替换成图19的可变LPF71部和截止频率控制部72，并利用这些可变LPF71部和截止频率控制部72对颜色信号G1′、R1′以及B1′进行低通滤波处理，从而生成颜色信号G2′、R2′以及B2′。此时，如上所述，基于被摄景深度设定信息和被摄距离信息DIST来决定可变LPF71部的截止频率即可。
(第2变形例)另外，在图22的结构中，进行用于获得中间生成图像的滤波后进行用于获得目标聚焦图像的滤波，但是也可以一次进行两个滤波。即，也可以按照图24的被摄景深度调整部26a的方式构成被摄景深度调整部26。图24是被摄景深度调整部26a的内部模块图。将使用被摄景深度调整部26a的方法称作第2变形例。在第2变形例中，将被摄景深度调整部26a用作被摄景深度调整部26。被摄景深度调整部26a具备被摄景深度调整滤波器91和滤波器系数计算部92。
被摄景深度调整滤波器91是进行综合了基于图22的图像复原滤波器81的滤波和基于被摄景深度调整滤波器82的滤波的滤波的二维空间滤波器。通过按每个颜色信号对原始图像的颜色信号G0′、R0′以及B0′进行基于被摄景深度调整滤波器91的滤波，直接生成颜色信号G2′、R2′以及B2′。在第2变形例中，由被摄景深度调整部26a生成的颜色信号G2′、R2′以及B2′被作为目标聚焦图像的颜色信号G2、R2以及B2来提供给显示控制部25。
滤波器系数计算部92是综合了图22的滤波器系数计算部83和84的滤波器系数计算部，根据被摄体距离信息DIST和被摄景深度设定信息，按每个颜色信号计算被摄景深度调整滤波器91的滤波器系数。
(变形等)上述的说明中所示的具体数值仅仅是例示，当然，能够将其变更为各种数值。作为上述的实施方式的变形例或注释事项，下面记载注释1～注释4。各注释中记载的内容只要不存在矛盾就能够任意进行组合。
(注释1)在第1实施方式中，图1的被摄体距离检测部103基于图像数据进行被摄体距离的检测，但是也可以基于图像数据以外的其它数据进行被摄体距离的检测。
例如，能够使用立体相机进行被摄体距离的检测。即，可以将摄像部101作为第一照相部来使用，并将与第一照相部同样的第二照相部(未图示)设置在摄像装置100中，基于通过第一照相部和第二照相部的摄影得到的一对原始图像来进行被摄体距离的检测。众所周知，形成立体相机的第一照相部和第二照相部配置在互不相同的位置，能够基于从第一照相部获得的原始图像与从第二照相部获得的原始图像之间的误差(即，视差(disparity))来检测各像素位置(x，y)的被摄体距离。
另外，例如，也可以将测量被摄体距离的距离传感器(未图示)设置在摄像装置100中，并根据距离传感器的测量结果检测各像素位置(x，y)的被摄体距离。距离传感器例如向摄像装置100的摄影方向放射光并测量放射的光被被摄体反射回来的时间。基于测量出的时间，能够检测被摄体距离，且通过变更光的放射方向，能够检测各像素位置(x，y)的被摄体距离。
(注释2)以上实施方式中记载了在摄像装置(1或100)内实现从原始图像生成目标聚焦图像和强调显示图像并进行该强调显示图像的显示控制的功能，但是也可以用摄像装置外部的图像显示装置(未图示)实现该功能。
例如，在该外部的图像显示装置中设置图1的符号103～106所参照的各部分。或者，例如，在该外部的图像显示装置中设置图11的符号15～25所参照的各部分。再或者，在该外部的图像显示装置中设置图11的符号15、18～25所参照的各部分、图22或图24的被摄景深度调整部26或26a。而且，通过向外部的图像显示装置提供由摄像装置(1或100)的摄影得到的原始图像的图像数据(例如，颜色信号G0、R0以及B0)，在该图像显示装置内进行目标聚焦图像和强调显示图像的生成以及强调显示图像的显示。
(注释3)可由硬件或硬件与软件的组合来实现摄像装置(1或100)。特别是，可由硬件、软件或者硬件与软件的组合来实现从原始图像生成目标聚焦图像和强调显示图像的功能的全部或一部分。利用软件构成摄像装置(1或100)时，由软件实现的部分的模块图表示该部分的功能模块图。
(注释4)在第1实施方式所涉及的摄像装置100和第2实施方式所涉及的摄像装置1中，能够考虑成分别内置有获取包括被摄体距离信息的图像数据的图像获取部。在摄像装置100中，该图像获取部包括摄像部101而形成，而且，作为构成要素能够包括原始图像生成部102(参照图1或图25)。在摄像装置1中，该图像获取部包括摄像元件11而形成，而且，作为构成要素能够包括AFE12和/或去马赛克处理部14(参照图11)。在第1实施方式中，记载了由显示控制部105根据目标聚焦图像生成部104所生成的目标聚焦图像来生成强调显示图像并在显示部106上显示该强调显示图像，但是，显示控制部105也能够使目标聚焦图像本身显示在显示部106上。此时，包括目标聚焦图像生成部104和显示控制部105的部分作为生成目标聚焦图像或者基于目标聚焦图像的强调显示图像并在显示部106上进行显示的图像生成/显示控制部而起作用。在第2实施方式中，显示控制部25也能够在LCD19上显示由信号G2、R2以及B2表示的目标聚焦图像本身(参照图11)。此时，包括放大处理部16、被摄景深度控制部17以及显示控制部25的部分作为生成目标聚焦图像或者基于目标聚焦图像的强调显示图像并在LCD19上进行显示的图像生成/显示控制部而起作用。

Claims (9)

1.一种图像显示装置，其特征在于，具备：
被摄体距离检测部，其检测由摄像部摄影的各被摄体的被摄体距离；
输出图像生成部，其根据由所述摄像部的摄影而得到的输入图像，生成与位于特定距离范围内的被摄体对焦的图像来作为输出图像；和
显示控制部，其基于所述被摄体距离检测部的检测结果，将作为所述输出图像中的图像区域的、位于所述特定距离范围内的被摄体出现的图像区域作为聚焦区域来提取，并按照能够辨识所述聚焦区域的方式在显示部上显示基于所述输出图像的显示图像。
2.根据权利要求1所述的图像显示装置，其特征在于，
所述被摄体距离检测部基于所述输入图像的图像数据和所述摄像部的光学***的特性，检测所述输入图像上的各位置处的被摄体的被摄体距离，
所述输出图像生成部接受所述特定距离范围的指定，并对所述输入图像进行与所述被摄体距离检测部检测的被摄体距离、被指定的所述特定距离范围、所述摄像部的光学***的特性相应的图像处理，从而生成所述输出图像。
3.根据权利要求2所述的图像显示装置，其特征在于，
所述输入图像的图像数据中包括基于所述输入图像上的各位置处的被摄体的被摄体距离的信息，
所述被摄体距离检测部从所述输入图像的图像数据中提取所述信息，并基于提取结果和所述光学***的特性来检测所述输入图像上的各位置处的被摄体的被摄体距离。
4.根据权利要求2所述的图像显示装置，其特征在于，
所述被摄体距离检测部将表示所述输入图像的多个颜色的颜色信号中包含的规定的高频成分按每个颜色信号进行提取，并基于提取结果和所述光学***的轴上色差的特性来检测所述输入图像上的各位置处的被摄体的被摄体距离。
5.一种摄像装置，其特征在于，具备：
摄像部；和
权利要求1所述的图像显示装置。
6.一种摄像装置，具备摄像部和权利要求2所述的图像显示装置，其特征在于，
通过利用了所述摄像部的摄影而得到的图像数据被作为所述输入图像的图像数据而提供给所述图像显示装置，
在所述输入图像的摄影之后，按照指定所述特定距离范围的操作，根据所述输入图像生成所述输出图像，并在所述显示部上显示基于该输出图像的所述显示图像。
7.一种图像显示装置，其特征在于，具备：
图像获取部，其获取包含基于各被摄体的被摄体距离的被摄体距离信息的图像数据来作为输入图像的图像数据；
特定被摄体距离输入部，其接受特定被摄体距离的输入；和
图像生成/显示控制部，其基于所述被摄体距离信息对所述输入图像进行图像处理，来生成与位于所述特定被摄体距离上的被摄体对焦的输出图像，并在显示部上显示所述输出图像或基于所述输出图像的图像。
8.根据权利要求7所述的图像显示装置，其特征在于，
所述图像生成/显示控制部在所述输出图像中确定对焦的被摄体，并对该对焦的被摄体进行强调后显示在所述显示部上。
9.一种摄像装置，其特征在于，具备：
摄像部；和
权利要求7所述的图像显示装置。
CN200910260604A 2008-12-18 2009-12-17 图像显示装置及摄像装置 Pending CN101753844A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008322221A JP5300133B2 (ja) 2008-12-18 2008-12-18 画像表示装置及び撮像装置
JP2008-322221 2008-12-18

Publications (1)

Publication Number Publication Date
CN101753844A true CN101753844A (zh) 2010-06-23

Family

ID=42265491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910260604A Pending CN101753844A (zh) 2008-12-18 2009-12-17 图像显示装置及摄像装置

Country Status (3)

Country Link
US (1) US20100157127A1 (zh)
JP (1) JP5300133B2 (zh)
CN (1) CN101753844A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002212A (zh) * 2011-09-15 2013-03-27 索尼公司 图像处理器、图像处理方法和计算机可读介质
CN103139472A (zh) * 2011-11-28 2013-06-05 三星电子株式会社 数字拍摄设备及其控制方法
CN103167294A (zh) * 2011-12-12 2013-06-19 豪威科技有限公司 具有延长景深的摄像***与方法
CN104081755A (zh) * 2012-11-30 2014-10-01 松下电器产业株式会社 图像处理装置以及图像处理方法
CN105357444A (zh) * 2015-11-27 2016-02-24 努比亚技术有限公司 对焦方法和装置
CN106576140A (zh) * 2014-10-28 2017-04-19 夏普株式会社 图像处理装置以及程序
CN108322641A (zh) * 2017-01-16 2018-07-24 佳能株式会社 摄像控制设备、控制方法和存储介质
CN108632529A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN109314749A (zh) * 2016-06-28 2019-02-05 索尼公司 成像设备、成像方法和程序
CN109901710A (zh) * 2016-10-19 2019-06-18 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置、存储介质及终端
CN110073652A (zh) * 2016-12-12 2019-07-30 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
CN111243331A (zh) * 2019-04-23 2020-06-05 绿桥(泰州)生态修复有限公司 现场信息识别反馈方法
CN112969963A (zh) * 2018-10-30 2021-06-15 佳能株式会社 信息处理设备及其控制方法、程序和存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
JP5330291B2 (ja) * 2010-02-23 2013-10-30 株式会社東芝 信号処理装置及び撮像装置
JP2011215707A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5660711B2 (ja) * 2010-09-16 2015-01-28 富士フイルム株式会社 復元ゲインデータ生成方法
JP2012235180A (ja) * 2011-04-28 2012-11-29 Nikon Corp デジタルカメラ
WO2013005602A1 (ja) * 2011-07-04 2013-01-10 オリンパス株式会社 撮像装置、画像処理装置
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
JP6094359B2 (ja) * 2013-04-23 2017-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN105453534B (zh) * 2013-05-13 2018-07-06 富士胶片株式会社 图像处理装置及方法
JP6429444B2 (ja) * 2013-10-02 2018-11-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
JP2016072965A (ja) * 2014-09-29 2016-05-09 パナソニックＩｐマネジメント株式会社 撮像装置
US9635242B2 (en) * 2014-09-29 2017-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
JP6769434B2 (ja) * 2015-06-18 2020-10-14 ソニー株式会社 表示制御装置、表示制御方法および表示制御プログラム
US9762790B2 (en) * 2016-02-09 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus using edge detection and distance for focus assist
WO2017154367A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、および画像処理方法、撮像装置ならびにプログラム
JP2019114821A (ja) * 2016-03-23 2019-07-11 日本電気株式会社 監視システム、装置、方法およびプログラム
KR102442594B1 (ko) * 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
US10634559B2 (en) * 2018-04-18 2020-04-28 Raytheon Company Spectrally-scanned hyperspectral electro-optical sensor for instantaneous situational awareness
US11394941B2 (en) * 2018-05-28 2022-07-19 Sony Corporation Image processing device and image processing method
US11061145B2 (en) 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
JP7170609B2 (ja) * 2019-09-12 2022-11-14 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
JP2021180449A (ja) 2020-05-15 2021-11-18 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293035A (ja) * 2005-04-11 2006-10-26 Canon Inc 撮像装置、焦点調節装置及びその制御方法
US20080158377A1 (en) * 2005-03-07 2008-07-03 Dxo Labs Method of controlling an Action, Such as a Sharpness Modification, Using a Colour Digital Image
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017401A (ja) * 2005-07-11 2007-01-25 Central Res Inst Of Electric Power Ind 立体画像情報取得方法並びに装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158377A1 (en) * 2005-03-07 2008-07-03 Dxo Labs Method of controlling an Action, Such as a Sharpness Modification, Using a Colour Digital Image
JP2006293035A (ja) * 2005-04-11 2006-10-26 Canon Inc 撮像装置、焦点調節装置及びその制御方法
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002212B (zh) * 2011-09-15 2018-06-19 索尼公司 图像处理器、图像处理方法和计算机可读介质
CN103002212A (zh) * 2011-09-15 2013-03-27 索尼公司 图像处理器、图像处理方法和计算机可读介质
CN103139472A (zh) * 2011-11-28 2013-06-05 三星电子株式会社 数字拍摄设备及其控制方法
CN103167294A (zh) * 2011-12-12 2013-06-19 豪威科技有限公司 具有延长景深的摄像***与方法
CN103167294B (zh) * 2011-12-12 2017-07-07 豪威科技股份有限公司 具有延长景深的摄像***与方法
CN104081755A (zh) * 2012-11-30 2014-10-01 松下电器产业株式会社 图像处理装置以及图像处理方法
CN104081755B (zh) * 2012-11-30 2018-02-02 松下知识产权经营株式会社 图像处理装置以及图像处理方法
CN106576140A (zh) * 2014-10-28 2017-04-19 夏普株式会社 图像处理装置以及程序
CN106576140B (zh) * 2014-10-28 2019-10-18 夏普株式会社 图像处理装置以及摄像装置
CN105357444B (zh) * 2015-11-27 2018-11-02 努比亚技术有限公司 对焦方法和装置
CN105357444A (zh) * 2015-11-27 2016-02-24 努比亚技术有限公司 对焦方法和装置
CN109314749A (zh) * 2016-06-28 2019-02-05 索尼公司 成像设备、成像方法和程序
CN109901710B (zh) * 2016-10-19 2020-12-01 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置、存储介质及终端
CN109901710A (zh) * 2016-10-19 2019-06-18 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置、存储介质及终端
CN110073652A (zh) * 2016-12-12 2019-07-30 索尼半导体解决方案公司 成像装置以及控制成像装置的方法
US11178325B2 (en) 2017-01-16 2021-11-16 Canon Kabushiki Kaisha Image capturing control apparatus that issues a notification when focus detecting region is outside non-blur region, control method, and storage medium
CN108322641A (zh) * 2017-01-16 2018-07-24 佳能株式会社 摄像控制设备、控制方法和存储介质
CN108322641B (zh) * 2017-01-16 2020-12-29 佳能株式会社 摄像控制设备、控制方法和存储介质
US10868954B2 (en) 2017-03-24 2020-12-15 Samsung Electronics Co., Ltd. Electronic device for providing graphic indicator for focus and method of operating electronic device
CN108632529A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN108632529B (zh) * 2017-03-24 2021-12-03 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN112969963A (zh) * 2018-10-30 2021-06-15 佳能株式会社 信息处理设备及其控制方法、程序和存储介质
CN112969963B (zh) * 2018-10-30 2022-08-30 佳能株式会社 信息处理设备及其控制方法和存储介质
US11729494B2 (en) 2018-10-30 2023-08-15 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and storage medium
CN111243331A (zh) * 2019-04-23 2020-06-05 绿桥(泰州)生态修复有限公司 现场信息识别反馈方法

Also Published As

Publication number Publication date
JP2010145693A (ja) 2010-07-01
US20100157127A1 (en) 2010-06-24
JP5300133B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
CN101753844A (zh) 图像显示装置及摄像装置
JP6173156B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2010081002A (ja) 撮像装置
US8823843B2 (en) Image processing device, image capturing device, image processing method, and program for compensating for a defective pixel in an imaging device
WO2016112704A1 (zh) 调节投影仪焦距的方法和装置、计算机存储介质
EP3414735A1 (en) Systems and methods for implementing seamless zoom function using multiple cameras
US8340512B2 (en) Auto focus technique in an image capture device
JP2020166628A (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
CN102625043A (zh) 图像处理设备、成像设备和图像处理方法
CA2996751A1 (en) Calibration of defective image sensor elements
CN102844788A (zh) 图像处理装置及使用该图像处理装置的图像拾取装置
US10200593B2 (en) Image capturing apparatus and control method thereof
EP2529555A1 (en) Denoising cfa images using weighted pixel differences
US20130162780A1 (en) Stereoscopic imaging device and shading correction method
WO2013027504A1 (ja) 撮像装置
JP2020144488A (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
CN106296625A (zh) 图像处理装置及图像处理方法、摄像装置及摄像方法
JP4992698B2 (ja) 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
JP2011215707A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US7995120B2 (en) Image brightness compensating apparatus and method, recorded medium recorded the program performing it
JP2013017138A (ja) 撮像装置、画像処理装置
JP5464982B2 (ja) 撮像装置および画像処理方法
JP2013097154A (ja) 距離測定装置、撮像装置、距離測定方法
US10205870B2 (en) Image capturing apparatus and control method thereof
JP6056160B2 (ja) 自動合焦装置、自動合焦方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100623