CN118175440A - 图像处理设备、摄像设备、图像处理方法和存储介质 - Google Patents

图像处理设备、摄像设备、图像处理方法和存储介质 Download PDF

Info

Publication number
CN118175440A
CN118175440A CN202311671946.6A CN202311671946A CN118175440A CN 118175440 A CN118175440 A CN 118175440A CN 202311671946 A CN202311671946 A CN 202311671946A CN 118175440 A CN118175440 A CN 118175440A
Authority
CN
China
Prior art keywords
image
images
information
imaging magnification
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311671946.6A
Other languages
English (en)
Inventor
中村日向子
吉田宣和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN118175440A publication Critical patent/CN118175440A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种图像处理设备、摄像设备、图像处理方法和存储介质。所述图像处理设备包括：获取单元，其被配置为获取镜头信息；合成单元，其被配置为基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及检测器，其被配置为检测主被摄体。在所述检测器未检测到所述主被摄体的情况下，所述合成单元被配置为基于与所述摄像倍率有关的信息来将所述多个图像进行合成。

Description

图像处理设备、摄像设备、图像处理方法和存储介质
技术领域
实施例的方面其中之一涉及图像处理设备、摄像设备、图像处理方法和存储介质。
背景技术
所谓的深度合成技术是已知的，该深度合成技术拍摄光轴方向上的焦点位置不同的多个图像(对焦包围摄像(focus bracket imaging))，提取各图像的聚焦区域，并且合成具有扩大的景深的图像。将设置适当的景深以生成用户所期望的深度合成图像。日本特开2016-39613公开了用于基于用户在画面(图像)上指定的任意范围中的距离信息来生成合成图像的方法。
日本特开2016-39613中所公开的方法在无用户操作的情况下，不能进行诸如深度合成范围等的与深度合成相关的设置。
发明内容
根据实施例的一方面的一种图像处理设备，其包括：获取单元，其被配置为获取镜头信息；合成单元，其被配置为基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及检测器，其被配置为检测主被摄体。在所述检测器未检测到所述主被摄体的情况下，所述合成单元被配置为基于与所述摄像倍率有关的信息来将所述多个图像进行合成。
根据实施例的另一方面的一种图像处理设备，其包括：获取单元，其被配置为获取镜头信息；合成单元，其被配置为基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及移动被摄体判断单元，其被配置为判断是否存在移动被摄体。在所述移动被摄体判断单元判断为存在所述移动被摄体的情况下，所述合成单元不将所述多个图像进行合成。
具有上述图像处理设备其中之一的摄像设备也构成实施例的另一方面。与上述图像处理设备中的各图像处理设备相对应的图像处理方法也构成实施例的另一方面。存储有使得计算机执行上述图像处理方法的程序的存储介质也构成实施例的另一方面。
通过以下参考附图对实施例的说明，本公开的更多特征将变得明显。
附图说明
图1是根据各实施例的摄像设备的框图。
图2说明第一实施例中的深度合成图像。
图3是例示根据第一实施例的深度合成处理的流程图。
图4说明根据第一实施例的主被摄体检测的示例。
图5A和图5B说明第一实施例中的背景区域检测的示例。
图6是例示根据第二实施例的深度合成处理的流程图。
具体实施方式
在下文，术语“单元”可以指软件上下文、硬件上下文、或者软件上下文和硬件上下文的组合。在软件上下文中，术语“单元”指功能性、应用、软件模块、功能、例程、指令集或可以由诸如微处理器、中央处理单元(CPU)或专门设计的可编程装置或控制器等的可编程处理器执行的程序。存储器包含由CPU执行时使CPU进行与单元或功能相对应的操作的指令或程序。在硬件上下文中，术语“单元”指硬件元件、电路、组装件、物理构造、***、模块或子***。根据具体实施例，术语“单元”可以包括机械、光学或电子组件、或者它们的任何组合。术语“单元”可以包括有源组件(例如，晶体管)或无源组件(例如，电容器)。术语“单元”可以包括包含具有衬底以及具有各种浓度的电导率的其他材料层的半导体器件。术语“单元”可以包括可以执行存储器中所存储的程序以进行指定功能的CPU或可编程处理器。术语“单元”可以包括由晶体管电路或任何其他开关电路实现的逻辑元件(例如，与(AND)、或(OR))。在软件上下文和硬件上下文的组合中，术语“单元”或“电路”指如上所述的软件上下文和硬件上下文的任何组合。另外，术语“元件”、“组装件”、“组件”或“装置”也可以指与封装材料集成或不与封装材料集成的“电路”。
现在将参考附图给出对根据本公开的实施例的详细说明。
第一实施例
现在参考图1，将给出对根据第一实施例的摄像设备(图像处理设备)100的说明。图1是摄像设备100的框图。在本实施例中，摄像设备100是数字照相机，但不限于该示例，并且可以是具有图像传感器且能够获取图像的其他任何设备，诸如便携式设备或网络照相机等。
摄像设备100包括摄像***，该摄像***包括快门101、挡板102、调焦透镜103和摄像单元22。在摄像设备100中，照相机本体和镜头设备可以是一体化的，或者镜头设备可以可附接到照相机本体且可从照相机本体拆卸。
快门101是具有光圈功能的快门。挡板102覆盖摄像设备100的摄像***，以防止摄像***变脏或被损坏。调焦透镜103是布置在快门101和挡板102之间的未例示的透镜单元中所包括的透镜。上述的透镜单元还包括诸如变焦透镜等的其他透镜。摄像单元22包括将光学图像转换成电信号的图像传感器(诸如CCD或CMOS器件等)、以及A/D转换处理功能。摄像单元22的输出数据(拍摄图像)经由图像处理单元24和存储器控制单元15或者经由存储器控制单元15被直接写入存储器32。在以下将说明的对焦包围摄像中，设置数量的拍摄图像全部被写入存储器32。
摄像设备100还包括自动调焦(AF)评价值检测器23、闪光灯90、图像处理单元24、深度合成单元25、运动检测器(移动被摄体判断单元)26、状态检测器27、存储器32、D/A转换器13和显示单元28。摄像设备100还包括非易失性存储器56、***控制单元50、***存储器52和***计时器53。AF评价值检测器23设置在摄像单元22的内部，根据从数字图像信号获得的对比度信息等计算AF评价值，并且将所获得的AF评价值从摄像单元22发送到***控制单元50。通过在摄像期间发光，闪光灯90可以在低照度场景或背光场景中的摄像期间补充照度。
图像处理单元24对从摄像单元22输出的图像数据或来自存储器控制单元15的图像数据进行预定像素插值、诸如缩小等的调整大小处理、以及颜色转换处理。图像处理单元24还使用拍摄到的图像数据来进行预定的计算处理。***控制单元50基于所获得的计算结果来进行曝光控制和焦点检测控制。由此，进行通过镜头(TTL)型自动曝光(AE)处理和自动电子闪光(EF)处理。图像处理单元24还进行AF处理。此时，可以使用摄像单元22中所设置的AF评价值检测器23的输出。图像处理单元24使用拍摄到的图像数据来进行预定的计算处理，并且基于所获得的计算结果来进行基于TTL的自动白平衡(AWB)处理。
深度合成单元25通过使用在摄像单元22中通过对焦包围摄像所获得的多个拍摄图像输出各图像中的聚焦像素，来生成景深扩大的图像。以下将说明详情。
使用两个图像数据，运动检测器26对目标区域及其周边进行模板匹配，并且针对各图像中的多个分割区域中的各分割区域或者针对各像素计算运动矢量。在所计算出的运动矢量等于或大于阈值的情况下，运动检测器26判断为在被摄体中存在移动(存在移动被摄体)，并且向***控制单元50通知该结果。状态检测器27检测摄像设备100的状态，诸如陀螺仪传感器的角速度、三脚架的附接和拆卸状态、以及用户经由操作单元70进行的设置等。状态检测器27向***控制单元50通知所检测到的结果。
存储器32存储由摄像单元22获取并经A/D转换的图像数据和要显示在显示单元28上的图像数据。存储器32具有足以存储预定数量的静止图像、预定时间段的运动图像、以及音频的存储容量。存储器32还用作图像显示存储器(视频存储器)。D/A转换器13将存储器32中所存储的图像显示数据转换成模拟信号并将该模拟信号供给到显示单元28。由此，存储器32中所写入的显示图像数据经由D/A转换器13显示在显示单元28上。显示单元28在诸如LCD等的显示器上进行与来自D/A转换器13的模拟信号相对应的显示。由摄像单元22进行了一次A/D转换并存储在存储器32中的数字信号在D/A转换器13中被模拟转换，并且被顺次传送到显示单元28以进行显示。由此，实现了电子取景器功能。可以显示直通图像(实时取景图像)。
非易失性存储器56是诸如闪速存储器等的电可擦除/可记录存储器。非易失性存储器56存储***控制单元50的操作所用的常数、程序等。这里的程序例如包括用于执行以下所述的各种流程图的程序。
***控制部50控制整个摄像设备100。更具体地，***控制单元50通过执行上述的非易失性存储器56中所记录的程序来实现基于被摄体信息、被摄体距离和图像对比度信息的对焦包围摄像。也就是说，***控制单元50通过在摄像期间控制调焦透镜103和快门101的驱动来顺次拍摄具有不同焦点位置的多个图像。根据***控制单元50所计算出的值来设置在通过摄像处理所获得的相邻拍摄图像之间的焦点位置变化量(聚焦步长)。
***存储器52包括RAM等，并且加载***控制单元50的操作所用的常数和变量、以及从非易失性存储器56读出的程序等。***控制单元50通过控制存储器32、D/A转换器13和显示单元28等来进行显示控制。***计时器53是测量各种控制所用的时间或内置时钟的时间的计时器。
摄像设备100还包括用于向***控制单元50输入各种操作命令的操作单元，并且该操作单元包括模式开关60、快门按钮61、第一快门开关64、第二快门开关62、操作单元70和电源开关72。模式开关60将***控制单元50的操作模式切换到静止图像记录模式、运动图像记录模式和重放模式等其中之一。静止图像记录模式包括自动摄像模式、自动场景判断模式、手动模式、对各摄像场景进行摄像设置的各种场景模式、程序AE模式、以及自定义模式等。模式开关60直接切换到静止图像拍摄模式中所包括的这些模式中的任何模式。可替代地，在模式开关60一旦切换到静止图像拍摄模式之后，可以使用其他操作构件将模式切换到静止图像拍摄模式中所包括的这些模式中的任何模式。类似地，运动图像拍摄模式也可以包括多个模式。
快门按钮61是用于发出摄像指令的操作单元。第一快门开关64在快门按钮61被半按下的情况下接通，并且生成第一快门开关信号SW1。第一快门开关信号SW1开始诸如AF处理、AE处理、AWB处理和EF处理等的操作。也就是说，在***控制单元50的控制下获取摄像所用的参数。用户可以选择中央单点AF处理或面部AF处理作为在接收到第一快门开关信号SW1时开始的AF处理。这里，中央单点AF处理是对摄像画面的中央处的单个点进行AF的处理，并且面部AF处理是对通过面部检测功能检测到的摄像画面内的面部进行AF的处理。第二快门开关62在快门按钮61的操作完成或者快门按钮61被全按下(摄像指令)的情况下接通，并且生成第二快门开关信号SW2。***控制单元50响应于第二快门开关信号SW2，开始从自摄像单元22读出信号起直到将图像数据写入记录介质200为止的一系列摄像处理操作。
操作单元70的各操作构件通过选择并操作显示单元28上所显示的各种功能图标而针对各场景被指派适当功能，并且用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像转发按钮、跳转按钮、缩小按钮和属性改变按钮。例如，在按下菜单按钮的情况下，在显示单元28上显示各种设置菜单画面。用户可以使用显示单元28上所显示的菜单画面、四向按钮(上、下、左、右)和设置(SET)按钮来直观地进行各种设置。电源开关72接通和断开摄像设备100。
摄像设备100包括电源控制单元80、电源单元40和记录介质接口(I/F)18。电源控制单元80包括电池检测电路、DC-DC转换器、以及用于切换要通电的块的开关电路等，并且检测电池是否附接、电池的类型和剩余电池电量。电源控制单元80基于检测结果和来自***控制单元50的指令来控制DC-DC转换器，并且在所需时间段向包括记录介质200的各组件供给所需电压。电源单元40包括一次电池(诸如碱性电池或锂电池等)、二次电池(诸如NiCd电池、NiMH电池或Li电池等)、或者AC适配器等。记录介质I/F 18是与诸如存储卡或硬盘驱动器等的记录介质200的接口。记录介质200是用于记录拍摄图像的诸如存储卡等的记录介质，并且包括半导体存储器或磁盘等。
对焦包围摄像是指用于将调焦透镜103移动到期望的调焦位置、然后进行摄像单元22的曝光和读出的摄像。
现在参考图2，将给出对摄像设备100中的深度合成处理的基本操作的说明。图2说明本实施例中的深度合成图像，并且例示在实时观看深度合成图像的情况下在显示单元28上显示的显示图像的示例。
位置201是由AF框清楚指示的对焦包围摄像中的最近距离处的焦点位置，位置202是无限远处的焦点位置，并且位置203是被摄体(昆虫)。在显示单元28上显示的是指示最近距离处的焦点位置201的AF框、以及被摄体203。用户对操作单元70进行操作以在显示单元28上所显示的图像上指定基准焦点位置。可替代地，可以针对AF评价值检测器23所检测到的被摄体自动指定基准焦点位置。在图2中，假定将被摄体203的最近距离处的位置指定为基准焦点位置。由此，***控制单元50将所指定的基准焦点位置识别为对焦包围摄像所用的最近距离处的焦点位置201，并且在最近距离处的焦点位置201处显示AF框。
一旦确定了最近距离处的焦点位置201，在Z轴方向(深度方向)上按与聚焦步长设置相对应的焦点间隔以及摄像次数(拍摄张数)确定对焦包围摄像结束的焦点位置、即无限远处的焦点位置202。在图2中，假定整个被摄体203落在从最近距离处的焦点位置201到无限远处的焦点位置202的聚焦范围内。生成一个深度合成图像的摄像次数被例示为十次，并且深度合成单元25使用十个图像来进行深度合成处理。
现在参考图3，将给出对根据本实施例的深度合成处理的说明。图3是例示本实施例中的深度合成处理的流程图。
首先，在步骤S301中，***控制单元50对摄像单元22所拍摄到的实时取景图像进行场景判断。以下将说明场景判断的具体方法。
接着，在步骤S302中，***控制单元(获取单元)50获取与包括调焦透镜103的镜头(光学***)有关的信息(镜头信息)，并且基于该镜头信息来进行微距摄像判断。微距摄像是用于通过特写镜头来提供小被摄体的放大图像的摄像方法。因此，摄像倍率趋向于大，摄像距离趋向于短，并且景深趋向于浅。在微距摄像的情况下，景深变浅，并且要摄像的被摄体的聚焦区域变得更小。因此，本实施例通过深度合成来生成被摄体的更宽范围聚焦的图像，因而预先判断是否进行了微距摄像。通过***控制单元50经由未示出的镜头通信单元与镜头进行通信来获取镜头信息。镜头信息包括镜头的ID、以及与摄像倍率有关的信息(摄像倍率自身的数值、或者与摄像倍率相对应的特定信息)等。在微距摄像判断中，例如，在镜头ID包括与特定特写镜头的ID有关的信息(特定镜头信息)的情况下，或者在根据镜头信息所计算出的摄像倍率等于或大于一定阈值的情况下，判断为微距摄像。摄像倍率可以由***控制单元50根据镜头信息计算，或者可以作为镜头信息直接获取。
接着，在步骤S303中，***控制单元50使用步骤S301中的场景判断结果和步骤S302中的微距摄像判断结果来判断是否启用深度合成功能。在判断为要启用深度合成功能的情况下，流程进入步骤S304。另一方面，在判断为不启用深度合成功能的情况下，流程进入步骤S307。在步骤S304中，***控制单元50设置多个焦点位置。在步骤S307中，***控制单元50设置一个焦点位置。
如以下将详细说明的，***控制单元50在场景判断处理(步骤S301)中主要通过图像分析找到主被摄体和背景的重要度(级别)，并且基于所获得的重要度来判断是否执行(启用)深度合成。由此，可以生成仅主被摄体聚焦并且背景地标聚焦的图像。然而，仅通过图像分析难以判断为景深浅并且聚焦困难(诸如微距摄像等)。因此，在微距摄像判断处理(步骤S302)中，***控制单元50通过镜头信息分析判断为在摄像中聚焦困难，并且基于该判断结果来进行深度合成。由此，在更宽范围的摄像场景中进行适当的深度控制。
在步骤S304中，***控制单元50确定深度合成所用的焦点位置和摄像次数。***控制单元50还可以根据曝光控制值设置聚焦步长，并且改变焦点位置的数量。这是如下的处理：尽管随着曝光时间增加、摄像时间和照相机抖动量增加，但试图通过减少拍摄张数来减少处理时间和照相机抖动量。***控制单元50可以根据状态检测器27所检测到的三脚架的附接或拆卸状态来判断是否改变焦点位置的数量。
接着，在步骤S305中，***控制单元50控制调焦透镜103和快门101的驱动，并且由此摄像单元22顺次拍摄步骤S304中所设置的多个不同焦点位置处的图像。接着，在步骤S306中，深度合成单元25使用步骤S305中所拍摄到的多个图像(拍摄图像)来生成具有扩大的景深的图像(合成图像)。也就是说，深度合成单元25将具有不同焦点位置的多个图像进行合成，并且生成与多个图像相比具有更深的景深的合成图像。此时，深度合成单元25提取多个图像中的各图像的聚焦区域并且生成合成图像。
在步骤S308中，***控制单元50控制调焦透镜103和快门101的驱动，使得摄像单元22在步骤S307中所设置的焦点位置处拍摄图像。
现在将给出对步骤S306中的深度合成处理的详细说明。根据本实施例的深度合成处理可以例如如下使用已知技术来进行。
首先，图像处理单元24将深度合成的目标图像对准。图像处理单元24在作为深度合成的多个目标图像其中之一的基准图像中设置多个块。图像处理单元24可以将各块的大小设置为相同。接着，图像处理单元24在对准目标图像中在与基准图像中的各块相同的位置处将搜索范围设置为比基准图像中的块更宽的范围。最后，图像处理单元24在目标图像的各搜索范围中计算使与基准图像的块的亮度的绝对差和(SAD)最小化的对应点。图像处理单元24根据基准图像的块的中心以及对应点将位置偏移计算为矢量。在计算对应点时，图像处理单元241除了使用SAD之外，还可以使用平方差和(SSD)或归一化互相关(NCC)等。
接着，图像处理单元24根据基准图像和目标图像之间的位置偏移量来计算变换系数。图像处理单元24例如使用投影变换系数作为变换系数。然而，变换系数不限于投影变换系数，并且可以使用仿射变换系数或者仅利用水平和垂直偏移的简化变换系数。
例如，图像处理单元24可以使用以下的式(1)来进行变换。
在式1中，(x',y')指示变换后坐标，并且(x,y)指示变换前坐标。矩阵A示出变换系数。
在对准之后，深度合成单元25针对对准后图像计算对比度值。用于计算对比度值的方法例如首先使用以下的式(2)以及各像素的颜色信号Sr、Sg和Sb来计算亮度Y。
Y ＝ 0.299Sr + 0.587Sg + 0.114Sb (2)
接着，如以下的式(3)至(5)所示，使用Sobel(索贝尔)滤波器来针对3×3个像素的亮度Y的矩阵L计算对比度值I。
上述的对比度值计算方法仅仅是示例，并且例如，可以使用诸如拉普拉斯滤波器等的边缘检测滤波器或者使预定频带通过的带通滤波器。
接着，深度合成单元25生成合成图。作为用于生成合成图的方法，深度合成单元25比较各个图像中的相同位置处的像素的对比度值，并且计算与对比度值的大小相对应的合成比率。
以下将例示具体计算方法的示例。深度合成单元25使用对比度值Cm(x,y)来生成合成图Am(x,y)。m表示焦点位置不同的多个图像中的第m个图像，x表示该图像的水平坐标，并且y表示该图像的垂直坐标。作为用于生成合成图的方法，深度合成单元25比较各个图像中的相同位置处的像素的对比度值，并且计算与对比度值的大小相对应的合成比率。更具体地，向相同位置处的图像中的具有最大对比度值的像素赋予100％的合成比率，并且向相同位置处的其他像素赋予0％的合成比率。换句话说，以下的式(6)成立。
Am(x,y)＝maxk＝1 Ck(x,y) (6)
然而，适当地调整合成比率，使得边界不会变得不自然。结果，一个图像中的合成图的合成比率不是0％和100％的二进制值，而是连续改变的二进制值。
深度合成单元257通过根据所计算出的合成图对拍摄图像进行合成来生成全聚焦图像O(x,y)。如通过以下的式(7)所示生成图像：
其中，Im(x,y)是所拍摄到的原始图像。
因而，说明了步骤S306中的深度合成处理的示例。
现在参考图4，将给出对步骤S301中的场景判断的说明。根据本实施例的示例从实时取景图像中检测面部作为主被摄体，并且基于面部的位置、大小、数量等来进行场景判断。图4说明根据本实施例的主被摄体检测的示例。首先，AF评价值检测器23检测面部(主被摄体)。接着，***控制单元50计算基于AF评价值检测器23所检测到的面部的位置的重要度(级别)401、基于面部在视场中的比例的重要度402、以及基于面部的数量的重要度403。更具体地，***控制单元50可以将重要度401设置为与面部中心位置404和视场的中心405之间的距离负相关的值。***控制单元50可以将重要度402设置为与视角406中的面部407的比例正相关的值。***控制单元50可以将重要度403设置为与面部的数量正相关或负相关的值。
在主被摄体的重要度高于预定阈值的情况下，***控制单元50判断为要进行深度合成。在***控制单元50判断为要进行深度合成的情况下，***控制单元50确定为将焦点位置放置在主被摄体(面部)上以聚焦于主被摄体，并且生成具有模糊背景的合成图像。另一方面，在***控制单元50判断为不进行深度合成的情况下，***控制单元50仅拍摄具有包括背景的深景深的一个图像。
在没有检测到主被摄体的面部的情况下，***控制单元50参考步骤S302中的微距摄像判断结果，并且如果判断为微距摄像，则判断为要进行深度合成。如上所述，在微距摄像的情况下，景深趋向于浅，并且要摄像的被摄体聚焦的区域趋向于小。即使在这种情况下，深度合成也可以生成被摄体的更宽范围聚焦的合成图像。尽管以上说明假定了主被摄体是面部，但主被摄体不限于该示例。
在步骤S301中，***控制单元50计算除AF评价值检测器23所检测到的主被摄体以外的区域作为背景区域。图5A和图5B说明根据本实施例的背景区域检测的示例。图5A例示室外图像501。图5B例示室内图像503。
***控制单元50获取背景区域聚焦的图像，并且计算背景区域的重要度。在判断为背景的重要度低于预定阈值的情况下，***控制单元50判断为要进行(启用)深度合成。例如，在图5A的图像501中，在AF评价值检测器23在背景区域内检测到被摄体502的情况下，***控制单元50增加背景的重要度。对于图5A中的图像501和图5B中的图像503中的各图像，***控制单元50根据图像处理单元24所获得的曝光控制值和焦点检测控制值的计算结果来判断该图像是否在室外。对于室外图像，可以增加背景的重要度。在室外图像的情况下，尤其是在背景中存在地标的情况下，可以以深景深拍摄单个图像以还将该图像与地标合成。在室外摄像的情况下，增加背景的重要度是假定在室外图像的背景中存在地标的处理。
***控制单元50可以检测主被摄体和背景这两者，并且基于这两者的重要度来判断是否进行深度合成。在未检测到主被摄体的面部的情况下，本实施例基于微距摄像判断结果来判断是否进行深度合成，但本实施例不限于该示例。例如，即使检测到面部，本实施例也可以基于微距摄像判断结果来判断是否进行深度合成。可以在不进行场景判断的情况下仅进行微距摄像判断，并且可以基于微距摄像判断结果来判断是否进行深度合成。
本实施例可以基于从镜头信息获得的摄像倍率来自动判断是否进行深度合成。
第二实施例
现在参考图6，将给出对第二实施例的说明。本实施例与第一实施例的不同之处在于，在场景判断之前和之后判断是否要进行深度合成。本实施例将省略对与第一实施例共同的事项的说明。图6是例示根据本实施例的深度合成处理的流程图。图6与图3的不同之处在于，在步骤S301中的场景判断之前和之后分别***用于判断是否进行深度合成的步骤S601和S602。
首先，在步骤S601中，***控制单元50基于场景判断之前的实时取景图像或者摄像设备100的设置来判断是否进行深度合成。在判断为不进行深度合成的情况下，流程进入步骤S307，并且***控制单元50控制摄像单元22以拍摄仅一个图像。在步骤S601中，例如，在运动检测器26检测到移动被摄体的情况下，***控制单元50判断为不进行深度合成。这是为了防止合成图像的质量由于对存在移动的区域进行合成而劣化。在步骤S601中，例如，***控制单元50可以根据状态检测器27所检测到的摄像设备100的状态(照相机状态)来判断是否设置了用于拍摄用户的图像的自拍模式。照相机状态的示例是监视器面向镜头的状态。在监视器是可变角度监视器的情况下，照相机状态是监视器打开并且转动了180度的状态。在监视器是倾斜监视器的情况下，照相机状态是监视器在任何方向上移动使得监视器面向镜头的状态。在监视器和镜头方向一致的诸如智能电话中的内置照相机等的摄像设备中，可以自动判断是否进行深度合成。这是因为，在自拍模式中，主被摄体和背景在光轴方向上分开很远，并且不适合深度合成。
现在将给出对步骤S602中的用以进行深度合成的判断的说明。***控制单元50在步骤S303中启用深度合成功能，在步骤S304中确定焦点位置，然后在步骤S602中判断是否进行深度合成。也就是说，不同于步骤S601，在步骤S602时，针对深度合成的设置(例如，摄像次数、聚焦步长等)已完成。
在步骤S602中，***控制单元50基于步骤S304中所确定的针对深度合成的设置来判断是否进行深度合成。例如，在所确定的拍摄图像的数量大于预定阈值的情况下，***控制单元50判断为不进行深度合成。这是为了防止由于拍摄图像的数量增加而导致处理时间增加。在这种情况下，在步骤S308的摄像中，可以调整光圈(孔径光阑)，以拍摄具有与在要进行深度合成的情况下的合成图像的景深相对应的景深的单个图像。
在步骤S602中，在***控制单元50根据所确定的焦点位置和单个图像的景深来预测深度合成图像的景深、并且深度合成图像的景深小于预定阈值的情况下，***控制单元50判断为不进行深度合成。这是因为在合成图像的景深浅的情况下，进行深度合成的优点很少。这里，***控制单元50可以简单地根据所确定的焦点位置中的两端处的焦点位置来预测深度合成图像的景深。在本实施例中，可以执行步骤S601和步骤S602中的仅一个。
在场景判断和微距摄像判断之前和之后，本实施例可以在基于照相机状态、移动被摄体检测、所确定的焦点位置等判断为不需要进行深度合成的情况下防止深度合成。
其他实施例
本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考实施例说明了本公开，但是应该理解，本公开不限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
各实施例可以提供能够在无用户操作的情况下进行与深度合成有关的设置的图像处理设备。

Claims (16)

1.一种图像处理设备，包括：
获取单元，其被配置为获取镜头信息；
合成单元，其被配置为基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及
检测器，其被配置为检测主被摄体，
其特征在于，在所述检测器未检测到所述主被摄体的情况下，所述合成单元被配置为基于与所述摄像倍率有关的信息来将所述多个图像进行合成。
2.根据权利要求1所述的图像处理设备，其特征在于，所述合成单元提取所述多个图像各自的聚焦区域，并且生成所述合成图像。
3.根据权利要求1所述的图像处理设备，其特征在于，所述镜头信息包括与所述摄像倍率有关的信息。
4.根据权利要求3所述的图像处理设备，其特征在于，与所述摄像倍率有关的信息包括摄像倍率或特定镜头信息。
5.根据权利要求1所述的图像处理设备，其特征在于，所述获取单元使用所述镜头信息来计算所述摄像倍率。
6.根据权利要求1至5中任一项所述的图像处理设备，其特征在于，在所述摄像倍率等于或高于一定阈值的情况下，所述合成单元将所述多个图像进行合成。
7.一种图像处理设备，包括：
获取单元，其被配置为获取镜头信息；
合成单元，其被配置为基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及
移动被摄体判断单元，其被配置为判断是否存在移动被摄体，
其特征在于，在所述移动被摄体判断单元判断为存在所述移动被摄体的情况下，所述合成单元不将所述多个图像进行合成。
8.根据权利要求7所述的图像处理设备，其特征在于，所述合成单元提取所述多个图像各自的聚焦区域，并且生成所述合成图像。
9.根据权利要求7所述的图像处理设备，其特征在于，所述镜头信息包括与所述摄像倍率有关的信息。
10.根据权利要求9所述的图像处理设备，其特征在于，与所述摄像倍率有关的信息包括所述摄像倍率或特定镜头信息。
11.根据权利要求7至10中任一项所述的图像处理设备，其特征在于，所述获取单元使用所述镜头信息来计算所述摄像倍率。
12.根据权利要求11所述的图像处理设备，其特征在于，在所述摄像倍率等于或高于一定阈值的情况下，所述合成单元将所述多个图像进行合成。
13.一种摄像设备，包括：
根据权利要求1至12中任一项所述的图像处理设备；以及
摄像单元，其被配置为获取所述多个图像。
14.一种图像处理方法，包括：
获取步骤，用于获取镜头信息；
合成步骤，用于基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及
检测步骤，用于检测主被摄体，
其特征在于，在所述检测步骤未检测到所述主被摄体的情况下，所述合成步骤基于与所述摄像倍率有关的信息来将所述多个图像进行合成。
15.一种图像处理方法，包括：
获取步骤，用于获取镜头信息；
合成步骤，用于基于从所述镜头信息获取到的与摄像倍率有关的信息来将具有不同焦点位置的多个图像进行合成，以生成具有比所述多个图像各自的景深更深的景深的合成图像；以及
判断步骤，用于判断是否存在移动被摄体，
其特征在于，在所述判断步骤判断为存在所述移动被摄体的情况下，所述合成步骤不将所述多个图像进行合成。
16.一种非暂态计算机可读存储介质，其存储有程序，所述程序用于使得计算机执行根据权利要求14或15所述的图像处理方法。
CN202311671946.6A 2022-12-09 2023-12-07 图像处理设备、摄像设备、图像处理方法和存储介质 Pending CN118175440A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-197082 2022-12-09
JP2022197082A JP2024082891A (ja) 2022-12-09 2022-12-09 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Publications (1)

Publication Number Publication Date
CN118175440A true CN118175440A (zh) 2024-06-11

Family

ID=91346181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311671946.6A Pending CN118175440A (zh) 2022-12-09 2023-12-07 图像处理设备、摄像设备、图像处理方法和存储介质

Country Status (3)

Country Link
US (1) US20240196108A1 (zh)
JP (1) JP2024082891A (zh)
CN (1) CN118175440A (zh)

Also Published As

Publication number Publication date
JP2024082891A (ja) 2024-06-20
US20240196108A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
KR100847614B1 (ko) 촬상장치 및 컴퓨터 판독 가능한 기록매체
JP5506499B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
US8670064B2 (en) Image capturing apparatus and control method therefor
JP2008028959A (ja) 撮影装置及び画像表示制御方法
US7978254B2 (en) Image capturing apparatus, its controlling method, and program
JP2016066978A (ja) 撮像装置、その制御方法とプログラム
JP6124700B2 (ja) 撮像装置、その制御方法、プログラム、記憶媒体
JP4645413B2 (ja) 撮像装置
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2018190092A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
US20190222754A1 (en) Imaging apparatus, imaging method, and storage medium
JP2021021857A (ja) 撮像装置およびその制御方法
JP7158841B2 (ja) 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置
JP2015154409A (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6647246B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US10033938B2 (en) Image pickup apparatus and method for controlling the same
JP6590894B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN107800956B (zh) 摄像设备、控制方法和存储介质
CN101403846B (zh) 摄影装置和摄影装置的控制方法
CN118175440A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN116261050A (zh) 图像处理设备、图像处理方法、摄像设备和存储介质
JP2016092467A (ja) 撮像装置、その制御方法とプログラム
JP7286451B2 (ja) 撮像装置、撮像方法およびプログラム
JP2009210832A (ja) 撮像装置
JP2024061309A (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication