CN118043714A - 检测方法、摄像装置及程序 - Google Patents

Abstract

一种检测方法，其用于摄像装置，所述摄像装置具备：成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；及存储器，存储进行了机器学习的模型，所述检测方法包括：输入工序，将基于第2信号的第2图像、基于第3信号的第3图像或基于第2信号及第3信号的第4图像作为输入图像输入到模型中；被摄体检测工序，通过执行了输入工序的模型检测由第1信号生成的第1图像中所包含的被摄体；及第1对焦位置检测工序，通过执行了输入工序的模型检测相对于被摄体的对焦位置。

Description

检测方法、摄像装置及程序

技术领域

本发明的技术涉及一种检测方法、摄像装置及程序。

背景技术

在日本特开2020-198470号公报中公开了一种具有摄像部和识别部的图像识别装置。摄像部使用接收可见光的摄像像素和接收红外光的摄像像素，在1帧期间以相同曝光定时拍摄多个图像而生成图像数据。识别部从各图像数据中识别被摄体。

在国际公开第2019/073814号中公开了一种焦点检测装置，其具备运算部，所述运算部根据具有用于相位差检测的第1特性的A像素组的受光量分布及具有与第1特性不同的第2特性的B像素组的受光量分布进行基于学习的运算，从而输出与散焦量相关的散焦量关系信息。

发明内容

发明要解决的技术课题

本发明的技术所涉及的一个实施方式提供一种能够提高被摄体及对焦位置的检测精度的检测方法、摄像装置及程序。

用于解决技术课题的手段

为了实现上述目的，本发明的检测方法用于摄像装置，所述摄像装置具备：成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；及存储器，存储进行了机器学习的模型，所述检测方法包括：输入工序，将基于第2信号的第2图像、基于第3信号的第3图像或基于第2信号及第3信号的第4图像作为输入图像输入到模型中；被摄体检测工序，通过执行了输入工序的模型检测由第1信号生成的第1图像中所包含的被摄体；及第1对焦位置检测工序，通过执行了输入工序的模型检测相对于被摄体的对焦位置。

优选还包括第2对焦位置检测工序，通过使用第2信号和第3信号进行相关运算来检测相对于被摄体的对焦位置。

优选第1对焦位置检测工序根据第2对焦位置检测工序或被摄体检测工序的结果来执行。

优选在输入工序中，将输入图像旋转而输入到模型中，在第1对焦位置检测工序中，根据旋转后的输入图像检测对焦位置。

优选还包括：第1读出工序，从第1像素读出第1信号；及第2读出工序，与第1读出工序独立地从第2像素及第3像素读出第2信号及第3信号。

优选在第2读出工序中读出的第2像素及第3像素的曝光量与在第1读出工序中读出的第1像素的曝光量不同。

优选第2读出工序中的第2信号及第3信号的读出速率高于第1读出工序中的第1信号的读出速率。

优选在输入工序中，根据在过去的被摄体检测工序中检测到的被摄体的位置，将第2图像和第3图像中的任一个作为输入图像输入到模型中。

优选输入工序中的输入图像为第4图像。

优选在基于第2像素及第3像素的相位差检测方向为水平方向的情况下，模型在被摄体检测工序中对输入图像执行水平池化及垂直池化，在第1对焦位置检测工序中，对输入图像执行水平池化。

优选在存储器中存储有多个模型，还包括选择适合于基于第2像素及第3像素的相位差检测方向的1个模型的选择工序，在输入工序中，向在选择工序中选择的模型输入输入图像。

本发明的摄像装置具备：成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；存储器，存储进行了机器学习的模型；及处理器，处理器构成为执行如下处理：输入处理，将基于第2信号的第2图像、基于第3信号的第3图像或基于第2信号及第3信号的第4图像作为输入图像输入到模型中；

被摄体检测工序，通过执行了输入处理的模型检测由第1信号生成的第1图像中所包含的被摄体；及

第1对焦位置检测处理，通过执行了输入处理的模型检测相对于被摄体的对焦位置。

本发明的程序使摄像装置工作，所述摄像装置具备：成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；及存储器，存储进行了机器学习的模型，使摄像装置执行如下处理：输入处理，将基于第2信号的第2图像、基于第3信号的第3图像或基于第2信号及第3信号的第4图像作为输入图像输入到模型中；被摄体检测工序，通过执行了输入处理的模型检测由第1信号生成的第1图像中所包含的被摄体；及第1对焦位置检测处理，通过执行了输入处理的模型检测相对于被摄体的对焦位置。

附图说明

图1是表示摄像装置的内部结构的一例的图。

图2是表示摄像像素的结构的一例的图。

图3是表示相位差像素的结构的一例的图。

图4是表示摄像传感器的像素排列的一例的图。

图5是表示处理器的功能结构的一例的框图。

图6是说明第1读出工序及第2读出工序的图。

图7是表示摄像像素的结构的图。

图8是表示相位差图像的结构的图。

图9是表示模型的结构的一例的图。

图10是对池化处理进行说明的图。

图11是表示基于水平池化的相位差图像的分辨率的变化的一例的图。

图12是表示第2对焦位置检测处理的一例的图。

图13是表示检测方法的步骤的一例的流程图。

图14是表示模型的结构的变形例的图。

图15是表示教师数据的一例的图。

图16是表示从模型输出的推断结果的一例的图。

图17是表示将输入图像旋转而输入到模型中的例子的图。

图18是表示在存储器中存储多个模型的例子的图。

具体实施方式

根据附图，对本发明的技术所涉及的实施方式的一例进行说明。

首先，对以下说明中所使用的词语进行说明。

在以下说明中，“IC”为“Integrated Circuit(集成电路)”的简称。“CPU”为“Central Processing Unit(中央处理器)”的简称。“ROM”为“Read Only Memory(只读存储器)”的简称。“RAM”为“Random Access Memory(随机存取存储器)”的简称。“CMOS”为“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的简称。

“FPGA”为“Field Programmable Gate Array(现场可编程门阵列)”的简称。“PLD”为“Programmable Logic Device(可编程逻辑器件)”的简称。“ASIC”为“ApplicationSpecific Integrated Circuit(专用集成电路)”的简称。“OVF”为“Optical View Finder(光学取景器)”的简称。“EVF”为“Electronic View Finder(电子取景器)”的简称。“JPEG”为“Joint Photographic Experts Group(联合图像专家组)”的简称。“CNN”为“Convolutional Neural Network(卷积神经网络)”的简称。“GAP”为“Global AveragePooling(全局平均池化)”的简称。

作为摄像装置的一实施方式，例举镜头可换式数码相机，对本发明的技术进行说明。另外，本发明的技术不限于镜头可换式，也能够适用镜头一体型的数码相机。

图1表示摄像装置10的结构的一例。摄像装置10为镜头可换式数码相机。摄像装置10由主体11及在主体11上可替换地安装的摄像透镜12构成。摄像透镜12经由相机侧卡口11A及透镜侧卡口12A而安装在主体11的前表面侧。

在主体11中设置有包括转盘、释放按钮等的操作部13。作为摄像装置10的动作模式，例如，包括静止图像摄像模式、运动图像摄像模式及图像显示模式。操作部13在设定动作模式时由用户进行操作。并且，操作部13在开始执行静止图像摄像或运动图像摄像时由用户进行操作。

并且，在主体11上设置有取景器14。在此，取景器14为混合取景器(注册商标)。所谓混合取景器，例如是指选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。用户能够经由取景器目镜部(未图示)观察由取景器14映出的被摄体的光学像或实时取景图像。

并且，在主体11的背面侧设置有显示器15。在显示器15上显示基于由拍摄得到的图像信号的图像及各种菜单画面等。用户还能代替取景器14观察由显示器15映出的实时取景图像。

主体11与摄像透镜12通过设置在相机侧卡口11A上的电触点11B与设置在透镜侧卡口12A上的电触点12B接触而电连接。

摄像透镜12包括物镜30、聚焦透镜31、后端透镜32及光圈33。各部件沿摄像透镜12的光轴A，从物镜侧依次排列成物镜30、光圈33、聚焦透镜31、后端透镜32。物镜30、聚焦透镜31及后端透镜32构成摄像光学***。构成摄像光学***的透镜的种类、数量及排列顺序不限定于图1所示的例。

并且，摄像透镜12具有透镜驱动控制部34。透镜驱动控制部34例如由CPU、RAM及ROM等构成。透镜驱动控制部34经由电触点12B及电触点11B而与主体11内的处理器40电连接。

透镜驱动控制部34基于从处理器40发送的控制信号来驱动聚焦透镜31及光圈33。为了调节摄像透镜12的对焦位置，透镜驱动控制部34基于从处理器40发送的对焦控制用的控制信号来进行聚焦透镜31的驱动控制。处理器40进行相位差方式的对焦位置检测。

光圈33具有以光轴A为中心开口直径可变的开口。为了调节向摄像传感器20的受光面20A的入射光量，透镜驱动控制部34基于处理器40发送的光圈调整用的控制信号来进行光圈33的驱动控制。

并且，主体11的内部设置有摄像传感器20、处理器40及存储器42。由处理器40控制摄像传感器20、存储器42、操作部13、取景器14及显示器15的动作。

处理器40例如由CPU、RAM及ROM等构成。在这种情况下，处理器40基于存储在存储器42中的程序43执行各种处理。另外，处理器40可以由多个IC芯片的集合体构成。并且，在存储器42中存储有进行了用于进行被摄体检测及对焦位置检测的机器学习的模型M。

摄像传感器20例如为CMOS型图像传感器。摄像传感器20中，光轴A与受光面20A正交，并且光轴A配置成位于受光面20A的中心。穿过摄像透镜12的光(被摄体图像)入射于受光面20A。在受光面20A上形成有通过进行光电转换而生成信号的多个像素。摄像传感器20通过将入射于各像素的光进行光电转换，生成信号并输出。另外，摄像传感器20为本发明的技术所涉及的“摄像元件”的一例。

并且，在摄像传感器20的受光面配置有拜耳排列的滤色器阵列，R(红)，G(绿)，B(蓝)中的任一个滤色器相对于各像素对置配置。另外，排列在摄像传感器20的受光面的多个像素中的一部分也可以是用于检测对焦控制所涉及的相位差的相位差像素。

图2表示摄像像素N的结构的一例。图3表示相位差像素P1、P2的结构的一例。相位差像素P1、P2分别接收以主光线为中心在X方向上被分割的光束的一方。以下，将与X方向正交的方向称为Y方向。并且，X方向对应于水平方向，Y方向对应于垂直方向。

如图2所示，摄像像素N构成为包括作为光电转换元件的光电二极管PD、滤色器CF及微透镜ML。滤色器CF配置在光电二极管PD与微透镜ML之间。

滤色器CF是使R、G、B中的任一种颜色的光透过的滤光器。微透镜ML将从摄像透镜12的射出光瞳EP入射的光束LF，经由滤色器CF汇聚在光电二极管PD的大致中央。

如图3所示，相位差像素P1、P2分别构成为包括光电二极管PD、遮光层SF及微透镜ML。微透镜ML与摄像像素N同样地，将从摄像透镜12的射出光瞳EP入射的光束LF汇聚在光电二极管PD的大致中央。摄像像素N为本发明的技术所涉及的“第1像素”的一例。

遮光层SF由金属膜等形成，配置在光电二极管PD与微透镜ML之间。遮光层SF对经由微透镜ML入射到光电二极管PD的光束LF的一部分进行遮光。

在相位差像素P1中，遮光层SF以光电二极管PD的中心为基准，对X方向上的负侧进行遮光。即，在相位差像素P1中，遮光层SF使来自负侧的射出光瞳EP1的光束LF入射于光电二极管PD，且对X方向上的来自正侧的射出光瞳EP2的光束LF进行遮光。

在相位差像素P2中，遮光层SF以光电二极管PD的中心为基准，对X方向上的正侧进行遮光。即，在相位差像素P2中，遮光层SF使来自正侧的射出光瞳EP2的光束LF入射于光电二极管PD，且对X方向上的来自负侧的射出光瞳EP1的光束LF进行遮光。

即，相位差像素P1和相位差像素P2在X方向上的遮光位置彼此不同。基于相位差像素P1、P2的相位差检测方向为X方向(即，水平方向)。另外，相位差像素P1为本发明的技术所涉及的“第2像素”的一例。并且，相位差像素P2为本发明的技术所涉及的“第3像素”的一例。

图4表示摄像传感器20的像素排列的一例。图4中的“R”表示设置有R的滤色器CF的摄像像素N。“G”表示设置有G的滤色器CF的摄像像素N。“B”表示设置有B的滤色器CF的摄像像素N。另外，滤色器CF的颜色排列不限于拜耳法排列，也可以为其他颜色排列。

包括相位差像素P1、P2的行RL在Y方向上按每10个像素排列。在各行RL中，一对相位差像素P1、P2和1个摄像像素N沿Y方向重复排列。另外，相位差像素P1、P2的排列图案不限于图4所示的例子。例如，也可以是在日本特开2018-56703号中所附的图5所示的、在1个微透镜ML中配置了多个相位差像素的图案。

图5表示处理器40的功能结构的一例。处理器40通过存储在存储器42中的程序43来执行处理，由此实现各种功能部。如图5所示，例如，处理器40实现主控制部50、摄像控制部51、图像处理部52、输入部53、被摄体检测部54、第1对焦位置检测部55、第2对焦位置检测部56及显示控制部57。

主控制部50基于从操作部13输入的命令信号，总体控制摄像装置10的动作。摄像控制部51通过控制摄像传感器20，执行使摄像传感器20进行摄像动作的摄像处理。摄像控制部51以静止图像摄像模式或运动图像摄像模式驱动摄像传感器20。

如图6所示，摄像控制部51以彼此不同的读出速率读出摄像传感器20中所包含的摄像像素N和相位差像素P1、P2。在本实施方式中，相位差像素P1、P2的读出速率高于摄像像素N的读出速率。例如，摄像控制部51以30fps读出摄像像素N，以100fps读出相位差像素P1、P2。

摄像传感器20分别输出由摄像像素N生成的信号和由相位差像素P1、P2生成的信号。即，独立地进行从摄像像素N读出信号的第1读出处理和从相位差像素P1、P2读出信号的第2读出处理。另外，摄像控制部51也可以同时执行第1读出处理和第2读出处理。第1读出处理对应于本发明的技术所涉及的“第1读出工序”。第2读出处理对应于本发明的技术所涉及的“第2读出工序”。

并且，由于摄像像素N与相位差像素P1、P2的曝光时间不同，因此相位差像素P1、P2的曝光量与摄像像素N的曝光量不同。

另外，由摄像像素N生成的信号是本发明的技术所涉及的“第1信号”的一例。由相位差像素P1生成的信号是本发明的技术所涉及的“第2信号”的一例。由相位差像素P2生成的信号是本发明的技术所涉及的“第3信号”的一例。

图像处理部52获取从摄像传感器20输出的信号，并对所获取的信号实施图像处理。具体而言，图像处理部52通过对由摄像像素N生成的信号实施去马赛克处理等来生成正常图像IN。并且，根据由相位差像素P1、P2生成的信号生成相位差图像IP。

例如，如图7所示，正常图像IN是各像素由R，G，B三原色(即，3个通道)表示的彩色图像。更具体而言，例如，摄像像素N是1个像素中所包含的R，G，B的各信号由8位表示的24位的彩色图像。

并且，如图8所示，相位差图像IP是包括基于相位差像素P1的图像IP1和基于相位差像素P2的图像IP2的图像。图像IP1及图像IP2是无彩色图像，例如是各信号由8位表示的24位的灰度图像。相位差图像IP也能够视为各像素具有左右2个通道的相位差信息的1个图像。图像IP1是本发明的技术所涉及的“基于第2信号的第2图像”的一例。图像IP2是本发明的技术所涉及的“基于第3信号的第3图像”的一例。相位差图像IP是本发明的技术所涉及的“基于第2信号及第3信号的第4图像”的一例。

由图像处理部52生成的正常图像IN被输入到显示控制部57。由图像处理部52生成的相位差图像IP被输入到输入部53及第2对焦位置检测部56。

输入部53进行将从图像处理部52输入的相位差图像IP作为输入图像输入到存储器42中所存储的模型M的输入处理。具体而言，输入部53将相位差图像IP、图像IP1或图像IP2作为输入图像输入到模型M。在本实施方式中，输入部53将相位差图像IP作为输入图像输入到模型M中。

在后面进行详细叙述，模型M根据输入图像输出关于被摄体的推断结果R1及关于对焦位置的推断结果R2。推断结果R1是表示正常图像IN中所包含的各被摄体的位置及种类的信息。推断结果R2是表示正常图像IN内的各区域的对焦位置(即，散焦量)的信息。

被摄体检测部54进行根据从模型M输出的推断结果R1检测正常图像IN中所包含的特定的被摄体的被摄体检测处理。

第1对焦位置检测部55进行根据从模型M输出的推断结果R2检测相对于正常图像IN中所包含的特定的被摄的对焦位置的第1对焦位置检测处理。对焦位置是指被摄体处于对焦状态时的聚焦透镜31的位置。

第2对焦位置检测部56通过使用从图像处理部52输入的相位差图像IP中所包含的图像IP1和图像IP2进行相关运算来检测相对于正常图像IN中所包含的特定的被摄体的对焦位置。

显示控制部57使显示器15显示从图像处理部52输入的正常图像IN。并且，显示控制部57在静止图像摄像或动态图像摄像前的摄像准备动作时，根据从图像处理部52周期性地输入的正常图像IN，使显示器15进行实时取景图像显示。此外，显示控制部57根据由被摄体检测部54检测到的被摄体的检测结果和由第1对焦位置检测部55或第2对焦位置检测部56检测到的对焦位置的检测结果，在显示器15上可识别地显示处于对焦状态的被摄体。

图9是模型M的结构的一例。模型M由卷积神经网络(CNN)构成。具体而言，模型M是具有卷积层60、第1子网络61及第2子网络62的双流CNN。第1子网络61是进行与映现在输入图像中的被摄体有关的推断的CNN。第2子网络62是进行与对焦位置有关的推断的CNN。

从输入部53向卷积层60输入输入图像。在本实施方式中，从输入部53向卷积层60输入相位差图像IP作为输入图像。卷积层60通过对输入图像实施滤波处理来生成特征图FM并将其输入到第1子网络61及第2子网络62。

第1子网络61包括多个垂直水平池化层61A、多个卷积层61B及检测层61C。垂直水平池化层61A与卷积层61B交替配置。

垂直水平池化层61A对从卷积层60输入的特征图FM进行垂直水平池化。垂直水平池化是在垂直方向(Y方向)及水平方向(X方向)上对称的对称池化。即，垂直水平池化层61A对特征图FM进行垂直水平池化相当于对特征图FM执行水平池化及垂直池化。由于垂直水平池化层61A对特征图FM进行垂直水平池化，因此分辨率在垂直方向及水平方向上降低。

作为一例，如图10(A)所示，垂直水平池化层61A进行在特征图FM中取由2×2的正方形池化窗口W1包围的区域的最大值的处理。另外，垂直水平池化层61A可以进行取由池化窗口W1包围的区域的平均值的处理。

卷积层61B对在垂直方向和水平方向上分辨率由于垂直水平池化层61A而降低的特征图FM实施滤波处理。

在第1子网络61中，垂直水平池化层61A和卷积层61B交替地对特征图FM执行处理，由此提取高维特征量作为图像信息。

检测层61C根据由多组垂直水平池化层61A和卷积层61B提取的图像信息进行被摄体的位置的推断及分类。检测层61C输出推断结果R1。

第2子网络62包括多个水平池化层62A、多个卷积层62B及检测层62C。水平池化层62A与卷积层62B交替配置。

水平池化层62A对从卷积层60输入的特征图FM进行水平池化。水平池化是仅对基于相位差像素P1、P2的相位差检测方向即水平方向(X方向)进行处理的非对称池化。由于水平池化层62A对特征图FM进行水平池化，分辨率仅在水平方向上降低。

作为一例，如图10(B)所示，水平池化层62A进行在特征图FM中取在水平方向上长的由1×2的正方形池化窗口W2包围的区域的最大值的处理。另外，水平池化层62A可以进行取由池化窗口W2包围的区域的平均值的处理。

卷积层62B对因水平池化层62A而在水平方向上分辨率降低了的特征图FM实施滤波处理。

在第2子网络62中，水平池化层62A和卷积层62B交替地对特征图FM执行处理，由此提取高维特征量作为对焦信息。

检测层62C根据由多组水平池化层62A和卷积层62B提取的对焦信息进行对焦位置的推断(检测)。检测层62C输出推断结果R2。

图11表示基于水平池化的相位差图像IP的分辨率的变化的一例。如图11所示，相位差图像IP通过卷积层60转换为特征图FM之后，通过由水平池化层62A进行水平池化，从而使水平方向的分辨率低于垂直方向的分辨率。

如上所述，基于摄像传感器20的相位差像素P1、P2的相位差检测方向为水平方向。因此，如图11所示，在相位差图像IP中水平方向的亮度差越鲜明，对焦位置的检测精度越提高。因此，在第2子网络62中，通过对相位差图像IP进行水平池化，与水平方向相关的特征被强调，因此与对焦位置相关的推断精度提高。

图12表示基于第2对焦位置检测部56的第2对焦位置检测处理的一例。使用从图像处理部52输入的相位差图像IP中所包含的图像IP1及图像IP2进行相关运算。例如，第2对焦位置检测部56使用通过用户对操作部13进行操作而从摄像区域内指定的指定区域中所包含的图像IP1及图像IP2进行相关运算。另外，第2对焦位置检测部56可以使用与由被摄体检测部54检测的特定的被摄体对应的区域的图像IP1及图像IP2进行相关运算。

具体而言，第2对焦位置检测部56通过在对图像IP1进行固定并且使图像IP2在水平方向(X方向)上每1个像素位移，同时进行图像IP1与图像IP2的相关运算来计算差分平方和。当使图像IP2位移1像素量时，计算1个差分平方和。

在图12中，ΔX表示在X方向上的图像IP2的位移量。第2对焦位置检测部56获取在位移范围(从位移量ΔX的最小值至最大值的范围)中差分平方和最小的位移量δ作为对焦信息。位移量δ表示对焦位置(即，散焦量)。

主控制部50在进行自动对焦控制时，使聚焦透镜31向由第1对焦位置检测部55或第2对焦位置检测部56检测到的对焦位置移动。基本上，由于基于相关运算的第2对焦位置检测部56的检测精度比基于第2对焦位置检测部56的检测精度高，因此主控制部50原则上根据基于第2对焦位置检测部56的检测结果来进行自动聚焦控制。

另一方面，通过基于相关运算的第2对焦位置检测部56的对焦位置的检测对于具有由水平方向的线构成的图案或方格图案的图像、图案细小的高频成分多的图像等，检测精度低。因此，当通过基于第2对焦位置检测部56的相关运算而获得的相关值低(即，检测结果的可靠度低)时，主控制部50根据通过使用模型M的第1对焦位置检测部55获得的检测结果来进行自动聚焦控制。相关值例如为差分平方和的最小值。

图13是表示由摄像装置10执行的检测方法的步骤的一例的流程图。图13表示在静止图像摄像模式下摄像准备动作时进行实时取景图像显示的情况下的例子。

主控制部50判定是否存在通过用户对操作部13进行操作而发出的摄像准备开始命令(步骤S10)。当存在摄像准备开始命令时(步骤S10：是)，主控制部50通过控制摄像控制部51使摄像传感器20进行摄像动作(步骤S11)。在步骤S11中，摄像控制部51执行从摄像像素N读出信号的第1读出处理和从相位差像素P1、P2读出信号的第1读出处理。在本例中，为了简化说明，假设同时执行第1读出处理和第2读出处理。

图像处理部52根据由摄像像素N生成的信号生成正常图像IN，并根据由相位差像素P1、P2生成的信号生成相位差图像IP(步骤S12)。输入部53执行将相位差图像IP作为输入图像输入到模型M中的输入处理(步骤S13)。

被摄体检测部54通过执行了输入处理的模型M进行检测正常图像IN中所包含的特定的被摄体的被摄体检测处理(步骤S14)。

第2对焦位置检测部56进行通过使用相位差图像IP中所包含的图像IP1和图像IP2进行相关运算来检测相对于正常图像IN中所包含的特定的被摄体的对焦位置的第2对焦位置检测处理(步骤S15)。

主控制部50判定通过第2对焦位置检测处理中的相关运算而获得的相关值是否在规定以上(步骤S16)。当相关值为规定以上时(步骤S16：是)，主控制部50使处理转移到步骤S18。另一方面，当相关值不是规定以上时(步骤S16：否)，主控制部50使第1对焦位置检测部55执行第1对焦位置检测处理(步骤S17)。在步骤S17中，第1对焦位置检测部55通过执行了输入处理的模型M检测相对于正常图像IN中所包含的特定的被摄体的对焦位置。

在步骤S18中，当相关值为规定以上时，主控制部50根据通过第2对焦位置检测处理而获得的检测结果来进行自动聚焦控制。另一方面，当相关值不是规定以上时，主控制部50根据通过第1对焦位置检测处理而获得的检测结果来进行自动聚焦控制。

显示控制部57根据被摄体及对焦位置的检测结果在显示器15上可识别地显示处于对焦状态的被摄体和正常图像IN(步骤S19)。

主控制部50判定是否存在通过用户对操作部13进行操作而发出的摄像命令(步骤S20)。当没有操作命令时(步骤S20：否)，主控制部50将处理返回到步骤S11。在步骤S20中，重复执行步骤S11～S19的处理，直至由主控制部50判定为存在摄像命令。

当存在摄像命令时(步骤S20：是)，主控制部50使摄像传感器20进行摄像动作，并进行将由图像处理部52生成的正常图像IN作为静止图像记录到存储器42中的静止图像摄像处理(步骤S21)。

在上述流程图中，步骤S13对应于本发明的技术所涉及的“输入工序”。步骤S14对应于本发明的技术所涉及的“被摄体检测工序”。步骤S15对应于本发明的技术所涉及的“第2对焦位置检测工序”。步骤S17对应于本发明的技术所涉及的“第1对焦位置检测工序”。

根据本发明的技术，使用模型M，根据相位差图像IP进行被摄体及对焦位置的检测，因此不依赖于正常图像IN的曝光状态、模糊量等，能够提高被摄体及对焦位置的检测精度。

例如，在曝光不足的情况下进行拍摄的情况或在将快门速度设为低速而进行拍摄的情况下，由于被摄体容易产生模糊，因此难以高精度地进行被摄体检测。即使在这种情况下，根据本发明的技术，以彼此不同的读出速率读出摄像像素N和相位差像素P1、P2，并使相位差像素P1、P2的读出速率高于摄像像素N的读出速率，因此能够生成模糊少的相位差图像IP。通过使用模糊少的相位差图像IP进行被摄体及对焦位置的检测来提高检测精度。

这样，根据本发明的技术，提高被摄体及对焦位置的检测精度，因此能够实现精度高的被摄体跟踪功能。由此，能够进行如下控制：将处于对焦状态的被摄体设为跟踪对象，不处于对焦状态的被摄体未设为跟踪对象。

并且，根据本发明的技术，使用相位差图像IP进行被摄体及对焦位置的检测，因此能够高精度地判别被摄体是否处于对焦状态，并高精度的检测处于对焦状态的被摄体。

并且，通过使用模型M进行对焦位置的检测，在基于相关运算的对焦位置的检测精度低的情况下，有时能够高精度地检测对焦位置。

[变形例]

以下，对上述实施方式的各种变形例进行说明。

在上述实施方式中，主控制部50根据第2对焦位置检测处理的结果来执行第1对焦位置检测处理，但是也可以根据被摄体检测处理的结果来执行第1对焦位置检测处理。被摄体检测处理的结果，在被摄体具有基于相关运算的对焦位置的检测精度降低的特征的情况下，主控制部50执行第1对焦位置检测处理。例如，在被摄体包括具有由水平方向的线构成的图案或方格图案的图像时，执行第1对焦位置检测处理。具体而言，当识别出具有由水平方向的线构成的图案或方格图案的图像为被摄体时，主控制部50执行第1对焦位置检测处理。

并且，在上述实施方式中，输入部53将由图像处理部52生成的相位差图像IP的整体作为输入图像输入到模型M中，但也可以将从相位差图像IP切取的一部分图像作为输入图像输入到模型M中。输入图像的尺寸能够根据目的而改变。例如，当进行被摄体跟踪时，优选改变输入图像的尺寸，当进行图像识别时优选不改变输入图像的尺寸。

并且，在上述实施方式中，模型M构成为分别输出与被摄体有关的推断结果R1和与对焦位置有关的推断结果R2，但是也可以构成为输出与被摄体及对焦位置有关的1个推断结果。

图14表示构成为输出与被摄体及对焦位置有关的1个推断结果的模型M的结构的一例。图14所示的模型M具有卷积层70、第1子网络71、第2子网络72及检测层73。

卷积层70是与上述实施方式的卷积层60相同的结构，从输入部53输入输入图像。卷积层70生成特征图FM并将其输入到第1子网络71及第2子网络72。

第1子网络71包括多个垂直水平池化层71A、多个卷积层71B及GAP层71C。垂直水平池化层71A与卷积层71B交替配置。垂直水平池化层71A及卷积层71B是与上述实施方式的垂直水平池化层61A及卷积层61B相同的结构。GAP层71C将由多组垂直水平池化层71A和卷积层71B提取的图像信息平均化后输出。

第2子网络72包括多个水平池化层72A、多个卷积层72B及GAP层72C。水平池化层72A与卷积层72B交替配置。水平池化层72A及卷积层72B是与上述实施方式的水平池化层62A及卷积层62B相同的结构。GAP层72C将由多组水平池化层72A和卷积层72B提取的对焦信息平均化后输出。

从第1子网络71输出的图像信息和从第2子网络72输出的对焦信息被合成而输入到检测层73。检测层73根据所合成的图像信息及对焦信息例如推断处于对焦状态的被摄体的位置(检测)。检测层73输出推断结果RT。

这样，通过将模型M构成为对图像信息和对焦信息进行合成并进行推断，能够仅检测处于对焦状态的被摄体。

并且，在上述实施方式中，输入部53将相位差图像IP作为输入图像输入到模型M中，但是也可以将相位差图像IP中所包含的图像IP1和图像IP2中的任一个输入到模型M。此时，优选输入部53根据在过去的被摄体检测处理中检测到的正常图像IN内中的被摄体的位置，将图像IP1和图像IP2中的任一个作为输入图像输入到模型M中。这是因为图像IP1及图像IP2在X方向(即，相位差检测方向)上产生亮度不均匀。

图像IP1是由在X方向上负侧被遮光层SF遮光并由接收来自负侧的射出光瞳EP1的光束LF的相位差像素P1生成(参考图3)，因此在X方向上负侧的亮度趋于变高。因此，在被摄***于在X方向上亮度高的负侧的情况下，输入部53优选将图像IP1输入到模型M。

图像IP2是由在X方向上正侧被遮光层SF遮光并接收来自且正侧的射出光瞳EP2的光束LF的相位差像素P2生成(参考图3)，因此在X方向上正侧的亮度趋于变高。因此，在被摄***于在X方向上亮度高的正侧的情况下，输入部53优选将图像IP2输入到模型M。

这样，通过将图像IP1和图像IP2中的、根据过去的被摄体的位置将亮度高的图像作为输入图像输入到模型M，由此在被摄体所存在的区域中相对降低噪声的影响，因此被摄体及对焦位置的检测精度提高。

模型M不限于相位差图像IP，即使在将图像IP1和图像IP2中的任一个作为输入图像的情况下也能够推断对焦位置。

对将图像IP1和图像IP2中的任一个作为输入图像时的模型M的机器学习进行说明。图15是模型M的学习用图像及正确答案数据的一例。图15所示的多个学习用图像PT各自的模糊程度不同。学习用图像PT相当于图像IP1或图像IP2。

正确答案数据是通过使用相当于图像IP1及图像IP2的2个图像进行相关运算而获得的位移量δ(即，散焦量)。

这样，通过将学习用图像PT和相关运算的结果建立对应关联而得的数据作为教师数据来进行模型M的机器学习，由此模型M即使在将图像IP1和图像IP2中的任一个作为输入图像的情况下也能够推断对焦位置。图16表示在将图像IP1作为输入图像的情况下从模型M输出的推断结果的一例。模型M能够输出不包含在教师数据中的位移量δ的值作为推断结果。

并且，使用图15所示的教师数据进行了机器学***方向(即，相位差检测方向)的线构成的图案的输入图像，推断的精度低。因此，如图17所示，输入部53可以将输入图像旋转而输入到模型M。在第1对焦位置检测工序中，根据旋转后的输入图像检测对焦位置。

在图17所示的例子中，输入部53使输入图像旋转90°，但是旋转角度并不限于90°。输入部53只要以使输入图像中所包含的线的方向为与相位差检测方向不平行的方向的方式使输入图像旋转即可，也可以将旋转角度设为45°等的角度。

在上述实施方式中，模型M由单个网络构成(参考图9及图14)，但模型M可以由多个网络的组合构成。

并且，在上述实施方式中，1个模型M存储于存储器42中，但是也可以在存储器42中存储使用不同的教师数据进行了机器学习的多个模型。例如，存储器42中存储有多个模型，主控制部50可以进行选择适合于基于相位差像素P1、P2的相位差检测方向的1个模型的选择处理。此时，输入部53向由选择处理选择的模型输入输入图像。选择处理对应于本发明的技术所涉及的“选择工序”。

例如，如图18所示，在存储器42中可以存储有第1模型M1及第2模型M2。第1模型M1是适合于在相位差检测方向为水平方向的情况下检测对焦位置的模型。第2模型M2是适合于在相位差检测方向为垂直方向的情况下检测对焦位置的模型。第1模型M1及第2模型M2是与上述实施方式的模型M基本上相同的结构，但是第1模型M1构成为在第2子网络中进行水平池化，第2模型M2构成在第2子网络中进行垂直池化。

主控制部50根据搭载于摄像装置10中的摄像传感器20的相位差检测方向选择第1模型M1和第2模型M2中的任一个。主控制部50在摄像传感器20的相位差检测方向为水平方向时选择第1模型M1，在摄像传感器20的相位差检测方向为垂直方向时选择第2模型M2。

这样，摄像传感器20的相位差检测方向不限于水平方向，也有垂直方向的情况，但是通过在存储器42中预先存储与多个相位差检测方向对应的多个模型，能够选择与摄像传感器20的相位差检测方向对应的模型。由此，能够将存储有多个模型的存储器42用作共同部件，因此简化摄像装置10的制造。

另外，本发明的技术不限于数码相机，还能够适用于具有摄像功能的智能手机、平板终端等电子设备。

在上述实施方式中，作为以处理器40为一例的控制部的硬件结构，能够使用以下所示的各种处理器。在上述各种处理器中，除了作为执行软件(程序)而发挥功能的常用的处理器的CPU之外，还包括FPGA等能够在制造后变更电路结构的处理器。FPGA中包括专用电路等，该专用电路是具有为了执行PLD或ASIC等特定的处理而专门设计的电路结构的处理器。

控制部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，多个控制部可以由1个处理器构成。

关于由1个处理器构成多个控制部的例可以考虑多个。第1例中，如以客户端及服务器等计算机为代表，存在由1个以上的CPU与软件的组合构成1个处理器，并且该处理器作为多个控制部而发挥功能的方式。第2例中，有如以片上***(System On Chip：SOC)等为代表那样，使用由1个IC芯片实现包括多个控制部的整个***的功能的处理器的方式。如此，控制部能够使用上述各种处理器中的1个以上来构成硬件结构。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。

以上所示的记载内容和图示内容是关于本发明的技术所涉及的部分的详细说明，并且仅是本发明的技术的一例。例如，关于上述结构、功能、作用及效果的说明是关于本公开的技术所涉及的部分的结构、功能、作用及效果的一例的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免错综复杂，便于理解本公开的技术所涉及的部分，在以上所示的记载内容和图示内容中，在能够实施本公开的技术的基础上省略了与不需要特别说明的技术常识等相关的说明。

就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参照而引入的各个文献、专利申请以及技术规格的情况相同地，通过参考被引入本说明书。

Claims (13)

1.一种检测方法，其用于摄像装置，所述摄像装置具备：

成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；及

存储器，存储进行了机器学习的模型，

所述检测方法包括：

输入工序，将基于所述第2信号的第2图像、基于所述第3信号的第3图像或基于所述第2信号及所述第3信号的第4图像作为输入图像输入到所述模型中；

被摄体检测工序，通过执行了所述输入工序的所述模型检测由所述第1信号生成的第1图像中所包含的被摄体；及

第1对焦位置检测工序，通过执行了所述输入工序的所述模型检测相对于所述被摄体的对焦位置。

2.根据权利要求1所述的检测方法，其还包括第2对焦位置检测工序，通过使用所述第2信号和所述第3信号进行相关运算来检测相对于所述被摄体的对焦位置。

3.根据权利要求2所述的检测方法，其中，

所述第1对焦位置检测工序根据所述第2对焦位置检测工序或所述被摄体检测工序的结果来执行。

4.根据权利要求1至3中任一项所述的检测方法，其中，

在所述输入工序中，将所述输入图像旋转而输入到所述模型中，

在所述第1对焦位置检测工序中，根据旋转后的所述输入图像检测所述对焦位置。

5.根据权利要求1至4中任一项所述的检测方法，其还包括：

第1读出工序，从所述第1像素读出所述第1信号；及

第2读出工序，与所述第1读出工序独立地从所述第2像素及所述第3像素读出所述第2信号及所述第3信号。

6.根据权利要求5所述的检测方法，其中，

在所述第2读出工序中读出的所述第2像素及所述第3像素的曝光量与在所述第1读出工序中读出的所述第1像素的曝光量不同。

7.根据权利要求6所述的检测方法，其中，

所述第2读出工序中的所述第2信号及所述第3信号的读出速率高于所述第1读出工序中的所述第1信号的读出速率。

8.根据权利要求1至7中任一项所述的检测方法，其中，

在所述输入工序中，根据在过去的所述被摄体检测工序中检测到的所述被摄体的位置，将所述第2图像和所述第3图像中的任一个作为所述输入图像输入到所述模型中。

9.根据权利要求1至7中任一项所述的检测方法，其中，

所述输入工序中的所述输入图像为所述第4图像。

10.根据权利要求1至9中任一项所述的检测方法，其中，

在基于所述第2像素及所述第3像素的相位差检测方向为水平方向的情况下，

所述模型在所述被摄体检测工序中对所述输入图像执行水平池化及垂直池化，在所述第1对焦位置检测工序中，对所述输入图像执行水平池化。

11.根据权利要求1至10中任一项所述的检测方法，其中，

在所述存储器中存储有多个模型，

所述检测方法还包括选择适合于基于所述第2像素及所述第3像素的相位差检测方向的1个模型的选择工序，

在所述输入工序中，向在所述选择工序中选择的模型输入所述输入图像。

12.一种摄像装置，其具备：

成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；

存储器，存储进行了机器学习的模型；及

处理器，

所述处理器构成为执行如下处理：

输入处理，将基于所述第2信号的第2图像、基于所述第3信号的第3图像或基于所述第2信号及所述第3信号的第4图像作为输入图像输入到所述模型中；

被摄体检测处理，通过执行了所述输入处理的所述模型检测由所述第1信号生成的第1图像中所包含的被摄体；及

第1对焦位置检测处理，通过执行了所述输入处理的所述模型检测相对于所述被摄体的对焦位置。

13.一种程序，其使摄像装置工作，所述摄像装置具备：

成像元件，其具有生成第1信号的第1像素、生成用于检测相位差的第2信号及第3信号的第2像素及第3像素；及

存储器，存储进行了机器学习的模型，

所述程序使所述摄像装置执行如下处理：

输入处理，将基于所述第2信号的第2图像、基于所述第3信号的第3图像或基于所述第2信号及所述第3信号的第4图像作为输入图像输入到所述模型中；

被摄体检测处理，通过执行了所述输入处理的所述模型检测由所述第1信号生成的第1图像中所包含的被摄体；及

第1对焦位置检测处理，通过执行了所述输入处理的所述模型检测相对于所述被摄体的对焦位置。