CN114365478A - 摄像装置、摄像***及摄像方法 - Google Patents

Abstract

本公开的一个方式所涉及的摄像装置具备：摄像元件，灵敏度可变，以采样周期Tf取得图像；以及控制电路，对所述摄像元件进行控制。所述控制电路以比所述采样周期Tf短的周期Ts1使所述摄像元件的灵敏度变化。所述摄像元件基于所述控制电路的控制，以所述采样周期Tf取得被摄体的多个图像。所述被摄体包括以与所述周期Ts1不同的周期Tt1变化的第1成分。

Description

摄像装置、摄像***及摄像方法

技术领域

本申请涉及摄像装置、摄像***及摄像方法。

背景技术

摄像元件(图像传感器)是以2维配置将光转换为信号电荷的光电转换元件而成的设备。由于难以同时测定全部光电转换元件所输出的信号电荷量，因此在摄像元件中，在被称为曝光时间的期间中将光电转换元件中产生的信号电荷积蓄至电荷积蓄部之后，由电荷量测定器顺次进行测定。

在上述的摄像元件的构成中，在比曝光时间短的时间中产生的被摄体的变化由于积蓄而被平均化，因此无法以充分的信息量摄像。为了对示出快速变化的被摄体进行摄像，考虑缩短曝光时间。这样的摄像元件一般被称为高速摄像元件。例如，专利文献1公开了一种高速摄像元件，具备与光电转换元件相邻且用于记录图像信息的图像记录部，在摄像中，向该图像记录部积蓄信号电荷，并在摄像后顺次取出图像信息。

在先技术文献

专利文献

专利文献1:日本特开2014-207641号公报

发明内容

本发明所要解决的课题

本公开提供取得在短时间中产生的被摄体的变化的信息的摄像装置、摄像***及摄像方法。

用于解决课题的手段

本公开的一个实施方式所涉及的摄像装置具备：摄像元件，灵敏度可变，以采样周期Tf取得图像；以及控制电路，对所述摄像元件进行控制。所述控制电路以比所述采样周期Tf短的周期Ts1使所述摄像元件的灵敏度变化。所述摄像元件基于所述控制电路的控制，以所述采样周期Tf取得被摄体的多个图像。所述被摄体包括以与所述周期Ts1不同的周期Tt1变化的第1成分。

发明效果

根据本公开，能够取得在短时间中产生的被摄体的变化的信息。

附图说明

图1是表示本公开的摄像装置的第1实施方式的一例的框图。

图2是表示摄像元件的像素单元的构造的一例的示意性截面图。

图3是说明被摄体的运动的示意图。

图4是表示由一般性的摄像装置对被摄体进行了摄像的情况下的图像例的示意图。

图5是表示第1实施方式的摄像装置的摄像元件的灵敏度调制的定时例的示意图。

图6是说明在由第1实施方式的摄像装置进行了摄像的情况下被摄体被曝光的定时的示意图。

图7是表示本公开的摄像***的第1实施方式的一例的框图。

图8是表示第1实施方式的摄像***的动作例的流程图。

图9是表示第1实施方式的摄像***的其他动作例的流程图。

图10是表示第1实施方式的摄像***的其他动作例的流程图。

图11是表示本公开的摄像***的第2实施方式的一例的框图。

图12是表示在第2实施方式的摄像***中使用的光源的构成例的框图。

图13是表示第2实施方式的摄像***的动作例的流程图。

图14是表示第2实施方式的摄像***的其他动作例的流程图。

图15是表示本公开的第1实施方式的摄像装置中的帧的构成的图。

图16是表示第1实施方式的摄像装置的摄像元件的灵敏度调制的定时例的示意图。

图17是表示第1实施方式的摄像装置的摄像元件的灵敏度调制的定时例的示意图。

具体实施方式

高速摄像元件一般为了以高速对被摄体进行摄像而具备特殊的构造，电路构成容易变得复杂。另外，例如在像专利文献1所公开的高速摄像元件那样将图像记录部与光电转换元件接近配置的情况下，在构成上有时无法使图像记录部充分大，对一次能够摄像的帧数或者像素数造成限制。本公开提供能够以简单的构成取得在短时间内产生的被摄体的变化的信息的摄像装置、摄像***及摄像方法。

本公开的摄像装置、摄像***及摄像方法的概要如下。

[项目1]

本公开的项目1所涉及的摄像装置具备：

摄像元件，灵敏度可变，以采样周期Tf取得图像；以及

控制电路，对所述摄像元件进行控制。

所述控制电路以比所述采样周期Tf短的周期Ts1使所述摄像元件的灵敏度变化。

所述摄像元件基于所述控制电路的控制，以所述采样周期Tf取得被摄体的多个图像。

所述被摄体包括以与所述周期Ts1不同的周期Tt1变化的第1成分。

所述第1成分的位置或者明亮度也可以以所述周期Tt1变化。

[项目2]

在项目1所述的摄像装置中也可以是，

所述多个图像包括作为差周期成分且通过Tt1·Ts1/|Tt1-Ts1|求出的第1信息。

[项目3]

在项目1或者2所述的摄像装置中也可以是，

所述采样周期Tf满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|。

[项目4]

在项目1至3中任一项所述的摄像装置中也可以是，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

所述控制电路以比所述周期Ts1短的与所述周期Ts1不同的周期Ts2使所述摄像元件的灵敏度变化，

所述多个图像还包括作为差频成分且通过Tt2·Ts2/|Tt2-Ts2|求出的第2信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

以及

2Tf＜Tt2·Ts2/|Tt2-Ts2|。

所述第2成分的位置或者明亮度也可以以所述周期Tt2变化。

[项目5]

在项目1至3中任一项所述的摄像装置中也可以是，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

所述多个图像还包括作为差频成分且通过Tt2·Ts1/|Tt2-Ts1|求出的第3信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

而且

2Tf＜Tt2·Ts1/|Tt2-Ts1|。

所述第2成分的位置或者明亮度也可以以所述周期Tt2变化。

[项目6]

在项目1至5中任一项所述的摄像装置中也可以是，

所述摄像元件构成为在曝光期间中切换高灵敏度状态与低灵敏度状态，

在所述低灵敏度状态下，所述摄像元件在实质上不具有灵敏度。

[项目7]

在项目1至6中任一项所述的摄像装置中也可以是，

所述摄像元件构成为：在曝光期间中，使灵敏度在第1值与比所述第1值小的第2值之间分阶段或者连续地变化。

[项目8]

在项目6或者7所述的摄像装置中也可以是，

所述摄像元件包括：上部电极、下部电极、以及位于所述上部电极与所述下部电极之间的光电转换膜。

[项目9]

在项目8所述的摄像装置中也可以是，

所述摄像元件还包括向所述上部电极及所述下部电极中的至少一方供给电压的电压供给电路，

所述控制电路对所述电压供给电路进行控制，使所述摄像元件的灵敏度以周期性变化。

[项目10]

在项目1至9中任一项所述的摄像装置中也可以是，

所述摄像元件以全局快门方式取得图像。

[项目11]

本公开的项目11所涉及的摄像***具备：

如项目1至10中任一项所述的摄像装置；以及

信号处理电路。

所述信号处理电路基于所述存储的多个图像的数据，求出所述第1成分的所述周期Tt1。

[项目12]

本公开的项目12所涉及的摄像***具备：

如项目6所述的摄像装置；以及

促动器，以周期性向所述被摄体施加应力。

通过所述促动器，从由所述被摄体的位置及所述被摄体的形状构成的组中选择的至少一方变化。

[项目13]

本公开的项目13所涉及的摄像***具备：

如项目7所述的摄像装置；以及

照明装置，向所述被摄体照射强度以所述周期Tt1变化的第1波长的第1光。

在所述多个图像中，所述被摄体的所述第1成分的亮度以所述周期Ts1变化。

[项目14]

在项目13所述的摄像***中也可以是，

所述照明装置还向所述被摄体照射强度以与所述周期Tt1不同的周期变化且波长与所述第1波长不同的第2光。

[项目15]

本公开的项目15所涉及的摄像方法包括：

使用灵敏度以周期Ts1被调制的摄像元件，以采样周期Tf摄像被摄体的多个图像，该被摄体包括以与所述周期Ts1不同的周期Tt1变化的第1成分；以及

取得所述多个图像。

所述第1成分的位置或者明亮度也可以以所述周期Tt1变化。

[项目16]

在项目15所述的摄像方法中也可以是，

所述多个图像包括作为差频成分且通过Tt1·Ts1/|Tt1-Ts1|求出的第1信息。

[项目17]

在项目15或者16所述的摄像方法中也可以是，

所述采样周期Tf满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|。

[项目18]

在项目15至17中任一项所述的摄像方法中也可以是，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

通过所述摄像元件，以比所述周期Ts1短的与所述周期Ts1不同的周期Ts2使灵敏度变化来对所述被摄体进行摄像，

所述多个图像还包括作为差频成分且通过Tt2·Ts2/|Tt2-Ts2|求出的第2信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

以及

2Tf＜Tt2·Ts2/|Tt2-Ts2|。

所述第2成分的位置或者明亮度也可以以所述周期Tt2变化。

[项目19]

在项目15至17中任一项所述的摄像方法中也可以是，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

所述多个图像还包括作为差频成分且通过Tt2·Ts1/|Tt2-Ts1|求出的第3信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

而且

2Tf＜Tt2·Ts1/|Tt2-Ts1|。

所述第2成分的位置或者明亮度也可以以所述周期Tt2变化。

在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图的功能模块的全部或者一部分，也可以由包括半导体装置、半导体集成电路(IC)或者LSI(大规模集成电路(Large Scale Integration))的一个或者多个电子电路执行。LSI或者IC既可以集成于一个芯片，也可以组合多个芯片来构成。例如，存储元件以外的功能模块也可以集成于一个芯片。在此称为LSI或者IC，但根据集成的程度而叫法改变，也可以是被称为***LSI、VLSI(超大规模集成电路(Very Large Scale Integration))或ULSI(特大规模集成电路(Ultra Large Scale Integration))的电路。也能够以相同的目的使用在LSI的制造后被编程的现场可编程逻辑门阵列(FPGA)、或者能够重构LSI内部的接合关系或设置LSI内部的电路划分的可重构逻辑器件。

进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者操作也能够通过软件处理而执行。在该情况下，软件被记录至一个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质，在软件被处理装置(processor)执行时，由处理装置(processor)及周边装置执行由该软件确定的功能。***或者装置也可以具备记录有软件的一个或者多个非易失性记录介质、处理装置(processor)、以及所需的硬件设备例如接口。

(第1实施方式)

以下，说明本公开的摄像装置、摄像***及摄像方法的第1实施方式。第1实施方式的摄像装置等在被摄体在摄像范围内短时间内进行周期性运动的情况下特别有效。被摄体在摄像范围内进行周期性运动是指：被摄体通过振动、往返运动、旋转运动、受控的反复动作等，在摄像范围内产生位置的变化，而且位置、角度等以周期性大致相同。此外，不需要被摄体的整体进行周期性运动，只要被摄体的一部分进行周期性运动即可。另外，在多个被摄体进行周期性运动的情况下，其周期既可以是单一的也可以不是单一的。进而，进行运动的被摄体的周期既可以是单一的，也可以是多个周期的运动混合。

被摄体的周期性运动既可以是自发性的，也可以通过从被摄体的外部对被摄体进行驱动，从而被摄体以周期性运动。也可以是被摄体通过驱动装置而进行振动等。来自外部的驱动也可以如后所述基于摄像***的促动器。被摄体也可以是进行振动运动的生物。或者，也可以是通过周期性脉冲激光的照射等而诱发的局部性热膨胀所引起的运动。

自发性周期运动的一例是桥梁等构造物的振动。桥梁等构造物由于风、通行车辆等的影响而振动，而且其振动具有由固有振动频率决定的特定的周期。固有振动频率包括构造物的劣化等的信息，因此振动的周期也包括与劣化相关的信息。

在被摄体是驱动装置的情况下，作为被摄体的周期性运动，可以举出发动机、马达等驱动装置的周期运动、或者被它们驱动的机械要素的振动等周期运动。在以一定转速动作的发动机的内部，按由其转速决定的各周期产生***。以该***作为主要的原因，发动机进行与转速相应的振动。以一定间隔喷出墨水的喷墨装置、以一定间隔照射脉冲激光的激光烧蚀、以一定转速进行的打印等、各种领域的制造工艺中使用的制造装置也以周期运动进行动作。

在被摄体是生物的情况下，作为被摄体的周期性运动，例如可以举出细菌的鞭毛马达、昆虫的翅膀等的振动等周期运动。或者，在对于被附着了磁珠的被摄体施加交流磁场的情况下，被摄体也进行周期运动。

＜摄像装置的概要＞

图1是表示本公开的摄像装置的第1实施方式的框图。摄像装置101具备摄像元件12和控制电路14。摄像装置101也可以还具备摄像光学***11及存储器15。

摄像光学***11使来自被摄体的光收敛，并成像于后述的摄像元件12的受光面。摄像光学***11能够使用被用于一般的摄像装置且由包括物镜等的1个或者多个透镜构成的公知的光学***。摄像光学***11也可以替代透镜而使用凹面镜等反射光学***而被校准。

摄像元件12通过光电转换将在多个像素以2维排列而成的受光面上形成的被摄体的像转换为电信号，并以作为帧周期的采样周期Tf输出图像数据。

采样周期Tf意味着某帧的开始时刻与其下一帧的开始时刻的间隔是1/Tf。如图15所示，各帧例如也可以由初始化、曝光、转送等多个阶段构成。曝光时间也可以比某帧的开始时刻与其下一帧的开始时刻之间的间隔短。

摄像元件12能够变更灵敏度。摄像元件12能够在曝光期间中变更灵敏度。在本实施方式中，灵敏度的变更例如也可以是2值。也就是说，摄像元件12能够在高灵敏度状态与低灵敏度状态之间切换灵敏度即可，也可以无法被设定为中间的灵敏度。在低灵敏度状态下，摄像元件12也可以在实质上不具有灵敏度。摄像元件12也可以在高灵敏度与低灵敏度之间能够以2值以上切换灵敏度，例如也可以在高灵敏度与低灵敏度之间能够连续地或者无阶段(无级)地改变灵敏度。在摄像元件中，在能够进行2值以上的灵敏度变更的情况下，从多个值中分别选择各1个值作为高灵敏度侧及低灵敏度侧的值即可。

摄像元件的灵敏度的变更也可以能够以高速进行，也可以能够通过电子的灵敏度可变功能进行。另外，各像素的灵敏度也可以一齐变更。摄像元件12也可以以全局快门方式进行快门动作，并取得图像。

作为能够在曝光期间中变更灵敏度的摄像元件的例子，可以举出具有电荷丢弃机构的CCD图像传感器、带影像增强器的图像传感器等摄像元件。另外，也可以利用使用了层叠型图像传感器的摄像装置。

参照图2，说明层叠型图像传感器的一例。图2表示摄像元件201的例示性的构成的概略。摄像元件201包括作为多个像素的多个摄像单元210。在图2中，以这些摄像单元210之中的1个为代表来表示。

摄像元件201的各摄像单元210具有：形成有电荷积蓄区域217的半导体基板216、以及覆盖半导体基板216的层间绝缘层218。另外，各摄像单元210具有被半导体基板216及层间绝缘层218支承的光电转换部211。光电转换部211包括光电转换膜213、以及夹着光电转换膜213的像素电极212及对置电极214。对置电极214也可以具备使要检测的波长的光透射的特性，例如也可以由ITO等导电性透明材料构成。光电转换膜213例如是有机半导体膜。

摄像元件201还包括第1电压供给电路221及第2电压供给电路222。第1电压供给电路221及第2电压供给电路222经由第1信号线231及第2信号线232与像素电极212及对置电极214连接。在本实施方式中，摄像元件201包括第1电压供给电路221及第2电压供给电路222，但也可以包括任一方，而另一方与基准电压连接。第1电压供给电路221及第2电压供给电路222在基于来自外部的指令的定时，将规定的电压向像素电极212及对置电极214供给。光电转换膜213被赋予与由第1电压供给电路221及第2电压供给电路222向像素电极212及对置电极214施加的电压相应的电位差。

第1电压供给电路221在基于来自外部的指令的定时，与电荷积蓄区域217的电连接被切断。在切断后，电荷积蓄区域217的电位依赖于在光电转换膜213中产生的电荷量而变化。

在光电转换部211中，透射了对置电极214并入射到光电转换膜213的光通过光电转换产生空穴及电子。如果像素电极212与对置电极214之间被赋予了电位差，则空穴及电子遵循像素电极212及对置电极214之间形成的电场而移动。在电位差大到某种程度的高灵敏度状态下，与生成的电场的朝向相应地，空穴及电子的一方被像素电极212收集，而另一方被对置电极214收集，被像素电极212收集的空穴或者电子所产生的信号电荷经由连接部219被积蓄至电荷积蓄区域217。另一方面，在像素电极212与对置电极214之间被赋予的电位差小的情况下，生成的空穴及电子在向像素电极212及对置电极214移动之前重新结合。也就是说，实现了即使接受光也无法作为电荷检测的低灵敏度状态。

控制电路14对摄像元件12进行控制，以比摄像元件12的曝光期间短的灵敏度调制周期即周期Ts1使摄像元件的灵敏度变化。具体而言，控制电路14对第1电压供给电路221及第2电压供给电路222进行控制，以在向像素电极212与对置电极214之间施加的电位差大的高灵敏度状态与该电位差小的低灵敏度状态间切换。

如图16及图17所示，控制电路14也可以对摄像元件12的灵敏度变化的相位进行控制。在图16中，部分(a)表示摄像元件12的灵敏度变化的第1例，部分(b)表示摄像元件12的灵敏度变化的第2例，部分(c)表示被摄体的位置的变化。在图16的部分(a)及部分(b)中，纵轴表示灵敏度，横轴表示时间。在图16的部分(c)中，纵轴表示位置坐标，横轴表示时间。如图16的部分(a)所示，例如也可以在曝光期间开始时总是控制为同一相位。或者，如图16的部分(b)所示，也可以与曝光期间的开始时刻相应地使相位变化。

例如，被摄体进行一定的周期运动，如图16的部分(c)所示，设为被摄体的位置坐标以周期性变化。

此时考虑摄像元件12的灵敏度变化为相同的周期的情况。此时，在摄像元件12的灵敏度变化的相位在曝光期间开始时总是成为同一相位的上述第1例的情况下，只要帧的周期不是被摄体的周期运动的周期的整数倍，则被摄体的周期运动的相位与摄像元件12的灵敏度变化的相位的相对关系按每帧变化。

另一方面，如果使摄像元件12的灵敏度变化的周期与曝光期间的开始时刻相应地变化，则如上述第2例那样，能够使被摄体的周期运动的相位与摄像元件12的灵敏度变化的相位总是保持一定的关系。

即使在被摄体的周期运动的周期与摄像元件12的灵敏度变化的周期不一致的情况下，在使摄像元件12的灵敏度变化的相位与曝光的开始时刻相应地变化的情况下，有时解析也会变得更容易，或者摄像结果在人眼看来更自然。

以上的效果不限定于如图16所示的灵敏度变化取高低二值的情况。如图17的部分(a)及部分(b)所示，在摄像元件12的灵敏度连续地变化的情况下也能够得到同样的效果。在图17中，部分(a)表示摄像元件12的灵敏度变化的第3例，并且部分(b)表示摄像元件12的灵敏度变化的第4例。在图17的部分(a)及部分(b)中，纵轴表示灵敏度，横轴表示时间。

在曝光期间中的1次以上的高灵敏度状态下，信号电荷被积蓄至电荷积蓄区域217，并以采样周期Tf从摄像元件12的全部像素被读出。

存储器15存储从摄像元件输出的图像数据。该图像数据包括以采样周期Tf输出的多个图像。如以下详细说明的那样，在被摄体包括以比曝光时间短的周期Tt1变化的第1成分的情况下，在被摄像的多个图像数据中，包括以比采样周期Tf长的周期Tv1变化的被摄体的第1成分的信息。也就是说，第1成分虽然以比周期Tt1短的周期变化，但被记录为具有比采样周期Tf长的周期Tv1的变化。在本实施方式中，第1成分的变化如上所述是被摄体的位移。

举出以下具体的例子来说明本实施方式。图3表示在摄像范围内进行周期性运动的被摄体的一例。在该例中，在时刻0ms位于左端的被摄体向右侧移动，在时刻0.6ms到达右端，其后使移动方向反转，在时刻1.2ms返回与时刻0ms相同的位置。时刻1.2ms以后反复进行相同的运动。也就是说，该被摄体以周期1.2ms进行周期性运动。

如果对该被摄体例如以曝光时间30ms且每秒30帧(30fps，采样周期Tf＝33.3ms)进行以往的一般性的摄像，则曝光时间比被摄体的周期长10倍以上，因此被摄体的周期性运动被平均化。结果，如图4所示，在任一个帧中都得到示出被摄体移动的轨迹的大致相同的图像。也就是说，通过一般性的摄像，所摄像的图像的帧间的被摄体的运动的信息消失。

相对于此，在本实施方式中，在曝光期间中以周期性改变灵敏度并且对被摄体进行摄像。在图5中表示灵敏度的一例。灵敏度由单一的高灵敏度区间301、以及其外的低灵敏度区间302构成。各周期中的高灵敏度区间301的位置即相位设为一定。在低灵敏度区间中，灵敏度也可以尽可能低，至少为高灵敏度区间的灵敏度的1/10以下。在低灵敏度区间中，摄像元件12也可以在实质上不具有灵敏度。灵敏度的周期及相位能够与被摄体的周期及摄像目的相应地选择恰当的值。

例如，在图5所示的例中，灵敏度的周期Ts1是1.205ms。另外，一个高灵敏度区间301的长度是10μs。也就是说，一个周期中的高灵敏度区间的比例(时间)是1/100以下。在该例中，低灵敏度区间302的灵敏度在实质上为0。如后所述，如果高灵敏度区间301的比例较小，则能够进行抖动较小的摄像。另一方面，如果高灵敏度区间301的比例小，则在相同的曝光时间中实质上的曝光时间短，因此需要更高的灵敏度及光量。高灵敏度区间301的比例能够与被摄体的移动速度及周期运动的周期、摄像的目的、包含明亮度的摄像环境等相应地决定。

说明在上述的灵敏度调制的周期中将曝光时间设为30ms且以每秒30帧(30fps，采样周期Tf＝33.3ms)对被摄体进行了摄像的情况下取得的图像。一次曝光时间中包含的被摄体的周期运动的周期Tt1的数量是25周期。另外，一次曝光时间中包含的灵敏度的周期Ts1的数量是24.9周期。

在一次曝光时间中包含的被摄体的周期运动的周期Tt1的数量与一次曝光时间中包含的灵敏度的周期Ts1的数量一致的情况下，也就是说，在周期Tt1与Ts1相等的情况下，被摄体在一次运动周期中所位于的位移位置之中的总是相同的位置被摄像。因此，在一次曝光时间中被摄体的位置不变化。另外，在多个帧间，被摄体的位置也不变化。因此，即使在实际上被摄体进行周期运动，也如同静止地被摄像。

相对于此，在一次曝光时间中包含的被摄体的周期运动的周期Tt1的数量与一次曝光时间中包含的灵敏度的周期Ts1的数量稍微不同的情况下，也就是说，在周期Tt1与周期Ts1稍稍偏差的情况下，在各灵敏度的周期Ts1中摄像的被摄体的位置不同。其中，周期Tt1与周期Ts1的偏差微小，因此其位移量小。在图6中，示意性地表示各帧中包含多次的灵敏度调制周期即周期Ts1各自中的被摄体的位置。在图6中，横向表示各帧中的灵敏度调制周期即周期Ts1的第1个、第13个、第24个周期Ts1中的被摄体的位置，纵向表示各帧。在各帧中，在灵敏度调制周期即周期Ts1的期间中移动的被摄体的位移量小，被摄体在大致相同的位置被摄像。因此，各帧中的全部灵敏度调制周期中被摄像的被摄体的像如右端所示，拍摄到大致没有抖动的被摄体。另一方面，在帧间，被摄体的位置(相位)偏差0.1周期量。也就是说，在连续的多个帧中，被摄体的位置逐一稍稍偏离地被摄像。在上述的例中，该相位的偏离在10帧中成为1周期量。也就是说，在连续的多张帧图像中，记录周期为10帧(33.3ms)的被摄体的周期运动。本来以1.2ms为周期的被摄体的运动被转换为示出每33.3ms的变化的动态图像。换言之，能够得到与1/27.8倍的慢动作摄像相似的摄像结果。根据被摄像的多张帧图像，能够解析被摄体的周期运动中的振幅(位移量)、运动的方向等。

如果将被摄像的多张帧图像中的被摄体的运动的周期设为Tv1，则在被摄体的运动的周期Tt1及灵敏度调制周期即周期Ts1之间，下式(1)成立。Tv1是灵敏度的周期Ts1与被摄体的周期运动的周期Tt1之间的差周期成分。

Tv1＝Tt1·Ts1/|Tt1-Ts1|···(1)

灵敏度调制周期即周期Ts1能够由操作者决定，图像中的被摄体的运动的周期Tv1能够从被摄像的图像数据取得。因此，能够根据上述值求出被摄体的运动的周期Tt1。运动的周期Tv1既可以由操作者通过目视图像进行确认并决定，也可以通过由计算机进行的图像识别等手段来决定。例如，也可以选择作为基准的帧，探索与该帧相似性最高的帧，并根据作为基准的帧与探索出的帧之间的时间差决定周期。或者，也可以对于所摄像的图像数据的各像素的像素值进行傅立叶变换，并计算运动的周期Tv1。

图像数据是以采样周期Tf取得的多张帧图像，因此被摄体的周期性运动可以说以采样周期Tf被数字化。因此，遵循采样定理，如果图像中的被摄体的运动的周期Tv1与采样周期Tf满足2Tf＜Tv1的关系，则能够解析图像中的被摄体的运动。也就是说，采样周期Tf也可以满足下式(2)。

2Tf＜Tt1·Ts1/|Tt1-Ts1|···(2)

根据式(1)、(2)可知，在被摄体的运动的周期Tt1及灵敏度调制周期即周期Ts1之差大的情况下，图像中的被摄体的运动的周期Tv1变小。如果周期Tv1比2Tf小，则难以解析被摄体的周期运动。因此，被摄体的运动的周期Tt1与灵敏度调制周期即周期Ts1之差也可以小。其中，被摄体的运动的周期Tt1与灵敏度调制周期即周期Ts1之差越小，Tv1越大。为了高精度地进行被摄体的解析，被摄像的多张帧图像中的被摄体的运动也可以被记录一周期量以上。因此，如果将被记录的帧数设为Nf，将帧的周期设为Tf，则也可以对帧数、或者灵敏度调制的周期Ts1进行调整以满足：

Tf×Nf＞Tv1···(3)

其中，实施本公开的技术不一定需要将被摄像的多张帧图像中的被摄体的运动记录一周期量以上，因此也能够以不满足上式的方式实施。

在摄像的图像内存在多个被摄体，且各自以不同的周期运动的情况下，能够按照式(1)求出各个被摄体的运动的信息。例如，考虑被摄体包括第1成分及第2成分，且各自以周期Tt1、Tt2运动的情况。在周期Tt1与周期Tt2之差小的情况下，通过一次摄像，也就是说，在相同的灵敏度调制周期即周期Ts1中，能够对第1成分及第2成分的周期运动进行摄像。此时，也可以还满足式(2)的关系。也就是说，也可以满足：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

2Tf＜Tt2·Ts1/|Tt2-Ts1|。

在该情况下，如果将摄像的图像中的第1成分及第2成分的运动的周期设为Tv1、Tv2，则如下关系成立：

Tv1＝Tt1·Ts1/|Tt1-Ts1|

Tv2＝Tt2·Ts1/|Tt2-Ts1|。

因此，通过根据以灵敏度调制周期即周期Ts1摄像的多张帧图像的数据求出第1成分及第2成分的周期Tv1、Tv2，能够求出实际的被摄体中的第1成分及第2成分的运动的周期Ts1、Ts2。

在周期Tt1与周期Tt2之差大的情况下，也可以对于周期Tt1、Tt2设定不同的灵敏度调制周期即周期Ts1、Ts2，以灵敏度调制周期即周期Ts1及Ts2进行各自包括多张帧图像的摄像。在该情况下，也可以满足：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

2Tf＜Tt2·Ts2/|Tt2-Ts2|。

如果将摄像的图像中的第1成分及第2成分的运动的周期设为Tv1、Tv2，则如下关系成立：

Tv1＝Tt1·Ts1/|Tt1-Ts1|

Tv2＝Tt2·Ts2/|Tt2-Ts2|。

因此，通过根据以灵敏度调制周期即周期Ts1摄像的多张帧图像的数据求出第1成分的周期Tv1，根据以灵敏度调制周期Ts2摄像的多张帧图像的数据求出第2成分的周期Tv2，能够求出实际的被摄体中的第1成分及第2成分的运动的周期Ts1、Ts2。

像这样，根据本公开的摄像装置，即使摄像元件不具备高速摄像元件等特殊的构造，也能够取得在短时间中产生的被摄体的变化的信息。由本实施方式的摄像装置取得的图像乍看与由高速相机等取得的慢动作图像相似。但是，如下所述存在差异。

(1)通常的慢动作摄像中的被摄体的一个周期是被摄体的实际时间中的一周期量。在跨10帧对以周期1.2ms进行周期运动的被摄体的一个周期进行摄像的情况下，1帧的曝光时间无法超过0.12ms。因此，在通常的慢动作摄像中，需要使用比通常强度更高的照明、或者更高灵敏度的图像传感器。但是，由于高强度照明引起被摄体的劣化等，根据被摄体，有时难以进行高强度照明。另外，在使用高灵敏度图像传感器的情况下，由于产生光散粒噪声的问题，因此在摄像品质上也存在极限。

另一方面，在本公开的摄像装置中，被摄像的图像数据中的被摄体的运动的一个周期比实际时间的一周期量长。如上所述，能够在1帧时间中摄像被摄体的周期运动的数周期量的像，曝光时间没有限制。因此，能够在通常的照明强度下对被摄体进行摄像，也可以不使用特别的高灵敏度摄像元件。

(2)无论是通常的慢动作摄像还是本公开的摄像装置所进行的摄像，都需要按每帧转送图像数据。但是，在通常的慢动作摄像中，被摄体的周期运动的周期越短，越需要缩短帧的时间间隔。能够在短的帧的时间间隔内转送的数据量存在限制，因此在一般性的高速相机中，为了减少数据量，例如减少摄像元件的像素数。另一方面，在本公开的摄像装置中，能够与被摄体的运动周期无关地决定采样周期。例如，也可以与一般性的摄像装置同样是30fps。因此，能够以充分的时间进行数据转送，对摄像元件的像素数不造成限制。

(3)通常的慢动作摄像的摄像结果的一个周期是被摄体的周期运动的一周期量。因此，在以一周期量对某被摄体的运动进行了摄像的情况下，虽然能够取得该周期内的运动的信息，但在摄像的图像数据中不包括别的周期的运动的信息。相对于此，在本公开的摄像装置中，在得到的图像数据中的被摄体的运动的一周期量中，积累了实际时间的被摄体的多个周期量的图像。因此，在被摄体的周期运动的周期完全一定的情况下，各帧的摄像数据是累积了被摄体的周期运动的特定范围的相位而得到的数据。另一方面，在被摄体的周期变动的情况下，某帧的摄像数据是累积了与周期运动的周期完全一定的情况相比更广的相位范围而得到的数据。这在图像数据上作为被摄体像的抖动被记录下来。也就是说，在周期变动的情况下，图像数据与周期一定的情况相比包含更模糊的被摄体像。周期的变动幅度越大，该模糊越大。因此，根据图像数据上的模糊，能够取得周期的变动幅度的信息。

(4)通常的慢动作摄像的图像数据上的一个周期包括被摄体的实际时间中的1周期量的周期运动。因此，在某摄像期间中突发性地产生的现象被原样摄像。例如，如果不透明的烟、烟花等偶然在该周期中产生，则这些现象被原样摄像，妨碍存在于其背后的被摄体的摄像。例如，在特定的帧中，被摄体可能被这样的烟等遮挡。相对于此，在本公开的摄像装置中，在得到的图像数据中的被摄体的运动的一周期量中，积累了实际时间的被摄体的多个周期量的图像。因此，在某周期中突发性地产生的现象被平均化，其影响变小。例如，在1帧期间中的某灵敏度调制周期中产生的不透明的烟或者烟花妨碍在该周期中存在于其背后的被摄体的摄像。但是，在相同的帧期间中的其他灵敏度调制周期中不产生烟或者烟花或者产生位置不同的情况下，在被积累的帧图像中正确地包括被摄体的像。也就是说，根据本公开，跨多个灵敏度调制周期对被摄体进行积累而摄像，因此随机产生或位置随机变化而映入的物体等作为噪声被平均化，能够抑制其影响。

＜摄像***＞

说明本公开的摄像***的实施方式。图7是表示本实施方式的摄像***111的构成例的框图。摄像***111具备摄像装置101、信号处理电路16和促动器17。信号处理电路16及促动器17是任意的，根据使用方式，摄像***111也可以不具备信号处理电路16及促动器17。

信号处理电路16读入存储器15中记录的多张图像数据，例如通过图像识别来探索与作为基准的帧相似性最高的帧。进而，根据作为基准的帧与探索出的帧之间的时间差，求出多张帧图像中的被摄体的运动的周期Tv1。

促动器17对被摄体31以周期性施加应力。在被摄体31未以自发性进行周期性运动的情况下，能够有效地使用促动器17。例如，通过从外部对未以自发性进行周期运动的被摄体31施加应力，被摄体31进行振动等周期运动，其反映出被摄体31的形状及内部的构造、内部的弹性特性等。促动器17所产生的周期性的应力的周期被控制电路14控制。控制电路14对摄像***111的各构成要素进行控制。

摄像***111能够以各种方式进行动作。以下，作为一例，说明(1)预先知晓以周期性进行运动的被摄体的周期的情况(2)不知晓被摄体的运动周期的情况(3)解析被摄体的运动的情况下的摄像***111的动作。

(1)预先知晓以周期性运动的被摄体的大致的周期的情况

图8是表示对预先知晓运动周期的被摄体进行摄像的情况下的摄像***111的动作的流程图。在摄像***111的摄像装置101中，在控制电路14中，预先在存储器等中设定了灵敏度调制周期的初始值。

在被摄体31未以自发性进行周期运动的情况下，根据需要，对促动器17进行驱动，向被摄体31施加周期性的应力，使被摄体31以周期性进行运动(S51)。

接下来，从控制电路14对摄像元件12赋予调制灵敏度周期的初始值(S52)，基于该初始值，以周期性使灵敏度变化，由摄像元件12摄像第i张(i＝1，第1帧)的被摄体31的图像(S53)。摄像的图像被记录至存储器15(S54)。

控制电路14对摄像张数进行计数，判断帧图像的数量是否达到了设想的数量(S55)。在未达到设想的数量的情况下，反复进行步骤S53至步骤S55。在达到了设想的数量的情况下，根据需要，信号处理电路16从存储器15读出被摄像的设想的张数的图像数据，根据读出的多张图像数据求出帧图像中的被摄体的运动的周期Tv1(S56)。也可以进而基于式(1)求出被摄体31的准确的运动的周期Ts1。信号处理电路16输出所决定的被摄体的运动的周期Tv1以及/或者被摄体31的准确的运动的周期Ts1(S57)。

(2)不知晓被摄体的运动周期的情况

图9是表示对不知晓运动周期的被摄体进行摄像的情况下的摄像***111的动作的流程图。在摄像***111的摄像装置101中，在控制电路14中，预先在存储器等中设定了灵敏度调制周期的初始值。

在被摄体31未以自发性进行周期运动的情况下，根据需要，对促动器17进行驱动，向被摄体31施加周期性的应力，使被摄体31以周期性运动(S61)。

接下来，从控制电路14对摄像元件12赋予调制灵敏度周期的初始值(S62)，基于该初始值，以周期性使灵敏度变化，由摄像元件12摄像第i张(i＝1，第1帧)的被摄体31的图像(S63)。所摄像的图像被记录至存储器15(S64)。

控制电路14对摄像张数进行计数，判断帧图像的数量是否达到了设想的数量(S65)。在未达到设想的数量的情况下，反复进行步骤S63至步骤S65。在达到了设想的数量的情况下，信号处理电路16从存储器15读出被摄像的设想的张数的图像数据，根据读出的多张图像数据求出帧图像中的被摄体的运动的周期Tv1(S66)。

对周期Tv1的运算结果进行判定(S67)。在未能决定周期Tv1的情况下，例如以规定的增减值变更对摄像元件12设定的灵敏度调制周期(S68)，反复进行步骤S63至步骤S67。未能决定周期Tv1的情况，是在摄像的多张图像数据内未能发现被摄体的运动的周期性的情况。其是被摄像的图像数据上的被摄体的运动的周期Tv1比取得多张图像数据的整个期间长的情况、或者不满足2Tf＜Tv1的关系的情况。

在判定为正确地求出了被摄体的运动的周期Tv1的情况下，信号处理电路16输出所决定的被摄体的运动的周期Tv1(S69)。在步骤S66中也求出了被摄体31的准确的运动的周期Ts1的情况下，输出周期Ts1(S69)。

(3)解析被摄体的运动的情况

图10是表示解析被摄体的运动的情况下的摄像***111的动作的流程图。在摄像***111的摄像装置101中，在控制电路14中，预先在存储器等中设定了灵敏度调制周期的初始值。

在被摄体31未以自发性进行周期运动的情况下，根据需要，对促动器17进行驱动，向被摄体31施加周期性的应力，使被摄体31以周期性运动(S71)。

接下来，从控制电路14对摄像元件12赋予调制灵敏度周期的初始值(S72)，基于该初始值，以周期性使灵敏度变化，由摄像元件12摄像第i张(i＝1，第1帧)的被摄体31的图像(S73)。所摄像的图像被记录至存储器15(S74)。

控制电路14对摄像张数进行计数，判断帧图像的数量是否达到了设想的数量(S75)。在未达到设想的数量的情况下，反复进行步骤S73至步骤S75。

在帧图像的数量达到了设想的数量的情况下，判定摄像中使用的灵敏度调制周期是否在预先决定的范围内进行了变更(S76)。在未变更的情况下，例如以规定的增减值变更对摄像元件12设定的灵敏度调制周期(S77)，反复进行步骤S73至步骤S76。在灵敏度调制周期在预先决定的范围内进行了变更的情况下(S76)，输出结果(S78)，并结束摄像。

(第2实施方式)

＜摄像***＞

说明本公开的摄像装置、摄像***及摄像方法的第2实施方式。本实施方式的摄像装置等在被摄体不运动而被摄体的各位置处的明亮度以周期性变化的情况下特别有效。关于被摄体的明亮度，既可以是被摄体发出自发光，自发光的强度以周期性变化，也可以是从外部照射的光的强度以周期性变化，由此从被摄体反射的反射光的强度以周期性变化，或者被摄体的一部分或者全部被激励，基于光致发光的光的强度以周期性变化。

首先，说明从外部照射的光的强度以周期性变化的例子。图11是本实施方式的摄像***112的框图。摄像***112具备摄像装置102、信号处理电路16和照明装置21。摄像装置102具备摄像光学***11、摄像元件120、控制电路14及存储器15。摄像元件120能够使灵敏度在高灵敏度与低灵敏度之间连续或者无级地变化。摄像装置102的其他构成要素具备与第1实施方式的摄像装置101的构成要素同样的构成及功能。

照明装置21包括照明光学***22及光源23。照明光学***22使从光源入射的光的状态变化而向被摄体31照射光。照明光学***22也可以包括偏振滤光器等。光源23输出波长不同的至少2个光。也就是说，光源23输出第1波长的光、以及波长与第1波长不同的至少1个光。第1波长的光的强度以第1周期Tt1变化。至少1个光例如是第2波长的光，强度以第2周期Tt2变化。第1周期Tt1与第2周期Tt2相互不同。至少1个光也可以还包括具有第3波长及第3周期的光。除了第1波长的光和第2波长的光以外的光的强度既可以以时间性变化，也可以是一定的。光源23所出射的多个波长的光也可以按每个波长而强度的时间变化的周期不同。

这样的光源23例如能够通过使用干涉仪来构成。图12表示光源23的一例。光源23是迈克尔逊干涉仪，包括发光部24、半反射镜25、移动镜26、固定镜27和固定镜27的移动控制装置(未图示)。除此以外，光源23也可以包含将从发光部24出射的光束转换为平行光的光学***28等。

从发光部24出射的光也可以是相干的。从发光部24出射的一部分的光L1在半反射镜25反射并向固定镜27入射。在固定镜27反射后的光透射半反射镜25，原样直行并向光源23的外部出射。从发光部24出射的其他一部分的光L2透射半反射镜25，并向移动镜26入射。入射的光在移动镜26反射，并再次向半反射镜25入射，在半反射镜25反射，并与光L1一起向外部出射。

将半反射镜25到固定镜27的距离设为Ls，将半反射镜25到移动镜26的距离设为Lm。光L1与光L2的路径差是|Ls-Lm|。在考虑了配置有光源23的媒介的折射率后的路径差(光程差)成为波长的整数倍时，光L1与光L2相互加强，从光源23输出的光变强，在该路径差(光程差)成为半整数倍时，光L1与光L2相互削弱，从光源23输出的光变弱。

因此，在移动镜26被配置在某位置的情况下，从发光部24出射的光是相互加强而输出还是相互削弱而输出，依赖于从发光部24出射的光的波长。因此，例如在移动镜26以规定的快慢移动的情况下，从光源23出射的光的强度调制的周期不同。例如，在使移动镜26以1mm/s移动的情况下，波长Xnm的光的强度以大致X/2μs的周期变化。具体而言，波长分别为686nm、687nm、688nm的光分别以大致343μs、大致343.5μs、大致344μs的周期变化。在该情况下，各波长的光的强度的调制周期与波长成比例，另外，强度变化是正弦函数。

因此，如果将发光部24构成为其出射波长不同的多个相干光，则光源23能够出射其强度以按每个波长而不同的周期变化的光。下述光源被广泛用于傅立叶变换红外分光计，该光源包括组装有这样的可动镜的迈克尔逊干涉仪，且强度的时间变化的周期按每个波长而不同。因此，省略对其详细的说明。光源23不限于迈克尔逊干涉仪，使用法布里珀罗干涉仪等其他干涉仪也能够同样构成。

设为从光源23出射波长不同的多个光，且波长λ的光的周期为T(λ)(相当于第1实施方式的Tt1)。此时，波长λ的光的强度I(λ，t)在时刻t由下式(11)表示。

[数1]

I(λ，t)＝I₀(λ)(1+sin(ω(λ)t+φ(λ))) (11)

其中，I₀(λ)是振幅，ω(λ)与周期T(λ)具有下式(12)的关系。

(λ)是初始相位。

[数2]

由光源23产生的光经由照明光学***22照射到被摄体31。此外，也可以在照射到被摄体31之前使用滤光器，将照射的光的波长范围限制为想要摄像的波长范围等。

摄像元件120使灵敏度随着时间变化，并且跨多帧对被照明装置21照射光的被摄体31进行摄像。

例如，考虑摄像元件120的灵敏度A(t)按照下式(13)随着时间变化的情况。

[数3]

其中，A0是振幅，ω_s与灵敏度变化的周期Ts(Ts1)具有下式(14)的关系。Φs是初始相位。

[数4]

被摄体31具有按每个波长而不同的反射率或透射率。因此，在接受按照式(11)的光的照明的情况下，如果将被摄体31在第i个像素处形成的像的明亮度设为B(i，t)，则B(i，t)由下式(15)表示。

B(i，t)＝R(i，λ)×I(λ，t) (15)

其中，R(i，λ)是第i个像素中的基于被摄体的反射率或透射率的波长依赖性而体现的项。此时，在第i个像素中产生的信号电荷qs(i，t)由下式(16)表示。C是由摄像元件120的种类及驱动状况等决定的常数。

[数5]

qs(i,t)＝C×B(i,t)×A(t) (16)

在时刻t＝0至T的期间进行了曝光时电荷积蓄部中积蓄的电荷量Q(i)由下式(17)表示。

[数6]

如果向式(17)代入式(11)至式(16)并变形，则得到下式(18)。

[数7]

在此，式(18)的第1项是不依赖于帧(时间)的成分。第2项、第3项、第4项是以被摄体的明亮度的周期T(λ)、灵敏度周期Ts、以及比上述两个周期短的周期变化的项。在此，如果曝光时间T比T(λ)及Ts长，是它们的10倍以上，则第2项、第3项、第4项通过曝光被平均化，成为几乎不依赖于帧的成分。

另一方面，第5项按照下式(19)、(20)，是以频率ωh(λ)/2π、周期Th(λ)(相当于第1实施方式的Tf1)变动的项。

[数8]

ω_h(λ)＝ω(λ)-ω_s (19)

[数9]

Th(λ)＝T(λ)T_s/|T(λ)-T_s| (20)

根据式(20)能够确定，在T(λ)与Ts之差小的情况下，能够使Th(λ)成为比曝光时间大的值。在此，如果将帧的摄像间隔设为Tf，则在满足下式(21)的情况下，能够根据奈奎斯特采样定理决定第5项。

[数10]

通过针对多个帧的摄像数据进行傅立叶变换，能够决定R(i，λ)。照明装置21即使包括波长及周期不同的多个光，在满足式(21)的范围中，也能够分离每个波长的R(i，λ)。

R(i，λ)如上所述是按每个像素求出的值，因此R(i，λ)包括所得到的图像上表示的被摄体的各部(例如图像上的各像素)处的构成被摄体的物质的分子、原子及它们的组成、膜厚等构造的信息等。因此，摄像***112通过摄像，能够取得表示构成被摄体的物质、其量(例如膜厚)等的分布的图像。例如，本实施方式的摄像装置能够利用于检查工业产品、测定特定化学物质的分布、在医疗用途中发现病变等各种用途。

考虑如下情况：上述的例所示的照明装置21的光源23出射具有686nm、687nm、688nm的波长以及大致343μs、大致343.5μs、大致344μs的强度调制的周期的光，摄像元件120的灵敏度以344.8μs的周期变化，摄像元件120以60fps进行摄像。

此时，波长686nm的光按大致66.7ms的周期而像的明亮度变化，波长687nm的光按大致90.9ms的周期而像的明亮度变化，波长688nm的光按大致142.9ms的周期而像的明亮度变化。如果动态图像的采样周期是60fps，则分别按每大致4帧、大致5.4帧、大致8.6帧而明亮度变化。因此，通过对摄像结果进行傅立叶变换，按明亮度变化的每个周期对R(i，λ)进行分解，能够分别求出各像素的波长686nm的R(i，λ)、687nm的R(i，λ)、688nm的R(i，λ)。也就是说，能够得到被摄体31中的686nm、687、687nm的R(i，λ)的分布。在该例中，3个波长的光的强度调制的周期之差小，因此通过1次摄像能够取得恰当的图像数据。但是，在3个波长的光的强度调制的周期大的情况下，如在第1实施方式中说明的那样，通过使摄像元件120的灵敏度调制的周期不同而进行2次或者3次摄像，能够取得恰当的图像数据。

例如，氧分子在687nm处示出比较强的吸收，而686nm和688nm处的吸收弱。因此，如果将被摄体31的687nm的R(i，λ)的强度分布与686nm或688nm的R(i，λ)的强度分布比较，则能够估计氧分子的分布及浓度。

不同的分子对不同波长的光示出特异性的吸收。因此，通过改变从照明装置21的光源23出射的光的波长、移动镜26的移动速度、摄像元件120的灵敏度调制的周期等，能够估计不同的分子的浓度分布。

像这样，根据本实施方式，通过使用强度的调制周期及波长相互不同的多个光作为照明光，并对被摄体进行摄像，能够取得在短时间中产生的被摄体的变化的信息，也就是说，能够不由于曝光而失去照明光的每个波长的发光强度的周期的信息而进行摄像，能够进行被摄体的多光谱分析。

摄像***112能够以各种方式进行动作。以下作为一例，说明(1)不使摄像元件的灵敏度调制周期变化的情况(2)使摄像元件的灵敏度调制周期变化的情况下的摄像***112的动作。

(1)不使摄像元件的灵敏度调制周期变化的情况

图13是表示不使摄像元件的灵敏度调制周期变化而对被摄体进行摄像的情况下的摄像***112的动作的流程图。该动作例如用于仅对1个波长的光进行解析的情况、或者如例示那样多个光的强度调制的周期之差小的情况。在摄像***112的摄像装置102中，在控制电路14中，预先在存储器等中设定了灵敏度调制周期的初始值。

首先从照明装置21出射强度以周期性变化的光(S81)，并向被摄体31照射(S82)。接下来，从控制电路14对摄像元件120赋予调制灵敏度周期的初始值(S83)，基于该初始值，以周期性使灵敏度变化，由摄像元件120对第i张(i＝1，第1帧)的被摄体31的图像进行摄像(S84)。所摄像的图像被记录至存储器15(S85)。

控制电路14对摄像张数进行计数，判断帧图像的数量是否达到了设想的数量(S86)。在未达到设想的数量的情况下，反复进行步骤S84至步骤S86。在达到了设想的数量的情况下，信号处理电路16从存储器15读出被摄像的设想的张数的图像数据，使用读出的多张图像数据进行上述的运算(S87)。信号处理电路16输出运算结果(S88)。

(2)使摄像元件的灵敏度调制周期变化的情况

图14是表示使摄像元件的灵敏度调制周期变化并对被摄体进行摄像的情况下的摄像***112的动作的流程图。该动作用于对多个波长的光进行解析且强度调制的周期相互大为不同的情况。在摄像***112的摄像装置102中，在控制电路14中，预先在存储器等中设定了灵敏度调制周期的初始值。

首先从照明装置21出射强度以周期性变化的光(S91)，并向被摄体31照射(S92)。接下来，从控制电路14对摄像元件120赋予调制灵敏度周期的初始值(S93)，基于该初始值，以周期性使灵敏度变化，由摄像元件120对第i张(i＝1，第1帧)的被摄体31的图像进行摄像(S94)。所摄像的图像被记录至存储器15(S95)。

控制电路14对摄像张数进行计数，判断帧图像的数量是否达到了设想的数量(S96)。在未达到设想的数量的情况下，反复进行步骤S94至步骤S96。在帧图像的数量达到了设想的数量的情况下，判定在摄像中使用的灵敏度调制周期是否在预先决定的范围内进行了变更(S97)。在未变更的情况下，例如以规定的增减值变更对摄像元件120设定的灵敏度调制周期(S98)，反复进行步骤S94至步骤S97。在灵敏度调制周期在预先决定的范围内进行了变更的情况下(S97)，信号处理电路16从存储器15读出被摄像的设想的张数的图像数据，使用所读出的多张图像数据进行上述的运算(S99)。信号处理电路16输出运算结果(S100)。

＜摄像装置＞

在上述实施方式中，例示了摄像***112具备照明装置21的方式。但是，在被摄体使强度变化而自发性发光的情况下，也可以没有照明装置21，在该情况下，仅通过摄像装置102就能够进行摄影。具体而言，如在第1实施方式中说明的那样，在被摄体31以周期Tt1使强度周期性变化而发光的情况下，如果将被摄像的多张帧图像中的被摄体的发光强度的调制的周期设为Tv1，则在被摄体的强度调制的周期Tt1及灵敏度调制周期即周期Ts1之间，如在第1实施方式中说明的那样，式(1)(2)的关系成立。因此，如在第1实施方式中说明的那样，根据摄像的图像数据，能够求出被摄像的多张帧图像中的被摄体的发光强度的调制的周期Tv1，进而，能够求出被摄体的强度调制的周期Tt1。也就是说，如在第1实施方式中说明的那样，即使摄像元件不具备高速摄像元件等特殊的构造，也能够取得发光强度以高速变化的被摄体的变化的发光的周期等信息。

工业实用性

本公开的摄像装置、摄像***及摄像方法能够利用于通过摄像对被摄体进行分析的各种领域，例如能够用于构造物及工业品的检查、医疗用途等。

附图标记说明：

11 摄像光学***

12、120 摄像元件

14 控制电路

15 存储器

16 信号处理电路

17 促动器

21 照明装置

22 照明光学***

23 光源

24 发光部

25 半反射镜

26 移动镜

27 固定镜

28 光学***

31 被摄体

101、102 摄像装置

111、112 摄像***

201 摄像元件

210 摄像单元

211 光电转换部

212 像素电极

213 光电转换膜

214 对置电极

216 半导体基板

217 电荷积蓄区域

218 层间绝缘层

219 连接部

221 第1电压供给电路

222 第2电压供给电路

231 第1信号线

232 第2信号线

Claims (19)

1.一种摄像装置，具备：

摄像元件，灵敏度可变，以采样周期Tf取得图像；以及

控制电路，对所述摄像元件进行控制；

所述控制电路以比所述采样周期Tf短的周期Ts1使所述摄像元件的灵敏度变化，

所述摄像元件基于所述控制电路的控制，以所述采样周期Tf取得被摄体的多个图像，

所述被摄体包括以与所述周期Ts1不同的周期Tt1变化的第1成分。

2.如权利要求1所述的摄像装置，

所述多个图像包括作为差周期成分且通过Tt1·Ts1/|Tt1-Ts1|求出的第1信息。

3.如权利要求1或者2所述的摄像装置，

所述采样周期Tf满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|。

4.如权利要求1至3中任一项所述的摄像装置，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

所述控制电路以比所述周期Ts1短的与所述周期Ts1不同的周期Ts2使所述摄像元件的灵敏度变化，

所述多个图像还包括作为差频成分且通过Tt2·Ts2/|Tt2-Ts2|求出的第2信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

以及

2Tf＜Tt2·Ts2/|Tt2-Ts2|。

5.如权利要求1至3中任一项所述的摄像装置，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

所述多个图像还包括作为差频成分且通过Tt2·Ts1/|Tt2-Ts1|求出的第3信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

而且

2Tf＜Tt2·Ts1/|Tt2-Ts1|。

6.如权利要求1至5中任一项所述的摄像装置，

所述摄像元件构成为在曝光期间中切换高灵敏度状态与低灵敏度状态，

在所述低灵敏度状态下，所述摄像元件在实质上不具有灵敏度。

7.如权利要求1至5中任一项所述的摄像装置，

所述摄像元件构成为：在曝光期间中使灵敏度在第1值与比所述第1值小的第2值之间分阶段或者连续地变化。

8.如权利要求6或者7所述的摄像装置，

所述摄像元件包括：上部电极、下部电极、以及位于所述上部电极与所述下部电极之间的光电转换膜。

9.如权利要求8所述的摄像装置，

所述摄像元件还包括向所述上部电极及所述下部电极中的至少一方供给电压的电压供给电路，

所述控制电路对所述电压供给电路进行控制，使所述摄像元件的灵敏度以周期性变化。

10.如权利要求1至9中任一项所述的摄像装置，

所述摄像元件以全局快门方式取得图像。

11.一种摄像***，具备：

如权利要求1至10中任一项所述的摄像装置；以及

信号处理电路，

所述信号处理电路基于所述多个图像，求出所述第1成分的所述周期Tt1。

12.一种摄像***，具备：

如权利要求6所述的摄像装置；以及

促动器，向所述被摄体以周期性施加应力；

通过所述促动器，从由所述被摄体的位置及所述被摄体的形状构成的组中选择的至少一方变化。

13.一种摄像***，具备：

如权利要求7所述的摄像装置；以及

照明装置，向所述被摄体照射强度以所述周期Tt1变化的第1波长的第1光；

在所述多个图像中，所述被摄体的所述第1成分的亮度以所述周期Ts1变化。

14.如权利要求13所述的摄像***，

所述照明装置还向所述被摄体照射强度以与所述周期Tt1不同的周期变化且波长与所述第1波长不同的第2光。

15.一种摄像方法，包括：

使用灵敏度以周期Ts1被调制的摄像元件，以采样周期Tf摄像被摄体的多个图像，该被摄体包括以与所述周期Ts1不同的周期Tt1变化的第1成分；以及

取得所述多个图像。

16.如权利要求15所述的摄像方法，

所述多个图像包括作为差频成分且通过Tt1·Ts1/|Tt1-Ts1|求出的第1信息。

17.如权利要求15或者16所述的摄像方法，

所述采样周期Tf满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|。

18.如权利要求15至17中任一项所述的摄像方法，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

通过所述摄像元件，以比所述周期Ts1短的与所述周期Ts1不同的周期Ts2使灵敏度变化来对所述被摄体进行摄像，

所述多个图像还包括作为差频成分且通过Tt2·Ts2/|Tt2-Ts2|求出的第2信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

以及

2Tf＜Tt2·Ts2/|Tt2-Ts2|。

19.如权利要求15至17中任一项所述的摄像方法，

所述被摄体还包括以与所述周期Tt1不同的周期Tt2变化的第2成分，

所述多个图像还包括作为差频成分且通过Tt2·Ts1/|Tt2-Ts1|求出的第3信息，

满足如下关系：

2Tf＜Tt1·Ts1/|Tt1-Ts1|

而且

2Tf＜Tt2·Ts1/|Tt2-Ts1|。

Images