CN106165410B - 摄像装置、摄像装置的控制方法以及控制程序 - Google Patents

摄像装置、摄像装置的控制方法以及控制程序 Download PDF

Info

Publication number
CN106165410B
CN106165410B CN201580017281.4A CN201580017281A CN106165410B CN 106165410 B CN106165410 B CN 106165410B CN 201580017281 A CN201580017281 A CN 201580017281A CN 106165410 B CN106165410 B CN 106165410B
Authority
CN
China
Prior art keywords
frame
infrared ray
moment
during
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580017281.4A
Other languages
English (en)
Other versions
CN106165410A (zh
Inventor
中村功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN106165410A publication Critical patent/CN106165410A/zh
Application granted granted Critical
Publication of CN106165410B publication Critical patent/CN106165410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

照射控制部(71)控制红外线照射器(9)，以按照第一红外线光、第二红外线光、第三红外线光的顺序选择性地照射红外线光。摄像部(3)在分别照射第一红外线光～第三红外线光的状态下拍摄被拍摄体并生成第一帧～第三帧。视频处理部(5)合成第一帧～第三帧来生成视频信号的帧。照射控制部(71)将照射第二红外线光的期间的中间的第一时刻和照射第一红外线光或者第三红外线光的期间的中间的第二时刻的间隔设定成与第一时刻和第一帧或者第三帧的一帧期间的中间的第三时刻的间隔相比短。

Description

摄像装置、摄像装置的控制方法以及控制程序
技术领域
本发明涉及摄像装置、摄像装置的控制方法以及控制程序。
背景技术
以往，例如在夜间等几乎没有可见光的环境下，为了对被拍摄体进行拍摄而使用以下方法：通过红外线照射器对被拍摄体照射红外线光，对从被拍摄体反射的红外线光进行拍摄。该方法是在无法使用照射可见光的灯的情况下有效的摄像方法。
但是，通过该摄像方法对被拍摄体进行拍摄所得的视频为黑白视频。在黑白视频中有时难以识别物体。如果即使在没有可见光的环境下也能够拍摄彩***，则能够提高对物体的识别度。例如监视相机为了使物体的识别性提高，希望即使在没有可见光的环境下也拍摄彩***。
在专利文献1中记载有即使在没有可见光的环境下也能拍摄彩***的摄像装置。即使在专利文献1所记载的摄像装置中也使用红外线照射器。如果在监视相机中搭载专利文献1所记载的技术，则能够使被拍摄体彩***化，从而使物体的识别性提高。
在先技术文献
专利文献
专利文献1：日本专利文献特开2011-50049号公报。
发明内容
在由具备红外线照射器的摄像装置对被拍摄体照射红外线光而拍摄被拍摄体时，在被拍摄体正在移动的情况下，存在发生色偏的问题。
实施方式的目的在于，提供能够减轻在对正在移动的被拍摄体照射红外线光而拍摄被拍摄体时所发生的色偏的摄像装置、摄像装置的控制方法 以及控制程序。
根据实施方式的第一方式，提供一种摄像装置，其特征在于，具备：照射控制部，所述照射控制部控制红外线照射器，使得所述红外线照射器按照第一红外线光、第二红外线光、第三红外线光的顺序选择性地进行照射，所述第一红外线光具有与红色、绿色、蓝色中的第一颜色对应的第一波长，所述第二红外线光具有与红色、绿色、蓝色中的第二颜色对应的第二波长，所述第三红外线光具有与红色、绿色、蓝色中的第三颜色对应的第三波长；摄像部，所述摄像部在一帧期间的至少一部分期间照射所述第一红外线光的状态下拍摄被拍摄体，并生成基于第一拍摄信号的第一帧，在一帧期间的至少一部分期间照射所述第二红外线光的状态下拍摄所述被拍摄体，并生成基于第二拍摄信号的第二帧，在一帧期间的至少一部分期间照射所述第三红外线光的状态下拍摄所述被拍摄体，并生成基于第三拍摄信号的第三帧；以及视频处理部，所述视频处理部合成所述第一帧～第三帧来生成视频信号的帧，所述照射控制部将第一时刻与第二时刻的间隔设定得比所述第一时刻与第三时刻的间隔短，并控制所述红外线照射器以照射所述第一红外线光～第三红外线光，其中，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第一红外线光或第三红外线光的期间的中间，所述第三时刻是所述第一帧或第三帧的一帧期间的中间。。
根据实施方式的第二方式，提供一种摄像装置的控制方法，其特征在于，第一步骤，在一帧期间的至少一部分期间照射第一红外线光的状态下拍摄被拍摄体，并生成基于第一拍摄信号的第一帧，所述第一红外线光具有与红色、绿色、蓝色中的第一颜色对应的第一波长；第二步骤，接着所述第一步骤，在一帧期间的至少一部分期间照射第二红外线光的状态下拍摄所述被拍摄体，并生成基于第二拍摄信号的第二帧，所述第二红外线光具有与红色、绿色、蓝色中的第二颜色对应的第二波长；第三步骤，接着所述第二步骤，在一帧期间的至少一部分期间照射第三红外线光的状态下拍摄所述被拍摄体，并生成基于第三拍摄信号的第三帧，所述第三红外线光具有与红色、绿色、蓝色中的第三颜色对应的第三波长；以及第四步 骤，合成所述第一帧～第三帧来生成视频信号的帧，将第一时刻与第二时刻的间隔设定得比所述第一时刻与第三时刻的间隔短，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第一红外线光或第三红外线光的期间的中间，所述第三时刻是所述第一帧或第三帧的一帧期间的中间。
根据实施方式的第三方式，提供一种摄像装置的控制程序，其特征在于，使计算机执行以下步骤：第一步骤，控制红外线照射器，以照射具有与红色、绿色、蓝色中的第一颜色对应的第一波长的第一红外线光；第二步骤，在一帧期间的至少一部分期间照射所述第一红外线光的状态下通过摄像部拍摄被拍摄体，并生成基于第一拍摄信号的第一帧；第三步骤，接着所述第一步骤，控制所述红外线照射器，以照射具有与红色、绿色、蓝色中的第二颜色对应的第二波长的第二红外线光；第四步骤，在一帧期间的至少一部分期间照射所述第二红外线光的状态下通过所述摄像部拍摄所述被拍摄体，并生成基于第二拍摄信号的第二帧；第五步骤，接着所述第三步骤，控制所述红外线照射器，以照射具有与红色、绿色、蓝色中的第三颜色对应的第三波长的第三红外线光；第六步骤，在一帧期间的至少一部分期间照射所述第三红外线光的状态下通过所述摄像部拍摄所述被拍摄体，并生成基于第三拍摄信号的第三帧；以及第七步骤，合成所述第一帧～第三帧来生成视频信号的帧，将第一时刻与第二时刻的间隔设定得比所述第一时刻与第三时刻的间隔短，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第一红外线光或第三红外线光的期间的中间，所述第三时刻是所述第一帧或第三帧的一帧期间的中间。
根据实施方式的摄像装置、摄像装置的控制方法以及控制程序，能够减轻在对正在移动的被拍摄体照射红外线光而拍摄被拍摄体时所发生的色偏。
附图说明
图1是一实施方式的摄像装置的整体构成的框图；
图2是示出用于一实施方式的摄像装置的色彩滤波器中的滤波器单元 排列的一例的图；
图3是示出在构成一实施方式的摄像装置的摄像部中的三原色光的波长和相对灵敏度的光谱灵敏度特性的特性图；
图4是示出对来自预定物质的三原色光的反射率乘以硅的受光灵敏度时的、波长和相对检出率的关系的特性图；
图5是示出图1中的前信号处理部52的具体构成的框图；
图6的(a)和(b)是示出一实施方式的摄像装置在通常模式动作时的曝光和视频信号的帧的关系的图；
图7的(a)～(d)是用于说明一实施方式的摄像装置在通常模式动作时的去马赛克处理的图；
图8的(a)～(d)是示出一实施方式的摄像装置在中间模式以及夜视模式动作时的曝光和视频信号的帧的关系的图；
图9的(a)～(d)是用于说明一实施方式的摄像装置在第一中间模式动作时的前信号处理的图；
图10的(a)～(d)是用于说明一实施方式的摄像装置在第一中间模式动作时的去马赛克处理的图；
图11的(a)～(d)是用于说明一实施方式的摄像装置在第二中间模式动作时的前信号处理的图；
图12的(a)～(d)是用于说明一实施方式的摄像装置在第二中间模式动作时的去马赛克处理的图；
图13的(a)～(d)是用于说明一实施方式的摄像装置在夜视模式动作时的周围像素的加法运算处理的图；
图14的(a)～(f)是示出实施了周围像素的加法运算处理的帧的图；
图15的(a)～(d)是用于说明一实施方式的摄像装置在第一夜视模式动作时的前信号处理的图；
图16的(a)～(d)是用于说明一实施方式的摄像装置在第一夜视模式动作时的去马赛克处理的图；
图17的(a)～(d)是用于说明一实施方式的摄像装置在第二夜视模 式动作时的前信号处理的图；
图18的(a)～(d)是用于说明一实施方式的摄像装置在第二夜视模式动作时的去马赛克处理的图；
图19的(a)～(c)是用于说明一实施方式的摄像装置中的模式切换的例子的图；
图20是示出一实施方式的摄像装置被设定成各个模式时的各部分的状态的图；
图21是示出一实施方式的摄像装置的第一变形例的部分框图；
图22是示出一实施方式的摄像装置的第二变形例的部分框图；
图23是示出一实施方式的摄像装置的第三变形例的部分框图；
图24是示出视频信号处理方法的流程图；
图25是示出图24中的步骤S3所示的通常模式的具体的处理的流程图；
图26是示出图24中的步骤S4的中间模式的具体的处理的流程图；
图27是示出图24中的步骤S5的夜视模式的具体的处理的流程图；
图28是示出使计算机执行视频信号处理程序的处理的流程图；
图29的(a)～(f)是概略示出由摄像装置生成视频信号的帧时未考虑减轻色偏的摄像装置的控制方法的时序图；
图30的(a)～(f)是概略示出由摄像装置生成视频信号的帧时减轻色偏的摄像装置的控制方法的第一例的时序图；
图31的(a)～(g)是概略示出由摄像装置生成视频信号的帧时减轻色偏的摄像装置的控制方法的第二例的时序图；
图32的(a)～(g)是概略示出由摄像装置生成视频信号的帧时减轻色偏的摄像装置的控制方法的第三例的时序图。
具体实施方式
以下，参照附图对一实施方式的摄像装置、摄像装置的控制方法以及控制程序进行说明。
＜摄像装置的构成＞
首先，使用图1对一实施方式的摄像装置的整体构成进行说明。图1所示的一实施方式的摄像装置是能够在通常模式、夜视模式以及中间模式这三种模式下进行拍摄的摄像装置，所述通常模式适合于白天等可见光充分存在的环境下；所述夜视模式适合于夜间等几乎没有可见光的环境下，所述中间模式适合于可见光少量存在的环境下。
中间模式是在可见光少的环境下一边照射红外线一边进行拍摄的第一红外线光照射模式。夜视模式是在可见光更少(几乎没有)的环境下一边照射红外线一边进行拍摄的第二红外线光照射模式。
摄像装置也可以只包括中间模式和夜视模式中的一种。摄像装置也可以不包括通常模式。摄像装置只要至少包括一边照射红外线一边进行拍摄的红外线光照射模式即可。
在图1中，由被拍摄体反射的以单点划线示出的光被光学透镜1聚光。这里，光学透镜1在可见光充分存在的环境下被入射可见光，在几乎没有可见光的环境下被入射被拍摄体反射了从后述的红外线照射器9发出的红外线光而得的红外线光。
在可见光少量存在的环境下，光学透镜1被入射可见光与被拍摄体反射了从红外线照射器9发出的红外线光而得的红外线光混在一起后的光。
在图1中为了简化而仅设为一个光学透镜1，但实际上摄像装置具备多个光学透镜。
在光学透镜1和摄像部3之间设置有光学滤波器2。光学滤波器2具有红外线去除滤波器21和白玻璃22这两个部分。光学滤波器2被驱动部8驱动为在光学透镜1与摄像部3之间***了红外线去除滤波器21的状态和在光学透镜1与摄像部3之间***了白玻璃22的状态中的任一个状态。
摄像部3具有摄像元件31和色彩滤波器32，所述摄像元件31在水平方向以及垂直方向上排列多个受光元件(像素)，所述色彩滤波器32与各个受光元件对应地配置红色(R)、绿色(G)、蓝色(B)中的任一种颜色的滤波器单元。摄像元件31可以是CCD(Charge CoupledDevice，电荷耦合器件)或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)。
在色彩滤波器32中，作为一例，如图2所示，R、G、B各色的滤波器单元以称为拜耳阵列的阵列方式排列。拜耳阵列是R、G、B滤波器单元的预定阵列的一例。在图2中，将各行的被R滤波器单元夹着的G滤波器单元设为Gr，将被B滤波器单元夹着的G滤波器单元设为Gb。
在拜耳阵列中，R滤波器单元和Gr滤波器单元被交替配置的水平方向的行、以及B滤波器单元和Gb滤波器单元被交替配置的水平方向的行在垂直方向上交替排列。
图3示出摄像部中的R光、G光、B光的波长和相对灵敏度的光谱灵敏度特性。相对灵敏度的最大值被标准化为1。在使摄像装置在通常模式下动作时，为了拍摄基于可见光的良好的彩***，需要去除波长700nm以上的红外线光。
因此，驱动部8基于由控制部7进行的控制来驱动光学滤波器2，使得在光学透镜1和摄像部3之间***红外线去除滤波器21。
从图3可知，摄像部3在波长700nm以上的红外线光的区域也具有灵敏度。因此，在使摄像装置在中间模式或者夜视模式下动作时，驱动部8基于由控制部7进行的控制来驱动光学滤波器2，使得卸下光学透镜1和摄像部3之间的红外线去除滤波器21并***白玻璃22。
在光学透镜1和摄像部3之间***了白玻璃22的状态下，波长700nm以上的红外线光不会被去除。因此，摄像装置能够利用图3中虚线的椭圆包围的部分的灵敏度得到R、G、B的各种颜色信息。***白玻璃22是为了使光路长与***红外线去除滤波器21时的光路长相同。
红外线照射器9具有分别照射波长IR1、IR2、IR3的红外线光的照射部91、92、93。当为中间模式或者夜视模式时，控制部7内的照射控制部71进行控制，以分时从照射部91～93选择性地照射波长IR1～IR3的红外线光。
在摄像元件31中使用硅晶圆。图4示出了对在呈现R、G、B各个颜色的素材上照射了白色光时的各波长的反射率乘以硅的受光灵敏度时的、波长和相对检出率的关系。即使在图4中，相对检出率的最大值也被标准化为1。
如图4所示，在红外线光的区域中，例如，波长780nm中的反射光与呈现R色的素材的反射光的相关性高，波长870nm中的反射光与呈现B色的素材的反射光的相关性高，波长940nm中的反射光与呈现G色的素材的反射光的相关性高。
因此，在本实施方式中，将照射部91、92、93照射的红外线光的波长IR1、IR2、IR3设为780nm、940nm、870nm。这些波长是波长IR1～IR3的一例，也可以是780nm、940nm、870nm以外的波长。
照射部91向被拍摄体照射波长IR1的红外线光，将拍摄了从被拍摄体反射后的光的视频信号分配给R信号。照射部93向被拍摄体照射波长IR2的红外线光，将拍摄了从被拍摄体反射后的光的视频信号分配给G信号。照射部92向被拍摄体照射波长IR3的红外线光，将拍摄了从被拍摄体反射后的光的视频信号分配给B信号。
通过如此，在原理上，即使在中间模式或者夜视模式下，也能够再现与通常模式中可见光存在的环境下拍摄了被拍摄体的情况同样的颜色。
虽然是色感与被拍摄体的实际色感不同的彩色图像，但也可以将780nm的波长IR1分配给R光、将870nm的波长IR3分配给G光、将940nm的波长IR2分配给B光。也可以将波长IR1、IR2、IR3任意地分配给R光、G光、B光。
在本实施方式中，假设最好地再现被拍摄体的色感的将波长IR1、IR2、IR3分别分配给R光、G光、B光的情况。
控制部7控制摄像部3中的拍摄和视频处理部5内的各部分。控制部7内的电子快门控制部73控制摄像部3的电子快门的功能。被摄像部3拍摄的视频信号由A/D转换器4进行A/D转换，并被输入到视频处理部5。摄像部3和A/D转换器4也可以被一体化。
控制部7具备在通常模式、中间模式、夜视模式之间进行切换的模式切换部72。模式切换部72使与通常模式、中间模式、夜视模式对应地如后述那样适当地进行切换视频处理部5内的动作。视频处理部5和控制部7也可以被一体化。
视频处理部5具有开关51、53、前信号处理部52以及去马赛克处理 部54。开关51、53可以是物理的开关，也可以是用于切换前信号处理部52的动作与不动作的概念性开关。控制部7为了检测正拍摄的视频的明亮度而被从视频处理部5输入视频信号。
如图5所示，前信号处理部52具有周围像素加法运算部521、相同位置像素加法运算部522以及合成部523。
视频处理部5生成R、G、B三原色数据并供给视频输出部6。视频输出部6将三原色数据以预定的形式输出到未图示的显示部等。
视频输出部6可以将R、G、B信号直接输出，也可以将R、G、B信号转换成亮度信号和颜色信号(或者色差信号)输出。视频输出部6可以输出合成视频信号。视频输出部6既可以输出数字信号的视频信号，也可以输出被D/A转换器转换成模拟信号的视频信号。
以下，对通常模式、中间模式以及夜视模式的各个具体的动作进行说明。
＜通常模式＞
在通常模式下，控制部7使驱动部8在光学透镜1和摄像部3之间***红外线去除滤波器21。照射控制部71将由红外线照射器9进行照射的红外线光的照射设为关闭。
由摄像部3拍摄的视频信号通过A/D转换器4被转换成作为数字信号的视频数据，并被输入到视频处理部5。在通常模式下，模式切换部72进行控制，使得开关51、53与端子Tb连接。
图6的(a)示出摄像部3的曝光Ex1、Ex2、Ex3…。实际上，曝光时间根据快门速度等条件而发生变化，这里曝光Ex1、Ex2、Ex3表示最长曝光时间。此外，快门速度通过电子快门控制部73的控制来决定。
图6的(b)示出能得到各个视频信号的帧的时刻。基于曝光Ex1前的未图示的曝光在预时刻间后能得到视频信号的帧F0。基于曝光Ex1在预时刻间后能得到视频信号的帧F1。基于曝光Ex2在预时刻间后能得到视频信号的帧F2。曝光Ex3以后的也是同样的。将视频信号的帧频率设为例如30帧/秒。
视频信号的帧频率只要如在NTSC方式是30帧/秒或者60帧/秒、在 PAL方式下是25帧/秒或者50帧/秒那样适当地设定即可。另外，视频信号的帧频率也可以是电影中使用的24帧/秒。
从A/D转换器4输出的各帧的视频数据经由开关51、53被输入到去马赛克处理部54。去马赛克处理部54对被输入的各帧的视频数据实施去马赛克处理。视频处理部5除了去马赛克处理之外，还实施白平衡校正或增益校正等的各种视频处理，并输出R、G、B的三原色数据。
使用图7的(a)～(d)对去马赛克处理部54中的去马赛克处理进行说明。在图7中，(a)示出视频数据的任意的帧Fm。帧Fm是由有效视频期间的像素构成的帧。视频数据的像素数例如在VGA规格下是水平640像素、垂直480像素。这里为了简化，大幅地减少了帧Fm的像素数来示意性地示出帧Fm。
使用拜耳阵列的摄像部3而生成的视频数据在帧Fm内是R、G、B的像素数据混在一起的数据。去马赛克处理部54生成R的插值像素数据Ri，所述R的插值像素数据Ri是使用周围的R像素数据来计算出不存在R像素数据的像素位置的R像素数据而得到的。去马赛克处理部54生成图7的(b)所示的一帧的全部像素由R像素数据构成的R帧FmR。
去马赛克处理部54生成G插值像素数据Gi，所述G插值像素数据Gi是使用周围的G像素数据来计算出不存在G像素数据的像素位置的G像素数据而得到的。去马赛克处理部54生成图7的(c)所示的一帧的全部像素由G像素数据构成的G帧FmG。
去马赛克处理部54生成B插值像素数据Bi，所述B插值像素数据Bi是使用周围的B像素数据来计算出不存在B像素数据的像素位置的B像素数据而得到的。去马赛克处理部54生成图7的(d)所示的一帧的全部像素由B像素数据构成的B帧FmB。
去马赛克处理部54只要在对R像素数据进行插值时至少使用R像素数据、在对G像素数据进行插值时至少使用G像素数据、在对B像素数据进行插值时至少使用B像素数据即可。为了提高插值精度，去马赛克处理部54在对R、G、B像素数据进行插值时，也可以使用与将要生成的插值像素数据的颜色不同的其他颜色的像素数据。
在摄像部3中，由于存在比有效视频期间靠外侧的像素，因此即使在位于帧Fm的上下左右端部的像素也能够对R、G、B像素数据进行插值。
通过去马赛克处理部54生成的R帧FmR、G帧FmG、B帧FmB作为R、G、B三原色数据输出。在图6的(a)和(b)中，为了便于理解，以帧为单位对R、G、B像素数据进行了说明，但实际上R、G、B像素数据按照每个像素被依次输出。
＜中间模式：第一中间模式＞
在中间模式(第一中间模式以及后述的第二中间模式)中，控制部7通过驱动部8在光学透镜1和摄像部3之间***白玻璃22。照射控制部71使由红外线照射器9进行照射的红外线光的照射打开。模式切换部72进行控制使得开关51、53与端子Ta连接。
图8的(a)示出由红外线照射器9进行红外线光的照射的状态。控制部7进行控制，使得将通常模式的一帧期间分成各1/3，以例如照射部91、92、93的顺序照射红外线光。
在图8的(a)所示的例子中，在一帧的最初的1/3的期间，向被拍摄体照射波长IR1(780nm)的红外线光。在一帧的接着的1/3的期间，向被拍摄体照射波长IR2(940nm)的红外线光。在一帧的最后的1/3的期间，向被拍摄体照射波长IR3(870nm)的红外线光。照射波长IR1～IR3的红外线光的顺序是任意的。
如图8的(b)所示，在照射波长IR1的红外线光的时刻，摄像部3进行与R光的相关性高的曝光Ex1R。在照射波长IR2的红外线光的时刻，摄像部3进行与G光的相关性高的曝光Ex1G。在照射波长IR3的红外线光的时刻，摄像部3进行与B光的相关性高的曝光Ex1B。
但是，在中间模式下，由于是在可见光少量存在的环境下的拍摄，因此是可见光与由红外线照射器9照射的红外线光混在一起的状态。所以，在中间模式下，曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B…为基于可见光的曝光和基于红外线光的曝光合在一起的曝光。
如图8的(c)所示，基于曝光Ex1R、Ex1G、Ex1B在预时刻间后能够能得到与曝光Ex1R对应的帧F1IR1、与曝光Ex1G对应的帧F1IR2、与 曝光Ex1B对应的帧F1IR3。
另外，基于曝光Ex2R、Ex2G、Ex2B在预时刻间后能够能得到与曝光Ex2R对应的帧F2IR1、与曝光Ex2G对应的帧F2IR2、与曝光Ex2B对应的帧F2IR3。曝光Ex3R、Ex3G、Ex3B之后也是同样的。
图8的(c)的拍摄信号的帧频率是90帧/秒。在中间模式下，由于对通常模式中的视频信号的一帧进行时间划分并照射波长IR1～IR3的红外线光，因此为了输出与通常模式相同形式的视频信号，图8的(c)的拍摄信号的帧频率为通常模式下的帧频率的三倍。
如后述那样，基于图8的(c)的三帧的拍摄信号生成图8的(d)所示的具有30帧/秒的帧频率的视频信号的一帧。例如，基于帧F1IR1、F1IR2、F1IR3生成帧F1IR，基于帧F2IR1、F2IR2、F2IR3生成帧F2IR。
对基于图8的(c)的三帧的拍摄信号生成图8的(d)的各帧的视频信号的中间模式下的动作进行具体地说明。
与从A/D转换器4输出的图8的(c)所示的拍摄信号对应的各帧的视频数据经由开关51被输入到前信号处理部52。
使用图9的(a)～(d)，对前信号处理部52中的前信号处理进行说明。图9的(a)示出在照射波长IR1的红外线光的时刻所生成的视频数据的任意的帧FmIR1。在帧FmIR1内的R、B、Gr、Gb的像素数据上附加记号1，所述记号1表示是在照射了波长IR1的红外线光的状态下生成的。
图9的(b)示出在照射波长IR2的红外线光的时刻所生成的视频数据的任意的帧FmIR2。在帧FmIR2内的R、B、Gr、Gb像素数据上附加记号2，所述记号2表示是在照射了波长IR2的红外线光的状态下生成的。
图9的(c)示出在照射波长IR3的红外线光的时刻所生成的视频数据的任意的帧FmIR3。在帧FmIR3内的R、B、Gr、Gb像素数据上附加记号3，所述记号3表示是在照射了波长IR3的红外线光的状态下生成的。
图9的(a)所示的帧FmIR1由于是在照射与R光的相关性高的波长IR1的红外线光的状态下所生成的视频数据，因此R像素数据是与被照射 的红外线光对应的像素数据，B、G像素数据是不与被照射的红外线光对应的像素数据。附加在B、Gr、Gb像素数据的阴影线意味着是与所照射的红外线光不对应的像素数据。
图9的(b)所示的帧FmIR2由于是在照射与G光的相关性高的波长IR2的红外线光的状态下所生成的视频数据，因此G像素数据是与被照射的红外线光对应的像素数据，R、B像素数据是与被照射的红外线光不对应的像素数据。附加在R、B像素数据的阴影线意味着是与被照射的红外线光不对应的像素数据。
图9的(c)所示的帧FmIR3由于是在照射与B光的相关性高的波长IR3的红外线光的状态下所生成的视频数据，因此B像素数据是与被照射的红外线光对应的像素数据，R、G像素数据是与被照射的红外线光不对应的像素数据。附加在R、Gr、Gb像素数据的阴影线意味着是与被照射的红外线光不对应的像素数据。
前信号处理部52内的相同位置像素加法运算部522将彼此相同的像素位置的R、Gr、Gb、B像素数据按照下面的式(1)～(3)分别进行加法运算来生成像素数据R123、Gr123、Gb123、B123。在中间模式下，前信号处理部52内的周围像素加法运算部521并不动作。
R123＝ka×R1+kb×R2+kc×R3…(1)
G123＝kd×G1+ke×G2+kf×G3…(2)
B123＝kg×B1+kh×B2+ki×B3…(3)
在式(1)～(3)中，R1、G1、B1是帧FmIR1中的R、G、B像素数据，R2、G2、B2是帧FmIR2中的R、G、B像素数据，R3、G3、B3是帧FmIR3中的R、G、B像素数据。Ka～ki是预定的系数。式(2)中的G123是Gr123或者Gb123。
此时，相同位置像素加法运算部522对未标注阴影线的各个R、Gr、Gb、B像素数据加上标注了阴影线的相同像素位置的各个R、Gr、Gb、B像素数据。
即，相同位置像素加法运算部522基于式(1)在帧FmIR1中的R像素数据上加上帧FmIR2、帧FmIR3中的相同像素位置的R像素数据，来 生成像素数据R123。也就是说，仅使用受光元件中与红色的色彩滤波器对应的区域的像素数据来生成红色用的像素数据R123。
相同位置像素加法运算部522基于式(2)在帧FmIR2中的Gr、Gb像素数据上加上帧FmIR1、帧FmIR3中的相同像素位置的Gr、Gb像素数据，来生成像素数据G123。也就是说，仅使用受光元件中与绿色的色彩滤波器对应的区域的像素数据来生成绿色用的像素数据G123。
相同位置像素加法运算部522基于式(3)在帧FmIR3中的B像素数据上加上帧FmIR1、帧FmIR2中的相同像素位置的B像素数据，来生成像素数据B123。也就是说，仅使用受光元件中与蓝色的色彩滤波器对应的区域的像素数据来生成蓝色用的像素数据B123。
前信号处理部52内的合成部523基于在各个像素位置中生成的像素数据R123、Gr123、Gb123、B123来生成图9的(d)所示的合成视频信号的帧FmIR123。
具体而言，合成部523选择帧FmIR1中的像素数据R123、帧FmIR2中的像素数据Gr123、Gb123以及帧FmIR3中的像素数据B123来进行合成。由此，合成部523生成合成视频信号的帧FmIR123。
如此，合成部523生成帧FmIR123，所述帧FmIR123通过以成为与色彩滤波器32中的滤波器单元的阵列相同阵列的方式来使像素数据R123、Gr123、Gb123、B123排列而成。
在第一中间模式下，使用未标注阴影线的像素数据和标注了阴影线的像素数据来生成帧FmIR123的视频数据。
之所以通过相同位置像素加法运算部522对彼此相同像素位置的像素数据进行加法运算是基于如下理由。在中间模式下，由于是在虽然是少量但也是存在可见光的环境下的拍摄，因此标注了阴影线的像素数据包含基于由可见光产生的曝光的各个颜色分量。因此，通过对相同像素位置的像素数据进行加法运算，能够提高各个颜色的灵敏度。
如果在可见光和红外线光混在一起的状况下可见光较多，则基于可见光的曝光成为支配性的。该情况下，帧FmIR123的视频数据以基于由可见光曝光的视频信号的成分为主。如果在可见光和红外线光混在一起的状况 下红外线光比较多，则基于红外线光的曝光成为支配性的。该情况下，帧FmIR123的视频数据以基于由红外线光曝光的视频信号的成分为主。
在可见光比较少的情况下，在式(1)中，可以将系数ka、kb、kc的大小关系设为ka＞kb、kc，在式(2)中，将系数kd、ke、kf的大小关系设为kf＞kd、ke，在式(3)中，将系数kg、kh、ki的大小关系设为kh＞kg、ki。这是因为波长IR1与R光的相关性高，波长IR2与G光的相关性高，波长IR3与B光的相关性高。
通过如此，R像素数据能够以帧FmIR1中的R像素数据为主，G像素数据能够以帧FmIR2中的G像素数据为主，B像素数据能够以帧FmIR3中的B像素数据为主。
从前信号处理部52输出的帧FmIR123的视频数据经由开关53被输入到去马赛克处理部54。与通常模式同样地，去马赛克处理部54对被输入的帧FmIR123的视频数据实施去马赛克处理。视频处理部5除了去马赛克处理之外，还实施白平衡校正或增益校正等的各种视频处理，并输出R、G、B的三原色数据。
使用图10的(a)～(d)，对去马赛克处理部54中的去马赛克处理进行说明。图10的(a)示出了帧FmIR123。去马赛克处理部54使用周围的R像素数据计算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据R123i。去马赛克处理部54生成图10的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123R。
去马赛克处理部54使用周围的G像素数据计算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G123i。去马赛克处理部54生成图10的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123G。
去马赛克处理部54使用周围的B像素数据计算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B123i。去马赛克处理部54生成图10的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123B。
对通常模式下的图7的(a)～(d)所示的去马赛克处理部54的动作 与在中间模式下的图10的(a)～(d)所示的去马赛克处理部54的动作进行比较可知，两者实质上是相同的。去马赛克处理部54的动作无论是通常模式还是中间模式也不会改变。
在通常模式下，将前信号处理部52设为不动作，在中间模式下，只要使除了周围像素加法运算部521以外的前信号处理部52动作即可。在通常模式和中间模式下，能够共用视频处理部5中的去马赛克处理部54以及白平衡校正或增益校正等的信号处理部。
＜中间模式：第二中间模式＞
使用图11的(a)～(d)以及图12的(a)～(d)，对第二中间模式下的动作进行说明。在第二中间模式下的动作中，与第一中间模式下的动作相同部分省略说明。图11的(a)～(c)的帧FmIR1、FmIR2、FmIR3与图9的(a)～(c)的帧FmIR1、FmIR2、FmIR3是相同的。
合成部523选择在帧FmIR1中的作为R像素数据的R1、帧FmIR2中的作为G像素数据的Gr2、Gb2、以及帧FmIR3中的作为B像素数据的B3来进行合成。由此，合成部523生成图11的(d)所示的合成视频信号的帧FmIR123’。
即，帧FmIR123’是将帧FmIR1、帧FmIR2、帧FmIR3中未标注阴影线的R、Gr、Gb、B像素数据集结为一帧而成的视频数据。
也就是说，在帧FmIR123’中，成为仅使用在照射波长IR1的红外线光的状态下与红色的色彩滤波器对应的区域的像素数据的红色用的像素数据、仅使用在照射波长IR2的红外线光的状态下与绿色的色彩滤波器对应的区域的像素数据的绿色用的像素数据、仅使用在照射波长IR3的红外线光的状态下与蓝色的色彩滤波器对应的区域的像素数据的蓝色用的像素数据。
如此，合成部523生成帧FmIR123’，所述帧FmIR123’通过以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列的方式对像素数据R1、Gr2、Gb2、B3进行排列而成。
在第二中间模式下，相同位置像素加法运算部522将式(1)中的系数ka设为1，将系数kb、kc设为0，将式(2)中的系数ke设为1，将系 数kd、kf设为0，将式(3)中的系数ki设为1，将系数kg、kh设为0。
由此，帧FmIR1中的R像素数据，帧FmIR2中的Gr、Gb像素数据、帧FmIR3中的B像素数据分别保持原来的值。
因此，与第一中间模式下的动作同样地，合成部523只要选择帧FmIR1中的R像素数据、帧FmIR2中的Gr、Gb像素数据以及帧FmIR3中的B像素数据就能够生成帧FmIR123’。
在第二中间模式中，前信号处理部52仅使用在照射为了生成与像素数据的颜色相同颜色的像素数据的红外线光的状态下所生成的像素数据(未标注阴影线的像素数据)，来生成帧FmIR123’的视频数据。
根据第二中间模式，与第一中间模式相比虽然灵敏度和颜色的再现性降低，但能够简化运算处理，减少帧内存。
使用图12的(a)～(d)，对去马赛克处理部54中的去马赛克处理进行说明。图12的(a)示出了帧FmIR123’。去马赛克处理部54使用周围的R像素数据运算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据R1i。去马赛克处理部54生成图12的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123’R。
去马赛克处理部54使用周围的G像素数据运算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G2i。去马赛克处理部54生成图12的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123’G。
去马赛克处理部54使用周围的B像素数据运算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B3i。去马赛克处理部54生成图12的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123’B。
如上所述那样，在中间模式中，根据从受光元件中的与红色的色彩滤波器对应的区域得到的像素数据来生成红色用的像素数据，根据从受光元件中的与绿色的色彩滤波器对应的区域得到的像素数据来生成绿色用的像素数据，根据从受光元件中的与蓝色的色彩滤波器对应的区域得到的像素数据来生成蓝色用的像素数据。
＜夜视模式：第一夜视模式＞
在夜视模式(第一夜视模式以及后述的第二夜视模式)下，与中间模式同样地，控制部7通过驱动部8在光学透镜1和摄像部3之间***白玻璃22。照射控制部71将由红外线照射器9进行照射的红外线光的照射打开。模式切换部72进行控制，使得开关51、53与端子Ta连接。
夜视模式下的概略的动作与图8是相同的。但是，在夜视模式下，由于是可见光几乎不存在的环境下的拍摄，因此在图8的(b)中的曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B…，假定仅基于红外线光的曝光。
在可见光几乎不存在而仅红外线光存在的环境下，由于在色彩滤波器32中的各自的滤波器单元的特性上变得没有差别，因此能够将摄像部3视为单色的摄像元件。
因此，前信号处理部52内的周围像素加法运算部521在夜视模式下为了提高红外线光的灵敏度，针对各个像素数据加上位于周围的像素数据。
具体而言，如图13的(a)所示，当R像素是关注像素时，周围像素加法运算部521对关注像素的R像素数据加上位于周围的G(Gr、Gb)以及B的八个像素的像素数据。
也就是说，当处于中间模式时，根据从受光元件中的与红色的色彩滤波器对应的区域得到的像素数据来生成红色用的像素数据，但在夜视模式中，根据与中间模式时相比更大的区域得到的像素数据来生成红色用的像素数据。在图13的(a)～(d)所示的例子中，各种颜色均使用从包含关注像素在内的九个像素的区域得到的像素数据。
如图13的(b)所示，当Gr像素是关注像素时，周围像素加法运算部521对关注像素的Gr像素数据加上位于周围的R、Gb、B的八个像素的像素数据。如图13的(c)所示，当Gb像素是关注像素时，周围像素加法运算部521对关注像素的Gb像素数据加上位于周围的R、Gr、B的八个像素的像素数据。
也就是说，当处于中间模式时，根据从受光元件中的与绿色的色彩滤 波器对应的区域得到的像素数据来生成绿色用的像素数据，但在夜视模式中，根据从与中间模式时比更大的区域得到的像素数据来生成绿色用的像素数据。
如图13的(d)所示，当B像素是关注像素时，周围像素加法运算部521对关注像素的B像素数据加上位于周围的R以及G(Gr、Gb)的八个像素的像素数据。
也就是说，当处于中间模式时，根据从受光元件中的与蓝色的色彩滤波器对应的区域得到的像素数据来生成蓝色用的像素数据，但在夜视模式中，根据从与中间模式时比更大的区域得到的像素数据来生成蓝色用的像素数据。
周围像素加法运算部521也可以单纯地对关注像素的像素数据和周围的八个像素的像素数据的九个像素进行加法运算，也可以针对周围的八个像素的像素数据赋予预定的权重的基础上与作为关注像素的像素数据进行加法运算。
存在将被称为像素混合的多个像素汇总而能够作为一个像素读出的摄像元件。作为摄像元件31在使用具有像素混合功能的摄像元件的情况下，可以不进行基于周围像素加法运算部521的加法运算处理，而是进行基于具有像素混合功能的摄像元件的加法运算处理。由摄像元件进行的像素混合与由周围像素加法运算部521进行的加法运算处理实质上是等价的。
图14的(a)～(c)的帧FmIR1、FmIR2、FmIR3与图9的(a)～(c)的帧FmIR1、FmIR2、FmIR3相同。在图14的(d)～(f)中，R1ad、Gr1ad、Gb1ad、B1ad、R2ad、Gr2ad、Gb2ad、B2ad、R3ad、Gr3ad、Gb3ad、B3ad是分别针对R、Gr、Gb、B的像素数据加上周围的八个像素的像素数据后的加法运算像素数据。
周围像素加法运算部521通过对帧FmIR1、FmIR2、FmIR3的各个像素数据实施图13的(a)～(d)所示的加法运算处理来生成图14的(d)～(f)所示的帧FmIR1ad、FmIR2ad、FmIR3ad。
图15的(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad与图14的 (d)～(f)的帧FmIR1ad、FmIR2ad、FmIR3ad相同。
与第一中间模式同样地，相同位置像素加法运算部522基于式(1)对帧FmIR1ad中的R1ad像素数据与帧FmIR2ad、帧FmIR3ad中的相同像素位置的R2ad、R3ad的像素数据进行加法运算，来生成像素数据R123ad。
相同位置像素加法运算部522基于式(2)对帧FmIR2ad中的Gr2ad、Gb2ad像素数据与帧FmIR1ad、帧FmIR3ad中的相同像素位置的Gr1ad、Gb1ad、Gr3ad、Gb3ad像素数据进行加法运算，来生成像素数据Gr123ad、Gb123ad。
相同位置像素加法运算部522基于式(3)对帧FmIR3ad中的B3ad像素数据与帧FmIR1ad、FmIR2ad中的相同像素位置的B1ad、B2ad像素数据进行加法运算，来生成像素数据B123ad。
与第一中间模式同样地，合成部523选择帧FmIR1ad中的像素数据R123ad、帧FmIR2ad中的像素数据Gr123ad、Gb123ad以及帧FmIR3ad中的像素数据B123ad来进行合成。由此，合成部523生成图15的(d)所示的合成视频信号的帧FmIR123ad。
合成部523生成帧FmIR123ad，所述帧FmIR123ad通过以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列的方式来对像素数据R123ad、Gr123ad、Gb123ad、B123ad进行排列而成。
图16的(a)示出了帧FmIR123ad。去马赛克处理部54使用周围的R像素数据运算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据R123adi。去马赛克处理部54生成图16的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123adR。
去马赛克处理部54使用周围的G像素数据运算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G123adi。去马赛克处理部54生成图16的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123adG。
去马赛克处理部54使用周围的B像素数据运算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B123adi。去马赛克处 理部54生成图16的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123adB。
第一中间模式和第一夜视模式在以下点上不同，前者将周围像素加法运算部521设为不动作，而后者使周围像素加法运算部521动作。模式切换部72当处于夜视模式时只要使周围像素加法运算部521动作即可。
夜视模式下的去马赛克处理部54的动作与通常模式以及中间模式下的去马赛克处理部54的动作实质上是相同的。在通常模式、中间模式和夜视模式中，能够共用视频处理部5中的去马赛克处理部54以及白平衡校正或增益校正等的信号处理部。
＜夜视模式：第二夜视模式＞
使用图17的(a)～(d)以及图18的(a)～(d)，对第二夜视模式中的动作进行说明。在第二夜视模式中的动作中，与第一夜视模式中的动作相同部分省略说明。图17的(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad与图15的(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad相同。
合成部523选择帧FmIR1ad中作为R像素数据的R1ad、帧FmIR2ad中作为G像素数据的Gr2ad、Gb2ad、以及帧FmIR3ad中作为B像素数据的B3ad来进行合成。由此，合成部523生成图17的(d)所示的合成视频信号的帧FmIR123’ad。
合成部523生成帧FmIR123’ad，所述帧FmIR123’ad通过以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列的方式来对像素数据R1ad、Gr2ad、Gb2ad、B3ad进行排列而成。
此外，如使用图13的(a)～(d)说明的那样，帧FmIR123’ad中的红色用的像素数据R1ad是根据从比中间模式时为了生成红色用的像素数据而使用的区域大的区域得到的像素数据来生成的。
另外，帧FmIR123’ad中的绿色用的像素数据Gr2ad是根据从比中间模式时为了生成绿色用的像素数据而使用的区域大的区域得到的像素数据来生成的。
进一步，帧FmIR123’ad中的蓝色用的像素数据B3ad是根据从比中 间模式时为了生成蓝色用的像素数据而使用的区域大的区域得到的像素数据来生成的。
在第二夜视模式中，与第二中间模式同样地，相同位置像素加法运算部522将式(1)中的系数ka设为1，系数kb、kc设为0，将式(2)中的系数ke设为1，将系数kd、kf设为0，将式(3)中的系数ki设为1，将系数kg、kh设为0。
由此，帧FmIR1ad中的R1ad像素数据，帧FmIR2ad中的Gr2ad、Gb2ad像素数据、帧FmIR3ad中的B3ad像素数据分别保持原来的值。
因此，与第一夜视模式中的动作同样地，合成部523只要选择帧FmIR1ad中的R1ad像素数据，帧FmIR2ad中的Gr2ad、Gb2ad像素数据、以及帧FmIR3ad中的B3ad像素数据就能够生成帧FmIR123’ad。
使用图18的(a)～(d)，对去马赛克处理部54中的去马赛克处理进行说明。图18的(a)示出了帧FmIR123’ad。去马赛克处理部54使用周围的R1ad像素数据运算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据R1adi。去马赛克处理部54生成图18的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123’adR。
去马赛克处理部54使用周围的Gr2ad、Gb2ad像素数据运算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G2adi。去马赛克处理部54生成图18的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123’adG。
去马赛克处理部54使用周围的B3ad像素数据计算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B3adi。去马赛克处理部54生成图18的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123’adB。
第二中间模式和第二夜视模式在以下点上不同，前者将周围像素加法运算部521设为不动作，而后者使周围像素加法运算部521动作。
另外，在中间模式中，根据从受光元件中的与各种颜色对应的区域得到的每个像素数据来生成各种颜色用的像素数据，但在夜视模式中，由于与周围像素进行加法运算，因此也可以说是根据从比中间模式中的用于生 成各种颜色用的像素数据的各个区域大的区域得到的像素数据来生成各种颜色用的像素数据的。
＜模式切换的例＞
使用图19的(a)～(c)，对由模式切换部72进行的模式切换的例子进行说明。图19的(a)作为一例示意性地示出时间从白天的时间带经过至夜里的时间带时周围环境的明亮度发生变化的情况。
如图19的(a)所示，随着时间从白天经过到傍晚，明亮度逐渐降低，在时刻t3以后基本成为黑暗状态。图19的(a)所示的明亮度实质上示出可见光的量，在时刻t3以后为可见光几乎没有的状态。
控制部7能够基于从视频处理部5输入的视频信号(视频数据)的亮度水平来判断周围环境的明亮度。如图19的(b)所示，模式切换部72，当明亮度大于等于预定阈值Th1(第一阈值)时设为通常模式，当明亮度小于阈值Th1且大于等于预定阈值Th2(第二阈值)时设为中间模式，当亮度小于阈值Th2时设为夜视模式。
本实施方式的摄像装置在明亮度为阈值Th1的时刻t1为止将模式自动切换成通常模式，从时刻t1到明亮度为阈值Th2的时刻t2为止将模式自动切换成中间模式，时刻t2以后将模式自动切换成夜视模式。在图19的(b)中，中间模式可以是第一中间模式和第二中间模式的任一者，夜视模式可以是第一夜视模式和第二夜视模式的任一者。
在图19的(a)中，将可见光几乎即将变没的时刻t3之前的明亮度设为阈值Th2，但也可以将时刻t3的明亮度设为阈值Th2。
如图19的(c)所示，模式切换部72可以在中间模式的期间将可见光比较多的时刻t1侧的期间设为第一中间模式，将可见光比较少的时刻t2侧的期间设为第二中间模式。在图19的(c)中，夜视模式可以是第一夜视模式和第二夜视模式中的任一个。
本实施方式的摄像装置能够通过照射控制部71控制红外线照射器9的开闭、模式切换部72切换视频处理部5内的各部分的动作或不动作来实现每个模式。
如图20所示，通常模式是红外线照射器9关闭、周围像素加法运算 部521和相同位置像素加法运算部522以及合成部523均不动作、去马赛克处理部54动作的状态。
第一中间模式是红外线照射器9打开、周围像素加法运算部521不动作、相同位置像素加法运算部522和合成部523以及去马赛克处理部54动作的状态。第二中间模式是红外线照射器9打开、周围像素加法运算部521和相同位置像素加法运算部522不动作、合成部523和去马赛克处理部54动作的状态。
相同位置像素加法运算部522中的动作与不动作如上所述，能够通过适当地设定式(1)～(3)的系数ka～ki的值来容易地切换。
第一夜视模式是红外线照射器9打开、周围像素加法运算部521和相同位置像素加法运算部522、合成部523、去马赛克处理部54全部动作的状态。第二夜视模式是红外线照射器9打开、相同位置像素加法运算部522不动作、周围像素加法运算部521、合成部523和去马赛克处理部54动作的状态。
在用于对关注像素的像素数据加上周围的像素数据的计算式中，周围像素加法运算部521如果将与周围的像素数据相乘的系数设为超过0的系数(例如1)，则能够将周围像素的加法运算处理设为动作的状态。
另外，在该计算式中，周围像素加法运算部521如果将与周围的像素数据相乘的系数设为0，则能够将周围像素的加法运算处理设为不动作的状态。
周围像素加法运算部521的动作与不动作，也能够通过适当地设定系数值来容易地进行切换。
＜摄像装置的第一变形例＞
控制部7检测周围环境的明亮度的方法，并不限于基于视频信号的亮度水平的方法。
如图21所示，也可以通过明亮度传感器11来检测周围环境的明亮度。在图21中，也可以基于视频信号的亮度水平和由明亮度传感器11的检测出的明亮度这两者来判断周围环境的明亮度。
＜摄像装置的第二变形例＞
控制部7也可以不直接检测出周围环境的明亮度，而是基于一年中的时期(日期)以及时刻(时间带)来大概假定周围环境的明亮度，从而模式切换部72可被切换到各模式。
如图22所示，模式设定表12与日期和时间带的组合对应而设定有通常模式、中间模式和夜视模式中的任一个。控制部7内的时钟74管理日期和时刻。控制部7参照时钟74所示的日期和时刻来读出由模式设定表12设定的模式。
照射控制部71和模式切换部72控制摄像装置，以成为从模式设定表12读出的模式。
＜摄像装置的第三变形例＞
如图23所示，也可以用户通过操作部13手动地选择模式来控制摄像装置，以成为选择了照射控制部71和模式切换部72的模式。操作部13可以是设置在摄像装置的框体上的操作按钮，也可以是远程遥控器。
＜视频信号处理方法＞
使用图24，重新说明图1所示的摄像装置执行的视频信号处理方法。
在图24中，一旦摄像装置开始动作，控制部7在步骤S1中判断周围环境的明亮度是否是阈值Th1以上。如果是阈值Th1以上(是)，则控制部7在步骤S3中使其执行在通常模式下的处理。如果不是阈值Th1以上(否)，则控制部7在步骤S2中判断周围环境的明亮度是否是阈值Th2以上。
如果是阈值Th2以上(是)，则控制部7在步骤S4中使其执行在中间模式下的处理。如果不是阈值Th2以上(否)，则控制部7在步骤S5中使其执行在夜视模式下的处理。
控制部7在步骤S3～S5之后使处理返回到步骤S1，重复步骤S1以后的处理。
图25示出步骤S3的通常模式的具体的处理。在图25中，控制部7(照射控制部71)在步骤S31中使红外线照射器9关闭。控制部7在步骤S32中***红外线去除滤波器21。控制部7(模式切换部72)在步骤S33中使开关51、53与端子Tb连接。步骤S31～S33的顺序是任意的，也可 以是同时的。
控制部7在步骤S34中通过摄像部3拍摄被拍摄体。控制部7在步骤S35中控制视频处理部5，使得通过去马赛克处理部54对由摄像部3拍摄被拍摄体而生成的视频信号的帧进行去马赛克处理。
图26示出步骤S4的中间模式的具体的处理。在图26中，控制部7(照射控制部71)在步骤S41中将红外线照射器9打开，以分时地从照射部91～93照射波长IR1～IR3的红外线光。
控制部7在步骤S42中***白玻璃22。控制部7(模式切换部72)在步骤S43中使开关51、53与端子Ta连接。步骤S41～S43的顺序是任意的，也可以是同时的。
控制部7在步骤S44中通过摄像部3拍摄被拍摄体。摄像部3在分别被照射与R相对应的波长IR1的红外线光、与G相对应的波长IR2的红外线光和与B相对应的波长IR3的红外线光的状态下对被拍摄体进行拍摄。
控制部7(模式切换部72)在步骤S45中控制前信号处理部52，使得周围像素加法运算部521不动作、使合成部523动作来生成合成视频信号。
将在分别照射波长IR1、IR2，IR3的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的构成视频信号的帧设为第一帧、第二帧、第三帧。
合成部523将基于第一帧内的R像素数据、第二帧内的G像素数据以及第三帧内的B像素数据的三原色像素数据进行排列，以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列。合成部523如此来生成将第一帧～第三帧合成到一帧的合成视频信号。
控制部7在步骤S46中控制视频处理部5，使得通过去马赛克处理部54对合成视频信号的帧进行去马赛克处理。
去马赛克处理部54基于合成视频信号的帧实施生成R帧、G帧以及B帧的去马赛克处理，依次生成被进行去马赛克处理的三原色的帧。
去马赛克处理部54能够通过在不存在R像素数据的像素位置插值R像素数据来生成R帧。去马赛克处理部54能够通过在不存在G像素数据的像素位置插值G像素数据来生成G帧。去马赛克处理部54能够通过在 不存在B像素数据的像素位置插值B像素数据来生成B帧。
在设为第一中间模式的情况下在步骤S45中使相同位置像素加法运算部522动作、在设为第二中间模式的情况下在步骤S45中使相同位置像素加法运算部522不动作即可。
图27示出步骤S5的夜视模式的具体的处理。在图27中，控制部7(照射控制部71)在步骤S51中打开红外线照射器9，以分时地从照射部91～93照射波长IR1～IR3的红外线光。
控制部7在步骤S52中***白玻璃22。控制部7(模式切换部72)在步骤S53中使开关51、53与端子Ta连接。步骤S51～S53的顺序是任意的，也可以是同时的。
控制部7在步骤S54中通过摄像部3拍摄被拍摄体。控制部7(模式切换部72)在步骤S55中控制前信号处理部52，以使周围像素加法运算部521和合成部523动作而生成合成视频信号。
控制部7在步骤S56中控制视频处理部5，使得通过去马赛克处理部54对合成视频信号的帧进行去马赛克处理。
在设为第一夜视模式的情况下在步骤S55中使相同位置像素加法运算部522动作、在设为第二夜视模式的情况下在步骤S55中使相同位置像素加法运算部522不动作即可。
＜视频信号处理程序＞
在图1中，控制部7或者视频处理部5和控制部7的一体化部分由计算机(微型计算机)构成，通过由计算机执行视频信号处理程序(计算机程序)也能够实现与上述的本实施方式的摄像装置同样的动作。
使用图28来说明以视频信号处理程序构成作为图24的步骤S4的中间模式中的控制的情况下、使计算机执行的顺序的例子。图28示出使计算机执行视频信号处理程序的处理。
在图28中，视频信号处理程序在步骤S401中使计算机执行控制红外线照射器9的处理，以分别照射与R、G、B相对应的波长IR1、IR2、IR的红外线光。
步骤S401所示的步骤也可以在视频信号处理程序的外部执行。在图 28中，省略了***白玻璃22的步骤。***白玻璃22的步骤也可以在视频信号处理程序的外部执行。
视频信号处理程序在步骤S402中使计算机执行以下处理：获取在照射波长IR1的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的、构成视频信号的第一帧的像素数据。
视频信号处理程序在步骤S403中使计算机执行以下处理：获取在照射波长IR2的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的、构成视频信号的第二帧的像素数据。
视频信号处理程序在步骤S404中使计算机执行以下处理：获取在照射波长IR3的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的、构成视频信号的第三帧的像素数据。步骤S402～步骤S404的顺序是任意的。
视频信号处理程序在步骤S405中使计算机执行以下处理：对R、G、B的像素数据进行排列，以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列，从而生成合成到一帧的合成视频信号。
在中间模式下，视频信号处理程序在步骤S405中不使计算机执行周围像素的加法运算处理的处理。
视频信号处理程序在步骤S406中使计算机执行对合成视频信号的帧实施去马赛克处理来生成R、G、B的帧的处理。
虽然省略图示，但在由视频信号处理程序构成作为图24的步骤S5的夜视模式中的控制的情况下，在图28的步骤S405中只要使计算机执行周围像素的加法运算处理的处理即可。
视频信号处理程序也可以是被记录在能够由计算机读取的记录介质中的计算机程序。视频信号处理程序可以以被记录在记录介质中的状态被提供，也可以经由互联网等网络来使计算机下载视频信号处理程序来提供。计算机能够读取的记录介质可以是CD-ROM、DVD-ROM等的非暂时性的任意的记录介质。
＜关于移动体拍摄时的色偏的减轻＞
接下来，说明在以上说明的中间模式或者夜视模式中通过本实施方式 的摄像装置拍摄正在移动的被拍摄体(移动体)时所发生的色偏和其减轻方法。
图29的(a)～(f)是示意性地示出未特别考虑色偏的减轻而由摄像装置生成视频信号的帧时的摄像装置的控制方法。
图29的(a)是与图8的(a)同等的，示出通过红外线照射器9照射红外线光的状态。在此示出不将照射波长IR1～IR3的红外线光的期间设成摄像部3中的最大曝光时间的整个一帧期间而设成比一帧期间短的期间的情况。
如图29的(b)所示，在分别照射波长IR1～IR3的红外线光的时刻，进行曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B…。
图29的(c)示出通过图29的(b)所示的曝光被拍摄到的图像的帧F。在此，仅示出通过曝光Ex1R、Ex1G、Ex1B被拍摄到的帧F。如三个帧F所示，矩形状的物体OB以速度v从左向右水平方向移动。
如图29的(d)所示，基于曝光Ex1R、Ex1G、Ex1B能够得到帧F1IR1、F1IR2、F1IR3。基于曝光Ex2R、Ex2G、Ex2B能够得到帧F2IR1、F2IR2、F2IR3。基于曝光Ex3R、Ex3G、Ex3B能够得到帧F3IR1、F3IR2、F3IR3。
图29的(b)所示的拍摄信号的帧频率、图29的(d)所示的帧的帧频率是90帧/秒。在曝光Ex1R、Ex1G、Ex1B的整体、在曝光Ex2R、Ex2G、Ex2B的整体、在曝光Ex3R、Ex3G、Ex3B的整体中帧频率是30帧/秒。
如图29的(e)所示，通过将帧F1IR1、F1IR2、F1IR3进行合成来生成帧F1IR，通过将帧F2IR1、F2IR2、F2IR3进行合成来生成帧F2IR。帧FIIR、F2IR具有30帧/秒的帧频率。
在图29中，如(a)、(b)所示，使分别照射波长IR1～IR3的红外线光的期间的中间的时刻与作为最大曝光时间的一帧期间的中间的时刻一致。
在曝光Ex1R中，由于物体OB被照射用于生成R信号的波长IR1的红外线光，因此帧F1IR1的物体OB表现出红色或者相当于红色的颜色。 在曝光Ex1G中，由于物体OB被照射用于生成G信号的波长IR2的红外线光，因此帧F1IR2的物体OB表现出绿色或者相当于绿色的颜色。
在曝光Ex1B中，由于物体OB被照射用于生成B信号的波长IR3的红外线光，因此帧F1IR3的物体OB表现出蓝色或相当于蓝色的颜色。
实际上根据物体OB的素材有时会有不表现出各个颜色的情况。在此，为了便于说明，帧F1IR1的物体OB设为表现出红色、帧F1IR2的物体OB设为表现出绿色，帧F1IR3的物体OB设为表现出蓝色。
将图29的(b)中各个最大曝光时间的中间的时刻的间隔设为时间t0。物体OB在帧F1IR1、F1IR2之间只移动ΔLrg＝v×t0的距离。因此如图29的(f)所示在帧F1IR中产生相当于距離ΔLrg的长度的红色的色偏区域C1。
在帧F1IR中，由于帧F1IR1的红色的物体OB和帧F1IR2的绿色的物体OB重叠，因此在相邻于色偏区域C1产生黄色的色偏区域C2。严格来说有可能不是黄色的色偏，但为了便于说明，假定产生黄色的色偏。
在帧F1IR中，由于帧F1IR1的物体OB、帧F1IR2的物体OB以及帧F1IR3的物体OB全部重叠，因此在相邻于色偏区域C2产生表示出正确的颜色的区域C3。
在帧F1IR中，由于帧F1IR2的绿色的物体OB和帧F1IR3的蓝色的物体OB重叠，因此在相邻于区域C2产生蓝色的色偏区域C4。严格来说有可能不是蓝色的色偏，但是为了便于说明，假定产生蓝色的色偏。
物体OB在帧F1IR2、F1IR3之间只移动ΔLgb＝v×t0的距离。因此在帧F1IR中，在相邻于色偏区域C4产生相当于距離ΔLgb的长度的蓝色的色偏区域C5。
如此，当物体OB为移动体时，在表现出正确的颜色的区域C3的周围产生色偏区域C1、C2、C4、C5，从而降低画质。
因此，当物体OB为移动体时，为了减轻色偏，优选使用如图30的(a)～图32的(g)所示的摄像装置的制御方法。依次说明图30的(a)～图32(g)的制御方法。
如图30的(b)所示，将曝光Ex1R的曝光开始时刻设为ExRs，将曝 光结束时刻设为ExRe，将曝光Ex1G的曝光开始时刻设为ExGs，将曝光结束时刻设为ExGe，将曝光Ex1B的曝光开始时刻设为ExBs，将曝光结束时刻设为ExBe。
在图30所示的第一例中，如图30的(a)所示，将曝光Ex1R的期间内照射波长IR1的红外线光的期间的中间的时刻，偏移到比曝光Ex1R的最大曝光时间的中间的时刻靠后方的曝光结束时刻ExRe侧。
另外，将曝光Ex1B的期间内照射波长IR3的红外线光的期间的中间的时刻，偏移到比曝光Ex1B的最大曝光时间的中间的时刻靠前方的曝光开始时刻ExBs侧。
与图29的(a)同样地，使照射波长IR2的红外线光的期间的中间的时刻与曝光Ex1G的最大曝光时间的中间的时刻一致。
此外，也可以不是一定使照射波长IR2的红外线光的期间的中间的时刻与曝光Ex1G的最大曝光时间的中间的时刻一致。但是，优选的是使照射波长IR2的红外线光的期间的中间的时刻与曝光Ex1G的最大曝光时间的中间的时刻一致。
对曝光Ex2R、Ex2G、Ex2B、Ex3R、Ex3G、Ex3B、…的波长IR1～IR3的红外线光的时刻与曝光Ex1R、Ex1G、Ex1B中的波长IR1～IR3的红外线光的时刻相同。
将照射波长IR2的红外线光的期间的中间的时刻和照射波长IR1的红外线光的期间的中间的时刻的间隔设为时间t1。将照射波长IR2的红外线光的期间的中间的时刻和照射波长IR3的红外线光的期间的中间的时刻的间隔设为时间t1。
时间t1比时间t0短Δt。因此物体OB在帧F1IR1、F1IR2之间移动的距离缩短ΔL＝v×Δt。物体OB在帧F1IR2、F1IR3之间移动的距离也缩短ΔL＝v×Δt。
因此在图30的(f)中，色偏区域C1、C2、C4、C5的长度缩短ΔL。相反，表示出正确的颜色的区域C3的长度变长。因此，减轻色偏。
在第一例中，将照射波长IR1的红外线光的期间的中间的时刻偏移到曝光结束时刻ExRe侧，将照射波长IR3的红外线光的期间的中间的时刻 偏移到曝光开始时刻ExBs侧。
当只将照射波长IR1的红外线光的期间的中间的时刻偏移到曝光结束时刻ExRe侧时，能够缩短色偏区域C1、C2。当只将照射波长IR3的红外线光的期间的中间的时刻偏移到曝光开始时刻ExBs侧时，能够缩短色偏区域C4、C5。
如上所述那样，在第一例中，位于中间的红外线光照射期间的中间的时刻和位于之前或之后的红外线光照射期间的中间的时刻的间隔，比位于中间的红外线光照射期间的中间的时刻和曝光Ex1R、Ex1B的最大曝光时间的中间的时刻的间隔短。因此根据第一例能够减轻色偏。
概括采用第一例的控制方法的摄像装置的构成如下。按照照射红外线光的顺序设为第一红外线光、第二红外线光、第三红外线光。第一红外线光具有与红色、绿色、蓝色中的第一颜色对应的第一波长。第二红外线光具有与红色、绿色、蓝色中的第二颜色对应的第二波长。第三红外线光具有与红色、绿色、蓝色中的第三颜色对应的第三波长。
照射控制部71控制红外线照射器9，以按照第一红外线光、第二红外线光、第三红外线光的顺序选择性地照射红外线光。
摄像部3在一帧期间的至少一部分期间照射第一红外线光的状态下拍摄被拍摄体，生成基于第一拍摄信号的第一帧。一帧期间由摄像部3的最大曝光时间来确定。
摄像部3在一帧期间的至少一部分期间照射第二红外线光的状态下拍摄被拍摄体，生成基于第二拍摄信号的第二帧。摄像部3在一帧期间的至少一部分期间照射第三红外线光的状态下拍摄被拍摄体，生成基于第三拍摄信号的第三帧。
视频处理部5合成第一帧～第三帧来生成视频信号的帧。
将照射第二红外线光的期间的中间的时刻设为第一时刻。将照射第一红外线光或者第三红外线光的期间的中间的时刻设为第二时刻。将第一帧或者第三帧的一帧期间的中间的时刻设为第三时刻。
照射控制部71控制红外线照射器9，以将第一时刻和第二时刻的间隔设定成比第一时刻和第三时刻的间隔短地来照射第一红外线光至第三红外 线光。
将第二帧的一帧期间的中间的时刻设为第四时刻。更优选，照射控制部71控制红外线照射器9，以使第一时刻与第四时刻一致来照射第二红外线光。
也能够通过由计算机执行摄像装置的控制程序(计算机程序)来实现采用以上第一例的控制方法的摄像装置的动作。与上述视频信号处理程序同样地，摄像装置的控制程序可以是被记录在能够由计算机读取的非暂时性记录介质中的计算机程序。
具体而言，摄像装置的控制程序使计算机执行以下步骤：第一步骤，控制红外线照射器9，以照射第一红外线光；以及第二步骤，生成第一帧。摄像装置的控制程序使计算机执行以下步骤：第三步骤，控制红外线照射器9，以照射第二红外线光；以及第四步骤，生成第二帧。
摄像装置的控制程序使计算机执行以下步骤：第五步骤，控制红外线照射器9，以照射第三红外线光；第六步骤，生成第三帧；以及第七步骤，将第一帧～第三帧进行合成来生成视频信号的帧。
摄像装置的控制程序将第一时刻和第二时刻的间隔设定成比第一时刻和第三时刻的间隔短。
接下来，以与图30的第一例的不同点为中心对图31所示的第二例进行说明。图31的(a)、(c)～(g)分别对应于图30的(a)～(f)。
在第二例中，如图31的(a)所示，将照射波长IR1～IR3的红外线光的期间设为曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B、Ex3R、Ex3G、Ex3B…的几乎整个一帧期间。
图31的(b)示出打开由电子快门控制部73控制的摄像部3的电子快门的期间和时刻。在曝光Ex1G的一帧期间中，使电子快门的打开期间St12的中间的时刻与最大曝光时间的中间的时刻一致。
在曝光Ex1R的一帧期间中，将电子快门的打开期间St11的中间的时刻偏移到比曝光Ex1R的最大曝光时间的中间的时刻靠后方的曝光结束时刻ExRe侧。在曝光Ex1B的一帧期间中，将电子快门的打开期间St13的中间的时刻偏移到比曝光Ex1B的最大曝光时间的中间的时刻靠前方的曝 光开始时刻ExBs侧。
对曝光Ex2R、Ex2G、Ex2B、Ex3R、Ex3G、Ex3B、…的电子快门的打开期间St21、St22、St23、St31、St32、St33、…的时刻与曝光Ex1R、Ex1G、Ex1B中的打开期间St11、St12、St13的时刻相同。
即使在曝光的几乎整个一帧期间照射红外线光，也只有在电子快门的打开期间拍摄照射了红外线光的状态的物体OB的拍摄信号被输入到A/D转换器4。
因此，在第二例中，图31的(g)所示的表现出帧F1IR的正确的颜色的区域C3以及色偏区域C1、C2、C4、C5的状态是与图30的(f)所示的帧F1IR同样的。在第二例中也能够减轻色偏。
并且，以与图30的第一例、图31的第二例的不同点为中心对图32所示的第三例进行说明。图32的(a)～(g)分别对应于图31的(a)～(g)。
在第三例中，如图32的(a)、(b)所示，使照射波长IR1～IR3的红外线光的期间和电子快门的打开期间一致。第三例中照射波长IR1～IR3的红外线光的期间和时刻与图30的第一例的期间和时刻是相同的。
相对于第一例，第三例是以与红外线光照射期限相同的时刻设定将电子快门的打开期间。在第三例中也能够减轻色偏。
以与采用第一例的控制方法的摄像装置的结构的不同点为中心将采用第二例或第三例的控制方法的摄像装置的结构总结如下。
电子快门控制部73控制摄像部3中的电子快门的功能。将照射第二红外线光的状态下使摄像部3曝光的期间的中间的时刻设为第一时刻。将照射第一红外线光或者第三红外线光的状态下使摄像部3曝光的期间的中间的时刻设为第二时刻。将第一帧或者第三帧的一帧期间的中间的时刻设为第三时刻。
电子快门控制部73控制使摄像部3曝光的期间和时刻，以将第一时刻和第二时刻的间隔设定为比第一时刻和第三时刻的间隔短。
也可以通过由计算机执行摄像装置的控制程序(计算机程序)来实现采用以上第二例或者第三例的控制方法的摄像装置的动作。
摄像装置的控制程序使计算机执行以下处理即可，即，根据摄像部3中的电子快门的功能，控制使摄像部3曝光的期间和时刻，以将第一时刻和第二时刻的间隔设定成比第一时刻和第三时刻的间隔短。
本发明并不限定于以上说明的本实施方式，在不脱离本发明的要旨的范围内可以进行各种变更。控制部7和视频处理部5能够使用一个或者多个硬件(电路和处理器)来实现。硬件和软件的灵活使用是任意的。也可以仅由硬件来构成摄像装置，也可以由软件来实现一部分构成。
产业上的可利用性
本发明的摄像装置、摄像装置的控制方法以及控制程序能够利用于在可见光少的环境下监视被拍摄体的监视相机。

Claims (3)

1.一种摄像装置，其特征在于，具备：
照射控制部，所述照射控制部控制红外线照射器，使得所述红外线照射器按照第一红外线光、第二红外线光、第三红外线光的顺序选择性地进行照射，所述第一红外线光具有与红色、绿色、蓝色中的第一颜色对应的第一波长，所述第二红外线光具有与红色、绿色、蓝色中的第二颜色对应的第二波长，所述第三红外线光具有与红色、绿色、蓝色中的第三颜色对应的第三波长；
摄像部，所述摄像部在一帧期间的至少一部分期间照射所述第一红外线光的状态下拍摄被拍摄体，并生成基于第一拍摄信号的第一帧，在一帧期间的至少一部分期间照射所述第二红外线光的状态下拍摄所述被拍摄体，并生成基于第二拍摄信号的第二帧，在一帧期间的至少一部分期间照射所述第三红外线光的状态下拍摄所述被拍摄体，并生成基于第三拍摄信号的第三帧；以及
视频处理部，所述视频处理部合成所述第一帧～第三帧来生成视频信号的帧，
所述照射控制部将第一时刻与第二时刻的间隔设定得比所述第一时刻与第三时刻的间隔短，并控制所述红外线照射器以照射所述第一红外线光～第三红外线光，
其中，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第一红外线光的期间的中间，所述第三时刻是所述第一帧的一帧期间的中间，
或者，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第三红外线光的期间的中间，所述第三时刻是所述第三帧的一帧期间的中间。
2.根据权利要求1所述的摄像装置，其特征在于，
所述照射控制部使所述第一时刻与第四时刻一致，并控制所述红外线照射器以照射所述第二红外线光，其中所述第四时刻是所述第二帧的一帧期间的中间。
3.一种摄像装置的控制方法，其特征在于，包括：
第一步骤，在一帧期间的至少一部分期间照射第一红外线光的状态下拍摄被拍摄体，并生成基于第一拍摄信号的第一帧，所述第一红外线光具有与红色、绿色、蓝色中的第一颜色对应的第一波长；
第二步骤，接着所述第一步骤，在一帧期间的至少一部分期间照射第二红外线光的状态下拍摄所述被拍摄体，并生成基于第二拍摄信号的第二帧，所述第二红外线光具有与红色、绿色、蓝色中的第二颜色对应的第二波长；
第三步骤，接着所述第二步骤，在一帧期间的至少一部分期间照射第三红外线光的状态下拍摄所述被拍摄体，并生成基于第三拍摄信号的第三帧，所述第三红外线光具有与红色、绿色、蓝色中的第三颜色对应的第三波长；以及
第四步骤，合成所述第一帧～第三帧来生成视频信号的帧，
将第一时刻与第二时刻的间隔设定得比所述第一时刻与第三时刻的间隔短，
其中，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第一红外线光的期间的中间，所述第三时刻是所述第一帧的一帧期间的中间，
或者，所述第一时刻是照射所述第二红外线光的期间的中间，所述第二时刻是照射所述第三红外线光的期间的中间，所述第三时刻是所述第三帧的一帧期间的中间。
CN201580017281.4A 2014-09-02 2015-08-13 摄像装置、摄像装置的控制方法以及控制程序 Active CN106165410B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-178000 2014-09-02
JP2014178000A JP6264233B2 (ja) 2014-09-02 2014-09-02 撮像装置、撮像装置の制御方法及び制御プログラム
PCT/JP2015/072892 WO2016035529A1 (ja) 2014-09-02 2015-08-13 撮像装置、撮像装置の制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
CN106165410A CN106165410A (zh) 2016-11-23
CN106165410B true CN106165410B (zh) 2018-01-02

Family

ID=55439595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017281.4A Active CN106165410B (zh) 2014-09-02 2015-08-13 摄像装置、摄像装置的控制方法以及控制程序

Country Status (4)

Country Link
US (1) US10313608B2 (zh)
JP (1) JP6264233B2 (zh)
CN (1) CN106165410B (zh)
WO (1) WO2016035529A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3064779A1 (en) * 2017-09-15 2019-03-21 Kent Imaging Hybrid visible and near infrared imaging with an rgb color filter array sensor
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
KR20200090347A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
CN113940052B (zh) * 2020-04-29 2023-01-20 华为技术有限公司 摄像机及获取图像的方法
US11601628B2 (en) * 2020-05-28 2023-03-07 Seiko Epson Corporation Control method of spectroscopic imaging device, spectroscopic imaging device, computer program, control method of display system, control method of projector, display system, and projector
GB2616061A (en) * 2022-02-28 2023-08-30 Uab Yukon Advanced Optics Worldwide Observation device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272458A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像捕获装置、测光方法、亮度计算方法和程序
JP2011050049A (ja) * 2009-07-30 2011-03-10 National Institute Of Advanced Industrial Science & Technology 画像撮影装置および画像撮影方法
CN103428505A (zh) * 2012-05-22 2013-12-04 富士通将军股份有限公司 夜视摄像装置和红外线辐射装置以及夜视摄像***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3740318A1 (de) * 1986-11-29 1988-07-28 Olympus Optical Co Abbildungseinrichtung und ein diese einrichtung verwendendes endoskop
US4959710A (en) * 1988-03-01 1990-09-25 Olympus Optical Co., Ltd. Electronic endoscope whereby the position of the insertable part can be known by a transmitted light outside a body
JP2006109120A (ja) * 2004-10-06 2006-04-20 Funai Electric Co Ltd 赤外線撮像装置
US20060082995A1 (en) * 2004-10-14 2006-04-20 Chua Janet B Y Device and method for producing output light having a wavelength spectrum in the infrared wavelength range and the visble wavelength range
US7878652B2 (en) * 2006-01-24 2011-02-01 University Of Tennessee Research Foundation Adaptive photoscreening system
US9077915B2 (en) * 2010-04-07 2015-07-07 Projectiondesign As Interweaving of IR and visible images
US8996086B2 (en) * 2010-09-17 2015-03-31 OptimumTechnologies, Inc. Digital mapping system and method
DE102010050634A1 (de) * 2010-11-05 2012-05-10 Wabco Gmbh Steuereinrichtung für ein Fahrzeug-Regelsystem und Verfahren zur Ermittlung von Reifenzuständen von Fahrzeugreifen
WO2014178129A1 (ja) * 2013-04-30 2014-11-06 グローリー株式会社 画像取得装置及び画像取得方法
JP6446357B2 (ja) * 2013-05-30 2018-12-26 株式会社ニコン 撮像システム
WO2015191734A1 (en) * 2014-06-10 2015-12-17 Edward Hartley Sargent Multi-terminal optoelectronic devices for light detection
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
JP6264234B2 (ja) * 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272458A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像捕获装置、测光方法、亮度计算方法和程序
JP2011050049A (ja) * 2009-07-30 2011-03-10 National Institute Of Advanced Industrial Science & Technology 画像撮影装置および画像撮影方法
CN103428505A (zh) * 2012-05-22 2013-12-04 富士通将军股份有限公司 夜视摄像装置和红外线辐射装置以及夜视摄像***

Also Published As

Publication number Publication date
CN106165410A (zh) 2016-11-23
JP6264233B2 (ja) 2018-01-24
WO2016035529A1 (ja) 2016-03-10
US10313608B2 (en) 2019-06-04
JP2016052094A (ja) 2016-04-11
US20170064222A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
CN106165410B (zh) 摄像装置、摄像装置的控制方法以及控制程序
CN105917638B (zh) 摄像装置和摄像装置的控制方法、以及摄像***和摄像***的控制方法
CN106605406B (zh) 拍摄装置、拍摄装置的控制方法以及记录介质
US8358365B2 (en) Photo detecting device and image pickup device and method thereon
CN105323474B (zh) 摄像设备及其控制方法
CN104937924B (zh) 电子设备及控制方法
CN106257912B (zh) 摄像装置、摄像方法
CN104038702B (zh) 摄像设备及其控制方法
CN110365899A (zh) 电子设备
CN102377943B (zh) 摄像装置以及摄像方法
US7609291B2 (en) Device and method for producing an enhanced color image using a flash of infrared light
CN103988489B (zh) 成像设备和成像方法
CN104221362B (zh) 摄像装置以及摄影辅助方法
US20180302552A1 (en) Image capturing device and image processing device
KR101817655B1 (ko) 삼차원 영상 촬영 장치 및 방법
CN105850119B (zh) 拍摄装置、拍摄装置的控制方法
JP5620196B2 (ja) 撮像装置
CN105934941B (zh) 摄像装置、视频信号处理方法以及存储介质
CN107306326A (zh) 摄像装置和摄像方法
CN106101521B (zh) 摄像装置以及摄像装置的控制方法
JP5663573B2 (ja) 撮像装置及び撮像方法
JP5692446B1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
JP6344279B2 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
JP6260512B2 (ja) 撮像装置、撮像方法、撮像プログラム
JP5655969B1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant