CN114208154A - 成像装置 - Google Patents

成像装置 Download PDF

Info

Publication number
CN114208154A
CN114208154A CN202080056525.0A CN202080056525A CN114208154A CN 114208154 A CN114208154 A CN 114208154A CN 202080056525 A CN202080056525 A CN 202080056525A CN 114208154 A CN114208154 A CN 114208154A
Authority
CN
China
Prior art keywords
pixel
unit
imaging
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080056525.0A
Other languages
English (en)
Inventor
佐藤泰史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114208154A publication Critical patent/CN114208154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供了一种能够根据成像条件自适应地获取拍摄的图像的成像装置。一种成像装置(1)包括：成像单元(10)，其包括像素阵列(110)，所述像素阵列(110)具有多个像素组，每一个像素组都包含N×N个像素(100)(N为2以上的整数)，并且成像单元(10)输出从每一个像素读出的像素信号；和切换单元(14)，其切换用于从所述成像单元的每一个所述像素读出所述像素信号的读出模式。所述切换单元在加法模式和个体模式之间切换所述读出模式，在加法模式中将从所述像素组中包含的所述N×N个像素中的每一个读出的所述像素信号中的每一个相加以生成一个像素信号，在个体模式中分别输出从所述像素组中包含的所述N×N个像素中的每一个读出的所述像素信号中的每一个。

Description

成像装置
技术领域
本公开涉及一种成像装置。
背景技术
常规地，已知一种技术，其中成像装置基于由成像元件检测到的被摄体、成像环境的亮度等，通过控制曝光时间、像素信号的增益等来执行成像。
引用列表
专利文献
专利文献1：JP 2013-066146 A
发明内容
技术问题
然而，常规地，例如，即使对于不需要高分辨率的成像目标，也以与正常情况下的分辨率类似的分辨率进行成像，并且很难优化功耗和图像处理资源。
本公开的目的是提供一种能够根据成像条件自适应地获取拍摄的图像的成像装置。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的成像装置具有成像单元和切换单元。成像单元包括像素阵列，像素阵列包括多个像素组，每一个像素组都包括N×N个像素(N为2以上的整数)，并且成像单元输出从每一个像素读出的像素信号；切换单元切换通过成像单元从每一个像素读出像素信号的读出模式，其中切换单元在加法模式和个体模式之间切换所述读出模式，在加法模式中将从所述像素组中包括的所述N×N个像素读出的所述像素信号相加以形成一个像素信号，在所述个体模式中分别输出从所述像素组中包括的所述N×N个像素读出的所述像素信号中的每一个。
附图说明
图1是用于描述适用于每一个实施方案的成像装置的功能的示例的功能框图。
图2是示出了拜耳阵列的示例的图。
图3是示出了适用于每一个实施方案的滤色器阵列的示例的图。
图4是示出了适用于每一个实施方案的成像单元的示例的配置的框图。
图5是示出了适用于每一个实施方案的成像装置的硬件配置的示例的框图。
图6是用于描述适用于实施方案的相同颜色之间梯度的检测的示意图。
图7是用于描述适用于实施方案的不同颜色之间梯度的检测的示意图。
图8是示出了适用于实施方案的梯度计算方向的示例的图。
图9是示出了适用于实施方案的梯度计算方向的示例的图。
图10是用于描述分割拜耳型RGB阵列中的像素信号的读出方法的示例的示意图。
图11是用于描述HDR成像的第一示例的示意图。
图12是用于描述HDR成像的第二示例的示意图。
图13是用于描述将加法模式应用到HDR成像的第二示例的情况的示例的示意图。
图14是用于描述通过将个体模式应用到HDR成像的第二示例进行再马赛克处理的情况的示例的示意图。
图15是用于描述根据第一实施方案的成像装置的功能的示例的功能框图。
图16是用于描述根据第一实施方案的像素处理单元的功能的示例的功能框图。
图17是用于描述根据第一实施方案的根据两个成像条件生成切换控制信号CNG的示例的示意图。
图18A是用于描述根据第一实施方案的第一变形例的处理区域的示意图。
图18B是用于描述根据第一实施方案的第一变形例的处理区域的示意图。
图19是用于描述适用于第一实施方案的第一变形例的图象处理单元的功能的示例的功能框图。
图20是用于描述根据第一实施方案的第二变形例的处理区域的示意图。
图21是用于描述适用于第一实施方案的第二变形例的图象处理单元的功能的示例的功能框图。
图22A是示出了适用于本公开的像素阵列的示例的示意图。
图22B是示出了适用于本公开的像素阵列的示例的示意图。
图22C是示出了适用于本公开的像素阵列的示例的示意图。
图22D是示出了适用于本公开的像素阵列的示例的示意图。
图22E是示出了适用于本公开的像素阵列的示例的示意图。
图23A是用于描述根据第二实施方案的像素组中个体模式和加法模式之间的切换方法的示例的示意图。
图23B是用于描述根据第二实施方案的像素组中个体模式和加法模式之间的切换方法的示例的示意图。
图23C是用于描述根据第二实施方案的像素组中个体模式和加法模式之间的切换方法的示例的示意图。
图24是用于描述适用于第二实施方案的图象处理单元的功能的示例的功能框图。
图25是示出了根据第二实施方案的变形例的成像单元的示例的配置的框图。
图26是示出了根据本公开的成像装置的使用例的图。
图27是示出了其上可以安装根据本公开的成像装置的车辆的***配置示例的框图。
图28是示出了车辆***的前置感测相机的示例的配置的框图。
图29是示出了作为可以应用根据本公开的技术的移动体控制***的示例的车辆控制***的示意性配置的示例的框图。
图30是示出了成像单元的安装位置的示例的图。
图31是示出了内窥镜手术***的示意性配置的示例的图。
图32是示出了摄像机头和相机控制单元(CCU)的功能构成的示例的框图。
具体实施方案
以下，将参照附图对本公开的实施方案进行详细地描述。需要注意的是，在下面的实施方案中，相同的附图标记表示相同的部分，并且将省略重复描述。
以下，将按下面顺序对本公开的实施方案进行描述。
1.适用于本公开的每一个实施方案的技术
1-1.适用于每一个实施方案的配置
1-2.再马赛克处理的概略描述
1-3.像素读出方法的示例
2.第一实施方案
2-1.第一实施方案的第一变形例
2-2.第一实施方案的第二变形例
2-3.第一实施方案的第三变形例
3.第二实施方案
3-1.第二实施方案的变形例
4.第三实施方案
4-0.移动体的应用示例
4-1.内窥镜手术***的应用示例
(1.适用于本公开的每一个实施方案的技术)
(1-1.适用于每一个实施方案的配置)
首先，将对适用于本公开的每一个实施方案的技术进行描述。图1是用于描述适用于每一个实施方案的成像装置的功能的示例的功能框图。
在图1中，成像装置1包括成像单元10、光学单元11、图象处理单元12、输出处理单元13以及控制单元14。此外，在成像装置1用于车辆中的情况下，成像装置1进一步地包括车辆信息获取单元15。
成像单元10包括像素阵列，其中每一个都包括一个或多个光接收元件的多个像素阵列成矩阵。此外，光学单元11包括透镜、光圈机构、聚焦机构等，并且将来自被摄体的光引导至像素阵列的光接收表面。
成像单元10从以指定的曝光时间的曝光的每一个像素读出像素信号，对读出的像素信号执行诸如噪声消除或者增益调整等的信号处理，并且将像素信号转换成数字像素数据。成像单元10基于像素信号输出像素数据。由成像单元10执行的曝光、从曝光的像素读出像素信号以及将像素信号作为像素数据输出的一系列操作被称为成像。
图象处理单元12对从成像单元10输出的像素数据执行预定图像处理，并且例如以帧为单位将像素数据作为图像数据输出。例如，由图象处理单元12对像素数据执行的图像处理包括像素数据的合成和转换处理以及诸如白平衡处理等的色彩调整处理。
输出处理单元13将从图象处理单元12输出的图像数据转换成适于从成像装置1输出的格式。例如，将从输出处理单元13输出的输出图像数据提供给显示器(未示出)并且显示为图像。可选择地，可以将输出图像数据提供给另一装置，如对输出图像数据执行识别处理的装置或者基于输出图像数据执行控制的控制装置等。
控制单元14控制成像装置1的整体操作。例如，控制单元14包括中央处理器(CPU)和用于与成像装置1的每一个单元执行通信的接口电路，通过根据预定程序操作的CPU生成各种控制信号，并且根据所生成的控制信号控制成像装置1的每一个单元。
需要注意的是，例如，上述的图象处理单元12和输出处理单元13可以包括根据预定程序操作的数字信号处理器(DSP)或者图像信号处理器(ISP)。可选择地，图象处理单元12和输出处理单元13中的一个或者两个可以通过与控制单元14一起在CPU上操作的程序实现。这些程序可以预先存储在成像装置1中包括的非易失性存储器中，或者可以从外部提供给成像装置1并且写入该存储器中。
在成像装置1安装在车辆上并且使用的情况下，车辆信息获取单元15从车辆获取车辆信息。车辆信息获取单元15获取车辆的速度、车辆前方的亮度等作为车辆信息。将由车辆信息获取单元15获取的车辆信息传输到控制单元14。控制单元14可以指示成像单元10或者图象处理单元12根据所传输的车辆信息执行处理。
成像单元10中包括的像素阵列中包括的每一个像素设置有透射预定波长区域中的光的滤光器。除非另有说明，否则透射预定波长区域中的光的滤光器将被描述为滤色器。在获得全色图像数据的情况下，一般地，使用包括透射红(R)色的波长带的光的滤色器(以下称为R滤色器)、透射绿(G)色的波长带的光的滤色器(以下称为G滤色器)以及透射蓝(B)色的波长带的光的滤色器(以下为B滤色器)的三种类型的滤色器。R色、G色和B色的滤色器的阵列可以具有多样性，但是通常，使用称为拜耳阵列的阵列。
图2是示出了拜耳阵列的示例的图。在图2中，拜耳阵列120包括其上设置有G滤色器的两个像素100G、其上设置有R滤色器的一个像素100R以及其上设置有B滤色器的一个像素100B。在拜耳阵列中，这四个像素设置成2×2像素的网格图案，使得两个像素100G彼此不相邻。换句话说，拜耳阵列是其中其上设置有透射相同的波长带的光的滤色器的像素100彼此不相邻的阵列。
以下，除非另有说明，“其上设置有R滤色器的像素100R”被称为“R色像素100R”或者被简称为“像素100R”。这同样适用于其上设置有G滤色器的像素100G和其上设置有B滤色器的像素100B。此外，当没有必要特别区分滤色器时，像素100R、100G和100B中的每一个将被统称为像素100。
图3是示出了适用于每一个实施方案的滤色器阵列的示例的图。在图3的阵列中，以其中相同颜色的2×2个像素设置成网格图案的像素块作为单位，将包括四个R色像素100R、四个G色像素100G以及四个B色像素100B的每一个像素块设置成按照拜耳阵列的像素阵列。以下，除非另有说明，否则这样的像素阵列被称为4分割拜耳型(Quad Bayer)RGB阵列。
更具体地说，在4分割拜耳型RGB阵列中，R色像素100R、G色像素100G和B色像素100B的各个像素块设置成2×2网格图案，使得像素100R的数量、像素100G的数量和像素100B的数量之间的比率为1:2:1，并且相同颜色的像素的像素块彼此不相邻。在图3的示例中，G色像素100G的像素块设置在R色像素100R的像素块的的左下方，并且B色像素100B的像素块与R色像素100R的像素块呈对角线设置。
图4是示出了适用于每一个实施方案的成像单元10的示例的配置的框图。在图4中，成像单元10包括像素阵列单元110、垂直扫描单元20、水平扫描单元21以及控制单元22。
像素阵列单元110包括多个像素100，每一个像素100都包括生成与接收到的光相对应的电压的光接收元件。光电二极管可以用作光接收元件。在像素阵列单元110中，多个像素100在水平方向(行方向)和垂直方向(列方向)上排列成矩阵。在像素阵列单元110中，像素100在行方向上的排列称为行。基于从像素阵列单元110中预定数量的行读出的像素信号形成一帧的图像(图像数据)。例如，在以3000像素×2000行形成一帧的图像的情况下，像素阵列单元110包括至少2000行，每一行包括至少3000个像素100。
此外，在像素阵列单元110中，像素信号线HCTL连接到像素100的每一行，并且垂直信号线VSL连接到像素100的每一列。
像素信号线HCTL的未连接到像素阵列单元110的端部连接到垂直扫描单元20。例如，垂直扫描单元20根据由控制单元14提供的控制信号，经由像素信号线HCTL，向像素阵列单元110传输多个控制信号，如从像素100读出像素信号时的驱动脉冲等。垂直信号线VSL的未连接到像素阵列单元110的端部连接到水平扫描单元21。
水平扫描单元21包括模拟数字(AD)转换单元、输出单元以及信号处理单元。将从像素100读出的像素信号经由垂直信号线VSL传输给水平扫描单元21的AD转换单元。
将对从像素100读出像素信号的控制进行概略描述。通过将通过曝光累积在光接收元件中的电荷传输到浮动扩散(FD)层来从像素100读出像素信号，并且将传输到浮动扩散层的电荷转换成电压。将通过转换浮动扩散层中的电荷获得的电压经由放大器输出到垂直信号线VSL。
更具体地说，在像素100中，在曝光期间，光接收元件和浮动扩散层彼此断开连接(打开)，并且将通过光电转换生成的与入射光相对应的电荷累积在光接收元件中。在完成曝光之后，根据经由像素信号线HCTL提供的选择信号，浮动扩散层与垂直信号线VSL连接。进一步地，根据经由像素信号线HCTL提供的复位脉冲，浮动扩散层短时间内连接到电源电压VDD或者黑电平电压的供应线，并且复位浮动扩散层。将浮动扩散层的复位电平电压(称为电压P)输出到垂直信号线VSL。此后，光接收元件和浮动扩散层通过经由像素信号线HCTL提供的传输脉冲彼此连接(闭合)，并且将累积在光接收元件中的电荷传输到浮动扩散层。将与浮动扩散层的电荷量相对应的电压(称为电压Q)输出到垂直信号线VSL。
在水平扫描单元21中，AD转换单元包括为每一条垂直信号线VSL设置的AD转换器，并且通过AD转换器对经由垂直信号线VSL从像素100提供的像素信号进行AD转换处理，并且生成用于执行噪声降低的相关双采样(CDS)处理的两个数字值(分别与电压P和电压Q相对应的值)。
通过信号处理单元对由AD转换器生成的这两个数字值进行CDS处理，并且生成与数字信号相对应的像素信号(像素数据)。将所生成的像素数据从成像单元10输出。
在控制单元22的控制下，水平扫描单元21执行选择性扫描以按预定顺序选择用于各条垂直信号线VSL的AD转换器，从而将由AD转换器暂时保持的各个数字值依次输出到信号处理单元。水平扫描单元21通过包括例如移位寄存器、地址解码器等的配置实现该操作。
控制单元22执行垂直扫描单元20、水平扫描单元21等的驱动控制。控制单元22生成用作用于垂直扫描单元20和水平扫描单元21的操作的基准的各种驱动信号。控制单元22基于从外部(例如，控制单元14)提供的垂直同步信号或者外部触发信号以及水平同步信号生成由垂直扫描单元20经由像素信号线HCTL提供给每一个像素100的控制信号。控制单元22将所生成的控制信号提供给垂直扫描单元20。
基于从控制单元22提供的控制信号，垂直扫描单元20通过像素阵列单元110的所选择的像素行的像素信号线HCTL将包括驱动脉冲的各种信号逐行提供给每一个像素100，并且使得每一个像素100向垂直信号线VSL输出像素信号。垂直扫描单元20通过使用例如移位寄存器、地址解码器等实现。
如上述配置的成像单元10是列AD***互补金属氧化物半导体(CMOS)图像传感器，其中为每一列设置AD转换器。
图5是示出了适用于每一个实施方案的成像装置1的硬件配置的示例的框图。在图5中，成像装置1包括CPU 2000、只读存贮器(ROM)2001、随机存取存储器(RAM)2002、成像单元2003、存储器2004、数据接口(I/F)2005、操作单元2006以及显示控制单元2007，它们中的每一个都通过总线2020连接。此外，成像装置1包括图象处理单元2010和输出I/F 2012，它们中的每一个都通过总线2020连接。
CPU 2000根据预先存储在ROM 2001中的程序通过使用RAM 2002作为工作存储器控制成像装置1的整体操作。
成像单元2003与图1中的成像单元10相对应，执行成像，并且输出像素数据。将从成像单元2003输出的像素数据提供给图象处理单元2010。图象处理单元2010通过使用帧存储器2011对从成像单元10提供的像素数据执行预定图像处理以生成以帧为单位的图像数据。
输出I/F 2012是用于将由图象处理单元2010生成的图像数据输出到外面的接口。输出I/F 2012可以将从图象处理单元2010提供的图像数据转换成预定格式的图像数据并且输出图像数据。
例如，存储器2004是闪速存储器，并且可以存储和累积从图象处理单元2010输出的图像数据。存储器2004也可以存储用于操作CPU 2000的程序。此外，存储器2004不限于内置于成像装置1中的配置，并且可以从成像装置1拆卸。
数据I/F 2005是用于成像装置1的接口以便向外部设备传输数据和从外部设备接收数据。例如，作为数据I/F 2005，可以应用通用串行总线(USB)。此外，作为数据I/F 2005，可以应用执行诸如蓝牙(注册商标)等短距离无线通信的接口。
操作单元2006接收相对于成像装置1的用户操作。操作单元2006包括作为接收用户输入的输入设备的诸如拨号盘或者按钮等可操作的元件。操作单元2006可以包括输出与接触位置相对应的信号的触摸面板作为输入设备。
显示控制单元2007基于通过CPU 2000传输的显示控制信号生成可通过显示器2008显示的显示信号。显示器2008使用，例如，液晶显示器(LCD)作为显示装置，并且根据由显示控制单元2007生成的显示信号显示屏幕。需要注意的是，根据成像装置1的用途，可以省略显示控制单元2007和显示器2008。
(1-2.再马赛克处理(Remosaic Processing)的概略描述)
这里，将对上述的再马赛克处理进行概略描述。4分割拜耳型RGB阵列中的每一个像素的像素信号的处理模式包括其中像素组中包括的四个像素的像素信号相加并且作为一个像素信号进行处理的模式(称为加法模式)和其中对四个像素的像素信号中的每一个进行处理的模式(称为个体模式)。其中，在个体模式中，例如，4分割拜耳型RGB阵列的每一个像素的像素值可以通过再马赛克处理转换成拜耳阵列中的每一个像素的像素值。
图象处理单元12检测每一个方向上的目标像素的位置处的像素值的梯度，并且确定其中所检测到的梯度最小的方向。图象处理单元12基于所检测到的方向上的像素的像素值，预测与目标像素的位置相对应的拜耳阵列上的像素的像素值，并且用所预测的像素值替换目标像素的像素值。因此，将4分割拜耳型RGB阵列中的每一个像素的像素值转换成拜耳阵列中每一个像素的像素值。
更具体地说，图象处理单元12检测如图6中示出的相同颜色的像素之间的梯度(相同颜色之间的梯度)和如图7中示出的不同颜色的像素之间的梯度(不同颜色之间的梯度)。
需要注意的是，在图6和图7以及下面类似的附图中，每个方格表示像素，并且每个方格中的字符(R、G或者B)表示与像素相对应的滤色器的颜色(R色、G色或者B色)。这里，将其上分别设置了R色、G色和B色滤色器的像素分别称为像素R、像素G和像素B。此外，网格的左上角的方格为原点，该图的水平方向为x方向，垂直方向为y方向，并且坐标(x，y)以像素为单位表示。例如，在图6中，原点处的像素是坐标为(0，0)的像素R，并且被描述为像素(0，0)。
在图6的示例中，对于像素G，检测x方向上的包括像素G(0，2)和G(1，2)、像素G(4，2)和G(5，2)、像素G(0，3)和G(1，3)以及像素G(4，3)和G(5，3)的每一组相同颜色的梯度。此外，对于像素B，检测包括像素B(2，2)和B(3，2)以及像素B(2，3)和B(3，3)的每一组相同颜色的梯度。
另一方面，在图7的示例中，检测x方向上的包括像素G(1，2)和像素B(2，2)、像素G(1，3)和像素B(2，3)、像素B(3，2)和像素G(4，2)以及像素B(3，3)和像素G(4，3)的每一组不同颜色的梯度。
这里，相同颜色之间的梯度的检测是具有相同的灵敏度的像素的梯度计算。另一方面，不同颜色之间的梯度的检测是具有不同的灵敏度的像素的梯度计算，并且对依赖于像素的每一种颜色的灵敏度差的梯度进行计算。因此，图象处理单元12通过将输入图像信号中包括的像素R和像素B中的每一个的像素值乘以预定系数来检测梯度。
将对由适用于每一个实施方案的图象处理单元12执行的方向确定处理进行更详细地描述。图象处理单元12执行多个方向上的局部区域的梯度计算。图8和图9是示出了适用于实施方案的梯度计算方向的示例的图。在图8和图9以及下面类似的附图中，局部区域的大小为6×6个像素。
如图8中示出的，图象处理单元12执行水平方向(H)、垂直方向(V)、右上45°方向(A)以及右下45°方向(D)这四个方向上的梯度计算。进一步地，如图9中示出的，图象处理单元12执行右上22.5°方向(A2)、右上67.5°方向(A3)、右下22.5°方向(D2)以及右下67.5°方向(D3)这四个方向上的梯度计算。即，在该实施方案中，图象处理单元12执行角度彼此相差22.5°的八个方向上的梯度计算。
与图2示出的拜耳阵列相比，在参照图3描述的4分割拜耳型RGB阵列中，相同颜色分量的采样间隔更大，因此，在1/2奈奎斯特频率(Nyquist frequency)下发生折回。通过执行如图8和图9中示出的八个方向中的每一个方向上的梯度计算，可以高精度地检测这样的频率重复模式。
图象处理单元12基于梯度确定结果预测与拜耳阵列中目标像素的位置相对应的像素的像素值，并且用所预测的像素值替换目标像素的像素值。
(1-3.像素读出方法的示例)
接着，将对读出4分割拜耳型RGB阵列中的像素信号的示例进行描述。图10是用于描述分割拜耳型RGB阵列中的像素信号的读出方法的示例的示意图。在图10中，阵列121表示根据4分割拜耳型RGB阵列的像素阵列。阵列130表示通过相对于阵列121以上述的个体模式执行读出并且执行再马赛克处理以便将每一个像素的像素值转换成拜耳阵列中的像素值而获得的像素数据阵列的示例。
阵列131表示通过相对于阵列121以上述的加法模式执行读出而获得的阵列的示例。如上所述，在加法模式中，像素组中包括的四个像素被集体视为一个像素。在图10的示例中，如阵列131中示出的，通过像素值的相加将4分割拜耳型RGB阵列(阵列121)中的像素R的像素组中包括的四个像素R视为一个像素R(+)。类似地，通过像素值的相加将阵列121中的像素G的像素组中包括的四个像素G视为一个像素G(+)，并且通过像素值的相加将像素B的像素组中包括的四个像素B视为一个像素B(+)。
阵列132表示通过使阵列121中的像素组中包括的四个像素中至少一个像素的曝光时间与像素组中包括的其他像素的曝光时间不同而获得的阵列的示例。在图10的示例中，像素组中包括的四个像素中的一个像素的曝光时间为第一曝光时间，两个像素的曝光时间为比第一曝光时间长的第二曝光时间，并且剩余的一个像素的曝光时间为比第二曝光时间长的第三曝光时间。以下，将第一曝光时间的读出称为短累积，将第二曝光时间的读出称为中累积，并且将第三曝光时间的读出称为长累积。
在图10中，例如，在像素R的像素组中，左上方的像素是长累积像素R(L)，右上方的像素和左下方的像素是中累积像素R(M)，右下方的像素是短累积像素R(S)。类似地，在像素G的像素组中，左上方的像素是长累积像素G(L)，右上方的像素和左下方的像素是中累积像素G(M)，右下方的像素是短累积像素G(S)。进一步地，在像素B的像素组中，左上方的像素是长累积像素B(L)，右上方的像素和左下方的像素是中累积像素B(M)，右下方的像素是短累积像素B(S)。
在阵列132中，将由短累积、中累积和长累积读出的像素数据(图像数据)合成以生成一条图像数据。通过合成基于以不同曝光时间曝光的像素数据的图像数据可以生成较高动态范围的图像数据。将以这种方式生成的高动态范围的图像称为高动态范围(HDR)图像。此外，将这种成像方法称为HDR成像。
在图10的示例中，如阵列131HDR中示出的，例如，在像素R的像素组中，通过HDR成像将像素R(L)、两个像素R(M)和像素R(S)合成，并且生成具有与像素组相对应的大小的像素R(HDR)。类似地，在像素G和像素B的像素组中的每一个中，生成分别具有与像素组相对应的大小的像素G(HDR)和像素B(HDR)。
图11是用于描述HDR成像的第一示例的示意图。在稍后要描述的图11和图12中，时间向右增加。此外，在垂直方向示出了行，帧的上端处的行为行Ln#1，并且从行Ln#1向帧的下端侧依次进行读出(卷帘式快门法)。
在HDR成像的第一示例中，长累积曝光、中累积曝光和短累积曝光并列执行，并且从长累积的像素读出、从中累积的像素读出以及从短累积的像素读出同时执行。
例如，在行Ln#1中，在一帧时间中的时间t0处开始长累积曝光，并且在从时间t0起经过预定时间的时间t1处开始中累积曝光。进一步地，在从时间t1起经过预定时间的时间t2处开始短累积曝光。在从时间t2起经过预定时间时的时间t3处，长累积曝光、中累积曝光和短累积曝光中的每一个终止，并且执行从长累积、中累积和短累积中的每一个的像素的读出。
图12是用于描述HDR成像的第二示例的示意图。在HDR成像的第二示例中，依次执行长累积曝光、中累积曝光和短累积曝光，并且在每次曝光时执行从像素的读出。
例如，在行Ln#1中，在一帧时间中的时间t0处开始长累积曝光，在从时间t0起经过预定时间的时间t1处终止长累积曝光，并且执行从长累积像素的读出。接着，在时间t1处开始中累积曝光，在从时间t1起经过预定时间的时间t2处终止中累积曝光，并且执行从中累积像素的读出。进一步地，在时间t2处开始短累积曝光，在从时间t2起经过预定时间的时间t3处终止短累积曝光，并且执行从短累积像素的读出。即，在HDR成像的第二示例中，在每行中，在一帧内执行三次曝光。即，在一帧时间内执行长累积曝光、中累积曝光和短累积曝光。
在HDR成像的第二示例中，上述的加法模式和个体模式两者都可应用。图13是用于描述加法模式应用于HDR成像的第二示例的情况的示例的示意图。
在图13的上部中，阵列131L表示通过对阵列121执行长累积曝光并且以加法模式执行读出而获得的阵列的示例，阵列131M表示通过对阵列121执行中累积曝光并且以加法模式执行读出而获得的阵列的示例，以及阵列131S表示通过对阵列121执行短累积曝光并且以加法模式执行读出而获得的阵列的示例。阵列131L表示通过执行长累积曝光并且以加法模式执行读出而获得的阵列的示例，阵列131M表示通过执行中累积曝光并且以加法模式执行读出而获得的阵列的示例，以及阵列131S表示通过执行短累积曝光并且以加法模式执行读出而获得的阵列的示例。例如，在阵列131L中的像素R的像素组中，通过像素值的相加而将经过长累积曝光的四个像素R(L)视为一个像素R(L+)。在阵列131M中，通过像素值的相加而将经过中累积曝光的四个像素R(M)视为一个像素R(M+)。此外，在阵列131S中，通过像素值的相加而将经过中累积曝光的四个像素R(M)视为一个像素R(M+)。这同样适用于其他像素G和B的像素组。
阵列131HDR+表示其中将阵列131L、131M和131S中的像素合成的示例。在阵列131HDR+中，将像素R(L+)、R(M+)和R(S+)合成以获得具有高动态范围的像素R(HDR+)。类似地，将像素G(L+)、G(M+)和G(S+)合成以及将像素B(L+)、B(M+)和B(S+)合成以分别获得每一个都具有高动态范围的像素R(HDR+)、G(HDR+)和B(HDR+)。即，阵列131HDR+是通过以像素组为单位将阵列131L、131M和131S中的像素合成而获得的阵列。
图14是用于描述通过将个体模式应用于HDR成像的第二示例来执行再马赛克处理的情况的示例的示意图。阵列133L、133M和133S分别与图13中的阵列131L、131M和131S相对应，并且单独示出了每一个像素组中包括的四个像素。阵列134L、134M和134S表示其中对阵列133L、133M和133S的每一个像素执行再马赛克处理，并且将每一个像素组中包括的四个像素的像素值转换成拜耳阵列中各个像素的像素值的示例。在这种情况下，阵列134L仅包括基于长累积像素数据的每一个像素值，并且类似地，阵列134M仅包括基于中累积像素数据的每一个像素值，并且阵列134S仅包括基于短累积像素数据的每一个像素值。
在图14的下部中示出的阵列135HDR通过将在阵列134L、134M和134S中位置彼此相对应的像素合成而获得。如上所述，在HDR成像的第二示例中，在与拜耳阵列相对应的每一个像素中可以获得高动态范围。
这里，将参照图10、图13和图14描述上述的HDR成像的第一示例和第二示例之间的差异。在HDR成像的第一示例中，例如，分配给长累积(可选择地，中累积或者短累积)的像素是4分割拜耳型RGB阵列中包括的16个像素中的四个像素(参见图10中的阵列132)。另一方面，在HDR成像的第二示例中，将所有16个像素分配给长累积(可选择地，中累积或者短累积)(参见图13中的阵列131L、131M和131S)。因此，在分辨率相同的情况下，在信噪比(SNR)方面，第二示例比第一示例有利。
此外，在HDR成像的第一示例中，由于像素组中包括的四个像素的曝光时间不同(参见图10中的阵列132)，所以很难施加再马赛克处理。另一方面，在HDR成像的第二示例中，由于4分割拜耳型RGB阵列中包括的16个像素的曝光时间相同，所以很容易施加再马赛克处理(参见图14)。因此，在分辨率方面，第二示例比第一示例有利。
另一方面，与个体模式相比，在可以高速执行像素读出的事实方面和在SNR方面，加法模式更有利。此外，由于可以以个体模式执行再马赛克处理，所以在分辨率方面个体模式比加法模式有利。在每一个实施方案中，由成像单元10执行的像素读出通过在加法模式和个体模式之间自适应地切换来执行。这使得可以执行适合于成像目的或者诸如成像环境等成像条件的成像。
(2.第一实施方案)
接着，将对本公开的第一实施方案进行描述。第一实施方案是通过图像处理实现加法模式和个体模式之间的切换的情况的示例。图15是用于描述根据第一实施方案的成像装置1的功能的示例的功能框图。
图15中示出的成像装置1执行根据上述的HDR成像的第二示例的成像。即，在成像单元10中，根据4分割拜耳型RGB阵列为像素阵列单元110的像素100设置R色、G色和B色的滤色器。控制单元14控制成像单元10以便参照图12通过上述的长累积、中累积和短累积中的每一个执行成像。成像单元10将通过长累积曝光、中累积曝光和短累积曝光中的每一个拍摄并且从每一个像素100读出的像素数据提供给图象处理单元12。
在根据第一实施方案的成像装置1中，图象处理单元12包括像素处理单元1200、HDR合成处理单元1201、白平衡(WB)处理单元1202、灰度压缩处理单元1203、去马赛克处理单元1204、伽马校正处理单元1205以及输出处理单元1206。
例如，像素处理单元1200、HDR合成处理单元1201、WB处理单元1202、灰度压缩处理单元1203、去马赛克处理单元1204、伽马校正处理单元1205以及输出处理单元1206通过在诸如DSP、ISP或者CPU等的处理器上执行预定程序实现。可选择地，像素处理单元1200、HDR合成处理单元1201、WB处理单元1202、灰度压缩处理单元1203、去马赛克处理单元1204、伽马校正处理单元1205以及输出处理单元1206中的一些或者全部可以通过彼此协作地操作的硬件电路实现。
像素处理单元1200执行以加法模式将像素组中包括的四个像素的像素值加到从成像单元10提供的像素数据的加法处理和以个体模式基于每一个像素数据的再马赛克处理。根据从控制单元14提供的切换控制信号CNG，像素处理单元1200执行在加法处理和再马赛克处理之间的切换以执行相应处理。像素处理单元1200对从成像单元10提供的长累积像素数据、中累积像素数据和短累积像素数据中的每一个执行加法处理或者再马赛克处理。
将在像素处理单元1200中经过加法处理或者再马赛克处理的长累积像素数据、中累积像素数据和短累积像素数据中的每一个提供给HDR合成处理单元1201。需要注意的是，这个时间点处的每一个像素数据是与位于相应的位置处的滤色器的颜色或者经过再马赛克处理之后的位置的颜色相对应的原始数据。
HDR合成处理单元1201执行将从像素处理单元1200提供的长累积像素数据、中累积像素数据和短累积像素数据合成以生成HDR图像的HDR合成处理。经过HDR合成处理的像素数据具有大约20位至24位的位深度，并且例如，具有比具有大约8位至10位的位深度的正常的像素数据更高的动态范围。
例如，当对与一帧相对应的像素数据执行HDR合成处理时，HDR合成处理单元1201输出通过HDR合成处理生成的与一帧相对应的像素数据作为以帧为单位的图像数据。从HDR合成处理单元1201输出的图像数据(HDR图像数据)提供给WB处理单元1202，经过由WB处理单元1202进行的已知的白平衡处理，并且提供给灰度压缩处理单元1203。灰度压缩处理单元1203压缩所提供的图像数据的灰度并且生成具有适于后级处理的灰度的图像数据。例如，灰度压缩处理单元1203将图像数据中包括的每一个像素数据的位深度从由HDR合成处理产生的20位至24位的位深度转换成例如大约8位至10位的位深度，并且执行灰度压缩。
灰度压缩处理单元1203将经过灰度压缩处理的图像数据提供给去马赛克处理单元1204。去马赛克处理单元1204对所提供的图像数据执行已知的去马赛克处理，并且将R色、G色和B色中每一个的像素值分配给每一个像素。例如，由去马赛克处理单元1204执行的去马赛克处理是通过使用目标像素的像素值和在目标像素附近的每一个像素的像素值将R色、G色和B色中的每一个的像素值分配给一个目标像素的处理。
去马赛克处理单元1204将经过去马赛克处理的图像数据的R色、G色和B色的分量的数据提供给伽马校正处理单元1205。伽马校正处理单元1205基于所提供的数据执行伽马校正处理，并且将经过伽马校正的R色、G色和B色的每一个分量的数据提供给输出处理单元13。输出处理单元13将从伽马校正处理单元1205提供的R色、G色和B色的每一个分量的数据转换成适于后续处理的格式的数据。在图15的示例中，输出处理单元13将R色、G色和B色的每一个分量的数据转换成包括亮度分量Y以及色度分量R-Y和B-Y中的每一个的图像数据，并且输出该图像数据。
图16是用于描述根据第一实施方案的像素处理单元1200的功能的示例的功能框图。在图16的示例中，像素处理单元1200包括像素切换开关210、帧存储器200L、200M和200S、处理切换开关201L、201M和201S、像素加法单元202L、202M和202S、再马赛克处理单元203L、203M和203S以及选择器204L、204M和204选择器。
其中，帧存储器200L、处理切换开关201L、像素加法单元202L、再马赛克处理单元203L以及选择器204是与用于长累积像素数据的处理相关的组件。类似地，帧存储器200M、处理切换开关201M、像素加法单元202M、再马赛克处理单元203M以及选择器204M是与用于中累积像素数据的处理相关的组件，并且帧存储器200S、处理切换开关201S、像素加法单元202S、再马赛克处理单元203S以及选择器204选择器是与用于短累积像素数据的处理相关的组件。
将从成像单元10输出的像素数据输入到像素切换开关210。例如，像素切换开关210根据从控制单元14提供的控制信号(未示出)在第一、第二和第三输出端之间执行切换。这里，对于与长累积相关的组件的选择，第一输出端连接到帧存储器200L。对于与中累积相关的组件的选择，第二输出端连接到帧存储器200M。进一步地，对于与短累积相关的组件的选择，第三输出端连接到帧存储器200S。
更具体地说，例如，控制单元14与成像单元10中的长累积、中累积和短累积中的每一个的读出时序同步地将像素切换开关210的输出目的地切换到第一、第二和第三输出端中的与读出相对应的输出端。例如，像素切换开关210在与图12中示出的时间t1、t2和t3中的每一个相对应的时刻，针对每一行在第一、第二和第三输出端之间执行切换。
将通过以与长累积像素数据相关的处理为例来描述像素处理单元1200的操作。当像素切换开关210切换到第一输出端时，一行的长累积像素数据被写入帧存储器200L中。处理切换开关201L根据从控制单元14提供的切换控制信号CNG将从帧存储器200L读出的像素数据的供给目的地切换到像素加法单元202L或者再马赛克处理单元203L。
需要注意的是，在与中累积和短累积相关的各个组件中，根据切换控制信号CNG，与处理切换开关201L同步，处理切换开关201M切换到像素加法单元202M和再马赛克处理单元203M中任一个，以及处理切换开关201M切换到像素加法单元202S和再马赛克处理单元203S中任一个。
首先，将对与一帧相对应的像素数据被写入帧存储器200L中并且处理切换开关201L切换到第一输出端的情况进行描述。在这种情况下，像素加法单元202L经由像素切换开关210以像素组为单位从帧存储器200L读出像素数据，并且按每一个像素组对每个读出的像素数据的像素值进行加法运算。像素加法单元202L将与基于针对每一个像素组相加的像素值的一帧相对应的像素数据作为加法模式的图像数据输出。从像素加法单元202L输出的加法模式的图像数据提供给选择器204L的第一输入端。
接着，将对与一帧相对应的像素数据被写入帧存储器200L中并且处理切换开关201L切换到第一输出端的情况进行描述。在这种情况下，再马赛克处理单元203L以再马赛克处理的处理为单位(例如，6×6个像素)从帧存储器200L读出像素数据，并且基于每个读出的像素数据执行如上所述的再马赛克处理。再马赛克处理单元203L将与经过再马赛克处理的一帧相对应的像素数据中的每一个作为个体模式的图像数据输出。将从再马赛克处理单元203L输出的个体模式的图像数据提供给选择器204L的第二输入端。
对于选择器204L、204M和204S，根据切换控制信号CNG，与上述的处理切换开关201L、201M或者201S同步，选择第一和第二输入端中的一个。选择器204L、204M和204S的输出分别作为长累积图像数据、中累积图像数据或者短累积图像数据从像素处理单元1200输出。
需要注意的是，由帧存储器200M、处理切换开关201M、像素加法单元202M和再马赛克处理单元203M执行的与中累积像素数据相关的处理，以及由帧存储器200S、处理切换开关201S、像素加法单元202S和再马赛克处理单元203S执行的与短累积像素数据相关的处理与上述的由帧存储器200L、处理切换开关201L、像素加法单元202L和再马赛克处理单元203L执行的处理等同，并且因此在这里省略了对其的描述。
例如，根据预定成像条件，控制单元14生成用于指示要执行加法模式的处理和个体模式的处理中的哪一个的切换控制信号CNG，并且将切换控制信号CNG提供给像素处理单元1200。例如，控制单元14可以将成像装置1相对于被摄体的速度用作用于生成切换控制信号CNG的成像条件。作为另一示例，控制单元14可以将被摄体的亮度或者成像环境的亮度用作用于生成切换控制信号CNG的成像条件。
将以成像装置1安装在车辆上并且使用的情况作为示例进行更具体地描述。在成像装置1中，车辆信息获取单元15从车辆获取包括与车辆的行驶有关的信息的车辆信息(参见图1)。在成像装置1中，控制单元14从获取的车辆信息中提取指示行驶速度的信息，并且将所提取的行驶速度与阈值vth进行比较。在行驶速度等于或者高于阈值vth的情况下，控制单元14生成用于指示个体模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。
另一方面，在行驶速度低于阈值vth的情况下，控制单元14生成用于指示加法模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。在加法模式下，像素处理单元1200或者像素处理单元1200的后级的每一个单元的处理量与在个体模式下的相比较小，并且因此，可以实现省电。
此外，成像装置1基于该成像装置1或者例如安装在车辆上的另一传感器的输出来获取指示成像环境的亮度的信息(例如，亮度值)。在成像装置1中，控制单元14将获取的亮度与阈值Yth进行比较。在亮度等于或者高于阈值Yth的情况下，控制单元14生成用于指示个体模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。另一方面，在亮度低于阈值Yth的情况下，控制单元14生成用于指示个体模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。
在上面的描述中，控制单元14根据一个成像条件生成切换控制信号CNG，但是成像条件的数量不限于此。控制单元14可以根据多个成像条件生成切换控制信号CNG。
图17是用于描述根据第一实施方案的根据两个成像条件生成切换控制信号CNG的示例的示意图。在图17的示例中，基于上述的车辆的行驶速度和成像环境的亮度进行加法模式和个体模式之间的切换。即，在行驶速度等于或者高于阈值vth以及亮度等于或者高于阈值Yth的情况下，控制单元14生成用于指示个体模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。另一方面，在行驶速度低于阈值vth或者亮度低于Yth的情况下，控制单元14生成用于指示加法模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。
以这种方式基于成像条件生成用于指示个体模式的切换控制信号CNG和用于指示加法模式的切换控制信号CNG，使得可以优化基于拍摄的图像的感测性能。此外，基于多个成像条件生成切换控制信号CNG，使得可以执行更精细的控制。
需要注意的是，与加法模式相比，在个体模式下，需要对像素数据进行4倍的处理。此时，可以想到，例如，将要以个体模式从成像单元10进行读出及图像处理的区域减小至水平和垂直均为1/2。因此，可以实现省电，并且可以抑制图象处理单元12中的计算资源的消耗。
在上面的描述中，已经描述了应用于第一实施方案的成像方法是卷帘式快门法，但是成像方法不限于此。即，作为其中在所有行同时执行曝光的成像方法的全局快门法也可以应用于第一实施方案。
此外，在上面的描述中，将在像素处理单元1200中经过再马赛克处理的长累积像素数据、中累积像素数据和短累积像素数据中的每一个提供给HDR合成处理单元1201，但是本公开不限于该示例。例如，在由HDR合成处理单元1201执行HDR合成处理之后，可以由像素处理单元1200执行再马赛克处理。更具体地说，对从成像单元10输出的长累积像素数据、中累积像素数据和短累积像素数据中的每一个执行HDR合成处理，并且例如，对与经过HDR合成处理的一帧相对应的像素数据执行再马赛克处理。
(2-1.第一实施方案的第一变形例)
接着，将对第一实施方案的第一变形例进行描述。在上述的第一实施方案中，对整个帧以加法模式和个体模式中的一种执行读出处理。另一方面，在第一实施方案的第一变形例中，在帧内设定以个体模式进行处理的处理区域和以加法模式进行处理的处理区域。
图18A和图18B是用于描述根据第一实施方案的第一变形例的处理区域的示意图。如图18A中示出的，在第一实施方案的第一变形例中，例如，以个体模式进行处理的第一处理区域301设定在帧300的中央部分，并且在帧300中除了第一处理区域301以外的区域(帧300的外周部分)设定为以加法模式进行处理的第二处理区域302。例如，可以想到，第一处理区域301在水平和垂直方向上的尺寸是帧300在水平和垂直方向上的尺寸的1/2。
如图18B中示出的，例如，当从其上安装有根据第一实施方案的第一变形例的成像装置1的车辆304看时，例如，在帧300的中央部分的第一处理区域301包括位于在车辆304的行驶方向上更远的位置并且车辆的驾驶员需要注视的注视区域303的图像。因此，优选地，第一处理区域301以高分辨率的个体模式执行图像处理。另一方面，在第一处理区域301外面的第二处理区域302以比第一处理区域301低的分辨率的加法模式执行图像处理。
如上所述，在第一实施方案的第一变形例中，根据帧中的区域作为成像条件生成切换控制信号CNG。通过分别为帧300的中央部分和外周部分单独设定个体模式和加法模式，可以在包括输出图像中的必要信息的同时省电。
图19是用于描述适用于第一实施方案的第一变形例的像素处理单元1200a的功能的示例的功能框图。需要注意的是，图19是与上述的图16相对应的图，并且仅示出了与长累积相关的组件并且省略了与中累积和短累积相关的组件。
在图19中示出的像素处理单元1200a中，将连接到像素加法单元202L的帧存储器2020L和连接到再马赛克处理单元203L的帧存储器2030L添加到上述图16中示出的像素处理单元1200。
控制单元14通过在第一处理区域301和第二处理区域302之间的边界处切换切换控制信号CNG来执行控制，使得以个体模式对第一处理区域301执行处理并且以加法模式对第二处理区域302执行处理。
作为更具体的示例，控制单元14按行顺序向像素处理单元1200提供切换控制信号CNG，并且在每一行针对从帧300的左端到右端的区域向像素处理单元1200提供切换控制信号CNG。
控制单元14对于从帧300的上端处的行到紧接在第一处理区域301的上端之前的行生成用于指示加法模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。对于第一处理区域301的从上端到下端的行，控制单元14在每一行对于从帧300的左端到紧接在第一处理区域301的左端之前的区域生成用于指示加法模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。控制单元14对于第一处理区域301的从左端到右端的区域生成用于指示个体模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。控制单元14对从紧接在第一处理区域301的右端之后到帧300的右端的区域生成用于指示加法模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。此外，控制单元14对于从紧接在第一处理区域301的下端之后的行到帧300的下端处的行的区域生成用于指示加法模式的切换控制信号CNG，并且将该切换控制信号CNG提供给像素处理单元1200。
例如，当提供用于指示加法模式的切换控制信号CNG时，像素加法单元202L按行顺序从帧存储器200L读出与第二处理区域302相对应的像素数据，并且将所读出的像素数据写入帧存储器2020L。此时，例如，像素加法单元202L跳过包括第一处理区域301的行中的第一处理区域301内部的像素数据。像素加法单元202L以像素组为单位对写入帧存储器2020L的像素数据执行加法处理，并且用加法处理结果的像素值更新帧存储器2020L。
类似地，当提供用于指示个体模式的切换控制信号CNG时，再马赛克处理单元203L从帧存储器200L读出与第一处理区域301相对应的像素数据并且将所读出的像素数据写入帧存储器2030L。此时，由于在再马赛克处理中将与几个像素相对应的***像素用于目标像素，所以再马赛克处理单元203L考虑到***像素从帧存储器200L读出像素数据。再马赛克处理单元203L通过使用写入帧存储器2030L的像素数据来执行再马赛克处理，并且用再马赛克处理结果的像素值更新帧存储器2030L。
经过像素加法单元202L执行的加法处理和再马赛克处理单元203L执行的再马赛克处理并且分别写入帧存储器2020L和2030L中的多条像素数据，通过经由其第一和第二输入端根据切换控制信号CNG进行切换的选择器204L输出而合成，并且作为长累积帧图像输出。
(2-2.第一实施方案的第二变形例)
接着，将对第一实施方案的第二变形例进行描述。在上述的第一实施方案的第一变形例中，固定地设定以个体模式进行处理的处理区域和以加法模式进行处理的处理区域。另一方面，在第一实施方案的第二变形例中，自适应地设定以个体模式进行处理的处理区域和以加法模式进行处理的处理区域。
图20是用于描述根据第一实施方案的第二变形例的处理区域的示意图。在第一实施方案的第二变形例中，检测基于从成像单元10读出的像素数据的图像中包括的特定对象，并且基于所检测到的特定对象来设定以个体模式进行处理的处理区域和以加法模式进行处理的处理区域。
在图20的示例中，从基于从成像单元10读出的像素数据的图像310中检测两个交通信号灯、标志和两个对向车辆作为特定对象。特定对象的示例包括在路上行走的行人。包括所检测到的标志的区域320、分别包括所检测到的两个交通信号灯的区域321和区域322以及分别包括所检测到的两个对向车辆的区域323和区域324是要以个体模式进行处理的处理区域，并且图像310中除了这些区域320至区域324以外的区域是要以加法模式进行处理的处理区域。
如上所述，在第一实施方案的第二变形例中，通过使用帧的图像中包括的对象和包括该对象的区域作为成像条件来生成切换控制信号CNG。例如，对包括对于车辆的行驶来说重要的对象的区域以个体模式执行处理，以生成高分辨率图像。另一方面，例如，针对对于车辆的行驶来说不太重要的区域以加法模式执行处理，以生成具有比个体模式的情况下(的分辨率)低的分辨率的图像。因此，变得很容易识别出对于车辆的行驶来说重要的对象，并且可以提高行驶安全性。此外，以加法模式处理在所生成的图像的分辨率方面劣于个体模式，但是处理负荷小于个体模式。因此，整体来看，可以抑制计算资源和功耗。
图21是用于描述适用于第一实施方案的第二变形例的像素处理单元1200b的功能的示例的功能框图。需要注意的是，图19中示出的像素处理单元1200b配置成使得将检测单元220追加到图16的上述配置中，并且根据从检测单元220输出的切换控制信号CNG切换处理切换开关201L、201M和201S以及选择器204L、204M和204S。
更具体地说，例如，检测单元220基于写入帧存储器200L的像素数据来检测基于一帧的图像数据的图像中包括的特定对象。例如，检测单元220可以通过基于预先登记的图案的图案识别来检测对象。本公开不限于此，并且检测单元220可以通过使用通过使用预定教师数据预先训练过的学习模型的机器学习处理识别出对象。
需要注意的是，处理切换开关201L、201M和201S以及选择器204L、204M和204S的根据切换控制信号CNG的切换控制与在上述的第一实施方案的第一变形例中参照图19描述的控制类似，并且因此在这里省略了对其的描述
此外，这里，已经描述了检测单元220基于帧存储器200L的图像数据来检测特定对象，但是本公开不限于该示例。例如，检测单元220可以基于写入帧存储器200L、200M和200S中的至少一个中的图像数据来检测特定对象。此外，在图21中，像素处理单元1200b被示出为具有检测单元220的功能，但是本公开不限于该示例。例如，控制单元14可以具有检测单元220的功能。
(2-3.第一实施方案的第三变形例)
接着，将对第一实施方案的第三变形例进行描述。在上述的第一实施方案以及第一实施方案的第一和第二变形例中，已经描述了成像单元10中的像素阵列为4分割拜耳型RGB阵列，但是适用于本公开的像素阵列不限于4分割拜耳型RGB阵列。即，本公开也适用于除了4分割拜耳型RGB阵列以外的像素阵列，只要该像素阵列为其中透射相同波长带的光的滤光器以2×2个像素设置的像素阵列即可。
图22A至图22E是示出了适用于本公开的像素阵列的示例的示意图。图22A示出了其中布置了其上设置了透射整个可见光区域中的光的滤波器的像素W代替4分割拜耳型RGB阵列中的像素G的像素阵列的示例。图22B示出了其中布置了其上设置了黄色滤色器的像素Ye代替4分割拜耳型RGB阵列中的像素G的像素阵列的示例。此外，图22C示出了其中进一步地布置了其上设置了青色滤色器的像素Cy代替图22B的像素阵列中的像素B的像素阵列的示例。
与4分割拜耳型RGB阵列相比较，通过图22A、图22B和图22C中示出的像素阵列，可以获得更高的灵敏度。此外，包括像素Ye的图22B和图22C中示出的像素阵列具有几乎没有受到透镜像差影响的特性。另一方面，图22A至图22C的所有像素阵列均不包括加法混合中的三原色中的G(绿)色，因此，不能进行全色再现。因此，图22A至图22C中示出的各个像素阵列适于感测应用。
图22D示出了其中2×2个像素的像素组布置成四列×四行的像素阵列的示例。在图22D中的示出的像素阵列中，像素R的两个像素组、像素B的两个像素组、像素G的四个像素组以及像素W的八个像素组布置成使得相同颜色的像素的像素组彼此不相邻。在图22D的像素阵列中，可以通过像素W的八个像素组获得高灵敏度，并且可以通过以1：2：1的比率布置的像素R、像素G和像素B的像素组实现全色再现。另一方面，例如，由于各色的像素组之间的间隔大于4分割拜耳型RGB阵列的间隔，所以在分辨率方面是不利的。
图22E是包括其上设置了透射红外区域中的光的红外(IR)滤波器的像素IR的像素阵列的示例。可以通过使用像素IR执行利用红外光的反射的距离测量等。图22E的示例是其中布置了像素IR代替4分割拜耳型RGB阵列中的像素B的示例。需要注意的是，在图22E中，4分割拜耳型RGB阵列中的像素B的像素组中包括的所有四个像素B被像素IR替换，但是本公开不限于此。例如，可以使用其中像素B(可选择地，像素R或者像素G)的像素组中包括的四个像素中一至三个像素被像素IR替换的像素阵列。
例如，图22E中示出的像素阵列可以与4分割拜耳型RGB阵列组合使用。例如，可以想到，将图22E的像素阵列以预定间隔***与帧相对应重复布置的4分割拜耳型RGB阵列中。此外，也可以想到，针对与帧相对应重复布置的4分割拜耳型RGB阵列，布置预定数量的图22E的像素阵列。
(3.第二实施方案)
接着，将对本公开的第二实施方案进行描述。在上述的第一实施方案及其变形例中，在图象处理单元12中以加法模式执行使像素组中包括的各个像素的像素值相加的加法处理。本公开不限于此，并且可以在成像单元10的每一个像素阵列单元110内部执行加法处理。
图23A、图23B和图23C是用于描述根据第二实施方案的像素组中个体模式和加法模式之间的切换方法的示例的示意图。
图23A是用于描述从根据第二实施方案的像素块中包括的每一个像素100读出信号的方法的示意图。这里，将像素G的像素块作为示例进行描述。如图23A中示出的，像素块中包括的像素100G1、100G2、100G3和100G4共享一个浮动扩散层。
首先，将参照图23B的时序图描述在由切换控制信号CNG指示加法模式的情况下的读出方法的示例。需要注意的是，在图23B和稍后将进行描述的图23C中，时间向右增加，并且像素100G1至100G4分别示出为像素G1、G2、G3和G4。
在加法模式下，在像素块内部对在像素组中包括的像素100G1、100G2、100G3和100G4的各个光接收元件中累积的电荷进行相加和读出。
例如，在控制单元22的控制下，垂直扫描单元20在图23B中的时间t00处复位像素块的浮动扩散层，然后从像素100G1至100G4中的各个光接收元件读出电荷，并且将所读出的电荷传输到浮动扩散层。在浮动扩散层中，在加法单元140中将从各个光接收元件传输的电荷相加。在这种情况下，加法单元140对应于像素100G1至100G4共用的浮动扩散层。在浮动扩散层中，将从各个光接收元件传输并且相加的电荷转换成与电荷量相对应的电压，并且将电压作为各个像素100G1至100G4的总像素信号输出到垂直信号线VSL。
通过水平扫描单元21中包括的AD转换器将各个像素100G1至100G4的总像素信号转换成像素数据并且将其提供给像素处理单元1200c。
接着，将参照图23C的时序图描述在由切换控制信号CNG指示个体模式的情况下的读出方法的示例。
例如，在控制单元22的控制下，垂直扫描单元20在图23C的时间t10处复位像素块的浮动扩散层，然后从像素100G1的光接收元件读出电荷，并且将所读出的电荷传输到浮动扩散层。在浮动扩散层中，将所传输的电荷转换成与电荷量相对应的电压，并且将电压作为从像素100G1读出的像素信号输出到垂直信号线VSL。需要注意的是，不执行由加法单元140进行的加法处理。
接着，垂直扫描单元20在图23C的时间t11处复位像素块的浮动扩散层，然后从像素100G2的光接收元件读出电荷，并且将所读出的电荷传输到浮动扩散层。在浮动扩散层中，将所传输的电荷转换成与电荷量相对应的电压，并且将电压作为从像素100G2读出的像素信号输出到垂直信号线VSL。需要注意的是，不执行由加法单元140进行的加法处理。
类似地，在从像素100G3和100G4读出像素信号的过程中，垂直扫描单元20复位浮动扩散层，然后从光接收元件读出电荷，并且将所读出的电荷传输给浮动扩散层(图23C中的时间t12和t13)。需要注意的是，对于它们中的每一个，不执行由加法单元140进行的加法处理。
通过水平扫描单元21中包括的AD转换器将从像素100G1至100G4中的每一个读出的各像素信号转换成像素数据并且将其提供给像素处理单元1200c。
图24是用于描述适用于第二实施方案的像素处理单元1200c的功能的示例的功能框图。需要注意的是，图24是与上述的图16相对应的图，并且仅示出了与长累积相关的组件，并且省略了与中累积和短累积相关的组件。
在图24中示出的像素处理单元1200c中，设置了帧存储器240L代替上述的图16中示出的像素处理单元1200的像素加法单元202L。此外，在加法模式下从成像单元10输出像素数据的情况下，处理切换开关230L根据切换控制信号CNG将像素数据的输出目的地切换到帧存储器240L。将从成像单元10输出的像素数据写入帧存储器240L中。
另一方面，在个体模式下从成像单元10输出像素数据的情况下，像素数据的输出目的地切换到再马赛克处理单元203L。将从成像单元10输出的像素数据提供给再马赛克处理单元203L并且写入帧存储器2030L中。再马赛克处理单元203L基于写入帧存储器2030L中的像素数据执行再马赛克处理，并且例如，用经过再马赛克处理的像素数据更新帧存储器2030L。
如上所述，通过在成像单元10的每一个像素阵列单元110内部以加法模式执行像素值的加法处理，可以简化图象处理单元12(像素处理单元1200c)的配置。
(3-1.第二实施方案的变形例)
接着，将对第二实施方案的变形例进行描述。在第二实施方案的变形例中，在其中可以在成像单元10中的每一个像素阵列单元110内部以加法模式执行使像素值相加的加法处理的配置中，可以在帧中设定以个体模式进行处理的处理区域和以加法模式进行处理的处理区域。
图25是示出了根据第二实施方案的变形例的成像单元10的示例的配置的框图。在图25中，在像素阵列单元110a中，将切换控制信号生成单元(V)151V和切换控制信号生成单元(H)151H追加到图4中描述的像素阵列单元110中。此外，在图25中，将像素分组成包括四个像素(包括像素1001、1002、1003和1004)的各个像素组。此外，为每一个像素组设置AND电路150。
需要注意的是，虽然图25示出了每一个像素组连接到垂直信号线VSL，但是在实际实施中，每一个像素组的像素1001、1002、1003和1004中的每一个连接到垂直信号线VSL。
例如，切换控制信号生成单元(V)151V基于从控制单元22提供的控制信号针对像素阵列单元110a中包括的各个像素组的每一列生成用于指示加法模式和个体模式的切换控制信号CNGV。进一步地，例如，切换控制信号生成单元(H)151H基于从控制单元22提供的控制信号针对像素阵列单元110a中包括的各个像素组的每一行生成用于指示加法模式和个体模式的切换控制信号CNGH。
对于每一个像素组，将切换控制信号CNGV输入到AND电路的一个输入端，并且将切换控制信号CNGH输入到另一输入端。在AND电路150中，获得切换控制信号CNGV与切换控制信号CNGH的逻辑乘积。AND电路150输出切换控制信号CNGV与切换控制信号CNGH的逻辑乘积的结果作为切换控制信号CNG，并且将切换控制信号CNG提供给包括AND电路150的像素组。
通过像素阵列单元110a的这种配置，与上述的第一实施方案的第一和第二变形例类似，对于像素阵列单元110a中包括的每一个像素组的加法模式下的读出和个体模式下的读出可以针对包括一个或多个像素组的矩形区域进行切换并且指示。
(4.第三实施方案)
接着，将对应用根据本公开的技术的成像装置的使用例进行描述。图26是示出了根据本公开的上述的成像装置1的使用例的图。
例如，上述的成像装置1可以用于如下所述的感测诸如可见光、红外光、紫外光和X射线等光的各种情况。
-拍摄供观赏的图像的装置，诸如数码相机和具有成像功能的便携式设备等。
-用于交通的装置，为了诸如自动停止等安全驾驶和驾驶员的状况的识别的目的而拍摄车辆的前方、后方、周围或者内部区域的图像的车载传感器，用于监视行驶车辆或者道路的监视相机或者用于测量车辆之间的距离的距离测量传感器等。
-用于诸如电视机(TV)、冰箱和空调等的家用电器的装置，以拍摄用户手势的图像并根据手势进行设备操作。
-用于医疗保健的装置，例如内窥镜或者用于通过接收红外光拍摄血管的图像的装置等。
-用于安保的装置，例如用于安保的监控相机或者用于个人认证的相机等。
-用于美容的装置，例如用于拍摄皮肤图像的皮肤测量设备或者用于拍摄头皮图像的显微镜等。
-用于运动的装置，例如用于运动的动作相机或者可穿戴相机等。
-用于农业的装置，例如用来监测田地和农作物的状况的相机等。
(4-0.移动体的应用示例)
根据本公开的技术(本技术)可以应用于上述的各种产品。例如，根据本公开的技术可以实现为安装在如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动装置、飞机、无人机、船和机器人等移动体中的任一个上的装置。
(本公开的成像装置安装在车辆上的情况下的更具体的示例)
作为根据本公开的成像装置1的应用示例，将对成像装置1安装在车辆上并且使用的情况下的更具体的示例进行描述。
(第一安装示例)
首先，将对根据本公开的成像装置1的第一安装示例进行描述。图27是示出了其上可以安装根据本公开的成像装置1的车辆的***配置示例的框图。在图27中，车辆***13200包括连接到为车辆13000设置的控制器区域网络(CAN)的单元。
前置感测相机13001是拍摄车辆行驶方向上的前方区域的图像的相机。通常，该相机不用于图像显示，而是专门用于感测的相机。例如，前置感测相机13001布置在位于挡风玻璃的内侧的后视镜附近。
前置相机ECU 13002接收由前置感测相机13001拍摄的图像数据，并且执行图像信号处理，该图像信号处理包括图像识别处理，如图像质量改善和物体检测。由前置相机ECU执行的图像识别的结果通过CAN通信进行传输。
需要注意的是，ECU是“电子控制单元(electronic control unit)”的缩写词。
自驾驶ECU 13003是控制自动驾驶的ECU，并且例如，由CPU、ISP、图形处理器(GPU)等来实现。将由GPU执行的图像识别的结果传输到服务器，并且服务器执行诸如深度神经网络等深度学习并且将学习结果返回到自驾驶ECU 13003。
全球定位***(GPS)13004是接收GPS无线电波并且获得当前位置的位置信息获取单元。由GPS 13004获取的位置信息通过CAN通信进行传输。
显示器13005是布置在车身13000上的显示装置。显示器13005布置在车身13000的仪表面板的中央部分、后视镜内部等中。显示器13005可以与安装在车辆13000上的汽车导航装置一体构成。
通信单元13006用于在车辆与车辆间通信、行人与车辆间通信和道路与车辆间通信中执行数据发送和接收。通信单元13006还执行与服务器之间的发送和接收。各种类型的无线通信可以应用于通信单元13006。
集成ECU 13007是其中集成有各种ECU的集成ECU。在该示例中，集成ECU 13007包括ADAS ECU 13008、自驾驶ECU 13003和电池ECU 13010。电池ECU 13010控制电池(200V电池13023、12V电池13024等)。例如，集成ECU 13007布置在车身13000的中央部分。
转向灯13009是方向指示器，并且其照明通过集成ECU 13007控制。
高级驾驶员辅助***(ADAS)ECU 13008根据驾驶员的操作、图像识别结果等生成用于控制车辆***13200的组件的控制信号。ADAS ECU 13008通过CAN通信向每一个单元发送信号并且从每一个单元接收信号。
在车辆***13200中，通过动力传动系(powertrain)ECU(未示出)控制驱动源(发动机或者电动机)。在巡航控制期间，动力传动系ECU根据图像识别结果控制驱动源。
当车辆在图像识别中即将偏离白线时，转向13011根据由ADAS ECU 13008生成的控制信号驱动电子助力转向电动机。
速度传感器13012检测车辆13000的行驶速度。速度传感器13012根据行驶速度计算加速度和加速度的微分(加加速度(jerk))。加速度信息用来计算与物体碰撞之前的估计时间。加加速度是影响乘客的乘座舒适度的指数。
雷达13013是通过使用如毫米波等具有长波长的电磁波执行距离测量的传感器。激光雷达13014是通过使用光执行距离测量的传感器。
前照灯13015包括灯和灯的驱动电路，并且根据通过图像识别检测到的对向车辆的前照灯存在或者不存在来执行远光和近光之间的切换。可选择地，前照灯13015发射远光以便避开对向车辆。
侧视相机13016是布置在侧视镜的壳体内或者侧视镜附近的相机。从侧视相机13016输出的图像数据用于m图像显示。例如，侧视相机13016拍摄驾驶员的盲点区域的图像。进一步地，侧视相机13016拍摄用于环视监视器的左右区域的图像。
侧视相机ECU 13017对由侧视相机13016拍摄的图像执行信号处理。侧视相机ECU13017改善诸如白平衡等的图像质量。经过由侧视相机ECU 13017进行的信号处理的图像数据通过与CAN不同的电缆传输。
前视相机13018是布置在前格栅附近的相机。由前视相机13018拍摄的图像数据用于图像显示。前视相机13018拍摄车辆前方的盲点区域的图像。此外，前视相机13018拍摄在环视监视器的上部区域中使用的图像。前视相机13018与上述的前置感测相机13001在帧布局方面不同。
前视相机ECU 13019对由前视相机13018拍摄的图像执行信号处理。前视相机ECU13019改善诸如白平衡等的图像质量。经过由前视相机ECU 13019进行的信号处理的图像数据透过与CAN不同的电缆传输。
车身13000包括发动机(ENG)13020、发电机(GEN)13021和驱动电动机(MOT)13022。发动机13020、发电机13021和驱动电动机13022通过动力传动系ECU(未示出)控制。
200V电池13023是用于驱动和空调的电源。12V电池13024是除了用于驱动和空调的电源以外的电源。12V电池13024为安装在车身13000上的每个相机和每个ECU供电。
例如，后视相机13025是布置在尾门的牌照附近的相机。由后视相机13025拍摄的图像数据用于图像显示。后视相机13025拍摄车辆后方的盲点区域的图像。进一步地，后视相机13025拍摄在环视监视器的下部区域中使用的图像。例如，通过将换挡杆移动至“R(倒车)”来激活后视相机13025。
后视相机ECU 13026对由后视相机13025拍摄的图像执行信号处理。后视相机ECU13026改善诸如白平衡等的图像质量。经过由后视相机ECU 13026进行的信号处理的图像数据通过与CAN不同的电缆传输。
图28是示出了车辆***13200的前置感测相机13001的示例配置的框图。
前置相机模块13100包括透镜13101、成像器13102、前置相机ECU 13002和微控制器单元(MCU)13103。透镜13101和成像器13102包括在上述的前置感测相机13001中。例如，前置相机模块13100布置在位于挡风玻璃的内侧的后视镜附近。
成像器13102可以通过使用根据本公开的成像单元10来实现，并且通过像素中包括的光接收元件拍摄前方区域图像并且输出像素数据。例如，将拜耳阵列用作像素的滤色器阵列。成像器13102可以由单层芯片形成，或者可以是其中层叠有两个以上芯片的层叠式成像器。例如，成像器13102将像素数据作为原始数据输出。例如，前置相机ECU 13002包括根据本公开的图象处理单元12、输出处理单元13和控制单元14。即，根据本公开的成像装置1包括成像器13102和前置相机ECU 13002。
需要注意的是，串行传输或者并行传输可以应用于成像器13102和前置相机ECU13002之间的数据传输。此外，优选地，成像器13102具有检测成像器13102本身的故障的功能。
MCU 13103具有与CAN总线13104的接口的功能。图27中示出的每个单元(自驾驶ECU 13003、通信单元13006、ADAS ECU 13008、转向13011、前照灯13015、发动机13020、驱动电动机13022等)连接到CAN总线13104。制动***13030也连接到CAN总线13040。
前置相机模块13100可以从CAN总线13040获得车辆13000的车辆信息(行驶速度、环境亮度等)。例如，在前置相机模块13100中，前置相机ECU 13002可以基于获取的车辆信息指示是否以加法模式或者个体模式执行成像器13102中的像素的读出。这使得可以输出与行驶速度、亮度等相对应的图像数据，并且省电。
需要注意的是，在上面的描述中，已经描述了根据本公开的成像装置1应用于前置感测相机13001，但是本公开不限于此。例如，根据本公开的成像装置1可以应用于前视相机13018、侧视相机13016和后视相机13025。
(第二安装示例)
接着，将对根据本公开的成像装置1的第二安装示例进行描述。图29是示出了作为可以应用根据本公开的技术的移动体控制***的示例的车辆控制***的示意性配置的示例的框图。
车辆控制***12000包括经由通信网络12001连接的多个电子控制单元。在图29所示的示例中，车辆控制***12000包括驱动***控制单元12010、车身***控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，微型计算机12051、声音和图像输出单元12052和车载网络接口(I/F)12053被示出为综合控制单元12050的功能构成。
驱动***控制单元12010根据各种程序控制与车辆的驱动***相关的装置的操作。例如，驱动***控制单元12010用作以下装置的控制装置：诸如内燃机或驱动电机等用于产生车辆的驱动力的驱动力产生装置；用于将驱动力传递至车轮的驱动力传递机构；用于调整车辆的转向角的转向机构；以及用于产生车辆的制动力的制动装置等。
车身***控制单元12020根据各种程序控制安装到车身上的各种装置的操作。例如，车身***控制单元12020用作无钥匙进入***、智能钥匙***、电动窗装置或诸如车头灯、车尾灯、刹车灯、转向信号灯或雾灯等各种灯的控制装置。在这种情况下，从替代钥匙的便携式装置发送的电波或各种开关的信号能够输入至车身***控制单元12020。车身***控制单元12020接收电波或信号以控制车辆的门锁装置、电动窗装置和灯等。
车外信息检测单元12030检测关于安装有车辆控制***12000的车辆的外部的信息。例如，车外信息检测单元12030与成像单元12031连接。车外信息检测单元12030使成像单元12031对车辆外部区域的图像进行成像，并且接收所拍摄的图像。在接收的图像的基础上，车外信息检测单元12030可以对诸如人、车辆、障碍物、标记或路面上的字符等执行物体检测处理或距离检测处理。
成像单元12031是光学传感器，其用于接收光并且输出与接收的光的光量对应的电信号。成像单元12031可以输出电信号作为图像，或可以输出电信号作为距离测量信息。此外，成像单元12031接收的光可以是可见光，或可以是诸如红外光等不可见光。
车内信息检测单元12040检测车辆内部的信息。例如，车内信息检测单元12040与检测驾驶员状态的驾驶员状态检测单元12041连接。驾驶员状态检测单元12041例如包括对驾驶员进行成像的相机，并且在从驾驶员状态检测单元12041输入的检测信息的基础上，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或可以判断驾驶员是否在打瞌睡。
微型计算机12051可以在关于车辆内部或外部的信息(该信息是由车外信息检测单元12030或车内信息检测单元12040获得的)的基础上计算驱动力产生装置、转向机构或制动装置的控制目标值，并向驱动***控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现先进驾驶员辅助***(ADAS：advanced driver assistancesystem)的功能的协同控制，该功能包括：车辆的碰撞避免或撞击减轻、基于车间距离的跟车行驶、车辆速度维持行驶、车辆碰撞警告或车辆偏离车道警告等。
此外，微型计算机12051可以在关于车辆附近的信息(该信息是由车外信息检测单元12030或车内信息检测单元12040获得的)的基础上控制驱动力产生装置、转向机构或制动装置等以执行旨在实现自动驾驶的协同控制，其中车辆自主行驶而不依赖于驾驶员的操作等。
此外，微型计算机12051可以在关于车辆外部的信息(该信息是由车外信息检测单元12030获得的)的基础上向车身***控制单元12020输出控制命令。例如，微型计算机12051可以根据车外信息检测单元12030检测到的前方车辆或对向车辆的位置控制车头灯以执行旨在实现如从远光灯切换为近光灯的防止眩光的协同控制。
声音和图像输出单元12052将声音和图像中的至少一种的输出信号传输到输出装置，该输出装置能够在视觉上或听觉上将信息通知到车辆的乘客或车辆的外部。在图29的示例中，音频扬声器12061、显示单元12062和仪表面板12063被示出为输出装置。例如，显示单元12062可以包括车载显示器和平视显示器中的至少一者。
图30是示出了成像单元12031的安装位置的示例的图。
在图30中，车辆12100包括作为成像单元12031的成像单元12101、12102、12103、12104和12105。
成像单元12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部挡风玻璃的上部上的位置。设置到前鼻上的成像单元12101和设置到车辆内部挡风玻璃的上部上的成像单元12105主要获得车辆12100的前方的图像。设置到侧视镜上的成像单元12102和12103主要获得车辆12100的侧面的图像。设置到后保险杠或后门上的成像单元12104主要获得车辆12100的后方的图像。由成像单元12101和成像单元12105获取的车辆12100的前方的图像主要用于检测前方车辆、行人、障碍物、交通信号灯、交通标志或车道等。
需要注意的是，图30示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置到前鼻上的成像单元12101的成像范围，成像范围12112和12113分别表示设置到侧视镜上的成像单元12102和12103的成像范围，成像范围12114表示设置到后保险杠或后门上的成像单元12104的成像范围。例如，叠加由成像单元12101至12104拍摄的图像数据，从而获得从上方观看到的车辆12100的俯瞰图像。
成像单元12101至12104中的至少一者可以具有获得距离信息的功能。例如，成像单元12101至12104中的至少一者可以是包括多个成像元件的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以在从成像单元12101至12104获得的距离信息的基础上通过计算到成像范围12111到12114内的每个三维物体的距离和距离随时间变化(相对于车辆12100的相对速度)来将车辆12100的行驶路径上最近的三维物体提取为前方车辆，该三维物体以预定速度(例如，等于或大于0千米/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051可以预先设定在前方车辆要保持的车间距离，并且执行自动制动控制(包括跟车停止控制)或自动加速控制(包括跟车启动控制)等。如上所述，可以执行旨在用于自动驾驶的协同控制，其使得车辆自主行驶而不依赖于驾驶员的操作等。
例如，微型计算机12051可以在从成像单元12101至12104获得的距离信息的基础上将关于三维物体的三维物体数据分类并提取为诸如两轮车辆、标准尺寸车辆、大型车辆、行人和电线杆等其他三维物体，并使用该分类和提取结果来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以在视觉上识别的障碍物以及车辆12100的驾驶员难以在视觉上识别的障碍物。然后，微型计算机12051确定表示与每个障碍物碰撞的风险程度的碰撞风险，在碰撞风险等于或高于设定值并且存在碰撞可能性的情况下，微型计算机12051可以经由音频扬声器12061或显示单元12062向驾驶员输出警告，或通过驱动***控制单元12010执行强制减速或者避让转向以执行用于避免碰撞的驾驶辅助。
成像单元12101至12104中的至少一者可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定成像单元12101至12104的拍摄图像中是否存在行人来识别行人。例如，通过在作为红外相机的成像单元12101至12104的拍摄图像中提取特征点的程序以及通过对表示物体轮廓的一系列特征点执行图案匹配处理来确定是否是行人的程序来执行对行人的这种识别。当微型计算机12051确定成像单元12101至12104的拍摄图像中存在行人并且识别出行人时，声音和图像输出单元12052控制显示单元12062，使得用于强调的矩形轮廓线叠加在识别出的行人上。此外，声音和图像输出单元12052可以控制显示单元12062，使得表示行人的图标等显示在期望的位置处。
在上文中，已经描述了可以应用根据本公开的技术的车辆控制***的示例。例如，根据本公开的技术可以应用于上述的配置中的成像单元12031。具体地，可以将根据本公开的第一和第二实施方案及其变形例中的任一个的成像装置1应用为成像单元12031。
在这种情况下，成像单元12031可以从通信网络12001获得车辆的车辆信息(行驶速度、周围亮度等)。例如，基于获取的车辆信息，成像单元12031可以指示是否以加法模式或者个体模式执行成像单元12031中包括的像素阵列中的像素的读出。这使得可以输出与行驶速度、亮度等相对应的图像数据，并且可以省电。
(4-1.内窥镜手术***的应用示例)
作为根据本公开的成像装置1的另一应用示例，将对在将成像装置1应用于内窥镜手术***的情况下的更具体的示例进行描述。
图31是示出了可以应用根据本公开的技术(本技术)的内窥镜手术***的示意性配置的示例的图。
图31示出了其中手术者(医生)11131正在使用内窥镜手术***11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术***11000包括内窥镜11100、如气腹管11111和能量治疗工具11112等其他手术工具11110、支撑其上的内窥镜11100的支撑臂装置11120和其上安装了用于内窥镜手术的各种装置的推车11200。
内窥镜11100包括透镜镜筒11101和摄像机头11102，该透镜镜筒的从其远端起的预定长度的区域***患者11132的体腔内，该摄像机头连接到透镜镜筒11101近端。在所示出的示例中，虽然示出了配置为具有刚性透镜镜筒11101的所谓的刚性镜的内窥镜11100，但是也可以将内窥镜11100配置为具有柔性透镜镜筒的所谓的柔性镜。
透镜镜筒11101在其远端具有物镜装配在其中的开口部。光源装置11203与内窥镜11100连接以便将由光源装置11203生成的光通过延伸到透镜镜筒11101内部的光导引入透镜镜筒的远端，并通过物镜将其照射到患者11132体腔内的观察目标上。需要注意的是，内窥镜11100可以是直视内窥镜或可以是斜视内窥镜或侧视内窥镜。
光学***和成像元件设置在摄像机头11102的内部，并且通过光学***将来自观察目标的反射光(观察光)聚集在成像元件上。通过成像元件将观察光光电转换，并且生成与观察光相对应的电信号，即，与观察图像相对应的图像信号。将图像信号作为原始(RAW)数据传输到CCU 11201。
例如，CCU 11201由中央处理器(CPU)和图形处理器(GPU)实现，并综合控制内窥镜11100和显示装置11202的操作。进一步地，例如，CCU 11201接收来自摄像机头11102的图像信号，并对图像信号执行如显影处理(去马赛克处理)等各种图像处理以显示基于图像信号的图像。
显示装置11202在CCU 11201的控制下显示基于已经由CCU 11201进行过图像处理的图像信号的图像。
例如，光源装置11203由如发光二极管(LED)等光源实现并将对手术部位成像时的照射光提供给内窥镜11100。
输入装置11204是内窥镜手术***11000的输入接口。使用者可以通过输入装置11204向内窥镜手术***11000输入各种信息或指令。例如，使用者会输入改变内窥镜11100的成像条件(照射光的类型、放大率、焦距等)的指令等。
治疗工具控制装置11205控制能量治疗工具11112的驱动以烧灼或切开组织、封闭血管等。气腹装置11206通过气腹管11111将气体供给到患者11132的体腔内以使体腔膨胀以便确保内窥镜11100的视野并确保手术者的工作空间。记录器11207能够记录与手术相关的各种信息。打印机11208能够以如文本、图像或图形等各种格式打印与手术相关的各种信息。
需要注意的是，在拍摄手术部位的图像时将照射光提供给内窥镜11100的光源装置11203可以包括例如，由LED、激光光源或者它们的组合实现的白光光源。在白光光源由RGB激光光源的组合实现的情况下，可以高精度地控制每种颜色(每个波长)的输出强度和输出时序，并且因此，在光源装置11203中可以执行所拍摄的图像的白平衡调整。此外，在这种情况下，用来自RGB激光光源中的每一种的激光束以时分方式照射观察目标并且与照射时序同步地控制摄像机头11102的成像元件的驱动，以便可以以时分方式拍摄与RGB中的每一种相对应的图像。通过这种方法，在没有在成像元件中设置滤色器的情况下，也可以获得彩色图像。
此外，可以控制光源装置11203的驱动以便每隔预定的时间改变将要输出的光的强度。通过与光强度的改变时序同步控制摄像机头11102的成像元件的驱动来以时分的方式获取图像，并且通过合成图像可以生成高动态范围的图像，而该图像不会存在所谓的曝光不足和曝光过度。
此外，光源装置11203可以配置成能够提供对应于特殊光观察的预定波长带的光。例如，在特殊光观察中，例如，通过利用身体组织的光吸收的波长依赖性，执行其中对身体组织照射与普通观察时的照射光(即，白色光)相比窄带的光的所谓的窄带成像，使得以高对比度对如黏膜表层部分的诸如血管等预定组织进行成像。可选择地，在特殊光观察中，可以执行使用通过照射激发光生成的荧光获得图像的荧光观察。在荧光观察中，可以通过利用激发光照射身体组织并观察来自身体组织的荧光(自发荧光观察)，或可以通过将如吲哚菁绿(indocyanine green:ICG)等试剂局部注射到身体组织内并将与试剂的荧光波长相对应的激发光照射在身体组织上来获得荧光图像。光源装置11203可以配置成能够提供与这种特殊光观察相对应的窄带光和/或激发光。
图32是示出了图31中所示出的摄像机头11102和CCU 11201的功能构成的示例的框图。
摄像机头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像机头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像机头11102和CCU 11201通过传输电缆11400彼此可通信地连接。
透镜单元11401是设置在与透镜镜筒11101的连接部的光学***。从透镜镜筒11101的远端进入的观察光被引导到摄像机头11102并引入透镜单元11401中。透镜单元11401由包括变焦透镜和聚焦透镜的多个透镜的组合实现。
成像单元11402包括成像元件。构成成像单元11402的成像元件的数量可以是一个(所谓的单板型)或多个(所谓的多板型)。例如，在成像单元11402配置为多板型的情况下，可以通过各个成像元件生成与R、G和B相对应的图像信号，并且可以合成图像信号以获得彩色图像。可选择地，成像单元11402可以包括用于分别获取与三维(3D)显示相对应的右眼图像信号和左眼图像信号的一对成像元件。通过执行三维(3D)显示，手术者11131可以更精确地掌握手术部位活体组织的深度。需要指出的是，在成像单元11402配置为多板型的情况下，可以对应于各个成像元件设置多个透镜单元11401***。
此外，成像单元11402不一定必须设置在摄像机头11102中。例如，成像单元11402可以设置在透镜镜筒11101内部物镜的正后方。
驱动单元11403由致动器实现，并且在摄像机头控制单元11405的控制下使透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定的距离。因此，可以适当地调整由成像单元11402拍摄的图像的放大率和焦点。
通信单元11404由用于向CCU 11201发送和从CCU 11201接收各种信息的通信装置实现。通信单元11404通过传输电缆11400将从成像单元11402获取的图像信号作为RAW数据传输到CCU 11201。
此外，通信单元11404从CCU 11201接收用于控制摄像机头11102的驱动的控制信号，并将控制信号提供给摄像机头控制单元11405。例如，控制信号包括与成像条件相关的信息，如指定拍摄的图像的帧速率的信息、指定拍摄图像时的曝光值的信息和/或指定拍摄的图像的放大率和焦点的信息。
需要注意的是，如帧速率、曝光值、放大率或焦点等成像条件可以由使用者适当指定或可以由CCU 11201的控制单元11413基于获取的图像信号自动设定。在后一种情况下，内窥镜11100具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像机头控制单元11405基于通过通信单元11404从CCU 11201接收的控制信号控制摄像机头11102的驱动。
通信单元11411由用于向摄像机头11102发送和从摄像机头11102接收各种信息的通信装置实现。通信单元11411接收通过传输电缆11400从摄像机头11102传输到其上的图像信号。
此外，通信单元11411将用于控制摄像机头11102的驱动的控制信号传输到摄像机头11102。可以通过电通信、光学通信等传输图像信号和控制信号。
图像处理单元11412对从摄像机头11102传输到其上的作为RAW数据的图像信号执行各种图像处理。
控制单元11413执行与由内窥镜11100对手术部位等进行成像和通过对手术部位等进行成像获得的拍摄图像的显示相关的各种控制。例如，控制单元11413生成用于控制摄像机头11102的驱动的控制信号。
此外，控制单元11413基于已经由图像处理单元11412进行过图像处理的图像信号使显示装置11202显示其中对手术部位等进行成像的获得拍摄图像。此时，控制单元11413可以使用各种图像识别技术来识别拍摄的图像中的各种物体。例如，控制单元11413可以检测拍摄的图像中所包含的物体的边缘的形状、颜色等，从而识别例如手术钳等手术工具、特定的活体区域、出血、使用能量治疗工具11112时的雾等。控制单元11413当在显示装置11202显示拍摄的图像时，可以使用识别的结果使各种手术支持信息叠加在手术部位的图像上。通过以叠加的方式显示手术支持信息并将其呈现给手术者11131，可以减轻手术者11131的负担并且手术者11131可以可靠地进行手术。
连接摄像机头11102和CCU 11201的传输电缆11400是支持电信号通信的电信号电缆、支持光学通信的光纤或者它们的复合电缆。
这里，在所示出的示例中，使用传输电缆11400执行有线通信，但是摄像机头11102和CCU 11201之间的通信可以通过无线进行。
在上文中，已经描述了可以应用根据本公开的技术的内窥镜手术***的示例。根据本公开的技术可以应用于上述的配置中的例如内窥镜11100和摄像机头11102的成像单元11402。具体地，上述的成像元件可以应用于成像单元10112。
应用根据本公开的成像元件的成像单元10112可以就是否以其中可以进行高速读出并且SNR较高的加法模式或者其中分辨率较高的个体模式执行成像单元12031中包括的像素阵列中的像素的读出给出指令。因此，例如，手术者11131可以获得根据手术部位和手术部位的状况的拍摄的图像。因此，例如，手术者11131可以更可靠地继续进行手术，并且可以实现省电。
需要注意的是，这里，作为示例已经描述了内窥镜手术***，但是根据本公开的技术还可以应用于，例如，显微镜手术***等。
需要注意的是，在本说明书中描述的效果仅是示例。本公开的效果不限于此，并且可以获得其他效果。
需要注意的是，本技术也可以具有以下配置。
(1)一种成像装置，包括：
成像单元，所述成像单元包括像素阵列，所述像素阵列包括多个像素组，每一个所述像素组都包括N×N个像素(N为2以上的整数)，并且所述成像单元输出从每一个像素读出的像素信号；和
切换单元，所述切换单元切换从所述成像单元的每一个所述像素读出所述像素信号的读出模式，其中
所述切换单元在加法模式和个体模式之间切换所述读出模式，在所述加法模式中将从所述像素组中包括的所述N×N个像素读出的所述像素信号相加以形成一个像素信号，在所述个体模式中分别输出从所述像素组中包括的所述N×N个像素读出的所述像素信号中的每一个。
(2)根据上述(1)所述的成像装置，其中
所述成像装置安装在车辆上，并且
所述切换单元基于从所述车辆获取的车辆信息切换所述读出模式。
(3)根据上述(2)所述的成像装置，其中
所述切换单元根据作为所述车辆信息获取的所述车辆的速度切换所述读出模式。
(4)根据上述(2)或者(3)所述的成像装置，其中
所述切换单元根据作为所述车辆信息获取的所述车辆周围的亮度切换所述读出模式。
(5)根据上述(2)至(4)中任一项所述的成像装置，其中
在作为所述车辆信息获取的所述车辆的速度等于或者高于预定值并且作为所述车辆信息获取的所述车辆周围的亮度等于或者高于预定值的情况下，所述切换单元将所述读出模式切换到所述个体模式。
(6)根据上述(1)至(5)中任一项所述的成像装置，其中
所述切换单元根据基于所述像素信号的帧图像的区域切换所述读出模式。
(7)根据上述(6)所述的成像装置，其中
所述切换单元对于所述帧图像的中央部分的预定区域将所述读出模式切换到所述个体模式，并且对于所述帧图像的除所述预定区域之外的区域将所述读出模式切换到所述加法模式。
(8)根据上述(1)至(7)中任一项所述的成像装置，其中
所述切换单元基于包括在基于所述像素信号的帧图像中的对象切换所述读出模式。
(9)根据上述(8)所述的成像装置，其中
在所述帧图像中包括特定对象的情况下，所述切换单元对于所述帧图像中包括所述特定对象的特定区域和除所述特定区域以外的区域执行所述读出模式的切换。
(10)根据上述(9)所述的成像装置，其中
所述的成像装置安装在车辆上并且使用，并且
所述切换单元对于包括所述特定对象的所述特定区域将所述读出模式切换到所述个体模式，所述特定对象为交通信号灯、交通标志、对向车辆或者行人中的至少一种。
(11)根据(1)至(10)中任一项所述的成像装置，其中
所述切换单元通过控制所述像素阵列中包括的所述像素的读出来切换所述读出模式。
(12)根据上述(1)至(10)中任一项所述的成像装置，其中
所述切换单元通过控制对由所述成像单元输出的所述像素信号的图像处理来切换所述读出模式。
(13)根据上述(1)至(12)中任一项所述的成像装置，进一步地包括
合成单元，其对基于来自以第一曝光时间曝光的所述像素的第一像素信号的第一图像和基于来自以第二曝光时间曝光的所述像素的第二像素信号的第二图像进行合成，所述第二曝光时间在以所述第一曝光时间执行的所述曝光之后。
(14)根据上述(1)至(13)中任一项所述的成像装置，其中
在所述像素阵列中，所述多个像素组包括：
第一像素组，其接收透过第一滤光器的光；
第二像素组，其接收透过第二滤光器的光；和
第三像素组，其接收透过第三滤光器的光，并且
所述第一像素组、所述第二像素组和所述第三像素组布置成使得所述第一像素组、所述第二像素组和所述第三像素组中不同的像素组彼此相邻。
(15)根据上述(14)所述的成像装置，进一步地包括
再马赛克处理单元，其用于在所述读出模式为所述个体模式的情况下执行再马赛克处理，将所述第一像素组、所述第二像素组和所述第三像素组中的每一个中包括的每一个像素转换成具有与每一个像素的位置相对应的特性的像素。
附图标记列表
1 成像装置
10 成像单元
12 图象处理单元
13 输出处理单元
14，22 控制单元
15 车辆信息获取单元
110，110a 像素阵列单元
201L，201M，201S 处理切换开关
202L，202M，202S 像素加法单元
203L，203M，203S 再马赛克处理单元
204L，204M，204S 选择器
220 检测单元
1200，1200a，1200b 像素处理单元
1201 HDR合成处理单元

Claims (15)

1.一种成像装置，包括：
成像单元，所述成像单元包括像素阵列，所述像素阵列包括多个像素组，每一个所述像素组都包括N×N个像素(N为2以上的整数)，并且所述成像单元输出从每一个像素读出的像素信号；和
切换单元，所述切换单元切换从所述成像单元的每一个所述像素读出所述像素信号的读出模式，其中
所述切换单元在加法模式和个体模式之间切换所述读出模式，在所述加法模式中将从所述像素组中包括的所述N×N个像素读出的所述像素信号相加以形成一个像素信号，在所述个体模式中分别输出从所述像素组中包括的所述N×N个像素读出的所述像素信号中的每一个。
2.根据权利要求1所述的成像装置，其中
所述成像装置安装在车辆上，并且
所述切换单元基于从所述车辆获取的车辆信息切换所述读出模式。
3.根据权利要求2的所述的成像装置，其中
所述切换单元根据作为所述车辆信息获取的所述车辆的速度切换所述读出模式。
4.根据权利要求2所述的成像装置，其中
所述切换单元根据作为所述车辆信息获取的所述车辆周围的亮度切换所述读出模式。
5.根据权利要求2所述的成像装置，其中
在作为所述车辆信息获取的所述车辆的速度等于或者高于预定值并且作为所述车辆信息获取的所述车辆周围的亮度等于或者高于预定值的情况下，所述切换单元将所述读出模式切换到所述个体模式。
6.根据权利要求1所述的成像装置，其中
所述切换单元根据基于所述像素信号的帧图像的区域切换所述读出模式。
7.根据权利要求6所述的成像装置，其中
所述切换单元对于所述帧图像的中央部分的预定区域将所述读出模式切换到所述个体模式，并且对于所述帧图像的除所述预定区域之外的区域将所述读出模式切换到所述加法模式。
8.根据权利要求1所述的成像装置，其中
所述切换单元基于包括在基于所述像素信号的帧图像中的对象切换所述读出模式。
9.根据权利要求8的所述的成像装置，其中
在所述帧图像中包括特定对象的情况下，所述切换单元对于所述帧图像中包括所述特定对象的特定区域和除所述特定区域以外的区域执行所述读出模式的切换。
10.根据权利要求9所述的成像装置，其中
所述的成像装置安装在车辆上并且使用，并且
所述切换单元对于包括所述特定对象的所述特定区域将所述读出模式切换到所述个体模式，所述特定对象为交通信号灯、交通标志、对向车辆或者行人中的至少一种。
11.根据权利要求1所述的成像装置，其中
所述切换单元通过控制所述像素阵列中包括的所述像素的读出来切换所述读出模式。
12.根据权利要求1所述的成像装置，其中
所述切换单元通过控制对由所述成像单元输出的所述像素信号的图像处理来切换所述读出模式。
13.根据权利要求1所述的成像装置，进一步地包括：
合成单元，其对基于来自以第一曝光时间曝光的所述像素的第一像素信号的第一图像和基于来自以第二曝光时间曝光的所述像素的第二像素信号的第二图像进行合成，所述第二曝光时间在以所述第一曝光时间执行的所述曝光之后。
14.根据权利要求1所述的成像装置，其中
在所述像素阵列中，所述多个像素组包括：
第一像素组，其接收透过第一滤光器的光；
第二像素组，其接收透过第二滤光器的光；和
第三像素组，其接收透过第三滤光器的光，并且
所述第一像素组、所述第二像素组和所述第三像素组布置成使得所述第一像素组、所述第二像素组和所述第三像素组中不同的像素组彼此相邻。
15.根据权利要求14所述的成像装置，进一步地包括
再马赛克处理单元，其用于在所述读出模式为所述个体模式的情况下执行再马赛克处理，将所述第一像素组、所述第二像素组和所述第三像素组中的每一个中包括的每一个像素转换成具有与每一个像素的位置相对应的特性的像素。
CN202080056525.0A 2019-09-24 2020-09-16 成像装置 Pending CN114208154A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019173428 2019-09-24
JP2019-173428 2019-09-24
PCT/JP2020/035160 WO2021060120A1 (ja) 2019-09-24 2020-09-16 撮像装置

Publications (1)

Publication Number Publication Date
CN114208154A true CN114208154A (zh) 2022-03-18

Family

ID=75166649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056525.0A Pending CN114208154A (zh) 2019-09-24 2020-09-16 成像装置

Country Status (7)

Country Link
US (1) US11936979B2 (zh)
EP (1) EP4035942A4 (zh)
JP (1) JPWO2021060120A1 (zh)
KR (1) KR20220068990A (zh)
CN (1) CN114208154A (zh)
TW (1) TW202130163A (zh)
WO (1) WO2021060120A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015061260A (ja) * 2013-09-20 2015-03-30 株式会社ニコン 撮像装置および撮像処理プログラム
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
KR101629825B1 (ko) 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
EP3229172A1 (en) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
CN109076163B (zh) * 2016-04-27 2021-08-31 索尼公司 成像控制装置、成像控制方法以及成像装置
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
JP2018117220A (ja) * 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP7099446B2 (ja) * 2017-04-25 2022-07-12 ソニーグループ株式会社 固体撮像装置および電子機器
WO2018207210A1 (en) * 2017-05-10 2018-11-15 Lightmetrics Technologies Pvt. Ltd. Vehicle monitoring system and method using a connected camera architecture
US10848670B2 (en) * 2017-06-19 2020-11-24 Amazon Technologies, Inc. Camera systems adapted for installation in a vehicle
JP7171199B2 (ja) * 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN109934952B (zh) * 2017-12-18 2021-05-11 华创车电技术中心股份有限公司 车载行车影像图像数据建立***
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Also Published As

Publication number Publication date
US11936979B2 (en) 2024-03-19
WO2021060120A1 (ja) 2021-04-01
EP4035942A1 (en) 2022-08-03
TW202130163A (zh) 2021-08-01
JPWO2021060120A1 (zh) 2021-04-01
US20220345606A1 (en) 2022-10-27
EP4035942A4 (en) 2022-11-30
KR20220068990A (ko) 2022-05-26

Similar Documents

Publication Publication Date Title
EP4035942A1 (en) Imaging device
US10841520B2 (en) Solid-state imaging device and electronic device
EP3833015A1 (en) Solid-state imaging device
US11606518B2 (en) Imaging apparatus and electronic equipment
JP7520804B2 (ja) 信号処理方法および撮像装置
US11843883B2 (en) Solid-state imaging device and electronic device
US11457169B2 (en) Solid-state imaging element and electronic equipment
US20230127881A1 (en) Solid-state imaging device and electronic equipment
US20210029331A1 (en) Image processor, image processing method, and imaging device
JP7034925B2 (ja) 固体撮像装置および撮像方法
US20230343802A1 (en) Solid-state imaging device and electronic device
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2022202277A1 (ja) 固体撮像装置、電子機器及び固体撮像装置の制御方法
TW202138848A (zh) 攝像裝置及電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination