CN115280759A - 固态成像装置 - Google Patents

固态成像装置 Download PDF

Info

Publication number
CN115280759A
CN115280759A CN202180020032.6A CN202180020032A CN115280759A CN 115280759 A CN115280759 A CN 115280759A CN 202180020032 A CN202180020032 A CN 202180020032A CN 115280759 A CN115280759 A CN 115280759A
Authority
CN
China
Prior art keywords
processing
image data
imaging
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020032.6A
Other languages
English (en)
Inventor
奥池和幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN115280759A publication Critical patent/CN115280759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种固态成像装置包括：成像部，获取图像数据；以及控制部，根据对图像数据的DNN处理的时间来改变读出图像数据的时间。

Description

固态成像装置
技术领域
本公开涉及一种固态成像装置。
背景技术
具有互补金属氧化物半导体(CMOS)和数字信号处理器(DSP)的图像传感器安装在由数字相机等代表的设备上。在图像传感器中，捕获的图像被提供给DSP，在DSP中经历各种处理，并且被输出到诸如应用处理器的外部装置。
引用列表
专利文献
专利文献1：WO 2018/051809 A
发明内容
本发明要解决的问题
然而，在上述技术中，在DSP执行重负荷处理或者执行高速图像数据读出的情况下，可能存在DSP的处理在诸如一个帧周期的预定时段内未完成并且DSP不能适当地执行处理的情况。
因此，本公开提出了一种能够适当地执行处理的固态成像装置。
问题的解决方案
根据本公开的一方面的固态成像装置包括：成像部，获取图像数据；以及控制部，根据对图像数据的DNN处理的时间来改变读出图像数据的时间。
附图说明
图1是示出根据实施方式的数码相机的配置实例的框图。
图2是示出根据实施方式的成像装置的配置实例的框图。
图3是示出了成像装置2的外观配置实例的概况的透视图。
图4是用于描述比较例的处理模式的示图。
图5是用于描述根据实施方式的第一处理模式的示图。
图6是用于描述根据实施方式的第二处理模式的示图。
图7是用于描述根据实施方式的第三处理模式的示图。
图8是用于描述根据实施方式的第四处理模式的示图。
图9是示出基于DNN处理的结果的成像控制处理的过程的实例的流程图。
图10是示出基于DNN处理的结果的成像控制处理的处理的第一实例的过程的实例的流程图。
图11是用于描述用于改变图像读出的时间的方法的示图。
图12是示出控制AD位或合并处理的过程的流程图。
图13A是用于描述改变捕获的图像的分辨率的处理的示图。
图13B是用于描述改变捕获的图像的分辨率的处理的示图。
图13C是用于描述改变捕获的图像的分辨率的处理的示图。
图13D是用于描述改变捕获的图像的分辨率的处理的示图。
图13E是用于描述改变捕获的图像的分辨率的处理的示图。
图14A是用于描述读出ROI的方法的示图。
图14B是用于描述读出ROI的方法的示图。
图15是示出根据DNN处理的结果控制FPS的处理的过程的实例的流程图。
图16A是用于描述改变FPS的方法的实例的示图。
图16B是用于描述改变FPS的方法的实例的示图。
图17是用于描述关键点处理作为改变FPS的方法的实例的示图。
具体实施方式
在下文中，基于附图详细描述本公开的实施方式。另外，在以下的实施方式中，对相同部分标注相同标号并省略重复说明。
注意，按照以下顺序给出描述。
1.概述
1-1.数码相机的配置实例
1-2.成像装置的配置实例
1-3.成像装置的外观配置实例
2.比较例
2-1.比较例的处理模式
3.实施方式
3-1.第一种处理模式
3-2.第二处理模式
3-3.第三种处理模式
3-4.第四种处理模式
3-5.成像控制处理
3-6.分辨率控制
3-7.ROI控制
3-8.FPS控制
3-9.类别分类
3-10.关键点处理
4.效果
<1.概述>
[1-1.数码相机的配置实例]
<应用本技术的数码相机的一个实施方式>
图1是示出应用本技术的数码相机的实施方式的配置实例的框图。
注意，数码相机可以捕获静态图像和运动图像两者。
在图1中，数码相机包括光学***1、成像装置2、存储器3、信号处理部4、输出部5以及控制部6。
光学***1包括例如未示出的变焦透镜、聚焦透镜、光圈等，并且使来自外部的光入射到成像装置2上。
成像装置2是例如通过使用一个芯片形成的互补金属氧化物半导体(CMOS)图像传感器，并且从光学***1接收入射光，执行光电转换，并且输出对应于来自光学***1的入射光的图像数据。
此外，成像装置2使用图像数据等来执行例如识别预定识别对象的识别处理和其他信号处理，并且输出信号处理的信号处理结果。
存储器3临时存储由成像装置2输出的图像数据等。
信号处理部4根据需要使用存储在存储器3中的图像数据执行诸如去噪和白平衡调整等处理作为相机信号处理，并且将结果提供至输出部5。
输出部5输出来自信号处理部4的图像数据或者存储在存储器3中的信号处理结果。
即，输出部5包括例如包括液晶等的显示器(未示出)，并且显示与来自信号处理部4的图像数据对应的图像作为所谓的直通(through)图像。
此外，输出部5包括例如驱动器(未示出)，该驱动器驱动诸如半导体存储器、磁盘或光盘的记录介质，并且将来自信号处理部4的图像数据或存储在存储器3中的信号处理结果记录在记录介质上。
此外，输出部5用作例如与外部装置执行数据传输的接口(I/F)，并且将来自信号处理部4的图像数据、记录在记录介质上的图像数据等传输至外部装置。
控制部6根据用户的操作等控制包括在数码相机中的每个块。
在以上述方式配置的数码相机中，成像装置2捕获图像。即，成像装置2从光学***1接收入射光，执行光电转换，获取与入射光对应的图像数据，并且输出图像数据。
由成像装置2输出的图像数据被提供给存储器3并存储在存储器3中。通过信号处理部4对存储在存储器3中的图像数据进行相机信号处理，并且将所产生的图像数据提供给输出部5并输出。
此外，成像装置2通过使用通过成像获得的图像(数据)等执行信号处理，并且输出信号处理的信号处理结果。由成像装置2输出的信号处理结果例如存储在存储器3中。
在成像装置2中，选择性地执行通过成像获得的图像本身的输出和使用图像的信号处理的信号处理结果等的输出。
[1-2.成像装置的配置实例]
图2是示出图1的成像装置2的配置实例的框图。
在图2中，成像装置2包括成像块20和信号处理块30。成像块20和信号处理块30通过连接线(内部总线)CL1、CL2和CL3电连接。
成像块20包括成像部21、成像处理部22、输出控制部23、输出接口(I/F)24以及成像控制部25，并且捕获图像。
成像部21包括二维布置的多个像素。成像部21由成像处理部22驱动，并且捕获图像。
即，来自光学***1(图1)的光入射在成像部21上。在每个像素中，成像部21接收来自光学***1的入射光，执行光电转换，并且输出对应于入射光的模拟图像信号。
要注意的是，例如，可从多个尺寸(例如，12M(3968×2976)像素和视频图形阵列(VGA)尺寸(640×480像素))中选择由成像部21输出的图像(信号)的尺寸。
此外，例如，可以从RGB(红色、绿色以及蓝色)的彩色图像和仅亮度的单色图像中选择由成像部21输出的图像的类型。
这些选择中的每个可以作为成像模式的一种设置来执行。
成像处理部22根据成像控制部25的控制，执行与成像部21中的图像捕获相关的成像处理，诸如成像部21的驱动、由成像部21输出的模拟图像信号的模数(AD)转换、或者成像信号处理。
此处，成像信号处理的实例包括以下处理：对于由成像部21输出的图像，通过诸如计算每个小区域的像素值的平均值的方法获得每个预定小区域的亮度；将由成像部21输出的图像转换成高动态范围(HDR)图像的处理；缺陷校正；显影等。
成像处理部22输出通过由成像部21输出的模拟图像信号的AD转换等获得的数字图像信号(此处，例如，12M像素或VGA尺寸的图像)作为捕获的图像。
由成像处理部22输出的捕获的图像被提供给输出控制部23，并且还经由连接线CL2被提供给信号处理块30的图像压缩部35。
从成像处理部22向输出控制部23提供捕获的图像，并且经由连接线CL3从信号处理块30提供使用捕获的图像等的信号处理的信号处理结果。
输出控制部23执行使来自成像处理部22的捕获的图像和来自信号处理块30的信号处理结果选择性地从(一个)输出I/F 24输出至外部(例如，图1的存储器3等)的输出控制。
即，输出控制部23选择来自成像处理部22的捕获的图像或者来自信号处理块30的信号处理结果，并且将所选择的事物提供给输出I/F 24。
输出I/F 24是向外部输出从输出控制部23提供的捕获的图像和信号处理结果的I/F。例如，可以使用诸如移动行业处理器接口(MIPI)等相对高速的并行I/F作为输出I/F24。
在输出I/F 24上，根据输出控制部23的输出控制，将来自成像处理部22的捕获的图像或来自信号处理块30的信号处理结果输出至外部。因此，例如，在外部仅需要来自信号处理块30的信号处理结果并且不需要捕获的图像本身的情况下，可以仅输出信号处理结果，并且可以减少从输出I/F 24输出至外部的数据量。
此外，通过在信号处理块30中执行提供外部所需的信号处理结果的信号处理并且从输出I/F 24输出处理的信号处理结果，消除了在外部执行信号处理的必要性，并且可以减少外部块的负荷。
成像控制部25包括通信I/F 26和寄存器组27。
例如，通信I/F 26是诸如串行通信I/F(诸如，内部集成电路(12C))的第一通信I/F，并且与外部(例如，图1的控制部6等)交换诸如从寄存器组27读出或写入寄存器组27的信息的必要信息。
寄存器组27包括多个寄存器，并且存储与成像部21中的图像捕获有关的成像信息和各种其他信息。
例如，寄存器组27存储在通信I/F 26上从外部接收到的成像信息以及成像处理部22中的成像信号处理的结果(例如，成像图像的各小区域的亮度等)。
存储在寄存器组27中的成像信息的实例包括ISO感光度(在成像处理部22中的AD转换时的模拟增益)、曝光时间(快门速度)、帧速率、焦点、成像模式、剪切范围等。(或指示它们的信息)。
成像模式的实例包括手动设置曝光时间、帧速率等的手动模式以及根据场景自动设置曝光时间和帧速率的自动模式。自动模式的实例包括与各种成像场景(例如，夜晚场景和人的面部)对应的模式。
此外，剪切范围是指在成像处理部22剪切由成像部21输出的图像的一部分并且输出该部分作为捕获的图像的情况下，从由成像部21输出的图像剪切的范围。通过指定剪切范围，例如，可以从由成像部21输出的图像中仅剪切存在人的范围等。要注意的是，作为图像剪切，存在从由成像部21输出的图像中进行剪切的方法，并且此外，存在从成像部21仅读出剪切范围的图像(信号)的方法。
成像控制部25根据寄存器组27中存储的成像信息来控制成像处理部22，由此控制成像部21中的图像的捕获。
此外，寄存器组27能够存储成像信息以及成像处理部22中的成像信号处理的结果，并且还能够存储与输出控制部23中的输出控制有关的输出控制信息。输出控制部23能够根据寄存器组27中存储的输出控制信息，进行使成像图像和信号处理结果选择性地输出的输出控制。
此外，在成像装置2中，成像控制部25和信号处理块30的中央处理单元(CPU)31通过连接线CL1连接，并且CPU 31可以经由连接线CL1对寄存器组27进行信息的读出和写入。
即，在成像装置2中，不仅能够从通信I/F 26对寄存器组27进行信息的读出、写入，还能够从CPU 31对寄存器组27进行信息的读出、写入。
信号处理块30包括CPU 31、数字信号处理器(DSP)32、存储器33、通信I/F 34、图像压缩部35以及输入I/F 36，并且通过使用在成像块20中获得的捕获的图像等进行预定的信号处理。
包括在信号处理块30中的CPU 31至输入I/F 36经由总线彼此连接，并且可根据需要交换信息。
CPU 31执行存储在存储器33中的程序，以执行信号处理块30的控制、经由连接线CL1对成像控制部25的寄存器组27进行信息的读出和写入、以及各种其他处理。CPU 31也被称为控制部。
例如，CPU 31通过执行程序，用作成像信息计算部，该成像信息计算部通过使用由DSP 32中的信号处理所获得的信号处理结果来计算成像信息；并且将通过使用信号处理结果计算的新的成像信息经由连接线CL1反馈给成像控制部25的寄存器组27，并且使寄存器组27存储新的成像信息。
因此，作为结果，CPU 31能够根据成像图像的信号处理结果对成像部21的成像和成像处理部22的成像信号处理进行控制。
此外，能够从通信I/F 26向外部提供(输出)CPU 31使寄存器组27存储的成像信息。例如，可以将存储在寄存器组27中的成像信息中的聚焦信息从通信I/F 26提供给控制聚焦的聚焦驱动器(未示出)。
通过执行存储在存储器33中的程序，DSP 32用作信号处理部，该信号处理部使用经由连接线CL2从成像处理部22提供给信号处理块30的捕获的图像或者通过输入I/F 36从外部接收的信息进行信号处理。
通过读出并执行预先经受教师数据的学习并作为学习模型存储在存储器33中的程序，DSP 32使用深度神经网络(DNN)执行识别处理。即，DSP 32被配置为机器学习部。
存储器33包括静态随机存取存储器(SRAM)、动态RAM(DRAM)等，并且存储信号处理块30的处理所需的数据等。
例如，存储器33存储在通信I/F 34上从外部接收的程序、在图像压缩部35中压缩并且用于DSP 32中的信号处理的捕获的图像、在DSP 32中执行的信号处理的信号处理结果、通过输入I/F 36接收的信息等。
例如，通信I/F 34是诸如串行***接口(SPI)的串行通信I/F的第二通信I/F，并且与外部(例如，图1的存储器3或控制部6等)交换诸如由CPU 31或DSP 32执行的程序的必要信息。
例如，通信I/F 34从外部下载由CPU 31或DSP 32执行的程序，将该程序提供至存储器33，并且使存储器33存储该程序。
因此，能够通过由通信I/F 34下载的程序在CPU 31或DSP 32中执行各种处理。
注意，通信I/F 34可以与外部交换程序以及任意数据。例如，通信I/F 34可将通过DSP 32中的信号处理所获得的信号处理结果输出至外部。此外，通信I/F 34能够根据CPU31的指令向外部装置输出信息，以根据CPU 31的指令控制外部装置。
这里，通过DSP 32中的信号处理所获得的信号处理结果可以从通信I/F 34输出至外部，并且此外，可以通过CPU 31将信号处理结果写入成像控制部25的寄存器组27中。写入寄存器组27的信号处理结果可以从通信I/F 26输出到外部。这同样适用于在CPU 31中进行的处理的处理结果。
成像处理部22经由连接线CL2将捕获的图像提供给图像压缩部35。图像压缩部35执行用于压缩捕获的图像的压缩处理，生成数据量比捕获的图像少的压缩图像。
在图像压缩部35中生成的压缩图像经由总线提供给存储器33并被存储。
这里，DSP 32中的信号处理可以通过使用捕获的图像本身来执行，或者可以通过使用从图像压缩部35中的捕获的图像生成的压缩图像来执行。由于压缩图像的数据量小于捕获的图像的数据量，因此DSP 32中的信号处理的负荷可减小，并且存储压缩图像的存储器33的存储容量可节省。
作为图像压缩部35中的压缩处理，例如，可执行将12M(3968×2976)像素的捕获图像转换成VGA尺寸的图像的按比例缩小。此外，在对亮度执行DSP 32中的信号处理并且捕获的图像是RGB图像的情况下，可以执行将RGB图像转换为例如YUV图像的YUV转换作为压缩处理。
另外，图像压缩部35可以使用软件来获得，也可以使用专用的硬件来获得。
输入I/F 36是从外部接收信息的I/F。例如，输入I/F 36从外部传感器接收外部传感器的输出(外部传感器输出)，经由总线将输出提供至存储器33，并且使存储器33存储输出。
例如，可类似于输出I/F 24，使用诸如移动行业处理器接口(MIPI)等的并行I/F作为输入I/F 36。
此外，作为外部传感器，例如，可以使用感测关于距离的信息的距离传感器；此外，作为外部传感器，例如，可以使用感测光并且输出对应于该光的图像的图像传感器，即，不同于成像装置2的图像传感器。
DSP 32可以通过使用捕获的图像(或从其生成的压缩图像)或通过使用外部传感器输出来执行信号处理，该外部传感器输出由输入I/F 36从如上所述的外部传感器接收并存储在存储器33中。
在以上述方式配置的单芯片式成像装置2中，在DSP 32中进行使用通过在成像部21中成像而获得的捕获的图像(或从其生成的压缩图像)的信号处理，并且从输出I/F 24中选择性地输出信号处理的信号处理结果和捕获图像。因此，能够以小尺寸配置输出用户所需的信息的成像装置。
在此处，在成像装置2内不进行DSP 32的信号处理，因此，不输出信号处理结果，但是从成像装置2输出捕获的图像的情况下，即，在成像装置2被配置为仅仅捕获和输出图像的图像传感器的情况下，成像装置2可仅仅包括成像块20，该成像块不包括输出控制部23。
[1-3.成像装置的外观配置实例]
图3是示出了图1的成像装置2的外观配置实例的概述的透视图。
例如，如图3所示，成像装置2可被配置为具有堆叠多个裸片的堆叠结构的单芯片半导体设备。
在图3中，通过堆叠裸片51和52中的两个裸片来配置成像装置2。
在图3中，成像部21安装在上芯片51上，并且成像处理部22到成像控制部25以及CPU 31到输入I/F 36安装在下裸片52上。
上裸片51和下裸片52例如通过形成贯通裸片51并到达裸片52的贯通孔，或者进行将暴露于裸片51的下表面侧的Cu布线与暴露于裸片52的上表面侧的Cu布线直接连接的Cu-Cu接合等来电连接。
此处，在成像处理部22中，例如，列平行AD***或者区域AD***可用作用于执行由成像部21输出的图像信号的AD转换的***。
在列并行AD***中，例如，为包括在成像部21中的像素列设置模数转换器(ADC)，并且每列的ADC负责该列的像素的像素信号的AD转换；因此，并行执行一行的各列的像素的图像信号的AD转换。在采用列并行AD***的情况下，执行列并行AD***的AD转换的成像处理部22的一部分可安装在上裸片51上。
在区域AD***中，包括在成像部21中的像素被分成多个块，并且为每个块设置ADC。然后，每个块的ADC负责块的像素的像素信号的AD转换，并且因此并行执行多个块的像素的图像信号的AD转换。在区域AD***中，图像信号的AD转换(读出和AD转换)可以以块作为最小单位仅对包括在成像部21中的像素中的必要像素执行。
要注意的是，如果允许成像装置2的面积更大，那么可通过使用一个裸片配置成像装置2。
此外，虽然在图3中堆叠两个裸片51和52以配置单芯片式成像装置2，但是单芯片式成像装置2可以通过堆叠三个或更多个裸片而配置。例如，在堆叠三个裸片以配置单芯片式成像装置2的情况下，图3的存储器33可以安装在另一个裸片上。
这里，与以堆叠结构配置的单片式成像装置2相比，传感器芯片、存储器芯片和DSP芯片通过多个凸块并行连接的成像装置(在下文中，也称为凸块连接的成像装置)涉及厚度的大幅增加和尺寸的增加。
而且，由于凸块的连接部分中的信号劣化等，凸块连接的成像装置难以确保从成像处理部22向输出控制部23输出捕获的图像的足够速率。
通过使用层叠结构的成像装置2，能够防止上述装置的大型化，但是不能够确保成像处理部22与输出控制部23之间的足够的速率。
因此，通过使用层叠结构的成像装置2，可以以小尺寸配置输出用户所需的信息的成像装置。
在用户需要的信息是捕获的图像的情况下，成像装置2可以输出捕获的图像。
此外，在通过使用捕获的图像的信号处理获得用户所需要的信息的情况下，通过在DSP 32中执行信号处理，成像装置2可获得并输出信号处理结果作为用户所需要的信息。
作为在成像装置2中执行的信号处理，即，DSP 32的信号处理，例如，可采用从捕获的图像识别预定识别对象的识别处理。
<2.比较例>
[2-1.比较例的处理模式]
在描述本公开的实施方式之前，描述根据比较例的处理模式。图4是用于描述根据比较例的处理模式的示图。
如图4所示，CPU 31在从成像部21执行图像读出的处理的同时将使能信号保持为低，并且如果图像读出处理结束，则将使能信号变为高。当检测到使能信号变为高时，DSP32开始DSP处理。之后，如果DSP处理完成，则CPU 31将使能信号变为低。由此，在成像部21中进行下一轮的图像读出处理。
如图4所示，在比较例中，由于在图像读出之后执行DSP处理，所以在图像读出花费长时间的情况下或者在DSP处理花费长时间的情况下，可能不会在一帧内完成DSP处理。
<3.实施方式>
[3-1.第一处理模式]
现将使用图5描述根据实施方式的第一处理模式。图5是用于描述根据实施方式的第一处理模式的示图。
如图5所示，在第一处理模式中，图像读出处理的时间被设置为更短，并且DSP处理的时间被设置为比在比较例中更长。该情况下，CPU 31将用于改变成像处理部22的图像读出处理的时间的控制信号输出到成像控制部25。例如，CPU 31将控制信号输出到成像控制部25，该控制信号用于使成像处理部22减少AD转换时的位数(也称为AD位)，或者进行像素合并处理，或者进行将读出的像素稀疏化的处理。CPU 31根据图像读出的时间缩短量，使使能信号变为高，并且使DSP 32执行DSP处理。由此，CPU 31能够延长DSP处理的时间而无需并行地执行图像读出处理和DSP处理。
在第一处理模式中，可以通过缩短图像读出处理的时间来确保DSP处理的时间。在第一实施方式中，DSP的DNN识别***可通过延长DSP处理的时间而得到改进。即，第一实施方式可以被称为准确度优先模式。
[3-2.第二处理模式]
现将使用图6描述根据实施方式的第二处理模式。图6是用于描述根据实施方式的第二处理模式的示图。
如图6中所示，在第二处理模式中，与第一处理模式相比，可以提高帧速率。该情况下，CPU 31向成像控制部25输出用于缩短成像处理部22的图像读出处理的时间的控制信号。例如，CPU 31减少由成像处理部22进行的图像读出处理的时间，使得能够在一帧周期内进行2次以上的读出处理。CPU 31根据图像读出的时间缩短量，使使能信号变为高，并且使DSP 32执行DSP处理。在第二实施方式中，在一帧中交替并重复地执行图像读出处理和DSP处理。在图6所示的实例中，图像读出处理和DSP处理各自执行两次。
在第二处理模式中，通过缩短图像读出处理的时间，可以在一帧中多次执行图像读出处理和DSP处理。由此，第二实施方式能够提高帧速率。即，第二实施方式可以称为速度优先模式。
[3-3.第三处理模式]
现将使用图7描述根据实施方式的第三处理模式。图7是用于描述根据实施方式的第三处理模式的示图。
如图7所示，在第三处理模式中，准确度优先模式和速度优先模式可以通过用户的指定进行切换。在图7所示的实例中，在帧周期T1内选择准确度优先模式，并且在帧周期T2内选择速度优先模式。在优先级被给予DNN的准确度的情况下，用户只需要选择准确度优先模式。用户可以根据情况选择期望的模式。由此，CPU 31能够进行控制，使得在帧周期T1内执行重视准确度的处理，在帧周期T2内执行重视速度的处理。即，CPU 31可根据用户的期望动态地改变处理模式。
[3-4.第四处理模式]
现将使用图8描述根据实施方式的第四实际处理模式。图8是用于描述根据实施方式的第四处理模式的示图。
如图8所示，在第四处理模式中，进行控制，以便根据DSP处理的时间动态地改变图像读出处理的时间。在图8所示的实例中，帧周期T2的DSP处理时间被设置为比帧周期T1的DSP处理时间长。在这种情况下，CPU 31对每个帧周期T1和帧周期T2计算DSP 32执行DSP处理所需的时间。根据DSP处理所需的时间的计算结果，CPU 31向成像控制部25输出控制信号，该控制信号控制在帧周期T1内由成像处理部22进行的图像读出处理的时间和在帧周期T2内由成像处理部22进行的图像读出处理的时间。
在第四实施方式中，CPU 31根据DSP 32执行DSP处理所需的时间来执行控制。由此，第四实施方式可以根据DSP处理所需的时间动态地控制图像读出处理的时间。
[3-5.成像控制处理]
现在将使用图9来描述基于DNN处理的结果的成像控制处理的过程。图9是示出基于DNN处理的结果的成像控制处理的过程的实例的流程图。
CPU 31向成像控制部25输出控制信号，以使成像部21对包含成像对象的周围环境进行成像(步骤S10)。具体而言，根据CPU 31的控制信号，成像控制部25驱动成像部21，以使成像部21对周围环境进行成像。
CPU 31向成像控制部25输出控制信号，以使成像处理部22对由成像部21拍摄到的图像执行各种成像处理(步骤S11)。CPU 31向成像控制部25输出控制信号以使成像处理部22执行图像压缩处理，以便对成像处理后的图像执行DNN处理(步骤S12)。
CPU 31向DSP 32输出控制信号，以使DSP 32对图像压缩处理后的图像执行DNN处理(步骤S13)。CPU 31基于DNN处理的结果控制成像处理(步骤S14)。稍后描述用于基于DNN处理的结果来控制成像处理的方法。
CPU 31确定是否结束成像处理(步骤S15)。在确定结束成像处理(步骤S15：是)的情况下，结束图9的处理。另一方面，在确定继续成像处理的情况下(步骤S15：否)，过程进行至步骤S10。
现在将使用图10描述基于DNN处理的结果的成像控制处理的第一实例。图10是示出基于DNN处理的结果的成像控制处理的处理的第一实例的过程的实例的流程图。
CPU 31确定指示DSP 32的DNN处理结果的识别***的分数是否为预定的阈值以上(步骤S20)。在确定DNN处理的结果的分数是预定阈值以上的情况下(步骤S20：是)，过程前进到步骤S21。另一方面，在确定DNN处理结果的分数小于预定阈值的情况下(步骤S20：否)，过程前进到步骤S22。
在步骤S20中确定为“是”的情况下，CPU 31向成像控制部25输出控制信号以使成像控制部25减少图像读出的时间(步骤S21)。另一方面，在步骤S20中确定为“否”的情况下，CPU 31向成像控制部25输出控制信号，以使成像控制部25增加图像读出的时间(步骤S22)。即，CPU 31根据DNN处理的结果来改变图像读出的时间。
现将使用图11描述用于改变图像读出的时间的方法。图11是用于描述用于改变图像读出的时间的方法的示图。
图11示出了图像读出时间确定表TB1。CPU 31参照图像读出时间确定表TB1来改变图像读出的时间。图像读出时间确定表TB1包括诸如“AD位”和“合并”的项。
“AD位”表示当成像处理部22对模拟像素信号执行AD转换时的位数。作为“AD位”，选择12位、10位、8位、6位和4位中的任一个。位数越大，图像读出的时间越长，但是DNN的性能越好。位数越小，图像读出的时间越短，但是DNN的性能越差。
“合并”表示成像处理部22组合像素以将组合像素视为一个像素的处理。作为“合并”，选择Full、V2H2、V4H4和V8H8中的任一个。Full意味着不执行合并。V2H2表示执行两个垂直像素和两个水平像素的2×2合并处理。V4H4表示执行四个垂直像素和四个水平像素的4×4合并处理。V8H8表示执行八个垂直像素和八个水平像素的8×8合并处理。在不执行合并的情况下，图像读出的时间越长，但是DNN的性能得到改善；执行合并的区域越大，图像读出的时间越短，但是DNN的性能越差。
例如，通过选择控制#1，CPU 31向成像控制部25输出控制信号，该控制信号使成像处理部22进行将AD位设为12位并将合并设为Full的处理。即，CPU 31通过选择期望的控制编号(#)来控制“AD位”和“合并”两者。CPU 31可控制“AD位”或“合并”。
现将使用图12描述用于控制AD位或合并的方法。图12是示出控制AD位或合并处理的过程的流程图。
CPU 31基于DSP 32的DNN处理结果，确定是否优先于分辨率处理成像图像(步骤S30)。具体而言，CPU 31基于从DNN处理的结果估计出的被摄体来确定是否优先于分辨率进行处理。例如，在被摄体是汽车的情况下，CPU 31确定为优先于灰度执行处理。例如，在被摄体是白线的情况下，CPU 31确定优先于分辨率进行处理。在确定为优先分辨率的情况下(步骤S30：是)，过程进行至步骤S31。在确定为不优先分辨率的情况下(步骤S30：否)，过程进行至步骤S32。
在步骤S30中确定为“是”的情况下，CPU 31选择合并控制(步骤S31)。在步骤S30中确定为“否”的情况下，CPU 31选择AD位控制(步骤S32)。
如图12中所述，在可估计被摄体的情况下，CPU 31可根据被摄体控制成像处理。
[3-6.分辨率控制]
现将使用图13A、图13B、图13C、图13D以及图13E描述对捕获的图像执行合并处理以改变分辨率的处理。图13A至图13E是用于描述改变捕获的图像的分辨率的处理的示图。
图13A示出了像素电路100。在像素电路100中，布置接收红光的成像像素R、接收绿光的成像像素G和接收蓝光的成像像素B。像素电路100包括8行和8列的总共64个像素。图13A示出合并为Full的状态，即，不执行合并处理的状态。在X方向上，按照0至7的顺序读出像素。在Y方向上，按照0至7的顺序读出像素。
图13B示出了像素电路100A。像素电路100A是对像素电路100执行2×0合并处理的像素电路。像素电路100A的第0像素行是其中像素电路100的第0像素行和第二像素行以模拟方式连接的像素行。像素电路100A的第1像素行是像素电路100的第1像素行和第3像素行以模拟方式连接的像素行。像素电路100A的第2像素行是像素电路100的第4像素行和第6像素行以模拟方式连接的像素行。像素电路100A的第3像素行是像素电路100的第5像素行和第7像素行以模拟方式连接的像素行。因此，像素电路100A是包括4行8列的总共32个像素的像素电路。
图13C示出了像素电路100B。像素电路100B是对像素电路100执行2×2合并处理的像素电路。像素电路100B的第0像素行是像素电路100的第0像素行和第2像素行以模拟方式连接的像素行。像素电路100B的第一像素行是像素电路100的第一像素行和第三像素行以模拟方式连接的像素行。像素电路100B的第2像素行是像素电路100的第4像素行和第6像素行以模拟方式连接的像素行。像素电路100B的第3像素行是像素电路100的第5像素行和第7像素行以模拟方式连接的像素行。像素电路100B的第0像素列是像素电路100的第0像素列和第2像素列以模拟方式连接的像素列。像素电路100B的第1像素列是像素电路100的第1像素列和第3像素列以模拟方式连接的像素列。像素电路100B的第2像素列是像素电路100的第4像素列和第6像素列以模拟方式连接的像素列。像素电路100B的第3像素列是像素电路100的第5像素列和第7像素列以模拟方式连接的像素列。因此，像素电路100B是包括4行4列的总共16个像素的像素电路。
图13D示出了像素电路100C。像素电路100C是对像素电路100执行4×4合并处理的像素电路。在这种情况下，像素电路100的第0至第3像素行以模拟方式连接，并且第4至第7像素行以模拟方式连接。进一步地，像素电路100的第0像素列和第1像素列以模拟方式连接，第2像素列和第3像素列以模拟方式连接。此外，像素电路100的第4像素列和第5像素列以模拟方式连接，第6像素列和第7像素列以模拟方式连接。此外，像素电路100的以模拟方式连接的第0像素列和第1像素列以及以模拟方式连接的第2像素列和第3像素列以数字方式连接。此外，像素电路100的以模拟方式连接的第四像素列和第五像素列以及以模拟方式连接的第六像素列和第七像素列以数字方式连接。由此，像素电路100成为2行2列的像素电路100C。
图13E示出了像素电路200。像素电路200包括16×8的总共128个像素。在像素电路200中，读出第0至第3像素行和第8至11像素行。另一方面，在像素电路200中，未读出第4至第7像素行和第12至第15像素行。在这种情况下，像素电路200的第0和第2像素行以模拟方式连接。像素电路200的第一和第三像素行以模拟方式连接。像素电路200的第8和第10像素行以模拟方式连接。像素电路200的第9和第11像素行以模拟方式连接。
因此，像素电路200变成4行8列的像素电路200A。
在本公开中，如图13A至图13E中所描述的，通过执行合并处理以使待读出的像素区域稀疏化，能够减少DSP处理的负荷。换言之，可以通过减少DSP处理的负荷来减少DSP处理的时间。
在本公开中，可通过将成像区域限于关注区域(ROI)来减少DSP处理的时间。现在将使用图14A和图14B描述用于读出ROI的方法。图14A和图14B是用于描述读出ROI的方法的示图。在图14A和图14B中，在ROI是捕获的图像的中心区域的假设下给出描述。
[3-7.ROI控制]
图14A示出了在将捕获的图像的读出区域限制为ROI时，曝光和读出处理均限制为ROI的情况下的处理。在图14A中，直线L1表示曝光处理，并且虚线L2表示读出处理。
例如，对于从帧周期T11至帧周期T12持续的时段t1执行曝光处理。然后，对通过帧周期T11至帧周期T12的曝光处理所获得的捕获的图像进行帧周期T12的时段t2的读出处理。由此，在帧周期T12输出整个区域的捕获的图像。类似地，对于从帧周期T12到帧周期T13的时段t1执行曝光处理。接着，对通过帧周期T12至帧周期T13的曝光处理而得到的捕获的图像进行帧周期T13的时段t2的读出处理。由此，在帧周期T13输出整个区域的捕获的图像。
这里，假定在帧周期T13的过程中读出区域被限制为ROI。在图14A所示的实例中，由于曝光和读出处理两者都限于ROI，因此对在读出区域限于ROI之前的帧周期T13中开始曝光的捕获图像不执行读出处理，因此不输出该捕获图像。在图14A中，由点划线表示的线L3表示不开始读出处理。
然后，在帧周期T14中的时段t3内执行捕获的图像的ROI区域的曝光处理。然后，对通过帧周期T14中的曝光处理所获得的捕获的图像进行从帧周期T14至帧周期T15的时段t4的读出处理。由此，在帧周期T15内输出ROI区域的捕获的图像。
另一方面，图14B示出了当将捕获的图像的读出区域限制为ROI时仅将读出处理限制为ROI的情况下的处理。在读出区域局限于ROI之前的处理与图14A的处理相似，并且省略其描述。
假定在帧周期T13的过程中读出区域被限制为ROI。在图14B所示的实例中，由于仅读出处理限于ROI，因此甚至对读出区域限于ROI之前的帧周期T13中开始曝光的捕获的图像也执行读出处理。所以，对于在帧周期T13至帧周期T14中曝光整个区域的捕获的图像，在帧周期T14中仅执行ROI区域的读出处理。由此，在帧周期T14中输出ROI区域的捕获的图像。
然后，在帧周期T14中的时段t4执行捕获的图像的ROI区域的曝光处理。然后，对通过帧周期T14中的曝光处理所获得的捕获的图像进行从帧周期T14至帧周期T15的时段t4的读出处理。由此，在帧周期T15中输出ROI区域的捕获的图像。此外，对于从帧周期T14持续至帧周期T15的时段t1执行曝光处理。然后，对于通过帧周期T14至帧周期T15中的曝光处理获得的捕获的图像，在帧周期T15中执行ROI区域的读出处理。由此，在帧周期T15内输出ROI区域的捕获的图像。
[3-8.FPS控制]
在本公开中，帧每秒(FPS)可根据DNN处理的结果来控制。
现在将使用图15来描述用于根据DNN处理的结果来控制FPS的方法。图15是示出根据DNN处理的结果控制FPS的处理的过程的实例的流程图。
CPU 31确定表示DSP 32的DNN处理结果的识别***的分数是否为预定阈值以上(步骤S40)。在确定为DNN处理结果的分数为预定阈值以上的情况下(步骤S40：是)，过程进行至步骤S41。另一方面，在确定为DNN处理结果的分数小于预定阈值的情况下(步骤S40：否)，过程进入步骤S42。
在步骤S40中确定为是的情况下，CPU 31将控制信号输出至成像控制部25以升高FPS(步骤S41)。另一方面，在步骤S40中确定为否的情况下，CPU 31向成像控制部25输出控制信号以降低FPS(步骤S42)。即，CPU 31根据DNN处理的结果改变FPS。
[3-9.类别分类]
现在将使用图16A和图16B描述用于改变FPS的方法的实例。图16A和图16B是用于描述用于改变FPS的方法的实例的示图。图16A和图16B示出了作为用于改变FPS的方法的实例的类别分类的确定结果。
图16A示出了在FPS被提高的情况下由DSP 32进行的类别识别的结果。如图16A所示，识别结果包括诸如“识别对象”、“类别”和“分数”的项。
“识别对象”表示DSP 32识别其类别的识别对象的图像。“类别”表示识别对象所属的类别。“分数”表示识别对象被分类到相应类别的概率。在图16A所示的实例中，“捕鼠器”的分数是“0.36”。这表明识别对象被分类为“捕鼠器”的概率是36％。“狨猴”的分数是“0.07”。这表明识别对象被分类为“狨猴”的概率是7％。“家朱雀”的分数是“0.05”。这表示识别对象是“家朱雀”的概率是5％。
图16A的识别对象是捕鼠器。在此，将分数的阈值设定为0.3。在这种情况下，捕鼠器的分数大于0.36的阈值。在这种情况下，CPU 31将控制信号输出至成像控制部25以升高FPS。由此，可以提高DSP 32的DNN处理的速度。
图16B示出了在FPS降低的情况下由DSP 32进行的类别识别的结果。如图16B所示，识别结果包括诸如“识别对象”、“类别”和“分数”的项。
在图16B所示的实例中，“比格犬”的分数是“0.26”。这表明识别对象被分类为“比格犬”的概率为26％。“猎狐狗”的分数是“0.23”。这表明识别对象被分类为“猎狐狗”的概率是23％。“英国猎狐犬”的分数是“0.17”。这意味着识别对象是“英国猎狐犬”的概率是17％。
图16B的识别对象是英国猎狐犬。在此，将分数的阈值设定为0.3。在这种情况下，英国猎狐犬的分数是0.17，其低于阈值。在这种情况下，CPU 31将控制信号输出至成像控制部25以降低FPS。由此，可提高DSP 32的DNN处理的识别率。
[3-10.关键点处理]
现将使用图17描述用于改变FPS的方法的实例。图17是用于描述改变FPS的方法的实例的示图。图17示出了关键点处理作为用于改变FPS的方法的实例。
如图17所示，CPU 31可根据人M的关键点检测的结果改变FPS。图17示出了点P1至P17的17个关键点。
点P1是鼻子。点P2是左眼。点P3是右眼。点P4是左耳。点P5是右耳。点P6是左肩。点P7是右肩。点P8为左肘，点P9为右肘。点P10是左手腕。点P11是右手腕。点P12是左髋。点P13是右髋。点P14是左膝。点P15是右膝。点P16是左脚踝。点P17是右脚踝。
在关键点获取处理中，由DSP 32获取的关键点的准确度的平均值或最小值可被视为DNN处理的结果。然后，如果准确度的平均值或最小值大于预定阈值，则CPU 31提高FPS。由此，可以提高DSP 32的DNN处理的速度。另外，在准确度的平均值或最小值小于预定阈值的情况下，CPU 31降低FPS。因此，可以提高关键点获取的准确性。
<4.效果>
根据本公开的固态成像装置2包括：获取图像数据的成像部21；以及控制部(CPU31)，其根据对图像数据的DNN处理的时间来改变读出图像数据的时间。
因此，固态成像装置2可根据DNN处理的时间来改变读出图像数据的时间，并因此可在一个帧周期中适当地执行处理。
在图像数据被读出之后，CPU 31促使对图像数据的DNN处理被执行。因此，固态成像装置2避免了并行执行图像数据的读出处理和DNN处理的情况，因此可在一个帧周期中适当地执行处理。
CPU 31根据对图像数据的DNN处理结果来改变图像数据的读出时间。因此，固态成像装置2可适当地执行在一帧周期中重视准确度并且读出图像数据的时间可根据DNN处理的结果而改变的处理。
根据对图像数据的DNN处理结果，CPU 31改变应当读出图像数据的帧速率。因此，固态成像装置2可根据DNN处理的结果改变应当读出图像数据的帧速率，并且因此可适当地执行在一个帧周期中重视速度的处理。
CPU 31动态地控制对图像数据的处理时间和图像数据的读出时间。由此，固态成像装置2可在用户期望处理的情况下在一个帧周期中适当地执行处理，或者在DNN处理的负荷针对每一个帧周期而改变的情况下适当地执行处理，或者在类似情况下适当地执行处理。
CPU 31根据每个帧周期的DNN处理的时间，控制每个帧周期中读出图像数据的时间。由此，固态成像装置2可控制读出每个帧周期的图像数据的时间，并因此可在一个帧周期中适当地执行处理。
CPU 31在对图像数据的DNN处理的结果的分数大于预定分数的情况下减少读出图像数据的时间，在分数小于预定分数的情况下增加读出图像数据的时间。由此，固态成像装置2可基于DNN识别处理等的准确度来减少或增加读出图像数据的时间，并因此可在一个帧周期中适当地执行处理。
CPU 31根据图像读出时间确定表来确定图像数据的读出时间。因此，固态成像装置2可根据预定的图像读出时间确定表控制图像读出的时间，并因此可在一个帧周期中适当地执行处理。
CPU 31执行AD位的控制和合并处理的控制中的任一个，以改变读出图像数据的时间。由此，固态成像装置2可通过AD位的控制或合并处理的控制来控制读出图像数据的时间，并因此可在一个帧周期中适当地执行处理。
CPU 31基于图像数据的DNN处理结果，在分辨率优先的情况下执行合并处理，在灰度优先的情况下控制AD位。由此，固态成像装置2可根据是控制分辨率还是灰度而在合并处理和AD位的控制之间进行切换，并因此可在一个帧周期中适当地执行处理。
在类别分类的分数大于预定分数的情况下，CPU 31减少读出图像数据的时间，而在结果小于预定分数的情况下，CPU 31增加读出图像数据的时间。由此，固态成像装置2可根据类别分类的分数的结果来控制读出图像数据的时间，并因此可在一个帧中适当地执行处理。
此外，本说明书中描述的效果仅仅是说明性或者示例性效果，而不是限制性的。即，根据本公开的技术可以实现上述效果，连同或代替上述效果，实现本领域技术人员从本说明书的描述中清楚的其他效果。
此外，本技术还可配置如下。
(1)一种固态成像装置，包括：成像部，获取图像数据；以及控制部，所述控制部根据对所述图像数据的DNN处理的时间来改变读出所述图像数据的时间。
(2)根据(1)所述的固态成像装置，其中，所述控制部致使对所述图像数据的所述DNN处理在读出所述图像数据之后执行。
(3)根据(1)或(2)所述的固态成像装置，其中，所述控制部根据对所述图像数据的所述DNN处理的结果来改变读出所述图像数据的时间。
(4)根据(1)至(3)中任一项所述的固态成像装置，其中，所述控制部根据对所述图像数据的所述DNN处理的结果来改变应当读出所述图像数据的帧速率。
(5)根据(1)至(4)中任一项所述的固态成像装置，其中，所述控制部动态地控制对所述图像数据的处理时间和读出所述图像数据的时间。
(6)根据(5)所述的固态成像装置，其中，所述控制部根据每个帧周期的所述DNN处理的时间来控制所述每个帧周期中读出所述图像数据的时间。
(7)根据(1)至(6)中任一项所述的固态成像装置，其中，所述控制部在对所述图像数据的所述DNN处理结果的分数大于预定分数的情况下减少读出所述图像数据的时间，并且在所述分数小于所述预定分数的情况下增加读出所述图像数据的时间。
(8)根据(7)所述的固态成像装置，其中，所述控制部根据图像读出时间确定表来确定读出所述图像数据的时间。
(9)根据(7)或(8)所述的固态成像装置，其中，所述控制部执行AD位的控制或合并处理的控制，以改变读出图像数据的时间。
(10)根据(7)至(9)中任一项所述的固态成像装置，其中，所述控制部基于对所述图像数据的所述DNN处理的结果，使得在优先级给予分辨率的情况下执行合并处理，并且在优先级给予灰度的情况下控制AD位。
(11)根据(7)至(10)中任一项所述的固态成像装置，其中，所述控制部在类别分类的分数的结果大于预定分数的情况下减少读出所述图像数据的时间，并且在所述结果小于所述预定分数的情况下增加读出所述图像数据的时间。
附图标记列表
1 光学***
2 成像装置
3 存储器
4 信号处理部
5 输出部
6 控制部
20 成像块
21 成像部
22 成像处理部
23 输出控制部
24 输出I/F
25 成像控制部
26 通信I/F
27 寄存器组
30 信号处理块
31 CPU
32 DSP
33 存储器
34 通信I/F
35 图像压缩部
36 输入I/F
51,52 裸片

Claims (11)

1.一种固态成像装置，包括：
成像部，获取图像数据；以及
控制部，根据对所述图像数据的DNN处理的时间来改变读出所述图像数据的时间。
2.根据权利要求1所述的固态成像装置，其中：
所述控制部使对所述图像数据的所述DNN处理在读出所述图像数据之后执行。
3.根据权利要求1所述的固态成像装置，其中：
所述控制部根据对所述图像数据的所述DNN处理的结果来改变读出所述图像数据的时间。
4.根据权利要求1所述的固态成像装置，其中：
所述控制部根据对所述图像数据的所述DNN处理的结果来改变读出所述图像数据的帧速率。
5.根据权利要求1所述的固态成像装置，其中：
所述控制部动态地控制对所述图像数据的处理时间和读出所述图像数据的时间。
6.根据权利要求5所述的固态成像装置，其中：
所述控制部根据每个帧周期中的所述DNN处理的时间来控制所述每个帧周期中读出所述图像数据的时间。
7.根据权利要求3所述的固态成像装置，其中：
所述控制部在对所述图像数据的所述DNN处理的结果的分数大于预定分数的情况下减少读出所述图像数据的时间，并且在所述分数小于所述预定分数的情况下增加读出所述图像数据的时间。
8.根据权利要求7所述的固态成像装置，其中：
所述控制部根据图像读出时间确定表来确定读出所述图像数据的时间。
9.根据权利要求8所述的固态成像装置，其中：
所述控制部执行AD位的控制或合并处理的控制，以改变读出图像数据的时间。
10.根据权利要求9所述的固态成像装置，其中：
所述控制部基于对所述图像数据的所述DNN处理的结果，使得在优先级给予分辨率的情况下执行合并处理，并且在优先级给予灰度的情况下控制AD位。
11.根据权利要求7所述的固态成像装置，其中：
所述控制部在类别分类的分数的结果大于预定分数的情况下减少读出所述图像数据的时间，并且在所述结果小于所述预定分数的情况下增加读出所述图像数据的时间。
CN202180020032.6A 2020-03-19 2021-03-03 固态成像装置 Pending CN115280759A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-049489 2020-03-19
JP2020049489 2020-03-19
PCT/JP2021/008301 WO2021187121A1 (ja) 2020-03-19 2021-03-03 固体撮像装置

Publications (1)

Publication Number Publication Date
CN115280759A true CN115280759A (zh) 2022-11-01

Family

ID=77770863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020032.6A Pending CN115280759A (zh) 2020-03-19 2021-03-03 固态成像装置

Country Status (3)

Country Link
US (1) US20230128031A1 (zh)
CN (1) CN115280759A (zh)
WO (1) WO2021187121A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005278060A (ja) * 2004-03-26 2005-10-06 Sony Corp 撮像信号処理装置、固体撮像装置
WO2014127376A2 (en) * 2013-02-15 2014-08-21 Sionyx, Inc. High dynamic range cmos image sensor having anti-blooming properties and associated methods
US9456195B1 (en) * 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
JP6802642B2 (ja) * 2016-05-12 2020-12-16 キヤノン株式会社 撮像装置およびその制御方法、プログラム、並びに記憶媒体
US11282385B2 (en) * 2018-04-24 2022-03-22 Qualcomm Incorproated System and method of object-based navigation
JP6638851B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム

Also Published As

Publication number Publication date
WO2021187121A1 (ja) 2021-09-23
US20230128031A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
US7509042B2 (en) Digital camera, image capture method, and image capture control program
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
KR100798230B1 (ko) 촬상장치, 촬상방법 및 컴퓨터 판독 가능 기록매체
US7826662B2 (en) Digital camera provided with gradation correction function
US20010004268A1 (en) Digital camera
US20060114340A1 (en) Image capturing apparatus and program
CN111698434A (zh) 图像处理设备及其控制方法和计算机可读存储介质
US20110279701A1 (en) Image pickup device, face detection method, and computer-readable recording medium
EP3439283A1 (en) Image pickup device, image processing device, and electronic apparatus
CN103685968A (zh) 图像处理装置及图像处理方法
US20030210345A1 (en) Image pickup device and method for capturing subject with wide range of brightness
US9955083B2 (en) Image processing apparatus, image processing method, and program
KR20210053377A (ko) 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
JP2015053644A (ja) 撮像装置
US8063956B2 (en) Image pickup device, image pickup method and integrated circuit
JP4971785B2 (ja) 画像処理装置及び方法、及び撮像装置
CN115280759A (zh) 固态成像装置
JP4683190B2 (ja) 撮像装置、画像効果付与方法および画像効果付与プログラム
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2008294524A (ja) 画像処理装置および画像処理方法
US20230156375A1 (en) Solid-state imaging apparatus
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
JP5117271B2 (ja) 画像記録装置及び画像記録方法
JP7460561B2 (ja) 撮像装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination