CN114208158A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

Abstract

提供信息处理装置、信息处理方法和信息处理程序，其能够降低卷积神经网络(CNN)中的卷积处理的负荷。根据本公开的信息处理装置(1)包括设定单元(51)和控制单元(52)。设定单元(51)将包括二维排列的多个成像像素的成像单元(2)中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间。控制单元(52)使信号电荷从已曝光的成像像素传输到浮动扩散(FD)，从而执行卷积处理。

Description

信息处理装置、信息处理方法和信息处理程序

技术领域

本公开涉及信息处理装置、信息处理方法和信息处理程序。

背景技术

存在图像分类装置，其将图像数据输入到卷积神经网络(CNN)，对图像重复卷积处理和池化处理以提取图像的特征，并在随后的阶段中通过全连接层根据特征对图像进行分类(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：JP 2018-005639 A。

发明内容

技术问题

然而，在CNN中，通过使用多个周围像素对目标像素执行卷积处理，并且该处理对于所有必要区域是必要的。因此，卷积处理所需的处理负荷非常大。

因此，本公开提出了能够减少CNN中的卷积处理的处理负荷的信息处理装置、信息处理方法和信息处理程序。

问题解决方案

根据本发明，提供了一种信息处理装置。信息处理装置包括设定单元和控制单元。设定单元将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间。控制单元使信号电荷从已曝光的成像像素传输到浮动扩散，从而执行卷积处理。

附图说明

图1是根据本公开的CNN的示意性说明图。

图2是示出根据本公开的信息处理装置的配置的示例的框图。

图3是根据本公开的2×2Conv的说明图。

图4是示出根据本公开的执行2×2Conv的电路的示例的说明图。

图5是根据本公开的2×2Conv中的曝光和读取定时的说明图。

图6是根据本公开的4×4Conv的说明图。

图7是示出根据本公开的执行4×4Conv的电路的示例的说明图。

图8是示出由根据本公开的由控制器执行的处理的示例的流程图。

图9是示出车辆控制***的示意性配置的示例的框图。

图10是示出车外信息检测单元和成像单元的安装位置的示例的说明图。

图11是示出内窥镜手术***的示意性配置的示例的图。

图12是示出摄像头和CCU的功能配置的示例的框图。

具体实施方式

在下文中，将基于附图详细描述本公开的实施例。注意，在以下的各实施例中，相同的标号表示相同的部分，省略重复的说明。

[1.CNN概述]

首先，将参照图1描述卷积神经网络(CNN)的概要。图1是根据本公开的CNN的示意性说明图。

CNN是通过结合卷积处理和深度神经网络(DNN)获得的机器学习模型。如图1所示，CNN大致包括作为前一级的特征提取层和作为后一级的全连接层。

当输入图像数据Img时，特征提取层对每预定数量的成像像素执行滤波处理以将图像数据退化为一个像素，并由此执行卷积处理以生成指示图像数据的特征分布的特征映射Img1。

如图1所示，由二维(矩阵)排列的多个成像像素形成的图像数据Img被输入到CNN。例如，当执行2×2卷积处理(以下称为“2×2Conv”)时，CNN首先通过将滤波器Ft应用于图像数据Img中的左上四个成像像素来提取特征，并将所述特征转换为一个退化像素Un1。

此时，CNN将四个成像像素的每个像素值乘以通过机器学习预先获得的卷积系数，并将相乘后的四个成像像素的像素值相加，从而计算退化像素Un1的特征。

这里，像素值是通过将对应于当对应于每个成像像素的光电转换元件捕获图像时接收的光量的模拟电压值转换为数字值而获得的值。将预定数量的成像像素转换成包括所述特征的一个退化像素Un1的处理是卷积处理。

随后，CNN通过在横向方向上将滤波器Ft的应用位置移位两个像素来执行卷积处理，并将滤波器Ft所应用到的四个成像像素转换为一个退化像素Un2。

此外，CNN还在横向方向上将滤波器Ft的应用位置移位两个像素，执行卷积处理，并将滤波器Ft所应用到的四个成像像素转换为一个退化像素Un3。然后，CNN对包括在图像数据Img中的所有成像像素执行卷积处理，以生成特征映射Img1。

然后，CNN对特征映射Img1执行池化处理。在池化处理中，CNN针对特征映射Img1中包括的每预定数量的退化像素(例如，高度×宽度：2×2)选择例如具有最大特征的退化像素。

然后，CNN生成特征映射Img2，其中在所选择的退化像素中进一步提取并退化特征，将特征映射Img2的像素的特征输入到随后的全连接层，并由全连接层根据特征对图像进行分类。

如上所述，在CNN中，首先，将输入的图像数据Img的所有成像像素的像素值乘以卷积系数，对于每预定数量的成像像素，将乘以卷积系数的像素值相加，从而执行卷积处理。

因此，在CNN中，例如，在输入几百万像素的图像数据的情况下，用于执行卷积处理的积和运算的计算量是巨大的，这增加了处理负荷。因此，根据本公开的信息处理装置通过由捕获图像的成像单元执行模拟处理，来执行在CNN中的特征提取层中执行的卷积处理，从而减少CNN中的卷积处理的处理负荷。

[2.信息处理装置的配置]

图2是示出根据本公开的信息处理装置的配置的示例的框图。信息处理装置1例如是互补金属氧化物半导体(CMOS)图像传感器，并且在CNN中对通过模拟处理捕获的图像执行第一层的卷积处理或直到第二层的卷积处理。然后，信息处理装置1向CNN 8的后续层输出与卷积处理的结果相对应的信号。注意，这里，虽然将描述信息处理装置1在CNN中的第一层或第二层中执行卷积处理的情况，但是信息处理装置1可以被配置为在CNN中的第三层和后续层中执行卷积处理。

因此，CNN 8可以通过执行池化处理或全连接层中的处理而不执行第一层中的卷积处理或第二层中的卷积处理来输出图像的分类结果。因此，信息处理装置1可以减少CNN8中的卷积处理的处理负荷。

具体地，如图2所示，信息处理装置1包括成像单元2、垂直扫描电路3、模数转换器(ADC)4、控制器5、存储单元6和寄存器7。

成像单元2包括多个二维排列的成像像素和由预定数量的成像像素共享的浮动扩散。每个成像像素包括对应于捕获图像的每个像素提供的光电二极管，并且光电地将接收到的光转换成对应于接收到的光量的信号电荷。浮动扩散是临时保持从光电二极管传输的信号电荷的电荷保持区。

垂直扫描电路3由控制器5控制并执行每个成像像素的曝光，将信号电荷传输到浮动扩散，将像素信号从浮动扩散读取到ADC 4等。ADC 4将从成像单元2输入的模拟像素信号转换为数字像素信号，并将该数字像素信号输出到CNN 8。

控制器5例如包括微型计算机以及各种类型的电路，该微型计算机包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。控制器5包括设定单元51和控制单元52，设定单元51在CPU使用RAM作为工作区执行存储在ROM中的信息处理程序时起作用。

存储单元6例如是诸如闪存的存储装置，存储通过机器学习预先取得的CNN 8的卷积系数61。由控制器5从存储单元6读取的卷积系数61被设定在寄存器7中。

注意，可以通过诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬件，来配置包括在控制器5中的设定单元51和控制单元52中的一些或全部。

控制器5中包括的设定单元51和控制单元52各自实现或执行下述信息处理的动作。此外，控制器5的内部配置不限于图2所示的配置，而可以是另一配置，只要执行稍后描述的信息处理即可。

当使成像单元2捕获图像时，设定单元51从存储单元6读取卷积系数61，在寄存器7中设定卷积系数61，并且将成像单元2中的成像像素的曝光时间设定为与CNN 8的第一层的卷积系数61相对应的曝光时间。

此时，设定单元51将成像像素的曝光开始定时设定为与CNN 8的第一层的卷积系数61相对应的不同定时，并将信号电荷从所有成像像素到浮动扩散的传输定时设定为相同定时。稍后将参照图5描述这种曝光和传输定时的示例。

控制单元52使成像单元2基于由设定单元51设置的曝光开始定时和曝光时间通过曝光每个成像像素来捕获图像。结果，具有较大卷积系数61的成像像素具有较长的曝光时间，并且因此具有被光电转换的较大量的信号电荷。

因此，在所有成像像素的曝光时间相同的情况下，通过将信号电荷量乘以卷积系数，来获得由每个成像像素光电转换的信号电荷量(模拟值)。这种成像处理基本上与将每个成像像素的像素值(数字值)乘以卷积系数61的算术处理相同。

然后，控制单元52基于由设定单元51设定的传输定时，将信号电荷从共享浮动扩散的预定数量的成像像素传输到浮动扩散。

这种传输处理基本上与将乘以卷积系数61的预定数量的成像像素的像素值相加的算术处理相同。即，上述一系列处理基本上与CNN 8的第一层的卷积处理相同。

然后，控制单元52使ADC 4从成像单元2顺序读取作为像素信号传输到浮动扩散的信号电荷。ADC 4将从成像单元2输入的模拟像素信号转换为数字像素信号，并将该数字像素信号输出到CNN 8。

因此，CNN 8可以通过在全连接层中执行池化处理或处理而不在第一层中对已经进行卷积处理的像素信号执行卷积处理来输出图像的分类结果。

[3.2×2Conv]

接下来，将参照图3描述根据本公开的2×2Conv的具体示例。图3是根据本公开的2×2Conv的说明图。如图3所示，在成像单元2中，一个浮动扩散FD由垂直和水平相邻的四个成像像素Px1至Px4共享。

在这种配置的情况下，设定单元51例如以从成像单元2的左上角的四个成像像素Px1到Px4开始的顺序，设定与CNN 8中的第一层的卷积系数61相对应的曝光时间。在图3所示的示例中，将曝光时间0.9(msec)设定为成像像素Px1，将曝光时间0.5(msec)设定为成像像素Px2。将曝光时间0.3(msec)设定为成像像素Px3，将曝光时间1(msec)设定为成像像素Px4。

控制单元52使四个成像像素Px1至Px4曝光为具有由设定单元51设定的曝光时间，然后将信号电荷从四个成像像素Px1至Px4传输到浮动扩散FD。然后，控制单元52使ADC 4从浮动扩散FD读取信号电荷作为像素信号。

控制单元52对成像单元2的所有成像像素执行这样的一系列成像处理。因此，控制单元52可以对一帧的整个图像完成CNN 8的第一层的卷积处理。注意，这里，通过将信号电荷从四个成像像素Px1到Px4传输到共享的浮动扩散FD来累加信号电荷，然而，可以将浮动扩散提供给四个成像像素Px1到Px4中的每一个，并且可以通过源极跟随器加法电路来累加信号电荷。

[4.用于执行2×2Conv的电路配置]

接下来，将参照图4描述启用2×2Conv的电路的示例。图4是示出根据本公开的执行2×2Conv的电路的示例的说明图。在图4中，示出了共享一个浮动扩散FD的四个成像像素Px1至Px4。

如图4所示，成像像素Px1包括光电二极管Pd1、传输晶体管Tr1和快门晶体管Sh1。成像像素Px2包括光电二极管Pd2、传输晶体管Tr2和快门晶体管Sh2。

同样，成像像素Px3包括光电二极管Pd3、传输晶体管Tr3和快门晶体管Sh3。成像像素Px4包括光电二极管Pd4、传输晶体管Tr4和快门晶体管Sh4。

四个成像像素Px1到Px4共享复位晶体管Rst、放大晶体管Amp、选择晶体管Sel和浮动扩散FD。因此，光电二极管Pd1至Pd4分别经由传输晶体管Tr1至Tr4连接至浮动扩散FD。当响应于复位信号RST而接通复位晶体管Rst时，将浮动扩散76箝位到预定参考电位VDD并复位。

当传输晶体管Tr1响应于传输信号TG1而接通时，成像像素Px1将光电二极管Pd1光电转换的信号电荷传输到浮动扩散FD。

当传输晶体管Tr2响应于传输信号TG2而接通时，成像像素Px2将光电二极管Pd2光电转换的信号电荷传输到浮动扩散FD。

当传输晶体管Tr3响应于传输信号TG3而接通时，成像像素Px3将光电二极管Pd3光电转换的信号电荷传输到浮动扩散FD。

当传输晶体管Tr4响应于传输信号TG4而接通时，成像像素Px4将光电二极管Pd4光电转换的信号电荷传输到浮动扩散FD。

因此，由四个成像像素Px1至Px4光电转换的信号电荷在浮动扩散FD中累加并累积。然后，当响应于选择信号SEL接通选择晶体管Sel时，将对应于在浮动扩散FD中累积的信号电荷的像素信号输出到垂直信号线VSL。

在由四个成像像素Px1至Px4执行2×2Conv的情况下，首先，将浮动扩散FD复位，并且将所有四个快门晶体管Sh1至Sh4接通。因此，由四个光电二极管Pd1至Pd4光电转换的信号电荷被复位。

然后，四个成像像素Px1至Px4被曝光与卷积系数61相对应的时间。具体地，由于各个成像像素Px1至Px4具有较长的曝光时间，快门晶体管Sh1至Sh4被较早地顺序关断。然后，四个快门晶体管Sh1至Sh4同时接通。

此时，设定单元51预先设定四个快门晶体管Sh1至Sh4的接通定时，使得每个成像像素Px1至Px4的时间与卷积系数61相对应。因此，四个成像像素Px1至Px4可以曝光与卷积系数61相对应的时间。

然后，当四个快门晶体管Sh1至Sh4接通时，四个传输晶体管Tr1至Tr4同时接通。因此，由于信号电荷从四个成像像素Px1到Px4传输到成像单元2中的浮动扩散FD，所以可执行2×2Conv。

[5.曝光定时]

接下来，将参照图5描述每个成像像素的曝光和读取定时。图5是根据本公开的2×2Conv中的曝光和读取定时的说明图。这里，将描述对图5的左上部分所示的以2列×4行排列的8个成像像素(1)至(8)执行2×2Conv的情况。

如图5所示，在执行2×2Conv的情况下，设定单元51首先针对各成像像素(1)至(8)中的每一个设定曝光时间(步骤S1)。在图5所示的示例中，设定单元51将成像像素(1)的曝光时间设定为1[msec]，将成像像素(2)的曝光时间设定为0.5[msec]，将成像像素(3)的曝光时间设定为0.2[msec]，将成像像素(4)的曝光时间设定为0.7[msec]。

另外，设定单元51将成像像素(5)的曝光时间设定为1[msec]，将成像像素(6)的曝光时间设定为0.5[msec]，将成像像素(7)的曝光时间设定为0.2[msec]，将成像像素(8)的曝光时间设定为0.7[msec]。

此外，设定单元51将四个成像像素(1)至(4)和(5)至(8)中的每一个设定为一个单元，并设定从包括在每个单元中的四个成像像素(1)至(4)和(5)至(8)读取信号电荷的定时。

此时，设定单元51将四个成像像素(1)至(4)的读取定时设定为相同的定时，并且设定曝光开始定时，使得成像像素(1)至(4)的曝光时间通过根据读取定时计算回来而与所设定的曝光时间相匹配。

此外，设定单元51类似地设定包括在下一单元中的四个成像像素(5)至(8)的曝光开始定时和读取定时。然而，设定单元51将成像像素(5)至(8)的读取定时从成像像素(1)至(4)的读取定时延迟由ADC 4进行的一次模数转换。

然后，控制单元52根据由设定单元51设定的曝光时间顺序地开始曝光(步骤S2)。控制单元52首先开始(SH)成像像素(1)的曝光。然后，控制单元52在从成像像素(1)的曝光开始起0.3[msec]之后开始成像像素(4)的曝光，在0.5[msec]之后开始成像像素(2)的曝光，并且在0.8[msec]之后开始成像像素(3)的曝光。

然后，在从成像像素(1)的曝光开始起1[msec]之后，控制单元52使来自四个成像像素(1)至(4)的信号电荷读取到由成像像素共享的浮动扩散。结果，控制单元52可以通过模拟处理针对四个成像像素(1)至(4)执行2×2Conv。

此外，控制单元52在从成像像素(1)的曝光开始延迟由ADC 4进行的一次模数转换的定时开始成像像素(5)的曝光。然后，控制单元52在从成像像素(5)的曝光开始起0.3[msec]之后开始成像像素(8)的曝光，在0.5[msec]之后开始成像像素(6)的曝光，并且在0.8[msec]之后开始成像像素(7)的曝光。

然后，在从成像像素(5)的曝光开始起1[msec]之后，控制单元52使来自四个成像像素(5)至(8)的信号电荷读取到由成像像素共享的浮动扩散。

即，当读取下一个单元时，控制单元52将定时延迟一次AD(模数转换)(步骤S3)。因此，ADC 4可以顺序地对从浮动扩散读取的信号电荷执行模数转换。此外，控制单元52可以通过模拟处理对四个成像像素(5)至(8)执行2×2Conv。

[6.4×4Conv]

接下来，将参照图5描述根据本公开的4×4Conv的具体示例。图6是根据本公开的4×4Conv的说明图。控制器5首先对垂直和水平相邻的每四个成像像素执行2×2Conv，并对四个2×2Conv结果执行2×2Conv，从而执行4×4Conv。

具体地，如图6所示，设定单元51首先对高度和宽度为4×4的16个成像像素Px1至Px8中的每一个设定曝光时间。然后，控制单元52将十六个成像像素Px1至Px8中的每一个曝光达已经设定的曝光时间。

然后，控制单元52在高度和宽度上在2×2的每四个成像像素上执行2×2Conv。例如，控制单元52将由四个成像像素Px1至Px4光电转换的信号电荷传输到浮动扩散FD，并将由四个成像像素Px5至Px8光电转换的信号电荷传输到浮动扩散FD1。

此外，控制单元52将由四个成像像素Px9至Px12光电转换的信号电荷传输到浮动扩散FD2，并将由四个成像像素Px13至Px16光电转换的信号电荷传输到浮动扩散FD3。然后，控制单元52将传输到四个浮动扩散FD至FD3的信号电荷传输到例如单独提供的一个电荷保持区，并累加信号电荷。

此时，控制单元52将保持在四个浮动扩散FD至FD3中的信号电荷的电荷量乘以CNN8中的第二层的卷积系数，并将信号电荷传输到一个电荷保持区。注意，稍后将参照图7描述用于将保持在浮动扩散FD至FD3中的信号电荷的电荷量乘以CNN 8中的第二层的卷积系数的电路配置的示例。

因此，控制单元52可以通过模拟处理执行4×4Conv。注意，一个电荷保持区连接到放大晶体管Amp的栅极(参见图4)。因此，控制单元52可通过接通选择晶体管Sel(参见图4)使ADC 4读取对应于4×4Conv的结果的像素信号。

[7.执行4×2Conv的电路配置]

接下来，将参照图7描述启用4×4Conv的电路的示例。图7是示出根据本公开的执行4×4Conv的电路的示例的说明图。注意，浮动扩散FD至FD3各自具有相同的电路配置，用于将保持的信号电荷的电荷量乘以CNN 8中的第二层的卷积系数。

因此，这里将对电路配置进行描述，在保持在图4和图6所示的浮动扩散FD中的信号电荷的电荷量乘以CNN 8中的第二层的卷积系数。这里，在图7所示的组件中，与图4所示的组件相同的组件用与图4所示的相同的符号表示，并且将省略多余的描述。

在图7中，选择性地示出了由四个成像像素Px1至Px4共享的浮动扩散FD、复位晶体管Rst、放大晶体管Amp、选择晶体管Sel和成像像素Px1。此外，尽管这里没有示出，但是成像像素Px2至Px4连接到浮动扩散FD。

如图7所示，在启用4×4Conv的电路中，可变电容C连接在浮动扩散FD与接地之间。当可变电容C的静电电容变化时，电压的灵敏度相对于传输到浮动扩散FD的电荷的变化量(电压的变化量：浮动扩散FD的转换效率)的灵敏度变化。

浮动扩散FD的转换效率随着可变电容C的静电电容的减小而增大，并且随着静电电容的增大而减小。因此，通过改变可变电容C的静电电容的设定，设定单元51将浮动扩散FD的转换效率设定为与CNN 8的第二层的卷积系数61相对应的转换效率。

然后，控制单元52通过将传输到二维排列的预定数量的浮动扩散(这里是四个浮动扩散FD至FD3)的信号电荷累加来执行卷积处理。因此，控制单元52可以通过模拟处理使成像单元2执行4×4Conv。注意，在通过模拟处理执行CNN中的第三层的卷积处理的情况下，例如，添加这样的电路配置，在该电路中对应于4×4Conv的四个结果的电压每个都被放大为CNN中的第三层的卷积系数的倍数，并且添加用于由源极跟随器加法电路添加的电路配置。因此，CNN中第三层的卷积处理可以通过模拟处理来执行。CNN中第四层和后续层的卷积处理也可以通过添加类似的电路配置来实现。

[8.控制器执行的处理]

接下来，将参照图8描述由根据本公开的控制器5执行的处理的示例。图8是示出根据本公开的由控制器5执行的处理的示例的流程图。当接通电源时，控制器5执行图5所示的处理。

具体地，如图8所示，当接通电源时，设定单元51被激活(步骤S101)，并在寄存器7中设定卷积系数61(步骤S102)。随后，设定单元51设定每个成像像素的曝光时间(步骤S103)。

此后，控制单元52开始每个成像像素的曝光控制，使得每个成像像素的曝光时间等于由设定单元51设定的曝光时间(步骤S104)，使得卷积处理结果被输出到CNN 8中的后续层(步骤S105)，并结束处理。

[9.对移动体的应用示例]

根据本公开内容的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人驾驶飞机、轮船和机器人等任何类型的移动体上的装置。

图9是示出车辆控制***的示意性配置的实例的框图，该车辆控制***是作为可应用根据本公开的实施方式的技术的移动体控制***的实例。

车辆控制***12000包括经由通信网络12001彼此连接的多个电子控制单元。在图9所示出的实例中，车辆控制***12000包括驱动***控制单元12010、车身***控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、音频和图像输出单元12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。

驱动***控制单元12010根据各种程序对与车辆的驱动***相关的设备的工作进行控制。例如，驱动***控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。

车身***控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身***控制单元12020用作控制设备来控制下列项：无钥匙进入***、智能钥匙***、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身***控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身***控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

车外信息检测单元12030检测配有车辆控制***12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像单元12031。车外信息检测单元12030使成像单元12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。

成像单元12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像单元12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像单元12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。

车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测单元12041。驾驶员状态检测单元12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测单元12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。

微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动***控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助***(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。

此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身***控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。

音频和图像输出单元12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图9的示例中，音频扬声器12061、显示单元12062和仪表面板12063作为输出设备而示出。显示单元12062可例如包括车载显示器和平视显示器中的至少一个。

图10是示出成像单元12031的安装位置的示例的示图。

在图10中，车辆12100包括成像单元12101、12102、12103、12104和12105作为成像单元12031。

成像单元12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像单元12101以及布置在车辆内部的挡风玻璃的上部的成像单元12105主要获得车辆12100的前方的图像。布置在侧视镜的成像单元12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像单元12104主要获得车辆12100的后方的图像。由成像单元12101和12105获得的车辆前方的图像主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图10示出成像单元12101～12104的成像范围的实例。成像范围12111表示布置在前鼻的成像单元12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像单元12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像单元12104的成像范围。例如，通过叠加由成像单元12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。

成像单元12101～12104中的至少一个可具有获得距离信息的功能。例如，成像单元12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。

例如，微型计算机12051能够基于从成像单元12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

例如，微型计算机12051能够基于从成像单元12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于自动避开障碍物。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示单元12062向驾驶员输出警报，并且经由驱动***控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。

成像单元12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像单元12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像单元12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像单元12101～12104的成像图像中存在行人并且因此识别到行人时，音频和图像输出单元12052控制显示单元12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。音频和图像输出单元12052还可控制显示单元12062，使其在期望的位置处显示表示行人的图标等。

上面已经描述了可以应用根据本公开的技术的车辆控制***的示例。根据本公开的技术可以应用于例如上述配置中的成像单元12031、驾驶员状态检测单元12041等。例如，图2中的成像单元2等可以应用于成像单元12031和驾驶员状态检测单元12041。通过将根据本公开的技术应用于成像单元12031，可以减少外部信息的检测处理负荷，并且通过将根据本公开的技术应用于驾驶员状态检测单元12041，可以减少车内信息的检测处理负荷。

[10.对内窥镜手术***的应用示例]

此外，根据本公开的技术(本技术)可以应用于内窥镜手术***。

图11是可以应用根据本公开的一个实施方式的技术(本技术)的内窥镜手术***的示意性构造的一个实例的图。

在图11中，示出了外科医生(医师，surgeon)11131正在使用内窥镜手术***11000对病床11133上的患者11132进行手术的状态。如所描绘的，内窥镜手术***11000包括内窥镜11100、其他手术工具11110如气腹管11111和能量治疗工具11112、支撑内窥镜11100的支撑臂装置11120和装配有用于内窥镜手术的各种装置的推车11200。

内窥镜11100包括其远端的预定长度的区域***到患者11132的体腔中的透镜镜筒11101和连接到透镜镜筒11101的近端的摄像头11102。在所描绘的实例中，描绘了内窥镜11100，其包括具有硬质的透镜镜筒11101的硬质镜。然而，内窥镜11100也可以包括具有软质透镜镜筒的软质镜。

透镜镜筒11101在其远端具有安装物镜的开口。光源装置11203连接到内窥镜11100使得通过在透镜镜筒11101内延伸的光导将由光源装置11203产生的光引入到透镜镜筒11101的远端并通过物镜照射向患者11132的体腔的观察目标。应注意，内窥镜11100可以是直视镜或可以是斜视镜或侧视镜。

摄像头11102内设置有光学***和成像元件使得来自观察目标的反射光(观察光)通过光学***在成像元件上聚集。观察光通过成像元件光电转换来产生对应于观察光的电信号，即对应于观察图像的图像信号。图像信号作为RAW数据传输到CCU 11201。

CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等从而整体控制内窥镜11100和显示器装置11202的操作。进一步地，CCU 11201接收来自摄像头11102的图像信号并对图像信号进行各种图像处理用于基于图像信号显示图像，例如显影处理(去马赛克处理)。

显示装置11202在CCU 11201的控制下在其上显示基于图像信号的图像，对该图像信号已经通过CCU 11201进行了图像处理。

光源装置11203包括光源例如发光二极管(LED)等，并在将手术区域成像到内窥镜11100上时供应照射光。

输入装置11204是用于内窥镜手术***11000的输入接口。使用者可以通过输入装置11204进行输入，将各种信息或指令输入到内窥镜手术***11000中。例如，使用者输入改变内窥镜11100的成像条件(照射光的类型、放大倍数、焦距等)的指令。

治疗工具控制装置11205控制能量治疗工具11112的驱动用于组织的灼烧或切割、血管的密封等。气腹装置11206通过气腹管11111向患者11132的体腔中进料气体来使体腔充气以确保内窥镜11100的视野和确保外科医生的工作空间。记录仪11207是能够记录与手术有关的各种信息的装置。打印机11208是能够将与手术有关的信息通过如文本、图像或图表等各种形式打印的装置。

应注意在将手术部位成像至内窥镜11100时供应照射光的光源装置11203可以包括白色光源，包括例如LED、激光源或它们的组合。在白色光源包括红色、绿色和蓝色(RGB)激光源的组合时，由于可以通过高精确度地控制每种颜色(每种波长)的输出强度和输出时间，所以可以通过光源装置11203进行拍摄的图像的白平衡的调节。进一步地，在这种情况下，如果按时间区分将各个RGB激光源的激光束照射在观察目标上，则与照射时间同步控制摄像头11102的成像元件的驱动，则可以按时间区分拍摄单独对应于R、G和B颜色的图像。根据该方法，即使没有向成像元件提供滤色器，也可以得到彩色图像。

进一步地，可以控制光源装置11203使得输出的光强度对于每种预定的时间改变。通过与光强度的改变的时间同步控制摄像头11102的成像元件的驱动来获取根据时间区分的图像，并合成图像，可以生成没有曝光不足的过厚阴影和曝光过度的加亮区的高动态范围的图像。

进一步地，可以将光源装置11203配置为供应预定波段的光，准备用于特定的光观察。在特定的光观察中，例如，通过利用身体组织对光的吸收的波长依赖性、与普通观察时的照射光(即白光)相比使用窄频带的照射光，对预定组织如粘膜表面部分的血管等以高对比度进行成像即为窄频带观察(窄频带成像)。可替换地，在特定的光观察中，可以进行荧光观察，用于从通过照射激发光产生的荧光得到图像。在荧光观察中，可以通过在身体组织上照射激发光进行身体组织的荧光观察(自身荧光观察)，或可以通过将试剂如靛青绿(ICG)局部注射到身体组织中并照射对应于试剂的荧光波长的激发光到身体组织上得到荧光图像。光源装置11203可以配置为供应适用于上述特定光观察的这种窄频带光和/或激发光。

图12是描绘了在图11中描绘的摄像头11102和CCU 11201的功能构造的实例的框图。

摄像头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201通过传输电缆11400连接用于彼此通信。

透镜单元11401是设置在与透镜镜筒11101的连接位置处的光学***。由透镜镜筒11101的远端采集的观察光被引导至摄像头11102并被引入到透镜单元11401中。透镜单元11401包括多个透镜的组合，包括变焦透镜和聚焦透镜。

成像单元11402包括成像元件。成像单元11402包括的成像元件的数目可以是一个(单板型)或多个(多板型)。在成像单元11402配置为多板型时，例如，由各成像元件产生对应于各个R、G和B的图像信号，并可以合成图像信号来得到彩色图像。可替代地，成像单元11402还可以配置为具有一对成像元件，用于获取分别对应于三维(3D)显示的用于右眼和左眼的图像信号。如果进行3D显示，那么外科医生11131可以更精确地了解手术区域中的活体组织的深度。应注意，在成像单元11402配置为多板型时，对应于各个成像元件，透镜单元11401也提供多个***。

进一步地，成像单元11402可以不必设置在摄像头11102上。例如，可以将成像单元11402设置在紧随透镜镜筒11101内的物镜之后。

驱动单元11403包括致动器并在摄像头控制单元11405的控制下以沿着光轴的预定距离移动透镜单元11401的变焦透镜和聚焦透镜。从而可以合适地调节通过成像单元11402拍摄的图像的放大倍数和焦点。

通信单元11404包括用于将各种信息传输至CCU 11201和接收来自CCU 11201的各种信息的通信装置。通信单元11404通过传输电缆11400将由成像单元11402获取的图像信号作为RAW数据传输至CCU 11201。

另外，通信单元11404接收来自CCU 11201用于控制摄像头11102的驱动的控制信号并将控制信号供应至摄像头控制单元11405。控制信号包括与成像条件有关的信息，例如指定拍摄图像的帧速率的信息、指定拍摄图像时的曝光值的信息和/或指定拍摄图像的放大倍数和焦点的信息。

应注意成像条件如帧速率、曝光值、放大倍数或焦点可以由使用者适当指定，也可以基于获取的图像信号通过CCU 11201的控制单元11413自动地设置。在后一种情况下，在内窥镜11100中搭载了自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

摄像头控制单元11405基于通过通信单元11404从CCU 11201接受的控制信号来控制摄像头11102的驱动。

通信单元11411包括用于将各种信息传输至摄像头11102和接收来自摄像头11102的各种信息的通信装置。通信单元11411通过传输电缆11400接收从摄像头11102传输至其的图像信号。

进一步地，通信单元11411将用于控制摄像头11102的驱动的控制信号传输至摄像头11102。可以通过电通信、光通信等传输图像信号和控制信号。

图像处理单元11412对从摄像头11102传输至其的以RAW数据形式的图像信号进行各种图像处理。

控制单元11413进行和通过内窥镜11100对手术区域等的摄像，以及显示通过对手术区域等的摄像得到的拍摄图像相关的各种控制。例如，控制单元11413生成用于控制摄像头11102的驱动的控制信号。

进一步地，控制单元11413基于已通过图像处理单元11412进行图像处理的图像信号控制显示装置11202来显示拍摄的图像，其中成像了手术区域等。此时，控制单元11413可以使用各种图像识别技术来识别拍摄的图像中的各种对象。例如，控制单元11413可以通过检测拍摄的图像中包含的对象的边缘的形状、颜色等来识别手术工具如钳子等、具体的活体区域、流血、当使用能量治疗工具11112时的雾气等。当其控制显示装置11202来显示拍摄的图像时，控制单元11413可以利用识别结果将各种手术支持信息以与手术区域的图像重叠的方式显示。在手术支持信息以重叠方式显示并呈现给外科医生11131时，可以降低外科医生11131的负担且外科医生11131可以肯定地继续进行手术。

将摄像头11102和CCU 11201彼此连接的传输电缆11400是用于电信号的通信的电信号电缆、用于光通信的光纤或是用于电通信和光通信两者的复合电缆。

此处，虽然在描述的实例中通过利用传输电缆11400进行有线通信，但是摄像头11102和CCU 11201之间的通信也可以是无线通信。

上面已经描述了可以应用根据本公开的技术的内窥镜手术***的示例。根据本公开的技术可以应用于上述部件中的摄像头11102的成像单元11402等。具体地，图2中的成像单元2等可应用于成像单元11402。例如，通过将根据本公开的技术应用于成像单元11402，可以减少捕获图像中的各种类型的对象识别处理的处理负荷。

注意，这里，作为示例描述了内窥镜手术***，然而，根据本公开的技术可以应用于其他***，例如显微手术***等。

[11.效果]

信息处理装置1包括设定单元51和控制单元52。设定单元51将包括二维排列的多个成像像素Px1至Px4的成像单元2中的每个成像像素Px1至Px4的曝光时间设定为与CNN 8的第一层的卷积系数61相对应的曝光时间。控制单元52使信号电荷从已曝光的成像像素Px1到Px4传输到浮动扩散FD，从而执行卷积处理。

因此，信息处理装置1可以通过成像单元2的模拟处理来执行CNN 8中的第一层中的卷积处理，从而可以减少卷积处理的处理负荷。

此外，设定单元51将成像像素Px1至Px4的曝光开始定时设定为与第一层的卷积系数61相对应的不同定时，并将信号电荷从所有成像像素到浮动扩散FD的传输定时设定为相同定时。

因此，通过同时从共享浮动扩散FD的预定数量的成像像素Px1至Px4向浮动扩散FD传输和读取信号电荷，信息处理装置1可以简化信号电荷的读取控制。

同时，浮动扩散FD由预定数量的成像元件共享。设定单元51将多个浮动扩散中的每一个的转换效率设定为与CNN 8的第二层的卷积系数61相对应的转换效率。控制单元通过累加传输到二维排列的预定数量的浮动扩散的信号电荷来执行卷积处理。

因此，信息处理装置1可以通过成像单元2的模拟处理来执行CNN 8中的第二层中的卷积处理，从而可以减少卷积处理的处理负荷。

此外，信息处理装置1包括用于存储CNN 8的卷积系数61的存储单元6。控制单元52使成像单元2基于存储在存储单元6中的卷积系数61执行卷积处理。

因此，信息处理装置1可以通过改变要存储在存储单元6中的卷积加权系数，使成像单元2通过模拟处理在CNN 8中执行各种类型的不同卷积处理。

此外，控制单元52将对应于卷积处理的结果的信号从成像单元输出到CNN 8中的后续层。

因此，信息处理装置1可以减少在CNN 8的后续层中执行的算术处理的处理量。

同时，信息处理方法包括通过计算机将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN 8的第一层的卷积系数对应的曝光时间；以及通过将信号电荷从已曝光的成像像素传输到浮动扩散来执行卷积处理。

因此，信息处理方法可以由成像单元2的模拟处理来执行CNN 8中的第一层中的卷积处理，从而可以减少卷积处理的处理负荷。

同时，信息处理程序使计算机用作：设定单元，用于将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN 8的第一层的卷积系数对应的曝光时间；以及控制单元，用于通过将信号电荷从已曝光的成像像素传输到浮动扩散来执行卷积处理。

因此，根据本公开的程序可以由成像单元2的模拟处理来执行CNN 8中的第一层中的卷积处理，并且因此可以减少卷积处理的处理负荷。

注意，本说明书中描述的效果仅仅是示例而非限制，并且可以获得其他效果。

注意，本技术可以具有以下配置。

(1)

一种信息处理装置，包括：

设定单元，用于将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与卷积神经网络(CNN)的第一层的卷积系数相对应的曝光时间；以及

控制单元，用于通过将信号电荷从已曝光的成像像素传输到浮动扩散来执行卷积处理。

(2)

根据(1)的信息处理装置，

其中，设定单元将成像像素的曝光开始定时设定为与第一层的卷积系数相对应的不同定时，并且将信号电荷从所有成像像素到浮动扩散的传输定时设定为相同定时。

(3)

根据(1)或(2)的信息处理装置，

其中，浮动扩散由预定数量的成像像素共享，

设定单元将多个浮动扩散中的每一个的转换效率设定为与CNN的第二层的卷积系数相对应的转换效率，以及

控制单元累加传输到二维排列的预定数量的浮动扩散的信号电荷，并执行卷积处理。

(4)

根据(1)至(3)中任一项的信息处理装置，还包括：

存储单元，用于存储CNN的卷积系数；

其中，控制单元使成像单元基于存储在存储单元中的卷积系数来执行卷积处理。

(5)

根据(1)至(4)中任一项的信息处理装置，

其中，控制单元使成像单元向CNN中的后续层输出与卷积处理的结果相对应的信号。

(6)

一种信息处理方法，包括以下步骤，通过计算机：

将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间；以及

通过将信号电荷从已曝光的成像像素传输到浮动扩散来执行卷积处理。

(7)

一种信息处理程序，用于使计算机用作：

设定单元，用于将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间；以及

控制单元，用于通过将信号电荷从已曝光的成像像素传输到浮动扩散来执行卷积处理。

参考标记列表

1 信息处理装置

2 成像单元

3 垂直扫描电路

4 ADC

5 控制器

51 设定单元

52 控制单元

6 存储单元

61 卷积系数

7 寄存器

8 CNN

Px1至Px16 成像像素

FD至FD3 浮动扩散。

Claims (7)

1.一种信息处理装置，包括：

设定单元，用于将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与卷积神经网络(CNN)的第一层的卷积系数相对应的曝光时间；以及

控制单元，用于通过将信号电荷从已曝光的所述成像像素传输到浮动扩散来执行卷积处理。

2.根据权利要求1所述的信息处理装置，

其中，所述设定单元将每个所述成像像素的曝光开始定时设定为与所述第一层的卷积系数相对应的不同定时，并且将所述信号电荷从所有所述成像像素到所述浮动扩散的传输定时设定为相同定时。

3.根据权利要求1所述的信息处理装置，

其中，所述浮动扩散由预定数量的所述成像像素共享，

所述设定单元将多个所述浮动扩散中的每一个的转换效率设定为与所述CNN的第二层的卷积系数相对应的转换效率，以及

所述控制单元累加传输到二维排列的预定数量的所述浮动扩散的所述信号电荷，并执行所述卷积处理。

4.根据权利要求1所述的信息处理装置，还包括：

存储单元，用于存储所述CNN的所述卷积系数；

其中，所述控制单元使所述成像单元基于存储在所述存储单元中的所述卷积系数来执行所述卷积处理。

5.根据权利要求1所述的信息处理装置，

其中，所述控制单元使所述成像单元向所述CNN中的后续层输出与所述卷积处理的结果相对应的信号。

6.一种信息处理方法，包括以下步骤，通过计算机：

将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间；以及

通过将信号电荷从已曝光的所述成像像素传输到浮动扩散来执行卷积处理。

7.一种信息处理程序，用于使计算机用作：

设定单元，用于将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间；以及

控制单元，用于通过将信号电荷从已曝光的所述成像像素传输到浮动扩散来执行卷积处理。

Images