CN113615161A - 对象检测装置、对象检测***以及对象检测方法 - Google Patents

对象检测装置、对象检测***以及对象检测方法 Download PDF

Info

Publication number
CN113615161A
CN113615161A CN202080022969.2A CN202080022969A CN113615161A CN 113615161 A CN113615161 A CN 113615161A CN 202080022969 A CN202080022969 A CN 202080022969A CN 113615161 A CN113615161 A CN 113615161A
Authority
CN
China
Prior art keywords
flicker
event
unit
object detection
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022969.2A
Other languages
English (en)
Inventor
中川庆
北野伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113615161A publication Critical patent/CN113615161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的目的是通过检测闪烁分量的特性来更快速且更准确地进行对象检测。根据本发明实施方式的对象检测装置设置有：固态图像捕获装置(200)，具有以矩阵布置的多个像素，并根据入射到每个像素上的光量来检测像素中事件的发生；闪烁检测单元(12)，基于由固态图像捕获装置检测到的事件的发生来产生闪烁信息；以及对象检测单元(15)，基于由固态图像捕获装置检测到的闪烁信息来检测对象。

Description

对象检测装置、对象检测***以及对象检测方法
技术领域
本公开涉及一种对象检测装置、对象检测***以及对象检测方法。
背景技术
近年来，积极开发了如下技术：根据通过对车辆周围进行成像而获得的图像来检测存在于车辆周围的对象，并基于检测结果来辅助自动驾驶以允许车辆自主地行驶或由驾驶员驾驶的技术。
现有技术文献
专利文献
专利文献1：日本未审查专利公开第2016-533140号
发明内容
本发明要解决的问题
这里，进行交通控制的红绿灯、电子公告牌、车灯等包括与光源、电源等相对应的各种闪烁分量，并且认为可以使用这些闪烁分量以更高的精度和更高的速度检测对象。
然而，在以预定帧速率获得图像数据的一般图像传感器中，难以测量诸如从红绿灯、电子公告牌、车灯等发射的闪烁分量的频率的特性。
因此，本公开提出了能够检测闪烁分量的特性并以更高的速度和更高的精度检测对象的对象检测装置、对象检测***和对象检测方法。
问题解决方案
为了解决上述问题，根据本公开的实施方式的对象检测装置设置有固态成像装置、闪烁检测单元和对象检测单元，该固态成像装置设置有以矩阵布置的多个像素，该固态成像装置根据入射在每个像素上的光量来检测该像素中事件的发生，该闪烁检测单元基于由固态成像装置检测到的事件的发生来生成闪烁信息，该对象检测单元基于由固态成像装置检测到的闪烁信息来检测对象。
附图说明
图1是用于说明在视角内检测到闪烁分量的对象的图。
图2是示出第一实施方式的对象检测装置(***)的概略配置示例的框图。
图3是示出根据第一实施方式的DVS的功能配置示例的框图。
图4是示出第一实施方式的单位像素的概略配置示例的电路图。
图5是示出第一实施方式的地址事件检测单元的概略配置示例的框图。
图6是示出根据第一实施方式的电流电压转换单元的另一示例的电路图。
图7是示出根据第一实施方式的减法器和量化器的概略配置示例的电路图。
图8是示出作为根据第一实施方式的移动体控制***的示例的车辆控制***的概略配置示例的框图。
图9是示出根据第一实施方式的DVS相对于车辆的安装位置的示例的视图。
图10是示出由根据第一实施方式的对象检测装置执行的对象检测操作的示例的流程图。
图11是用于说明在视角内检测到的闪烁分量的图。
图12是示出第二实施方式的对象检测装置(或***)的概略配置示例的框图。
图13是示出由根据第二实施方式的对象检测装置执行的对象检测操作的示例的流程图。
图14是示出根据第二实施方式的变型例的对象检测操作的示例的流程图。
图15是示出由根据第三实施方式的对象检测装置执行的对象检测操作的示例的流程图。
图16是示出由根据第四实施方式的对象检测装置执行的对象检测操作的示例的流程图。
图17是示出根据第五实施方式的第一示例的动作模式确定操作的流程图。
图18是示出根据第五实施方式的第二示例的动作模式确定操作的流程图。
图19是示出根据第五实施方式的第三示例的动作模式确定操作的流程图。
图20是示出根据第五实施方式的第四示例的动作模式确定操作的流程图。
具体实施方式
在下文中，参考附图详细描述本公开的实施方式。注意，在以下实施方式中，相同的部分用相同的附图标记表示，并且不再重复其描述。
此外，根据以下项目顺序描述本公开。
1.第一实施方式
1.1对象检测装置(或***)的配置示例
1.2DVS的配置示例
1.3单位像素的配置示例
1.4地址事件检测单元的配置示例
1.4.1电流电压转换单元的配置示例
1.4.2减法器和量化器的配置示例
1.5移动体的应用示例
1.6DVS的布置示例
1.7对象检测操作示例
1.8作用和效果
2.第二实施方式
2.1对象检测装置(或***)的配置示例
2.2对象检测操作示例
2.3作用和效果
2.4变型例
3.第三实施方式
3.1对象检测操作示例
3.2作用和效果
4.第四实施方式
4.1对象检测操作示例
4.2作用和效果
5.第五实施方式
5.1第一示例
5.2第二示例
5.3第三示例
5.4第四示例
1.第一实施方式
首先，参照附图详细描述第一实施方式。
如上所述，红绿灯、电子公告牌和车灯等对象发射以高速重复闪动的闪烁分量。例如，如图1所示，在视角G1内有红绿灯51和前方车辆52、53的情况下，红绿灯51的点亮灯、箭头式红绿灯的点亮箭头、前方车辆52和53的尾灯、刹车灯以及闪光灯发射以高速重复闪动的闪烁分量。
通过同步图像传感器难以获得诸如由这样的对象发射的闪烁分量的频率和占空比之类的特性(在下文中，称为闪烁特性)，所述同步图像传感器以某一预定帧速率与诸如垂直同步信号之类的同步信号同步地获得图像数据。
因此，在本实施方式中，使用异步图像传感器(在下文中，称为动态视觉传感器(DVS))获取由对象发射的闪烁分量的特性，其中为每个像素提供实时检测光接收量超过阈值作为地址事件的检测电路。
在一般的DVS中，采用所谓的事件驱动的驱动***，其中检测每个单位像素是否发生地址事件，并且在检测到发生地址事件的情况下，从发生地址事件的单位像素读取像素信号。
此外，由于在一般DVS中读取操作是在检测到地址事件的发生的单位像素上执行的，因此与对所有单位像素执行读取操作的同步图像传感器相比，DVS具有能够以高得多的速度执行读取的特性。
通过使用具有这种特性的DVS，可以以高精度检测对象的闪烁特性。因此，能够实现能够以更高的速度和更高的精度检测对象的对象检测***和对象检测方法。
注意，本说明书中的单位像素是包括一个光电转换元件(也称为光接收元件)的像素的最小单位，并且例如对应于从图像传感器读取的图像数据中的每个点。此外，地址事件是在分配给以二维点阵模式布置的多个单位像素中的每一个的每个地址中发生的事件，例如，基于在光电转换元件中产生的电荷的电流(下文中称为光电流)的电流值或其变化量超过特定阈值的事件。
1.1对象检测装置(或***)的配置示例
图2是示出根据第一实施方式的对象检测装置(或者对象检测***，以下称为对象检测装置)的概略配置示例的框图。如图2所示，对象检测装置1具有例如成像镜头11、DVS(第一固态成像装置)200和数据处理单元120，并且基于来自外部控制单元130的指令来监测DVS 200中的地址事件的发生。
成像透镜11是会聚入射光并在DVS 200的光接收表面上形成其图像的光学***的示例。光接收表面可以是光电转换元件布置在DVS 200中的表面。
DVS 200基于入射光的量来检测地址事件的发生，并且生成用于指定其中检测到地址事件的发生的单位像素的地址信息作为事件检测数据。所述事件检测数据可以包括时间信息，例如指示检测到所述地址事件发生的时间的时间戳。
所生成的事件检测数据经由信号线209输出到数据处理单元120。
数据处理单元120设置有例如存储器121和DSP(数字信号处理器)122。
存储器121例如包括闪存、DRAM(动态随机存取存储器)、SRAM(静态随机存取存储器)等，并记录从DVS 200输入的数据。
例如，DSP 122对从DVS 200输入的事件检测数据执行预定信号处理，以对引起地址事件发生的对象执行对象检测处理。
更具体地说，DSP 122例如基于在单位时间内从DVS 200输入的事件检测数据的数量(对应于稍后描述的事件检测数量N)、占空比等，指定检测闪烁分量的区域(对应于稍后描述的闪烁检测区域)(用作闪烁检测单元)。然后，例如，DSP 122基于指定的闪烁检测区域对引起地址事件发生的对象执行对象检测处理(用作对象检测单元)。
此时，例如，通过执行存储在存储器121中的程序，DSP 122可以用作使用深度神经网络(DNN)的机器学习单元。在这种情况下，DSP 122执行存储在存储器121中的学习模型的程序，从而执行将存储在存储器121中的字典系数与事件检测数据相乘的处理。注意，作为机器学习的方法，可以使用诸如RNN(递归神经网络)和CNN(卷积神经网络)的各种方法。
注意，DSP 122不一定要执行对象检测处理的所有步骤，可以执行至少一些步骤。例如，在利用CNN从事件检测数据检测对象的情况下，DSP 122可以执行作为隐藏层的一部分的卷积层和/或池化层。
通过这样的对象检测处理获得的结果(也包括由DSP 122执行对象检测处理的一部分而获得的结果)被输出到例如外部信息处理装置(对应于稍后描述的车辆外部信息检测单元12030和/或微型计算机12051)等。
控制单元130包括例如CPU(中央处理单元)等，并且通过经由信号线139输出各种指令来控制对象检测装置1例如DVS 200中的每个单元。
在上述配置中，DVS 200和数据处理单元120可以包括例如单个半导体芯片。此外，半导体芯片可以是通过将多个管芯彼此粘附而获得的多层芯片。
1.2DVS的配置示例
随后，参照附图详细描述DVS 200的配置示例。图3是示出根据第一实施方式的DVS的功能配置示例的框图。如图3所示，DVS 200配备有驱动电路211、信号处理单元212、仲裁器213和像素阵列单元300。
在像素阵列单元300中，多个单位像素布置成二维点阵模式。如稍后详细描述的，单位像素包括例如光电二极管等光电转换元件和像素电路(在该实施方式中，对应于后面描述的地址事件检测单元400)，其基于在光电转换元件中产生的电荷的光电流的电流值或其变化量是否超过预定阈值来检测是否发生地址事件。这里，像素电路可以由多个光电转换元件共享。在这种情况下，每个单位像素包括一个光电转换元件和共享像素电路。
可以将像素阵列单元300的多个单位像素分组为多个像素块，每个像素块包括预定数量的单位像素。在下文中，沿水平方向布置的一组单位像素或像素块被称为“行”，沿垂直于行的方向布置的一组单位像素或像素块被称为“列”。
当在像素电路中检测到地址事件的发生时，每个单位像素将用于从单位像素读取信号的请求输出到仲裁器213。
仲裁器213仲裁来自一个或多个单位像素的请求，并基于仲裁的结果向发出请求的单位像素传输预定响应。接收到该响应的单位像素向驱动电路211和信号处理单元212输出指示地址事件发生的检测信号。
驱动电路211依次驱动输出检测信号的单位像素，从而允许检测到地址事件发生的单位像素将根据光接收量的信号输出到例如信号处理单元212。注意，DVS 200可以配备有模数转换器，用于根据其电荷量(例如，对于每个单位像素或多个单位像素，或对于每列)将从稍后描述的光电转换元件333读取的信号转换为数字值的信号。
信号处理单元212对从单位像素输入的信号执行预定信号处理，并将信号处理的结果作为事件检测数据经由信号线209提供给数据处理单元120。注意，如上所述，事件检测数据可以包括检测到地址事件发生的单位像素的地址信息，以及诸如指示地址事件发生的定时的时间戳的时间信息。
1.3单位像素的配置示例
接着，描述单位像素310的配置示例。图4是示出第一实施方式的单位像素的概略配置示例的电路图。如图4所示，单位像素310设置有例如光接收单元330和地址事件检测单元400。注意，图4中的逻辑电路210可以是例如包括图3中的驱动电路211、信号处理单元212和仲裁器213的逻辑电路。
光接收单元330配备有诸如光电二极管等的光电转换元件333，并且其输出连接到地址事件检测单元400。
地址事件检测单元400例如配备有电流电压转换单元410和减法器430。然而，除了它们之外，地址事件检测单元400还配备有缓冲器、量化器和传送单元。后面将参考图5等详细描述地址事件检测单元400。
在这样的结构中，光接收单元330的光电转换元件333光电转换入射光以产生电荷。在光电转换元件333中产生的电荷被输入到地址事件检测单元400作为根据电荷量的电流值的光电流。
1.4地址事件检测单元的配置示例
图5是示出第一实施方式的地址事件检测单元的概略配置示例的框图。如图5所示，除了图5所示的电流电压转换单元410、减法器430和量化器440之外，地址事件检测单元400还配备有缓冲器420和传送单元450。
电流电压转换单元410将来自光接收单元330的光电流转换为其对数的电压信号，并将由此产生的电压信号输出到缓冲器420。
缓冲器420校正来自电流电压转换单元410的电压信号，并将校正后的电压信号输出到减法器430。
减法器430根据来自驱动电路211的行驱动信号降低来自缓冲器420的电压信号的电压电平，并将降低后的电压信号输出到量化器440。
量化器440将来自减法器430的电压信号量化为数字信号，并将其产生的数字信号作为检测信号输出至传送单元450。
传送单元450将检测信号从量化器440传送到信号处理单元212等。例如，当检测到地址事件的发生时，传送单元450向仲裁器213输出请求将地址事件的检测信号从传送单元450传输到驱动电路211和信号处理单元212的请求。然后，在接收到来自仲裁器213的对请求的响应时，传送单元450将检测信号输出到驱动电路211和信号处理单元212。
1.4.1电流电压转换单元的配置示例
图5所示配置中的电流电压转换单元410可以是例如所谓的源极跟随器电流电压转换单元，其配备有LG晶体管411、放大晶体管412和恒流电路415，如图4所示。然而，并不局限于此；这也可以是所谓的增益升压电流电压转换器，其配备有例如图6所示的两个LG晶体管411和413，两个放大晶体管412和414以及恒流电路415。
如图4所示，LG晶体管411的源极和放大晶体管412的栅极连接到例如光接收单元330的光电转换元件333的阴极。LG晶体管411的漏极连接到例如电源端子VDD。
此外，例如，放大晶体管412的源极接地，并且其漏极经由恒流电路415连接到电源端子VDD。恒流电路415可以包括例如诸如P型MOS(金属氧化物半导体)晶体管的负载MOS晶体管。
相反，在增益升压型的情况下，如图6所示，LG晶体管411的源极和放大晶体管412的栅极连接到例如光接收单元330的光电转换元件333的阴极。此外，LG晶体管411的漏极连接到例如LG晶体管413的源极和放大晶体管412的栅极。例如，LG晶体管413的漏极连接到电源端子VDD。
此外，例如，放大晶体管414的源极连接到LG晶体管411的栅极和放大晶体管412的漏极。放大晶体管414的漏极例如经由恒流电路415连接到电源端子VDD。
通过图4或图6所示的连接关系形成环形源极跟随器电路。因此，来自光接收单元330的光电流根据其电荷量被转换为对数值的电压信号。注意，LG晶体管411和413以及放大晶体管412和414中的每一个可以包括例如NMOS晶体管。
1.4.2减法器和量化器的配置示例
图7是示出根据第一实施方式的减法器和量化器的概略配置示例的电路图。如图7所示，减法器430配备有电容器431和433，逆变器432和开关434。此外，量化器440设置有比较器441。
电容器431的一端与缓冲器420的输出端子连接，另一端与逆变器432的输入端子连接。电容器433与逆变器432并联连接。开关434根据行驱动信号断开/闭合连接电容器433的两端的路径。
逆变器432将经由电容器431输入的电压信号反相。逆变器432将反相信号输出到比较器441的非反相输入端(+)。
当开关434接通时，电压信号Vinit被输入到电容器431的缓冲器420的一侧。此外，相对侧成为虚拟接地端子。为了方便起见，将该虚拟接地端子的电位设定为零。此时，当电容器431的电容被设置为C1时，在电容器431中累积的电位Qinit由以下表达式(1)表示。相反，由于电容器433的两端都被短路，因此其累积电荷为零。
Qinit＝C1×Vinit (1)
接着，考虑开关434断开并且电容器431的缓冲器420侧上的电压改变到Vafter的情况，在电容器431中累积的电荷Qafter由下面的表达式(2)表示。
Qafter＝C1×Vafter (2)
相反，当输出电压被设置为Vout时，在电容器433中累积的电荷Q2由下面的表达式(3)表示。
Q2＝-C2×Vout (3)
此时，电容器431和433的总电荷量不改变，使得以下表达式(4)成立。
Qinit＝Qafter+Q2 (4)
通过将表达式(1)至(3)代入表达式(4)并变换，获得以下表达式(5)。
Vout＝-(C1/C2)×(Vafter-Vinit) (5)
表达式(5)表示电压信号的减法运算，减法结果的增益为C1/C2。因为通常期望最大化增益，所以优选地将C1设计得较大，将C2设计得较小。相反，如果C2太小，kTC噪声增加并且噪声特性可能恶化，使得C2的电容减小被限制在允许噪声的范围内。此外，由于针对每个单位像素安装了包括减法器430的地址事件检测单元400，因此在电容C1和电容C2中存在面积限制。考虑到这些因素，确定电容C1和电容C2的值。
比较器441将来自减法器430的电压信号与施加到反相输入端子(-)的预定阈值电压Vth进行比较。比较器441将指示比较结果的信号作为检测信号输出到传送单元450。
此外，当电流电压转换单元410的转换增益被设定为CGlog并且缓冲器420的增益被设定为‘1’时，上述整个地址事件检测单元400的增益A由下面的表达式(6)表示。
[数学表达式1]
Figure BDA0003271170890000111
在表达式(6)中，iphoto_n表示第n个单位像素的光电流，并且其单位例如是安培(A)。N表示像素块中单位像素310的数量，在本实施方式中是‘1’。
1.5对移动体的应用示例
上述对象检测装置1可以应用于各种产品。例如，这可以安装在任何类型的移动体上，例如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动车辆、飞机、无人驾驶飞机、船舶和机器人。
图8是示出作为根据第一实施方式的移动体控制***的示例的车辆控制***的概略配置示例的框图。
如图8所示，车辆控制***12000设置有经由通信网络12001彼此连接的多个电子控制单元。在图8所示的示例中，车辆控制***12000设置有驱动***控制单元12010、车身***控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外，将微型计算机12051、音频图像输出单元12052和车载网络接口(I/F)12053示为集成控制单元12050的功能配置。
驱动***控制单元12010根据各种程序控制与车辆的驱动***相关的装置的操作。例如，驱动***控制单元12010用作用于产生诸如内燃机或驱动电动机的车辆的驱动力的驱动力产生装置、用于将驱动力传输到车轮的驱动力传输机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。
车身***控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如，车身***控制单元12020用作无钥匙进入***、智能钥匙***、电动窗装置或各种灯(诸如前灯、倒车灯、刹车灯、闪光灯或雾灯)的控制装置。在这种情况下，从便携式装置传输的替代各种开关的键或信号的无线电波可以被输入到车身***控制单元12020。车身***控制单元12020接收无线电波或信号的输入并控制车辆的门锁装置、电动窗装置、灯等。
车辆外部信息检测单元12030检测配备有车辆控制***12000的车辆外部的信息。例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030允许成像单元12031获得车辆外部的信息并接收获得的数据。车辆外部信息检测单元12030可以基于接收到的数据执行对路面上的诸如人、车辆、障碍物、标志或文字的对象的检测处理或距离检测处理。
成像单元12031可以是输出电信号作为图像的图像传感器，或者可以是输出与测距信息相同的测距传感器。此外，由成像单元12031接收的光可以是可见光或诸如红外光的不可见光。
成像单元12031例如设置有后述的多个成像单元12101至12105(参见图9)。上述DVS 200用于多个成像单元12101至12105中的至少一个。DVS 200和与其连接的车辆外部信息检测单元12030形成根据第一实施方式的对象检测装置1。在这种情况下，车辆外部信息检测单元12030和/或微型计算机12051用作数据处理单元120。
车辆内部信息检测单元12040检测车辆内部的信息。车辆内部信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测单元12041连接。驾驶员状态检测单元12041例如包括对驾驶员进行成像的相机，并且车辆内部信息检测单元12040可以计算驾驶员的疲劳程度或集中程度，或者可以基于从驾驶员状态检测单元12041输入的检测信息来确定驾驶员是否打瞌睡。
微型计算机12051可以基于由车辆内部信息检测单元12040获得的车辆内部信息和或车辆外部信息检测单元12030获得的车辆外部信息来执行驱动力产生装置、转向机构或制动装置的控制目标值的算术运算，并且向驱动***控制单元12010输出控制指令。例如，微型计算机12051可以执行用于实现ADAS(高级驾驶员辅助***)的功能的协作控制，这些功能包括车辆的防撞或冲击衰减、基于车间距离的跟随行驶、车辆速度保持行驶、车辆碰撞警告、车辆车道偏离警告等。
此外，微型计算机12051可以通过基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获得的车辆周围的信息控制驱动力产生装置、转向机构、制动装置等来执行用于实现自动驾驶等以独立于驾驶员的操作而自主行驶的协作控制。
此外，微型计算机12051可以基于由车辆外部信息检测单元12030获得的车辆外部信息向车身***控制单元12020输出控制指令。例如，微型计算机12051可以根据由车辆外部信息检测单元12030检测到的前方车辆或对向车辆的位置来控制前灯，以执行用于实现眩光保护的协作控制，例如将远光切换为近光。
音频图像输出单元12052将音频或图像输出信号中的至少一者传输至输出装置，该输出装置能够将该信息视觉地或听觉地通知车辆的乘员或车辆外部。在图72的示例中，作为输出装置，示出了音频扬声器12061、显示单元12062和仪表板12063。显示单元12062可以包括例如机载显示器或平视显示器中的至少一个。
1.6DVS的布置示例
图9是示出根据第一实施方式的DVS相对于车辆的安装位置的示例的视图。在图9中，作为成像单元12031，包括成像单元12101、12102、12103、12104和12105的总共五个成像单元被提供用于车辆12100。成像单元12101至12105中的至少一个包括DVS 200。例如，DVS200用于对车辆12100前方的区域进行成像的成像单元12101。
成像单元12101、12102、12103、12104和12105设置在例如车辆12100的车辆内部中的前鼻、侧镜、后保险杠、后门和挡风玻璃的上部的位置中。设置在前鼻上的成像单元12101和设置在车辆内部的挡风玻璃上部中的成像单元12105主要获得车辆12100前方区域的图像。设置在侧镜上的成像单元12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门上的成像单元12104主要获得车辆12100后面区域的图像。设置在车辆内部的挡风玻璃上部的成像单元12105主要用于检测前方车辆、行人、障碍物、红绿灯、交通标志、车道等。
此外，在图9中，示出了成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻上的成像单元12101的成像范围，成像范围12112和12113指示设置在侧镜上的成像单元12102和12103的成像范围，并且成像范围12114指示设置在后保险杠或后门上的成像单元12104的成像范围。例如，将由成像单元12101至12104成像的图像数据叠加，从而获得从上方观察的车辆12100的俯视图像。
成像单元12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是包括用于相位差检测的像素的成像元件。
例如，微型计算机12051(参考图8)可以基于从成像单元12101到12104获得的距离信息，通过获得到成像范围12111到12114中的每个立体对象的距离和该距离的时间变化(与车辆12100的相对速度)，特别地提取在车辆12100的行驶路径上最近的立体对象，该立体对象在与作为前方车辆的车辆12100的方向基本相同的方向上以预定速度(例如，0km/h或更高)行驶。另外，微型计算机12051也可以预先设定要确保的与前方车辆的车间距离，进行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。以这种方式，可以执行用于实现自动驾驶等的协作控制，以独立于驾驶员的操作自主地行驶。
例如，微型计算机12051可以在基于从成像单元12101至12104获得的距离信息将实体对象分类为摩托车、标准车辆、大型车辆、行人和其他实体对象(诸如电线杆)的同时提取关于实体对象的实体对象数据，并且用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物辨别为车辆12100的驾驶员可见的障碍物和难以看见的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的危险程度的碰撞危险，并且当碰撞危险等于或高于设定值并且存在碰撞可能性时，微型计算机12051可以通过经由音频扬声器12061和显示单元12062向驾驶员输出警告或者经由驱动***控制单元12010执行强制减速或避让转向来执行用于避免碰撞的驾驶辅助。
成像单元12101至12104中的至少一个可以是检测红外光的红外相机。例如，微型计算机12051可以通过确定在由成像单元12101至12104获取的图像中是否存在行人来识别行人。这样的行人识别例如通过提取由作为红外相机的成像单元12101至12104获取的图像中的特征点的过程，以及对指示对象的轮廓的一系列特征点执行模式匹配处理以辨别该对象是否是行人的过程来执行。当微型计算机12051确定在由成像单元12101至12104获取的图像中存在行人并且识别出行人时，音频图像输出单元12052控制显示单元12062叠加矩形轮廓以强调识别出的行人来显示。此外，音频图像输出单元12052可以控制显示单元12062以将指示行人的图标等显示在期望位置。
1.7对象检测操作示例
接着，描述根据第一实施方式的对象检测装置1的操作示例。图10是示出由根据第一实施方式的对象检测装置执行的对象检测操作的示例的流程图。注意，在下面的描述中，注意力集中在数据处理单元120的操作上。
如图10所示，在该操作中，首先，数据处理单元120输入来自DVS 200的事件检测数据(步骤S101)。注意，因为DVS 200如上所述异步地操作，所以当检测到地址事件的发生时，根据需要将事件检测数据从DVS 200输入到数据处理单元120。
相反，数据处理单元120基于输入事件检测数据中包括的地址信息来指定其中检测到地址事件的发生的一个或多个区域(以下称为事件检测区域)(步骤S102)。例如，在图1所示的对象被包括在DVS 200的视角内的情况下，数据处理单元120指定红绿灯51的区域R1以及前方车辆52和53的尾灯、刹车灯等的区域R2和R3。注意，例如，在步骤S102，可以基于在预定时间(例如，1毫秒(ms))内输入的一个或多个事件检测数据来指定检测到地址事件发生的一个或多个事件检测区域。
接着，数据处理单元120针对在步骤S102中指定的每个事件检测区域对每单位时间(例如，1秒)检测到其发生的地址事件的数量(在下文中，称为检测到的事件的数量)N进行计数(步骤S103)。注意，检测到的事件的数量N是用于确定每个事件检测区域是否包括闪烁分量的值，并且是与闪烁分量的频率相对应的特征值。作为检测到的事件的数量N，可以使用针对属于每个事件检测区域的每个地址(即，像素)计数的值，或者可以使用针对每个地址计数的值在每个事件检测区域中的最大值、平均值等。
接着，数据处理单元120确定是否存在检测到的事件的数量N等于或大于预先设定的阈值Nth的事件检测区域(步骤S104)。在不存在其中检测事件的数量N等于或大于阈值Nth的事件检测区域的情况下(在步骤S104中为否)，数据处理单元120确定没有检测到闪烁对象，并且进行到步骤S108。
相反，在存在其中检测到的事件的数量N等于或大于阈值Nth的事件检测区域的情况下(在步骤S104中为是)，数据处理单元120从上述一个或多个事件检测区域指定其中检测到闪烁的区域(在下文中，称为闪烁检测区域)(步骤S105)。
接着，数据处理单元120基于在步骤S105中指定的闪烁检测区域的边缘形状和为闪烁检测区域计数的检测事件的数量N来检测在每个闪烁检测区域中成像的对象(步骤S106)。
注意，可以基于例如地址信息指定的对象的边缘形状以及检测到的事件的数量N指定的诸如闪烁分量的频率和占空比的特性等来检测每个闪烁检测区域中的对象。例如，可以通过在存储器121中登记边缘形状，闪烁特性等与对象之间的对应关系并且在所登记的对象的检测到的边缘形状、闪烁特性等与边缘形状、闪烁特性等之间执行模式匹配来检测对象。或者，也可以通过使用边缘形状、闪烁特性等作为输入的机器学习来检测对象。
接着，数据处理单元120经由通信网络12001将如上所述执行的对象检测处理的结果输出到例如集成控制单元12050(步骤S107)，并进行到步骤S108。
在步骤S108，数据处理单元120确定是否结束该操作，并且在结束的情况下(在步骤S108中为是)，结束该操作。相反，在继续的情况下(在步骤S108中为否)，数据处理单元120返回到步骤S101并执行随后操作。
1.8动作和效果
如上所述，根据本实施方式，不仅可以考虑对象的边缘形状，而且可以考虑由对象产生的闪烁的特性等来检测对象。因此，能够以更高的速度和更高的精度检测对象。
2.第二实施方式
接着，参照附图详细描述第二实施方式。注意，在下面的描述中，引用了与第一实施方式类似的配置和操作，并且不再重复其描述。
在上述第一实施方式中，例示了使用从DVS 200获得的事件检测数据来检测发射闪烁分量的对象的情况。相反，在第二实施方式中，以示例描述了除了事件检测数据之外还使用由正常图像传感器获得的图像数据来检测发射闪烁分量的对象的情况。
例如，如图11所示，在路面被雨水等湿润的情况下，从对向车辆55的前灯输出的光在路面上反射；在这种情况下，不仅前灯的区域R5而且反射前灯的光的路面上的区域R5a在视角G2中具有闪烁分量。因此，在仅基于闪烁分量的对象检测中，有可能发生错误检测，例如检测到原本什么都不存在的路面上的对象。注意，在图11中，与街灯对应的区域R4也被检测为具有闪烁分量的区域。
因此，在本实施方式中，通过组合事件检测数据和图像数据，抑制了错误检测的发生，并且使更准确的对象检测成为可能。
2.1对象检测装置(或***)的配置示例
图12是示出第二实施方式的对象检测装置(或***)的概略配置示例的框图。如图12所示，对象检测装置2设置有成像镜头110、DVS 200、闪烁检测单元12、成像镜头13、图像传感器(第二固态成像装置)14、对象检测单元15、动作模式确定单元16、存储单元17和接口(I/F)单元18。在该配置中，成像透镜11和DVS 200可以类似于根据第一实施方式的成像透镜11和DVS 200。
与成像透镜11的情况一样，成像透镜13是汇聚入射光并在图像传感器14的光接收表面上形成其图像的光学***的示例。光接收表面可以是光电转换元件布置在图像传感器14中的表面。
图像传感器14可以是能够获得图像数据的各种图像传感器，例如CCD(电荷耦合器件)图像传感器和CMOS(互补金属氧化物半导体)图像传感器。图像传感器14具有例如包括在图8中的成像单元12031中的配置，并且安装在车辆12100上以与DVS 200的视角基本相同的视角成像。
闪烁检测单元12基于例如从DVS 200输入的事件检测数据来指定一个或多个闪烁检测区域。闪烁检测单元12例如可以是第一实施方式中的数据处理单元120。在这种情况下，闪烁检测单元12不仅可以指定闪烁检测区域，而且可以检测在每个闪烁检测区域中成像的对象。
对象检测单元15通过使用由闪烁检测单元12检测的闪烁检测区域和从图像传感器14输入的图像数据来检测在每个闪烁检测区域中成像的对象。
动作模式确定单元16基于例如由闪烁检测单元12检测到的对象或由对象检测单元15检测到的对象来确定车辆12100的动作模式。动作模式确定单元16例如可以是图8的微型计算机12051，也可以是与微型计算机12051不同的计算机。
存储单元17存储动作模式确定单元16确定车辆12100的动作模式所需的各种程序和数据。
I/F单元18例如在动作模式确定单元16是与微型计算机12051不同的计算机的情况下，经由通信网络12001与集成控制单元12050进行数据的收发的接口。然而，在动作模式确定单元16是微型计算机12051的情况下，I/F单元18对应于例如车载网络I/F 12053。
2.2对象检测操作示例
接着，描述根据第二实施方式的对象检测装置2的操作示例。图13是示出由根据第二实施方式的对象检测装置执行的对象检测操作的示例的流程图。注意，在下面的描述中，引用了与第一实施方式中参考图10描述的操作类似的操作，并且不再重复其描述。
如图13所示，在该操作中，首先，闪烁检测单元12执行与第一实施方式中的图10中的步骤S101至S105所描述的操作类似的操作，从而指定一个或多个闪烁检测区域。注意，用于指定每个闪烁检测区域的区域信息(例如，地址信息)从闪烁检测单元12输入到对象检测单元15。
接着，将图像数据从图像传感器14输入到对象检测单元15，闪烁检测区域的区域信息被输入到对象检测单元15(步骤S201)。注意，图像传感器14可以以预定帧速率周期性地输出图像数据，或者可以在由对象检测单元15或控制单元130(参考图1)指示的定时输出图像数据。
输入图像数据的对象检测单元15在输入的图像数据中指定包括闪烁检测区域的对象的区域(以下，称为对象检测区域)(步骤S202)。例如，在图11所示的示例中，包括与闪烁检测区域对应的区域R5的车辆55的区域被指定为对象检测区域R6。另一方面，由于闪烁检测区域所对应的区域R5a不包括在特定的对象中，因此对象检测单元15不对区域R5a指定对象检测区域。
接着，对象检测单元15基于在步骤S202指定的图像数据中包括在对象检测区域中的对象的边缘形状和叠加在对象检测区域上的闪烁检测区域中检测到的事件的数量N来检测在每个对象检测区域中成像的对象(步骤S203)。注意，可以使用模式匹配和机器学习用于对象检测，例如，如图10中的步骤S106。
接着，对象检测单元15经由通信网络12001将对象检测结果输出到例如集成控制单元12050(步骤S107)，如步骤S107和图10中的后续步骤，之后，在步骤S108确定是否完成该操作。
2.3作用和效果
如上所述，根据本实施方式，其中检测闪烁分量的闪烁检测区域由从图像数据指定的对象检测区域掩蔽。由此，能够减少或避免本来不存在的路面上的对象的检测等错误检测的发生，能够以更高的精度检测对象。
其它配置、操作和效果可以类似于上述实施方式的配置、操作和效果，因此在此省略其详细描述。
2.4变型例
在上述第二实施方式中，示例了通过用从图像数据获得的对象信息(例如，对象检测区域)掩蔽从事件检测数据获得的闪烁信息(例如，闪烁检测区域和/或检测到的事件的数量N)来减少或避免错误检测的发生的情况。然而，通过闪烁信息和对象信息的组合来减少/避免错误检测的方法不限于这种方法。例如，还可以通过支持使用闪烁信息对图像数据进行对象检测来减少或避免错误检测。
图14是示出根据第二实施方式的变化的对象检测操作的示例的流程图。如图14所示，在该变化中，首先，将图像数据输入到对象检测单元15(步骤S221)。图像数据所输入到的对象检测单元15对所输入的图像数据执行对象检测处理，从而指定图像数据中所包括的对象的一个或多个区域(对象检测区域)(步骤S222)。例如，在图11所示的示例中，对象检测单元15指定包括车辆55的对象检测区域R6。注意，用于指定每个对象检测区域的区域信息(例如，地址信息)从对象检测单元15输入到闪烁检测单元12。
接着，闪烁检测单元12对每个对象检测区域中每单位时间检测到的事件的数量N进行计数(步骤S223)。注意，作为检测事件的数量N，可以使用针对属于每个对象检测区域的每个地址(即，像素)计数的值，或者可以使用针对每个地址计数的值的每个区域中的最大值、平均值等。注意，每个对象检测区域的检测到的事件的数量N从闪烁检测单元12输入到对象检测单元15。
接着，对象检测单元15基于在步骤S222中指定的图像数据中包括在对象检测区域中的对象的边缘形状和在对象检测区域中检测到的事件的数量N来检测在每个对象检测区域中成像的对象(步骤S224)。注意，模式匹配和机器学习可以用于对象检测，例如，如图10中的步骤S106。
接着，对象检测单元15经由通信网络12001将对象检测结果输出到例如集成控制单元12050(步骤S107)，如步骤S107和图10中的后续步骤，之后，在步骤S108确定是否完成该操作。
根据如上所述的操作，由于通过使用闪烁信息来支持针对图像数据的对象检测，因此可以减少或避免诸如检测原本不存在的路面上的对象等的错误检测的发生，并且如在第二实施方式中那样以更高的精度执行对象检测。
3.第三实施方式
接着，参照附图详细描述第三实施方式。注意，在以下描述中，引用了与上述实施方式类似的配置和操作，并且不再重复其描述。
例如，发射如红绿灯、电子公告牌或车灯等的闪烁分量的对象不是点而是具有特定区域。相比之下，从DVS 200输出的大多数错误检测是一个或几个点的非常小的区域。
因此，在本实施方式中，在指定为闪烁检测区域的区域的大小中设定下限，并且不将小于下限的区域设定为闪烁检测区域，从而减少对象的错误检测，并且减少在对象检测处理中要处理的数据量。
根据本实施方式的对象检测装置(或***)的配置示例例如可以与在第一实施方式中例示的对象检测装置1或在第二实施方式中例示的对象检测装置2的配置示例类似。
3.1对象检测操作示例
图15是示出由根据第三实施方式的对象检测装置执行的对象检测操作的示例的流程图。注意，在下面的描述中，引用了与上述实施方式类似的操作，并且不再重复其描述。此外，在下面的描述中，示例了基于第二实施方式中参考图13描述的操作的情况，但是作为基础的实施方式不限于第二实施方式，并且可以是上面或后面描述的其他实施方式或其变化。
如图15所示，在根据本实施方式的对象检测操作中，例如，在第二实施方式中与参照图13描述的操作相同的操作中，在步骤S104与步骤S105之间增加步骤S301。
在步骤S301，闪烁检测单元12确定在步骤S102指定的每个事件检测区域中是否存在一定数量或更多的像素(即，地址)，其中检测到的事件的数量N等于或大于阈值Nth。注意，该特定数字可以是例如与通过错误检测地址事件而大于区域尺寸的尺寸相对应的数字。
在不存在其中检测到的事件的数量N等于或大于阈值Nth的一定数量或更多的像素的事件检测区域的情况下(在步骤S301为否)，该操作进行到步骤S108。相反，在存在这种情况的情况下(在步骤S301中为是)，闪烁检测单元12将其中存在检测到的事件的数量N等于或大于阈值Nth的一定数量或更多的像素的事件检测区域指定为闪烁检测区域(步骤S105)，并执行随后的操作。
3.2动作和效果
如上所述，根据本实施方式，由于将具有特定尺寸或更大尺寸的事件检测区域指定为闪烁检测区域，因此减少了对象的错误检测，并且使更高精度的对象检测成为可能，并且减少了在对象检测处理中要处理的数据量，并且使更高速度的对象检测成为可能。
其它配置、操作和效果可以类似于上述实施方式的配置、操作和效果，因此在此省略其详细描述。
4.第四实施方式
接着，参照附图详细描述第四实施方式。注意，在以下描述中，引用了与上述实施方式类似的配置和操作，并且不再重复其描述。
在上述实施方式中，在不改变闪烁检测区域和其它区域之间的分辨率的情况下监测地址事件的发生。此外，在第二和第三实施方式中，从闪烁检测区域和其他区域读取相同分辨率的图像数据。
相反，在第三实施方式中，当监测地址事件发生时的分辨率和/或从图像传感器14读取的图像数据的分辨率在闪烁检测区域和其他区域之间改变。
由此，例如，能够减少闪烁检测区域以外的区域的数据处理量，能够实现高速的对象检测。
根据本实施方式的对象检测装置(或***)的配置示例例如可以与在第一实施方式中例示的对象检测装置1或在第二实施方式中例示的对象检测装置2的配置示例类似。
4.1对象检测操作示例
图16是示出由根据第四实施方式的对象检测装置执行的对象检测操作的示例的流程图。注意，在下面的描述中，引用了与上述实施方式类似的操作，并且不再重复其描述。另外，在以下的说明中，例示了基于第三实施方式的图15所示的操作的情况，但作为基础的实施方式并不限定于第三实施方式，也可以是上述或后述的其他实施方式或其变化。
如图16所示，在根据本实施方式的对象检测操作中，例如，在第三实施方式中与参照图15描述的操作相同的操作中，在步骤S107与步骤S108之间增加步骤S401。
在步骤S401，闪烁检测单元12将除了在步骤S105指定的闪烁检测区域之外的区域设定为低分辨率区域。低分辨率区域的设定例如可以在控制单元130上执行。
相反，对于DVS 200中的低分辨率区域，控制单元130将监测地址事件的发生时的分辨率设定为低。例如，对于DVS 200中的低分辨率区域，控制单元130控制DVS 200以便停止监测奇数行中的单位像素310的地址事件的发生，而仅监测偶数行中的单位像素310的地址事件的发生。
此外，控制单元130降低从图像传感器14中的低分辨率区域读取的图像数据的分辨率。例如，对于图像传感器14中的低分辨率区域，控制单元130仅从奇数行中的像素读取像素信号以生成图像数据。
4.2动作和效果
如上所述，根据本实施方式，能够减少除了闪烁检测区域之外的区域的数据处理量，从而能够以更高的速度进行对象检测。
其它配置、操作和效果可以类似于上述实施方式的配置、操作和效果，因此在此省略其详细描述。
5.第五实施方式
接着，参照附图详细描述第五实施方式。注意，在以下描述中，引用了与上述实施方式类似的配置和操作，并且不再重复其描述。
在第五实施方式中，通过一些示例描述在上述实施方式中由微型计算机12051或动作模式确定单元16执行的动作模式确定操作。注意，在以下说明中，为了清楚起见，假定动作模式确定单元16执行动作模式确定操作。
5.1第一示例
图17是示出根据第一示例的动作模式确定操作的流程图。另外，在第一示例中，例示了根据上述实施方式的对象检测装置1或2检测到红绿灯而车辆12100在红绿灯处等待的情况。此外，此时，假定发动机通过安装在车辆12100上的怠速停止***自动停止。
如图17所示，在第一示例中，动作模式确定单元16首先等待来自对象检测装置1或2的对象检测结果的输入(在步骤S501中为否)，并且当对象检测结果被输入时(在步骤S501中为是)，这识别出在对象检测结果的基础上检测到红绿灯(步骤S502)。
接着，动作模式确定单元16根据对象检测结果来指定红绿灯的当前照明颜色(步骤S503)。然后，在当前照明颜色为蓝色的情况下(在步骤S504中为是)，动作模式确定单元16启动发动机(步骤S505)，并进行到步骤S507。此时，如果车辆12100的自动驾驶功能是有效的，则动作模式确定单元16可以与发动机的启动一起启动车辆12100的向前移动等。
相反，在当前照明颜色是除蓝色之外的颜色的情况下，例如，红色(在步骤S504中为否)的情况下，动作模式确定单元16继续停止(步骤S506)，并进行到步骤S507。
在步骤S507中，动作模式确定单元16确定是否结束该操作，在结束的情况下(在步骤S507中为是)，结束该操作。相反，继续(在步骤S507中否)的情况下，动作模式确定单元16返回到步骤S501并执行后续操作。
5.2第二示例
图18是示出根据第二示例的动作模式确定操作的流程图。另外，在第二示例中，例示了在车辆12100行驶期间由根据上述实施方式的对象检测装置1或2检测到对向车辆的情况。
如图18所示，在第二示例中，首先，当从对象检测装置1或2输入对象检测结果时(在步骤S521中为是)，动作模式确定单元16基于对象检测结果来检测作为对向车辆的前灯(步骤S522)。随后，动作模式确定单元16在对象检测结果中从包括前灯的区域检测对向车辆(步骤S523)。
当以此方式检测到对向车辆的存在时，动作模式确定单元16驱动图8中的音频图像输出单元12052，以例如从音频扬声器12061发出警告通知驾驶员对向车辆的存在和/或在显示单元12062上显示对向车辆的存在(步骤S524)，并且进行到步骤S525。
在步骤S525中，动作模式确定单元16确定是否结束该操作，在结束的情况下(在步骤S525中为是)，结束该操作。相反，继续(在步骤S525中为否)的情况下，动作模式确定单元16返回到步骤S521并执行后续操作。
5.3第三示例
图19是示出根据第三示例的动作模式确定操作的流程图。另外，在第三示例中，例示了在车辆12100行驶期间由根据上述实施方式的对象检测装置1或2检测到对向车辆的情况下的另一动作模式确定操作。
如图19所示，在第三示例中，动作模式确定单元16首先通过执行与第二示例中的图18中的步骤S521至S523所描述的操作类似的操作来检测对向车辆。
接着，动作模式确定单元16根据在预定时段内连续输入的对象检测结果来计算对向车辆的运动矢量(步骤S531)。注意，例如，在步骤S531，可以计算与对向车辆相对应的对象检测区域的重心或中心，并且可以根据单位时间重心或中心的运动量和移动方向来计算对向车辆的运动矢量。
接着，动作模式确定单元16确定在步骤S531中计算的运动矢量是否指向主车辆(车辆12100)(步骤S532)。在运动矢量没有指向主车辆12100的情况下(在步骤S532中为否)，动作模式确定单元16确定碰撞风险低或不存在，并且进行到步骤S525。
相反，在对向车辆的运动矢量指向主车辆12100的情况下(在步骤S532中为是)，动作模式确定单元16接着确定对向车辆的运动矢量的幅度M是否等于或大于提前设定的阈值Mth(步骤S533)。在运动矢量的幅度M小于阈值Mth的情况下(步骤S533)，动作模式确定单元16确定碰撞风险低或不存在，并且进行到步骤S525。
此外，在运动矢量的幅度M等于或大于阈值Mth的情况下(在步骤S533中为是)，动作模式确定单元16检测碰撞风险(步骤S534)。然后，动作模式确定单元16例如通过控制图8的驱动***控制单元12010来执行自动制动控制，并驱动图8的音频图像输出单元12052，由此，从音频扬声器12061向驾驶员发出通知与对向车辆发生碰撞的风险的警告，和/或在显示单元12062上显示与对向车辆发生碰撞的风险(步骤S535)，并且进行到步骤S525。
在步骤S525中，与第二示例中一样，动作模式确定单元16确定是否结束该操作，并且在结束的情况下(在步骤S525中为是)，结束该操作，并且在继续的情况下(在步骤S525中为否)，返回到步骤S521并执行后续操作。
5.4第四示例
图20是示出根据第四示例的动作模式确定操作的流程图。另外，在第四示例中，例示了在车辆12100行驶时通过根据上述实施方式的对象检测装置1或2检测到前方车辆的闪光灯开始闪动的情况。
如图20所示，在第四示例中，当从对象检测装置1或2输入对象检测结果时(在步骤S541中为是)，动作模式确定单元16基于对象检测结果来检测车辆的闪光灯是前方车辆(步骤S542)。随后，动作模式确定单元16从对象检测结果中的包括闪光灯的区域检测前方车辆(步骤S543)。
接着，动作模式确定单元16指定与所检测到的前方车辆相对应的对象检测区域的中心(步骤S544)，并且根据与闪光灯相对应的中心位置和闪烁检测区域之间的位置关系来指定由前方车辆通过闪光灯指示的路线改变方向(步骤S546)。
接着，动作模式确定单元16驱动图8中的音频图像输出单元12052，例如，以从音频扬声器12061发出警告通知驾驶员前方车辆的路线改变和/或在显示单元12062上显示前方车辆的路线改变(步骤S546)，并且进行到步骤S525。
在步骤S525中，动作模式确定单元16确定是否结束该操作，在结束的情况下(在步骤S525中为是)，结束该操作。相反，继续(在步骤S525中为否)的情况下，动作模式确定单元16返回到步骤S521并执行后续操作。
虽然以上描述了本公开的实施方式，但是本公开的技术范围不限于上述实施方式，并且在不脱离本公开的要旨的情况下可以进行各种修改。此外，可以适当地组合不同实施方式和变化的部件。
此外，在本说明书的每个实施方式中描述的效果仅仅是说明性的而不是限制性的；还可以存在另一种效果。
注意，本技术可以具有以下配置。
(1)
一种对象检测装置，具有：
第一固态成像装置，设置有以矩阵布置的多个像素，第一固态成像装置根据入射在每个像素上的光量检测像素中事件的发生；
闪烁检测单元，基于由所述第一固态成像装置检测到的事件的发生来生成闪烁信息；以及
对象检测单元，基于由第一固态成像装置检测到的闪烁信息来检测对象。
(2)
根据上述(1)所述的对象检测装置，其中，
闪烁检测单元在多个像素中指定其中检测到事件的发生的事件检测区域，并且基于针对事件检测区域的每预定时间检测到的发生事件的数量来生成闪烁信息。
(3)
根据上述(2)所述的对象检测装置，其中
闪烁检测单元基于属于事件检测区域的各个像素中的每预定时间检测到的发生事件的数量的最大值或平均值来生成闪烁信息。
(4)
根据上述(2)或(3)所述的对象检测装置，其中，
闪烁信息包括事件检测区域的边缘形状和每预定时间检测到的发生事件的数量。
(5)
根据上述(2)至(4)中任一项所述的对象检测装置，其中，
闪烁检测单元将事件检测区域中的、在每预定时间检测到的发生事件的数量为第一阈值或更大的像素所布置的区域设定为闪烁检测区域；
对象检测单元基于闪烁信息检测在闪烁检测区域中成像的对象。
(6)
根据以上(5)所述的对象检测装置，其中，
闪烁检测单元将所述事件检测区域中的、其中每预定时间检测到的发生事件的数量为第一阈值或更大的像素的数量为第二阈值或更大的区域设定为闪烁检测区域。
(7)
根据上述(2)所述的对象检测装置，还具有：
第二固态成像装置，获得图像数据，其中，
对象检测单元基于闪烁信息和图像数据检测对象。
(8)
根据上述(7)所述的对象检测装置，其中，
闪烁检测单元在多个像素中指定其中检测到事件的发生的事件检测区域，并且基于针对事件检测区域的每预定时间检测到的发生事件的数量来生成闪烁信息，
对象检测单元指定包括与事件检测区域对应的图像数据上的区域且与对象对应的对象检测区域，并基于对象检测区域和闪烁信息检测对象。
(9)
根据上述(7)所述的对象检测装置，其中，
对象检测单元从图像数据中指定与对象对应的对象检测区域；
闪烁检测单元针对多个像素中的与对象检测区域对应的区域，基于每预定时间检测到的发生事件的数量来生成闪烁信息，并且
对象检测单元基于对象检测区域和闪烁信息检测对象。
(10)
根据上述(2)所述的对象检测装置，还具有：
控制单元，控制对所述第一固态成像装置的读取，其中，
所述控制单元在针对所述多个像素中的除包括在所述事件检测区域中的像素之外的像素被布置在其中的区域降低监视所述事件的发生时的分辨率。
(11)
根据上述(7)所述的对象检测装置，还具有：
控制单元，控制对所述第二固态成像装置的读取，其中，
控制单元降低第二固态成像装置中从与事件检测区域对应的区域读取的图像数据的分辨率。
(12)
一种对象检测***，具有：
第一固态成像装置，设置有以矩阵布置的多个像素，第一固态成像装置根据入射在每个像素上的光量检测像素中事件的发生；
闪烁检测单元，基于由所述第一固态成像装置检测到的事件的发生来生成闪烁信息；以及
对象检测单元，基于由第一固态成像装置检测到的闪烁信息来检测对象。
(13)
一种对象检测方法，具有：
基于由固态成像装置检测到的事件的发生来生成闪烁信息，所述固态成像装置设置有以矩阵布置的多个像素，所述固态成像装置根据入射到每个像素上的光量来检测像素中事件的发生；以及
基于闪烁信息检测对象。
符号说明
1、2 对象检测装置(***)
11、13 成像透镜
12 闪烁检测单元
14 图像传感器
15 对象检测单元
16 动作模式确定单元
17 存储单元
18 I/F单元
120 数据处理单元
121 存储器
122 DSP
130 控制单元
200 DVS
210 逻辑电路
211 驱动电路
212 信号处理单元
213 仲裁器
300 像素阵列单元
310 单位像素
330 光接收单元
333 光电转换元件
400 地址事件检测单元
410 电流电压转换单元
411、413 LG晶体管
412、414 放大晶体管
415 恒流电路
420 缓冲器
430 减法器
431、433 电容器
432 逆变器
434 开关
440 量化器
441 比较器
450 传送单元
12001 通信网络
12010 驱动***控制单元
12030 车辆外部信息检测单元
12031、12101至12105 成像单元
12050 集成控制单元
12051 微型计算机
12052 音频图像输出单元
12053 车载网络I/F
12061 音频扬声器
12062 显示单元
12100 车辆。

Claims (13)

1.一种对象检测装置，包括：
第一固态成像装置，设置有以矩阵布置的多个像素，所述第一固态成像装置根据入射在每个像素上的光量检测像素中事件的发生；
闪烁检测单元，基于由所述第一固态成像装置检测到的事件的发生来生成闪烁信息；以及
对象检测单元，基于由所述第一固态成像装置检测到的闪烁信息来检测对象。
2.根据权利要求1所述的对象检测装置，其中，
所述闪烁检测单元在多个像素中指定其中检测到事件的发生的事件检测区域，并且基于针对所述事件检测区域的每预定时间检测到的发生事件的数量来生成所述闪烁信息。
3.根据权利要求2所述的对象检测装置，其中，
所述闪烁检测单元基于属于所述事件检测区域的各个像素中的每预定时间检测到的发生事件的数量的最大值或平均值来生成所述闪烁信息。
4.根据权利要求2所述的对象检测装置，其中，
所述闪烁信息包括所述事件检测区域的边缘形状和每预定时间检测到的发生事件的数量。
5.根据权利要求2所述的对象检测装置，其中，
所述闪烁检测单元将所述事件检测区域中的、在每预定时间检测到的发生事件的数量为第一阈值或更大的像素所布置的区域设定为闪烁检测区域；
所述对象检测单元基于所述闪烁信息检测在所述闪烁检测区域中成像的对象。
6.根据权利要求5所述的对象检测装置，其中，
所述闪烁检测单元将所述事件检测区域中的、其中每预定时间检测到的发生事件的数量为第一阈值或更大的像素的数量为第二阈值或更大的区域设定为所述闪烁检测区域。
7.根据权利要求2所述的对象检测装置，进一步包括：
第二固态成像装置，获得图像数据，其中，
所述对象检测单元基于所述闪烁信息和所述图像数据检测对象。
8.根据权利要求7所述的对象检测装置，其中，
所述闪烁检测单元在多个像素中指定其中检测到事件的发生的事件检测区域，并且基于针对所述事件检测区域的每预定时间检测到的发生事件的数量来生成闪烁信息，
所述对象检测单元指定包括与所述事件检测区域对应的图像数据上的区域且与对象对应的对象检测区域，并基于所述对象检测区域和所述闪烁信息检测对象。
9.根据权利要求7所述的对象检测装置，其中，
所述对象检测单元从所述图像数据中指定与对象对应的对象检测区域；
所述闪烁检测单元针对多个像素中的与所述对象检测区域对应的区域，基于每预定时间检测到的发生事件的数量来生成所述闪烁信息，并且
所述对象检测单元基于所述对象检测区域和所述闪烁信息检测对象。
10.根据权利要求2所述的对象检测装置，进一步包括：
控制单元，控制对所述第一固态成像装置的读取，其中，
所述控制单元在针对所述多个像素中的除包括在所述事件检测区域中的像素之外的像素被布置在其中的区域降低监视所述事件的发生时的分辨率。
11.根据权利要求7所述的对象检测装置，进一步包括：
控制单元，控制对所述第二固态成像装置的读取，其中，
所述控制单元降低所述第二固态成像装置中从与所述事件检测区域对应的区域读取的图像数据的分辨率。
12.一种对象检测***，包括：
第一固态成像装置，设置有以矩阵布置的多个像素，所述第一固态成像装置根据入射在每个像素上的光量检测像素中事件的发生；
闪烁检测单元，基于由所述第一固态成像装置检测到的事件的发生来生成闪烁信息；以及
对象检测单元，基于由所述第一固态成像装置检测到的所述闪烁信息来检测对象。
13.一种对象检测方法，包括：
基于由固态成像装置检测到的事件的发生来生成闪烁信息，所述固态成像装置设置有以矩阵布置的多个像素，所述固态成像装置根据入射到每个像素上的光量来检测像素中事件的发生；以及
基于所述闪烁信息检测对象。
CN202080022969.2A 2019-03-27 2020-03-10 对象检测装置、对象检测***以及对象检测方法 Pending CN113615161A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-060216 2019-03-27
JP2019060216 2019-03-27
PCT/JP2020/010189 WO2020195769A1 (ja) 2019-03-27 2020-03-10 物体検出装置、物体検出システム及び物体検出方法

Publications (1)

Publication Number Publication Date
CN113615161A true CN113615161A (zh) 2021-11-05

Family

ID=72610116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022969.2A Pending CN113615161A (zh) 2019-03-27 2020-03-10 对象检测装置、对象检测***以及对象检测方法

Country Status (3)

Country Link
US (1) US11823466B2 (zh)
CN (1) CN113615161A (zh)
WO (1) WO2020195769A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270137B2 (en) * 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
JPWO2021260970A1 (zh) 2020-06-26 2021-12-30
US11863369B2 (en) 2020-06-26 2024-01-02 Sony Group Corporation Network control method and data processing system
WO2022012748A1 (en) * 2020-07-15 2022-01-20 Veoneer Sweden Ab Vision system for a motor vehicle
EP4287614A4 (en) 2021-02-01 2024-07-17 Sony Group Corp DATA PROCESSING DEVICE AND METHOD AND DATA PROCESSING SYSTEM
WO2023210330A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 データ生成装置、データ生成方法、プログラム、解析装置
CN117409328B (zh) * 2023-12-14 2024-02-27 城云科技（中国）有限公司 用于道路病害检测的无因果性目标检测模型、方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477862A (zh) * 2002-07-25 2004-02-25 ��ʿͨ��ʽ���� 固态图像传感器
US20050123173A1 (en) * 2003-12-09 2005-06-09 Denso Corporation Driving assisting apparatus for preventing vehicular collision
JP2009212909A (ja) * 2008-03-05 2009-09-17 Sharp Corp 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
CN101610350A (zh) * 2008-06-19 2009-12-23 夏普株式会社 信号处理装置、信号处理方法、控制程序、可读记录介质、固态图像捕获装置以及电子信息设备
CN104702853A (zh) * 2013-12-09 2015-06-10 苹果公司 图像传感器闪烁检测
CN105555606A (zh) * 2013-08-19 2016-05-04 金泰克斯公司 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像***和方法
JP2017521746A (ja) * 2014-04-30 2017-08-03 サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） 非同期光センサーによって観測されたシーン内の形状を追跡する方法
CN108536134A (zh) * 2017-03-02 2018-09-14 比亚迪股份有限公司 车辆行驶自动控制方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2811152T3 (es) 2013-09-16 2021-03-10 Prophesee Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
JP6447289B2 (ja) * 2015-03-20 2019-01-09 株式会社リコー 撮像装置、撮像方法、プログラム、車両制御システム、および車両
JP2018186478A (ja) 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
US10529074B2 (en) * 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
WO2019145516A1 (en) * 2018-01-26 2019-08-01 Prophesee Method and apparatus of processing a signal from an event-based sensor
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
JP7449663B2 (ja) * 2018-10-30 2024-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020136958A (ja) * 2019-02-21 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
US10944912B2 (en) * 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
US20210067679A1 (en) * 2019-08-28 2021-03-04 Semiconductor Components Industries, Llc Event sensors with flicker analysis circuitry
GB2586802B (en) * 2019-09-03 2023-04-05 Jaguar Land Rover Ltd System and method for identifying light emitting flicker
DE102019126812A1 (de) * 2019-10-07 2021-04-08 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Erkennung einer gepulst betriebenen Lichtquelle
JPWO2021111891A1 (zh) * 2019-12-05 2021-06-10
JP2021111929A (ja) * 2020-01-15 2021-08-02 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
CN115280360A (zh) * 2020-03-25 2022-11-01 华为技术有限公司 照明部分的确定

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477862A (zh) * 2002-07-25 2004-02-25 ��ʿͨ��ʽ���� 固态图像传感器
US20050123173A1 (en) * 2003-12-09 2005-06-09 Denso Corporation Driving assisting apparatus for preventing vehicular collision
JP2009212909A (ja) * 2008-03-05 2009-09-17 Sharp Corp 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
CN101610350A (zh) * 2008-06-19 2009-12-23 夏普株式会社 信号处理装置、信号处理方法、控制程序、可读记录介质、固态图像捕获装置以及电子信息设备
CN105555606A (zh) * 2013-08-19 2016-05-04 金泰克斯公司 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像***和方法
CN104702853A (zh) * 2013-12-09 2015-06-10 苹果公司 图像传感器闪烁检测
JP2017521746A (ja) * 2014-04-30 2017-08-03 サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） 非同期光センサーによって観測されたシーン内の形状を追跡する方法
CN108536134A (zh) * 2017-03-02 2018-09-14 比亚迪股份有限公司 车辆行驶自动控制方法和装置

Also Published As

Publication number Publication date
WO2020195769A1 (ja) 2020-10-01
US20220172486A1 (en) 2022-06-02
US11823466B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
US11659304B2 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
US11425318B2 (en) Sensor and control method
US11823466B2 (en) Object detection device, object detection system, and object detection method
CN113396579B (zh) 事件信号检测传感器和控制方法
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11770625B2 (en) Data processing device and data processing method
US11330202B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
US11937001B2 (en) Sensor and control method
US20220159201A1 (en) Event detection device, system including event detection device, and event detection method
US20220161654A1 (en) State detection device, state detection system, and state detection method
CN114830629A (zh) 固态成像元件和成像装置
EP4063914A1 (en) Ranging device and ranging method
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2024042946A1 (ja) 光検出素子
WO2023189279A1 (ja) 信号処理装置、撮像装置および信号処理方法
WO2022137993A1 (ja) コンパレータ及び固体撮像素子
JP2024090345A (ja) 光検出装置、および、光検出装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination