CN113170059A - 信号处理装置，电子设备，信号处理方法和程序 - Google Patents

信号处理装置，电子设备，信号处理方法和程序 Download PDF

Info

Publication number
CN113170059A
CN113170059A CN201980078651.3A CN201980078651A CN113170059A CN 113170059 A CN113170059 A CN 113170059A CN 201980078651 A CN201980078651 A CN 201980078651A CN 113170059 A CN113170059 A CN 113170059A
Authority
CN
China
Prior art keywords
packet
event
buffer memory
data packet
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980078651.3A
Other languages
English (en)
Inventor
栗原洋辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN113170059A publication Critical patent/CN113170059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种信号处理装置，包括：通信单元，其接收从事件驱动视觉传感器发送的数据包，事件驱动视觉传感器包括传感器阵列，传感器阵列由当检测到入射光强度的变化时生成事件信号的传感器构成；缓冲存储器，数据包被临时存储在缓冲存储器中；以及读出控制单元，在满足预定条件的情况下读出控制单元从缓冲存储器中强制读出数据包。

Description

信号处理装置，电子设备，信号处理方法和程序
技术领域
本发明涉及信号处理装置、电子设备、信号处理方法和程序。
背景技术
已知一种事件驱动视觉传感器，其中检测入射光强度变化的像素在时间上异步地产生信号。事件驱动视觉传感器的优点在于，与以预定周期扫描所有像素的帧类型视觉传感器(具体地，诸如CCD(电荷耦合器件)或CMOS (互补金属氧化物半导体)的图像传感器)相比，该传感器可以低功率和高速度运行。例如，在PTL 1和PTL 2中描述了关于这种事件驱动视觉传感器的技术。
作为发送由这种事件驱动视觉传感器生成的事件信号的方法，已知一种 AER(地址事件表示)格式。例如，在AER格式中，传输发生了事件的像素的x坐标和y坐标、事件的开/关(极性)和时间戳这四个数据。
[引文列表]
[专利文献]
[PTL 1]
JP 2014-535098T
[PTL 2]
JP 2018-85725A
发明内容
[技术问题]
然而，由于在事件驱动视觉传感器中信号是在时间上异步生成的，每次以AER格式发送的数据量是变化的，因此，存在缓冲器的突发大小(burst size) 未被填充并且在数据处理中发生延迟的问题。
因此，本发明的目的是提供一种能够消除从事件驱动视觉传感器输出的数据的处理延迟的信号处理装置、电子设备、信号处理方法和程序。
[问题的解决方案]
根据本发明的一个方面，提供了一种信号处理装置，包括：通信单元，其接收从事件驱动视觉传感器发送的数据包，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；缓冲存储器，所述数据包被临时存储在所述缓冲存储器中；以及读出控制单元，在满足预定条件的情况下所述读出控制单元从所述缓冲存储器中强制读出所述数据包。
根据本发明的另一方面，提供了一种包括上述信号处理装置的电子设备。
根据本发明的另一方面，提供了一种信号处理方法，包括：接收从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；将所述数据包临时存储在缓冲存储器中的步骤；以及在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤。
根据本发明的又一方面，提供了一种程序，其允许信号处理装置的处理电路执行：在缓冲存储器中临时存储从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；以及在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤。
根据上述配置，由于在满足预定条件的情况下从缓冲存储器强制读出数据包，因此能够抑制从事件驱动视觉传感器输出的数据的处理延迟。
附图说明
图1是示出根据本发明第一实施例的电子设备的示意性配置的框图。
图2A是示出用于概念性地描述本发明第一实施例中的传输结束数据包的图。
图2B是示出用于概念性地描述本发明第一实施例中的传输结束数据包的图。
图2C是示出用于概念性地描述本发明第一实施例中的传输结束数据包的图。
图3是示出本发明第一实施例中的视觉传感器的处理电路的处理的示例的流程图。
图4是示出本发明第一实施例中的读出控制单元的处理的示例的流程图。
图5A是示出用于概念性地描述本发明的第二实施例中的传输开始数据包的图。
图5B是示出用于概念性地描述本发明的第二实施例中的传输开始数据包的图。
图6是示出本发明第三实施例中的读出控制单元的处理的示例的流程图。
具体实施方式
在下文中，将参照附图详细描述本发明的几个实施例。注意，在说明书和附图中，具有基本相同的功能配置的构成元件由相同的参考符号表示，并且省略了对其的重复描述。
(第一实施例)
图1是示出根据本发明第一实施例的电子设备的示意性配置的框图。如图1所示，电子设备10包括事件驱动视觉传感器100和控制单元200。
视觉传感器100包括传感器阵列110以及连接到传感器阵列110的处理电路120，传感器阵列110包括对应于图像像素的传感器110A、110B等。传感器110A、110B等包括光接收元件，并且在检测到入射光的强度的变化(更具体地，亮度的变化)时生成事件信号。从处理电路120输出事件信号，作为指示例如时间戳、传感器的标识信息(例如，像素的位置)和亮度变化的极性(增加或减少)的信息。如稍后将描述的，处理电路120将传输结束数据包添加到事件信号的数据包中。当被摄体在传感器阵列110的视角内移动时，被摄体反射或散射的光的强度改变，因此，可以通过由传感器110A、110B等生成的例如与被摄体的边缘相对应的事件信号在时间序列中检测被摄体的移动。
控制单元200包括通信接口210、处理电路220和存储器230。通信接口 210接收从视觉传感器100的处理电路120发送的数据包。数据包被临时存储在缓冲存储器231中。处理电路220根据例如存储在存储器230中的程序进行操作，并且处理从缓冲存储器231读出的数据包。例如，处理电路220 生成图像，其中基于数据包中包括的事件信号以时间序列映射亮度发生变化的位置；并且临时或连续地将图像存储在存储器230中或经由通信接口210进一步将图像发送到另一装置。这里，处理电路220包括读出控制单元221，其在满足预定条件时从缓冲存储器231强制读出数据包。
图2A至图2C是分别概念性地描述本发明第一实施例中的传输结束数据包的图。在图2A至图2C所示的示例中，从视觉传感器100输出的事件信号的最小单位(一个数据包)是4字节，控制单元200中的缓冲存储器231 的大小是64字节(对应于16个数据包)。
在图2A所示的示例中，读出控制单元221被配置成当缓冲存储器231 的容量变满时从缓冲存储器231读出数据包121。这里，在由传感器阵列110 检测到的事件的数目小并且视觉传感器100仅输出与5个数据包(即20字节)相对应的事件信号的情况下，缓冲存储器231的容量仍然可用。因此，读出控制单元221不从缓冲存储器231读出数据包121。这种情况持续，直到缓冲存储器231的容量由于此后接收到的事件信号而变满为止，或者直到由于超时而将数据包121从缓冲存储器231强制读出为止。因此，在由视觉传感器100生成事件信号和由处理电路220处理事件信号之间可能发生延迟。
发生如上所述的情况是因为事件驱动视觉传感器100中的事件信号在时间上是异步生成的。在视觉传感器100中配置传感器阵列110的传感器110A、 110B等中，仅检测到亮度变化的传感器生成事件信号，并且未检测到亮度变化的传感器不生成事件信号，因此，与帧类型视觉传感器相比，可以执行低功率和高速操作。相反，在视觉传感器100中，与在扫描时发送与所有像素对应的数据的帧类型视觉传感器不同，每次发送的数据量是变化的，因此，有可能发生如上所述的延迟。
因此，如图2B和图2C所示的示例中所示，视觉传感器100中的处理电路120向实施例中的事件信号的数据包121添加传输结束数据包122。更具体地，当传感器110A、110B等的扫描完成时，处理电路120将传输结束数据包122添加到事件信号的数据包121。在这种情况下，当传输结束数据包 122存储在缓冲存储器231中时，读出控制单元221从缓冲存储器231强制读出数据包121，而与缓冲存储器231的可用容量无关。在图2B所示的示例中，当查找传输结束数据包122时，读出控制单元221将填充数据123存储在缓冲存储器231的空闲容量中以填充缓冲存储器231的容量，并且数据包 121相应地被发送到处理电路220中的处理。另外，在图2C所示的示例中，当查找传输结束数据包122时，读出控制单元221还可以被配置成在不填充的情况下从缓冲存储器231强制读出数据包121，并将数据包发送到处理电路220中的处理。
图3是示出本发明第一实施例中的视觉传感器的处理电路的处理的示例的流程图。在所示的示例中，处理电路120执行传感器阵列110的扫描(步骤S101)。这里，通过以预定顺序扫描传感器110A、110B等、并且仅从检测到亮度变化的传感器获取事件信号来执行传感器阵列110的扫描。例如，尽管即使在帧类型视觉传感器中也以相同的方式执行扫描，但是事件驱动视觉传感器100的扫描以更高的速度执行，因为跳过了对于未检测到亮度变化的传感器的处理。当步骤S101中的扫描完成时，处理电路120将传输结束数据包添加到事件信号的数据包中(步骤S102)。处理电路120重复这些处理(步骤S103)。
图4是示出本发明第一实施例中的读出控制单元的处理的示例的流程图。在所示的示例中，读出控制单元221将从视觉传感器100接收到的事件信号的数据包存储在缓冲存储器231中(步骤S121)。读出控制单元221监视存储在缓冲存储器231中的事件信号的数据包，并且在接收到或存储传输结束数据包122的情况下(步骤S122)，从缓冲存储器231读出数据包121(步骤 S123)。即使在缓冲存储器231的容量变满的情况下(步骤S124)，读出控制单元221也从缓冲存储器231读出数据包121(步骤S123)。读出控制单元 221重复这些处理(步骤S125)。
在上述示例中，在由传感器阵列110检测到的事件的数目大并且要发送的数据包121超过缓冲存储器231的容量的情况下，通过上述步骤S105中的处理从缓冲存储器231顺序地读出数据包121。如果考虑如上所述的发送量大的情况下的传输效率，则优选缓冲存储器231的容量在某种程度上是大的。在本实施例中，在从视觉传感器100输出的事件信号的数目小的情况下，如上所述，由传输结束数据包122执行强制读出，使得在确保缓冲存储器231 的容量的同时，控制单元200中的事件信号的处理延迟可以被抑制到最多对应于传感器阵列110的一次扫描的时间。
(第二实施例)
接下来，将描述本发明的第二实施例。在第二实施例中，视觉传感器100 的处理电路120在与上述第一实施例相同的电子设备的配置中向事件信号的数据包添加传输开始数据包。该实施例中的处理电路120的处理可以是，例如通过使用图3，在如上所述的示例中调换步骤S101和步骤S102的顺序、并且用传输开始数据包替换传输结束数据包的处理。在其它方面，该实施例的配置与上述第一实施例的配置相同，因此，省略了对其的重复和详细描述。
图5A和图5B分别是概念性地描述本发明第二实施例中的传输开始数据包的图。在图5A和图5B所示的示例中，以与上面参考图2A到图2C描述的示例相同的方式配置缓冲存储器231。注意，没有接收到传输开始数据包的情况与参照图2A描述的示例相同，因此被省略。
在图5A所示的示例中，当新接收到传输开始数据包124时，读出控制单元221强制读出当时存储在缓冲存储器121中的事件信号的数据包121，并将数据包121发送到处理电路220中的处理。读出控制单元221可以执行如图2B所示的示例中的填充。在这种情况下，控制单元200中的事件信号的处理延迟被抑制到最多对应于传感器阵列110的一次扫描的时间。
同时，在图5B所示的示例中，当存储在缓冲存储器231中的事件信号的数据包121的数目达到从传输开始数据包124计数的预定数目n时，读出控制单元221强制读出当时存储在缓冲存储器231中的事件信号的数据包 121，并将数据包发送到处理电路220中的处理。例如，可以统计地将预定数目n确定为在传感器阵列110的一次扫描中输出的事件信号的数目的平均值或最大值。
同样在该实施例中，与上述第一实施例类似，在确保缓冲存储器231的容量的同时，可以抑制控制单元200中的事件信号的处理延迟。此外，本实施例还可以应用于例如由于视觉传感器100生成的事件信号在时间上是异步的、而在处理电路120中未指定扫描结束的情况。
在本发明的上述第一和第二实施例中，视觉传感器100的处理电路120 向与事件信号对应的数据包添加分隔符数据包，例如传输结束数据包122或传输开始数据包124，从而避免事件信号的处理延迟。注意，处理电路120不必执行如上所述的传感器阵列110的扫描。在这种情况下，例如，处理电路120在每个预定时间周期中向控制单元200发送分隔符数据包，并且读出控制单元221以与上述示例中的传输结束数据包122和传输开始数据包124相同的方式处理分隔符数据包，从而可以避免事件信号的处理延迟。
(第三实施例)
接下来，将描述本发明的第三实施例。在第三实施例中，在与上述第一实施例相同的电子设备的配置中，视觉传感器100的处理电路120不将分隔符数据包添加到事件信号的数据包中，并且控制单元200的读出控制单元221 根据预定条件强制读出存储在缓冲存储器231中的事件信号的数据包121，从而可以避免事件信号的处理延迟。在其它方面，本实施例的配置与上述第一实施例的配置相同，因此，省略对其的重复和详细描述。
图6是示出本发明第三实施例中的读出控制单元的处理的示例的流程图。在所示的示例中，读出控制单元221将从视觉传感器100接收的事件信号的数据包存储在缓冲存储器231中(步骤S301)。读出控制单元221监视存储在缓冲存储器231中的事件信号的数据包，并且在由事件信号指示的传感器的标识信息(例如，像素的位置)循环的情况下(步骤S302)，从缓冲存储器 231读出数据包121(步骤S303)。即使在缓冲存储器231的容量变满的情况下(步骤S304)，读出控制单元221也从缓冲存储器231读出数据包121(步骤S303)。读出控制单元221重复这些处理(步骤S305)。
在上述示例中，在事件信号指示的传感器的标识信息循环的条件下，读出控制单元221强制地从缓冲存储器231读出数据包121。具体地，例如，在标识信息是指示与传感器相对应的像素的位置的坐标(x，y)的情况下，如果与时间戳t1相关联的坐标(x1,y1)和与时间戳t2(t2>t1)相关联的坐标(x2, y2)之间满足x2<x1或x2＝x1并且y2<y1，则读控制单元221可以确定标识信息循环。或者，在接收到指示与不同时间戳相关联的相同标识信息的事件信号的情况下，读出控制单元221可以确定标识信息循环。
即使在本实施例中，与上述第一实施例和第二实施例类似，在确保缓冲存储器231的容量的同时，也可以抑制控制单元200中的事件信号的处理延迟。此外，本实施例还可以应用于例如在处理电路120中不容易实现将分隔符数据包添加到事件信号的功能的情况。
尽管上文已参考附图详细描述了本发明的若干实施例，但本发明不限于这些示例。显然，本发明所属领域的普通技术人员在权利要求书中描述的技术思想范围内能够想到各种变化示例和修改示例，并且应当理解，这些变化示例和修改示例显然属于本发明的技术范围。
[参考符号列表]
10：电子装置
100：视觉传感器
110：传感器阵列
110A、110B：传感器
120：处理电路
121：数据包
122：传输结束数据包
123：填充数据
124：传输开始数据包
200：控制单元
210：通信接口
220：处理电路
221：读出控制单元
230：存储器
231：缓冲存储器。
权利要求书(按照条约第19条的修改)
1.一种信号处理装置，包括：
通信单元，其接收从事件驱动视觉传感器发送的数据包，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；
缓冲存储器，所述数据包被临时存储在所述缓冲存储器中；以及
读出控制单元，在满足预定条件的情况下所述读出控制单元从所述缓冲存储器中强制读出所述数据包，
其中，所述数据包包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包，并且
所述读出控制单元根据所述分隔符数据包确定所述预定条件。
2.根据权利要求1所述的信号处理装置，
其中，所述预定条件包括所述分隔符数据包是由所述通信单元接收还是存储在所述缓冲存储器中。
3.根据权利要求1所述的信号处理装置，
其中，所述预定条件包括所述分隔符数据包存储在所述缓冲存储器中，并且从所述分隔符数据包计数的数据包的数量达到预定数量。
4.一种信号处理装置，包括：
通信单元，其接收从事件驱动视觉传感器发送的数据包，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时用于生成事件信号的传感器；
缓冲存储器，所述数据包被临时存储在所述缓冲存储器中；以及
读出控制单元，在满足预定条件的情况下所述读出控制单元从所述缓冲存储器中强制读出所述数据包，
其中，所述数据包包括对应于所述事件信号的数据包，
每个事件信号包括时间戳和所述传感器的标识信息，
所述读出控制单元通过监视与不同时间戳相关联的所述标识信息来确定所述预定条件，并且
所述预定条件包括所述传感器的标识信息相对于所述时间戳循环。
5.一种电子设备，包括：
根据权利要求1、2、3或4中任一项所述的信号处理装置。
6.一种信号处理方法，包括：
接收从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；
将所述数据包临时存储在缓冲存储器中的步骤；以及
在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤，
其中，所述数据包包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包，并且
在所述读出数据包的步骤中，所述预定条件是根据所述分隔符数据包确定的。
7.一种程序，其允许信号处理装置的处理电路执行：
在缓冲存储器中临时存储从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；以及
在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤，
其中，所述数据包包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包，并且
在所述读出数据包的步骤中，所述预定条件是根据所述分隔符数据包确定的。
8.一种信号处理方法，包括：
接收从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；
在缓冲存储器中临时存储所述数据包的步骤；以及
在满足预定条件的情况下从所述缓冲存储器中强制读出所述数据包的步骤，
其中，所述数据包包括对应于所述事件信号的数据包，
每个事件信号包括时间戳和所述传感器的标识信息，
在所述读出数据包的步骤中，通过监视与不同时间戳相关联的所述标识信息来确定所述预定条件，并且
所述预定条件包括所述传感器的标识信息相对于所述时间戳循环。
9.一种程序，其允许信号处理装置的处理电路执行：
在缓冲存储器中临时存储从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；以及
在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤，
其中，所述数据包包括对应于所述事件信号的数据包，
每个事件信号包括时间戳和所述传感器的标识信息，
在所述读出数据包的步骤中，通过监视与不同时间戳相关联的所述标识信息来确定所述预定条件，并且
所述预定条件包括所述传感器的标识信息相对于所述时间戳循环。
说明或声明(按照条约第19条的修改)
以下所附内容是根据PCT条约第19条修改的内容.
国际局收到于2020年5月1日寄出的有关权利要求书修改。
以新的权利要求第1-9项替换原始的权利要求第1-8项。
根据条约第19(1)条的声明
在原提交的权利要求2的基础上对权利要求1进行了修改。具体地，修改后的权利要求1明确了“所述数据包”“包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包”的特征以及“所述读出控制单元根据所述分隔符数据包确定所述预定条件”的特征。
权利要求2被删除。
根据上述权利要求1的修改对权利要求3、4、6所引用的权利要求进行修改。
权利要求5是在原始提交申请说明书的权利要求1和[0029]的基础上修改的。具体地，修改后的权利要求5明确了“所述读出控制单元通过监视与不同时间戳相关联的所述标识信息来确定所述预定条件”的特征。
权利要求7是在原始提交的权利要求2的基础上修改的。具体地，修改后的权利要求7明确了“数据包”“包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包”的特征，以及“在所述读出数据包的步骤中，所述预定条件是根据所述分隔符数据包确定的”的特征。
权利要求8是在原始提交的权利要求2的基础上修改的。具体地，权利要求8修改后明确了“所述数据包”“包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包”的特征，以及“在所述读出数据包的步骤中，所述预定条件是根据所述分隔符数据包确定的”的特征。
权利要求9是在原始提交的权利要求1、5、和7的基础上增加的。修改后的权利要求9是与上述修改后的权利要求5相对应的信号处理方法的权利要求。
权利要求10是在原始提交的权利要求1、5、8的基础上增加的。修改后的权利要求10是与上述修改后的权利要求5相对应的程序的权利要求。

Claims (8)

1.一种信号处理装置，包括：
通信单元，其接收从事件驱动视觉传感器发送的数据包，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；
缓冲存储器，所述数据包被临时存储在所述缓冲存储器中；以及
读出控制单元，在满足预定条件的情况下所述读出控制单元从所述缓冲存储器中强制读出所述数据包。
2.根据权利要求1所述的信号处理装置，
其中，所述数据包包括与所述事件信号相对应的数据包、以及添加到与所述视觉传感器中的所述事件信号相对应的数据包中的分隔符数据包，并且
所述读出控制单元根据所述分隔符数据包确定所述预定条件。
3.根据权利要求2所述的信号处理装置，
其中，所述预定条件包括所述分隔符数据包是由所述通信单元接收还是存储在所述缓冲存储器中。
4.根据权利要求2所述的信号处理装置，
其中，所述预定条件包括所述分隔符数据包存储在所述缓冲存储器中，并且从所述分隔符数据包计数的数据包的数量达到预定数量。
5.根据权利要求1所述的信号处理装置，
其中，所述数据包包括对应于所述事件信号的数据包，
每个事件信号包括时间戳和所述传感器的标识信息，并且
所述预定条件包括所述传感器的标识信息相对于所述时间戳循环。
6.一种电子设备，包括：
根据权利要求1至5中任一项所述的信号处理装置。
7.一种信号处理方法，包括：
接收从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；
将所述数据包临时存储在缓冲存储器中的步骤；以及
在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤。
8.一种程序，其允许信号处理装置的处理电路执行：
在缓冲存储器中临时存储从事件驱动视觉传感器发送的数据包的步骤，所述事件驱动视觉传感器包括传感器阵列，所述传感器阵列包括当检测到入射光强度的变化时生成事件信号的传感器；以及
在满足预定条件的情况下从所述缓冲存储器强制读出所述数据包的步骤。
CN201980078651.3A 2018-12-05 2019-12-03 信号处理装置，电子设备，信号处理方法和程序 Pending CN113170059A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018227779A JP7175730B2 (ja) 2018-12-05 2018-12-05 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
JP2018-227779 2018-12-05
PCT/JP2019/047132 WO2020116416A1 (ja) 2018-12-05 2019-12-03 信号処理装置、電子機器、信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN113170059A true CN113170059A (zh) 2021-07-23

Family

ID=70974591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078651.3A Pending CN113170059A (zh) 2018-12-05 2019-12-03 信号处理装置，电子设备，信号处理方法和程序

Country Status (6)

Country Link
US (1) US11553152B2 (zh)
EP (1) EP3893493A4 (zh)
JP (1) JP7175730B2 (zh)
KR (1) KR102577925B1 (zh)
CN (1) CN113170059A (zh)
WO (1) WO2020116416A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口***的事件驱动集成电路
JP2023139913A (ja) * 2022-03-22 2023-10-04 ソニーセミコンダクタソリューションズ株式会社 データ生成装置、プログラム、データ受信装置、データ構造

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321933A (ja) * 2004-05-07 2005-11-17 Fuji Xerox Co Ltd データ入出力装置およびデータ入出力方法
WO2017149433A1 (en) * 2016-03-03 2017-09-08 Insightness Ag An event-based vision sensor
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437359B2 (en) * 2006-04-05 2008-10-14 Arcsight, Inc. Merging multiple log entries in accordance with merge properties and mapping properties
JP2010033125A (ja) * 2008-07-25 2010-02-12 Hitachi Ltd ストレージ装置及びデータ転送方法
KR101265647B1 (ko) 2011-03-25 2013-05-22 엘지전자 주식회사 조명 시스템에서의 발광부 제어 방법
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
KR101565840B1 (ko) * 2011-10-20 2015-11-13 엔에이치엔엔터테인먼트 주식회사 서버에 자동화 테스트를 제공하는 방법 및 시스템
WO2017009944A1 (ja) 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321933A (ja) * 2004-05-07 2005-11-17 Fuji Xerox Co Ltd データ入出力装置およびデータ入出力方法
WO2017149433A1 (en) * 2016-03-03 2017-09-08 Insightness Ag An event-based vision sensor
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器

Also Published As

Publication number Publication date
WO2020116416A1 (ja) 2020-06-11
US20220030188A1 (en) 2022-01-27
US11553152B2 (en) 2023-01-10
EP3893493A4 (en) 2022-12-07
KR20210083305A (ko) 2021-07-06
JP2020092320A (ja) 2020-06-11
KR102577925B1 (ko) 2023-09-14
EP3893493A1 (en) 2021-10-13
JP7175730B2 (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
CN110536050B (zh) 动态视觉传感器、电子设备及其数据传输方法
CN112262568B (zh) 具有直接存储器控制的基于事件的视觉传感器
CN115052141B (zh) 用于事件相机数据处理的***和方法
CN113170059A (zh) 信号处理装置，电子设备，信号处理方法和程序
JP2005078304A (ja) Ｕｓｂファンクション装置
CN108600659A (zh) 事件检测装置
KR20140102605A (ko) 화상 처리 장치
KR102624407B1 (ko) 표시 제어 장치, 표시 제어 방법 및 시스템
CN102164236B (zh) 图像处理方法、图像处理装置、以及摄像装置
JPH088647B2 (ja) ランレングス符号化法および装置
KR102499187B1 (ko) 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법
WO2023156900A1 (en) Local generation of commands to a vehicle sensor
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
CN115410063A (zh) 图像处理装置及方法、电子设备、介质
CN108234909B (zh) 一种基于隔列转移型ccd的工业相机
JP2007028588A (ja) 映像伝送方法および映像伝送システム
RU2699676C1 (ru) Устройство обработки изображения, способ обработки изображения и программа обработки изображения
CN114449192B (zh) 虚拟主动式图像采集设备及其数据传输方法、存储介质、终端
CN117741682B (zh) 距离检测方法、测距***、电子设备及可读存储介质
CN220570631U (zh) 光电传感器及其像素单元、脉冲相机和电子设备
US20240107188A1 (en) Vision sensor and image processing device including the same
JP7194744B2 (ja) 通信システム、受信端末、通信方法、およびプログラム
KR101359004B1 (ko) Ｐｃ 성능에 적응적인 실시간 영상 획득 장치
JP4071229B2 (ja) 撮像装置及び画像データ伝送方法
JP3971183B2 (ja) 撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination