KR102577925B1 - 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 - Google Patents

신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR102577925B1
KR102577925B1 KR1020217016001A KR20217016001A KR102577925B1 KR 102577925 B1 KR102577925 B1 KR 102577925B1 KR 1020217016001 A KR1020217016001 A KR 1020217016001A KR 20217016001 A KR20217016001 A KR 20217016001A KR 102577925 B1 KR102577925 B1 KR 102577925B1
Authority
KR
South Korea
Prior art keywords
packet
buffer memory
event
predetermined condition
event signal
Prior art date
Application number
KR1020217016001A
Other languages
English (en)
Other versions
KR20210083305A (ko
Inventor
요스케 구리하라
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20210083305A publication Critical patent/KR20210083305A/ko
Application granted granted Critical
Publication of KR102577925B1 publication Critical patent/KR102577925B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와, 패킷이 일시적으로 저장되는 버퍼 메모리와, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하는 신호 처리 장치가 제공된다.

Description

신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램
본 발명은 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램에 관한 것이다.
입사하는 광의 강도 변화를 검출한 픽셀이 시간 비동기적으로 신호를 생성하는, 이벤트 구동형의 비전 센서가 알려져 있다. 이벤트 구동형의 비전 센서는, 소정의 주기마다 전 픽셀을 스캔하는 프레임형 비전 센서, 구체적으로는 CCD나 CMOS 등의 이미지 센서에 비하여, 저전력에서 고속으로 동작 가능하다는 점에서 유리하다. 이러한 이벤트 구동형의 비전 센서에 관한 기술은, 예를 들어 특허 문헌 1 및 특허 문헌 2에 기재되어 있다.
이러한 이벤트 구동형의 비전 센서가 생성하는 이벤트 신호의 전송 방법으로서, AER(Address Event Representation) 포맷이 알려져 있다. AER 포맷에서는, 예를 들어 이벤트가 발생한 픽셀의 x 좌표 및 y 좌표, 이벤트의 ON/OFF(극성), 그리고 타임 스탬프의 4가지 데이터가 전송된다.
일본 특허 공표 제2014-535098호 공보 일본 특허 공개 제2018-85725호 공보
그러나, 이벤트 구동형의 비전 센서에서는, 신호가 시간 비동기적으로 생성되기 때문에, 상기의 AER 포맷으로 시간당 전송되는 데이터양이 가변이기 때문에, 버퍼의 버스트 사이즈가 메워지지 않아 데이터 처리에 지연이 발생되어 버린다는 문제가 있었다.
그래서, 본 발명은 이벤트 구동형의 비전 센서로부터 출력되는 데이터의 처리 지연을 억제하는 것을 가능케 하는 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 어느 한 관점에 의하면, 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와, 패킷이 일시적으로 저장되는 버퍼 메모리와, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하는 신호 처리 장치가 제공된다.
본 발명의 다른 관점에 의하면, 상기의 신호 처리 장치를 구비하는 전자 기기가 제공된다.
본 발명의 또 다른 관점에 의하면, 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 스텝과, 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 포함하는 신호 처리 방법이 제공된다.
본 발명의 더욱더 다른 관점에 의하면, 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 신호 처리 장치의 처리 회로에 실행시키기 위한 프로그램이 제공된다.
상기 구성에 의하면, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷이 판독되기 때문에, 이벤트 구동형의 비전 센서로부터 출력되는 데이터의 처리 지연을 억제할 수 있다.
도 1은 본 발명의 제1 실시 형태에 관한 전자 기기의 개략적인 구성을 도시하는 블록도이다.
도 2a는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 2b는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 2c는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 3은 본 발명의 제1 실시 형태에서의 비전 센서의 처리 회로의 처리예를 도시하는 흐름도이다.
도 4는 본 발명의 제1 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다.
도 5a는 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 5b는 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 6은 본 발명의 제3 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다.
이하, 첨부 도면을 참조하면서, 본 발명의 몇몇 실시 형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
(제1 실시 형태)
도 1은, 본 발명의 제1 실시 형태에 관한 전자 기기의 개략적인 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 전자 기기(10)는, 이벤트 구동형의 비전 센서(100)와, 제어부(200)를 포함한다.
비전 센서(100)는, 화상의 픽셀에 대응하는 센서(110A, 110B, …)로 구성되는 센서 어레이(110)와, 센서 어레이(110)에 접속되는 처리 회로(120)를 포함한다. 센서(110A, 110B, …)는, 수광 소자를 포함하고, 입사하는 광의 강도 변화, 더 구체적으로는 휘도 변화를 검출하였을 때 이벤트 신호를 생성한다. 이벤트 신호는, 예를 들어 타임 스탬프와, 센서의 식별 정보(예를 들어 픽셀의 위치)와, 휘도 변화의 극성(상승 또는 저하)을 나타내는 정보로서 처리 회로(120)로부터 출력된다. 후술하는 바와 같이, 처리 회로(120)는, 이벤트 신호의 패킷에 전송 종료 패킷을 부가한다. 센서 어레이(110)의 화각 내에서 피사체가 이동하면, 피사체에 의해 반사 또는 산란되는 광의 강도가 변화하기 때문에, 예를 들어 피사체의 에지에 대응하는 센서(110A, 110B, …)가 생성되는 이벤트 신호에 의해 피사체의 이동을 시계열로서 검출할 수 있다.
제어부(200)는, 통신 인터페이스(210)와, 처리 회로(220)와, 메모리(230)를 포함한다. 통신 인터페이스(210)는, 비전 센서(100)의 처리 회로(120)로부터 전송된 패킷을 수신한다. 패킷은, 버퍼 메모리(231)에 일시적으로 저장된다. 처리 회로(220)는, 예를 들어 메모리(230)에 저장된 프로그램에 따라 동작하고, 버퍼 메모리(231)로부터 판독된 패킷을 처리한다. 예를 들어, 처리 회로(220)는, 패킷에 포함되는 이벤트 신호에 기초하여, 휘도 변화가 발생한 위치를 매핑한 화상을 시계열로 생성하고, 메모리(230)에 일시적 또는 지속적으로 저장하거나, 통신 인터페이스(210)를 통하여 또한 다른 장치에 송신하거나 한다. 여기서, 처리 회로(220)는, 소정의 조건이 충족된 경우에 버퍼 메모리(231)로부터 강제적으로 패킷을 판독하는 판독 제어부(221)를 포함한다.
도 2a 내지 도 2c는, 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다. 도 2a 내지 도 2c에 도시된 예에서는, 비전 센서(100)로부터 출력되는 이벤트 신호의 최소 단위(1패킷)이 4바이트, 제어부(200)에 있어서의 버퍼 메모리(231)의 사이즈가 64바이트(16패킷분)이다.
도 2a에 도시된 예에서는, 판독 제어부(221)가, 버퍼 메모리(231)의 용량이 가득찼을 때 버퍼 메모리(231)로부터 패킷(121)을 판독하도록 구성되어 있다. 여기서, 센서 어레이(110)에 있어서 검출된 이벤트의 수가 적고, 비전 센서(100)가 5패킷, 즉 20바이트분의 이벤트 신호밖에 출력하지 않은 경우, 버퍼 메모리(231)의 용량에는 아직 빈 곳이 있다. 그 때문에, 판독 제어부(221)는 버퍼 메모리(231)로부터 패킷(121)을 판독하지 않는다. 이 상황은, 그 후에 수신된 이벤트 신호에 의해 버퍼 메모리(231)의 용량이 가득차거나 또는 타임 아웃에 의해 강제적으로 버퍼 메모리(231)로부터 패킷(121)이 판독될 때까지 계속한다. 이에 의해, 비전 센서(100)에서 이벤트 신호가 생성되고 나서, 처리 회로(220)에서 이벤트 신호가 처리될 때까지의 동안에 지연이 발생될 가능성이 있다.
상기와 같은 상황은, 이벤트 구동형의 비전 센서(100)에 있어서 이벤트 신호가 시간 비동기적으로 생성되기 때문에 발생한다. 비전 센서(100)에서는, 센서 어레이(110)를 구성하는 센서(110A, 110B, …) 중 휘도 변화를 검출한 센서만이 이벤트 신호를 생성하고, 휘도 변화를 검출하지 않은 센서는 이벤트 신호를 생성하지 않음으로써, 프레임형의 비전 센서에 비하여 저전력으로 고속인 동작이 가능해진다. 한편, 비전 센서(100)에서는, 프레임형의 비전 센서와 같이 스캔시에 전 픽셀 분의 데이터가 전송되는 것이 아니기 때문에, 시간당 전송되는 데이터양이 가변이며, 상기와 같은 지연이 생길 가능성이 있다.
그래서, 본 실시 형태에서는, 도 2b 및 도 2c에 도시된 예와 같이, 비전 센서(100)에 있어서, 처리 회로(120)가, 이벤트 신호의 패킷(121)에 전송 종료 패킷(122)을 부가한다. 더 구체적으로는, 처리 회로(120)는, 센서(110A, 110B, …)의 스캔이 종료되었을 때, 이벤트 신호의 패킷(121)에 전송 종료 패킷(122)를 부가한다. 이 경우, 판독 제어부(221)는, 버퍼 메모리(231) 내에 전송 종료 패킷(122)이 저장되어 있으면, 버퍼 메모리(231)의 빈 용량에 상관없이 강제적으로 버퍼 메모리(231)로부터 패킷(121)을 판독한다. 도 2b에 도시되는 예에 있어서, 판독 제어부(221)는, 전송 종료 패킷(122)을 발견하면, 버퍼 메모리(231)의 빈 용량에 패딩 데이터(123)를 저장하여 버퍼 메모리(231)의 용량을 가득 채우고, 그에 의해 패킷(121)을 처리 회로(220)에서의 처리에 보낸다. 또한, 도 2c에 도시되는 예에 있어서, 판독 제어부(221)는, 전송 종료 패킷(122)을 발견하면, 패딩을 행하지 않고 강제적으로 버퍼 메모리(231)로부터 패킷(121)을 판독하여 처리 회로(220)에서의 처리에 보내도록 구성되어도 된다.
도 3은, 본 발명의 제1 실시 형태에서의 비전 센서의 처리 회로의 처리예를 도시하는 흐름도이다. 도시된 예에 있어서, 처리 회로(120)는, 센서 어레이(110)의 스캔을 실행한다(스텝 S101). 여기서, 센서 어레이(110)의 스캔은, 센서(110A, 110B, …)를 소정의 순서로 스캔하고, 휘도 변화를 검출한 센서로부터만 이벤트 신호를 취득함으로써 실행된다. 예를 들어 프레임형의 비전 센서에서도 마찬가지로 스캔이 실행되지만, 휘도 변화를 검출하지 않은 센서의 처리가 스킵되는 만큼, 이벤트 구동형의 비전 센서(100)의 스캔의 쪽이 고속으로 실행된다. 처리 회로(120)는, 스텝 S101의 스캔이 종료되면, 이벤트 신호의 패킷에 전송 종료 패킷을 부가한다(스텝 S102). 처리 회로(120)는, 이들 처리를 반복한다(스텝 S103).
도 4는, 본 발명의 제1 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다. 도시된 예에 있어서, 판독 제어부(221)는 비전 센서(100)로부터 수신된 이벤트 신호의 패킷을 버퍼 메모리(231)에 저장한다(스텝 S121). 판독 제어부(221)는 버퍼 메모리(231)에 저장되는 이벤트 신호의 패킷을 감시하고, 전송 종료 패킷(122)이 수신 또는 저장된 경우에는(스텝 S122), 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S123). 버퍼 메모리(231)의 용량이 가득찬 경우도(스텝 S124), 판독 제어부(221)는 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S123). 판독 제어부(221)는, 이들 처리를 반복한다(스텝 S125).
상기한 예에 있어서, 센서 어레이(110)에 있어서 검출된 이벤트의 수가 많고, 전송되는 패킷(121)이 버퍼 메모리(231)의 용량을 초과하는 경우에는, 상기 스텝 S105의 처리에 의해 순차적으로 패킷(121)이 버퍼 메모리(231)로부터 판독된다. 이와 같이 전송량이 많은 경우의 전송 효율을 고려하면, 버퍼 메모리(231)의 용량은 어느 정도 큰 쪽이 좋다. 본 실시 형태에서는, 상기한 바와 같이 비전 센서(100)로부터 출력되는 이벤트 신호가 적은 경우에는 전송 종료 패킷(122)에 의해 강제적인 판독이 실행되기 때문에, 버퍼 메모리(231)의 용량을 확보하면서, 제어부(200)에 있어서의 이벤트 신호의 처리 지연을 최대로도 센서 어레이(110)의 스캔 1회분의 시간으로 억제할 수 있다.
(제2 실시 형태)
계속해서, 본 발명의 제2 실시 형태에 대해 설명한다. 제2 실시 형태에서는, 상기 제1 실시 형태와 마찬가지의 전자 기기의 구성에 있어서, 비전 센서(100)의 처리 회로(120)가, 이벤트 신호의 패킷에 전송 개시 패킷을 부가한다. 본 실시 형태에서의 처리 회로(120)의 처리는, 예를 들어 상기에서 도 3을 설명한 예에 있어서, 스텝 S101과 스텝 S102의 순서를 교체하고, 전송 종료 패킷을 전송 개시 패킷으로 치환한 것일 수 있다. 그 이외의 점에 대해, 본 실시 형태의 구성은 상기 제1 실시 형태의 구성과 마찬가지이기 때문에, 중복된 상세한 설명은 생략한다.
도 5a 및 도 5b는, 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다. 도 5a 및 도 5b에 도시된 예에서는, 상기에서 도 2a 내지 도 2c를 참조하여 설명한 예와 마찬가지로 버퍼 메모리(231)가 구성된다. 또한, 전송 개시 패킷이 수신되지 않는 경우에 대해서는, 도 2a를 참조하여 설명한 예와 마찬가지이기 때문에 생략한다.
도 5a에 도시된 예에 있어서, 판독 제어부(221)는, 새롭게 전송 개시 패킷(124)이 수신되면, 그 시점에서 버퍼 메모리(231)에 저장되어 있는 이벤트 신호의 패킷(121)을 강제적으로 판독하여 처리 회로(220)에서의 처리에 보낸다. 판독 제어부(221)는, 도 2b에 도시된 예와 같이 패딩을 행해도 된다. 이 경우, 제어부(200)에 있어서의 이벤트 신호의 처리 지연은, 최대로도 센서 어레이(110)의 스캔 1회분의 시간으로 억제된다.
한편, 도 5b에 도시된 예에 있어서, 판독 제어부(221)는, 버퍼 메모리(231)에 저장된 이벤트 신호의 패킷(121)이, 전송 개시 패킷(124)으로부터 헤아린 패킷이 소정의 수 n에 도달하면, 그 시점에서 버퍼 메모리(231)에 저장되어 있는 이벤트 신호의 패킷(121)을 강제적으로 판독하여 처리 회로(220)에서의 처리에 보낸다. 소정의 수 n은, 예를 들어 센서 어레이(110)의 스캔 1회에서 출력되는 이벤트 신호의 수의 평균값 또는 최댓값 등으로 해서 통계적으로 결정할 수 있다.
본 실시예에서도 상기 제1 실시 형태와 마찬가지로, 버퍼 메모리(231)의 용량을 확보하면서, 제어부(200)에 있어서의 이벤트 신호의 처리 지연을 억제할 수 있다. 또한, 본 실시 형태는, 예를 들어 비전 센서(100)에 있어서 생성되는 이벤트 신호가 시간 비동기적이기 때문에, 처리 회로(120)에 있어서 스캔의 종료 시가 특정되지 않는 경우에도 적용할 수 있다.
상술한 본 발명의 제1 및 제2 실시 형태에서는, 비전 센서(100)의 처리 회로(120)가, 이벤트 신호에 대응하는 패킷에 전송 종료 패킷(122)이나 전송 개시 패킷(124)과 같은 딜리미터(구분) 패킷을 부가함으로써, 이벤트 신호의 처리 지연이 방지된다. 또한, 처리 회로(120)는, 반드시 상기에 설명한 바와 같은 센서 어레이(110)의 스캔을 실행한다고는 할 수 없다. 그 경우에는, 예를 들어 처리 회로(120)가 소정 시간 주기마다 제어부(200)에 딜리미터 패킷을 송신하고, 판독 제어부(221)가 딜리미터 패킷을 상기 예에 있어서의 전송 종료 패킷(122)이나 전송 개시 패킷(124)과 마찬가지로 취급함으로써 이벤트 신호의 처리 지연을 방지할 수 있다.
(제3 실시 형태)
계속해서, 본 발명의 제3 실시 형태에 대해 설명한다. 제3 실시 형태에서는, 상기한 제1 실시 형태와 마찬가지의 전자 기기의 구성에 있어서, 비전 센서(100)의 처리 회로(120)가 이벤트 신호의 패킷에 딜리미터 패킷을 부가하지 않고, 제어부(200)의 판독 제어부(221)가 소정의 조건에 따라 버퍼 메모리(231)에 저장되어 있는 이벤트 신호의 패킷(121)을 강제적으로 판독함으로써, 이벤트 신호의 처리 지연이 방지된다. 그 이외의 점에 대해, 본 실시 형태의 구성은 상기 제1 실시 형태의 구성과 마찬가지이기 때문에, 중복된 상세한 설명은 생략한다.
도 6은, 본 발명의 제3 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다. 도시된 예에 있어서, 판독 제어부(221)는 비전 센서(100)로부터 수신된 이벤트 신호의 패킷을 버퍼 메모리(231)에 저장한다(스텝 S301). 판독 제어부(221)는 버퍼 메모리(231)에 저장되는 이벤트 신호의 패킷을 감시하고, 이벤트 신호에 의해 나타나는 센서의 식별 정보(예를 들어 픽셀의 위치)가 순환된 경우에는(스텝 S302), 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S303). 버퍼 메모리(231)의 용량이 가득찬 경우도(스텝 S304), 판독 제어부(221)는 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S303). 판독 제어부(221)는, 이들 처리를 반복한다(스텝 S305).
상기의 예에 있어서, 판독 제어부(221)는, 이벤트 신호에 의해 나타나는 센서의 식별 정보가 순환하는 것을 조건으로 하여, 버퍼 메모리(231)로부터 패킷(121)을 강제적으로 판독한다. 구체적으로는, 예를 들어 판독 제어부(221)는, 식별 정보가 센서에 대응하는 픽셀의 위치를 나타내는 좌표(x, y)인 경우, 타임 스탬프 t1에 대응지어진 좌표(x1, y1)와 타임 스탬프 t2(t2>t1)에 대응지어진 좌표(x2, y2) 사이에서, x2<x1 또는 x2=x1 또한 y2<y1인 것을 조건으로 하여 식별 정보가 순환되고 있다고 판정해도 된다. 혹은, 판독 제어부(221)는, 다른 타임 스탬프에 대응지어진 동일한 식별 정보를 나타내는 이벤트 신호가 수신된 경우에, 식별 정보가 순환되고 있다고 판정해도 된다.
본 실시예에서도 상기 제1 실시 형태 및 제2 실시 형태와 마찬가지로, 버퍼 메모리(231)의 용량을 확보하면서, 제어부(200)에 있어서의 이벤트 신호의 처리 지연을 억제할 수 있다. 또한, 본 실시 형태는, 예를 들어 처리 회로(120)에 있어서 이벤트 신호에 딜리미터 패킷을 부가하는 기능의 실장이 용이하지 않은 경우에도 적용할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 몇몇 실시 형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지는 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
10: 전자 기기
100: 비전 센서
110: 센서 어레이
110A, 110B: 센서
120: 처리 회로
121: 패킷
122: 전송 종료 패킷
123: 패딩 데이터
124: 전송 개시 패킷
200: 제어부
210: 통신 인터페이스
220: 처리 회로
221: 판독 제어부
230: 메모리
231: 버퍼 메모리.

Claims (9)

  1. 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와,
    상기 패킷이 일시적으로 저장되는 버퍼 메모리와,
    소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하고,
    상기 패킷은, 상기 이벤트 신호에 대응하는 패킷과, 상기 비전 센서에 있어서 상기 이벤트 신호에 대응하는 패킷에 부가되는 딜리미터 패킷을 포함하고,
    상기 판독 제어부는, 상기 딜리미터 패킷에 따라서 상기 소정의 조건을 판정하고,
    상기 소정의 조건은, 상기 딜리미터 패킷이 상기 버퍼 메모리에 저장되고, 또한 상기 딜리미터 패킷으로부터 헤아린 상기 패킷의 수가 소정의 수에 도달하는 것을 포함하고,
    상기 소정의 수는 상기 센서 어레이의 스캔에서 출력되는 이벤트 신호의 수에 기초하여 결정되는, 신호 처리 장치.
  2. 제1항에 있어서, 상기 소정의 조건은, 상기 딜리미터 패킷이 상기 통신부에 의해 수신되거나 또는 상기 버퍼 메모리에 저장되는 것을 포함하는, 신호 처리 장치.
  3. 삭제
  4. 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와,
    상기 패킷이 일시적으로 저장되는 버퍼 메모리와,
    소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하고,
    상기 패킷은, 상기 이벤트 신호에 대응하는 패킷을 포함하고,
    상기 이벤트 신호는, 타임 스탬프와, 상기 센서의 식별 정보를 포함하고,
    상기 판독 제어부는, 다른 상기 타임 스탬프에 대응지어진 상기 식별 정보를 감시함으로써, 상기 소정의 조건을 판정하고,
    상기 소정의 조건은, 상기 타임 스탬프에 대해 상기 센서의 식별 정보가 순환하는 것을 포함하는, 신호 처리 장치.
  5. 제1항, 제2항 또는 제4항 중 어느 한 항에 기재된 신호 처리 장치를 구비하는, 전자 기기.
  6. 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 스텝과,
    상기 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
    소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 포함하는 신호 처리 방법이며,
    상기 패킷은, 상기 이벤트 신호에 대응하는 패킷과, 상기 비전 센서에 있어서 상기 이벤트 신호에 대응하는 패킷에 부가되는 딜리미터 패킷을 포함하고,
    상기 패킷을 판독하는 스텝에서는, 상기 딜리미터 패킷에 따라서 상기 소정의 조건을 판정하고,
    상기 소정의 조건은, 상기 딜리미터 패킷이 상기 버퍼 메모리에 저장되고, 또한 상기 딜리미터 패킷으로부터 헤아린 상기 패킷의 수가 소정의 수에 도달하는 것을 포함하고,
    상기 소정의 수는 상기 센서 어레이의 스캔에서 출력되는 이벤트 신호의 수에 기초하여 결정되는, 신호 처리 방법.
  7. 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
    소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을
    신호 처리 장치의 처리 회로에 실행시키기 위한, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이며,
    상기 패킷은, 상기 이벤트 신호에 대응하는 패킷과, 상기 비전 센서에 있어서 상기 이벤트 신호에 대응하는 패킷에 부가되는 딜리미터 패킷을 포함하고,
    상기 패킷을 판독하는 스텝에서는, 상기 딜리미터 패킷에 따라서 상기 소정의 조건을 판정하고,
    상기 소정의 조건은, 상기 딜리미터 패킷이 상기 버퍼 메모리에 저장되고, 또한 상기 딜리미터 패킷으로부터 헤아린 상기 패킷의 수가 소정의 수에 도달하는 것을 포함하고,
    상기 소정의 수는 상기 센서 어레이의 스캔에서 출력되는 이벤트 신호의 수에 기초하여 결정되는, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.
  8. 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 스텝과,
    상기 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
    소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 포함하는 신호 처리 방법이며,
    상기 패킷은, 상기 이벤트 신호에 대응하는 패킷을 포함하고,
    상기 이벤트 신호는, 타임 스탬프와, 상기 센서의 식별 정보를 포함하고,
    상기 패킷을 판독하는 스텝에서는, 다른 상기 타임 스탬프에 대응지어진 상기 식별 정보를 감시함으로써, 상기 소정의 조건을 판정하고,
    상기 소정의 조건은, 상기 타임 스탬프에 대해 상기 센서의 식별 정보가 순환하는 것을 포함하는, 신호 처리 방법.
  9. 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
    소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을
    신호 처리 장치의 처리 회로에 실행시키기 위한, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이며,
    상기 패킷은, 상기 이벤트 신호에 대응하는 패킷을 포함하고,
    상기 이벤트 신호는, 타임 스탬프와, 상기 센서의 식별 정보를 포함하고,
    상기 패킷을 판독하는 스텝에서는, 다른 상기 타임 스탬프에 대응지어진 상기 식별 정보를 감시함으로써, 상기 소정의 조건을 판정하고,
    상기 소정의 조건은, 상기 타임 스탬프에 대해 상기 센서의 식별 정보가 순환하는 것을 포함하는, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.
KR1020217016001A 2018-12-05 2019-12-03 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 KR102577925B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018227779A JP7175730B2 (ja) 2018-12-05 2018-12-05 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
JPJP-P-2018-227779 2018-12-05
PCT/JP2019/047132 WO2020116416A1 (ja) 2018-12-05 2019-12-03 信号処理装置、電子機器、信号処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20210083305A KR20210083305A (ko) 2021-07-06
KR102577925B1 true KR102577925B1 (ko) 2023-09-14

Family

ID=70974591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217016001A KR102577925B1 (ko) 2018-12-05 2019-12-03 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11553152B2 (ko)
EP (1) EP3893493A4 (ko)
JP (1) JP7175730B2 (ko)
KR (1) KR102577925B1 (ko)
CN (1) CN113170059A (ko)
WO (1) WO2020116416A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口***的事件驱动集成电路
JP2023139913A (ja) * 2022-03-22 2023-10-04 ソニーセミコンダクタソリューションズ株式会社 データ生成装置、プログラム、データ受信装置、データ構造

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033125A (ja) * 2008-07-25 2010-02-12 Hitachi Ltd ストレージ装置及びデータ転送方法
US20180262705A1 (en) 2017-03-08 2018-09-13 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569163B2 (ja) * 2004-05-07 2010-10-27 富士ゼロックス株式会社 データ入出力装置およびデータ入出力方法
US7437359B2 (en) * 2006-04-05 2008-10-14 Arcsight, Inc. Merging multiple log entries in accordance with merge properties and mapping properties
KR101265647B1 (ko) 2011-03-25 2013-05-22 엘지전자 주식회사 조명 시스템에서의 발광부 제어 방법
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
KR101565840B1 (ko) * 2011-10-20 2015-11-13 엔에이치엔엔터테인먼트 주식회사 서버에 자동화 테스트를 제공하는 방법 및 시스템
WO2017009944A1 (ja) 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置
US10498977B2 (en) * 2016-03-03 2019-12-03 Insightness Ag Event-based vision sensor
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033125A (ja) * 2008-07-25 2010-02-12 Hitachi Ltd ストレージ装置及びデータ転送方法
US20180262705A1 (en) 2017-03-08 2018-09-13 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same

Also Published As

Publication number Publication date
CN113170059A (zh) 2021-07-23
WO2020116416A1 (ja) 2020-06-11
US20220030188A1 (en) 2022-01-27
US11553152B2 (en) 2023-01-10
EP3893493A4 (en) 2022-12-07
KR20210083305A (ko) 2021-07-06
JP2020092320A (ja) 2020-06-11
EP3893493A1 (en) 2021-10-13
JP7175730B2 (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
KR102577925B1 (ko) 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램
CN110536050B (zh) 动态视觉传感器、电子设备及其数据传输方法
CN102404170A (zh) 报文丢失检测方法、装置、及***
KR101262751B1 (ko) 정보처리장치 및 그 작동방법, 및 기억매체
CN110677623B (zh) 数据处理的方法、装置、设备和存储介质
US10057444B2 (en) Mobile terminal, information processing system, and control method
US20110029706A1 (en) Electronic device and method for controlling an electronic device
US9768935B2 (en) Communication apparatus, method for controlling communication apparatus, and program
US9330351B2 (en) Image forming apparatus with recursive memory configured for selectively storing print error logs
JP6089518B2 (ja) 転送装置、転送方法および転送プログラム
US11882015B2 (en) Estimation system, addition apparatus, estimation method, addition method, estimation program and addition program
JP6043682B2 (ja) 端末操作履歴収集システム及び端末操作履歴収集方法
JP5899712B2 (ja) 印刷装置、印刷方法
JP2017046232A (ja) 通信装置およびその制御方法ならびにプログラム
JP6497154B2 (ja) 画像データの送信装置、画像データを送信するためのプログラムおよび画像データの通信のためのシステム
CN108259795B (zh) 一种针对隔列转移型ccd的图像缓冲方法
JPH07177161A (ja) ポーリングセレクティング方法
WO2023145041A1 (ja) 信号処理装置、センサ装置、信号処理方法およびプログラム
JP2024061969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10366020B2 (en) Data transfer control device and image forming apparatus
JP2009006570A (ja) 印刷装置
JP5469029B2 (ja) 通信装置
US9892347B2 (en) Printer and control method of a printer
US9921995B2 (en) Managing data in USB communication
KR101359004B1 (ko) Ｐｃ 성능에 적응적인 실시간 영상 획득 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)