KR20210083305A - 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 - Google Patents
신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 Download PDFInfo
- Publication number
- KR20210083305A KR20210083305A KR1020217016001A KR20217016001A KR20210083305A KR 20210083305 A KR20210083305 A KR 20210083305A KR 1020217016001 A KR1020217016001 A KR 1020217016001A KR 20217016001 A KR20217016001 A KR 20217016001A KR 20210083305 A KR20210083305 A KR 20210083305A
- Authority
- KR
- South Korea
- Prior art keywords
- packet
- sensor
- buffer memory
- event signal
- predetermined condition
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims 3
- 230000001351 cycling effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H04N5/351—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H04N5/23229—
-
- H04N5/37452—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와, 패킷이 일시적으로 저장되는 버퍼 메모리와, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하는 신호 처리 장치가 제공된다.
Description
본 발명은 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램에 관한 것이다.
입사하는 광의 강도 변화를 검출한 픽셀이 시간 비동기적으로 신호를 생성하는, 이벤트 구동형의 비전 센서가 알려져 있다. 이벤트 구동형의 비전 센서는, 소정의 주기마다 전 픽셀을 스캔하는 프레임형 비전 센서, 구체적으로는 CCD나 CMOS 등의 이미지 센서에 비하여, 저전력에서 고속으로 동작 가능하다는 점에서 유리하다. 이러한 이벤트 구동형의 비전 센서에 관한 기술은, 예를 들어 특허 문헌 1 및 특허 문헌 2에 기재되어 있다.
이러한 이벤트 구동형의 비전 센서가 생성하는 이벤트 신호의 전송 방법으로서, AER(Address Event Representation) 포맷이 알려져 있다. AER 포맷에서는, 예를 들어 이벤트가 발생한 픽셀의 x 좌표 및 y 좌표, 이벤트의 ON/OFF(극성), 그리고 타임 스탬프의 4가지 데이터가 전송된다.
그러나, 이벤트 구동형의 비전 센서에서는, 신호가 시간 비동기적으로 생성되기 때문에, 상기의 AER 포맷으로 시간당 전송되는 데이터양이 가변이기 때문에, 버퍼의 버스트 사이즈가 메워지지 않아 데이터 처리에 지연이 발생되어 버린다는 문제가 있었다.
그래서, 본 발명은 이벤트 구동형의 비전 센서로부터 출력되는 데이터의 처리 지연을 억제하는 것을 가능케 하는 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 어느 한 관점에 의하면, 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와, 패킷이 일시적으로 저장되는 버퍼 메모리와, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하는 신호 처리 장치가 제공된다.
본 발명의 다른 관점에 의하면, 상기의 신호 처리 장치를 구비하는 전자 기기가 제공된다.
본 발명의 또 다른 관점에 의하면, 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 스텝과, 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 포함하는 신호 처리 방법이 제공된다.
본 발명의 더욱더 다른 관점에 의하면, 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 신호 처리 장치의 처리 회로에 실행시키기 위한 프로그램이 제공된다.
상기 구성에 의하면, 소정의 조건이 충족된 경우에 버퍼 메모리로부터 강제적으로 패킷이 판독되기 때문에, 이벤트 구동형의 비전 센서로부터 출력되는 데이터의 처리 지연을 억제할 수 있다.
도 1은 본 발명의 제1 실시 형태에 관한 전자 기기의 개략적인 구성을 도시하는 블록도이다.
도 2a는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 2b는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 2c는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 3은 본 발명의 제1 실시 형태에서의 비전 센서의 처리 회로의 처리예를 도시하는 흐름도이다.
도 4는 본 발명의 제1 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다.
도 5a는 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 5b는 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 6은 본 발명의 제3 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다.
도 2a는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 2b는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 2c는 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 3은 본 발명의 제1 실시 형태에서의 비전 센서의 처리 회로의 처리예를 도시하는 흐름도이다.
도 4는 본 발명의 제1 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다.
도 5a는 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 5b는 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다.
도 6은 본 발명의 제3 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다.
이하, 첨부 도면을 참조하면서, 본 발명의 몇몇 실시 형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
(제1 실시 형태)
도 1은, 본 발명의 제1 실시 형태에 관한 전자 기기의 개략적인 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 전자 기기(10)는, 이벤트 구동형의 비전 센서(100)와, 제어부(200)를 포함한다.
비전 센서(100)는, 화상의 픽셀에 대응하는 센서(110A, 110B, …)로 구성되는 센서 어레이(110)와, 센서 어레이(110)에 접속되는 처리 회로(120)를 포함한다. 센서(110A, 110B, …)는, 수광 소자를 포함하고, 입사하는 광의 강도 변화, 더 구체적으로는 휘도 변화를 검출하였을 때 이벤트 신호를 생성한다. 이벤트 신호는, 예를 들어 타임 스탬프와, 센서의 식별 정보(예를 들어 픽셀의 위치)와, 휘도 변화의 극성(상승 또는 저하)을 나타내는 정보로서 처리 회로(120)로부터 출력된다. 후술하는 바와 같이, 처리 회로(120)는, 이벤트 신호의 패킷에 전송 종료 패킷을 부가한다. 센서 어레이(110)의 화각 내에서 피사체가 이동하면, 피사체에 의해 반사 또는 산란되는 광의 강도가 변화하기 때문에, 예를 들어 피사체의 에지에 대응하는 센서(110A, 110B, …)가 생성되는 이벤트 신호에 의해 피사체의 이동을 시계열로서 검출할 수 있다.
제어부(200)는, 통신 인터페이스(210)와, 처리 회로(220)와, 메모리(230)를 포함한다. 통신 인터페이스(210)는, 비전 센서(100)의 처리 회로(120)로부터 전송된 패킷을 수신한다. 패킷은, 버퍼 메모리(231)에 일시적으로 저장된다. 처리 회로(220)는, 예를 들어 메모리(230)에 저장된 프로그램에 따라 동작하고, 버퍼 메모리(231)로부터 판독된 패킷을 처리한다. 예를 들어, 처리 회로(220)는, 패킷에 포함되는 이벤트 신호에 기초하여, 휘도 변화가 발생한 위치를 매핑한 화상을 시계열로 생성하고, 메모리(230)에 일시적 또는 지속적으로 저장하거나, 통신 인터페이스(210)를 통하여 또한 다른 장치에 송신하거나 한다. 여기서, 처리 회로(220)는, 소정의 조건이 충족된 경우에 버퍼 메모리(231)로부터 강제적으로 패킷을 판독하는 판독 제어부(221)를 포함한다.
도 2a 내지 도 2c는, 본 발명의 제1 실시 형태에서의 전송 종료 패킷에 대해 개념적으로 설명하기 위한 도면이다. 도 2a 내지 도 2c에 도시된 예에서는, 비전 센서(100)로부터 출력되는 이벤트 신호의 최소 단위(1패킷)이 4바이트, 제어부(200)에 있어서의 버퍼 메모리(231)의 사이즈가 64바이트(16패킷분)이다.
도 2a에 도시된 예에서는, 판독 제어부(221)가, 버퍼 메모리(231)의 용량이 가득찼을 때 버퍼 메모리(231)로부터 패킷(121)을 판독하도록 구성되어 있다. 여기서, 센서 어레이(110)에 있어서 검출된 이벤트의 수가 적고, 비전 센서(100)가 5패킷, 즉 20바이트분의 이벤트 신호밖에 출력하지 않은 경우, 버퍼 메모리(231)의 용량에는 아직 빈 곳이 있다. 그 때문에, 판독 제어부(221)는 버퍼 메모리(231)로부터 패킷(121)을 판독하지 않는다. 이 상황은, 그 후에 수신된 이벤트 신호에 의해 버퍼 메모리(231)의 용량이 가득차거나 또는 타임 아웃에 의해 강제적으로 버퍼 메모리(231)로부터 패킷(121)이 판독될 때까지 계속한다. 이에 의해, 비전 센서(100)에서 이벤트 신호가 생성되고 나서, 처리 회로(220)에서 이벤트 신호가 처리될 때까지의 동안에 지연이 발생될 가능성이 있다.
상기와 같은 상황은, 이벤트 구동형의 비전 센서(100)에 있어서 이벤트 신호가 시간 비동기적으로 생성되기 때문에 발생한다. 비전 센서(100)에서는, 센서 어레이(110)를 구성하는 센서(110A, 110B, …) 중 휘도 변화를 검출한 센서만이 이벤트 신호를 생성하고, 휘도 변화를 검출하지 않은 센서는 이벤트 신호를 생성하지 않음으로써, 프레임형의 비전 센서에 비하여 저전력으로 고속인 동작이 가능해진다. 한편, 비전 센서(100)에서는, 프레임형의 비전 센서와 같이 스캔시에 전 픽셀 분의 데이터가 전송되는 것이 아니기 때문에, 시간당 전송되는 데이터양이 가변이며, 상기와 같은 지연이 생길 가능성이 있다.
그래서, 본 실시 형태에서는, 도 2b 및 도 2c에 도시된 예와 같이, 비전 센서(100)에 있어서, 처리 회로(120)가, 이벤트 신호의 패킷(121)에 전송 종료 패킷(122)을 부가한다. 더 구체적으로는, 처리 회로(120)는, 센서(110A, 110B, …)의 스캔이 종료되었을 때, 이벤트 신호의 패킷(121)에 전송 종료 패킷(122)를 부가한다. 이 경우, 판독 제어부(221)는, 버퍼 메모리(231) 내에 전송 종료 패킷(122)이 저장되어 있으면, 버퍼 메모리(231)의 빈 용량에 상관없이 강제적으로 버퍼 메모리(231)로부터 패킷(121)을 판독한다. 도 2b에 도시되는 예에 있어서, 판독 제어부(221)는, 전송 종료 패킷(122)을 발견하면, 버퍼 메모리(231)의 빈 용량에 패딩 데이터(123)를 저장하여 버퍼 메모리(231)의 용량을 가득 채우고, 그에 의해 패킷(121)을 처리 회로(220)에서의 처리에 보낸다. 또한, 도 2c에 도시되는 예에 있어서, 판독 제어부(221)는, 전송 종료 패킷(122)을 발견하면, 패딩을 행하지 않고 강제적으로 버퍼 메모리(231)로부터 패킷(121)을 판독하여 처리 회로(220)에서의 처리에 보내도록 구성되어도 된다.
도 3은, 본 발명의 제1 실시 형태에서의 비전 센서의 처리 회로의 처리예를 도시하는 흐름도이다. 도시된 예에 있어서, 처리 회로(120)는, 센서 어레이(110)의 스캔을 실행한다(스텝 S101). 여기서, 센서 어레이(110)의 스캔은, 센서(110A, 110B, …)를 소정의 순서로 스캔하고, 휘도 변화를 검출한 센서로부터만 이벤트 신호를 취득함으로써 실행된다. 예를 들어 프레임형의 비전 센서에서도 마찬가지로 스캔이 실행되지만, 휘도 변화를 검출하지 않은 센서의 처리가 스킵되는 만큼, 이벤트 구동형의 비전 센서(100)의 스캔의 쪽이 고속으로 실행된다. 처리 회로(120)는, 스텝 S101의 스캔이 종료되면, 이벤트 신호의 패킷에 전송 종료 패킷을 부가한다(스텝 S102). 처리 회로(120)는, 이들 처리를 반복한다(스텝 S103).
도 4는, 본 발명의 제1 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다. 도시된 예에 있어서, 판독 제어부(221)는 비전 센서(100)로부터 수신된 이벤트 신호의 패킷을 버퍼 메모리(231)에 저장한다(스텝 S121). 판독 제어부(221)는 버퍼 메모리(231)에 저장되는 이벤트 신호의 패킷을 감시하고, 전송 종료 패킷(122)이 수신 또는 저장된 경우에는(스텝 S122), 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S123). 버퍼 메모리(231)의 용량이 가득찬 경우도(스텝 S124), 판독 제어부(221)는 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S123). 판독 제어부(221)는, 이들 처리를 반복한다(스텝 S125).
상기한 예에 있어서, 센서 어레이(110)에 있어서 검출된 이벤트의 수가 많고, 전송되는 패킷(121)이 버퍼 메모리(231)의 용량을 초과하는 경우에는, 상기 스텝 S105의 처리에 의해 순차적으로 패킷(121)이 버퍼 메모리(231)로부터 판독된다. 이와 같이 전송량이 많은 경우의 전송 효율을 고려하면, 버퍼 메모리(231)의 용량은 어느 정도 큰 쪽이 좋다. 본 실시 형태에서는, 상기한 바와 같이 비전 센서(100)로부터 출력되는 이벤트 신호가 적은 경우에는 전송 종료 패킷(122)에 의해 강제적인 판독이 실행되기 때문에, 버퍼 메모리(231)의 용량을 확보하면서, 제어부(200)에 있어서의 이벤트 신호의 처리 지연을 최대로도 센서 어레이(110)의 스캔 1회분의 시간으로 억제할 수 있다.
(제2 실시 형태)
계속해서, 본 발명의 제2 실시 형태에 대해 설명한다. 제2 실시 형태에서는, 상기 제1 실시 형태와 마찬가지의 전자 기기의 구성에 있어서, 비전 센서(100)의 처리 회로(120)가, 이벤트 신호의 패킷에 전송 개시 패킷을 부가한다. 본 실시 형태에서의 처리 회로(120)의 처리는, 예를 들어 상기에서 도 3을 설명한 예에 있어서, 스텝 S101과 스텝 S102의 순서를 교체하고, 전송 종료 패킷을 전송 개시 패킷으로 치환한 것일 수 있다. 그 이외의 점에 대해, 본 실시 형태의 구성은 상기 제1 실시 형태의 구성과 마찬가지이기 때문에, 중복된 상세한 설명은 생략한다.
도 5a 및 도 5b는, 본 발명의 제2 실시 형태에서의 전송 개시 패킷에 대해 개념적으로 설명하기 위한 도면이다. 도 5a 및 도 5b에 도시된 예에서는, 상기에서 도 2a 내지 도 2c를 참조하여 설명한 예와 마찬가지로 버퍼 메모리(231)가 구성된다. 또한, 전송 개시 패킷이 수신되지 않는 경우에 대해서는, 도 2a를 참조하여 설명한 예와 마찬가지이기 때문에 생략한다.
도 5a에 도시된 예에 있어서, 판독 제어부(221)는, 새롭게 전송 개시 패킷(124)이 수신되면, 그 시점에서 버퍼 메모리(231)에 저장되어 있는 이벤트 신호의 패킷(121)을 강제적으로 판독하여 처리 회로(220)에서의 처리에 보낸다. 판독 제어부(221)는, 도 2b에 도시된 예와 같이 패딩을 행해도 된다. 이 경우, 제어부(200)에 있어서의 이벤트 신호의 처리 지연은, 최대로도 센서 어레이(110)의 스캔 1회분의 시간으로 억제된다.
한편, 도 5b에 도시된 예에 있어서, 판독 제어부(221)는, 버퍼 메모리(231)에 저장된 이벤트 신호의 패킷(121)이, 전송 개시 패킷(124)으로부터 헤아린 패킷이 소정의 수 n에 도달하면, 그 시점에서 버퍼 메모리(231)에 저장되어 있는 이벤트 신호의 패킷(121)을 강제적으로 판독하여 처리 회로(220)에서의 처리에 보낸다. 소정의 수 n은, 예를 들어 센서 어레이(110)의 스캔 1회에서 출력되는 이벤트 신호의 수의 평균값 또는 최댓값 등으로 해서 통계적으로 결정할 수 있다.
본 실시예에서도 상기 제1 실시 형태와 마찬가지로, 버퍼 메모리(231)의 용량을 확보하면서, 제어부(200)에 있어서의 이벤트 신호의 처리 지연을 억제할 수 있다. 또한, 본 실시 형태는, 예를 들어 비전 센서(100)에 있어서 생성되는 이벤트 신호가 시간 비동기적이기 때문에, 처리 회로(120)에 있어서 스캔의 종료 시가 특정되지 않는 경우에도 적용할 수 있다.
상술한 본 발명의 제1 및 제2 실시 형태에서는, 비전 센서(100)의 처리 회로(120)가, 이벤트 신호에 대응하는 패킷에 전송 종료 패킷(122)이나 전송 개시 패킷(124)과 같은 딜리미터(구분) 패킷을 부가함으로써, 이벤트 신호의 처리 지연이 방지된다. 또한, 처리 회로(120)는, 반드시 상기에 설명한 바와 같은 센서 어레이(110)의 스캔을 실행한다고는 할 수 없다. 그 경우에는, 예를 들어 처리 회로(120)가 소정 시간 주기마다 제어부(200)에 딜리미터 패킷을 송신하고, 판독 제어부(221)가 딜리미터 패킷을 상기 예에 있어서의 전송 종료 패킷(122)이나 전송 개시 패킷(124)과 마찬가지로 취급함으로써 이벤트 신호의 처리 지연을 방지할 수 있다.
(제3 실시 형태)
계속해서, 본 발명의 제3 실시 형태에 대해 설명한다. 제3 실시 형태에서는, 상기한 제1 실시 형태와 마찬가지의 전자 기기의 구성에 있어서, 비전 센서(100)의 처리 회로(120)가 이벤트 신호의 패킷에 딜리미터 패킷을 부가하지 않고, 제어부(200)의 판독 제어부(221)가 소정의 조건에 따라 버퍼 메모리(231)에 저장되어 있는 이벤트 신호의 패킷(121)을 강제적으로 판독함으로써, 이벤트 신호의 처리 지연이 방지된다. 그 이외의 점에 대해, 본 실시 형태의 구성은 상기 제1 실시 형태의 구성과 마찬가지이기 때문에, 중복된 상세한 설명은 생략한다.
도 6은, 본 발명의 제3 실시 형태에서의 판독 제어부의 처리예를 도시하는 흐름도이다. 도시된 예에 있어서, 판독 제어부(221)는 비전 센서(100)로부터 수신된 이벤트 신호의 패킷을 버퍼 메모리(231)에 저장한다(스텝 S301). 판독 제어부(221)는 버퍼 메모리(231)에 저장되는 이벤트 신호의 패킷을 감시하고, 이벤트 신호에 의해 나타나는 센서의 식별 정보(예를 들어 픽셀의 위치)가 순환된 경우에는(스텝 S302), 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S303). 버퍼 메모리(231)의 용량이 가득찬 경우도(스텝 S304), 판독 제어부(221)는 버퍼 메모리(231)로부터 패킷(121)을 판독한다(스텝 S303). 판독 제어부(221)는, 이들 처리를 반복한다(스텝 S305).
상기의 예에 있어서, 판독 제어부(221)는, 이벤트 신호에 의해 나타나는 센서의 식별 정보가 순환하는 것을 조건으로 하여, 버퍼 메모리(231)로부터 패킷(121)을 강제적으로 판독한다. 구체적으로는, 예를 들어 판독 제어부(221)는, 식별 정보가 센서에 대응하는 픽셀의 위치를 나타내는 좌표(x, y)인 경우, 타임 스탬프 t1에 대응지어진 좌표(x1, y1)와 타임 스탬프 t2(t2>t1)에 대응지어진 좌표(x2, y2) 사이에서, x2<x1 또는 x2=x1 또한 y2<y1인 것을 조건으로 하여 식별 정보가 순환되고 있다고 판정해도 된다. 혹은, 판독 제어부(221)는, 다른 타임 스탬프에 대응지어진 동일한 식별 정보를 나타내는 이벤트 신호가 수신된 경우에, 식별 정보가 순환되고 있다고 판정해도 된다.
본 실시예에서도 상기 제1 실시 형태 및 제2 실시 형태와 마찬가지로, 버퍼 메모리(231)의 용량을 확보하면서, 제어부(200)에 있어서의 이벤트 신호의 처리 지연을 억제할 수 있다. 또한, 본 실시 형태는, 예를 들어 처리 회로(120)에 있어서 이벤트 신호에 딜리미터 패킷을 부가하는 기능의 실장이 용이하지 않은 경우에도 적용할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 몇몇 실시 형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지는 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
10: 전자 기기
100: 비전 센서
110: 센서 어레이
110A, 110B: 센서
120: 처리 회로
121: 패킷
122: 전송 종료 패킷
123: 패딩 데이터
124: 전송 개시 패킷
200: 제어부
210: 통신 인터페이스
220: 처리 회로
221: 판독 제어부
230: 메모리
231: 버퍼 메모리.
100: 비전 센서
110: 센서 어레이
110A, 110B: 센서
120: 처리 회로
121: 패킷
122: 전송 종료 패킷
123: 패딩 데이터
124: 전송 개시 패킷
200: 제어부
210: 통신 인터페이스
220: 처리 회로
221: 판독 제어부
230: 메모리
231: 버퍼 메모리.
Claims (9)
- 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와,
상기 패킷이 일시적으로 저장되는 버퍼 메모리와,
소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하고,
상기 패킷은, 상기 이벤트 신호에 대응하는 패킷과, 상기 비전 센서에 있어서 상기 이벤트 신호에 대응하는 패킷에 부가되는 딜리미터 패킷을 포함하고,
상기 판독 제어부는, 상기 딜리미터 패킷에 따라서 상기 소정의 조건을 판정하는, 신호 처리 장치. - 제1항에 있어서, 상기 소정의 조건은, 상기 딜리미터 패킷이 상기 통신부에 의해 수신되거나 또는 상기 버퍼 메모리에 저장되는 것을 포함하는, 신호 처리 장치.
- 제1항에 있어서, 상기 소정의 조건은, 상기 딜리미터 패킷이 상기 버퍼 메모리에 저장되고, 또한 상기 딜리미터 패킷으로부터 헤아린 상기 패킷의 수가 소정의 수에 도달하는 것을 포함하는, 신호 처리 장치.
- 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 통신부와,
상기 패킷이 일시적으로 저장되는 버퍼 메모리와,
소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 판독 제어부를 구비하고,
상기 패킷은, 상기 이벤트 신호에 대응하는 패킷을 포함하고,
상기 이벤트 신호는, 타임 스탬프와, 상기 센서의 식별 정보를 포함하고,
상기 판독 제어부는, 다른 상기 타임 스탬프에 대응지어진 상기 식별 정보를 감시함으로써, 상기 소정의 조건을 판정하고,
상기 소정의 조건은, 상기 타임 스탬프에 대해 상기 센서의 식별 정보가 순환하는 것을 포함하는, 신호 처리 장치. - 제1항, 제2항, 제3항 또는 제4항 중 어느 한 항에 기재된 신호 처리 장치를 구비하는, 전자 기기.
- 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 스텝과,
상기 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 포함하는 신호 처리 방법이며,
상기 패킷은, 상기 이벤트 신호에 대응하는 패킷과, 상기 비전 센서에 있어서 상기 이벤트 신호에 대응하는 패킷에 부가되는 딜리미터 패킷을 포함하고,
상기 패킷을 판독하는 스텝에서는, 상기 딜리미터 패킷에 따라서 상기 소정의 조건을 판정하는, 신호 처리 방법. - 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을
신호 처리 장치의 처리 회로에 실행시키기 위한, 컴퓨터 판독가능 매체에 저장된 프로그램이며,
상기 패킷은, 상기 이벤트 신호에 대응하는 패킷과, 상기 비전 센서에 있어서 상기 이벤트 신호에 대응하는 패킷에 부가되는 딜리미터 패킷을 포함하고,
상기 패킷을 판독하는 스텝에서는, 상기 딜리미터 패킷에 따라서 상기 소정의 조건을 판정하는, 컴퓨터 판독가능 매체에 저장된 프로그램. - 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 수신하는 스텝과,
상기 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을 포함하는 신호 처리 방법이며,
상기 패킷은, 상기 이벤트 신호에 대응하는 패킷을 포함하고,
상기 이벤트 신호는, 타임 스탬프와, 상기 센서의 식별 정보를 포함하고,
상기 패킷을 판독하는 스텝에서는, 다른 상기 타임 스탬프에 대응지어진 상기 식별 정보를 감시함으로써, 상기 소정의 조건을 판정하고,
상기 소정의 조건은, 상기 타임 스탬프에 대해 상기 센서의 식별 정보가 순환하는 것을 포함하는, 신호 처리 방법. - 입사하는 광의 강도 변화를 검출하였을 때 이벤트 신호를 생성하는 센서에 의해 구성되는 센서 어레이를 포함하는 이벤트 구동형의 비전 센서로부터 전송된 패킷을 버퍼 메모리에 일시적으로 저장하는 스텝과,
소정의 조건이 충족된 경우에 상기 버퍼 메모리로부터 강제적으로 패킷을 판독하는 스텝을
신호 처리 장치의 처리 회로에 실행시키기 위한, 컴퓨터 판독가능 매체에 저장된 프로그램이며,
상기 패킷은, 상기 이벤트 신호에 대응하는 패킷을 포함하고,
상기 이벤트 신호는, 타임 스탬프와, 상기 센서의 식별 정보를 포함하고,
상기 패킷을 판독하는 스텝에서는, 다른 상기 타임 스탬프에 대응지어진 상기 식별 정보를 감시함으로써, 상기 소정의 조건을 판정하고,
상기 소정의 조건은, 상기 타임 스탬프에 대해 상기 센서의 식별 정보가 순환하는 것을 포함하는, 컴퓨터 판독가능 매체에 저장된 프로그램.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227779A JP7175730B2 (ja) | 2018-12-05 | 2018-12-05 | 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム |
JPJP-P-2018-227779 | 2018-12-05 | ||
PCT/JP2019/047132 WO2020116416A1 (ja) | 2018-12-05 | 2019-12-03 | 信号処理装置、電子機器、信号処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210083305A true KR20210083305A (ko) | 2021-07-06 |
KR102577925B1 KR102577925B1 (ko) | 2023-09-14 |
Family
ID=70974591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217016001A KR102577925B1 (ko) | 2018-12-05 | 2019-12-03 | 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11553152B2 (ko) |
EP (1) | EP3893493A4 (ko) |
JP (1) | JP7175730B2 (ko) |
KR (1) | KR102577925B1 (ko) |
CN (1) | CN113170059A (ko) |
WO (1) | WO2020116416A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022221994A1 (zh) * | 2021-04-19 | 2022-10-27 | 成都时识科技有限公司 | 具有接口***的事件驱动集成电路 |
JP2023139913A (ja) * | 2022-03-22 | 2023-10-04 | ソニーセミコンダクタソリューションズ株式会社 | データ生成装置、プログラム、データ受信装置、データ構造 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090006141A (ko) * | 2006-04-05 | 2009-01-14 | 아크사이트, 인코퍼레이티드 | 멀티-라인 로그 엔트리의 머징 |
JP2010033125A (ja) * | 2008-07-25 | 2010-02-12 | Hitachi Ltd | ストレージ装置及びデータ転送方法 |
KR20120108737A (ko) * | 2011-03-25 | 2012-10-05 | 엘지전자 주식회사 | 조명 시스템에서의 발광부 제어 방법 |
KR20130043311A (ko) * | 2011-10-20 | 2013-04-30 | 엔에이치엔(주) | 서버에 자동화 테스트를 제공하는 방법 및 시스템 |
JP2014535098A (ja) | 2011-10-14 | 2014-12-25 | サムスン エレクトロニクス カンパニー リミテッド | イベント基盤ビジョンセンサを用いた動作認識装置及び方法 |
JP2018085725A (ja) | 2016-11-21 | 2018-05-31 | 三星電子株式会社Samsung Electronics Co.,Ltd. | イベントベースのセンサー、それを含むユーザー装置、及びその動作方法 |
US20180262705A1 (en) * | 2017-03-08 | 2018-09-13 | Samsung Electronics Co., Ltd. | Image processing device configured to regenerate timestamp and electronic device including the same |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569163B2 (ja) * | 2004-05-07 | 2010-10-27 | 富士ゼロックス株式会社 | データ入出力装置およびデータ入出力方法 |
WO2017009944A1 (ja) | 2015-07-14 | 2017-01-19 | オリンパス株式会社 | 固体撮像装置 |
US10498977B2 (en) * | 2016-03-03 | 2019-12-03 | Insightness Ag | Event-based vision sensor |
US10516841B2 (en) * | 2017-03-08 | 2019-12-24 | Samsung Electronics Co., Ltd. | Pixel, pixel driving circuit, and vision sensor including the same |
-
2018
- 2018-12-05 JP JP2018227779A patent/JP7175730B2/ja active Active
-
2019
- 2019-12-03 US US17/296,777 patent/US11553152B2/en active Active
- 2019-12-03 WO PCT/JP2019/047132 patent/WO2020116416A1/ja unknown
- 2019-12-03 CN CN201980078651.3A patent/CN113170059A/zh active Pending
- 2019-12-03 EP EP19893042.2A patent/EP3893493A4/en active Pending
- 2019-12-03 KR KR1020217016001A patent/KR102577925B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090006141A (ko) * | 2006-04-05 | 2009-01-14 | 아크사이트, 인코퍼레이티드 | 멀티-라인 로그 엔트리의 머징 |
JP2010033125A (ja) * | 2008-07-25 | 2010-02-12 | Hitachi Ltd | ストレージ装置及びデータ転送方法 |
KR20120108737A (ko) * | 2011-03-25 | 2012-10-05 | 엘지전자 주식회사 | 조명 시스템에서의 발광부 제어 방법 |
JP2014535098A (ja) | 2011-10-14 | 2014-12-25 | サムスン エレクトロニクス カンパニー リミテッド | イベント基盤ビジョンセンサを用いた動作認識装置及び方法 |
KR20130043311A (ko) * | 2011-10-20 | 2013-04-30 | 엔에이치엔(주) | 서버에 자동화 테스트를 제공하는 방법 및 시스템 |
JP2018085725A (ja) | 2016-11-21 | 2018-05-31 | 三星電子株式会社Samsung Electronics Co.,Ltd. | イベントベースのセンサー、それを含むユーザー装置、及びその動作方法 |
US20180262705A1 (en) * | 2017-03-08 | 2018-09-13 | Samsung Electronics Co., Ltd. | Image processing device configured to regenerate timestamp and electronic device including the same |
Also Published As
Publication number | Publication date |
---|---|
CN113170059A (zh) | 2021-07-23 |
WO2020116416A1 (ja) | 2020-06-11 |
US20220030188A1 (en) | 2022-01-27 |
US11553152B2 (en) | 2023-01-10 |
EP3893493A4 (en) | 2022-12-07 |
JP2020092320A (ja) | 2020-06-11 |
KR102577925B1 (ko) | 2023-09-14 |
EP3893493A1 (en) | 2021-10-13 |
JP7175730B2 (ja) | 2022-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102577925B1 (ko) | 신호 처리 장치, 전자 기기, 신호 처리 방법 및 프로그램 | |
CN110536050B (zh) | 动态视觉传感器、电子设备及其数据传输方法 | |
US8937668B2 (en) | Image processing device, image processing method, and program | |
CN113434101B (zh) | 设备的控制方法、装置、存储介质及电子装置 | |
KR20220024011A (ko) | 센서 제어 장치, 센서 제어 방법 및 프로그램 | |
CN110855980B (zh) | 一种传感数据处理方法、***、装置及存储介质 | |
US10057444B2 (en) | Mobile terminal, information processing system, and control method | |
US20190156500A1 (en) | Distance measurement system applicable to different reflecting surfaces and computer system | |
JP2016532099A (ja) | 画像化の同期 | |
US9768935B2 (en) | Communication apparatus, method for controlling communication apparatus, and program | |
CN109698933B (zh) | 数据传输方法及摄像机、电子设备、计算机可读存储介质 | |
JP6880896B2 (ja) | 画像形成装置、情報処理システム、および、プログラム | |
CN114519017B (zh) | 用于事件相机的数据传输方法及其***和电子设备 | |
JP6602106B2 (ja) | 通信装置およびその制御方法ならびにプログラム | |
JP2019087842A (ja) | 監視システム | |
CN113536899A (zh) | 火情巡检的路径优化方法、装置、设备及计算机存储介质 | |
JP6127399B2 (ja) | ステレオカメラ装置及びプログラム | |
CN110312068B (zh) | 图像捕获设备和处理方法 | |
JPH07177161A (ja) | ポーリングセレクティング方法 | |
Taouil et al. | Enhanced packet loss recovery for real time pc-based gige vision avi systems | |
KR101359004B1 (ko) | Pc 성능에 적응적인 실시간 영상 획득 장치 | |
JP2008278430A (ja) | 撮像装置、撮像方法、及びプログラム | |
KR20240105303A (ko) | 이벤트 데이터를 변환하는 방법, 및 이를 이용하는 장치 및 프로그램 | |
US9921995B2 (en) | Managing data in USB communication | |
KR20110078465A (ko) | 백색광 방식의 3차원 스캐닝 시스템 제어 기법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |