KR102503543B1 - 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법 - Google Patents

다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법 Download PDF

Info

Publication number
KR102503543B1
KR102503543B1 KR1020180058983A KR20180058983A KR102503543B1 KR 102503543 B1 KR102503543 B1 KR 102503543B1 KR 1020180058983 A KR1020180058983 A KR 1020180058983A KR 20180058983 A KR20180058983 A KR 20180058983A KR 102503543 B1 KR102503543 B1 KR 102503543B1
Authority
KR
South Korea
Prior art keywords
signal
events
reader
event
outputting
Prior art date
Application number
KR1020180058983A
Other languages
English (en)
Other versions
KR20190133952A (ko
Inventor
여동희
류현석
정희재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180058983A priority Critical patent/KR102503543B1/ko
Priority to US16/244,763 priority patent/US10972691B2/en
Priority to CN201910427936.5A priority patent/CN110536050B/zh
Publication of KR20190133952A publication Critical patent/KR20190133952A/ko
Application granted granted Critical
Publication of KR102503543B1 publication Critical patent/KR102503543B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K5/00—Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K5/01—Shaping pulses
    • H03K5/08—Shaping pulses by limiting; by thresholding; by slicing, i.e. combined limiting and thresholding
    • H03K5/082—Shaping pulses by limiting; by thresholding; by slicing, i.e. combined limiting and thresholding with an adaptive threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Nonlinear Science (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

본 발명의 실시예에 따른 다이나믹 비전 센서는, 동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부; 상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부; 상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부; 상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및 상기 선택 신호를 기초로 상기 제1 신호 및 상기 제2 신호 중 어느 하나를 출력하는 선택부를 포함할 수 있다.

Description

다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법 {DYNAMIC VISION SENSOR, ELECTRONIC DEVICE AND DATA TRANSFER METHOD THEREOF}
본 출원은 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법에 관한 것이다.
다이나믹 비전 센서(Dynamic vision sensor; DVS)는 빛의 변화를 감지하여 이를 바탕으로 출력을 생성하는 센서로서, 시모스 이미지 센서(CMOS image sensor; CIS)와는 상이하게 이벤트 발생 여부에 대한 정보만을 데이터로 생성 및 출력한다. 이에 따라, DVS는 CIS에 비해 빠른 프레임률과 저전력의 장점을 가진다.
그러나, DVS의 경우, 발생하는 이벤트의 횟수가 증가할수록 전송해야 하는 데이터의 양이 급격하게 증가하는 단점이 있다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 다이나믹 비전 센서에서 전송하는 데이터의 양이 증가하는 것을 방지할 수 있는 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 다이나믹 비전 센서는, 동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부; 상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부; 상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부; 상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및 상기 선택 신호를 기초로 상기 제1 신호 및 상기 제2 신호 중 어느 하나를 출력하는 선택부를 포함할 수 있다.
본 발명의 실시예에 따른 다이나믹 비전 센서는, 동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부; 상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부; 상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부; 상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및 상기 활성화 신호를 수신하고, 상기 선택 신호를 기초로 상기 활성화 신호를 상기 제1 독출부 및 상기 제2 독출부 중 어느 하나로 출력하는 선택부를 포함할 수 있다.
본 발명의 실시예에 따른 전자 장치는, 이벤트를 감지하고 카운트한 이벤트의 횟수에 따라 제1 신호 또는 제2 신호를 출력하는 다이나믹 비전 센서; 및 상기 다이나믹 비전 센서로부터 상기 제1 신호 또는 상기 제2 신호를 수신하여 처리하는 프로세서를 포함할 수 있다.
본 발명의 실시예에 따른 데이터 전송 방법은, 복수의 픽셀을 포함하는 픽셀 어레이를 통해 이벤트를 감지하는 단계; 제1 방식 및 제2 방식에 따라 상기 픽셀 어레이에 의해 감지된 이벤트를 각각 독출하여 제1 신호 및 제2 신호를 출력하는 단계; 상기 이벤트의 횟수를 카운트하는 단계; 상기 이벤트의 횟수를 기 설정된 임계치와 비교하는 단계; 및 비교 결과에 따라 상기 제1 신호 또는 상기 제2 신호를 출력하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 데이터 전송 방법은, 복수의 픽셀을 포함하는 픽셀 어레이를 통해 이벤트를 감지하는 단계; 상기 이벤트의 횟수를 카운트하는 단계; 상기 이벤트의 횟수를 기 설정된 임계치와 비교하는 단계; 및 비교 결과에 따라 제1 방식 또는 제2 방식에 따라 상기 픽셀 어레이에 의해 감지된 이벤트를 독출하여 제1 신호 또는 제2 신호를 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 다이나믹 비전 센서에서 전송하는 데이터의 양이 증가하는 것을 방지할 수 있는 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법을 제공할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 구성도이다.
도 3은 DVS, CIS 및 본 발명의 실시예에 따른 DVS에서 발생하는 이벤트 횟수에 따라 전송하는 데이터 양을 나타내는 그래프이다.
도 4는 본 발명의 실시예에 적용되는 전자 장치의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 데이터 전송 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 데이터 전송 방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
도 1은 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다이나믹 비전 센서(100)는 픽셀부(110), 제1 독출부(120), 제2 독출부(130), 이벤트 카운터(140) 및 선택부(150)를 포함하여 구성될 수 있다.
픽셀부(110)는 복수의 픽셀들을 포함하는 픽셀 어레이로 구성될 수 있다.
픽셀부(110)에 포함된 복수의 픽셀들은 동적 입력에 반응하여 활성화 신호를 출력할 수 있다. 여기서, 동적 입력은 입사되는 빛의 세기(light intensity)의 변화를 포함할 수 있다. 또한, 활성화 신호는 입사되는 빛의 세기의 변화가 미리 설정된 임계치를 초과하는 경우에 출력될 수 있다.
제1 독출부(120)는 픽셀부(110)에 의해 출력된 활성화 신호를 수신하고, 활성화 신호를 기초로 제1 신호를 출력할 수 있다. 여기서, 제1 신호는 활성화 신호를 기초로 생성된 이벤트 신호일 수 있으며, 이벤트 신호는 이벤트가 발생한 픽셀의 위치 정보(예를 들어, 픽셀의 주소), 시간 정보(예를 들어, 타임 스탬프) 및 이벤트 정보 등을 포함할 수 있다.
제2 독출부(130)는 픽셀부(110)에 의해 출력된 활성화 신호를 수신하고, 활성화 신호를 기초로 제2 신호를 출력할 수 있다. 여기서, 제2 신호는 매 프레임마다 픽셀부(110)에 포함된 모든 픽셀들을 스캔한 신호일 수 있다.
이벤트 카운터(140)는 픽셀부(110)에 의해 출력된 활성화 신호를 수신하고, 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트할 수 있다. 예를 들어, 이벤트 카운터(140)는 활성화 신호의 개수를 카운트하여 이벤트의 횟수를 카운트할 수 있다.
또한, 이벤트 카운터(140)는 카운트한 이벤트의 횟수를 기초로 선택 신호를 생성하여 선택부(150)로 출력할 수 있다. 예를 들어, 이벤트 카운터(140)는 이벤트의 횟수가 기 설정된 임계치 미만이면 제1 독출부(120)의 출력 신호를 선택하는 제1 선택 신호를 출력하고, 이벤트의 횟수가 기 설정된 임계치 이상이면 제2 독출부(130)의 출력 신호를 선택하는 제2 선택 신호를 출력할 수 있다. 여기서, 기 설정된 임계치는 픽셀부(110)에 포함된 픽셀의 개수에 따라서 정해질 수 있으며, 이에 대해서는 도 3을 참조하여 보다 구체적으로 후술한다.
선택부(150)는 이벤트 카운터(140)로부터 수신한 선택 신호를 기초로 제1 독출부(120)의 출력 신호 및 제2 독출부(130)의 출력 신호 중 어느 하나를 출력할 수 있다. 예를 들어, 선택부(150)는 이벤트 카운터(140)로부터 제1 선택 신호를 수신하면 제1 독출부(120)의 출력 신호, 즉 제1 신호를 출력하고, 이벤트 카운터(140)로부터 제2 선택 신호를 수신하면 제2 독출부(130)의 출력 신호, 즉 제2 신호를 출력할 수 있다.
도 1에 도시된 다이나믹 비전 센서(100)는 데이터를 출력하는 방식에 무관하게 제1 독출부(120) 및 제2 독출부(130)에 의해 각각 제1 신호 및 제2 신호를 출력하고, 제1 신호 및 제2 신호 중 어느 하나를 선택하여 출력하도록 구성된다.
이에 따라, 다이나믹 비전 센서(100)에서 이벤트의 횟수를 카운트한 시점과 동일한 시점의 데이터를 출력할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 다이나믹 비전 센서(200)는 픽셀부(210), 제1 독출부(220), 제2 독출부(230), 이벤트 카운터(240) 및 선택부(250)를 포함하여 구성될 수 있다.
도 2에 도시된 다이나믹 비전 센서(200)는 선택부(250)가 제1 독출부(220) 및 제2 독출부(230)의 전단에 위치한다는 점에서 도 1에 도시된 다이나믹 비전 센서(100)와 상이하다.
이벤트 카운터(240)는 픽셀부(210)에 의해 출력된 활성화 신호를 수신하고, 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트할 수 있다. 예를 들어, 이벤트 카운터(240)는 활성화 신호의 개수를 카운트하여 이벤트의 횟수를 카운트할 수 있다.
또한, 이벤트 카운터(240)는 카운트한 이벤트의 횟수를 기초로 선택 신호를 생성하여 선택부(250)로 출력할 수 있다. 예를 들어, 이벤트 카운터(240)는 이벤트의 횟수가 기 설정된 임계치 미만이면 제1 독출부(220)를 선택하는 제1 선택 신호를 출력하고, 이벤트의 횟수가 기 설정된 임계치 이상이면 제2 독출부(230)를 선택하는 제2 선택 신호를 출력할 수 있다. 여기서, 기 설정된 임계치는 픽셀부(210)에 포함된 픽셀의 개수에 따라서 정해질 수 있으며, 이에 대해서는 도 3을 참조하여 보다 구체적으로 후술한다.
선택부(250)는 픽셀부(210)에 의해 출력된 활성화 신호를 수신하고, 이벤트 카운터(240)로부터 수신한 선택 신호를 기초로 활성화 신호를 제1 독출부(220) 및 제2 독출부(230) 중 어느 하나로 출력할 수 있다. 예를 들어, 선택부(250)는 이벤트 카운터(240)로부터 제1 선택 신호를 수신하면 활성화 신호를 제1 독출부(220)로 출력하고, 이벤트 카운터(240)로부터 제2 선택 신호를 수신하면 활성화 신호를 제2 독출부(230)로 출력할 수 있다.
이에 따라, 제1 독출부(220) 및 제2 독출부(230) 중 어느 하나는 선택부(250)로부터 활성화 신호를 수신하고, 활성화 신호를 기초로 제1 신호 또는 제2 신호를 출력할 수 있다.
상술한 구성을 제외한 나머지 구성은 도 1을 참조하여 설명한 바와 동일하므로, 이에 대한 구체적인 설명은 생략한다.
도 2에 도시된 다이나믹 비전 센서(200)는 발생한 이벤트의 횟수에 따라 선택된 하나의 독출부(220, 230)를 통해 신호를 출력하도록 구성된다.
이에 따라, 다이나믹 비전 센서(200)의 전력 소비를 줄일 수 있다는 장점이 있다.
도 3은 DVS, CIS 및 본 발명의 실시예에 따른 DVS에서 발생하는 이벤트 횟수에 따라 전송하는 데이터 양을 나타내는 그래프이다.
도 3에 도시된 그래프에서, 31은 CIS에서 프레임 단위로 신호를 출력하는 경우에 전송하는 데이터의 양을 나타내고, 32는 DVS에서 이벤트 신호를 출력하는 경우에 이벤트 횟수에 따라 전송하는 데이터의 양을 나타내며, 33은 본 발명의 실시예에 따른 DVS에서 이벤트 횟수에 따라 전송하는 데이터의 양을 나타낸다.
도 3에 도시된 바와 같이, CIS의 경우 매 프레임마다 모든 픽셀의 데이터를 모두 출력하므로, 하기의 수식 1과 같이 픽셀의 개수와 신호 크기에 따라 전송하는 데이터의 양이 고정된다.
[수식 1]
CIS 전송 데이터 양 = 픽셀의 개수 * 이벤트 비트의 수
이에 반해, DVS의 경우 전송하는 데이터의 양은 하기의 수식 2에 따라 결정될 수 있다.
[수식 2]
DVS 전송 데이터 양 = 이벤트의 횟수 * (주소 비트의 수 + 이벤트 비트의 수)
이처럼, 디스플레이의 해상도가 높아질수록 주소 비트의 수가 길어지게 되고, 이벤트의 횟수가 증가함에 따라 DVS의 경우 전송하는 데이터의 양이 CIS의 경우 전송하는 데이터의 양에 비해 많아지게 된다.
따라서, 본 발명의 실시예에 따르면, 이벤트 카운터(140, 240)에서 카운트한 이벤트의 횟수를 하기의 수식 3에 따라 결정되는 임계치와 대비한 결과에 따라 출력 신호 또는 이벤트 독출 방식을 선택할 수 있다.
[수식 3]
임계치 = 이벤트 비트의 수 * 픽셀의 개수 / (주소 비트의 수 + 이벤트 비트의 수)
도 4는 본 발명의 실시예에 적용되는 전자 장치의 구성도이다.
도 4를 참조하면, 전자 장치(400)는 디스플레이(410), 메모리(420), 통신 모듈(430), 센서 모듈(440) 및 프로세서(450) 등을 포함할 수 있다. 전자 장치(400)는 스마트폰, 태블릿 PC, 랩톱 컴퓨터 등의 모바일 기기 외에, 텔레비전, 데스크톱 컴퓨터 등을 포함할 수 있다.
또한, 전자 장치(400)를 구성하는 디스플레이(410), 메모리(420), 통신 모듈(430), 센서 모듈(440) 및 프로세서(450) 등의 구성요소는 버스(460)를 통해 서로 통신을 수행하여 데이터를 전달할 수 있다.
센서 모듈(440)은 도 1 또는 도 2를 참조하여 상술한 다이나믹 비전 센서(100, 200)를 포함할 수 있으며, 센서 모듈(440)은 이벤트를 감지하고 카운트한 이벤트의 횟수에 따라 제1 신호 또는 제2 신호를 출력할 수 있다.
이 경우, 센서 모듈(440)은 출력하는 신호의 종류를 수신측(예를 들어, 프로세서(450) 등)에 알려주기 위해 하기의 방식 중 어느 하나를 적용할 수 있다.
1) 다이나믹 비전 센서에서 신호 출력을 위해 제1 신호 및 제2 신호에 대한 출력 핀을 별도로 할당
2) 출력하는 신호의 변경(예를 들어, 제1 신호에서 제2 신호로 변경 또는 이와 반대)이 필요한 경우 신호 변경을 알려주기 위한 별도의 패킷을 수신측으로 전송
3) 주기적으로 출력하는 신호에 대한 정보를 패킷에 실어서 수신측으로 전송(예를 들어, 수 패킷마다, 단위 시간마다 등)
한편, 프로세서(450)는 센서 모듈(440)로부터 제1 신호 또는 제2 신호를 수신하여 처리할 수 있다. 예를 들어, 프로세서(450)는 상술한 방식 중 어느 하나에 따라 수신하는 신호의 종류를 판단하고, 신호의 종류에 따라 적합한 방식으로 신호를 처리할 수 있다.
도 5는 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 데이터 전송 방법의 흐름도이다.
도 5를 참조하면, 도 1에 도시된 픽셀부(110)를 통해 이벤트를 감지하고(S51), 제1 독출부(120) 및 제2 독출부(130)를 통해 각각 이벤트를 독출하여 제1 신호 및 제2 신호를 출력할 수 있다(S52).
또한, 이벤트 카운터(140)를 통해 픽셀부(110)를 의해 감지된 이벤트의 횟수를 카운트하고(S53), 카운트한 이벤트의 횟수를 기 설정된 임계치와 비교할 수 있다(S54). 선택부(150)는 이벤트의 횟수가 임계치 미만이면 제1 신호를 출력하고(S55), 이벤트의 횟수가 임계치 이상이면 제2 신호를 출력할 수 있다(S56).
도 6은 본 발명의 일 실시예에 따른 다이나믹 비전 센서의 데이터 전송 방법의 흐름도이다.
도 6을 참조하면, 도 2에 도시된 픽셀부(210)를 통해 이벤트를 감지하고(S61), 이벤트 카운터(240)를 통해 픽셀부(210)를 의해 감지된 이벤트의 횟수를 카운트하고(S62), 카운트한 이벤트의 횟수를 기 설정된 임계치와 비교할 수 있다(S63).
이벤트의 횟수가 임계치 미만이면 선택부(250)는 픽셀부(210)에 의해 감지된 신호를 제1 독출부(220)로 전달하고, 제1 독출부(220)는 제1 방식에 따라 이벤트를 독출한 후(S64) 제1 신호를 출력할 수 있다(S65).
반면, 이벤트의 횟수가 임계치 이상이면 선택부(250)는 픽셀부(210)에 의해 감지된 신호를 제2 독출부(230)로 전달하고, 제2 독출부(230)는 제2 방식에 따라 이벤트를 독출한 후(S66) 제2 신호를 출력할 수 있다(S67).
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
100, 200: 다이나믹 비전 센서
110, 210: 픽셀부
120, 220: 제1 독출부
130, 230: 제2 독출부
140, 240: 이벤트 카운터
150, 250: 선택부
400: 전자 장치
410: 디스플레이
420: 메모리
430: 통신 모듈
440: 센서 모듈
450: 프로세서

Claims (10)

  1. 동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부;
    픽셀의 이벤트가 발생할 때 상기 이벤트를 처리하기 위하여 상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부;
    상기 복수의 픽셀들의 이벤트들이 발생할 때, 상기 이벤트들을 처리하기 위하여 상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부;
    상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및
    상기 선택 신호를 기초로 상기 제1 신호 및 상기 제2 신호 중 어느 하나를 출력하는 선택부를 포함하고,
    상기 제1 신호는 상기 픽셀의 상기 이벤트를 처리하기 위한 신호이고,
    상기 제2 신호는 상기 복수의 픽셀들의 모든 이벤트들을 처리하기 위한 신호인 것을 특징으로 하는 다이나믹 비전 센서.
  2. 제 1 항에 있어서,
    상기 제1 신호는 상기 활성화 신호를 기초로 생성된 이벤트 신호이고,
    상기 제2 신호는 매 프레임마다 상기 픽셀부에 포함된 모든 픽셀들을 스캔한 신호인 다이나믹 비전 센서.
  3. 제 1 항에 있어서,
    상기 이벤트 카운터는 상기 이벤트의 횟수가 기 설정된 임계치 미만이면 상기 제1 독출부의 출력 신호를 선택하는 제1 선택 신호를 출력하고, 상기 이벤트의 횟수가 상기 임계치 이상이면 상기 제2 독출부의 출력 신호를 선택하는 제2 선택 신호를 출력하는 다이나믹 비전 센서.
  4. 제 3 항에 있어서,
    상기 임계치는 하기의 수식
    임계치 = 이벤트 비트의 수 * 픽셀의 개수 / (주소 비트의 수 + 이벤트 비트의 수)
    에 따라 정해지는 다이나믹 비전 센서.
  5. 동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부;
    픽셀의 이벤트가 발생할 때 상기 이벤트를 처리하기 위하여 상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부;
    상기 복수의 픽셀들의 이벤트들이 발생할 때, 상기 이벤트들을 처리하기 위하여 상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부;
    상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및
    상기 활성화 신호를 수신하고, 상기 선택 신호를 기초로 상기 활성화 신호를 상기 제1 독출부 및 상기 제2 독출부 중 어느 하나로 출력하는 선택부를 포함하는 다이나믹 비전 센서.
  6. 제 5 항에 있어서,
    상기 이벤트 카운터는 상기 이벤트의 횟수가 기 설정된 임계치 미만이면 상기 제1 독출부를 선택하는 제1 선택 신호를 출력하고, 상기 이벤트의 횟수가 상기 임계치 이상이면 상기 제2 독출부를 선택하는 제2 선택 신호를 출력하는 다이나믹 비전 센서.
  7. 이벤트를 감지하고 카운트한 이벤트의 횟수에 따라 제1 신호 또는 제2 신호를 출력하는 다이나믹 비전 센서; 및
    상기 다이나믹 비전 센서로부터 상기 제1 신호 또는 상기 제2 신호를 수신하여 처리하는 프로세서를 포함하고,
    상기 제1 신호는 픽셀의 상기 이벤트를 처리하기 위한 신호이고,
    상기 제2 신호는 복수의 픽셀들의 모든 이벤트들을 처리하기 위한 신호인 것을 특징으로 하는 전자 장치.
  8. 제 7 항에 있어서, 상기 다이나믹 비전 센서는,
    동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부;
    상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부;
    상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부;
    상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및
    상기 선택 신호를 기초로 상기 제1 신호 및 상기 제2 신호 중 어느 하나를 출력하는 선택부를 포함하는 전자 장치.
  9. 제 7 항에 있어서, 상기 다이나믹 비전 센서는,
    동적 입력에 반응하여 활성화 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀부;
    상기 활성화 신호를 기초로 제1 신호를 출력하는 제1 독출부;
    상기 활성화 신호를 기초로 제2 신호를 출력하는 제2 독출부;
    상기 활성화 신호를 기초로 발생된 이벤트의 횟수를 카운트하고, 상기 이벤트의 횟수를 기초로 선택 신호를 생성하여 출력하는 이벤트 카운터; 및
    상기 활성화 신호를 수신하고, 상기 선택 신호를 기초로 상기 활성화 신호를 상기 제1 독출부 및 상기 제2 독출부 중 어느 하나로 출력하는 선택부를 포함하는 전자 장치.
  10. 복수의 픽셀들을 포함하는 픽셀 어레이를 통해 이벤트를 감지하는 단계;
    상기 이벤트의 횟수를 카운트하는 단계;
    상기 이벤트의 횟수를 기 설정된 임계치와 비교하는 단계; 및
    비교 결과에 따라 제1 방식 또는 제2 방식에 따라 상기 픽셀 어레이에 의해 감지된 이벤트를 독출하여 제1 신호 또는 제2 신호를 출력하는 단계를 포함하고,
    상기 제1 신호는 상기 픽셀의 상기 이벤트를 처리하기 위한 신호이고,
    상기 제2 신호는 상기 복수의 픽셀들의 모든 이벤트들을 처리하기 위한 신호인 것을 특징으로 하는 데이터 전송 방법.
KR1020180058983A 2018-05-24 2018-05-24 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법 KR102503543B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180058983A KR102503543B1 (ko) 2018-05-24 2018-05-24 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
US16/244,763 US10972691B2 (en) 2018-05-24 2019-01-10 Dynamic vision sensor, electronic device and data transfer method thereof
CN201910427936.5A CN110536050B (zh) 2018-05-24 2019-05-22 动态视觉传感器、电子设备及其数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058983A KR102503543B1 (ko) 2018-05-24 2018-05-24 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법

Publications (2)

Publication Number Publication Date
KR20190133952A KR20190133952A (ko) 2019-12-04
KR102503543B1 true KR102503543B1 (ko) 2023-02-24

Family

ID=68614233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058983A KR102503543B1 (ko) 2018-05-24 2018-05-24 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법

Country Status (3)

Country Link
US (1) US10972691B2 (ko)
KR (1) KR102503543B1 (ko)
CN (1) CN110536050B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
JP7336217B2 (ja) * 2019-03-12 2023-08-31 キヤノン株式会社 情報処理装置、撮像素子、撮像装置、及び情報処理方法
US11871156B2 (en) 2020-04-02 2024-01-09 Samsung Electronics Co., Ltd. Dynamic vision filtering for event detection
WO2022047651A1 (zh) * 2020-09-02 2022-03-10 华为技术有限公司 视觉传感器芯片及其操作方法和电子设备
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN116530092A (zh) * 2020-12-31 2023-08-01 华为技术有限公司 一种视觉传感器芯片、操作视觉传感器芯片的方法以及设备
CN113673681B (zh) * 2021-08-20 2022-08-16 成都时识科技有限公司 基于事件的最大池化方法、芯片及电子产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418892B1 (ko) 2013-09-04 2014-07-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 전단 이벤트 감지장치 및 이를 이용한 저전력 카메라 시스템
JP2017535999A (ja) * 2014-09-30 2017-11-30 クアルコム，インコーポレイテッド フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ
JP2018022490A (ja) 2016-08-01 2018-02-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント信号処理方法及びその方法を遂行するイベント基盤センサー

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8426793B1 (en) 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
KR102357965B1 (ko) 2015-01-12 2022-02-03 삼성전자주식회사 객체 인식 방법 및 장치
KR102407274B1 (ko) 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102399017B1 (ko) * 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
KR102512828B1 (ko) * 2016-01-22 2023-03-22 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
CN107403154B (zh) * 2017-07-20 2020-10-16 四川大学 一种基于动态视觉传感器的步态识别方法
KR20190133465A (ko) 2018-05-23 2019-12-03 삼성전자주식회사 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418892B1 (ko) 2013-09-04 2014-07-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 전단 이벤트 감지장치 및 이를 이용한 저전력 카메라 시스템
JP2017535999A (ja) * 2014-09-30 2017-11-30 クアルコム，インコーポレイテッド フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ
JP2018022490A (ja) 2016-08-01 2018-02-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント信号処理方法及びその方法を遂行するイベント基盤センサー

Also Published As

Publication number Publication date
US20190364237A1 (en) 2019-11-28
CN110536050A (zh) 2019-12-03
CN110536050B (zh) 2022-04-12
KR20190133952A (ko) 2019-12-04
US10972691B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
KR102503543B1 (ko) 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
CN106649147B (zh) 用于存储事件信号和图像的存储方法和存储设备
CN116170702A (zh) 视觉传感器、图像处理设备以及视觉传感器的操作方法
US20140125994A1 (en) Motion sensor array device and depth sensing system and methods of using the same
US20200412930A1 (en) Event detecting device including an event signal generator and an output signal generator
KR102344545B1 (ko) 영상처리장치 및 그 제어방법
JP6709025B2 (ja) インターフェイシング装置及びユーザ入力処理方法とそのコンピュータ読出可能記録媒体並びに処理装置
US20230217123A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US11405567B2 (en) Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
CN112929560A (zh) 图像处理设备及其方法
KR102378086B1 (ko) 이벤트 감지 장치
US20230164457A1 (en) Sensor for accumulation signal
JP7175730B2 (ja) 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
CN115695987A (zh) 电子设备及其操作方法
KR20220085619A (ko) 비전 센서 및 이의 동작 방법
KR20220108608A (ko) 비전 센서 및 이를 포함하는 이미지 처리 장치
TWI843064B (zh) 影像感測器
CN108366213A (zh) 像素及其成像方法和成像装置
CN220570631U (zh) 光电传感器及其像素单元、脉冲相机和电子设备
KR20240041671A (ko) 비전 센서 및 이를 포함하는 이미지 처리 장치
US9148574B2 (en) Image-capture device and image-capture method capable of adjusting light metering value according to selection signals thereof
KR20240081034A (ko) 전자 장치 및 이의 제어 방법
KR20200107040A (ko) 이미지 센서 및 그 동작 방법
KR20220156327A (ko) 비전 센서 및 이의 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant