KR20200115881A - 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법 - Google Patents

옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법 Download PDF

Info

Publication number
KR20200115881A
KR20200115881A KR1020190036151A KR20190036151A KR20200115881A KR 20200115881 A KR20200115881 A KR 20200115881A KR 1020190036151 A KR1020190036151 A KR 1020190036151A KR 20190036151 A KR20190036151 A KR 20190036151A KR 20200115881 A KR20200115881 A KR 20200115881A
Authority
KR
South Korea
Prior art keywords
event
signal
events
signals
noise
Prior art date
Application number
KR1020190036151A
Other languages
English (en)
Inventor
서종석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190036151A priority Critical patent/KR20200115881A/ko
Priority to US16/693,591 priority patent/US11405567B2/en
Priority to CN202010173243.0A priority patent/CN111757028A/zh
Publication of KR20200115881A publication Critical patent/KR20200115881A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H04N5/357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14632—Wafer-level processed structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14687—Wafer level processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N5/36963—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

다이나믹 비전 센서가 개시된다. 다이나믹 비전 센서는 다이나믹 비전 센서 픽셀 어레이, 이벤트 감지 회로, 및 이벤트 신호 칼리브레이터를 포함한다. 다이나믹 비전 센서 어레이는 빛의 세기 변화에 따른 제 1 이벤트들을 감지하는 액티브 영역 및 빛의 세기 변화와 관계 없이 발생하는 제 2 이벤트들을 출력하는 옵티컬 블랙 영역을 포함한다. 이벤트 감지 회로는 제 1 이벤트들에 기반하여 이벤트 신호들을 생성하고, 제 2 이벤트들에 기반하여 노이즈 신호들을 생성한다. 이벤트 신호 칼리브레이터는 이벤트 신호들과 노이즈 신호들에 기반하여 이벤트 신호들 중 실제 이벤트들을 판별하고, 판별 결과와 문턱 값을 비교하여 이벤트 신호들을 선택적으로 출력한다.

Description

옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법{DYNAMIC VISION SENSOR CONFIGURED TO CALIBRATE EVENT SIGNALS USING OPTICAL BLACK REGION AND METHOD OF OPERATING THE SAME}
본 발명은 다이나믹 비전 센서에 관한 것으로, 좀 더 상세하게는, 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성된 다이나믹 비전 센서에 관한 것이다.
일반적으로 이미지 센서는 크게 동기식으로 동작하는 이미지 센서와 비동기식으로 동작하는 이미지 센서로 구분될 수 있다. 동기식으로 동작하는 이미지 센서의 대표적인 예로써 CMOS (complementary metal-oxide semiconductor) 이미지 센서가 있다. 비동기식으로 동작하는 이미지 센서의 대표적인 예로써 다이나믹 비전 센서 (dynamic vision sensor; DVS)가 있다.
다이나믹 비전 센서는 객체의 움직임에 따른 빛의 세기 변화를 감지하여 이벤트를 생성한다. 그러므로, 일반적인 CMOS 이미지 센서와는 달리 객체가 정지하고 있는 경우(즉, 빛의 세기 변화가 없다면), 사용자에게 아무런 정보도 제공되지 않는다. 반면, 객체가 움직이고 있는 경우, 빛의 세기 변화는 객체의 경계 또는 아웃라인에서 주로 발생하므로, 객체의 실루엣과 관련된 이미지가 사용자에게 제공된다.
다만, 경우에 따라서, 객체의 움직임에 따른 빛의 세기 변화 이외의 다양한 요인들로 인하여, 다이나믹 비전 센서의 픽셀로부터 이벤트가 출력될 수 있다. 이는 원치 않게 발생한 이벤트로써, 사용자에게 제공되어야 할 정보를 왜곡시키는 요인으로 작용할 수 있다. 뿐만 아니라, 원치 않게 발생한 이벤트는 이벤트 신호들을 처리하는 프로세서의 작업량을 가중시키는 요인으로 작용하기도 한다. 그러므로, 원치 않게 발생한 이벤트를 효율적으로 제거하는 방안이 요구된다.
본 개시의 기술 사상은 복수의 DVS 픽셀들을 포함하는 액티브 영역에서 발생한 이벤트들이 노이즈에 기인하는지 여부를 판별하는 장치 및 방법을 제공한다.
본 개시의 실시 예에 따른 다이나믹 비전 센서는, 빛의 세기 변화에 따른 제 1 이벤트들을 감지하는 액티브 영역 및 상기 빛의 세기 변화와 관계 없이 발생하는 제 2 이벤트들을 출력하는 옵티컬 블랙 영역을 포함하는 다이나믹 비전 센서 픽셀 어레이, 상기 제 1 이벤트들에 기반하여 이벤트 신호들을 생성하고, 상기 제 2 이벤트들에 기반하여 노이즈 신호들을 생성하도록 구성되는 이벤트 감지 회로, 그리고 상기 이벤트 신호들과 상기 노이즈 신호들에 기반하여 상기 이벤트 신호들 중 실제 이벤트들을 판별하고, 상기 판별 결과와 문턱 값을 비교하여 상기 이벤트 신호들을 선택적으로 출력하도록 구성되는 이벤트 신호 칼리브레이터를 포함한다.
본 개시의 다른 실시 예에 따른 다이나믹 비전 센서는, 각각이 복수의 픽셀들을 포함하는 복수의 액티브 영역들, 및 각각이 복수의 픽셀들을 포함하는 복수의 옵티컬 블랙 영역들을 포함하는 다이나믹 비전 센서 픽셀 어레이, 상기 복수의 액티브 영역들 중 제 1 액티브 영역의 픽셀들에 의해 감지된 제 1 이벤트들에 기반하여 이벤트 신호들을 생성하고, 상기 복수의 옵티컬 블랙 영역들 중 제 1 옵티컬 블랙 영역의 픽셀들에 의해 출력된 제 2 이벤트들에 기반하여 노이즈 신호를 생성하도록 구성되는 이벤트 감지 회로, 상기 이벤트 신호들에 기반하여 상기 제 1 이벤트들의 발생 횟수에 관한 제 1 신호를 생성하고, 상기 노이즈 신호들에 기반하여 상기 제 2 이벤트들의 발생 횟수에 관한 제 2 신호를 생성하고, 상기 제 1 신호와 상기 제 2 신호에 대해 감산 연산을 수행하여 제 3 신호를 생성하고, 상기 제 3 신호와 문턱 값을 비교하여 상기 이벤트 신호들을 선택적으로 출력하도록 구성되는 이벤트 신호 칼리브레이터를 포함한다.
본 개시의 또 다른 실시 예에 따른 다이나믹 비전 센서의 동작 방법은, 액티브 영역과 옵티컬 블랙 영역을 포함하는 다이나믹 비전 센서의 동작 방법은, 상기 액티브 영역에 의해, 빛의 세기 변화에 따른 제 1 이벤트들을 감지하는 단계, 상기 옵티컬 블랙 영역에 의해, 상기 빛의 세기 변화와 관계 없이 발생하는 제 2 이벤트들을 출력하는 단계, 상기 제 1 이벤트들에 기반하는 이벤트 신호들 및 상기 제 2 이벤트들에 기반하는 노이즈 신호들을 생성하는 단계, 상기 이벤트 신호들과 상기 노이즈 신호들에 대한 감산 연산을 수행하여, 상기 이벤트 신호들 중 실제 이벤트들을 판별하는 단계, 그리고 상기 판별 결과와 문턱 값을 비교하여 상기 이벤트 신호들을 선택적으로 출력하는 단계를 포함한다.
본 개시의 예시적인 실시 예들에 의하면, 복수의 DVS 픽셀들을 포함하는 액티브 영역에서 발생한 이벤트들이 노이즈에 기인하는지 여부를 판별하는 장치 및 방법이 제공될 수 있다.
좀 더 구체적으로, 본 개시의 예시적인 실시 예들에 의하면, 액티브 영역에서 발생한 이벤트들이 노이즈에 기인하는 것으로 판별된 경우, 해당 이벤트 신호들을 출력하지 않음으로써, 이벤트 신호를 처리하는 프로세서의 성능을 향상시킬 수 있다.
나아가, 불필요한 이벤트 신호들이 처리되는 것을 방지함으로써, 이벤트 신호를 처리하는 프로세서의 전력 소모를 감소시킬 수 있다.
도 1은 본 개시의 예시적인 실시 예에 따른 전자 장치를 도시한다.
도 2a는 도 1의 제 2 영역으로부터 출력되는 이벤트들이 시간의 흐름에 따라 누적되는 것을 개략적으로 도시하는 그래프이다.
도 2b는 도 1의 제 1영역에 의해 감지되는 이벤트들이 시간의 흐름에 따라 누적되는 것을 개략적으로 도시하는 그래프이다.
도 3은 본 개시의 예시적인 실시 예에 따라 이벤트 신호들을 칼리브레이션 하는 것을 개념적으로 도시한다.
도 4는 개시의 예시적인 실시 예에 따라 이벤트 신호들을 칼리브레이션 하는 과정을 개념적으로 도시하는 그래프이다.
도 5는 도 1에 도시된 다이나믹 비전 센서의 예시적인 구성을 도시한다.
도 6은 도 5의 픽셀 DVS 픽셀 어레이를 구성하는 DVS 픽셀의 예시적인 구성을 도시하는 회로도이다.
도 7은 도 6의 DVS 픽셀 백-엔드 회로의 예시적인 구성을 도시한다.
도 8은 본 개시의 다이나믹 비전 센서로부터 출력되는 신호의 예시적인 포맷을 도시한다.
도 9는 본 개시의 실시 예에 따른 다이나믹 비전 센서의 동작 방법을 도시하는 순서도이다.
도 10은 도 5에 도시된 이벤트 신호 칼리브레이터의 예시적인 구성을 도시한다.
도 11은 도 10에 도시된 노이즈 값 판별기의 예시적인 구성을 도시한다.
도 12는 도 5에 도시된 이벤트 신호 칼리브레이터의 예시적인 구성을 도시한다.
도 13은 본 개시의 실시 예에 따른 전자 장치의 동작 방법을 도시하는 순서도이다.
도 14는 본 개시의 실시 예에 따른 다이나믹 비전 센서를 포함하는 전자 시스템의 예시적인 구성을 도시한다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈 (microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.
도 1은 본 개시의 예시적인 실시 예에 따른 전자 장치(100)를 도시한다.
전자 장치(100)는 다이나믹 비전 센서 (dynamic vision sensor; DVS)(10) 및 이벤트 신호 프로세서(20)를 포함한다. 예를 들어, 전자 장치(100)는 데스크톱(Desktop) 컴퓨터, 랩톱(Laptop) 컴퓨터, 태블릿(Tablet), 스마트폰, 웨어러블(Wearable) 장치, 스마트 스피커, 가정 보안 사물 인터넷(Home Security IOT), 비디오 게임기(Video Game Console), 워크스테이션(Workstation), 서버(Server), 자율 주행 자동차 등과 같은 전자 장치들 중 하나로 구현될 수 있다.
다이나믹 비전 센서(10)는 빛의 세기 변화를 감지할 수 있다. 예를 들어, 다이나믹 비전 센서(10)는 빛의 세기가 증가하는 이벤트 및/또는 빛의 세기가 감소하는 이벤트를 감지할 수 있다. 다이나믹 비전 센서(10)는 감지된 세기 변화에 기반하여 신호를 생성하고, 생성된 신호를 처리하여 사용자에게 제공할 수 있다. 실시 예에 있어서, 다이나믹 비전 센서(10)는 DVS 픽셀 어레이(110), 이벤트 감지 회로(120), 이벤트 신호 칼리브레이터(130), 및 이벤트 신호 프로세서(140)를 포함할 수 있다.
DVS 픽셀 어레이(110)는 제 1 영역(112)과 제 2 영역(114)을 포함한다. 제 1 영역(112)은 빛의 세기가 증가하거나 감소하는 이벤트를 감지하여 신호를 출력할 수 있다. 제 2 영역(114)은 빛의 세기 변화에 의한 영향을 받지 않는다. 그러므로, 제 2 영역(114)은 빛의 세기 변화에 대응하는 신호를 출력하지 않는다. 대신에, 제 2 영역(114)은 제 1 영역(112)으로 입사되는 빛에 의한 간섭, 전자 장치(100)의 동작에 따라 발생하는 열전자, 기타 외부로부터의 다양한 요소에 의해 발생하는 노이즈 등(이하, 노이즈라 통징하기로 함)에 기인하는 신호를 출력할 수 있다. 예를 들어, 제 1 영역(112)은 액티브 영역일 수 있으며, 제 2 영역(114)은 옵티컬 블랙(optical black) 영역일 수 있다. 예를 들어, 제 1 영역(112)을 구성하는 픽셀과 제 2 영역(114)을 구성하는 픽셀은 실질적으로 동일한 구조를 가질 수 있다.
이벤트 감지 회로(120)는 DVS 픽셀 어레이(110)로부터 출력된 신호에 기반하여 이벤트 신호 및/또는 노이즈 신호를 생성할 수 있다. 실시 예에 있어서, 이벤트 신호는 제 1 영역(112)으로부터 출력되는 신호에 기반할 수 있다. 예를 들어, 이벤트 신호는 물체의 움직임에 따른 빛의 변화에 따라 발생하는 실제 이벤트의 속성(즉, 빛의 세기가 증가하거나 감소하는 것), 및 발생 시간에 관한 정보를 포함할 나타낼 수 있다. 반면, 노이즈 신호는 제 2 영역(114)으로부터 출력되는 신호에 기반할 수 있다. 예를 들어, 노이즈 신호는 노이즈의 속성, 및 발생 시간에 관한 정보를 포함할 수 있다.
이벤트 신호 칼리브레이터(130)는 이벤트 신호(ES)와 노이즈 신호(NS)를 수신한다. 이벤트 신호 칼리브레이터(130)는 노이즈 신호(NS)에 기반하여 제 1 영역(112)의 픽셀들로부터 출력되는 이벤트들에 기반하는 이벤트 신호들의 개수와 특정 문턱 값을 비교할 수 있다. 이벤트 신호 칼리브레이터(130)는 비교 결과에 기반하여, 제 1 영역(112)의 픽셀들로부터 감지된 이벤트들 중, 노이즈의 비율이 상대적으로 크다고 판별된 이벤트 신호들을 차단할 수 있다. 이벤트 신호 칼리브레이터(130)로부터 출력된 신호는 보정된 이벤트 신호(CES)로써 이벤트 신호 프로세서(20)로 전송될 수 있다.
이벤트 신호 칼리브레이터(130)에 의해 수행되는 상술된 동작에 의하여 제 1 영역(112)으로부터 출력되는 노이즈가 효율적으로 필터링 될 수 있다. 그 결과, 이벤트 신호 프로세서(20)에 의해 처리되는 데이터의 양이 줄어듦으로, 전자 장치(100)의 성능이 향상되며 소비 전력을 감소시킬 수 있다. 이벤트 신호 칼리브레이터(130)의 구체적인 동작에 대해서는 보다 상세하게 후술될 것이다.
이벤트 신호 프로세서(20)는 이벤트 신호 칼리브레이터(130)로부터 출력되는 신호에 기반하여 사용자에게 제공될 이미지를 생성할 수 있다. 이벤트 신호 프로세서(20)는 이벤트 신호 칼리브레이터(130)로부터 출력되는 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 이벤트 신호 프로세서(20)는, 잘 알려진 바와 같이, 다이나믹 비전 센서(10)를 구성하는 서로 인접하는 픽셀들의 타임스탬프 값들의 시간적 상관 관계(temporal correlation)를 이용하여 노이즈 픽셀(noise pixel), 핫픽셀(hot pixel), 또는 데드 픽셀(dead pixel)의 타임스탬프 값을 보정할 수 있다.
도 2a는 도 1의 제 2 영역(114)으로부터 출력되는 이벤트들이 시간의 흐름에 따라 누적되는 것을 개략적으로 도시하는 그래프이다.
전술된 바와 같이, 제 2 영역(도 1, 114)은 외부로부터 입사되는 빛이 차단되도록 구성된다. 그러나, 제 1 영역(도 1, 112)으로 입사되는 빛에 의한 간섭, 전자 장치의 동작에 따라 발생하는 열전자, 노이즈 등에 의하여, 제 2 영역(114)도 신호(즉, 이벤트)를 출력할 수 있다. 예시적으로, 0부터 t0까지 n0개의 이벤트들이 출력되는 것으로 도시되었다. 예시적으로, 201에 의해 지시되는 그래프와 같이, 시간의 흐름에 따라 제 1 영역(114)으로부터 출력되는 이벤트들의 개수는 대체로 선형적으로 증가할 수 있다.
도 2b는 도 1의 제 1영역(112)에 의해 감지되는 이벤트들이 시간의 흐름에 따라 누적되는 것을 개략적으로 도시하는 그래프이다.
예시적으로, 0부터 t1 사이에서 n1 개의 이벤트들이 감지되었으며, t1부터 t2 사이에서 n2-n1 개의 이벤트들이 추가로 감지된 것으로 도시 되었다. 202에 의해 지시되는 그래프는 객체의 움직임에 따라 발생하는 실제 이벤트가 아닌 노이즈에 따른 이벤트들일 수 있다. 반면, 203에 의해 지시되는 그래프는 빛의 세기 변화에 따라 감지된 실제 이벤트들일 수 있다. 즉, 0부터 t1 까지는 객체의 움직임이 감지되지 않는 구간이며, t1부터 t2까지는 객체의 움직임이 감지되는 구간일 수 있다.
한편, 도 1에서, 본 발명은 제 2 영역(114)으로부터 출력된 신호에 기반하여 제 1 영역(112)으로부터 출력된, 노이즈라고 판별된 신호를 차단하는 것에 관한 것임이 간략히 설명되었다. 이는 제 1 영역과 제 2 영역은 서로 동일한 특성을 갖는 다는 것을 전제로 한다. 즉, 제 1 영역(112)의 픽셀로부터 단위 시간당 출력되는 노이즈의 개수와 제 2 영역(114)의 픽셀로부터 단위 시간당 출력되는 노이즈의 개수는 동일하다고 가정된다. 나아가, 도 2a의 201에 의해 지시되는 그래프의 프로파일과 도 2b의 202에 의해 지시되는 그래프의 프로파일은 대체로 동일하다고 가정된다.
도 3은 본 개시의 예시적인 실시 예에 따라 이벤트 신호들을 칼리브레이션 하는 것을 개념적으로 도시한다. 설명의 이해를 돕기 위해 도 1을 함께 참조한다.
DVS 픽셀 어레이(310)는 제 1 영역(312)과 제 2 영역(314)을 포함한다. DVS 픽셀 어레이(310)는 도 1의 DVS 픽셀 어레이(110)에 대응한다. 제 1 영역(312)은 각각이 복수의 픽셀들을 포함하는 복수의 액티브 영역들로 구분될 수 있다. 예를 들어, 제 1 영역(312)은 제 1 액티브 영역(AR1) 내지 제 9 액티브 영역(AR9)들로 구분될 수 있다. 유사하게, 제 2 영역(214)도 제 1 옵티컬 블랙 영역(OB1) 내지 제 3 옵티컬 블랙 영역(OB3)으로 구분될 수 있다.
제 1 액티브 영역(AR1)은 9개의 픽셀들을 포함할 수 있다. 예시적으로, 제 1 액티브 영역(AR1)은 1행 1열에 배치되는 픽셀(PX[1,1]), 및 주변의 8개의 픽셀들을 포함한다. 유사하게, 제 3 옵티컬 블랙 영역(OB3)은 9행 12열에 배치되는 픽셀(PX[9,12]), 및 주변의 8개의 픽셀들을 포함한다. 그러나, 각 액티브 영역이 포함하는 픽셀들의 개수는 이와 다를 수 있다. 나아가, 제 2 영역(314)은 제 1 영역(312)의 오른쪽에 접하는 것으로 도시되었으나, DVS 픽셀 어레이(310)의 다양한 위치에 배치될 수 있다.
이벤트 감지 회로(120)는 제 1 영역(312)을 구성하는 각 픽셀에 의해 감지된 이벤트에 기반하여 이벤트 신호를 생성한다. 이벤트 감지 회로는 발생한 이벤트의 속성과 발생한 시간에 관한 정보를 포함한다.
이벤트 신호 칼리브레이터(130)는 단위 시간 동안 각 액티브 영역을 구성하는 픽셀들로부터 출력되는 이벤트들의 개수를 카운팅 한다. 실시 예에 있어서, 이벤트 신호 칼리브레이터(130)는 제 1 액티브 영역(AR1)의 9개의 픽셀들로부터 출력되는 이벤트들을 카운팅하여 신호(AR ACC[1])를 생성한다. 이러한 카운팅은 나머지 액티브 영역들(AR2~AR9)에 대해서도 동일하게 수행된다.
한편, 이벤트 신호 칼리브레이터(130)는 단위 시간 동안 각 옵티컬 블랙 영역을 구성하는 픽셀로부터 출력되는 이벤트들의 개수를 카운팅 한다. 실시 예에 있어서, 이벤트 신호 칼리브레이터(130)는 제 1 옵티컬 블랙 영역(OB1)의 9개의 픽셀들로부터 출력되는 이벤트들을 카운팅하여 신호(OB ACC[1])를 생성한다. 이러한 카운팅은 나머지 옵티컬 블랙 영역들(OB2, OB3)에 대해서도 동일하게 실행될 수 있다. 또는, 이러한 카운팅은 나머지 옵티컬 블랙 영역들(OB2, OB3)에 대해서는 실행되지 않을 수 있다.
한편, 빛의 세기 변화와 관계 없이, 옵티컬 블랙 영역들(OB1~OB3)로부터 신호들(OB ACC[1]~OB ACC[3])이 출력되고, 제 1 영역(312)과 제 2 영역(314)의 픽셀들을 실질적으로 동일한 구조를 가지므로, 신호들(OB ACC[1]~OB ACC[3])에 상응하는 노이즈들이 신호들(AR ACC[1]~AR ACC[9])에도 이미 반영되어 있다고 간주될 수 있다. 다시 말해, 각 옵티컬 블랙 영역으로부터 출력되는 이벤트들의 개수는 노이즈에 대응하고, 각 액티브 영역으로부터 출력되는 이벤트들의 개수는 노이즈와 실제 이벤트들을 포함한다.
본 개시의 예시적인 실시 예에 의하면, 이벤트 신호 칼리브레이터(130)는 신호들(OB ACC[1]~OB ACC[3])로부터 기준 감소 값을 생성할 수 있다. 기준 감소 값은 각 액티브 영역을 구성하는 픽셀들로부터 출력되는 신호들 중 노이즈에 기인하는 신호들의 개수에 대응할 수 있다. 실시 예에 있어서, 기준 감소 값은 신호들(OB ACC[1]~OB ACC[3])의 평균 값일 수 있다. 또는, 기준 감소 값은 신호들(OB ACC[1]~OB ACC[3]) 중 최대 값 또는 최소 값일 수 있다.
이벤트 신호 칼리브레이터(130)는 신호들(AR ACC[1]~AR ACC[9]) 각각에서 감소 값을 뺄 수 있다. 이벤트 신호 칼리브레이터(130)는 뺀 결과 값과 문턱 값을 비교할 수 있다. 만일 뺀 결과 값이 문턱 값보다 크다면, 해당 액티브 영역으로부터 출력되는 이벤트들은 대부분 실제로 발생한 이벤트들인 것으로 간주될 수 있다. 반면, 뺀 결과 값이 문턱 값보다 작다면, 해당 액티브 영역으로부터 출력되는 이벤트들은 대부분 노이즈에 기인하는 것으로 간주될 수 있다. 이 경우, 이벤트 신호 칼리브레이터(130)는 해당 액티브 영역으로부터 출력되는 이벤트들을 차단할 수 있다. 즉, 차단된 이벤트들은 이벤트 신호 프로세서(도 1, 20)로 전달되지 않을 것이므로, 이벤트 신호 프로세서의 처리 속도가 향상된다.
도 4는 개시의 예시적인 실시 예에 따라 이벤트 신호들을 칼리브레이션 하는 과정을 개념적으로 도시하는 그래프이다.
설명의 편의를 위해, 0부터 t1 사이의 구간에서는 객체의 움직임이 없으며, t1부터 t2 사이의 구간에서는 객체의 상대적으로 큰 (혹은 많은) 움직임이 있었으며, t2부터 t3 사이의 구간에서는 객체의 상대적으로 작은 (혹은 적은) 움직임이 있었다고 가정하자.
우선, 0부터 t1 사이의 구간에서, 객체의 움직임이 감지되지 않는다 할지라도, 액티브 영역(예컨대, 도 3의 AR1~AR9 중 어느 하나)으로부터 노이즈에 의한 n개의 이벤트들이 출력될 수 있다. 출력되는 이벤트들이 시간의 흐름에 따라 누적되는 것은 그래프 401에 의해 지시된다.
t1부터 t2 사이의 구간에서, 객체의 상대적으로 큰 움직임이 감지되었기 때문에, 이벤트의 개수는 급격하게 증가하며, n2-n1 개의 이벤트들이 각 액티브 영역으로부터 출력될 수 있다. t1부터 t2 사이의 구간에서 액티브 영역으로부터 출력되는 이벤트들은 객체의 움직임에 의한 실제 이벤트와 노이즈에 의해 발생하는 이벤트를 포함한다. 출력되는 이벤트들이 시간의 흐름에 따라 누적되는 것은 그래프 402에 의해 지시된다.
t2부터 t3 사이의 구간에서, 객체의 상대적으로 작은 움직임이 감지되었기 때문에, 이벤트의 개수는 완만하게 증가하며, n3-n2 개의 이벤트들이 액티브 영역으로부터 출력될 수 있다. t2부터 t3 사이의 구간에서 액티브 영역으로부터 출력되는 이벤트들은 객체의 움직임에 의한 실제 이벤트와 노이즈에 의해 발생하는 이벤트를 포함한다. 출력되는 이벤트들이 시간의 흐름에 따라 누적되는 것은 그래프 403에 의해 지시된다.
한편, 객체의 움직임에 실제 이벤트가 발생하는 구간과 발생하지 않는 구간에서도 노이즈는 지속적으로 발생하기 때문에, 노이즈에 의한 이벤트들은 시간의 흐름에 따라 선형적으로 누적될 수 있으며, 이는 그래프 404에 의해 지시된다. 즉, 401에 의해 지시되는 그래프의 기울기와 404에 의해 지시되는 그래프의 기울기는 서로 동일할 수 있다.
본 개시의 이벤트 신호 칼리브레이터는 각 액티브 영역에서 발생한 실제 이벤트들의 개수(예컨대, n3)와 노이즈 이벤트들의 개수(예컨대, n4)의 차이를 계산하고, 계산된 차이와 문턱 값(TH)를 비교한다. 예를 들어, 계산된 차이가 문턱 값(TH)보다 큰 경우, 해당 액티브 영역에서 출력된 이벤트 신호들은 객체의 움직임에 의한 실제 이벤트들인 것으로 간주된다. 반면, 계산된 차이가 문턱 값(TH)보다 작은 경우, 해당 액티브 영역에서 출력된 이벤트 신호들은 객체의 움직임과 상관 없는 노이즈에 의한 이벤트들인 것으로 간주된다.
실시 예에 있어서, 문턱 값(TH)은 미리 지정된 값일 수 있다. 다른 실시 예에 있어서, 문턱 값(TH)은 실시간으로 측정되는 값일 수 있다. 이 경우, 문턱 값(TH)은 단위 시간(예컨대, 0~t3) 동안 발생한 노이즈 이벤트들의 개수(예컨대, n4)일 수 있다. 또 다른 실시 예에 있어서, 문턱 값(TH)은 사용자에 의해 변경되는 값일 수 있다. 예를 들어, 본 개시가 채용되는 전자 장치(예컨대, 도 1의 전자 장치)를 저전력 모드에서 동작 하는 경우, 문턱 값(TH)의 크기는 커질 수 있다. 이 경우, 실제로 처리되는 이벤트들의 개수는 감소하기 때문에, 전자 장치의 처리 속도는 더욱 증가할 수 있으며 소비 전력은 더욱 감소할 것이다.
도 5는 도 1에 도시된 다이나믹 비전 센서(10)의 예시적인 구성을 도시한다.
다이나믹 비전 센서(500)는 DVS 픽셀 어레이(510), 이벤트 감지 회로(520), 및 이벤트 신호 칼리브레이터(530)를 포함한다. 이벤트 감지 회로(520)는 컬럼 AER (address event representation) 회로 (522), 로우 AER 회로(524), 그리고 패킷타이저 및 입출력 회로(526)를 포함할 수 있다.
DVS 픽셀 어레이(510)는 복수의 행들과 복수의 열들을 따라 매트릭스 형태로 배열된 복수의 픽셀들을 포함할 수 있다. 전술된 바와 같이, DVS 픽셀 어레이(510)는 복수의 액티브 영역들을 포함하는 제 1 영역(512)과 복수의 옵티컬 블랙 영역들을 포함하는 제 2 영역(514)을 포함한다. DVS 픽셀 어레이(510)를 구성하는 복수의 픽셀들 중 이벤트를 감지한 픽셀은, 빛의 세기가 증가하거나 감소하는 이벤트가 발생하였음을 알리는 신호(column request; CR)를 컬럼 AER 회로(522)로 전송할 수 있다. 여기서 컬럼 리퀘스트(CR)는 제 1 영역(512)에서 감지된 실제 이벤트와 관련될 수 있고, 제 1 영역(512) 또는 제 2 영역(514)에서 발생한 노이즈와 관련될 수도 있다.
컬럼 AER 회로(522)는 이벤트를 출력한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 응답하여 응답 신호(ACK)를 픽셀로 전송할 수 있다. 응답 신호(ACK)를 수신한 픽셀은, 발생한 이벤트의 극성 정보(PIarization information; PI)를 로우 AER 회로(524)로 전송할 수 있다. 극성 정보(PI)는 빛의 세기가 증가하거나 또는 감소하는 이벤트를 식별하는 정보를 포함할 수 있다. 컬럼 AER 회로(522)는 이벤트를 감지한 픽셀로부터 수신된 컬럼 리퀘스트(CR)에 기초하여 이벤트를 감지한 픽셀의 컬럼 어드레스(C_ADDR)를 생성할 수 있다.
로우 AER 회로(524)는 이벤트를 감지한 픽셀로부터 극성 정보(PI)를 수신할 수 있다. 로우 AER 회로(524)는 극성 정보(PI)에 기초하여, 이벤트가 발생한 시간에 관한 정보를 포함하는 타임스탬프(TS)를 생성할 수 있다. 예시적으로, 타임스탬프는 로우 AER 회로(524)에 구비되는 타임 스탬퍼(time stamper)에 의해 생성될 수 있다. 예를 들어, 타임 스탬퍼는 수 내지 수십 마이크로 초 단위로 생성되는 타임틱(timetick)을 이용하여 구현될 수 있다. 로우 AER 회로(524)는 극성 정보(PI)에 응답하여 이벤트가 발생한 픽셀로 리셋 신호(RST)를 전송할 수 있다. 리셋 신호(RST)는 이벤트가 발생한 픽셀을 리셋시킬 수 있다. 나아가, 로우 AER 회로(524)는 이벤트가 발생한 픽셀의 로우 어드레스(R_ADDR)를 생성할 수 있다.
로우 AER 회로(524)는 리셋 신호(RST)가 생성되는 주기를 제어할 수 있다. 예를 들어, 로우 AER 회로(524)는 너무 많은 이벤트들이 발생하여 워크로드가 증가하는 것을 방지하기 위해 특정한 주기 동안 이벤트가 발생하지 않도록 리셋 신호(RST)가 생성되는 주기를 제어할 수 있다. 즉, 로우 AER 회로(524)는 이벤트 생성의 불응기(refractory period)를 제어할 수 있다.
입출력 회로(526)는 타임스탬프(TS), 컬럼 어드레스(C_ADDR), 로우 어드레스(R_ADDR), 및 극성 정보(PI)에 기초하여 이벤트 신호(ES) 또는 노이즈 신호(NS)를 생성할 수 있다. 입출력 회로(526)는 이벤트 신호(ES) 또는 노이즈 신호(NS)의 앞단에 신호의 전송의 시작을 알리는 헤더, 뒷단에 신호의 전송의 끝을 알리는 테일을 부가할 수 있다.
도 6은 도 5의 픽셀 DVS 픽셀 어레이를 구성하는 DVS 픽셀의 예시적인 구성을 도시하는 회로도이다.
DVS 픽셀(600)은 빛의 세기 변화를 감지하고, 감지된 세기 변화에 대응하는 신호를 출력하도록 구성된다. DVS 픽셀(600)은 광 수신단(photoreceptor)(610), 및 DVS 픽셀 백-엔드 회로(620)를 포함할 수 있다. 옵티컬 블랙 영역(도 5, 514)을 구성하는 DVS 픽셀은 액티브 영역(도 도 5, 512)을 구성하는 DVS 픽셀과 동일한 구조를 가질 수 있다. 그러나, 옵티컬 블랙 영역의 DVS 픽셀은 빛을 수신하지 않도록 더 구성될 수 있다.
광 수신단(610)은 광전 변환 소자(PSD), 로그 증폭기(Logarithmic Amplifier; LA) 및 피드백 트랜지스터(FB)를 포함할 수 있다. 광전 변환 소자(PSD)는 입사된 빛에 응답하여 광전하(photoelectron)들을 생성할 수 있다. 즉, 광전 변환 소자(PSD)는 광 신호를 신호로 변환시켜 광전류(photocurrent; IP)를 생성할 수 있다. 예를 들어, 광전 변환 소자(PSD)는 포토다이오드(photodiode), 포토 트랜지스터(photo transistor), 핀드 포토다이오드(Pinned photodiode), 또는 이와 유사한 소자 등을 포함할 수 있다. 로그 증폭기(LA)는 CIS 픽셀의 적어도 하나의 광전 변환 소자(PSD)에 의해 생성되는 포토 전류(IPD)에 대응하는 전압을 증폭한다. 로그 스케일의 로그 전압(VLOG)을 출력할 수 있다. 피드백 트랜지스터(FB)는 포토리셉터(610)와 DVS 픽셀 백-엔드 회로(620)를 서로 고립시킬 수 있다.
DVS 픽셀 백-엔드 회로(620)는 로그 전압(VLOG)에 대한 다양한 처리를 수행할 수 있다. 실시 예에 있어서, DVS 픽셀 백-엔드 회로(620)는 로그 전압(VLOG)를 증폭하고, 증폭된 전압과 기준 전압을 비교하여 광전 변환 소자(PSD)로 입사된 빛의 세기 변화를 판별하고, 판별된 값에 대응하는 이벤트 신호(즉, 온-이벤트 또는 오프-이벤트)를 출력할 수 있다. DVS 픽셀 백-엔드 회로(620)가 온-이벤트 또는 오프-이벤트를 출력한 후, DVS 픽셀 백-엔드 회로(620)는 리셋 신호(RST)에 의해 리셋될 수 있다.
도 7은 도 6의 DVS 픽셀 백-엔드 회로의 예시적인 구성을 도시한다.
DVS 픽셀 백-엔드 회로(700)는 미분기(differentiator)(710), 비교기(720), 및 읽기 회로(730)를 포함할 수 있다.
미분기(710)는 전압(VLOG)를 증폭하여 전압(VDIFF)을 생성하도록 구성될 수 있다. 예를 들어, 미분기(710)는 커패시터들(C1, C2), 차동 증폭기(DA), 및 리셋 신호(RST)에 의해 동작하는 스위치(SW)를 포함할 수 있다. 예를 들어, 커패시터들(C1, C2)은 적어도 하나의 광전 변환 소자(PSD)에 의해 생성된 전기 에너지를 저장할 수 있다. 예를 들어, 커패시터들(C1, C2)의 정전 용량들은 하나의 픽셀에서 연속하여 발생할 수 있는 두 이벤트들 사이의 최단 시간(즉, 불응기)를 고려하여 적절하게 선택될 수 있다. 스위치(SW)가 리셋 신호(RST)에 의해 스위칭-온 되면, 픽셀이 초기화될 수 있다. 리셋 신호(RST)는 로우 AER 회로(예컨대, 도5, 524)로부터 수신될 수 있다.
비교기(720)는 차동 증폭기(DA)의 출력 전압(VDIFF)과 기준 전압(Vref)의 레벨을 비교하여, 픽셀에서 감지된 이벤트가 온-이벤트인지 또는 오프-이벤트인지 여부를 판별할 수 있다. 빛의 세기가 증가하는 이벤트가 감지되면, 비교기(720)는 온-이벤트임을 나타내는 신호(ON)를 출력할 수 있으며, 빛의 세기가 감소하는 이벤트가 감지되면, 비교기(720)는 오프-이벤트임을 나타내는 신호(OFF)를 출력할 수 있다.
읽기 회로(730)는 픽셀에서 발생한 이벤트에 관한 정보를 전송할 수 있다. 읽기 회로(730)로부터 출력되는 이벤트에 관한 정보는 발생한 이벤트가 온-이벤트 인지 또는 오프-이벤트인지 여부에 관한 정보(예컨대, 비트)를 포함할 수 있다. 읽기 회로(730)로부터 출력되는 이벤트에 관한 정보는 극성 정보(도 5, PI)로 일컬어질 수 있다. 극성 정보는 로우 AER 회로로 전송될 수 있다.
한편, 본 실시 예에서 도시된 픽셀의 구성은 예시적인 것이며, 변화하는 빛의 세기를 감지하여 이벤트의 유형을 판별하도록 구성되는 다양한 구성의 DVS 픽셀에도 본 발명이 적용될 것이다.
도 8은 본 개시의 다이나믹 비전 센서로부터 출력되는 신호의 예시적인 포맷을 도시한다.
출력 회로(800)는 도 5의 출력 회로(526)에 대응할 수 있다. 출력 회로(800)는 제 1 영역(도 5, 512)으로부터 출력되는 신호, 컬럼 AER(도 5, 522), 및 로우 AER(도 5, 524)에 기반하여 이벤트 신호(ES)를 생성할 수 있다. 회로(800)는 제 2 영역(도 5, 514)으로부터 출력되는 신호, 컬럼 AER, 및 로우 AER에 기반하여 노이즈 신호(NS)를 생성할 수 있다. 예를 들어, 이벤트 신호(ES)와 노이즈 신호(NS)는 서로 동일한 포맷을 가질 수 있다.
계속하여 도 8을 참조하면, 출력 회로(800)로부터 출력되는 신호는 타임스탬프(TS), 컬럼 어드레스(A_ADDR), 로우 어드레스(R_ADDR), 및 극성 정보(PI)를 포함한다.
타임스탬프(TS)는 이벤트가 발생한 시간에 관한 정보를 포함할 수 있다. 예를 들어, 타임스탬프는 32비트로 구성될 수 있으나, 이에 한정되지 않는다.
컬럼 어드레스(C_ADDR)와 로우 어드레스(R_ADDR)는 각각 8비트로 구성될 수 있다. 그러므로, 최대 28개의 행들과 28개의 열들로 배치되는 복수의 픽셀들을 포함하는 DVS를 지원할 수 있다. 그러나, 이는 예시적인 것이며, 픽셀들의 개수에 따라 컬럼 어드레스(C_ADDR)와 로우 어드레스(R_ADDR)비트 수들은 다양해질 수 있다.
극성 정보(PI)는 온-이벤트와 오프-이벤트에 관한 정보를 포함할 수 있다. 실시 예에 있어서, 극성 정보(PI)는 온-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트와, 오프-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트로 구성될 수 있다. 예를 들어, 비트 '1'은 해당 이벤트가 발생하였음을 나타내며, 비트 '0'은 이벤트가 발생하지 않았음을 나타낼 수 있다. 그러므로, 온-이벤트를 나타내는 비트와 오프-이벤트를 나타내는 모두 '0'일 수는 있으나, 모두 '1'일 수는 없다.
도 9는 본 개시의 실시 예에 따른 다이나믹 비전 센서의 동작 방법을 도시하는 순서도이다.
설명의 용이함을 위해, 본 실시 예에서의 노이즈 신호(NS)들은 하나의 옵티컬 블랙 영역으로부터 출력된 이벤트들에 기반하는 신호들이며, 이벤트 신호(ES)들은 하나의 액티브 영역으로부터 출력된 이벤트들에 기반하는 신호들을 일컫는 것으로 가정한다. 이하, 도 5를 함께 참조하여 설명한다.
단계 910에서, 이벤트 신호 칼리브레이터(530)는 단위 시간당 이벤트 감지 회로(520)로부터 출력되는 노이즈 신호(NS)들의 개수를 카운팅 할 수 있다. 이벤트 신호(ES)와 노이즈 신호(NS)는 서로 동일한 포맷을 갖지만, 이벤트 신호 칼리브레이터(530)는 로우 어드레스(R_ADDR)와 컬럼 어드레스(C_ADDR)를 참조하여 이벤트 신호(ES)와 노이즈 신호(NS)를 서로 구별할 수 있다.
단계 920에서, 이벤트 신호 칼리브레이터(530)는 단위 시간당 이벤트 감지 회로(520)로부터 출력되는 이벤트 신호(ES)들의 개수를 카운팅 할 수 있다. 마찬가지로, 이벤트 신호 칼리브레이터(530)는 로우 어드레스(R_ADDR)와 컬럼 어드레스(C_ADDR)를 참조하여 이벤트 신호(ES)와 노이즈 신호(NS)를 서로 구별할 수 있다.
비록 본 실시 예에서, 노이즈 신호들을 카운팅하는 것이 이벤트 신호들을 카운팅하는 것보다 먼저 실행되는 것으로 설명되었지만, 이에 한정되지 않는다. 예컨대, 이벤트 신호들의 카운팅과 노이즈 신호들의 카운팅은 동시에 병렬적으로 수행될 수 있으며, 이벤트 신호들의 카운팅이 노이즈 신호들의 카운팅보다 먼저 수행될 수 도 있다.
단계 930에서, 노이즈 신호들(NS)의 개수와 이벤트 신호들(ES)의 개수에 기반하여, 실제로 발생한 이벤트들의 개수가 계산될 수 있다. 전술된 바와 같이, 이벤트 신호들(ES)에는 노이즈에 기인하는 신호들도 포함되어 있으며, 옵티컬 블랙 영역에서 발생한 이벤트들에 기반하는 노이즈 신호(NS)들의 개수는 액티브 영역에서 발생한 이벤트들에 기반하는 이벤트 신호들(ES)에도 이미 반영되어 있다고 간주될 수 있기 때문이다.
단계 940에서, 실제 이벤트들의 개수와 문턱 값(TH)이 비교될 수 있다. 실제 이벤트들의 개수는 이벤트 신호(ES)의 개수에서 노이즈 신호(NS)들의 개수를 뺀 값일 수 있다. 실제 이벤트들의 개수가 문턱 값(TH)보다 큰 경우, 단계 950이 실행되며, 실제 이벤트들의 개수가 문턱 값(TH)보다 작은 경우, 단계 960이 실행된다.
단계 950에서, 이벤트 신호 칼리브레이터(530)는 이벤트 감지 회로(520)로부터 출력된 이벤트 신호(ES)들을 보정된 이벤트 신호(CES)로써 출력할 수 있다. 보정된 이벤트 신호(CES)들은 이벤트 신호 칼리브레이터(530)에 의해 처리되기 전의 이벤트 신호(ES)들과 동일할 것이다.
단계 960에서, 이벤트 신호 칼리브레이터(530)는 이벤트 감지 회로(520)로부터 출력된 이벤트 신호(ES)들을 차단할 수 있다. 즉, 보정된 이벤트 신호(CES)들은 이벤트 신호 칼리브레이터(530)에 의해 처리되기 전의 이벤트 신호(ES)들과 다를 수 있다. 좀 더 구체적으로, 보정된 이벤트 신호들(CES)은 이벤트가 발생하지 않은 것으로 간주되기 때문에, 극성 정보(도 8, PI)를 구성하는 비트들은 모두 '0'일 수 있다.
도 10은 도 5에 도시된 이벤트 신호 칼리브레이터(530)의 예시적인 구성을 도시한다.
설명의 용이함을 위해, 본 실시 예에서의 노이즈 신호(NS[1]~NS[m])들은 하나의 옵티컬 블랙 영역으로부터 출력된 이벤트들에 기반하는 신호들이며, 이벤트 신호(ES[1]~ES[n])들은 하나의 액티브 영역으로부터 출력된 이벤트들에 기반하는 신호들인 것으로 가정한다.
이벤트 신호 칼리브레이터(1000)는 노이즈 신호 축적기(1010), 이벤트 신호 축적기(1020), 노이즈 값 판별기(1030), 칼리브레이터(1040), 비교기(1050), 및 선택기(1060)를 포함할 수 있다.
노이즈 신호 축적기(1010)는 이벤트 감지 회로(도 5, 520)로부터 출력된 노이즈 신호들 중, 노이즈 신호들(NS[1]~NS[m])을 축적하고, 축적된 노이즈 신호들(NS[1]~NS[m])의 개수를 카운팅 할 수 있다. 이를 위해, 노이즈 신호 축적기(1010)는 버퍼 또는 메모리를 포함하거나 버퍼 또는 메모리로 구현될 수 있다. 노이즈 신호 축적기(1010)는 카운팅 결과를 신호(OB ACC)로서 출력할 수 있다.
이벤트 신호 축적기(1020)는 이벤트 감지 회로로부터 출력된 이벤트 신호들 중 이벤트 신호들(ES[1]~ES[n])을 축적하고, 축적된 이벤트 신호들(ES[1]~ES[n])의 개수를 카운팅 할 수 있다. 마찬가지로, 이벤트 신호 축적기(1020)는 버퍼 또는 메모리를 포함하거나 버퍼 또는 메모리로 구현될 수 있다. 이벤트 신호 축적기(1020)는 카운팅 결과를 신호(AR ACC)로서 출력할 수 있다.
실시 예에 있어서, 이벤트 신호 칼리브레이터(1000)는 노이즈 신호 축적기(1010)와 이벤트 신호 축적기(1020)가 신호들을 처리하기에 앞서 신호들을 분류하는 구성 요소를 더 포함할 수 있다. 예컨대, 이러한 구성 요소는 노이즈 신호들과 이벤트 신호들의 각각에 포함된 컬럼 어드레스와 로우 어드레스를 참조하여, 각 이벤트가 제 1 영역(도 5, 512) 혹은 제 2 영역(도 5 514)으로부터 유래된 것인지 여부를 판별할 수 있다. 판별 결과에 따라, 노이즈 신호들(NS[1]~NS[m])은 노이즈 신호 축적기(1010)로 입력될 것이며, 이벤트 신호들(ES[1]~ES[n])은 이벤트 신호 축적기(1020)로 입력될 것이다.
노이즈 값 판별기(1030)는 신호(OB ACC)와 기준 감소 값 중 어느 하나를 선택할 수 있다. 실시 예에 있어서, 노이즈 값 판별기(1030)는 제 1 모드에서 기준 감소 값을 출력할 수 있다. 예를 들어, 기준 감소 값은 미리 정해진 값일 수 있다. 실시 예에 있어서, 기준 감소 값을 저장하기 위한 레지스터, 메모리 등이 요구될 수 있다. 실시 예에 있어서, 노이즈 값 판별기(1030)는 제 2 모드에서 신호(OB ACC)를 출력할 수 있다. 실시 예에 있어서, 본 개시의 이벤트 신호 칼리브레이터(1000)가 채용되는 전자 장치의 동작 모드를 변경하기 위해, 모드 제어 신호(MOD)가 이용될 수 있다.
노이즈 값 판별기(1030)는 칼리브레이터(1040)의 칼리브레이션 주기를 결정할 수 있다. 실시 예에 있어서, 칼리브레이터(1040)의 칼리브레이션 주기는 타임스탬프의 생성 주기와 같거나 다를 수 있다. 칼리브레이터(1040)의 칼리브레이션 주기를 결정하는 구체적인 동작은 상세하게 후술될 것이다.
칼리브레이터(1040)는 신호들(AR ACC, OB ACC)에 기반하여 각 액티브 영역(도 3, AR1~AR9)에서 발생한 이벤트들 중 노이즈를 제외한 실제 이벤트를 계산할 수 있다. 실시 예에 있어서, 칼리브레이터(1040)는 신호들(AR ACC, OB ACC)에 대한 감산 연산을 수행하기 위한 감산기를 포함할 수 있다. 칼리브레이터(1040)는 감산 연산의 결과로써 신호(AR ACC')를 출력할 수 있다.
비교기(1050)는 신호(AR ACC')와 문턱 값(TH)을 비교할 수 있다. 비교기(1050)는 비교 결과로써, 선택기(1060)를 제어하기 위한 신호를 출력할 수 있다. 만일 신호(AR ACC')가 문턱 값(TH)보다 작다면, 이벤트 신호들(ES[1]~ES[n])은 (설사 실제로 발생한 이벤트들이라 할지라도) 노이즈로 간주될 수 있다. 이 경우, 비교기(1050)는 선택기(1060)가 '0'을 선택하게 하기 위한 신호를 출력할 수 있다. 반면, 신호(AR ACC') 문턱 값(TH)보다 크다면, 신호(AR ACC')는 선택기(1060)가 이벤트 신호들(ES[1]~ES[n])을 선택하게 하기 위한 신호를 출력할 수 있다. 다시 말해, 비교기(1050)의 비교 결과는 이벤트 신호들(ES[1]~ES[n]) 또는 '0'을 지시할 수 있다.
선택기(1060)는 비교기(1050)로부터 출력된 비교 결과에 기반하여 이벤트 신호들(ES[1]~ES[n]) 또는 '0'을 선택할 수 있으며, 선택 결과로써 보정된 이벤트 신호(CES)를 출력할 수 있다. 보정된 이벤트 신호(CES)가 '0'인 경우, 해당 이벤트 신호들(ES[1]~ES[n])의 기반이 되는 이벤트들을 출력한 액티브 영역에는 객체의 움직임이 없는 것으로 사용자에게 정보가 제공될 것이다.
한편, 비록 도면에는 도시되지 않았지만, 노이즈 값 판별기(1000)는 칼리브레이터(1040)에 의한 감산 연산을 용이하게 수행하기 위한 곱셈기를 더 포함할 수 있다. 예를 들어, 신호(OB ACC)가 0.25라고 가정하자. 이 경우, 칼리브레이터(1040)는 소수점을 이용한 감산 연산을 수행해야 하므로, 연산이 복잡해질 수 있다. 이 경우, 연산을 용이하게 하기 위해, 신호(OB ACC)를 정수화하기 위한 곱셈 연산을 위해 곱셈기들이 추가로 구비될 수 있다. 예를 들어, 곱셈기들은 신호들(OB ACC, AR ACC)이 칼리브레이터(1040)로 전송되는 경로들에 각각 구비될 수 있다.
도 11은 도 10에 도시된 노이즈 값 판별기(1030)의 예시적인 구성을 도시한다.
노이즈 값 판별기(1100)는 제 1 멀티플렉서(1110), 카운터(1120), 및 제 2 멀티플렉서(1130) 를 포함할 수 있다.
제 1 멀티플렉서(1110)는 모드 제어 신호(MOD)의 제어에 따라 신호(OB ACC)와 기준 감소 값 중 어느 하나를 출력할 수 있다. 기준 감소 값은 미리 정해진 고정된 값일 수 있으며, 신호(OB ACC)는 옵티컬 블랙 영역(도 3, OB1~OB3)으로부터의 출력 신호에 기반하는 실시간으로 변하는 값일 수 있다.
카운터(1120)는 칼리브레이터(1140)의 감산 주기를 결정할 수 있다. 예를 들어, 카운터(1120)는 감산 시간 간격(decrease time interval)에 의해 설정된 횟수만큼 타임스탬프(TS)들을 카운팅 할 수 있으며, 설정된 횟수만큼 타임스탬프(TS)들을 카운팅한 후, 카운팅 값을 '0'으로 리셋할 수 있다. 예를 들어, 감산 시간 간격이 3인 경우, 카운터(1120)는 타임스탬프(TS)들이 입력될 때 마다 0, 1, 2를 반복하여 카운팅 할 수 있다. 카운팅 값은 제 2 멀티플렉서(1130)로 입력될 수 있다.
제 2 멀티플렉서(1130)는 카운터(1120)로부터 수신된 카운팅 값에 따라 제 1 멀티플렉서(1110)의 출력 값 또는 '0'을 선택할 수 있다. 예를 들어, 제 2 멀티플렉서(1130)는 '0'을 출력할 수 있으며, 카운터(1120)로부터 수신된 카운팅 값이 '0'일 때 마다, 제 1 멀티플렉서(1110)의 출력 값을 선택할 수 있다.
제 2 멀티플렉서(1130)의 출력 값은 칼리브레이터(1140)의 감산 주기를 결정할 수 있다. 좀 더 상세하게 설명하면, 카운터(1120)의 카운팅 값이 '0'이 아닌 경우, 제 2 멀티플렉서(1130)에 의해 선택된 '0'이 칼리브레이터(1140)로 입력되므로, 칼리브레이터(1140)에 의한 감산 연산이 실질적으로 수행되지 않는다. 결국, 칼리브레이터(1140)의 입출력 값들(AR ACC, AR ACC')은 서로 동일할 것이다. 반면, 카운터(1120)의 카운팅 값이 '0'인 경우, 제 2 멀티플렉서(1130)에 의해 선택된 신호(OB ACC) 또는 기준 감산 값이 칼리브레이터(1140)로 입력되므로, 칼리브레이터(1140)에 의한 감산 연산이 수행된다. 결국, 칼리브레이터(1140)의 입출력 값들(AR ACC, AR ACC')은 서로 다를 것이다.
도 12는 도 5에 도시된 이벤트 신호 칼리브레이터(530)의 예시적인 구성을 도시한다.
본 실시 예는 도 10의 실시 예와 대체로 유사하다. 다만, 이벤트 신호 칼리브레이터(1200)는 분류기(1201), 복수의 노이즈 신호 축적기들(1210_1~1210-3), 그리고 각각이 이벤트 신호 축적기, 칼리브레이터, 비교기, 및 선택기를 포함하는 복수의 레이어들(1205_1~1205_9)을 포함한다는 점에 있어서 차이점이 있다.
분류기(1201)는 이벤트 감지 회로(도 5, 520), 좀 더 상세하게는 출력 회로(도 5, 526)로부터 이벤트 신호(ES)들 및 노이즈 신호(NS)들을 수신한다. 분류기(1201)는 이벤트 신호(ES)들 및 노이즈 신호(NS)들의 컬럼 어드레스 및 로우 어드레스를 참조하여, 각 이벤트가 액티브 영역들(도 3, AR1~AR9) 및 옵티컬 블랙 영역들(도3, OB1~OB3) 중 어디에 속하는지 분류할 수 있다. 분류된 노이즈 신호들은 대응하는 노이즈 신호 축적기로 전송될 수 있다. 예컨대, 제 1 옵티컬 블랙 영역(OB1)에서 발생한 것으로 분류된 이벤트들(NS[1]~NS[m])은 제 1 노이즈 신호 축적기(1210_1)로 전송될 수 있다. 유사하게, 분류된 이벤트 신호들은 대응하는 이벤트 신호 축적기로 전송될 수 있다. 예컨대, 제 1 액티브 영역(AR1)에서 발생한 것으로 분류된 이벤트들(ES[1]~ES[n])은 제 1 이벤트 신호 축적기(1220_1)로 전송될 수 있다.
노이즈 신호 축적기들(1210_1~1210_3)은 옵티컬 블랙 영역들(OB1~OB3)에서 발생한 이벤트들에 기반하는 노이즈 신호들을 처리하여 신호(OB ACC) 값을 생성할 수 있다. 신호(OB ACC)는 노이즈 신호 축적기들(1210_1~1210_3)의 출력의 평균값, 최대값, 최소값 등일 수 있다.
노이즈 값 판별기(1230)의 출력 값과 문턱 값(TH)은 레이어들(1205_1~1205_9)에 각각 입력될 수 있다. 그리고, 레이어들(1205_1~1205_9)에 의해 각각 처리된 출력 값들은 보정된 이벤트 신호들(CES[1]~CES[9])로써 출력될 수 있다.
도 13은 본 개시의 실시 예에 따른 전자 장치(1300)의 동작 방법을 도시하는 순서도이다.
단계 1351에서, 움직이는 객체에 의해 세기가 변하는 빛이 제 1 영역(1312)으로 입사될 수 있다. 그러나, 세기가 변하는 빛은 옵티컬 블랙 영역인 제 2 영역(1314)으로 입사되지 않는다.
비록 제 2 영역(1314)이 세기가 변하는 빛을 감지하지 못한다 하더라도, 제 2 영역(1314)은 노이즈에 기인하는 이벤트들을 감지할 수 있으며, 감지된 이벤트들은 이벤트 감지 회로(1320)로 전송될 수 있다(단계 1352). 이벤트 감지 회로(1320)는 제 2 영역(1314)으로부터 수신된 이벤트들에 기반하여 노이즈 신호(NS)들을 생성할 수 있다. 각 노이즈 신호는 발생한 이벤트의 속성, 이벤트가 발생한 시점에 관한 정보(즉, 타임 스탬프), 이벤트가 감지된 픽셀의 주소 등을 포함한다. 이벤트 감지 회로(1320)는 생성된 노이즈 신호(NS)들을 이벤트 신호 칼리브레이터(1330)로 전송한다.
한편, 제 1 영역(1312)에서 감지된 이벤트들도 이벤트 감지 회로(1320)로 전송될 수 있다(단계 1354). 이벤트 감지 회로(1320)는 제 1 영역(1312)으로부터 수신된 이벤트들에 기반하여 이벤트 신호(ES)들을 생성할 수 있다. 각 이벤트 신호는 극성 정보, 타임 스탬프, 이벤트가 감지된 픽셀의 주소 등을 포함한다. 이벤트 감지 회로(1320)는 생성된 이벤트 신호(ES)들을 이벤트 신호 칼리브레이터(1330)로 전송한다.
이벤트 신호 칼리브레이터(1330)는 노이즈 신호(NS)들에 기반하여 신호(OB ACC)를 생성한다(단계 1356). 신호(OB ACC)는 단위 시간 당 각 옵티컬 블랙 영역에서 발생한 이벤트들의 개수일 수 있다. 이벤트 신호 칼리브레이터(1330)는 이벤트 신호(ES)들에 기반하여 신호(AR ACC)를 생성한다(단계 1357). 신호(AR ACC)는 단위 시간당 각 액티브 영역에서 발생한 이벤트들의 개수일 수 있다.
이벤트 신호 칼리브레이터(1330)는 신호들(OB ACC, AR ACC)에 대한 감산 연산인 칼리브레이션을 수행한다(단계 1358). 이는, 각 옵티컬 블랙 영역에서 발생한 노이즈 이벤트들의 개수만큼 각 액티브 영역에서도 노이즈 이벤트가 발생한다는 전제에 따른 것이다.
이벤트 신호 칼리브레이터(1330)는 칼리브레이션의 결과에 따른 실제 이벤트들의 개수와 문턱 값(TH)을 비교한다(단계 1359). 만일 실제 이벤트들의 개수가 문턱 값(TH)보다 작다면(No), 실제 이벤트들의 개수는 상대적으로 작으므로 해당 액티브 영역에서 이벤트가 발생하지 않았다고 간주될 수 있다. 따라서, 이벤트 신호 칼리브레이터(1330)는 보정된 이벤트 신호로써 '0'을 출력한다. 반면, 실제 이벤트들의 개수가 문턱 값(TH)보다 크다면(Yes), 이벤트 신호 칼리브레이터(1330)는 이벤트 감지 회로(1320)로부터 수신된 이벤트 신호(ES)들을 보정된 이벤트 신호로써 그대로 출력할 수 있다.
이벤트 신호 프로세서(1340)는 이벤트 신호 칼리브레이터로부터 수신된 신호들에 기반하여 이벤트 신호 프로세싱을 수행할 것이다(단계 1363).
이상 개시된 실시 예들에 의하면, DVS 픽셀 어레이에서 감지되는 이벤트들 중 노이즈라고 판단되는 이벤트들을 효율적으로 제거할 수 있다. 그 결과, 이벤트 신호 프로세서가 처리해야 할 이벤트들의 양이 줄어듦으로, 이벤트 신호 프로세서의 처리 속도가 향상될 수 있다. 나아가, 본 개시가 채용된 전자 장치의 소비 전력을 감소시킬 수 있다.
도 14는 본 개시의 실시 예에 따른 다이나믹 비전 센서를 포함하는 전자 시스템의 예시적인 구성을 도시한다.
전자 시스템(2000)은 MIPI(Mobile Industry Processor Interface) 연합(Alliance)에 의해 제안된 인터페이스를 이용하거나 지원할 수 있는 데이터 처리 장치로 구현될 수 있다. 예를 들어, 전자 시스템(2000)은 디지털 카메라, 비디오 캠코더, 스마트폰, 태블릿, 또는 웨어러블 장치(예컨대, 스마트 워치, 스마트 밴드 등) 등과 같은 전자 장치들 중 하나로 구현될 수 있다.
전자 시스템(2000)은 애플리케이션 프로세서(2100), 디스플레이(2220), 이미지 센서(2230) 및 다이나믹 비전 센서(2237)를 포함할 수 있다. 애플리케이션 프로세서(2100)는 DigRF 마스터(2110), DSI (Display Serial Interface) 호스트(2120), CSI (Camera Serial Interface) 호스트(2130), 및 물리 계층(2140)을 포함할 수 있다.
DSI 호스트(2120)는 DSI에 따라 디스플레이(2220)의 DSI 장치(2225)와 통신할 수 있다. 예를 들어, DSI 호스트(2120)에는 광 시리얼라이저(SER)가 구현될 수 있다. 예를 들어, DSI 장치(2225)에는 광 디시리얼라이저(DES)가 구현될 수 있다.
CSI 호스트(2130)는 CSI에 따라 이미지 센서(2230)의 CSI 장치(2235)와 통신할 수 있다. 예를 들어, CSI 호스트(2130)에는 광 디시리얼라이저(DES)가 구현될 수 있다. 예를 들어, CSI 장치(2235)에는 광 시리얼라이저(SER)가 구현될 수 있다.
전자 시스템(2000)은 애플리케이션 프로세서(2100)와 통신하는 RF(Radio Frequency) 칩(2240)을 포함할 수 있다. RF 칩(2240)은 물리 계층(2242), DigRF 슬레이브(2244), 및 안테나(2246)를 포함할 수 있다. 예를 들어, RF 칩(2240)의 물리 계층(2242)과 애플리케이션 프로세서(2100)의 물리 계층(2140)은 MIPI 연합에 의해 제안된 DigRF 인터페이스에 의해 서로 데이터를 교환할 수 있다.
전자 시스템(2000)은 워킹 메모리(2250) 및 임베디드(Embedded)/카드 스토리지(2255)를 더 포함할 수 있다. 워킹 메모리(2250) 및 임베디드/카드 스토리지(2255)는 애플리케이션 프로세서(2100)로부터 제공받은 데이터를 저장할 수 있다. 나아가, 워킹 메모리(2250) 및 임베디드/카드 스토리지(2255)는 그것들에 저장된 데이터를 애플리케이션 프로세서(2100)로 제공할 수 있다. 예를 들어, 워킹 메모리(2250) 및/또는 임베디드/카드 스토리지(2255)는 영상 데이터를 저장할 수 있다.
워킹 메모리(2250)는 애플리케이션 프로세서(2100)에 의해 처리된 또는 처리될 데이터를 일시적으로 저장할 수 있다. 워킹 메모리(2250)는 SRAM (Static Random Access Memory), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM) 등과 같은 휘발성 메모리, 및/또는 플래시(Flash) 메모리, PRAM (Phase-change RAM), MRAM (Magneto-electric RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리 중 적어도 하나를 포함할 수 있다.
임베디드/카드 스토리지(2255)는 전원 공급에 관계없이 데이터를 저장할 수 있다. 임베디드/카드 스토리지(2255)는 하나 이상의 불휘발성 메모리들, 메모리 컨트롤러, 및 버퍼를 포함할 수 있다. 예를 들어, 임베디드/카드 스토리지(2255)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리들 중 적어도 하나를 포함할 수 있다. 예를 들어, 임베디드/카드 스토리지(2255)는 SD (Secure Digital) 카드, eMMC (Embedded Multimedia Card) 카드 등과 같은 장치들일 수 있다.
전자 시스템(2000)은 Wimax(2260), WLAN (Wireless Local Area Network; 2262), UWB (Ultra Wideband; 2264) 등과 같은 통신 모듈을 통해 외부 시스템과 통신할 수 있다. 예시적으로 Wimax(2260), WLAN(2262), 및 UWB(2264)가 언급되었으나, 전자 시스템(2000)은 다른 다양한 통신 모듈을 더 포함할 수 있다. 전자 시스템(2000)의 통신 모듈들은 본 발명의 실시 예에 따른 정보 신호 및 영상 신호를 송신/수신할 수 있다.
전자 시스템(2000)은 음성 정보를 처리하기 위한 스피커(2270) 및 마이크(2275)를 포함할 수 있다. 전자 시스템(2000)은 위치 정보를 처리하기 위한 GPS (Global Positioning System) 장치(2280)를 포함할 수 있다. 전자 시스템(2000)은 본 개시의 다이나믹 비전 센서(2290)을 포함할 수 있다. 다이나믹 비전 센서(2290)는 옵티컬 블랙 영역으로부터 출력된 이벤트들을을 이용하여 액티브 영역으로부터 출력된 이벤트에 기반하는 이벤트 신호들을 보정하도록 구성된다.
본 발명의 실시 예에 따른 회로들, 칩들, 및 장치들은 다양한 종류의 반도체 패키지를 이용하여 실장될 수 있다. 예를 들어, 본 발명의 실시 예에 따른 회로들, 칩들, 및 장치들은 PoP (Package on Package), BGAs (Ball Grid Arrays), CSPs (Chip Scale Packages), PLCC (Plastic Leaded Chip Carrier), PDIP (Plastic Dual In-line Package), Die in Waffle Pack, Die in Wafer Form, COB (Chip On Board), CERDIP (Ceramic Dual In-line Package), MQFP (Metric Quad Flat Pack), TQFP (Thin Quad Flat Pack), SOIC (Small Outline Integrated Circuit), SSOP (Shrink Small Outline Package), TSOP (Thin Small Outline Package), SIP (System In Package), MCP (Multi Chip Package), WFP (Wafer-level Fabricated Package), WSP (Wafer-Level Processed Stack Package) 등의 패키지를 이용하여 실장될 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
10: 다이나믹 비전 센서
20: 이미지 신호 프로세서
100: 전자 장치
110: DVS 픽셀 어레이
120: 이벤트 감지 회로
130: 이벤트 신호 칼리브레이터

Claims (10)

  1. 빛의 세기 변화에 따른 제 1 이벤트들을 감지하는 액티브 영역 및 상기 빛의 세기 변화와 관계 없이 발생하는 제 2 이벤트들을 출력하는 옵티컬 블랙 영역을 포함하는 다이나믹 비전 센서 픽셀 어레이;
    상기 제 1 이벤트들에 기반하여 이벤트 신호들을 생성하고, 상기 제 2 이벤트들에 기반하여 노이즈 신호들을 생성하도록 구성되는 이벤트 감지 회로; 그리고
    상기 이벤트 신호들과 상기 노이즈 신호들에 기반하여 상기 이벤트 신호들 중 실제 이벤트들을 판별하고, 상기 판별 결과와 문턱 값을 비교하여 상기 이벤트 신호들을 선택적으로 출력하도록 구성되는 이벤트 신호 칼리브레이터를 포함하는 다이나믹 비전 센서.
  2. 제 1 항에 있어서,
    각 이벤트 신호는, 각 제 1 이벤트의 속성에 관한 극성 정보, 상기 각 제 1 이벤트의 발생 시점에 관한 타임스탬프, 상기 액티브 영역을 구성하는 픽셀들 중 상기 각 제 1 이벤트가 감지된 픽셀의 주소를 포함하고,
    각 노이즈 신호는, 각 제 2 이벤트의 속성에 관한 극성 정보, 상기 각 제 2 이벤트의 발생 시점에 관한 타임스탬프, 상기 옵티컬 블랙 영역을 구성하는 픽셀들 중 상기 각 제 2 이벤트가 감지된 픽셀의 주소를 포함하는 다이나믹 비전 센서.
  3. 제 1 항에 있어서,
    상기 이벤트 신호 칼리브레이터는:
    상기 이벤트 신호들에 기반하여 상기 제 1 이벤트들의 발생 횟수에 관한 제 1 신호를 생성하는 이벤트 신호 축적기;
    상기 노이즈 신호들에 기반하여 상기 제 2 이벤트들의 발생 횟수에 관한 제 2 신호를 생성하는 노이즈 신호 축적기;
    상기 제 2 신호 또는 기준 감소 값을 선택적으로 출력하는 노이즈 값 판별기;
    상기 제 1 신호 및 상기 노이즈 값 판별기의 선택 결과에 대한 감산 연산을 수행하여 제 3 신호를 생성하는 칼리브레이터;
    상기 제 3 신호와 상기 문턱 값의 비교 결과에 기반하여 상기 이벤트 신호들을 선택적으로 출력하는 선택기를 포함하는 다이나믹 비전 센서.
  4. 제 3 항에 있어서,
    상기 노이즈 값 판별기는:
    모드 제어 신호에 따라 상기 제 2 신호와 기준 감소 값을 선택적으로 출력하는 제 1 멀티플렉서;
    기준 시간 동안 상기 제 2 이벤트들의 발생 시점에 관한 타임스탬프들을 카운팅하는 카운터; 그리고
    상기 카운터의 카운팅 결과에 따라, 상기 제 1 멀티플렉서의 출력 값과 '0'을 선택적으로 출력하는 제 2 멀티플렉서를 포함하는 다이나믹 비전 센서.
  5. 제 3 항에 있어서,
    상기 이벤트 신호 칼리브레이터는:
    상기 액티브 영역 중 상기 제 1 이벤트들이 발생한 주소들 및 상기 옵티컬 블랙 영역 중 상기 제 2 이벤트들이 발생한 주소들을 참조하여, 상기 이벤트 신호들과 상기 노이즈 신호들을 분류하는 분류기를 더 포함하는 다이나믹 비전 센서.
  6. 제 3 항에 있어서,
    상기 선택기는, 상기 제 3 신호의 값이 상기 문턱 값보다 큰 경우 상기 이벤트 신호들을 출력하고, 상기 제 3 신호의 값이 상기 문턱 값보다 작은 경우 상기 이벤트 신호들을 차단하는 다이나믹 비전 센서.
  7. 각각이 복수의 픽셀들을 포함하는 복수의 액티브 영역들, 및 각각이 복수의 픽셀들을 포함하는 복수의 옵티컬 블랙 영역들을 포함하는 다이나믹 비전 센서 픽셀 어레이;
    상기 복수의 액티브 영역들 중 제 1 액티브 영역의 픽셀들에 의해 감지된 제 1 이벤트들에 기반하여 이벤트 신호들을 생성하고, 상기 복수의 옵티컬 블랙 영역들 중 제 1 옵티컬 블랙 영역의 픽셀들에 의해 출력된 제 2 이벤트들에 기반하여 노이즈 신호를 생성하도록 구성되는 이벤트 감지 회로;
    상기 이벤트 신호들에 기반하여 상기 제 1 이벤트들의 발생 횟수에 관한 제 1 신호를 생성하고, 상기 노이즈 신호들에 기반하여 상기 제 2 이벤트들의 발생 횟수에 관한 제 2 신호를 생성하고, 상기 제 1 신호와 상기 제 2 신호에 대해 감산 연산을 수행하여 제 3 신호를 생성하고, 상기 제 3 신호와 문턱 값을 비교하여 상기 이벤트 신호들을 선택적으로 출력하도록 구성되는 이벤트 신호 칼리브레이터를 포함하는 다이나믹 비전 센서.
  8. 제 7 항에 있어서,
    상기 이벤트 신호 칼리브레이터는, 상기 제 3 신호의 값이 상기 문턱 값보다 큰 경우 상기 이벤트 신호들을 출력하고, 상기 제 3 신호의 값이 상기 문턱 값보다 작은 경우 상기 이벤트 신호들을 차단하는 다이나믹 비전 센서.
  9. 제 7 항에 있어서,
    상기 이벤트 신호 칼리브레이터는:
    모드 제어 신호에 따라 상기 제 2 신호와 기준 감소 값을 선택적으로 출력하는 제 1 멀티플렉서;
    기준 시간 동안 상기 제 2 이벤트들의 발생 시점에 관한 타임스탬프들을 카운팅하는 카운터; 그리고
    상기 카운터의 카운팅 결과에 따라, 상기 제 1 멀티플렉서의 출력 값과 '0'을 선택적으로 출력하는 제 2 멀티플렉서를 포함하는 다이나믹 비전 센서.
  10. 액티브 영역과 옵티컬 블랙 영역을 포함하는 다이나믹 비전 센서의 동작 방법에 있어서:
    상기 액티브 영역에 의해, 빛의 세기 변화에 따른 제 1 이벤트들을 감지하는 단계;
    상기 옵티컬 블랙 영역에 의해, 상기 빛의 세기 변화와 관계 없이 발생하는 제 2 이벤트들을 출력하는 단계;
    상기 제 1 이벤트들에 기반하는 이벤트 신호들 및 상기 제 2 이벤트들에 기반하는 노이즈 신호들을 생성하는 단계;
    상기 이벤트 신호들과 상기 노이즈 신호들에 대한 감산 연산을 수행하여, 상기 이벤트 신호들 중 실제 이벤트들을 판별하는 단계; 그리고
    상기 판별 결과와 문턱 값을 비교하여 상기 이벤트 신호들을 선택적으로 출력하는 단계를 포함하는 방법.
KR1020190036151A 2019-03-28 2019-03-28 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법 KR20200115881A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190036151A KR20200115881A (ko) 2019-03-28 2019-03-28 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
US16/693,591 US11405567B2 (en) 2019-03-28 2019-11-25 Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
CN202010173243.0A CN111757028A (zh) 2019-03-28 2020-03-13 被配置校准事件信号的动态视觉传感器及操作其的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190036151A KR20200115881A (ko) 2019-03-28 2019-03-28 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20200115881A true KR20200115881A (ko) 2020-10-08

Family

ID=72604842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190036151A KR20200115881A (ko) 2019-03-28 2019-03-28 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11405567B2 (ko)
KR (1) KR20200115881A (ko)
CN (1) CN111757028A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285962A (zh) * 2021-12-14 2022-04-05 成都时识科技有限公司 噪声处理装置、方法、芯片、事件成像装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116530092A (zh) * 2020-12-31 2023-08-01 华为技术有限公司 一种视觉传感器芯片、操作视觉传感器芯片的方法以及设备
CN113012200B (zh) * 2021-03-23 2023-01-13 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3571924B2 (ja) 1998-07-09 2004-09-29 株式会社東芝 固体撮像装置
US20080192130A1 (en) 2000-03-28 2008-08-14 Mtekvision Co., Ltd. Method And Apparatus For Compensating Black Level By Dark Current Of Image Sensor
KR100723207B1 (ko) * 2005-08-01 2007-05-29 삼성전기주식회사 암전류 보상 기능을 갖는 ｃｍｏｓ 이미지 센서
US7760258B2 (en) * 2007-03-07 2010-07-20 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
JP5034610B2 (ja) * 2007-03-30 2012-09-26 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TW201106681A (en) 2009-08-10 2011-02-16 Altek Corp An image data processing method for reducing dynamic smear in the image data
ES2396816B1 (es) 2011-05-26 2014-01-21 Consejo Superior De Investigaciones Científcas (Csic) Circuito de ganancia de transimpedancia de bajo consumo y bajo desapareamiento para sistemas de fotosensado diferenciador temporal en sensores dinámicos de visión
US9124829B2 (en) 2012-07-26 2015-09-01 Altasens, Inc. Optical black pixel readout for image sensor data correction
KR102054774B1 (ko) * 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US10728450B2 (en) * 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102612194B1 (ko) * 2016-12-14 2023-12-11 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센싱 방법
WO2018122800A1 (en) 2016-12-30 2018-07-05 Insightness Ag Data rate control for event-based vision sensor
GB2569371B (en) * 2017-12-15 2022-01-12 Lightpoint Medical Ltd Direct detection and imaging of charged particles from a radiopharmaceutical

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285962A (zh) * 2021-12-14 2022-04-05 成都时识科技有限公司 噪声处理装置、方法、芯片、事件成像装置及电子设备

Also Published As

Publication number Publication date
US20200312899A1 (en) 2020-10-01
CN111757028A (zh) 2020-10-09
US11405567B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
US12002247B2 (en) Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
EP3324611B1 (en) Event-based sensor, user device including the same, and operation method of the same
US11405567B2 (en) Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
KR102578417B1 (ko) 직접 메모리 제어를 갖는 이벤트-기반 비전 센서
KR102503543B1 (ko) 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
JP7043218B2 (ja) 光センサ、距離測定装置、および電子機器
CN113727079B (zh) 一种图像信号处理方法及装置、电子设备
KR20140002366A (ko) 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
EP3967027B1 (en) Dynamic vision sensor with in-pixel digital change detection
KR20150012519A (ko) 이미지 센서 및 그것의 제어 방법
US8451342B2 (en) Counter circuit, analog-to-digital converter (ADC) including a counter circuit, image sensor including counter circuit and/or ADC, systems associated therewith, and method associated therewith
KR20200001165A (ko) 이미지 센서, 픽셀 어레이 및 그 동작 방법
CN114697577A (zh) 动态视觉传感器和包括动态视觉传感器的图像处理设备
KR20220076944A (ko) 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US20150172570A1 (en) Image sensor capable of adjusting number of oversamplings, method of operating the same, and image data processing system including the same
JP2009516476A (ja) ハイブリッドのピクセル配列を有するｃｍｏｓイメージ・センサ
US11616916B2 (en) Processing circuit analyzing image data and generating final image data
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
US20200260033A1 (en) Sensor for accumulation signal
KR20220039022A (ko) 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
US20240107188A1 (en) Vision sensor and image processing device including the same
KR20220054592A (ko) 이벤트 기반 비전 센서들에서의 지연 균등화
KR102351950B1 (ko) 이미지 신호 프로세서를 포함하는 전자 장치
US20230231979A1 (en) Image signal processor processing image data having non-bayer pattern and image processing device including same
JP7191238B2 (ja) センサシステム、画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal