KR102373088B1 - 이벤트 기반의 비전 센서 - Google Patents

이벤트 기반의 비전 센서 Download PDF

Info

Publication number
KR102373088B1
KR102373088B1 KR1020187024473A KR20187024473A KR102373088B1 KR 102373088 B1 KR102373088 B1 KR 102373088B1 KR 1020187024473 A KR1020187024473 A KR 1020187024473A KR 20187024473 A KR20187024473 A KR 20187024473A KR 102373088 B1 KR102373088 B1 KR 102373088B1
Authority
KR
South Korea
Prior art keywords
circuit
voltage
pixel
storage capacitor
output
Prior art date
Application number
KR1020187024473A
Other languages
English (en)
Other versions
KR20180119578A (ko
Inventor
라파엘 베흐너
Original Assignee
소니 어드밴스드 비주얼 센싱 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 어드밴스드 비주얼 센싱 아게 filed Critical 소니 어드밴스드 비주얼 센싱 아게
Publication of KR20180119578A publication Critical patent/KR20180119578A/ko
Application granted granted Critical
Publication of KR102373088B1 publication Critical patent/KR102373088B1/ko

Links

Images

Classifications

    • H04N5/37452—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

픽셀들의 행 및 열을 포함하는 픽셀 어레이; 및 상기 어레이 내의 픽셀에 선택적으로 전자적으로 연결될 수 있도록 구성된 회로를 구비하고, 각각의 픽셀은 상기 어레이 내의 상기 픽셀의 위치를 나타내는 할당된 어드레스를 가지며, 상기 픽셀 어레이 내의 각 픽셀은 광을 수광할 수 있고 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드; 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하도록 구성된 포토리셉터 회로; 제 1 저장 커패시터; 및 상기 제 1 저장 커패시터와 상기 포토리셉터 회로의 출력 사이에 위치된 적어도 하나의 제 1 스위치를 포함하며, 상기 제 1 스위치는 선택적으로 폐쇄되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터에 전자적으로 연결시키거나, 선택적으로 개방되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터로부터 전자적으로 분리시킬 수 있고, 상기 회로는 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 더 큰지 결정하며, 상기 포토리셉터 회로로부터 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 픽셀의 어드레스를 수신기에 출력하는 비전 센서가 제공된다. 비전 센서를 사용하여 상응하는 비전감지방법이 더 제공된다.

Description

이벤트 기반의 비전 센서
본 발명은 머신 비전 어플리케이션용 비전 센서에 관한 것이다. 센서는 광강도의 변화에 반응한다. 비전 센서에서, 광강도 변화가 감지된 이들 픽셀의 어드레스가 출력된다.
오늘날 머신 비전은 대부분 종래의 카메라 및 카메라와 관련 프레임 기반의 이미지 센서에 기초한다. 몇몇 머신 비전들에 대해 결함 인식과 같은 작업에 대해 이러한 종래의 카메라들에 잘 맞는 반면, 추적이나 위치 및 모션 추정과 같은 다른 작업을 위해 종래 이미지 센서들은 단점이 있다: 이러한 센서는 캡처되고, 전달되며 처리되어야 하는 상당한 양의 불필요한 중복 데이터를 생산한다. 이러한 높은 데이터 스루풋(throughput)으로 인해 반응 시간과 시간 해상도가 느려지고 머신 비전 시스템의 전력 소비, 크기 및 가격이 높아진다. 이러한 문제 외에도, 대부분의 이미지 센서는 제한된 동적 범위, 낮은 광성능 및 모션 블러로 어려움을 겪는다. 이러한 단점은 머신 비전 시스템의 기능을 제한하고 기존의 이미지 센서가 스마트 데이터를 생성하는 게 아니라 아름다운 이미지와 영화를 제작하기 위해 개발되었다는 사실에서 비롯된다.
종래의 카메라를 사용하여, 모바일 시스템의 위치 및 방위를 추정하고 상기 시스템을 둘러싼 세상의 3D 맵을 추론하기 위해, 부분적으로 겹치지만 상이한 시점 및 다른 관점에서 취해진 두 개의 순차적 이미지가 비교된다. 두 프레임간에 발생하는 모션을 추론하기 위해, 두 개의 이미지를 교차하여 특징적인 시각적 랜드마크(키포인트 또는 기타 시각적 피쳐)를 일치시켜야 한다. 두 이미지에서 서로 일치하는 이러한 지점들의 쌍을 찾는 것은 "일치 문제(correspondence problem)"를 해결하는 것으로 알려져 있으며 상당한 양의 처리 능력이 필요한다. 이러한 랜드마크를 감지하기 위해, 이미지 내의 모든 픽셀이 관심있는 피쳐(모서리, 얼룩, 가장자리 등)에 대해 검색되고, 프레임들 간에 피쳐를 매칭시키고 이로써 해당 지점들의 쌍을 설정하는 것을 허용하는 소위 피쳐 디스크립터를 사용하여 피쳐의 바로 주변에 있는 픽셀들이 기술된다.
US7728269B2에 기술된 바와 같은 제 1 종래 기술의 센서 설계는 시간적 콘트라스트 변화를 비동기식으로 감지하는 셀프 타이밍(self-timed) 픽셀회로이다. 이것은 정전용량성 증폭기와 두 개의 비교기를 사용하여 픽셀 조도를 지속적으로 모니터한다. 조도 변화를 감지하면, 픽셀이 주변 회로에 알린다. 이 제 1 종래 기술의 센서는 또한 상술한 단점을 피하나, 사용된 픽셀회로는 복잡하고, 따라서 상당한 다이 면적을 필요로 해, 더 큰 광학기를 필요로 하는 큰 센서 칩을 초래한다. 이 제 1 종래 기술 센서에서, 픽셀 자체는 광강도가 변했는지를 결정하고, 픽셀은 이벤트의 통신을 개시한다. 이 제 1 종래 기술의 센서에서, 각각의 픽셀은 변화를 감지하는 2개의 비교기 및 통신을 개시하기 위해 필요한 회로를 포함하며, 이는 복잡한 회로에 해당한다. 또한, 종래 기술의 센서는 완전히 비동기식으로 동작하며, 이는 마이크로프로세서와 같은 표준 프로세싱 하드웨어를 인터페이스하는 것을 더 번거롭게 한다.
말릭 등이(Mallik et al.)“Temporal change threshold detection imager”라는 제목으로 Digest of Technical Papers, Solid-State Circuits Conference, 2005, DOI 10.1109/ISSCC.2005.1494019에 간행한 간행물에 기술된 바와 같은 제 2 종래 기술의 센서 설계는 한 프레임에서 다음 프레임으로의 변화를 감지하기 위해 픽셀당 선형 픽셀 프론트-엔드 및 2개의 플로팅 커패시터를 사용하는 프레임 기반의 시간변화 감지 이미지 센서이다. 센서는 무조건적으로 변화 감지 출력의 모든 픽셀을 리셋하는데, 이는 프레임 속도보다 느린 움직임은 관찰될 수 없다는 것을 말한다. 제 2 종래 기술의 센서는 정해진 시간차에 대한 일시적 차이를 측정하는데, 이는 광강도의 시간 미분을 측정하는 것과 동일하다. 제 2 종래 기술의 센서의 경우, (프레임 속도에 의해 정의된) 주어진 임계값보다 느리게 발생하는 장면 변화는 보이지 않는다. 이것은 다음 수식으로 설명된다. 각 픽셀에서, 광강도(Int)는 시간상으로 분리된 지점에서 읽혀지고 샘플링된 전압과 강도의 관계는 선형이다:
(1) Vaps(tn) = k1 + k2 * Int(tn) = k1+ k3 * Iphoto(tn),
여기서, k1, k2 및 k3은 상수이고, tn은 n번째 프레임의 시간이며, Vaps(t)는 시간 t에서의 픽셀 출력 전압이고, Iphoto(t)는 시간 t에서 해당 픽셀의 광센서에서 생성된 전류이다. 제 2 종래 기술의 센서는 2개의 연속적인 프레임들 간의 차를 계산한다 :
(2) Vdiff = Vaps(tn) - Vaps(t(n-1)) = k3 *( Iphoto(tn) - Iphoto(t(n-1)) )
(3) Vdiff = k3*
Figure 112018084062474-pct00001
* tframe ,
Figure 112018084062474-pct00002
는 광강도의 미분에 비례하는 광전류의 미분이고, tframe은 프레임 속도의 역수며, 대개 상수인다. 따라서, Vdiff가 주어진 임계치보다 크다는 것은 광강도의 미분이 주어진 임계치보다 커야 함을 의미한다. 이는 Vdiff가 각 프레임 이후에 리셋되므로 장면의 느린 변화는 인식되지 않음을 의미한다.
제 2 종래 기술의 센서의 추가적인 단점은 선형 센서이며 따라서 동적 범위가 제한된다는 것이다.
젱밍 푸(Zhengming fu) 등의 "A 1.2mW CMOS temporal-difference image sensor for sensor networks"(Circuits and Systems, 2008, IEEE International Symposium On, IEEE, Piscataway, NJ)는 센서 네트워크용 저전력 이미지 감지를 목표로 하는 활성 픽셀 이미지 센서(APS), Mototrigger를 개시한다. 이미지 센서는 2개의 연속적인 광강도 프레임 간의 시간차를 계산하고 이를 어드레스 이벤트 포맷으로 전달한다. 이미지 센서는 30 시간차 프레임/초를 계산할 수 있으며 3V 전원장치로 1.2mW를 소모한다. 광강도 이미지는 또한 60 프레임/초의 속도로 출력으로서 이용할 수도 있다.
본 발명의 목적은 종래 기술의 해결방안과 관련된 단점 중 적어도 일부를 제거하거나 완화하는 것이다.
본 발명에 따르면, 이들 목적은:
픽셀들의 행 및 열을 포함하는 픽셀 어레이; 및 상기 어레이 내의 픽셀에 선택적으로 전자적으로 연결될 수 있도록 구성된 회로를 구비하고, 각각의 픽셀은 상기 어레이 내의 상기 픽셀의 위치를 나타내는 할당된 어드레스를 가지며, 상기 픽셀 어레이 내의 각 픽셀은 광을 수광할 수 있고 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드; 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하도록 구성된 포토리셉터 회로; 제 1 저장 커패시터; 및 상기 제 1 저장 커패시터와 상기 포토리셉터 회로의 출력 사이에 위치된 적어도 하나의 제 1 스위치를 포함하며, 상기 제 1 스위치는 선택적으로 폐쇄되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터에 전자적으로 연결시키거나, 선택적으로 개방되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터로부터 전자적으로 분리시킬 수 있고, 상기 회로는 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 더 큰지 결정하며, 상기 포토리셉터 회로로부터 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 픽셀의 어드레스를 수신기에 출력하고, 상기 회로는 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 포토리셉터 회로의 출력이 상기 제 1 저장 커패시터에 전자적으로 연결되도록 상기 제 1 스위치를 폐쇄하도록 더 구성되는 비전 센서에 의해 달성된다.
상기 회로는 상기 포토리셉터 회로로부터의 출력 전압을 상기 수신기에 출력하거나, 상기 포토리셉터 회로로부터의 출력 전압을 나타내는 디지털 값을 상기 수신기에 출력하도록 더 구성될 수 있다.
삭제
상기 회로는:
픽셀에서, 포토리셉터 회로로부터의 출력 전압과 이들 픽셀들 각각의 제 1 저장 커패시터 양단의 전압 간의 차가 상기 사전정의된 임계 전압보다 큰지 결정하도록 구성된 컬럼회로;
픽셀 어레이 내의 하나 이상의 픽셀들의 행을 컬럼회로에 선택적으로 연결하도록 작동할 수 있는 로우선택회로; 및
상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 상기 사전정의된 임계 전압보다 큰 경우, 픽셀의 어드레스를 수신기에 전송하는 판독회로를 더 포함할 수 있다.
상기 비전 센서는 픽셀 어레이 내의 픽셀의 컬럼의 개수에 상응하는 컬럼회로 개수의 복수의 컬럼회로를 더 포함할 수 있고, 로우선택회로는 행 내의 모든 픽셀들을 각각의 컬럼회로에 선택적으로 연결하 수 있도록 구성되어 상기 행 내의 모든 픽셀은 동시에 상기 복수의 컬럼회로들에 동시에 연결되므로, 상기 행 내의 각각의 픽셀에 대해, 상기 포토리셉터 회로로부터의 출력 전압과 이들 픽셀들 각각의 제 1 저장 커패시터 양단의 전압 간의 차가 동시에 결정될 수 있다.
상기 판독회로는 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 상기 사전정의된 임계 전압보다 더 크다고 결정된 행에 있는 상기 픽셀의 어드레스를 연속적으로 수신기에 전송하도록 구성될 수 있다.
상기 어레이 내의 픽셀들의 각 행은 할당된 각각의 로우 어드레스를 가지며, 로우선택회로의 출력이 판독회로에 연결되고, 상기 행의 적어도 하나의 픽셀에서 포토리셉터 회로로부터 출력 전압과 상기 픽셀의 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 크다고 결정된 경우 상기 로우선택회로는 상기 행의 로우 어드레스를 상기 판독회로에 출력하여, 상기 판독회로가 픽셀의 어드레스를 수신기에 전송할 수 있도록 더 구성될 수 있다.
비전 센서는 픽셀 어레이 내의 픽셀의 컬럼의 개수에 상응하는 컬럼회로 개수의 복수의 컬럼회로를 더 포함할 수 있고, 어레이 내의 픽셀의 각 열은 할당된 각각의 컬럼 어드레스를 가질 수 있으며, 상기 판독회로는 상기 픽셀의 열에 대응하는 상기 컬럼회로가 상기 열의 적어도 하나의 픽셀에서 상기 제 1 저장 커패시터의 양단의 전압이 사전정의된 임계 전압보다 크다고 결정하면, 상기 판독회로가 픽셀의 어드레스를 수신기에 전송할 수 있도록 어레이 내의 열의 컬럼 어드레스를 식별하도록 더 구성될 수 있다.
컬럼회로는:
픽셀의 상기 커패시터 양단의 전압과 상기 픽셀의 포토리셉터 회로로부터 출력 전압 간의 차를 결정하고, 상기 차를 나타내는 신호를 출력하는 수단; 및
제 1 비교기 및 제 2 비교기를 더 포함할 수 있고,
상기 제 1 비교기 및 제 2 비교기 각각은 상기 차를 결정하기 위한 상기 수단에 각각 연결되어, 상기 제 1 및 제 2 비교기 각각이 상기 차를 나타내는 신호를 수신하며,
상기 제 1 비교기는 수신한 신호를 사전정의된 제 1 임계치와 비교하고, 상기 신호가 상기 제 1 임계치보다 크면 상기 제 1 스위치를 닫도록 구성되고, 상기 제 2 비교기는 수신한 신호를 사전정의된 제 2 임계치와 비교하고, 상기 신호가 상기 제 1 임계치보다 크면 상기 제 1 스위치를 닫도록 구성된다.
비전 센서는 OR 게이트를 더 포함할 수 있고, 제 1 및 2 비교기 각각의 출력이 OR 게이트의 각각의 입력에 연결되며, OR 게이트의 출력은 플립-플롭의 상기 입력되고, 플립-플롭의 출력은 판독회로에 연결되며, 또한 AND 게이트의 입력에 연결되고, 클록 신호를 보낼 수 있는 컨트롤러가 상기 AND 게이트의 또 다른 입력에 연결된다.
비전 센서는 제 1 및 제 2 플립-플롭을 더 포함할 수 있고, 상기 제 1 비교기의 출력이 제 1 플립-플롭의 입력에 연결되며, 제 2 비교기의 출력이 제 2 플립-플롭의 입력에 연결되고, 제 1 및 제 2 플립-플롭의 출력은 OR 게이트의 각각의 입력에 연결되며, OR 게이트의 출력이 판독회로 및 AND 게이트의 입력에 연결되고, 클록 신호를 보낼 수 있는 컨트롤러가 상기 AND 게이트의 또 다른 입력에 연결된다.
비전 센서는 토큰 판독회로 형태의 판독회로를 포함할 수 있다.
비전 센서는 로우선택회로, 컬럼회로(들), 및 판독회로를 제어하기 위한 유한 상태 기계를 더 포함할 수 있다.
판독회로는 포토리셉터 회로로부터 출력 전압과 제 1 저장 커패시터의 양단의 전압간의 차가 사전정의된 임계 전압보다 크다고 결정된 행의 픽셀 어드레스를 저장하기 위한 선입선출(FIFO, First-In-First-Out) 메모리 버퍼를 더 포함할 수 있고, 이후 이들 어드레스가 수신기에 출력된다.
각각의 픽셀은 상기 제 1 스토리지 커패시터와 상기 포토리셉터 회로의 출력 사이에 위치된 제 2 스위치를 포함할 수 있으며, 상기 제 2 스위치는 상기 로우선택회로에 동작가능하게 연결되어 상기 로우선택회로가 상기 픽셀이 상기 컬럼회로에 연결될 때 제 2 스위치를 선택적으로 닫고, 상기 픽셀이 상기 컬럼회로로부터 분리될 때 상기 제 2 스위치를 개방할 수 있다.
각각의 픽셀은 소스 팔로워(source follower) 트랜지스터 형태의 버퍼를 더 포함할 수 있다.
각각의 픽셀은 제 1 커패시터와 소스 팔로워 트랜지스터의 게이트 사이에 적어도 하나의 추가 스위치를 더 포함할 수 있고, 포토리셉터 회로의 출력과 소스 팔로워 트랜지스터의 게이트 사이에 다른 스위치가 제공된다.
각각의 픽셀은 소스 팔로워 트랜지스터 형태의 버퍼를 더 포함할 수 있고, 상기 제 1 커패시터와 상기 소스 팔로워 트랜지스터의 게이트 사이에 직렬연결된 2개의 스위치가 제공되며; 상기 스위치 중 적어도 하나는 상기 로우선택회로에 동작가능하게 연결되어, 상기 픽셀이 상기 컬럼회로에 연결될 때 상기 로우선택회로가 상기 스위치를 선택적으로 닫고, 상기 픽셀이 상기 컬럼회로로부터 분리될 때 상기 스위치를 개방할 수 있다.
각각의 픽셀은 기준전압에 연결된 추가 스위치를 더 포함할 수 있고, 상기 추가 스위치는 닫힐 때 소스 팔로워 트랜지스터의 게이트를 상기 기준전압에 연결하도록 배치된다.
각각의 픽셀은 제 2 저장 커패시터, 및 상기 제 2 저장 커패시터와 포토리셉터의 출력 사이에 위치된 스위치를 더 포함하고, 상기 스위치는 상기 포토리셉터 회로의 출력을 제 2 저장 커패시터에 전자적으로 연결하도록 선택적으로 폐쇄될 수 있거나, 포토리셉터 회로의 출력을 제 2 저장 커패시터로부터 전자적으로 차단하기 위해 선택적으로 개방될 수 있다. 상기 제 2 저장 커패시터와 상기 포토리셉터의 출력 사이에 위치된 상기 스위치는 상기 로우선택회로에 동작 가능하게 연결되어, 상기 로우선택회로는 상기 픽셀이 상기 컬럼회로에 연결될 때 상기 스위치를 선택적으로 닫을 수 있고, 상기 픽셀이 상기 컬럼회로에 분리될 때 상기 스위치를 선택적으로 개방할 수 있다.
각각의 픽셀은 소스 팔로워 트랜지스터 형태의 버퍼를 더 포함하고, 상기 제 1 커패시터와 상기 소스 팔로워 트랜지스터의 게이트 사이에 적어도 하나의 추가 스위치가 제공되고, 상기 제 2 저장 커패시터 및 소스 팔로워 트랜지스터의 게이트 사이에 적어도 하나의 다른 스위치가 제공된다.
포토리셉터 회로는 NMOS 트랜지스터를 포함할 수 있으며, NMOS 트랜지스터의 소스는 포토다이오드의 출력에 연결되고 NMOS 트랜지스터의 드레인은 제 1 전압 소스에 연결되고, NMOS 트랜지스터의 게이트는 제 2 전압 소스에 연결된다.
포토리셉터 회로는 PMOS 트랜지스터를 포함할 수 있으며, PMOS 트랜지스터의 드레인 및 게이트는 포토다이오드의 출력에 연결되고 PMOS 트랜지스터의 소스는 전압 소스에 연결된다.
포토리셉터 회로는 반전 증폭기 및 피드백 요소를 포함할 수 있으며, 상기 피드백 요소는 로그의 전류 대 전압 관계를 갖도록 구성된다.
상기 증폭기는 제 1 트랜지스터 및 제 2 트랜지스터를 포함할 수 있으며, 상기 제 1 트랜지스터의 소스는 접지되고, 상기 제 1 트랜지스터의 게이트는 상기 포토다이오드의 출력에 연결되며, 상기 제 1 트랜지스터의 드레인은 상기 제 2 트랜지스터의 드레인에 연결되고, 상기 제 2 트랜지스터의 드레인은 상기 제 1 트랜지스터의 드레인에 연결되며, 상기 제 2 트랜지스터의 게이트는 제 1 전압 소스에 연결되고, 상기 제 2 트랜지스터의 소스는 제 2 전압 소스에 연결된다.
상기 포토리셉터 회로는 제 1 NMOS 트랜지스터를 포함할 수 있으며, 상기 제 1 NMOS 트랜지스터의 소스는 상기 포토다이오드의 출력에 연결되고 상기 제 1 NMOS 트랜지스터의 드레인은 전압 소스에 연결되며, 상기 제 1 NMOS 트랜지스터의 게이트는 증폭기에 연결된다.
상기 포토리셉터 회로는 상기 포토다이오드와 상기 제 1 NMOS 트랜지스터 사이에 연결된 제 2 NMOS 트랜지스터를 포함하고, 상기 제 2 NMOS 트랜지스터의 소스는 상기 포토다이오드의 출력에 연결되고, 상기 제 2 NMOS 트랜지스터의 드레인은 상기 제 1 NMOS 트랜지스터의 소스에 연결되며, 상기 제 2 NMOS 트랜지스터의 게이트는 상기 제 1 NMOS 트랜지스터의 소스에 연결되며, 상기 제 1 NMOS 트랜지스터의 게이트는 증폭기에 연결된다.
포토리셉터 회로는 PMOS 트랜지스터를 포함할 수 있으며, PMOS 트랜지스터의 드레인은 포토다이오드의 출력에 연결되고, PMOS 트랜지스터의 소스는 증폭기에 연결되고, PMOS 트랜지스터의 게이트는 전압 소스에 연결되며. 증폭기는 캐스케이드 트랜지스터를 더 포함하고, 캐스케이드 트랜지스터의 게이트는 전압 소스에 연결된다.
회로 내의 전자적인 연결은 하나 또는 다수의 PMOS 트랜지스터 또는 하나 또는 다수의 NMOS 트랜지스터 또는 하나 또는 다수의 PMOS 트랜지스터 및 전송 게이트로 구성된 하나 또는 다수의 PMOS 트랜지스터의 조합을 포함할 수 있다.
회로 내의 전자적 연결은 하나 또는 다수의 전압 버퍼회로를 더 포함할 수 있다.
본 발명은 본 발명에 기술된 바와 같은 비전 센서를 사용하는 비전 감지 방법을 제안하며, 상기 방법은:
(a) 어레이 내의 픽셀에 회로를 선택적으로 전자적으로 연결시키는 단계;
(b) 포토리셉터 회로로부터의 출력 전압과 픽셀의 제 1 저장 커패시터 양단 간의 전압 차가 사전정의된 임계 전압보다 큰지를 결정하는 단계;
(c) 포토리셉터 회로로부터 출력 전압과 제 1 저장 커패시터 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 픽셀의 어드레스를 수신기에 출력하는 단계; 및
(d) 상기 포토리셉터 회로의 출력 전압과 상기 제 1 저장 커패시터 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 상기 포토리셉터 회로의 출력이 상기 제 1 저장 커패시터에 전자적으로 연결되도록 상기 제 1 스위치를 폐쇄하는 단계를 포함한다.
삭제
상기 방법은, 행 내의 모든 픽셀이 상기 복수의 컬럼회로에 동시에 연결되도록 각각의 컬럼회로에 행의 모든 픽셀을 연결하는 단계, 및 포토리셉터 회로로부터의 출력 전압과 픽셀의 제 1 저장 커패시터 양단의 전압 간의 차를 행 내의 각 픽셀에 대해 동시에 결정하는 단계를 더 포함할 수 있다.
상기 방법은 포토리셉터 회로로부터의 출력 전압과 제 1 저장 커패시터 양단의 전압 사이의 차가 사전설정된 임계값보다 큰 것으로 결정된 행의 픽셀의 어드레스를 연속적으로 전송하는 수신기에 전송하는 단계를 더 포함할 수 있다.
상기 방법은 상기 어레이 내의 픽셀들 중 일부만을 선택하는 단계를 더 포함하고, 상기 선택된 픽셀들은 관심 영역을 정의하고, 상기 선택된 픽셀들에 대해서만 단계 (a)-(c)를 수행하는 단계를 더 포함할 수 있다.
상기 방법은 포토리셉터 회로로부터의 출력 전압과 픽셀의 제 1 저장 커패시터 양단의 전압 간의 상기 차를 결정하는 단계; 및 결정된 차를 증폭하는 단계를 더 포함할 수 있다.
상기 방법의 단계(c)는 상기 포토리셉터 회로로부터의 출력 전압 또는 상기 포토리셉터 회로로부터의 출력 전압을 나타내는 디지털 값 중 어느 하나를 상기 수신기에 출력하는 단계를 더 포함할 수 있다.
본 발명의 비전 센서는 매우 많은 중복 출력 데이터, 낮은 시간 해상도, 높은 전력 소비, 모션 블러 및 낮은 동적 범위의 한계를 극복한다. 따라서, 태양 전지 구동 또는 배터리 구동 압축 감지 또는 시스템의 위치를 추정해야 하는 모바일 머신 비전 애플리케이션에 적합하고 제한된 배터리 용량으로 인해 처리 전력이 제한되는 경우에 특히 적합하다.
본 발명의 비전 센서는 시각 정보를 로컬로 전처리하고 아름다운 이미지를 생성하는 대신 스마트 데이터를 생성한다. 종래의 이미지 센서는 동영상을 일련의 스틸 이미지로 캡처하지만, 제안된 센서는 조도의 변화를 경험한 픽셀의 픽셀 좌표 만 감지하고 전송한다: 이는 종래의 카메라보다 시각적 정보를 훨씬 효율적으로 인코딩한다. 따라서, 데이터 처리는 자원을 덜 사용하고 전력을 덜 필요로하며 더 빠르게 실행되어 시스템 수준의 성능이 더 향상된다. 높은 시간 해상도로 시각적 특징을 계속 추적해 해당 문제를 극복할 수 있게 한다. 상기의 아키텍처로 인해, 이 센서는 높은 동적 범위와 양호한 낮은 광성능을 가질 수 있다.
따라서, 종래 기술과 비교하여, 본 발명의 비전 센서는 다음을 포함하는 다수의 이점을 갖는다: 시각적 입력을 효율적으로 인코딩한다; 외부적으로 픽셀과 센서 타이밍을 제어할 수 있다; 센서 시간 해상도와 따라서 픽셀이 정보를 출력할 수 있는 속도를 제어할 수 있게 한다; 픽셀 크기를 줄인다; 판독 경로의 지터를 감소시킨다.
본 발명은 예로서 주어지고 도면들로 도시된 실시예의 설명의 도움으로 더 잘 이해될 것이다.
도 1은 제안된 비전 센서의 실시예를 도시한 것이다.
도 2는 제안된 비전 센서의 다른 실시예를 도시한 것이다.
도 3은 제안된 비전 센서의 또 다른 실시예를 도시한 것이다.
도 4는 도 2의 a 또는 도 3의 a에 도시된 바와 같은 비전 센서용 픽셀 구현을 도시한 것이다.
도 5는 도 2의 a 또는 도 3의 a에 도시된 바와 같은 비전 센서용 글로벌 셔터를 갖는 픽셀 구현을 도시한 것이다.
도 6 내지 도 10은 픽셀 프론트-엔드 회로의 다른 구현을 도시한 것이다.
도 11은 도 4와 관련하여 픽셀 백-엔드 구현에 대한 보다 상세한 설명이 있는 픽셀회로를 도시한 것이다.
도 12는 도 5와 관련하여 픽셀 백-엔드 구현에 대한 보다 상세한 설명이 있는 픽셀회로를 도시한 것이다.
도 13은 도 4와 관련하여 픽셀 백-엔드 구현에 대한 보다 상세한 설명이 있는 다른 픽셀회로를 도시한 것이다.
도 14는 로우선택회로의 구현을 도시한 것이다.
도 15는 컬럼회로의 구현과 픽셀에 연결되는 방법을 도시한 것이다.
도 16은 컬럼회로의 일부인 SC 회로의 구현을 도시한 것이다.
도 17은 컬럼회로의 일부인 LC 회로의 제 1 구현을 도시한 것이다.
도 18은 컬럼회로의 일부인 LC 회로의 제 2 구현을 도시한 것이다.
도 19는 데이터 판독회로의 구현을 도시한 것이다.
도 20은 토큰 기반 데이터 판독회로를 도시한 것이다.
도 21은 제어 상태 기계의 상태 전이 다이어그램을 도시한 것이다.
도 22는 센서를 제어하는데 사용되는 제어신호의 파형을 도시한 것이다.
제안된 센서의 실시예가 도 1의 a에 도시되어 있다; 비전 센서는, 픽셀(101)의 행 및 열을 포함하는 픽셀 어레이를 포함하며, 각 픽셀은 어레이 내에서 픽셀의 위치를 나타내는 할당된 어드레스가 있고, 픽셀 어레이에서 (도 1의 b에 도시된) 각각의 픽셀은 광을 수광할 수 있고, 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드(103);
상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하는 포토리셉터 회로(104);
제 1 저장 커패시터(105); 및
상기 제 1 저장 커패시터와 상기 포토리셉터 회로의 출력부 사이에 위치된 적어도 하나의 제 1 스위치(106)를 포함한다.
비전 센서는 어레이의 픽셀에 선택적으로 전자적으로 연결되고, 포토리셉터 회로(Vpr)로부터의 출력 전압과 제 1 저장 커패시터(Vpr_last) 양단의 전압 간의 차가 소정의 임계 전압보다 큰지 판단하며, Vpr과 Vpr_last 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 픽셀의 어드레스를 수신기에 출력하도록 구성되는 적어도 하나의 회로(102)를 더 포함한다.
하기의 설명에서, '이벤트'라는 용어는 픽셀 상에 떨어지는 광강도가 사전정의된 임계치보다 크거나 같은 양만큼 변화되었음을 의미한다. 이벤트를 전송하기 위해, 해당 픽셀의 어드레스가 전송된다. 이것을 어드레스 이벤트라 한다.
비전 센서는 Vpr 전압이 아날로그-디지털 컨버터(ADC)를 이용하여 디지털 값으로 변환되어 수신기로 출력되면 이미지를 출력할 수 있다.
두 가지 옵션이 있다:
(1) 제 1 옵션은 종래의 이미지 센서와 같이, 모든 픽셀에 대해 디지털 값을 판독할 수 있다는 것이다. 따라서, 제안된 센서는 변화 감지 모드 또는 이미지 센서 모드에서 동작할 수 있는 옵션을 가질 것이다.
(2) 두 번째 옵션은 이벤트가 발생한 이들 픽셀의 Vpr 값만 변환한 다음 픽셀의 어드레스와 함께 이 값을 전송하는 것이다. 이는 센서가 온-센서 비디오 압축 기능을 갖춘 비디오 카메라 모드에서 작동하는 것을 의미한다.
비전 센서는 이미지 품질을 향상시키기 위한 캘리브레이션 회로를 포함할 수 있다. 캘리브레이션 방법의 한 가지 옵션은 기준 프레임을 빼는 것이다.
본 발명에 따른 비전 센서의 다른 실시예가 도 2의 a에 도시되어 있다. 도 2의 a의 비전 센서는 행과 열로 구성된 픽셀 어레이를 포함하며, 각 픽셀(101)은 어레이 내에서 픽셀의 위치를 인코딩하는 고유 어드레스를 갖고, 도 2의 b에 도시된 픽셀 어레이 내의 각 픽셀(101)은: 광을 수광할 수 있고 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드; 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하는 포토리셉터 회로; 제 1 저장 커패시터; 및 상기 제 1 저장 커패시터와 상기 포토리셉터 회로의 출력부 사이에 위치되는 적어도 하나의 제 1 스위치를 포함한다.
도 2의 a의 비전 센서는 픽셀들의 각 열에 대해 반복되는 회로(201)를 더 포함하며(이 회로를 컬럼회로라 함), 하나의 열에 있는 모든 픽셀들 사이에서 공유된다. 이 컬럼회로는 해당 열의 픽셀에 선택적으로 연결될 수 있으며 Vpr과 Vpr_last 간의 차가 (이벤트가 현재 선택된 픽셀에서 발생했음을 의미하는) 사전정의된 임계치를 초과하는지 여부를 감지할 수 있도록 구성된다. 컬럼회로는 또한 포토리셉터 출력부과 저장 커패시터 사이에서 제 1 스위치(106)를 동작시킬 수 있다. 선택적으로, 컬럼회로는 Vpr을 디지털 숫자로 변환하기 위한 아날로그-디지털 컨버터(ADC)를 포함할 수 있다.
도 2의 a의 비전 센서는 로우선택회로(row selection circuit)라고 하는 하나 또는 다수의 행(202)을 선택하기 위한 회로를 더 포함하는데, 이 선택은 이 행의 픽셀들을 대응하는 컬럼회로에 선택적으로 연결하는 것을 의미한다.
도 2의 a의 비전 센서는 Vpr과 Vpr_last 간의 차가 사전정의된 임계치(및 선택적으로 Vpr을 나타내는 디지털 숫자)를 초과하는 이들 픽셀의 어드레스를 센서 칩의 외부에 있을 수 있는 일종의 수신기로 전송하기 위한 회로(203)를 더 포함한다. 데이터를 전송하기 위한 이 회로를 데이터 판독회로라 한다.
다른 실시예
본 발명에 따른 비전 센서의 또 다른 실시예가 도 3의 a에 도시되어 있다. 도 3의 a의 비전 센서는 행과 열로 구성된 픽셀 어레이를 포함하며, 각 픽셀(101)은 어레이 내에 있는 픽셀의 위치를 인코딩하는 고유 어드레스를 가지며, 픽셀 어레이에서 도 3의 b에 도시된 각 픽셀(101)은 광을 수광할 수 있고, 수광한 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드(103); 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하는 포토리셉터 회로(104); 제 1 저장 커패시터(105); 및 상기 제 1 저장 커패시터와 상기 포토리셉터 회로의 출력부 사이에 위치된 적어도 하나의 제 1 스위치(106)를 포함한다.
도 3의 a의 비전 센서는 픽셀의 각 열에 대해 반복되는 회로(201)를 더 포함하며(이 회로는 컬럼회로라 함) 하나의 열에 있는 모든 픽셀들 간에 공유된다. 이 컬럼회로는 해당 열의 픽셀에 선택적으로 연결될 수 있으며 Vpr과 Vpr_last 간의 차가 (이벤트가 현재 선택된 픽셀에서 발생했음을 의미하는) 사전정의된 임계치를 초과하는지 여부를 감지할 수 있도록 구성된다. 컬럼회로는 또한 포토리셉터 출력부와 저장 커패시터 사이에서 스위치를 동작시킬 수 있다. 선택적으로, 컬럼회로는 Vpr을 디지털 숫자로 변환하기 위한 아날로그-디지털 컨버터(ADC)를 포함할 수 있다.
도 3의 a의 비전 센서는 (로우선택회로라고 하는) 하나 또는 다수의 행을 선택하기 위한 회로(202)를 더 포함하며, 여기서 선택은 이 행의 픽셀을 대응하는 컬럼회로에 선택적으로 연결하는 것을 의미한다; Vpr과 Vpr_last 간의 차가 소정의 임계치(및 선택적으로 Vpr을 나타내는 디지털 숫자)를 초과하는 이들 픽셀의 어드레스를 센서 칩의 외부에 있을 수 있는 일종의 수신기로 전송하기 위한 회로(203)를 포함한다. 데이터를 전송하기 위한 이 회로를 데이터 판독회로라 한다.
도 3의 a의 비전 센서는 센서를 제어하기 위한 유한 상태 기계(finite state machine; FSM)(301); 및 어드레스 이벤트의 보다 효율적인 판독을 위한 FIFO(first-in-first-out) 메모리 버퍼(302)를 포함한다.
FSM은 어드레스의 FIFO로의 읽기 및 쓰기를 제어하는 반면, 수신기는 자신의 속도로 FIFO로부터 어드레스를 판독할 수 있다.
판독 속도를 향상시키기 위해, 픽셀 어레이는 별개의 컬럼 및 판독회로를 이용하여 하부 및 상부 절반으로 분할될 수 있으며, 이는 2개의 행을 병렬로 판독할 수 있게 하며, 따라서 센서를 2배의 프레임 속도로 작동시킬 수 있게 한다.
픽셀회로
도 4를 참조하면, 비전 센서 실시예 중 어느 하나에 제공된 픽셀(101)에 대한 예시적인 구성이 도시되어 있다; 바람직하게는, 비전 센서에 제공된 각각의 픽셀(101)은 도 4에 도시된 바와 같이 구성될 것이다.
픽셀(101)은 광을 광강도에 비례하는 전류(Iphoto)로 변환하는 포토다이오드(103); 상기 전류를 전압(Vpr)으로 변환하는(예를 들어, Iphoto와 Vpr 사이의 선형 또는 로그함수 관계로 변환하는) 포토리셉터 회로(104); Vpr_last라고 하는 Vpr의 과거 값을 저장하는 저장 커패시터(105); 커패시터(105)상의 전압을 현재의 포토리셉터 출력 전압(Vpr)으로 설정하도록 허용하는 적어도 제 1 스위치(106)를 포함한다.
픽셀(101)은 상기 픽셀을 선택적으로 연결하게 하는 회로(401)를 포함하고, 상기 회로는 Vpr과 Vpr_last 간의 차가 임계치를 초과하는지를 결정한다. 이 회로(401)를 PRO라 하며, 전압(Vpr 및 Vpr_last)을 판독할 수 있다. PRO는 두 값을 동시에 또는 순차적으로 읽을 수 있다. PRO는 로우선택회로로부터 나오는 RowSelect 신호에 의해 인에이블된다. PRO가 인에이블되면, PRO의 출력이 컬럼회로의 입력에 연결된다. PRO에는 전압 자체에 영향을 미치지 않고 Vpr 및 Vpr_last를 읽는 버퍼를 포함할 수 있다. 버퍼는 전기 임피던스 변환을 제공한다.
본 설명에서, 포토다이오드 및 포토리셉터의 앙상블을 픽셀 프론트-엔드 라 한다; 저장 커패시터(105), 리셋 회로 및 PRO(401)의 앙상블을 픽셀 백-엔드라 한다.
각 픽셀은 이 픽셀에서 방출된 마지막 이벤트의 시간에 조도를 나타내는 전압을 저장하고, 마지막 이벤트 시간의 조도를 illum_last라 한다. 이 표현은 커패시터(105)에 저장된다.
회로에 사용되는 동작 가능한 전자적 연결(스위치)은 전하를 공유하지 않고도 전기연결을 설정하는 단순한 CMOS 게이트, 풀 트랜스미션 게이트 또는 버퍼된 직접 연결의 다수의 회로들로 구현될 수 있다.
글로벌 셔터가 있는 대안적인 픽셀회로
도 5를 참조하면, 비전 센서 실시예 중 어느 하나에 제공된 픽셀(101)에 대한 예시적인 구성이 도시되어 있다. 바람직하게는, 비전 센서에 제공된 각각의 픽셀(101)은 도 5에 도시된 구성을 가질 것이다.
픽셀(101)은 광을 광강도에 비례하는 전류(Iphoto)로 변환하는 포토다이오드(103); 상기 전류를 전압(Vpr)으로 변환하는(예를 들어, Iphoto와 Vpr 사이의 선형 또는 로그함수 관계로 변환하는) 포토리셉터 회로(104); Vpr_last라 하는 Vpr의 과거 값을 저장하는 저장 커패시터(105); 커패시터(105)의 전압을 전류 포토리셉터 출력 전압(Vpr)으로 설정하게 하는 적어도 하나의 제 1 스위치(106); Vpr 및 Vpr_last 간의 차가 임계치를 초과하는지를 결정하는 회로에 픽셀을 선택적으로 연결시키게 하는 회로(401); 제 2 저장 커패시터(501); 및 포토리셉터(104)의 출력을 제 2 저장 커패시터(501)에 전자적으로 연결하게하는 적어도 제 2 스위치(502)를 포함한다.이 제 2 스위치(502)는 모든 픽셀에 동시에 동작한다.
회로(401)는 PRO라고 하며, 전압(Vpr 및 Vpr_last)을 판독할 수 있게 한다. PRO는 두 값을 동시에 또는 순차적으로 읽을 수 있다. PRO는 로우선택회로로부터 나오는 RowSelect 신호에 의해 인에이블된다. PRO가 인에이블되면, PRO의 출력이 컬럼회로의 입력에 연결된다. PRO에는 전압 자체에 영향을 미치지 않고도 Vpr 및 Vpr_last를 읽는 버퍼를 포함할 수 있다. 버퍼는 전기 임피던스 변환을 제공한다.
하나의 픽셀 및 다음 픽셀의 Vpr 및 Vpr_last의 비교 간의 장면 변화에 의해 야기되는 모션 아티팩트를 방지하기 위해, 모든 픽셀에 대해 Vpr을 동시에 샘플링한 후에 Vpr을 Vpr_last와 순차적으로 비교하는 것이 유리할 수 있다. 모든 픽셀에 대해 동시 샘플링을 하기 위해, 추가의 제 2 저장 커패시터(501), 다른 스위치(502) 및 상기 스위치(502)를 제어하기 위한 글로벌 신호가 필요하다.
추가 스위치(502)는 대응하는 제 2 저장 커패시터(501)상의 모든 픽셀에 대해 동시에 Vpr을 샘플링하는데 사용된다. 제 2 저장 커패시터(501)상의 전압은 샘플링시의 조도를 나타낸다. PRO(401)는 제 1 저장 커패시터(105)에 저장된 전압 또는 제 2 저장 커패시터(501)상의 전압을 판독하도록 구성된다.
도 3의 a에 도시된 바와 같은 비전 센서의 일실시예에서, 추가 스위치(502)는 FSM(301)에 의해 제어된다.
픽셀 하위 블록 :
포토리셉터 :
도 1의 a의 비전 센서의 픽셀 어레이의 각 픽셀에 제공된 포토리셉터는 임의의 적합한 구성을 취할 수 있음을 알아야 한다. 도 6 내지 도 10은 각각의 픽셀에서 포토리셉터의 예시적인 구현을 제공한다.
픽셀은 높은 동적 범위 및 시간차 대신에 시간적 대비에 대한 감도를 허용하기 위해 로그 포토리셉터를 사용할 수 있다. 네가티브 피드백 회로가 사용되면, 조도 변화에 대한 빠른 응답이 달성될 수 있다.
도 6에 도시된 피드백을 갖는 로그 포토리셉터는 포토다이오드(103), 반전 증폭기(602) 및 반전 증폭기의 입력부과 출력부 사이에 연결된 로그 전류-전압 관계(601)를 갖는 회로소자로 구성된다. 반전 증폭기는 포토다이오드의 전압이 거의 일정하게 유지되도록 보장한다. 포토리셉터(603)의 출력은 반전 증폭기의 출력에 의해 주어진다.
도 7에 도시된 피드백 구현을 갖는 바람직한 포토리셉터에서, 반전 증폭기는 NMOS 트랜지스터(701) 및 PMOS 트랜지스터(702)로 형성된다. NMOS(701)의 소스는 접지에 연결되고, 게이트는 포토다이오드(103)에 연결되고, 드레인은 반전 증폭기(603)의 출력부를 형성하는 PMOS(702)의 드레인에 연결된다. PMOS(702)의 소스는 전원에 연결되고, 게이트는 일정한 바이어스 전압(704)에 연결된다. 제 2 NMOS 피드백 트랜지스터(703)는 로그 전류-전압 변환에 사용되고, 제 2 NMOS 트랜지스터(703)의 소스는 포토다이오드에 연결되며, 게이트는 반전 증폭기(603)의 출력부에 연결되고 드레인은 전원에 연결된다.
변환 이득이 더 많은 피드백을 갖는 대안적인 로그 포토리셉터 :
도 8을 참조하면, 도 7에 도시된 픽셀 프론트-엔드에 비해 이득이 증가된 로그 픽셀 프론트-엔드가 도시되어 있다. 픽셀 이득을 증가시키기 위해(주어진 광강도에 대한 포토리셉터 출력 전압(Vpr)의 변화를 더 높이기 위해), 추가 NMOS 트랜지스터(801)가 포토다이오드(103)와 피드백 트랜지스터(703)의 소스 사이의 포토리셉터에 추가된다.
PMOS 피드백 트랜지스터로 피드백을 갖는 대안적인 로그 포토리셉터 :
도 9에 도시된 포토리셉터의 다른 실시예는 피드백 소자로서 NMOS 트랜지스터 대신 PMOS 트랜지스터(901)를 사용한다. PMOS 트랜지스터(901)의 드레인은 포토다이오드(103)에 연결되고, 게이트는 바이어스 전압(902)에 연결되며, 소스는 반전 증폭기(603)의 출력부에 연결된다. 이는 응답 속도 및 노이즈 성능을 향상시킨다. 포토다이오드 전압과 포토리셉터 출력 사이의 기생 커패시턴스가 적기 때문에 응답 속도가 향상된다. PMOS 트랜지스터는 NMOS 트랜지스터보다 플리커 노이즈가 낮기 때문에 노이즈 성능이 향상된다.
피드백이 없는 로그 프론트-엔드의 구현 :
픽셀의 크기를 더 줄이기 위해, 피드백 회로가 없는 포토리셉터를 사용할 수 있다. 그런 다음 포토리셉터는 포토다이오드와 하나의 트랜지스터로 구성된다. 사용된 트랜지스터는 NMOS 또는 PMOS일 수 있다.
도 10에는 NMOS 트랜지스터(1001)를 갖는 포토리셉터가 도시되어 있는데, 여기서 트랜지스터의 드레인은 전원에 연결되고, 게이트는 바이어스 전압(1002)에 연결되며, 포토리셉터의 출력부(1001)인 소스는 포토다이오드(103)에 연결된다. 포토리셉터에 NMOS 트랜지스터를 사용하면, PMOS 트랜지스터가 없는 완전한 픽셀을 가질 수 있어 보다 컴팩트한 레이아웃이 가능해진다.
피드백 없는 구현의 단점은 포토다이오드 커패시턴스에 걸친 전압 스윙이 더 크기 때문에 광강도 변화에 대한 픽셀 응답이 더 느리다는 것이다.
바람직한 픽셀 백-엔드 구현 :
도 1의 a, 도 2의 a 또는 도 3의 a의 비전 센서의 픽셀 어레이의 각 픽셀에 제공된 픽셀 백-엔드는 임의의 적절한 구성을 취할 수 있음을 이해해야 한다. 도 11 내지 도 13은 도 2의 a에 도시된 비전 센서의 실시예에 대한 각 픽셀의 예시적인 구현을 제공한다.
도 11을 참조하면, 픽셀의 구현은 소스 팔로워 NMOS 트랜지스터(1101) 및 (NMOS 트랜지스터로서 구현되는) 상응하는 스위치(1102), Moscap으로서 구현될 수 있는 저장 커패시터(105), 및 4개의 스위치(106, 1103, 1104 및 1105)의 형태의 출력 버퍼를 포함한다. 로우선택회로(202) 및 다른 하나의 컬럼회로(201)에 의해 하나가 제어되는 직렬연결된 2개의 스위치(1105 및 106)가 저장 커패시터(105) 상의 전압을 포토리셉터(104)의 출력 전압으로 설정하게 한다. 이 두 스위치의 직렬연결은 해당 로우선택회로가 활성인 픽셀만 아니고 컬럼회로에 의해 리셋될 수 있게 보장한다(이는 저장 커패시터(105) 상의 전압을 포토리셉터의 출력으로 셋팅하는 것을 의미한다).
컬럼회로(201)가 Vpr과 Vpr_last 간의 차가 소정의 임계치를 초과하는지를 결정하기 위해, 로우선택회로(202)는 스위치(1102 및 1105)를 닫은 다음 스위치 (1103)가 열려있는 동안 스위치(1104)가 닫힌다. 이는 컬럼회로가 포토리셉터의 출력을 판독하게 한다. 그 후, 스위치(1104)는 개방되고 스위치(1103)는 폐쇄되며, 컬럼회로는 커패시터(105)에 저장된 전압을 판독할 수 있다. 컬럼회로가 양 전압을 판독할 때, Vpr 및 Vpr_last 간의 차가 소정의 임계치를 초과하는지를 결정하고, 초과하면, 컬럼회로는 스위치(106)를 닫아 커패시터(105)상의 전압을 포토리셉터 출력의 전압으로 설정할 수 있다.
저장 커패시터(105)는 소스 팔로워 입력 트랜지스터(Msf)(1101)의 기생 커패시터보다 훨씬 큰 것이 바람직하다.
'글로벌 셔터'를 사용한 픽셀 구현 :
하나의 프레임의 스캐닝 동안 장면의 변화에 의해 야기되는 모션 아티팩트를 방지하기 위해, 몇몇 애플리케이션에 대해, 동일한 순간에 각 픽셀에 대한 포토리셉터 출력 전압(Vpr)을 전체적으로 샘플링하는 것이 유익할 수 있다. 도 12에는 Vpr을 전체적으로 샘플링할 수 있는 픽셀이 도시되어 있다. 도 11에 도시된 픽셀에 비해, 이 픽셀은 제 2 저장 커패시터 C2(501) 및 추가 스위치(502)를 포함한다. 추가 스위치는 C2와 포토리셉터 회로(104) 사이에 배치되며, Sample_now라고하는 글로벌 신호에 의해 제어된다. 이 추가 스위치(502)는 모든 픽셀에서 동시에 동작되는 것이 바람직하다.
전하-공유 효과를 줄이기 위해 추가 스위치를 갖는 픽셀 :
저장 커패시터(105)에 저장된 전압이 소스 팔로워 입력 트랜지스터(Msf)(1101)를 사용하여 판독될 때, 전하 공유라고 불리는 효과가 결과에 영향을 줄 수 있다. 저장 커패시터(105)를 연결하기 전에 Msf에 저장된 어떤 전하가 Msf의 게이트상의 최종 전압에 영향을 미친다.
전하 공유의 영향을 최소화할 필요가 있는 경우, 저장 커패시터들 중 하나를 선택하기 전에 알려진 기준 전압으로 Msf(1101)의 기생 커패시터를 리셋하는 것이 유리하다. 도 13을 참조하면, 이는 Msf의 게이트를 전압 소스(1301)에 연결하게 하는 추가 스위치(1302)를 추가함으로써 행해질 수 있다. 추가 스위치(1302)는 단시간 동안 닫히고, 다시 개방된 다음에 스위치(1103)를 닫음으로써 Msf가 저장 커패시터(105)에 연결된다.
로우선택회로 :
도 2의 a 또는 도 3의 a의 비전 센서의 로우선택회로(202)는 임의의 적합한 구성을 취할 수 있음을 알아야 한다. 도 14는 로우선택회로의 예시적인 구현을 도시한 것이다. 로우선택회로는 RowSelect 신호 세트에 의해 픽셀들의 행을 대응하는 컬럼회로(201)에 선택적으로 연결시킨다. 로우선택회로의 출력은 픽셀의 각 행에 대해 하나씩인 RowSelect 신호 세트이다. 행을 선택한다는 것은 이 행에 대한 RowSelect 신호가 활성화되는 반면, 다른 모든 행에 대한 RowSelect 신호는 비활성화된다는 것을 의미한다. 로우선택회로는 시프트 레지스터 스캔 회로를 형성하도록 직렬로 연결된 플립-플롭 세트(1400)로 구성될 수 있다.
로우선택회로는 하나의 행에서 다음 행으로 이동하는 것을 허용하는 클럭 입력을 가지며, 이는 현재의 활성 RowSelect 신호가 비활성으로 변경되는 반면, 다음 RowSelect 신호는 그 상태를 활성으로 변경됨을 의미한다.
로우선택회로는 현재 선택된 행의 어드레스(1402)를 인코딩하고 이 어드레스를 데이터 판독회로(203)로 출력하는 회로(1401)를 포함한다.
로우선택회로는 스캐닝 동안 행을 스킵하는 방식으로 구성될 가능성을 포함할 수 있다. 이 기능은 이른바 ROI(region-of-interest) 판독을 구현하는 데 사용된다.
도 3의 a에 도시된 것과 같은 비전 센서의 실시예에서, 시프트 레지스터(BitIn, Reset 및 Clock)에 대한 제어신호는 FSM(301)에 의해 제어될 수 있다.
컬럼회로 :
도 15를 참조하면, 임의의 비전 센서 실시예에서 사용될 수 있는 컬럼회로에 대한 가능한 구현예가 도시되어 있다. 컬럼회로는 이 열에서 현재 선택된 픽셀(101)의 Vpr과 Vpr_last 간의 차를 취하는 것을 허용하는 스위치식 커패시터 회로 SC(1501); 제 1 입력부가 제 1 임계 전압(1503)에 연결된 제 2 입력부가 Vdiff(1500)에 연결된 제 1 비교기 CP1(1502), 제 1 입력부가 Vdiff(1500)에 연결되고 제 2 입력부가 제 2 임계 전압(1505)에 연결된 제 2 비교기 CP2(1504); 및 논리회로 LC(1506)를 포함하고, 상기 회로(SC)는 이 차를 증폭해 전압 Vdiff(1500)을 생성할 수 있다: 제 1 비교기 CP1(1502) 및 제 2 임계 전압(1505)의 출력을 기초로, 상기 비교기 출력 중 하나가 포토리셉터(104) 출력 전압과 커패시터(105)에 저장된 전압 간의 차가 임계치 중 하나보다 크면, 이벤트가 발생된 것으로 간주된다. 이벤트의 경우, LC는 리셋신호(1508)에 의해 스위치(106)를 활성화하고 '이벤트' 출력 신호(1507)를 활성화한다.
선택적으로, 현재 선택된 픽셀의 포토리셉터(104) 출력(Vpr)을 디지털 숫자로 변환하기 위해 컬럼회로에 ADC가 제공될 수 있다.
스위치식 커패시터 회로 SC :
도 16을 참조하면, 이미지 센서에 사용되는 상관이중 샘플링(CDS) 회로에 기초한 SC 회로(1501)가 도시되어 있다. CDS 회로는 잘 알려져 있다.
SC 회로는 픽셀(101)의 PRO(401) 회로에 연결된 전류 소스(1600), 증폭기(1601), 2개의 커패시터(CS1(1602) 및 CS2(1603)), 및 신호(Phi1, Phi1d 및 Phi2)에 의해 제어되는 3개의 스위치로 구성된다.
이 구현에서, Vpr과 Vpr_last 간의 차가(1500)는 커패시터 비(比)(
Figure 112018084062474-pct00003
)에 의해 증폭된다.
픽셀이 Vpr을 출력하도록 구성되는 동안, Phi1 및 Phi1d는 활성상태이며 해당 스위치는 닫힌 반면, Phi2는 비활성 상태이며 해당 스위치가 열린다. 그런 후, Phi1이 비활성 상태가 되고 해당 스위치가 열린다. 이후 Phi1d가 비활성 상태가 되고 해당 스위치가 열린다. 그러 다음, Phi2가 활성화되고 해당 스위치가 닫힌다. 그런 다음, 픽셀은 Vpr_last를 출력하도록 구성된다. 안정화 시간 후에, 회로의 출력(1500)은 Vpr과 Vpr_last 사이의 증폭된 차에 대응할 것이다.
도 3의 a에 도시된 바와 같은 비전 센서의 실시예에서, (도 16의 좌측 하부에 도시된) Phi1, Phi1d 및 Phi2의 파형은 FSM(301)에 의해 제어될 수 있다.
논리회로 LC 구현 :
도 17에 도시된 바와 같이, LC 회로(1506)의 기본적인 구현은 2개의 비교기(CP1(1502) 및 CP2(1504))의 출력을 결합하는 OR-게이트(1700)로 구성된다. 비교기 중 하나가 Vpr과 Vpr_last의 차가 해당 임계치보다 큰 것을 알릴 경우 OR의 출력이 높다. OR 게이트의 출력은 래치 신호(Latch signal)의 상승 에지에서 플립-플롭(1701)에 저장된다. 플립-플롭은 Reset이라는 신호로 리셋될 수 있다. 플립-플롭의 출력은 이벤트(1507)를 나타내고 데이터 판독회로(203)로 가며, 또한 제어신호(ResPix_FSM)와 AND 연산(1702)되어 이 열의 픽셀로 진행해 제 1 스위치(106)를 제어하는 픽셀 리셋신호(1508)를 생성한다.
도 3의 a에 도시된 바와 같은 비전 센서의 실시예에서, 제어신호(Latch, Reset 및 ResPix_FSM)의 파형은 FSM(301)에 의해 제어될 수 있다.
극성 출력을 갖는 논리회로(LC) 구현 :
센서가 조도 변화의 극성(광강도가 증가 또는 감소했는지 여부)을 출력하는 것이 필요한 경우, 도 18에 도시된 LC 회로가 사용될 수 있다. 이 회로는 래치 신호의 상승 에지 상에 비교기 CP1(1502) 및 CP2(1504)의 출력을 저장하기 위한 2개의 플립-플롭(1801, 1802)으로 구성된다. 플립-플롭의 출력은 이 LC 회로 구현의 출력(1507)을 정의하며, 따라서 상기 출력은 데이터 판독회로(203)로 가는 2개의 신호로 구성된다. 이들 신호(EventOn) 중 하나는 증가하는 광강도를 나타내고, 다른 하나(EventOff)는 감소하는 광강도를 나타낸다. 입력이 플립-플롭의 출력에 연결되고 출력이 AND-게이트(1804)에 연결된 OR-게이트(1803)가 있다. AND-게이트의 제 2 입력은 글로벌 제어신호(ResPix_FSM)이다. AND 게이트의 출력(1508)은 대응하는 열의 픽셀에 있는 제 1 스위치(106)를 제어한다.
데이터 판독회로 :
도 2의 a 또는 도 3의 a의 비전 센서에 제공된 데이터 판독회로(203)는 임의의 적합한 구성을 취할 수 있음을 알아야 한다. 도 19 및 도 20은 도 2의 a 또는 도 3의 a에 도시된 비전 센서의 실시예에 대한 데이터 판독회로의 예시적인 구현을 제공한다.
데이터 판독회로는 이벤트가 발생한 이들 픽셀의 어드레스를 판독할 수 있게 한다. 이를 위해, 행마다, 해당 행의 어드레스가 출력될뿐만 아니라 이벤트가 래치된 모든 열의 어드레스가 출력된다.
도 19에 도시된 바와 같이, 데이터 판독회로는 통신 버스(1900); 칼럼 어드레스를 인코딩하는 칼럼 어드레스 인코더 회로(1903); 상기 인코더 회로(1903)를 통신 버스에 연결시키게 하는 스위치(1904); 로우 어드레스(1402)를 통신 버스에 연결시키게 하는 스위치(1905)를 포함한다.
데이터 판독회로는, 각각의 컬럼회로(201)에 대해, 이 칼럼의 이벤트(1507)의 경우 요청 신호에 의해 통신 버스상의 자신의 어드레스를 송신하기 위해 중재 회로(1902)에 요청하는 중재논리회로(이후, arblogic 회로라 함)(1901)를 더 포함한다. 어드레스를 송신한 다음, 이 회로는 요청 신호를 디스에이블한다. 중재 회로(1902)는 이벤트를 전송하기를 원하는 모든 arblogic 회로들(1901) 사이를 중재한다.
픽셀들의 행에서 모든 이벤트들을 전송하기 위해, 먼저 로우 어드레스(1402)가 스위치(1905)에 의해 통신 버스(1900)에 연결된다. 일단 로우 어드레스가 전송되면, 칼럼 어드레스 인코더(1903)가 스위치(1904)에 의해 통신 버스(1900)에 연결된다. 현재 모든 활성 이벤트 비트들(컬럼회로(201)의 출력(1507))이 arblogic 회로(1901)에 저장된다. 활성 이벤트 비트들를 갖는 arblogic 회로는 통신 버스에 대한 액세스를 위해 중재 회로(1902)에 요청한다. 중재 회로는 더 이상 arblogic 회로가 요청되지 않고 모든 이벤트 열 어드레스가 전송될 때까지 확인 신호에 의해 모든 요청 arblogic 회선에 대한 액세스를 순차적으로 허용한다.
그런 후, 다음 행에 대한 이벤트 전송을 시작될 수 있다.
로우선택회로와 마찬가지로, 중재 회로는 ROI 판독을 허용하기 위해 열을 스킵할 가능성을 포함할 수 있다.
토큰-기반 판독회로 :
데이터 판독회로의 다른 구현예는 도 20에 도시된 바와 같은 토큰 판독회로 일 수 있다.
토큰-판독회로는 전송할 값을 갖는 이 어셈블리의 컬럼회로의 적어도 일부에 포함된 값을 판독하기 위한 수단, 및 통신 버스를 통해 읽은 값의 연이은 전송을 위한 중재회로를 포함한 통신 버스를 통해 이 정보를 전송하기 위해 통신 버스에 연결된 컬럼회로들의 어셈블리에서 활성 이벤트 비트들을 판독하기 위한 회로로서, 상기 중재 회로는 상기 컬럼회로의 각각에 할당된 적어도 하나의 복수의 처리 블록들(X0, X1, X2, X3)을 포함하고, 상기 복수의 처리 블록들 각각의 처리 블록(X0, X1, X2, X3)은, 상기 값들을 전송하는 과정에서, 판독 값의 전송을 위한 복수의 고유의 인증신호를 한 블록에서 다음 블록으로 전송하며, 상기 인증 신호는 한 처리 블록으로부터 후속하는 블록으로 지날 때 전송할 정보의 아이템(이벤트)을 갖는 상기 복수의 처리 블록과 관련된 상기 컬럼회로 중 이들을 감지하고, 적용 가능한 경우, 상기 정보를 상기 통신 버스에 연이어 전송하게 할 수 있다.
도 20의 좌측에 도시된 바와 같이, 1 또는 0 값에 따라 주어진 처리 블록에 대한 토큰의 이용가능성 또는 이용불가능성을 나타내는 j_in 신호는 대응하는 D 플립-플롭(30)을 우회하도록 스위치되며, 컬럼회로가 전송할 값이 있는지에 따라 정지 신호의 1 또는 0 값에 따라 논리회로(32) 및 인버터(34)를 사용하여 D 플립-플롭(30)의 출력 j_out에 직접 입력 j_in을 전송한다.
j_in 신호가 1이면, D 플립-플롭(30)의 입력에 대한 이 토큰은 클록신호 CK의 상승 에지에서 D 플립-플롭에 저장되고 또한 래치에 공급된다. D 플립-플롭의 엔트리는 또한 대응하는 픽셀 선택 신호로서 사용될 수 있다. 따라서, 선택 신호(sel)는 D 플립-플롭(30)의 입력에 직접 연결된다.
D 플립-플롭(30)의 선택 신호(sel) 및 출력 신호(Q)는 신호(j_stop)를 출력하는 AND 게이트(36)에 입력된다. 이 j_stop 신호는 토큰이 D 플립-플롭의 입력에 있을 때 1로 가고, 칩이 샘플링될 때, 즉 D 플립-플롭 메모리(30)에서 업데이트될 때 0으로 복귀한다.
도 20의 우측 부분은 토큰이 전파되는 시프트 레지스터가 이 동일한 도 20의 좌측 부분에 도시된 것과 같은 블록(X0 내지 X3)의 케스케이딩에 의해 어떻게 달성 될 수 있는지를 도시한 것이다.
블록(X0)은 시프트 레지스터에 토큰을 주입하는데 사용되는 D 플립-플롭의 Q 출력에 연결된 입력(j_in)을 갖는다.
시프트 레지스터를 초기화하기 위해, 시프트 레지스터의 각 D 플립-플롭의 대응하는 입력에 리셋신호 1이 전송되어, 리셋될 수 있고, 토큰이 제 1 D 플립의 입력에 위치될 수 있다.
도 20에 도시된 예에서, 블록(X0, X1 및 X3)에 각각 대응하는 컬럼회로는 전송될 값을 갖는다(대응 신호 stop0, stop1 및 stop3은 1이다). X2에 해당하는 컬럼회로는 전송할 값이 없다(stop2는 0이다).
토큰이 블록(X0)의 입력에 놓이면, stop0 신호가 1이기 때문에, sel0 신호는 1로 간다. 시프트 레지스터의 모든 D 플립-플롭들에 전송된 클록신호(ck)의 제 1 상승 에지에서, 블록(X0)의 해당 픽셀은 통신 버스를 통해 그 값을 전송하고 sel0 신호는 0으로 가며 블록(X1)의 입구에서 토큰을 전달한다. 그런 다음, Sel1 신호는 stop1이 1일때 1로 간다. 클록신호(ck)의 다음 상승 에지에서, 블록(X1)에 해당하는 픽셀은 통신 버스를 통해 그 값을 전송하고 sel1 신호는 0으로 가며 stop2이 0일때 토큰을 블록(X3)의 입력으로 직접 전달한다. 보다 일반적으로, sel_i 신호가 1 일 때, 통신 버스는 블록(Xi)에 대응하는 컬럼회로에 이용 가능하다.
제어 FSM :
도 3의 a에 도시된 바와 같이, 제안된 비전 센서의 실시예는 센서를 제어하는 FSM(finite state machine)(301)을 포함할 수 있다. 이는 FSM이 로우선택회로(202)를 제어함을 의미하며; 컬럼회로(201) 및 또한 데이터 판독회로(203)를 제어한다. FSM은 센서 칩상의 FIFO(302)에 이벤트 어드레스의 기록을 제어한다. 특히 FSM은 픽셀 및 컬럼회로에서 스위치를 작동하는 모든 신호를 제어한다.
FSM은 컴퓨터 프로그램 및 순차 논리회로 모두를 설계하는데 사용되는 계산의 수학적 모델이다. 이는 유한 개수의 상태 중 하나에 있을 수 있는 추상 기계로 인식된다. 기계는 한 번에 하나의 상태에만 있다; 주어진 시간에 있는 상태를 현재 상태라 한다. 이는 트리거 이벤트 또는 조건에 의해 시작될 때 한 상태에서 다른 상태로 변경할 수 있다; 이를 전환이라 한다. 특정 FSM은 상태 리스트와 각 전환에 대한 트리거 조건에 의해 정의된다.
FSM의 구현은 상태 리스트 및 트리거링 조건에서 정의된 수식을 구현하는 레지스터 및 논리 게이트들의 세트이다.
도 21은 제안된 비전 센서의 실시예에서 사용될 수 있는 제어 FSM의 상태 및 전환을 추상적인 방식으로 도시한 것이다.
도 22를 참조하면, 제어 FSM에서 나온 상이한 신호의 타임라인이 도시되어 있다. 신호(Row Scan Clock)는 로우선택회로(202)를 제어하고, Sel_last는 스위치(1103)을 제어하고, Sel_now는 스위치(1104)를 제어한다. 신호(Latch, Reset 및 ResPix_FSM)는 LC 회로(1506)로 가고, 신호(Data readuout)는 데이터 판독회로 (203)를 인에이블시킨다.
픽셀 전압과 이벤트 비트 판독을 샘플링하고 비교하는 것이 파이프라인될 수 있는데, 이는 현재 선택된 행으로부터의 전압이 샘플링되는 동안 마지막 행으로부터의 이벤트 비트가 판독된다는 것을 의미한다. 이는 '이벤트' 비트(컬럼회로에서의 출력)가 데이터 판독회로에 저장되어야 함을 의미한다.
FIFO :
도 3의 a에 도시된 바와 같이, 제안된 비전 센서의 일실시예는 선입선출(FIFO) 메모리 버퍼(302)를 포함할 수 있다. 선입선출(FIFO) 메모리 버퍼는 데이터가 메모리에 기록된 순서와 정확히 동일한 순서로 읽혀지는 메모리다. 이는 수신기가 메모리 판독요청을 가능하게 할 때, 먼저 작성된 것이 또한 먼저 판독되는 데이터 워드를 의미한다.
FIFO는 하드웨어와 소프트웨어 간의 버퍼링 및 흐름 제어를 위해 전자회로에 공통으로 사용된다. 하드웨어 형태로, FIFO는 주로 읽기 및 쓰기 포인터 세트, 저장장치 및 제어 논리로 구성된다. 저장장치는 SRAM(Static Random Access Memory), 플립-플롭, 래치 또는 다른 적절한 저장장치 형태일 수 있다. 크기가 작지 않은 FIFO의 경우, 일반적으로 한 포트는 쓰기 전용이고 다른 포트는 읽기 전용인 듀얼 포트 SRAM이 사용된다.
센서 개념 및 작동 :
제안된 센서는 머신 비전 환경에서 사용되며, 이는 센서의 출력이 예를 들어 센서 시스템의 위치 및 움직임을 계산하기 위해 일종의 알고리즘이 실행되는 일종의 프로세서로 (직접 또는 간접적으로) 이동한다는 것을 의미한다.
제안된 센서는 종래의 이미지 센서와 같이 이미지를 출력하지 않는다. (이 픽셀의 광강도를 나타내는 값을 의미하는) 픽셀 값은 선택적으로 프로세서에 출력될 수 있다; 그 대신, 변화가 감지된 픽셀의 어드레스가 전송된다. 시간상 현재와 이전 간의 변화를 감지하기 위해, 각 픽셀은 시간상 이전 순간의 광강도 표현(illum_last라고 함)을 저장한다.
센서는 행 및 열로 구성된 픽셀 어레이로 구성된다. 이벤트를 감지하기 위해, 한 행의 픽셀이 선택되어야 하고 이 행의 각 픽셀에 대해 illum_last를 나타내는 전압과 현재의 조도가 주변 회로로 전송되며, illum_last와 현재 조도를 나타내는 전압 간의 차가 계산된다. 이들 전압의 차가 임계치를 초과하면, 이 픽셀의 어드레스(및 선택적으로 현재의 조도를 나타내는 값)가 출력되고, illum_last가 이 픽셀에 대한 현재의 조도로 설정된다. 현재 선택된 행에 대해 이 프로세스가 완료되면, 이 행은 선택되지 않고 다음 행이 선택된다. 이와 같이 전체 센서가 스캔된다. 센서의 한번의 전체 스캔을 프레임이라 한다. 전체 프레임을 스캔하는 속도를 프레임 속도라 한다.
조도를 나타내는 픽셀 전압의 판독 및 임계치에 대한 픽셀 전압의 비교뿐만 아니라 이벤트 발생시 픽셀을 리셋하는 것은 행-병렬 방식으로 발생한다. 이는 행에 있는 모든 픽셀들이 로우선택회로에 의해 선택되고 해당 컬럼회로에 연결된다. 모든 컬럼회로는 동시에 전압 차이를 계산하고 최종적으로 임계치과 픽셀 리셋에 대한 비교를 수행한다.
시퀀스는 또한 더 높은 프레임 속도를 달성하기 위해 파이프라인될 수 있다. 여기에서 파이프라인된다는 것은 행의 픽셀에 대한 샘플링 및 차이를 계산하는 것이 발생하는 동안, 이전 행의 어드레스(및 잠재적으로 값)가 판독되고 해당 픽셀이 리셋된다는 것을 의미한다. 잠재적인 ADC 변환은 샘플링과 판독 사이의 추가 파이프라인 단계일 수 있다.
이 제안된 센서는 출력 데이터의 리던던시를 크게 감소시키기 때문에, 프로세싱 단계의 부하가 감소된다. 그리고, 이 센서는 각 픽셀 및 각 프레임에 대해 멀티 비트 아날로그-디지털 컨버터(ADC)로 픽셀 레벨 전압을 변환할 필요가 없기 때문에, 전송할 데이터의 양이 줄어 든다. 따라서, 센서는 동일한 해상도와 동일한 전력 예산으로 종래의 이미지 센서보다 높은 프레임 속도로 작동할 수 있다. 이는 두 프레임 간의 움직임이 더 작고 따라서 시각적 랜드마크 매칭이 더 쉽기 때문에 사후 처리를 용이하게 한다.
수학식 :
센서 개념을 보다 잘 설명하기 위해; 다음은 센서를 설명하는 몇 가지 기본 수식이다. 시간 t에서의 조도를 나타내는 전압은 다음과 같이 주어진다.
(4) Vpr(t) = f(Int(t))
여기서, Int(t)는 시간 t에서의 조도이고, f(.)는 픽셀 포토리셉터 회로(104)의 구현에 따른 함수이다. 전압은 이산 시간에서 샘플링된다.
(5) Vpr(tn) = f(Int(tn))
(6) tn = n * tframe
tn은 n번째 프레임의 샘플링 시간을 나타내며, tframe은 프레임 속도의 역수이다. 각 프레임에서, 현재 Vpr과 마지막 이벤트 시간에서 Vpr의 차이를 계산하며, 이 시간을 tl이라 한다. 차이를 Vdiff라고 하며 잠재적으로 A 요인에 의해 증폭된다:
(7)
Figure 112018084062474-pct00004
(8)
Figure 112018084062474-pct00005
이는 Vdiff가 광강도의 미분에 대한 적분임을 의미한다. 즉, 광강도의 변화를 누적하는 것을 의미한다. Vdiff가 임계치보다 큰 경우 이벤트가 생성된다:
(9)
Figure 112018084062474-pct00006
(10)
Figure 112018084062474-pct00007
VthresOn이 0보다 크면 VthresOff는 0보다 작다. EventOn 또는 EventOff가 1이면, 픽셀은 리셋되고 이후의 프레임에서 비교를 위해 Vpr(tn)이 저장된다.
로그 포토리셉터에 대한 예제 수식 :
더 나은 이해를 위한 예로서, 다음 수식에 대해, 센서가 광강도의 로그에 비례하는 양을 저장한다고 가정하는데, 이는 바람직한 구현이기 때문이다.
광강도를 인코딩한 전압이 이산 시간에 판독된다 :
(11)
Figure 112018084062474-pct00008
여기서 k1과 k2는 상수이다. 이벤트가 발생했는지 결정하기 위해, 마지막 이벤트(tl)의 시점에서 Vpr(tn)과 Vpr의 차를 계산한다.
(12)
Figure 112018084062474-pct00009
(13)
Figure 112018084062474-pct00010
로그 강도 인코딩의 경우, 센서는 강도의 상대적인 변화에 반응한다는 것을 알 수 있는데, 이는 센서가 바람직한 실시예가 되는 이유인 조도 레벨과 무관하게 장면 반사율 변화에 반응한다는 것을 의미하기 때문에 유용하다. 수식(5)으로부터 다음을 얻는다:
(14)
Figure 112018084062474-pct00011
따라서, Vdiff는 광강도에 의해 정규화된 광강도의 미분이고, 마지막 이벤트와 현재의 시간 간에 적분된다. 적분을 풀면 다시 수식(9)이 된다. Vdiff가 임계치VthresON 보다 큰 경우 다음을 의미한다:
(15)
Figure 112018084062474-pct00012
따라서, 센서는 광강도에 충분한 상대적 변화가 있을 경우 이벤트를 생성한다. VthresOff의 수식도 유사하다.
하기에서는, 센서 개념을 보다 단순한 방법으로 설명하기 위해 광강도가 일정한 미분으로 변한다고 가정한다. 이는 다음을 의미한다:
(16)
Figure 112018084062474-pct00013
(17)
Figure 112018084062474-pct00014
Vdiff(n) 값이 (강도의 양의 미분값에 대해) VthresOn보다 큰 경우 이벤트가 생성된다.
(18)
Figure 112018084062474-pct00015
수식(15)의 왼쪽은
Figure 112018084062474-pct00016
에 의해 주어진 비율로 n이 증가함에 따라 단조 증가한다. 이는, 강도의 미분값이 큰 경우, 몇 프레임내에 임계치에 도달할 수 있는 반면, 미분값이 작은 경우 임계치에 도달하는 데 매우 많은 프레임이 필요하고, 프레임에서 다음 프레임으로의 작은 변화가 임계치에 도달할 때까지 누적되는 것을 의미한다.

Claims (15)

  1. 픽셀들의 행 및 열을 포함하는 픽셀 어레이; 및
    상기 어레이 내의 픽셀에 선택적으로 전자적으로 연결될 수 있도록 구성된 회로(102)를 구비하고,
    각각의 픽셀(101)은 상기 어레이 내의 상기 픽셀의 위치를 나타내는 할당된 어드레스를 가지며, 상기 픽셀 어레이 내의 각 픽셀은 광을 수광할 수 있고 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드(103); 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하도록 구성된 포토리셉터 회로(104); 제 1 저장 커패시터(105); 및 상기 제 1 저장 커패시터(150)와 상기 포토리셉터 회로(104)의 출력 사이에 위치된 적어도 하나의 제 1 스위치(106)를 포함하며, 상기 제 1 스위치(106)는 선택적으로 폐쇄되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터에 전자적으로 연결시키거나, 선택적으로 개방되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터로부터 전자적으로 분리시킬 수 있고,
    상기 회로는 상기 포토리셉터 회로로부터의 출력 전압과 광강도(Vpr_last)의 이전 값인 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 더 큰지 결정하며, 상기 포토리셉터 회로로부터 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 픽셀의 어드레스를 수신기에 출력하도록 구성되는 비전 센서로서,
    상기 회로는 상기 제 1 스위치를 닫도록 더 구성되어 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 포토리셉터 회로의 출력이 상기 제 1 저장 커패시터에 전자적으로 연결되어, 상기 저장 커패시터에 저장된 광강도(Vpr_last)의 이전 값이 광강도의 새 현재 값으로 업데이트되고;
    상기 회로(102)는:
    픽셀 어레이내 픽셀의 열 개수에 해당하는 컬럼회로의 개수를 갖는 복수의 컬럼회로(201);
    행내의 픽셀들 모두를 각각의 컬럼회로에 선택적으로 연결할 수 있어 상기 행내의 모든 픽셀들이 동시에 상기 복수의 컬럼회로(201)에 연결되어, 행내의 픽셀들(101) 각각에 대해, 포토리셉터 회로(104)로부터의 출력 전압과 이들 픽셀들 각각의 제 1 저장 커패시터(105) 양단의 전압 간의 차가 동시에 결정될 수 있도록 구성된 로우선택회로(202); 및
    상기 포토리셉터 회로(104)로부터의 출력 전압과 상기 제 1 저장 커패시터(105) 양단의 전압 간의 차가 상기 사전정의된 임계 전압보다 큰 경우, 픽셀(101)의 어드레스를 수신기에 전송하는 판독회로(203)를 더 포함하고,
    한 픽셀(101)에서, 상기 포토리셉터 회로(104)로부터의 출력 전압과 상기 픽셀의 제 1 저장 커패시터(105) 양단의 전압 간의 차가 상기 사전정의된 임계 전압보다 큰 지 상기 각각의 컬럼회로(201)가 결정하도록 구성되고,
    각각의 컬럼회로(201)는:
    픽셀의 상기 커패시터(105) 양단의 전압과 상기 픽셀의 포토리셉터 회로(104)로부터 출력 전압 간의 차를 결정하고, 상기 차를 나타내는 신호(1500)를 출력하는 수단(1501); 및
    제 1 비교기(1502) 및 제 2 비교기(1504)를 더 포함하고,
    상기 제 1 비교기 및 제 2 비교기 각각은 상기 차를 결정하기 위한 상기 수단(1501)에 각각 연결되어, 상기 제 1 및 제 2 비교기 각각이 상기 차를 나타내는 신호(1500)를 수신하며,
    상기 제 1 비교기(1502)는 수신한 신호(1500)를 사전정의된 제 1 임계치(1503)와 비교하고, 상기 신호가 상기 제 1 임계치보다 크면 상기 제 1 스위치(106)를 닫도록 구성되고, 상기 제 2 비교기(1504)는 수신한 신호(1500)를 사전정의된 제 2 임계치(1505)와 비교하고, 상기 신호가 상기 제 2 임계치보다 크면 상기 제 1 스위치(106)를 닫도록 구성되는 비전 센서.
  2. 제 1 항에 있어서,
    상기 회로(102)는 상기 포토리셉터 회로(104)로부터의 출력 전압을 상기 수신기에 출력하거나, 상기 포토리셉터 회로(104)로부터의 출력 전압을 나타내는 디지털 값을 상기 수신기에 출력하도록 더 구성되는 비전 센서.
  3. 제 1 항에 있어서,
    상기 판독회로(203)는 상기 포토리셉터 회로(104)로부터의 출력 전압과 상기 제 1 저장 커패시터(105) 양단의 전압 간의 차가 상기 사전정의된 임계 전압보다 더 크다고 결정된 행에 있는 상기 픽셀(101)의 어드레스를 연속적으로 수신기에 전송하도록 구성된 비전 센서.
  4. 제 1 항에 있어서,
    상기 어레이 내의 픽셀들의 각 행은 할당된 각각의 로우 어드레스를 가지며, 로우선택회로(202)의 출력이 판독회로(203)에 연결되고, 상기 행의 적어도 하나의 픽셀(101)에서 포토리셉터 회로(104)로부터 출력 전압과 상기 픽셀의 제 1 저장 커패시터(105) 양단의 전압 간의 차가 사전정의된 임계 전압보다 크다고 결정된 경우 상기 로우선택회로(202)는 상기 행의 로우 어드레스를 상기 판독회로(203)에 출력하여, 상기 판독회로(203)가 픽셀의 어드레스를 수신기에 전송할 수 있도록 구성되며,
    어레이 내의 픽셀의 각 열은 할당된 각각의 컬럼 어드레스를 가지며,
    상기 판독회로(203)는 상기 픽셀의 열에 대응하는 상기 컬럼회로(201)가 상기 열의 적어도 하나의 픽셀에서 상기 포토리셉터 회로(104)로부터 출력 전압과 상기 픽셀의 상기 제 1 저장 커패시터(105)의 양단의 전압간의 차가 사전정의된 임계 전압보다 크다고 결정하면, 상기 판독회로(203)가 픽셀(101)의 어드레스를 수신기에 전송할 수 있도록 어레이 내의 열의 컬럼 어드레스를 식별하도록 더 구성되는 비전 센서.
  5. 제 1 항에 있어서,
    각각의 픽셀(101)은 소스 팔로워(source follower) 트랜지스터(1101) 형태의 버퍼를 더 포함하는 비전 센서.
  6. 제 5 항에 있어서,
    상기 제 1 커패시터(105)와 상기 소스 팔로어 트랜지스터(1101)의 게이트 사이에 적어도 하나의 다른 스위치(1103)가 더 제공되고, 상기 포토리셉터 회로(104)의 출력과 상기 소스 팔로어 트랜지스터(1101)의 상기 게이트 사이에 다른 스위치(1104)가 제공되는 비전 센서.
  7. 제 1 항에 있어서,
    상기 픽셀 어레이의 각각의 픽셀(101)은 제 2 저장 커패시터(501), 및 상기 제 2 저장 커패시터(501)와 포토리셉터(104)의 출력 사이에 위치된 스위치(502)를 더 포함하고, 상기 스위치(502)는 상기 포토리셉터 회로(104)의 출력을 제 2 저장 커패시터(501)에 전자적으로 연결하도록 선택적으로 폐쇄될 수 있거나, 포토리셉터 회로(104)의 출력을 제 2 저장 커패시터(501)로부터 전자적으로 차단하기 위해 선택적으로 개방될 수 있는 비전 센서.
  8. 제 7 항에 있어서,
    각각의 픽셀(101)은 소스 팔로워 트랜지스터(1101) 형태의 버퍼를 더 포함하고, 상기 제 1 커패시터(105)와 상기 소스 팔로워 트랜지스터(1101)의 게이트 사이에 적어도 하나의 추가 스위치(1103)가 제공되고, 상기 제 2 저장 커패시터(501) 및 소스 팔로워 트랜지스터(1101)의 게이트 사이에 적어도 하나의 다른 스위치(1104)가 제공되는 비전 센서.
  9. 제 1 항에 따른 비전 센서를 이용한 비전 감지 방법으로서,
    (a) 어레이 내의 픽셀(101)에 회로(102)를 선택적으로 전자적으로 연결시키는 단계;
    (b) 포토리셉터 회로(104)로부터의 출력 전압과 픽셀의 제 1 저장 커패시터(105) 양단 간의 전압 차가 사전정의된 임계 전압보다 큰지를 결정하는 단계; 및
    (c) 포토리셉터 회로(104)로부터 출력 전압과 광강도(Vpr_last)의 이전 값인 제 1 저장 커패시터(105) 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 픽셀의 어드레스를 수신기에 출력하는 단계; 및
    (d) 상기 포토리셉터 회로(104)의 출력 전압과 상기 제 1 저장 커패시터(105) 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 상기 포토리셉터 회로(104)의 출력이 상기 제 1 저장 커패시터(105)에 전자적으로 연결되어, 상기 저장 커패시터(105)에 저장된 상기 광강도(Vpr_last)의 이전 값이 새로운 현재의 광강도 값으로 업데이트되도록 상기 제 1 스위치를 폐쇄하는 단계를 포함하는 비전 센서를 이용한 비전 감지 방법.
  10. 제 9 항에 있어서,
    상기 비전 센서는 픽셀 어레이 내에 있는 픽셀의 열 개수에 해당하는 컬럼회로의 개수를 갖는 복수의 컬럼회로(201)를 포함하며,
    각 컬럼회로는 픽셀(101)에서 상기 포토리셉터 회로(104)의 출력 전압과 상기 픽셀의 상기 제 1 저장 커패시터(105) 양단의 전압 차가 상기 사전정의된 임계 전압보다 큰지 결정하도록 구성되고;
    상기 비전 센서는 또한, 포토리셉터 회로(105)로부터의 출력 전압과 제 1 저장 커패시터(105) 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우, 픽셀의 어드레스를 수신기에 전송하기 위한 판독회로(203)를 포함하며,
    상기 방법은 행 내의 모든 픽셀이 상기 복수의 컬럼회로에 동시에 연결되도록 행에 있는 모든 픽셀을 각각의 컬럼회로(201)에 연결하는 단계;
    포토리셉터 회로(104)로부터의 출력 전압 및 픽셀의 제 1 저장 커패시터(105)의 양단의 전압 간의 차를 행 내의 각 픽셀에 대해 동시에 결정하는 단계; 및
    상기 포토리셉터 회로(104)로부터 출력 전압과 상기 제 1 저장 커패시터(105) 양단의 전압 간의 차가 사전정의된 임계 전압보다 크다고 결정된 행의 픽셀의 어드레스를 연속적으로 수신기에 전송하는 단계를 포함하는 비전 센서를 이용한 비전 감지 방법.
  11. 제 9 항에 있어서,
    상기 단계(c)는 상기 포토리셉터 회로(104)로부터의 출력 전압 또는 상기 포토리셉터 회로(104)로부터의 출력 전압을 나타내는 디지털 값 중 어느 하나를 상기 수신기에 출력하는 단계를 더 포함하는 비전 센서를 이용한 비전 감지 방법.
  12. 픽셀들의 행 및 열을 포함하는 픽셀 어레이; 및
    상기 어레이 내의 픽셀에 선택적으로 전자적으로 연결될 수 있도록 구성된 회로(102)를 구비하고,
    각각의 픽셀(101)은 상기 어레이 내의 상기 픽셀의 위치를 나타내는 할당된 어드레스를 가지며, 상기 픽셀 어레이 내의 각 픽셀은 광을 수광할 수 있고 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드(103); 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하도록 구성된 포토리셉터 회로(104); 제 1 저장 커패시터(105); 및 상기 제 1 저장 커패시터(150)와 상기 포토리셉터 회로(104)의 출력 사이에 위치된 적어도 하나의 제 1 스위치(106)를 포함하며, 상기 제 1 스위치(106)는 선택적으로 폐쇄되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터에 전자적으로 연결시키거나, 선택적으로 개방되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터로부터 전자적으로 분리시킬 수 있고,
    상기 회로는 상기 포토리셉터 회로로부터의 출력 전압과 광강도(Vpr_last)의 이전 값인 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 더 큰지 결정하며, 상기 포토리셉터 회로로부터 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 픽셀의 어드레스를 수신기에 출력하도록 구성되는 비전 센서로서,
    상기 회로는 상기 제 1 스위치를 닫도록 더 구성되어 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 포토리셉터 회로의 출력이 상기 제 1 저장 커패시터에 전자적으로 연결되어, 상기 저장 커패시터에 저장된 광강도(Vpr_last)의 이전 값이 광강도의 새 현재 값으로 업데이트되고;
    각각의 픽셀(101)은 소스 팔로워(source follower) 트랜지스터(1101) 형태의 버퍼를 더 포함하고;
    상기 제 1 커패시터(105)와 상기 소스 팔로어 트랜지스터(1101)의 게이트 사이에 적어도 하나의 다른 스위치(1103)가 더 제공되고, 상기 포토리셉터 회로(104)의 출력과 상기 소스 팔로어 트랜지스터(1101)의 상기 게이트 사이에 다른 스위치(1104)가 제공되는 비전 센서.
  13. 제 12 항에 따른 비전 센서를 이용한 비전 감지 방법으로서,
    (a) 어레이 내의 픽셀(101)에 회로(102)를 선택적으로 전자적으로 연결시키는 단계;
    (b) 포토리셉터 회로(104)로부터의 출력 전압과 픽셀의 제 1 저장 커패시터(105) 양단 간의 전압 차가 사전정의된 임계 전압보다 큰지를 결정하는 단계; 및
    (c) 포토리셉터 회로(104)로부터 출력 전압과 광강도(Vpr_last)의 이전 값인 제 1 저장 커패시터(105) 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 픽셀의 어드레스를 수신기에 출력하는 단계; 및
    (d) 상기 포토리셉터 회로(104)의 출력 전압과 상기 제 1 저장 커패시터(105) 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 상기 포토리셉터 회로(104)의 출력이 상기 제 1 저장 커패시터(105)에 전자적으로 연결되어, 상기 저장 커패시터(105)에 저장된 상기 광강도(Vpr_last)의 이전 값이 새로운 현재의 광강도 값으로 업데이트되도록 상기 제 1 스위치를 폐쇄하는 단계를 포함하는 비전 센서를 이용한 비전 감지 방법.
  14. 픽셀들의 행 및 열을 포함하는 픽셀 어레이; 및
    상기 어레이 내의 픽셀에 선택적으로 전자적으로 연결될 수 있도록 구성된 회로(102)를 구비하고,
    각각의 픽셀(101)은 상기 어레이 내의 상기 픽셀의 위치를 나타내는 할당된 어드레스를 가지며, 상기 픽셀 어레이 내의 각 픽셀은 광을 수광할 수 있고 수광된 광의 강도에 비례하는 진폭을 갖는 전류를 출력할 수 있는 포토다이오드(103); 상기 포토다이오드에 전자적으로 연결되고, 상기 포토다이오드로부터 수신한 전류를 전압으로 변환하도록 구성된 포토리셉터 회로(104); 제 1 저장 커패시터(105); 및 상기 제 1 저장 커패시터(150)와 상기 포토리셉터 회로(104)의 출력 사이에 위치된 적어도 하나의 제 1 스위치(106)를 포함하며, 상기 제 1 스위치(106)는 선택적으로 폐쇄되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터에 전자적으로 연결시키거나, 선택적으로 개방되어 상기 포토리셉터 회로의 출력을 상기 제 1 저장 커패시터로부터 전자적으로 분리시킬 수 있고,
    상기 회로는 상기 포토리셉터 회로로부터의 출력 전압과 광강도(Vpr_last)의 이전 값인 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 더 큰지 결정하며, 상기 포토리셉터 회로로부터 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 픽셀의 어드레스를 수신기에 출력하도록 구성되는 비전 센서로서,
    상기 회로는 상기 제 1 스위치를 닫도록 더 구성되어 상기 포토리셉터 회로로부터의 출력 전압과 상기 제 1 저장 커패시터 양단의 전압 간의 차가 사전정의된 임계 전압보다 큰 경우에만 상기 포토리셉터 회로의 출력이 상기 제 1 저장 커패시터에 전자적으로 연결되어, 상기 저장 커패시터에 저장된 광강도(Vpr_last)의 이전 값이 광강도의 새 현재 값으로 업데이트되고;
    상기 픽셀 어레이의 각각의 픽셀(101)은 제 2 저장 커패시터(501), 및 상기 제 2 저장 커패시터(501)와 포토리셉터(104)의 출력 사이에 위치된 스위치(502)를 더 포함하고, 상기 스위치(502)는 상기 포토리셉터 회로(104)의 출력을 제 2 저장 커패시터(501)에 전자적으로 연결하도록 선택적으로 폐쇄될 수 있거나, 포토리셉터 회로(104)의 출력을 제 2 저장 커패시터(501)로부터 전자적으로 차단하기 위해 선택적으로 개방될 수 있고;
    각각의 픽셀(101)은 소스 팔로워 트랜지스터(1101) 형태의 버퍼를 더 포함하고, 상기 제 1 커패시터(105)와 상기 소스 팔로워 트랜지스터(1101)의 게이트 사이에 적어도 하나의 추가 스위치(1103)가 제공되고, 상기 제 2 저장 커패시터(501) 및 소스 팔로워 트랜지스터(1101)의 게이트 사이에 적어도 하나의 다른 스위치(1104)가 제공되는 비전 센서.
  15. 제 14 항에 따른 비전 센서를 이용한 비전 감지 방법으로서,
    (a) 어레이 내의 픽셀(101)에 회로(102)를 선택적으로 전자적으로 연결시키는 단계;
    (b) 포토리셉터 회로(104)로부터의 출력 전압과 픽셀의 제 1 저장 커패시터(105) 양단 간의 전압 차가 사전정의된 임계 전압보다 큰지를 결정하는 단계; 및
    (c) 포토리셉터 회로(104)로부터 출력 전압과 광강도(Vpr_last)의 이전 값인 제 1 저장 커패시터(105) 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 픽셀의 어드레스를 수신기에 출력하는 단계; 및
    (d) 상기 포토리셉터 회로(104)의 출력 전압과 상기 제 1 저장 커패시터(105) 양단 사이의 전압 차가 사전정의된 임계 전압보다 큰 경우에만, 상기 포토리셉터 회로(104)의 출력이 상기 제 1 저장 커패시터(105)에 전자적으로 연결되어, 상기 저장 커패시터(105)에 저장된 상기 광강도(Vpr_last)의 이전 값이 새로운 현재의 광강도 값으로 업데이트되도록 상기 제 1 스위치를 폐쇄하는 단계를 포함하는 비전 센서를 이용한 비전 감지 방법.
KR1020187024473A 2016-03-03 2017-02-27 이벤트 기반의 비전 센서 KR102373088B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH0271/16 2016-03-03
CH2712016 2016-03-03
PCT/IB2017/051129 WO2017149433A1 (en) 2016-03-03 2017-02-27 An event-based vision sensor

Publications (2)

Publication Number Publication Date
KR20180119578A KR20180119578A (ko) 2018-11-02
KR102373088B1 true KR102373088B1 (ko) 2022-03-11

Family

ID=58358764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187024473A KR102373088B1 (ko) 2016-03-03 2017-02-27 이벤트 기반의 비전 센서

Country Status (4)

Country Link
US (3) US10498977B2 (ko)
EP (2) EP3737085B1 (ko)
KR (1) KR102373088B1 (ko)
WO (1) WO2017149433A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018122800A1 (en) 2016-12-30 2018-07-05 Insightness Ag Data rate control for event-based vision sensor
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
WO2019067054A1 (en) 2017-09-28 2019-04-04 Apple Inc. GENERATING STATIC IMAGES USING AN EVENT CAMERA
KR102561079B1 (ko) * 2017-10-30 2023-07-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자
US11039084B2 (en) 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
EP3725068B1 (en) * 2017-12-11 2021-07-14 Prophesee Event-based image sensor and operating method thereof
DE202018006745U1 (de) * 2018-01-05 2022-06-14 Sony Semiconductor Solutions Corporation Festkörper-Bildgebungselement und Bildgebungsvorrichtung
WO2019175734A1 (en) 2018-03-14 2019-09-19 Insightness Ag Event-based vision sensor with direct memory control
JP7285058B2 (ja) 2018-10-04 2023-06-01 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
JP7369517B2 (ja) * 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
US10834351B2 (en) * 2018-11-26 2020-11-10 Omnivision Technologies, Inc. Bitline settling speed enhancement
JP2020088722A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP7175730B2 (ja) * 2018-12-05 2022-11-21 株式会社ソニー・インタラクティブエンタテインメント 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
US10939063B2 (en) 2018-12-19 2021-03-02 Shanghai Oxi Technology Co., Ltd Method and circuit for signal collection of image sensor
KR102640070B1 (ko) * 2019-01-23 2024-02-27 애플 인크. 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
AU2020241843B2 (en) 2019-03-15 2023-09-28 VergeSense, Inc. Arrival detection for battery-powered optical sensors
WO2021001760A1 (en) * 2019-07-01 2021-01-07 Sony Advanced Visual Sensing Ag Dynamic region of interest (roi) for event-based vision sensors
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
KR20210102511A (ko) 2020-02-10 2021-08-20 삼성전자주식회사 버퍼를 포함하는 동적 비전 센서 장치
US11297275B2 (en) * 2020-02-14 2022-04-05 Innolux Corporation Electronic device
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
KR20220096978A (ko) 2020-12-31 2022-07-07 삼성전자주식회사 다이나믹 비전 센서 및 그 이미지 처리 장치
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113518159B (zh) * 2021-06-08 2022-11-01 天津大学 同步读出的大阵列动态视觉传感器及读出方法
CN116647769A (zh) * 2022-02-14 2023-08-25 上海虹感微电子科技有限公司 改进的cmos图像传感器
EP4380180A1 (en) 2022-11-29 2024-06-05 Kovilta Oy Sensor event generation circuit

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
CN101204079B (zh) 2005-06-03 2011-07-27 苏黎世大学 用于检测与时间相关的图像数据的光敏元件阵列
FR2977055B1 (fr) 2011-06-21 2013-07-12 Astrium Sas Detecteur a fonction d'imagerie selective et procede de detection d'eclairs
US9631974B2 (en) * 2011-12-19 2017-04-25 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
CN104704812B (zh) * 2012-10-05 2018-05-25 拉姆伯斯公司 集成电路图像传感器以及在其中操作的方法
US10009549B2 (en) * 2014-02-28 2018-06-26 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US9838635B2 (en) * 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images

Also Published As

Publication number Publication date
US20190052820A1 (en) 2019-02-14
EP3424211B1 (en) 2020-07-08
US20210144317A1 (en) 2021-05-13
KR20180119578A (ko) 2018-11-02
US11363218B2 (en) 2022-06-14
EP3737085B1 (en) 2023-10-25
US10498977B2 (en) 2019-12-03
EP3737085A1 (en) 2020-11-11
US10904462B2 (en) 2021-01-26
US20200154065A1 (en) 2020-05-14
EP3424211A1 (en) 2019-01-09
WO2017149433A1 (en) 2017-09-08

Similar Documents

Publication Publication Date Title
KR102373088B1 (ko) 이벤트 기반의 비전 센서
US12010447B2 (en) Dynamic vision sensor architecture
US20060197664A1 (en) Method, system and apparatus for a time stamped visual motion sensor
JP2021506203A (ja) イベントベースの画像センサおよびその操作方法
US20220224853A1 (en) NMOS Comparator for Image Sensor Pixel

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant