KR20240024796A - 촬상 장치, 전자 기기 및 광 검출 방법 - Google Patents

촬상 장치, 전자 기기 및 광 검출 방법 Download PDF

Info

Publication number
KR20240024796A
KR20240024796A KR1020237041725A KR20237041725A KR20240024796A KR 20240024796 A KR20240024796 A KR 20240024796A KR 1020237041725 A KR1020237041725 A KR 1020237041725A KR 20237041725 A KR20237041725 A KR 20237041725A KR 20240024796 A KR20240024796 A KR 20240024796A
Authority
KR
South Korea
Prior art keywords
pixel
signal
data
circuit
imaging device
Prior art date
Application number
KR1020237041725A
Other languages
English (en)
Inventor
가즈토시 고다마
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20240024796A publication Critical patent/KR20240024796A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

[과제] 입사광의 휘도 변화에 관한 데이터를 고속으로 출력하는 것이 가능한 촬상 장치를 제공한다.
[해결 수단] 본 개시의 일 실시 형태에 관한 촬상 장치는, 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와, 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 복수의 화소 회로 중에서 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와, 화소 어레이로부터 검출 화소행 또는 검출 화소열의 제1 신호를 판독하는 판독 회로를 구비한다.

Description

촬상 장치, 전자 기기 및 광 검출 방법
본 개시는, 촬상 장치, 전자 기기 및 광 검출 방법에 관한 것이다.
이벤트 드리븐 방식의 촬상 장치 중 하나로서, EVS(Event-based Vision Sensor)라고 불리는 촬상 장치가 알려져 있다. EVS는, 신(scene) 중에서 어떠한 이벤트(예를 들어, 움직임)가 발생했을 때, 당해 이벤트에 의해 생기는 휘도 레벨의 변화된 부분의 데이터를 출력한다. EVS에는, 아비터 방식과 스캔 방식이 알려져 있다. 아비터 방식은, 화소 어레이에 배열된 복수의 화소로부터 출력된 신호를 조정함으로써 입사광의 휘도 변화를 검출한 화소를 특정한다. 한편, 스캔 방식에서는, 화소 어레이로부터 검출 화소의 행을 차례로 선택하고, 행 단위로 출력된 신호에 기초하여 입사광의 휘도가 변화되었는지 여부를 판단한다.
일본 특허 공개 제2018-148553호 공보 일본 특허 공표 제2015-501936호 공보 일본 특허 공개 제2020-68522호 공보
EVS에서는, 입사광의 휘도 변화를 검출하는 검출 화소수는, 촬상 환경에 따라서 변화된다. 그러나, 스캔 방식의 EVS는 검출 화소수에 관계없이, 선택한 순번에 기초하여 화소 어레이로부터 모든 행의 신호를 판독한다. 그 때문에, EVS에 요구되는 고속의 데이터 출력 성능에 개선의 여지가 있다.
본 개시는, 입사광의 휘도 변화에 관한 데이터를 고속으로 출력하는 것이 가능한 촬상 장치, 전자 기기 및 광 검출 방법을 제공한다.
본 개시의 일 실시 형태에 관한 촬상 장치는, 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와, 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 복수의 화소 회로 중에서 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와, 화소 어레이로부터 검출 화소행 또는 검출 화소열의 제1 신호를 판독하는 판독 회로를 구비한다.
상기 타이밍 제어 회로는 소정의 주기로 프레임 동기 신호를 발신하고,
상기 판독 회로는 복수의 상기 프레임 동기 신호에 걸쳐서 상기 제1 신호를 판독해도 된다.
상기 판독 회로는, 상기 복수의 프레임 동기 신호에 걸칠 때, 간격을 두고 상기 제1 신호를 판독해도 된다.
상기 타이밍 제어 회로는, 상기 판독 회로가 상기 제1 신호의 판독을 완료하는 타이밍에 동기하는 프레임 동기 신호를 발신해도 된다.
상기 판독 회로로부터 판독된 상기 제1 신호를 처리하는 EVS 신호 처리부를 더 구비하고,
상기 EVS 신호 처리부는, 상기 검출 화소행의 수 또는 상기 검출 화소열의 수에 따라서 적어도 하나의 더미 데이터를 제1 출력 데이터에 매립해도 된다.
상기 EVS 신호 처리부는, 복수의 프레임간에서 상기 제1 출력 데이터의 데이터수가 동일해지도록, 상기 더미 데이터를 매립해도 된다.
상기 EVS 신호 처리부는 복수의 프레임의 상기 제1 출력 데이터를 조합해도 된다.
상기 EVS 신호 처리부는, 상기 복수의 프레임 중에서 선두의 프레임의 상기 제1 출력 데이터에 프레임 스타트를 매립하고, 최종의 프레임의 상기 제1 출력 데이터에 프레임 엔드를 매립해도 된다.
상기 최종의 프레임의 상기 제1 출력 데이터가 모두 상기 더미 데이터여도 된다.
상기 복수의 화소 회로의 각각이, 상기 제1 신호를 출력하는 제1 화소 회로와, 상기 입사광의 휘도에 따른 제2 신호를 출력하는 제2 화소 회로를 갖고,
상기 제1 신호를 처리한 제1 출력 데이터를, 상기 제2 신호를 처리한 제2 출력 데이터와 동시에 출력하는 출력 인터페이스를 더 구비하고 있어도 된다.
1개의 상기 제1 화소 회로에 대하여 복수의 제2 화소 회로가 마련되어 있어도 된다.
상기 출력 인터페이스는 서로 다른 버추얼 채널을 사용하여 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 출력해도 된다.
상기 출력 인터페이스는 1개의 상기 제2 출력 데이터에 대하여 복수의 상기 제1 출력 데이터를 조합하여 출력해도 된다.
상기 제1 출력 데이터 및 상기 제2 출력 데이터가 동일한 데이터행에 매립되어 있어도 된다.
상기 제1 출력 데이터의 영역 및 상기 제2 출력 데이터의 영역을 나타내는 데이터 헤더가 매립되어 있어도 된다.
상기 데이터 헤더가 상기 제1 출력 데이터의 선두 및 상기 제2 출력 데이터의 선두에 각각 매립되어 있어도 된다.
본 개시의 일 실시 형태에 관한 전자 기기는, 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와, 상기 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와, 상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는 판독 회로를 갖는 촬상 장치를 구비한다.
본 개시의 일 실시 형태에 관한 광 검출 방법은,
입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하고,
상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독한다.
도 1은 제1 실시 형태에 관한 촬상 장치가 탑재되는 전자 기기의 일 구성예를 나타내는 블록도이다.
도 2는 제1 실시 형태에 관한 촬상 장치의 구성을 나타내는 블록도이다.
도 3은 EVS 화소 회로의 구성을 나타내는 회로도이다.
도 4는 촬상 장치의 칩 구조의 개략을 나타내는 분해 사시도이다.
도 5는 촬상 장치의 광 검출 동작의 수순을 나타내는 흐름도이다.
도 6은 촬상 장치의 광 검출 동작의 타이밍 차트이다.
도 7은 판독 회로의 판독 동작의 다른 타이밍 차트이다.
도 8은 제1 실시 형태에 관한 EVS 데이터의 구조예를 나타내는 도면이다.
도 9는 제2 실시 형태에 있어서의 프레임 동기 신호의 발신 타이밍을 나타내는 타이밍 차트이다.
도 10은 제3 실시 형태에 관한 EVS 데이터의 구조예를 나타내는 도면이다.
도 11은 제4 실시 형태에 관한 EVS 데이터의 구조예를 나타내는 도면이다.
도 12는 제5 실시 형태에 관한 촬상 장치의 구성을 나타내는 블록도이다.
도 13은 제5 실시 형태에 관한 화소 회로의 구성을 나타내는 도면이다.
도 14는 계조 화소 회로의 구성예를 나타내는 도면이다.
도 15는 EVS 데이터 및 계조 데이터의 출력 형식의 일례를 나타내는 도면이다.
도 16은 EVS 데이터 및 계조 데이터의 출력 형식의 다른 일례를 나타내는 도면이다.
도 17은 EVS 데이터 및 계조 데이터의 출력 형식의 또 다른 일례를 나타내는 도면이다.
도 18은 휘도 데이터 및 이벤트 데이터를 포함하는 데이터군의 구조의 일례를 나타내는 도면이다.
도 19는 휘도 데이터 및 이벤트 데이터를 포함하는 데이터군의 구조의 일례를 나타내는 도면이다.
도 20은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 21은 차밖 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 도면을 참조하여, 촬상 장치 및 광 검출 방법의 실시 형태에 대하여 설명한다. 이하에서는, 촬상 장치의 주요한 구성 부분을 중심으로 설명하지만, 촬상 장치에는, 도시 또는 설명되지 않은 구성 부분이나 기능이 존재할 수 있다. 이하의 설명은, 도시 또는 설명되지 않은 구성 부분이나 기능을 제외하지 않는다.
(제1 실시 형태)
도 1은, 제1 실시 형태에 관한 촬상 장치가 탑재되는 전자 기기의 일 구성예를 나타내는 블록도이다.
도 1에 나타내는 전자 기기(10)는, 촬상 렌즈(11)와, 촬상 장치(20)와, 기록부(12)와, 제어부(13)를 구비한다. 이 전자 기기(10)는, 예를 들어 스마트폰 등의 통신 기기에 탑재되는 카메라 시스템, 산업용 로봇에 탑재되는 카메라 시스템, 및 차량 탑재 카메라 시스템 등에 적용할 수 있다.
촬상 렌즈(11)는 피사체로부터의 입사광을 도입하여 촬상 장치(20)의 촬상면 상에 결상한다. 촬상 장치(20)는 촬상 렌즈(11)에 의해 도입된 입사광을 화소 단위로 광전 변환하여 촬상 데이터를 취득한다.
촬상 장치(20)는 촬상한 화상 데이터에 대하여 화상 인식 처리 등의 소정의 신호 처리를 실행하고, 그 처리 결과를 나타내는 데이터를 기록부(12)로 출력한다. 기록부(12)는 신호선(14)을 통해 촬상 장치(20)로부터 공급되는 데이터를 기억한다. 제어부(13)는, 예를 들어 마이크로컴퓨터에 의해 구성되고, 촬상 장치(20)에 있어서의 촬상 동작의 제어를 행한다.
도 2는, 제1 실시 형태에 관한 촬상 장치(20)의 구성을 나타내는 블록도이다. 도 2에 나타내는 촬상 장치(20)는 스캔 방식의 촬상 장치이며, 화소 어레이(21)와, 액세스 제어 회로(22)와, 타이밍 제어 회로(23)와, 판독 회로(24)와, EVS 신호 처리부(25)와, 타임 스탬프 생성 회로(26)와, 출력 인터페이스(27)를 구비한다.
화소 어레이(21)는 행렬상으로 2차원 배열된 복수의 EVS 화소 회로(30)(제1 화소 회로)를 포함한다. 각 EVS 화소 회로(30)는 입사광을 광전 변환한 전압 신호를 생성한다. 또한, 각 EVS 화소 회로(30)는 생성한 전압 신호에 기초하여, 입사광의 휘도가 변화되었는지 여부를 나타내는 휘도 변화 신호(제1 신호)를 출력한다. 휘도 변화 신호는 행 단위로(1행마다) 출력된다. 또한, 휘도 변화 신호는 열 단위(1열마다) 출력되어도 된다.
액세스 제어 회로(22)는 예를 들어 시프트 레지스터로 구성되고, 타이밍 제어 회로(23)의 제어에 기초하여, 각 EVS 화소 회로(30)에 액세스한다. 이 액세스에 의해, 각 EVS 화소 회로(30)의 휘도 변화 신호가 판독 회로(24)에 판독된다.
타이밍 제어 회로(23)는 촬상 장치(20) 내의 각 회로에 프레임 동기 신호를 발신한다. 이 프레임 동기 신호는, 촬상 장치(20) 내에서 1 프레임분의 처리를 반복해서 행하는 주기로 발신되는 신호이다. 또한, 타이밍 제어 회로(23)는, 화소 어레이(21)로부터 액세스 제어 회로(22)를 통해 입력된 휘도 변화 신호에 기초하여, 이벤트를 검출한 검출 화소행을 특정한다. 검출 화소행에는, 활성 화소 회로가 적어도 하나 포함되어 있다. 활성 화소 회로는, 입사광의 휘도에 대응하는 전압값이 미리 설정된 역치를 상회하거나 또는 하회하는 화소 회로이다. 또한, 휘도 변화 신호가 화소 어레이(21)로부터 열 단위로 출력되는 경우에는, 타이밍 제어 회로(23)는 이벤트를 검출한 검출 화소열을 특정한다. 검출 화소열에도, 활성 화소 회로가 적어도 하나 포함되어 있다.
판독 회로(24)는 타이밍 제어 회로(23)에서 특정된 검출 화소행의 휘도 변화 신호를 화소 어레이(21)로부터 판독한다. 즉, 판독 회로(24)는 화소 어레이(21)의 모든 행의 휘도 변화 신호를 판독하는 것이 아니고, 활성 화소를 포함하는 검출 화소행의 휘도 변화 신호만을 판독한다. 또한, 휘도 변화 신호가 화소 어레이(21)로부터 열 단위로 출력되는 경우에는, 판독 회로(24)는 타이밍 제어 회로(23)에서 특정된 검출 화소열의 휘도 변화 신호를 화소 어레이(21)로부터 판독한다. 즉, 판독 회로(24)는 화소 어레이(21)의 모든 열의 휘도 변화 신호를 판독하는 것이 아니고, 활성 화소를 포함하는 검출 화소열의 휘도 변화 신호만을 판독한다.
EVS 신호 처리부(25)는 판독 회로(24)에서 판독된 휘도 변화 신호에 대하여 소정의 신호 처리를 행한다. 예를 들어, EVS 신호 처리부(25)는 프레임 동기 신호로 구획되는 프레임마다 EVS 데이터를 작성한다. EVS 데이터에는, 검출 화소행(또는 검출 화소열)의 어드레스나, 이벤트를 검출한 시간 정보를 나타내는 타임 스탬프 등이 포함되어 있다.
타임 스탬프 생성 회로(26)는 화소 어레이(21)의 EVS 화소 회로(30)에서 입사광의 휘도 변화를 검출한 시간 정보인 타임 스탬프를 생성한다. 또한, 타임 스탬프 생성 회로(26)는 생성된 타임 스탬프를 EVS 신호 처리부(25)로 출력한다.
출력 인터페이스(27)는 상기 EVS 데이터를 EVS 신호 처리부(25)의 제1 출력 데이터로서 기록부(12)로 출력한다.
도 3은, EVS 화소 회로(30)의 구성을 나타내는 회로도이다. 도 3에 나타내는 EVS 화소 회로(30)는 EVS 화소 회로의 일례이며, 대수 변환 회로(310), 버퍼 회로(320), 감산 회로(330) 및 양자화 회로(340)를 갖는다. 버퍼 회로(320), 감산 회로(330) 및 양자화 회로(340)는, 휘도 변화 신호를 생성하기 위한 아날로그 프론트 엔드(AFE)를 구성한다.
대수 변환 회로(310)는 광전 변환 소자(300)와, N채널형의 MOS 트랜지스터(311)와, P채널형의 MOS 트랜지스터(312)와, N채널형의 MOS 트랜지스터(313)를 갖는다. 광전 변환 소자(300)는 입사광을 광전 변환하고, 입사광의 광량에 따른 전하량의 전하를 생성한다. 광전 변환 소자(300)는 예를 들어 포토다이오드로 구성된다. 광전 변환 소자(300)는 MOS 트랜지스터(514)에 직렬로 접속되어 있다. 또한, MOS 트랜지스터(312)는 MOS 트랜지스터(313)에 직렬로 접속되어 있다. 또한, MOS 트랜지스터(311)의 게이트가, MOS 트랜지스터(312)의 드레인 및 MOS 트랜지스터(313)의 드레인에 접속되어 있다. 대수 변환 회로(310)에서는, 광전 변환 소자(300)에서 광전 변환된 전하를, 대수 출력의 전압 신호 Vlog로 변환한다.
버퍼 회로(320)는 P채널형의 MOS 트랜지스터(321)와, P채널형의 MOS 트랜지스터(322)를 갖는다. MOS 트랜지스터(321)는 MOS 트랜지스터(522)에 직렬로 접속되어 있다. 버퍼 회로(320)는 MOS 트랜지스터(322)의 게이트에 입력된 전압 신호 Vlog에 대하여 임피던스 변환을 행한 소스 팔로워 전압 신호 VSF를 출력한다.
감산 회로(330)는 P채널형의 MOS 트랜지스터(331)와, P채널형의 MOS 트랜지스터(332)와, N채널형의 MOS 트랜지스터(333)와, 커패시터(334)와, 커패시터(335)를 갖는다. MOS 트랜지스터(332)는 MOS 트랜지스터(333)에 직렬로 접속되어 있다. MOS 트랜지스터(332)의 게이트에는, 커패시터(334)가 접속되어 있다. MOS 트랜지스터(332)의 게이트와 드레인 사이에는, MOS 트랜지스터(331) 및 커패시터(335)가 병렬로 접속되어 있다. EVS 화소 회로(30)가 이벤트를 검출하면, MOS 트랜지스터(331)가 오프로부터 온으로 전환된다. 이에 의해, EVS 화소 회로(30)는 이벤트를 검출할 수 없는 리셋 상태로 된다. 그 후, 소정의 시간이 경과하면, MOS 트랜지스터(331)가 오프로부터 온으로 전환되고, EVS 화소 회로(30)는 이벤트 검출 가능한 상태로 된다. 감산 회로(330)는 리셋 전후의 소스 팔로워 전압 신호 VSF의 차분 전압 신호 Vdiff를 출력한다.
양자화 회로(340)는 P채널형의 MOS 트랜지스터(341)와, N채널형의 MOS 트랜지스터(342)와, P채널형의 MOS 트랜지스터(343)와, N채널형의 MOS 트랜지스터(344)를 갖는다. MOS 트랜지스터(341)는 MOS 트랜지스터(342)에 직렬로 접속되어 있다. 또한, MOS 트랜지스터(543)는 MOS 트랜지스터(344)에 직렬로 접속되어 있다.
MOS 트랜지스터(341) 및 MOS 트랜지스터(342)는, MOS 트랜지스터(341)의 게이트에 입력된 차분 전압 신호 Vdiff를 상한 역치와 비교하는 제1 비교기 회로를 구성한다. 또한, MOS 트랜지스터(343) 및 MOS 트랜지스터(344)는, MOS 트랜지스터(343)의 게이트에 입력된 차분 전압 신호 Vdiff를 하한 역치와 비교하는 제2 비교기 회로를 구성한다. 제1 비교기 회로 및 제2 비교기 회로의 출력 신호가, 디지털 방식의 휘도 변화 신호에 상당한다. 차분 전압 신호 Vdiff가 상한 역치를 상회하는 경우, 휘도 변화 신호의 신호값은 「+1」이다. 차분 전압 신호 Vdiff가 하한 역치를 하회하는 경우, 휘도 변화 신호의 신호값은 「-1」이다. 차분 전압 신호 Vdiff가 상한 역치와 하한 역치 사이의 범위 내인 경우, 휘도 변화 신호의 신호값은 「0」이다.
또한, EVS 화소 회로(30)는 입사광의 휘도 변화를 검출 가능한 회로이면 되고, 도 3에 나타내는 회로에 한정되지는 않는다. 예를 들어, 화소 어레이(21)의 각 행 휘도 변화 신호를 일시적으로 유지하는 플립플롭 회로가, 양자화 회로(340)의 후단에 배치되어 있어도 된다.
도 4는, 촬상 장치(20)의 칩 구조의 개략을 나타내는 분해 사시도이다. 도 4에 나타내는 바와 같이, 촬상 장치(20)는 수광 칩(201) 및 검출 칩(202)의 적어도 2개의 칩이 적층된 적층 구조를 갖는다. 예를 들어, 도 3에 나타내는 EVS 화소 회로(30) 중, 광전 변환 소자(300)가 수광 칩(201) 상에 배치되고, 광전 변환 소자(300) 이외의 소자의 모두나, 촬상 장치(20)의 다른 회로 소자 등이 검출 칩(202) 상에 배치된다. 수광 칩(201)과 검출 칩(202)은 비아(VIA), Cu-Cu 접합, 범프 등의 접속부를 통해 전기적으로 접속된다. 즉, 수광 칩(201)과 검출 칩(202)은 CoC(Chip on Chip) 방식, CoW(Chip on Wafer) 방식, 또는 WoW(Wafer on Wafer) 방식 중 어느 것으로 접합된다.
또한, 칩 레이아웃은, 도 4에 나타내는 레이아웃에 한정되지는 않는다. 예를 들어, 화소 어레이(21)를 수광 칩(201)에 배치하고, 다른 회로 소자를 검출 칩(202)에 배치해도 된다. 또한, 화소 어레이(21), 액세스 제어 회로(22) 및 판독 회로(24)를 수광 칩(201)에 배치하고, 그 이외의 회로 소자를 검출 칩(202)에 배치해도 된다.
이어서, 도 5 및 도 6을 참조하여, 상기와 같이 구성된 촬상 장치(20)의 광 검출 동작을 설명한다.
도 5는, 촬상 장치(20)의 광 검출 동작의 수순을 나타내는 흐름도이다. 도 6은, 촬상 장치(20)의 광 검출 동작의 타이밍 차트이다.
본 실시 형태에서는, 먼저, 화소 어레이(21)의 각 EVS 화소 회로(30)가 도 6에 나타내는 검출 리셋 기간 T1에 휘도 변화 신호를 생성한다(스텝 S1). 즉, 각 EVS 화소 회로(30)가 입사광의 휘도가 변화되었는지 여부를 검출한다. 휘도 변화를 검출한 EVS 화소 회로(30)는 리셋된다.
다음으로, 액세스 제어 회로(22)가 화소 어레이(21)로부터 행 단위로 휘도 변화 신호를 취득한다(스텝 S102). 계속해서, 액세스 제어 회로(22)는 취득한 휘도 변화 신호를 타이밍 제어 회로(23) 및 타임 스탬프 생성 회로(26)에 제공한다. 이에 의해, 화소 어레이(21) 중에서, 입사광의 휘도 변화를 검출한 검출 화소행의 모두가, 타이밍 제어 회로(23)에 통지된다. 또한, 타임 스탬프 생성 회로(26)는 휘도 변화 신호에 기초하여 타임 스탬프를 생성한다.
다음으로, 타이밍 제어 회로(23)는 휘도 변화 신호의 신호값에 기초하여, 화소 어레이(21) 중에서, 액세스 제어 회로(22)가 액세스하는 행을 선택한다(스텝 S103). 스텝 S103에서는, 타이밍 제어 회로(23)는 신호값이 「+1」 또는 「-1」인 휘도 변화 신호를 포함하는 행을 검출 화소행으로 특정하고, 특정한 모든 행을 액세스행으로서 선택한다. 또한, 타이밍 제어 회로(23)는 선택한 검출 화소행의 수를 EVS 신호 처리부(25)에 통지한다.
다음으로, 액세스 제어 회로(22)가 타이밍 제어 회로(23)에 의해 선택된 검출 화소행에 액세스하면, 판독 회로(24)가 도 6에 나타내는 판독 기간 T2에 검출 화소행의 휘도 변화 신호를 판독한다(스텝 S104). 스텝 S104에서는, 검출 화소행의 수가 적은 경우에는, 판독 회로(24)는 1 프레임 내에서 모든 검출 화소행에 대하여 휘도 변화 신호를 판독할 수 있다. 그러나, 검출 화소행의 수가 많은 경우에는, 1 프레임 내에서 모든 검출 화소행의 휘도 변화 신호를 판독하는 것이 곤란해진다. 그래서, 이 경우에는, 판독 회로(24)는 연속되는 복수의 프레임(프레임 A, 프레임 B)에 걸쳐 휘도 변화 신호를 판독한다.
도 7은, 판독 회로(24)의 판독 동작의 다른 타이밍 차트이다. 도 7에 나타내는 바와 같이, 판독 회로(24)는 복수의 프레임에 걸쳐 휘도 변화 신호를 판독할 때, 프레임간의 경계 부분에 간격 ΔT를 두어도 된다. 이 간격 ΔT의 길이는, 예를 들어 검출 리셋 기간 T1의 길이에 대응지어 설정할 수 있다. 이에 의해, 각 프레임 내에 있어서의 판독 기간 T2가 일률적으로 설정된다.
판독 회로(24)는 화소 어레이(21)로부터 판독한 검출 화소행의 휘도 변화 신호를 축차적으로 EVS 신호 처리부(25)로 출력한다. EVS 신호 처리부(25)는 판독 회로(24)로부터 입력된 휘도 변화 신호의 수를, 스텝 S103에서 타이밍 제어 회로(23)로부터 통지된 검출 화소행의 수와 비교함으로써, 판독 회로(24)의 판독 동작이 완료되었는지 여부를 판정한다(스텝 S105).
판독 회로(24)의 판독 동작이 완료되면, EVS 신호 처리부(25)는 휘도 변화 신호에 기초하여 EVS 데이터를 작성한다(스텝 S106). 계속해서, 출력 인터페이스(27)가 EVS 신호 처리부(25)에서 생성된 EVS 데이터를 출력한다(스텝 S107). 그 후, 스텝 S101 내지 스텝 S107의 동작이 다시 반복된다.
도 8은, 제1 실시 형태에 관한 EVS 데이터의 구조예를 나타내는 도면이다. EVS 신호 처리부(25)는 프레임마다 EVS 데이터를 작성한다. EVS 데이터의 선두에는 프레임 스타트(FS)가 매립되고, 말미에는 프레임 엔드(FE)가 매립되어 있다. 프레임 스타트(FS)와 프레임 엔드(FE) 사이에는, 각 검출 화소행의 휘도 변화 신호에 관련되는 이벤트 데이터(Event)와, 입사광의 휘도 변화를 검출한 타임 스탬프가 매립되어 있다. 또한, 판독 회로(24)가 프레임 A로부터 프레임 B에 걸쳐 휘도 변화 신호를 판독하는 경우에는, 프레임 A의 EVS 데이터에 매립된 타임 스탬프는, 프레임 B의 EVS 데이터에 매립된 타임 스탬프와 동일하다.
각 이벤트 데이터의 전후에는, 패킷 헤더(PH) 및 패킷 풋터(PF)가 각각 매립되어 있다. 이에 의해, EVS 데이터를 판독할 때, 이벤트 데이터를 인식할 수 있다. 또한, 각 이벤트 데이터의 선두에는, 검출 화소행의 어드레스가 매립되어 있다. 이에 의해, 화소 어레이(21)에 있어서, 화소 어레이(21)에 있어서의 검출 화소행의 위치를 특정할 수 있다.
상술한 EVS 데이터에서는, 프레임 길이는 이벤트 데이터의 수에 대응한다. 이 이벤트 데이터의 수는 검출 화소행의 수에 따라서 변화된다. 그 때문에, EVS 데이터의 프레임 길이는, 프레임마다 다른 경우가 있다. 예를 들어, 도 8에서는, 프레임 A의 검출 화소행은 프레임 B의 검출 화소행보다도 많다. 그 때문에, 프레임 A의 EVS 데이터의 프레임 길이는 프레임 B의 EVS 데이터의 프레임 길이보다도 길어진다. 이와 같이, 본 실시 형태에서는, EVS 데이터의 프레임 길이는 검출 화소행의 수에 대응하여 가변이다.
이상 설명한 본 실시 형태에 따르면, 판독 회로(24)는 화소 어레이(21)로부터 이벤트를 검출한 EVS 화소 회로(30)를 포함하는 검출 화소행의 휘도 변화 신호만을 판독한다. 그 때문에, 화소 어레이(21)로부터 모든 행의 휘도 변화 신호를 판독하는 경우에 비해, 판독 시간이 단축된다. 이에 의해, EVS 데이터를 고속으로 출력하는 것이 가능해진다.
(제2 실시 형태)
이하, 제2 실시 형태에 대하여 설명한다. 제2 실시 형태는, 프레임 동기 신호의 발신 타이밍이 제1 실시 형태와 다르다. 그래서, 도 9를 참조하여, 제2 실시 형태에 있어서의 프레임 동기 신호의 발신 타이밍을 설명한다. 또한, 본 실시 형태에서는, 촬상 장치(20)의 구성은 제1 실시 형태와 동일하다. 그 때문에, 촬상 장치(20)의 구성 요소에는 동일한 부호를 부여하고, 상세한 설명을 생략한다.
도 9는, 제2 실시 형태에 있어서의 프레임 동기 신호의 발신 타이밍을 나타내는 타이밍 차트이다. 본 실시 형태에서는, 도 9에 나타내는 바와 같이, 타이밍 제어 회로(23)는 판독 기간 T2가 종료되는 타이밍에 동기하여 프레임 동기 신호를 발신한다. 그 때문에, 검출 화소행의 수가 많으면 프레임 동기 신호의 주기는 길어지는 한편, 검출 화소행의 수가 적으면 프레임 동기 신호의 주기는 짧아진다. 이와 같이, 프레임 동기 신호의 주기는 검출 화소행의 수에 따라서 가변이다.
또한, 본 실시 형태에서는, EVS 신호 처리부(25)는 프레임 동기 신호에 기초하여 판독 회로(24)의 판독 동작의 완료를 인식한다. 그 때문에, EVS 신호 처리부(25)는 프레임 동기 신호를 트리거로 하여 EVS 데이터의 제작을 개시한다.
이상 설명한 본 실시 형태에 따르면, 제1 실시 형태와 동일하게, 판독 회로(24)가 검출 화소행의 휘도 변화 신호만을 판독하기 때문에, EVS 데이터를 고속으로 출력하는 것이 가능해진다. 또한 본 실시 형태에서는, 판독 회로(24)가 휘도 변화 신호의 판독을 완료하는 타이밍에서 타이밍 제어 회로(23)가 프레임 동기 신호를 발신한다. 그 때문에, EVS 신호 처리부(25)는 타이밍 제어 회로(23)로부터 검출 화소행의 수를 통지되지 않아도 EVS 데이터를 작성할 수 있다. 이에 의해, 타이밍 제어 회로(23)의 통지 처리에 소요되는 부하를 경감시킬 수 있다.
(제3 실시 형태)
이하, 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, EVS 데이터의 구조가 제1 실시 형태와 다르다. 그래서, 도 10을 참조하여, 제3 실시 형태에 관한 EVS 데이터의 구조를 설명한다. 또한, 본 실시 형태에서도, 촬상 장치(20)의 구성은 제1 실시 형태와 동일하다. 그 때문에, 촬상 장치(20)의 구성 요소에는 동일한 부호를 부여하고, 상세한 설명을 생략한다.
도 10은, 제3 실시 형태에 관한 EVS 데이터의 구조예를 나타내는 도면이다. 본 실시 형태에서는, 각 프레임의 검출 화소행의 수가 다른 경우, EVS 신호 처리부(25)는 검출 화소행의 수가 적은 EVS 데이터에 더미 데이터를 매립한다.
예를 들어, 도 10에 나타내는 프레임 A의 EVS 데이터는, 6개의 이벤트 데이터를 갖는다. 한편, 프레임 B의 EVS 데이터는 5개의 이벤트 데이터를 갖는다. 이 경우, EVS 신호 처리부(25)는 프레임 B의 EVS 데이터에 1개의 더미 데이터를 매립한다. 그 결과, 프레임 B의 EVS 데이터의 프레임 길이가, 프레임 A의 EVS 데이터의 프레임 길이와 동등해진다. 그 후, 출력 인터페이스(27)가 각 프레임의 EVS 데이터를 출력한다.
이상 설명한 본 실시 형태에 따르면, 제1 실시 형태와 동일하게, 판독 회로(24)가 검출 화소행의 휘도 변화 신호만을 판독하기 때문에, EVS 데이터를 고속으로 출력하는 것이 가능해진다. 또한 본 실시 형태에서는, EVS 신호 처리부(25)가 검출 화소행의 수에 따라서 적어도 하나의 더미 데이터를 EVS 데이터에 매립한다. 그 때문에, 각 프레임의 데이터수, 환언하면 프레임 길이가 동일해진다. 이에 의해, 검출 화소행의 수에 관계없이, EVS 데이터의 프레임 길이를 고정하는 것이 가능해진다.
(제4 실시 형태)
이하, 제4 실시 형태에 대하여 설명한다. 제4 실시 형태는, EVS 데이터의 구조가 제3 실시 형태와 다르다. 그래서, 도 11을 참조하여, 제4 실시 형태에 관한 EVS 데이터의 구조를 설명한다. 또한, 본 실시 형태에서도, 촬상 장치(20)의 구성은 제1 실시 형태와 동일하다. 그 때문에, 촬상 장치(20)의 구성 요소에는 동일한 부호를 부여하고, 상세한 설명을 생략한다.
도 11은, 제4 실시 형태에 관한 EVS 데이터의 구조예를 나타내는 도면이다. 본 실시 형태에서는, 제3 실시 형태와 동일하게, 각 프레임의 검출 화소행의 수가 다른 경우, EVS 신호 처리부(25)는 검출 화소행의 수가 적은 EVS 데이터에 더미 데이터를 매립한다.
또한, 본 실시 형태에서는, EVS 신호 처리부(25)는 EVS 데이터의 갱신 레이트인 프레임 레이트를 고정하기 위해서, 복수의 프레임의 EVS 데이터를 조합하여 1개의 EVS 데이터로서 작성한다.
예를 들어, 도 11에서는, EVS 신호 처리부(25)는 4개의 프레임 A, B, C, D의 EVS 데이터를 조합한다. 이 때, 프레임 스타트(FS)는 선두의 프레임 A의 EVS 데이터에만 매립되고, 나머지 프레임 EVS 데이터에는, 매립되지 않는다. 또한, 프레임 엔드(FE)는 최종의 프레임 D의 EVS 데이터에만 매립되고, 나머지 프레임 EVS 데이터에는, 매립되지 않는다.
또한, 프레임 레이트를 고정하는 경우, 최종의 프레임 D에는, 복수의 프레임에 걸친 EVS 데이터를 매립할 수는 없다. 그 때문에, 최종의 프레임 D의 EVS 데이터는, 이벤트 데이터를 포함하지 않고, 모두 더미 데이터로 구성된다.
이상 설명한 본 실시 형태에 따르면, 제1 실시 형태와 동일하게, 판독 회로(24)가 검출 화소행의 휘도 변화 신호만을 판독하기 때문에, EVS 데이터를 고속으로 출력하는 것이 가능해진다. 또한, 본 실시 형태에서는, 복수의 프레임의 EVS 데이터를 조합함으로써, 검출 화소행의 수에 관계없이, 프레임 레이트를 고정하는 것이 가능해진다.
(제5 실시 형태)
도 12는, 제5 실시 형태에 관한 촬상 장치의 구성을 나타내는 블록도이다. 도 12에서는, 상술한 제1 실시 형태에 관한 촬상 장치와 마찬가지의 구성 요소에는 동일한 부호를 부여하고, 상세한 설명을 생략한다.
본 실시 형태에 관한 촬상 장치(200)는 제1 실시 형태에 관한 촬상 장치(20)의 구성 요소에 더하여, AD 변환기(28) 및 계조 신호 처리부(29)를 더 구비한다. 또한, 화소 어레이(21)의 화소 회로(40)의 구성이, 제1 실시 형태에 관한 EVS 화소 회로(30)의 구성과 다르다. 여기서, 먼저, 화소 회로(40)의 구성에 대하여 설명한다.
도 13은, 제5 실시 형태에 관한 화소 회로(40)의 구성을 나타내는 도면이다. 도 13에 나타내는 화소 회로(40)는, 제1 실시 형태에서 설명한 EVS 화소 회로(30)에 더하여, 3개의 계조 화소 회로(41)(제2 화소 회로)를 더 갖는다. 3개의 계조 화소 회로(41)는, 예를 들어 적색광(R), 녹색광(G), 청색광(B)을 각각 광전 변환하고, 전하량에 따른 계조 휘도 신호(제2 신호)를 출력한다. 또한, 계조 화소 회로(41)의 수는 특별히 제한되지 않고, 적어도 하나 이상이면 된다.
도 14는, 계조 화소 회로(41)의 구성예를 나타내는 도면이다. 도 14에 나타내는 계조 화소 회로(41)는 광전 변환부(410) 및 신호 생성부(420)를 갖는다.
광전 변환부(410)는 광전 변환 소자(411)와, 전송 트랜지스터(412)와, OFG(Over Flow Gate) 트랜지스터(413)를 갖는다. 전송 트랜지스터(412) 및 OFG 트랜지스터(413)에는, 예를 들어 N채널형의 MOS(Metal Oxide Semiconductor) 트랜지스터가 사용된다. 전송 트랜지스터(412) 및 OFG 트랜지스터(413)는 서로 직렬로 접속되어 있다.
광전 변환 소자(411)는 전송 트랜지스터(412)와 OFG 트랜지스터(413)의 공통 접속 노드 N1과 접지 사이에 접속되어 있고, 입사광을 광전 변환하여 입사광의 광량에 따른 전하량의 전하를 생성한다. 광전 변환 소자(411)는 예를 들어 포토다이오드로 구성된다.
전송 트랜지스터(412)의 게이트 전극에는, 액세스 제어 회로(22)(도 2 참조)로부터 전송 신호 TRG가 공급된다. 전송 트랜지스터(412)는 전송 신호 TRG에 응답하여, 광전 변환 소자(411)에서 광전 변환된 전하를 신호 생성부(420)에 공급한다.
OFG 트랜지스터(413)의 게이트 전극에는, 액세스 제어 회로(22)로부터 제어 신호 OFG가 공급된다. OFG 트랜지스터(413)는 제어 신호 OFG에 응답하여, 광전 변환 소자(411)에 남은 전하를 배출한다.
신호 생성부(420)는 리셋 트랜지스터(421), 증폭 트랜지스터(422), 선택 트랜지스터(423) 및 부유 확산층(424)을 갖는다. 리셋 트랜지스터(421), 증폭 트랜지스터(422) 및 선택 트랜지스터(423)에는, 예를 들어 N채널형의 MOS 트랜지스터가 사용된다.
신호 생성부(420)에는, 광전 변환부(410)로부터 전송 트랜지스터(412)에 의해, 광전 변환 소자(411)에서 광전 변환된 전하가 공급된다. 광전 변환부(410)로부터 공급되는 전하는, 부유 확산층(424)에 축적된다. 부유 확산층(424)은 축적된 전하의 양에 따른 전압값의 전압 신호를 생성한다. 즉, 부유 확산층(424)은 전하를 전압으로 변환한다.
리셋 트랜지스터(421)는 전원 전압 VDD의 전원 라인과 부유 확산층(424) 사이에 접속되어 있다. 리셋 트랜지스터(421)의 게이트 전극에는, 액세스 제어 회로(22)로부터 리셋 신호 RST가 공급된다. 리셋 트랜지스터(421)는 리셋 신호 RST에 응답하여, 부유 확산층(424)의 전하량을 초기화(리셋)한다.
증폭 트랜지스터(422)는 전원 전압 VDD의 전원 라인과 수직 신호선 VSL 사이에, 선택 트랜지스터(423)와 직렬로 접속되어 있다. 증폭 트랜지스터(422)는 부유 확산층(424)에서 전하 전압 변환된 전압 신호를 증폭시킨다.
선택 트랜지스터(423)의 게이트 전극에는, 액세스 제어 회로(22)로부터 선택 신호 SEL이 공급된다. 선택 트랜지스터(423)는 선택 신호 SEL에 응답하여, 증폭 트랜지스터(422)에 의해 증폭된 전압 신호를 계조 휘도 신호로 하여 수직 신호선 VSL을 통해 AD 변환기(28)로 출력한다.
또한, 상술한 계조 화소 회로(41)의 구성은 일례이며, 이 구성예에 한정되는 것은 아니다. 예를 들어, 계조 화소 회로(41)는 대상물에 광을 조사하고 나서 반사광을 수광할 때까지의 시간에 기초하여 대상물까지의 거리를 계측하는 ToF(Time of Flight) 화소 회로의 구성을 갖고 있어도 된다. 이 경우, 광전 변환 소자(411)에는, 예를 들어 SPAD(Single Photon Avalanche Diode)를 사용할 수 있다.
도 12로 되돌아가서, AD 변환기(28)는 화소 어레이(21)의 화소열마다, 그 열의 계조 화소 회로(41)로부터 출력되는 아날로그 방식의 계조 휘도 신호를 디지털 신호로 변환한다. 계속해서, AD 변환기(28)는 이 디지털 신호를 계조 신호 처리부(29)로 출력한다. 또한, 화소 어레이(21)로부터 계조 휘도 신호를 판독하는 방식은, 특별히 한정되지는 않고, 전체 화소의 전하 축적 타이밍이 동일한 글로벌 셔터 방식이어도, 전하 축적 타이밍이 화소행마다 어긋나는 롤링 셔터 방식이어도 된다.
계조 신호 처리부(29)는 AD 변환기(28)로부터 취득한 디지털 신호에 대하여, CDS(Correlated Double Sampling) 처리나 화상 인식 처리 등의 소정의 신호 처리를 실행한다. 계속해서, 계조 신호 처리부(29)는 처리 결과를 나타내는 계조 데이터를 출력 인터페이스(27)로 출력한다. 출력 인터페이스(27)는 EVS 신호 처리부(25)에서 제작된 EVS 데이터와 동시에 계조 데이터를 출력한다.
도 15는, EVS 데이터 및 계조 데이터의 출력 형식의 일례를 나타내는 도면이다. 계조 신호 처리부(29)에 의해 제작된 계조 데이터의 선두에는, EVS 데이터와 마찬가지로, 프레임 스타트(FS)가 매립되고, 말미에는 프레임 엔드(FE)가 매립되어 있다. 프레임 스타트(FS)와 프레임 엔드(FE) 사이에는, 계조 휘도 신호에 관련되는 휘도 데이터(Intensity)가 매립되어 있다.
출력 인터페이스(27)는 서로 다른 버추얼 채널을 사용하여 EVS 데이터 및 계조 데이터를 동시에 출력한다. 그 때문에, 각 프레임의 EVS 데이터는, 프레임 스타트(FS)와 프레임 엔드(FE)로 구획되어 있다. 또한, EVS 데이터 및 계조 데이터의 출력 형식은, 도 15에 나타내는 예에 한정되지는 않는다.
도 16은, EVS 데이터 및 계조 데이터의 출력 형식의 다른 일례를 나타내는 도면이다. EVS 데이터의 프레임 레이트는, 계조 데이터의 프레임 레이트보다도 크기 때문에, 1 프레임당 이벤트 데이터의 수와 휘도 데이터의 수는 다르다. 그래서, 도 16에 나타내는 EVS 데이터에서는, 계조 데이터의 슈퍼 프레임에 맞추기 위해서, 복수의 프레임의 EVS 데이터가 조합되어 있다. 그 때문에, 프레임 스타트(FS)는 선두의 프레임 EVS 데이터에만 매립되고, 나머지 프레임 EVS 데이터에는, 매립되지 않는다. 또한, 프레임 엔드(FE)는 최종의 프레임 EVS 데이터에만 매립되고, 나머지 프레임 EVS 데이터에는, 매립되지 않는다.
도 17은, EVS 데이터 및 계조 데이터의 출력 형식의 또 다른 일례를 나타내는 도면이다. 도 17에 나타내는 예에서는, 휘도 데이터 및 이벤트 데이터가, 동일한 데이터행에 연속해서 매립되어 있다. 휘도 데이터 및 이벤트 데이터를 포함하는 데이터군의 선두에는, 패킷 헤더(PH)가 매립되고, 종단부에는 패킷 풋터(PF)가 매립되어 있다. 또한, 이벤트 데이터의 수가 휘도 데이터보다도 적은 경우에는, 더미 데이터를 상기 데이터군에 매립해도 된다. 이 경우, EVS 데이터와 계조 데이터 사이에서 데이터수를 일치시킬 수 있다.
도 18은, 휘도 데이터 및 이벤트 데이터를 포함하는 데이터군의 구조의 일례를 나타내는 도면이다. 도 18에 데이터군에는, 데이터 헤더가 휘도 데이터의 선두에 매립되어 있다. 이 데이터 헤더는 휘도 데이터의 영역과 이벤트 데이터의 영역을 나타낸다. 그 때문에, 이 데이터군을 판독할 때, 휘도 데이터 및 이벤트 데이터를 각각 구별할 수 있다.
도 19는, 휘도 데이터 및 이벤트 데이터를 포함하는 데이터군의 구조의 일례를 나타내는 도면이다. 도 19에 데이터군에는, 데이터 헤더가, 휘도 데이터의 선두와 이벤트 데이터의 선두에 각각 매립되어 있다. 휘도 데이터의 선두에 매립된 데이터 헤더는, 휘도 데이터의 영역을 나타낸다. 이벤트 데이터의 선두에 매립된 데이터 헤더는, 이벤트 데이터의 영역을 나타낸다. 이 경우도, 데이터군을 판독할 때, 휘도 데이터 및 이벤트 데이터를 각각 구별할 수 있다.
이상 설명한 본 실시 형태에 따르면, 제1 실시 형태와 동일하게, 판독 회로(24)가 검출 화소행의 휘도 변화 신호만을 판독하기 때문에, EVS 데이터를 고속으로 출력하는 것이 가능해진다. 또한, 본 실시 형태에서는, 이벤트 검출의 유무를 나타내는 EVS 데이터뿐만 아니라, 촬상 대상물의 휘도값을 나타내는 계조 데이터도 취득하는 것이 가능해진다.
<이동체에의 응용예>
본 개시에 관한 기술(본 기술)은 각종 제품에 응용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 20은, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 20에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차밖 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052) 및 차량 탑재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라서 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(12020)은 키리스 엔트리 시스템, 스마트키 시스템, 파워 윈도우 장치, 혹은 헤드 램프, 백 램프, 브레이크 램프, 방향 지시 등 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 접수하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차밖 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차밖 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차밖 정보 검출 유닛(12030)은 촬상부(12031)에 차밖의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차밖 정보 검출 유닛(12030)은 수신한 화상에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하여, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는 전기 신호를 화상으로서 출력할 수도 있고, 측거가 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들어 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들어 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는 차밖 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차 내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(12010)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는 차밖 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량의 주위 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는 차밖 정보 검출 유닛(12030)에서 취득되는 차밖의 정보에 기초하여, 보디계 제어 유닛(12030)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는 차밖 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 따라서 헤드 램프를 제어하고, 하이 빔을 로우 빔으로 전환하는 등의 방현을 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차밖에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 20의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들어 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 21은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 21에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들어 차량(12100)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차 실내의 프론트 글래스의 상부 등의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(12101) 및 차 실내의 프론트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차 실내의 프론트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량, 또는 보행자, 장해물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 21에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 나타내져 있다. 촬상 범위 12111은 프론트 노즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위 1211212113은 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위 12114는 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터를 중첩시힘으로써, 차량(12100)을 상방에서 본 부감 화상이 얻어진다.
촬상부(12101 내지 12104) 중 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 된다. 예를 들어, 촬상부(12101 내지 12104) 중 적어도 하나는, 복수의 촬상 소자를 포함하는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 갖는 촬상 소자여도 된다.
예를 들어, 마이크로컴퓨터(12051)는 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위 12111 내지 12114 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물이며, 차량(12100)과 대략 동일한 방향으로 소정의 속도(예를 들어, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는 선행차의 앞쪽에 미리 확보해야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이렇게 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들어, 마이크로컴퓨터(12051)는 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전주 등 기타 입체물로 분류하여 추출하고, 장해물의 자동 회피에 사용할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는 차량(12100)의 주변 장해물을, 차량(12100)의 드라이버가 시인 가능한 장해물과 시인 곤란한 장해물로 식별한다. 그리고, 마이크로컴퓨터(12051)는 각 장해물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 적외선을 검출하는 적외선 카메라여도 된다. 예를 들어, 마이크로컴퓨터(12051)는 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들어 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 수순과, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 수순에 의해 행해진다. 마이크로컴퓨터(12051)가 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는 당해 인식된 보행자에 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대하여 설명하였다. 본 개시에 관한 기술은 이상 설명한 구성 중, 예를 들어 촬상부(12031)에 적용될 수 있다. 구체적으로는, 제1 내지 제5 실시 형태에 관한 촬상 장치는 촬상부(12031)에 적용할 수 있다. 본 개시에 관한 기술을 적용함으로써, 고속으로 촬영 화상을 얻을 수 있기 때문에, 화상 품질을 향상시키는 것이 가능해진다.
또한, 본 기술은 이하와 같은 구성을 취할 수 있다.
(1) 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와,
상기 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와,
상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는 판독 회로
를 구비하는, 촬상 장치.
(2) 상기 타이밍 제어 회로는 소정의 주기로 프레임 동기 신호를 발신하고,
상기 판독 회로는 복수의 상기 프레임 동기 신호에 걸쳐서 상기 제1 신호를 판독하는, (1)에 기재된 촬상 장치.
(3) 상기 판독 회로는, 상기 복수의 프레임 동기 신호에 걸칠 때, 간격을 두고 상기 제1 신호를 판독하는, (2)에 기재된 촬상 장치.
(4) 상기 타이밍 제어 회로는, 상기 판독 회로가 상기 제1 신호의 판독을 완료하는 타이밍에 동기하는 프레임 동기 신호를 발신하는, (1)에 기재된 촬상 장치.
(5) 상기 판독 회로로부터 판독된 상기 제1 신호를 처리하는 EVS 신호 처리부를 더 구비하고,
상기 EVS 신호 처리부는, 상기 검출 화소행의 수 또는 상기 검출 화소열의 수에 따라서 적어도 하나의 더미 데이터를 제1 출력 데이터에 매립하는, (1)에 기재된 촬상 장치.
(6) 상기 EVS 신호 처리부는, 복수의 프레임간에서 상기 제1 출력 데이터의 데이터수가 동일해지도록, 상기 더미 데이터를 매립하는, (5)에 기재된 촬상 장치.
(7) 상기 EVS 신호 처리부는, 복수의 프레임의 상기 제1 출력 데이터를 조합하는, (5) 또는 (6)에 기재된 촬상 장치.
(8) 상기 EVS 신호 처리부는, 상기 복수의 프레임 중에서 선두의 프레임의 상기 제1 출력 데이터에 프레임 스타트를 매립하고, 최종의 프레임의 상기 제1 출력 데이터에 프레임 엔드를 매립하는, (7)에 기재된 촬상 장치.
(9) 상기 최종의 프레임의 상기 제1 출력 데이터가 모두 상기 더미 데이터인, (8)에 기재된 촬상 장치.
(10) 상기 복수의 화소 회로의 각각이, 상기 제1 신호를 출력하는 제1 화소 회로와, 상기 입사광의 휘도에 따른 제2 신호를 출력하는 제2 화소 회로를 갖고,
상기 제1 신호를 처리한 제1 출력 데이터를, 상기 제2 신호를 처리한 제2 출력 데이터와 동시에 출력하는 출력 인터페이스를 더 구비하는, (1) 내지 (9) 중 어느 것에 기재된 촬상 장치.
(11) 1개의 상기 제1 화소 회로에 대하여 복수의 제2 화소 회로가 마련되어 있는, (10)에 기재된 촬상 장치.
(12) 상기 출력 인터페이스는 서로 다른 버추얼 채널을 사용하여 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 출력하는, (10) 또는 (11)에 기재된 촬상 장치.
(13) 상기 출력 인터페이스는 1개의 상기 제2 출력 데이터에 대하여 복수의 상기 제1 출력 데이터를 조합하여 출력하는, (10) 또는 (11)에 기재된 촬상 장치.
(14) 상기 제1 출력 데이터 및 상기 제2 출력 데이터가 동일한 데이터행에 매립되어 있는, (10) 또는 (11)에 기재된 촬상 장치.
(15) 상기 제1 출력 데이터의 영역 및 상기 제2 출력 데이터의 영역을 나타내는 데이터 헤더가 매립되어 있는, (14)에 기재된 촬상 장치.
(16) 상기 데이터 헤더가 상기 제1 출력 데이터의 선두 및 상기 제2 출력 데이터의 선두에 각각 매립되어 있는, (15)에 기재된 촬상 장치.
(17) 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와, 상기 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와, 상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는 판독 회로를 갖는 촬상 장치를 구비하는, 전자 기기.
(18) 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하고,
상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는,
광 검출 방법.
21: 화소 어레이
23: 타이밍 제어 회로
24: 판독 회로
25: EVS 신호 처리부
27: 출력 인터페이스
30: EVS 화소 회로
40: 화소 회로
41: 계조 화소 회로

Claims (18)

  1. 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와,
    상기 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와,
    상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는 판독 회로
    를 구비하는, 촬상 장치.
  2. 제1항에 있어서, 상기 타이밍 제어 회로는 소정의 주기로 프레임 동기 신호를 발신하고,
    상기 판독 회로는, 복수의 상기 프레임 동기 신호에 걸쳐서 상기 제1 신호를 판독하는, 촬상 장치.
  3. 제2항에 있어서, 상기 판독 회로는, 상기 복수의 프레임 동기 신호에 걸칠 때, 간격을 두고 상기 제1 신호를 판독하는, 촬상 장치.
  4. 제1항에 있어서, 상기 타이밍 제어 회로는, 상기 판독 회로가 상기 제1 신호의 판독을 완료하는 타이밍에 동기하는 프레임 동기 신호를 발신하는, 촬상 장치.
  5. 제1항에 있어서, 상기 판독 회로로부터 판독되는 상기 제1 신호를 처리하는 EVS 신호 처리부를 더 구비하고,
    상기 EVS 신호 처리부는, 상기 검출 화소행의 수 또는 상기 검출 화소열의 수에 따라서 적어도 하나의 더미 데이터를 제1 출력 데이터에 매립하는, 촬상 장치.
  6. 제5항에 있어서, 상기 EVS 신호 처리부는, 복수의 프레임간에서 상기 제1 출력 데이터의 데이터수가 동일해지도록, 상기 더미 데이터를 매립하는, 촬상 장치.
  7. 제5항에 있어서, 상기 EVS 신호 처리부는 복수의 프레임의 상기 제1 출력 데이터를 조합하는, 촬상 장치.
  8. 제7항에 있어서, 상기 EVS 신호 처리부는, 상기 복수의 프레임 중에서 선두의 프레임의 상기 제1 출력 데이터에 프레임 스타트를 매립하고, 최종의 프레임의 상기 제1 출력 데이터에 프레임 엔드를 매립하는, 촬상 장치.
  9. 제8항에 있어서, 상기 최종의 프레임의 상기 제1 출력 데이터가 모두 상기 더미 데이터인, 촬상 장치.
  10. 제1항에 있어서, 상기 복수의 화소 회로의 각각이, 상기 제1 신호를 출력하는 제1 화소 회로와, 상기 입사광의 휘도에 따른 제2 신호를 출력하는 제2 화소 회로를 갖고,
    상기 제1 신호를 처리한 제1 출력 데이터를, 상기 제2 신호를 처리한 제2 출력 데이터와 동시에 출력하는 출력 인터페이스를 더 구비하는, 촬상 장치.
  11. 제10항에 있어서, 1개의 상기 제1 화소 회로에 대하여 복수의 제2 화소 회로가 마련되어 있는, 촬상 장치.
  12. 제10항에 있어서, 상기 출력 인터페이스는 서로 다른 버추얼 채널을 사용하여 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 출력하는, 촬상 장치.
  13. 제10항에 있어서, 상기 출력 인터페이스는 1개의 상기 제2 출력 데이터에 대하여 복수의 상기 제1 출력 데이터를 조합하여 출력하는, 촬상 장치.
  14. 제10항에 있어서, 상기 제1 출력 데이터 및 상기 제2 출력 데이터가 동일한 데이터행에 매립되어 있는, 촬상 장치.
  15. 제14항에 있어서, 상기 제1 출력 데이터의 영역 및 상기 제2 출력 데이터의 영역을 나타내는 데이터 헤더가 매립되어 있는, 촬상 장치.
  16. 제15항에 있어서, 상기 데이터 헤더가 상기 제1 출력 데이터의 선두 및 상기 제2 출력 데이터의 선두에 각각 매립되어 있는, 촬상 장치.
  17. 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이와, 상기 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하는 타이밍 제어 회로와, 상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는 판독 회로를 갖는 촬상 장치를 구비하는, 전자 기기.
  18. 입사광을 광전 변환하는 복수의 화소 회로가 행렬상으로 배열된 화소 어레이로부터 행 단위 또는 열 단위로 출력된 제1 신호에 기초하여, 상기 복수의 화소 회로 중에서 상기 입사광의 휘도 변화를 검출한 화소 회로를 포함하는 검출 화소행 또는 검출 화소열을 특정하고,
    상기 화소 어레이로부터 상기 검출 화소행 또는 상기 검출 화소열의 상기 제1 신호를 판독하는,
    광 검출 방법.
KR1020237041725A 2021-06-23 2022-03-09 촬상 장치, 전자 기기 및 광 검출 방법 KR20240024796A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2021-104406 2021-06-23
JP2021104406A JP2023003308A (ja) 2021-06-23 2021-06-23 撮像装置、電子機器、および光検出方法
PCT/JP2022/010374 WO2022270034A1 (ja) 2021-06-23 2022-03-09 撮像装置、電子機器、および光検出方法

Publications (1)

Publication Number Publication Date
KR20240024796A true KR20240024796A (ko) 2024-02-26

Family

ID=84544836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237041725A KR20240024796A (ko) 2021-06-23 2022-03-09 촬상 장치, 전자 기기 및 광 검출 방법

Country Status (5)

Country Link
JP (1) JP2023003308A (ko)
KR (1) KR20240024796A (ko)
CN (1) CN117546477A (ko)
DE (1) DE112022003194T5 (ko)
WO (1) WO2022270034A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023139913A (ja) * 2022-03-22 2023-10-04 ソニーセミコンダクタソリューションズ株式会社 データ生成装置、プログラム、データ受信装置、データ構造

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501936A (ja) 2011-12-19 2015-01-19 ウニヴェルズィテート チューリッヒ サンプル抽出された輝度の検知と時間依存性の画像データの非同期検出との同時実施などのためのフォトアレイ
JP2018148553A (ja) 2017-03-08 2018-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル、ピクセル駆動回路、及びこれを含むビジョンセンサー
JP2020068522A (ja) 2018-10-19 2020-04-30 ソニー株式会社 センサ装置、信号処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
JP2020161993A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像システム及び物体認識システム
JP2020174240A (ja) * 2019-04-08 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501936A (ja) 2011-12-19 2015-01-19 ウニヴェルズィテート チューリッヒ サンプル抽出された輝度の検知と時間依存性の画像データの非同期検出との同時実施などのためのフォトアレイ
JP2018148553A (ja) 2017-03-08 2018-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル、ピクセル駆動回路、及びこれを含むビジョンセンサー
JP2020068522A (ja) 2018-10-19 2020-04-30 ソニー株式会社 センサ装置、信号処理方法

Also Published As

Publication number Publication date
JP2023003308A (ja) 2023-01-11
DE112022003194T5 (de) 2024-05-23
CN117546477A (zh) 2024-02-09
WO2022270034A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11503233B2 (en) Solid-state imaging element and imaging device
US11523079B2 (en) Solid-state imaging element and imaging device
US11582406B2 (en) Solid-state image sensor and imaging device
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
CN113615152B (zh) 成像设备和成像***
WO2021039142A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11937001B2 (en) Sensor and control method
US20200382735A1 (en) Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
CN113647089B (zh) 成像***
KR20240024796A (ko) 촬상 장치, 전자 기기 및 광 검출 방법
US11563913B2 (en) Solid-state imaging element and imaging device
JP2022054553A (ja) 固体撮像素子、および、撮像装置
US20240236519A1 (en) Imaging device, electronic device, and light detecting method
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
US20240205557A1 (en) Imaging device, electronic apparatus, and imaging method
JP2024090345A (ja) 光検出装置、および、光検出装置の制御方法