KR20220145237A - 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서 - Google Patents

Abstract

비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서가 개시된다. 본 개시의 기술적 사상의 일측면에 따른 물체와의 거리를 측정하는 깊이 센서의 동작 방법은 픽셀 어레이에 포함된 적어도 하나의 깊이 픽셀에서 픽셀 신호를 출력하는 단계, 상기 픽셀 신호를 이용하여 측정된 상기 깊이 센서 외부의 외광의 세기를 기초로 외광 정보를 생성하는 단계 및 상기 외광 파라미터 값을 기초로, 상기 깊이 센서의 비닝 모드를 아날로그 비닝 모드 또는 디지털 비닝 모드로 설정하는 단계를 포함하는 것을 특징으로 한다.

Description

비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서{DEPTH SENSOR AND IMAGE SIGNAL PROCESSOR CHANGING BINNING MODE}

본 개시의 기술적 사상은 깊이 센서에 관한 것으로서, 상세하게는 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서에 관한 것이다.

사물의 거리 정보를 획득하기 위해 3D 카메라 또는 LADAR(Laser Detection And Ranging) 기술이 사용될 수 있다. 예를 들어 빛의 왕복시간을 측정함으로써 촬상 장치와 피사체 간의 거리를 측정하여 깊이 영상(depth image)을 생성하는 time of flight(TOF) 방식이 이용될 수 있다. TOF 방식은 특정 파장의 빛을 피사체로 투사하고, 피사체로부터 반사된 빛을 포토 다이오드 또는 카메라에서 측정 또는 촬영하여 깊이 영상을 추출하는 프로세싱을 포함한다.

이때, 측정 거리를 증가시키기 위해 복수의 픽셀 정보들을 하나로 합치는 비닝 기술이 사용될 수 있으나, 비닝을 함으로써 해상도가 낮아지는 문제가 있다. 또한 비닝은 아날로그 비닝과 디지털 비닝 방식이 있는데, 각 방식에 따라 주된 잡음원이 달라질 수 있다.

본 개시의 기술적 사상이 해결하려는 과제는, 외광의 세기에 기초하여 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서를 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 물체와의 거리를 측정하는 깊이 센서의 동작 방법은 픽셀 어레이에 포함된 적어도 하나의 깊이 픽셀에서 픽셀 신호를 출력하는 단계, 상기 픽셀 신호를 이용하여 측정된 상기 깊이 센서 외부의 외광의 세기를 기초로 외광 정보를 생성하는 단계, 상기 외광 파라미터 값을 기초로, 상기 깊이 센서의 비닝 모드를 아날로그 비닝 모드 또는 디지털 비닝 모드로 설정하는 단계를 포함하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 깊이 센서는 물체와의 거리를 측정하기 위해, 상기 물체로 입사 신호를 전송하는 전송기 및 상기 물체에서 반사된 반사 신호를 수신하는 수신기를 포함하고, 상기 수신기는, 상기 반사 신호를 수신하는 복수의 깊이 픽셀들을 포함하는 픽셀 어레이, 상기 픽셀 어레이에서 생성된 픽셀 신호를 수신하는 독출 회로, 상기 픽셀 신호를 기초로 외광의 세기를 계산하고, 상기 외광의 세기에 기초하여 상기 독출 회로의 아날로그 비닝 모드 또는 디지털 비닝 모드를 결정하도록 구성되는 컨트롤러를 포함하고, 상기 독출 회로는, 상기 아날로그 비닝 모드 또는 상기 디지털 비닝 모드로 동작하여 상기 픽셀 신호를 기초로 디지털 픽셀 신호를 생성하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 물체와의 거리를 측정하는 깊이 센서는, 상기 물체에서 반사된 반사 신호에 대하여 생성된 픽셀 신호를 기초로 외광의 세기를 계산하고, 상기 외광의 세기에 기초하여, 상기 깊이 센서의 동작 환경이 실내인지 실외인지 결정하고, 결정된 동작 환경에 기초하여 상기 픽셀 신호에 아날로그 비닝 또는 디지털 비닝이 수행되도록 구성되는 컨트롤러를 포함하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 신호 프로세서(image signal processor, ISP)의 동작 방법은, 물체와의 거리를 측정하는 깊이 센서로부터 상기 물체에서 반사된 반사 신호에 대하여 생성된 픽셀 신호를 수신하는 단계, 상기 픽셀 신호를 기초로 외광의 세기를 계산하는 단계, 상기 외광의 세기에 기초하여 상기 깊이 센서의 아날로그 비닝 동작 또는 디지털 비닝 동작의 수행 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 신호 프로세서(image signal processor, ISP)는, 물체와의 거리를 측정하는 깊이 센서로부터 상기 물체에서 반사된 반사 신호에 대하여 생성된 픽셀 신호를 수신하고, 외광의 세기를 반영하는 외광 파라미터 값을 상기 픽셀 신호에 기초하여 계산하도록 구성되는 파라미터 계산 회로, 상기 외광 파라미터 값이 문턱값을 초과하면, 상기 깊이 센서가 아날로그 비닝 동작을 수행하도록 결정하고, 상기 외광 파라미터 값이 상기 문턱값 이하이면, 상기 깊이 센서가 디지털 비닝 동작을 수행하도록 결정하는 비닝 모드 결정 회로를 포함하는 것을 특징으로 한다.

본 개시의 기술적 사상의 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서에 따르면, 외광의 세기에 따라 비닝 모드를 다르게 하여 픽셀 신호의 노이즈를 최소화함으로써, 측정된 거리 또는 생성된 깊이 데이터의 정확성을 향상시킬 수 있다.

도 1은 본 개시의 예시적인 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2는 본 개시의 예시적인 실시예에 따른 입사 신호 및 반사 신호를 나타내는 타이밍도이다.
도 3은 본 개시의 예시적인 실시예에 따른 깊이 픽셀의 구조를 나타내는 예시도이다.
도 4는 본 개시의 예시적인 실시예에 따른 픽셀 어레이의 구조를 나타내는 예시도이다.
도 5는 본 개시의 예시적인 실시예에 따른 깊이 픽셀의 일부를 개략적으로 나타내는 회로도이다.
도 6은 본 개시의 예시적인 실시예에 따른 포토 게이트 신호를 나타내는 타이밍도이다.
도 7은 본 개시의 예시적인 실시예에 따른 픽셀 어레이의 구조를 나타내는 예시도이다.
도 8은 본 개시의 예시적인 실시예에 따른 컨트롤러를 나타내는 블록도이다.
도 9는 본 개시의 예시적인 실시예에 따른 외광 파라미터와 외광의 세기 간 관계를 나타내는 그래프이다.
도 10은 본 개시의 예시적인 실시예에 따른 깊이 센서의 동작 환경에 따른 외광 파라미터를 나타내는 그래프이다.
도 11은 본 개시의 예시적인 실시예에 따른 깊이 센서의 비닝 모드에 따른 잡음을 나타내는 그래프이다.
도 12는 본 개시의 예시적인 실시예에 따른 독출 회로를 나타내는 블록도이다.
도 13은 본 개시의 예시적인 실시예에 따른 깊이 센서의 동작을 나타내는 흐름도이다.
도 14는 본 개시의 예시적인 실시예에 따른 깊이 센서의 비닝 모드 설정 방법을 나타내는 흐름도이다.
도 15는 본 개시의 예시적인 실시예에 따른 깊이 센서의 비닝 모드 설정 방법을 나타내는 그래프이다.
도 16은 본 개시의 예시적인 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 17은 본 개시의 예시적인 실시예에 따른 깊이 센서를 포함하는 전자 기기를 나타내는 블록도이다.

이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다.

도 1은 본 개시의 예시적인 실시예에 따른 이미지 처리 장치를 나타내는 블록도이고, 도 2는 본 개시의 예시적인 실시예에 따른 입사 신호 및 반사 신호를 나타내는 타이밍도이다.

도 1 및 도 2를 참조하면, 이미지 처리 장치(10)는 깊이 센서(100) 및 이미지 신호 프로세서(image signal processor, ISP)(200)를 포함할 수 있다. 이미지 처리 장치(10)는 외부에 위치한 물체(1)로부터의 거리를 측정함으로써 깊이 데이터를 생성할 수 있다.

깊이 센서(100)는 TOF(time of flight) 방식으로 작동할 수 있으며, 도 2와 같이 입사 신호(TX)와 반사 신호(RX)의 위상차를 기반으로 물체(1)와의 거리를 측정할 수 있다. 깊이 센서(100)는 물체(1)와의 거리를 측정하기 위해, 물체(1)로 입사 신호(TX)를 전송하는 전송기(110) 및 물체(1)에서 반사된 반사 신호(RX)를 수신하고, 반사 신호(RX)를 기초로 디지털 픽셀 신호(DSIG_PX)를 생성하는 수신기(120)를 포함할 수 있다. 전송기(110)는 구동 회로(111), 광원(112) 및 광학계(113)를 포함할 수 있고, 수신기(120)는 컨트롤러(121), 픽셀 어레이(122) 및 독출 회로(123)를 포함할 수 있다.

구동 회로(111)는 컨트롤러(121)의 제어에 기초하여 광원(112)을 구동하기 위한 클럭 신호를 생성할 수 있다. 광원(112)은 클럭 신호에 응답하여 변조된 광신호를 생성하고, 광학계(1130)를 통해 물체(1)로 방사할 수 있다. 클럭 신호 또는 변조된 광신호는 정현파 또는 구형파일 수 있다.

광원(112)은 LED(light emitting diode), OLED(organic light emitting diode), AMOLED(active-matrix organic light emitting diode) 또는 레이저 다이오드(laser diode)로 구성될 수 있다. 한 실시예로서, 광원(112)은 수직 캐비티 표면 광방출 레이저(vertical-cavity surface-emitting laser, VCSEL)로 구성될 수 있다.

픽셀 어레이(122)는 물체(1)로부터 반사된 반사 신호(RX)를 수신하는 적어도 하나의 깊이 픽셀(PX)을 포함할 수 있다. 깊이 픽셀(PX)은 광 전하를 일정 시간, 예를 들어 적분 시간(integration time)동안 축적함으로써 전기적 신호인 픽셀 신호(SIG_PX)를 생성할 수 있다.

깊이 픽셀(PX)은 1회의 샘플링 구간에서, 서로 다른 위상을 갖는 제어 신호에 의해 적어도 하나의 픽셀 신호(SIG_PX)를 출력할 수 있다. 예를 들어 깊이 픽셀(PX)은 4-탭(tap) 구조일 수 있고, 4개의 서로 다른 위상을 갖는 포토 게이트 제어 신호들에 의해 4개의 픽셀 신호(SIG_PX)를 출력할 수 있다. 깊이 픽셀(PX)에 대한 자세한 내용은 후술한다.

픽셀 어레이(122)는 컨트롤러(121)로부터 비닝 모드 제어 신호(BM_CTRL)를 수신할 수 있다. 비닝 모드 제어 신호(BM_CTRL)에 따라 픽셀 어레이(122)는 복수의 탭들로부터 생성된 전하를 플로팅 디퓨전 노드로 전송하는 타이밍을 제어할 수 있다. 예를 들어, 픽셀 어레이(122)는 풀모드로 동작함에 따라 하나의 프레임 구간에서 특정 위상에 대응되는 탭으로부터 신호를 획득할 수 있다. 예를 들어, 픽셀 어레이(122)는 비닝 모드로 동작함에 따라 하나의 프레임 구간에서 특정 위상에 대응되는 복수의 탭들로부터 신호를 획득할 수 있다.

독출 회로(123)는 깊이 픽셀(PX)에서 출력된 픽셀 신호(SIG_PX)를 처리하여 디지털 픽셀 신호(DSIG_PX)를 생성할 수 있다. 한 실시예로서, 독출 회로(123)는 컨트롤러(121)의 제어에 의해 픽셀 신호(SIG_PX)에 대한 CDS(correlated double sampling) 동작과 ADC(analog to digital converting) 동작을 수행할 수 있다.

본 개시의 실시예에 따르면, 깊이 센서(100)는 비닝 동작을 수행할 수 있다. 비닝이란 복수의 픽셀 신호(SIG_PX)들을 합산 및/또는 평균하는 동작을 의미할 수 있다. 아날로그 신호에 대해 수행되는 비닝 동작을 아날로그 비닝, 디지털 신호에 대해 수행되는 비닝 동작을 디지털 비닝으로 호칭할 수 있다.

픽셀 어레이(122) 및/또는 독출 회로(123)는 컨트롤러(121)로부터 수신하는 비닝 모드 제어 신호(BM_CTRL)에 의해 아날로그 비닝 동작 또는 디지털 비닝 동작을 수행할 수 있다.

한 실시예로서, 픽셀 어레이(122)는 아날로그 비닝 모드를 나타내는 비닝 모드 제어 신호(BM_CTRL)를 수신함에 따라, 복수의 탭들로부터 생성된 전하를 하나의 플로팅 디퓨전으로부터 읽을 수 있다. 이때 복수의 탭들은 동일한 위상에 대응될 수 있다. 이후 독출 회로(123)는 픽셀 어레이(122)로부터 획득한 신호를 합산함으로써 디지털 픽셀 신호(DSIG_PX)를 생성할 수 있다.

한 실시예로서, 픽셀 어레이(122)는 디지털 비닝 모드를 나타내는 비닝 모드 제어 신호(BM_CTRL)를 수신함에 따라, 하나의 탭에서 생성된 전하를 하나의 플로팅 디퓨전으로부터 읽을 수 있다. 독출 회로(123)는 픽셀 어레이(122)로부터 획득한 신호를 디지털화하고, 복수의 디지털 신호들을 평균함으로써 디지털 픽셀 신호(DSIG_PX)를 생성할 수 있다.

비닝의 대상이 되는 신호의 개수 및/또는 비닝의 대상이 되는 깊이 픽셀(PX)의 개수는 컨트롤러(121)에 의해 결정될 수 있다. 독출 회로(123)는 픽셀 신호(SIG_PX)에 비닝 동작을 수행하여 디지털 픽셀 신호(DSIG_PX)를 생성하고, 디지털 픽셀 신호(DSIG_PX)를 이미지 신호 프로세서(200)에 제공할 수 있다.

컨트롤러(121)는 깊이 센서(100)의 일련의 동작들을 제어할 수 있다. 컨트롤러(121)는 입사 신호(TX)를 생성하기 위해, 구동 회로(111)를 제어할 수 있다. 한 실시예로서, 컨트롤러(121)는 물체(1)에서 반사된 반사 신호(RX)에 대하여 생성된 픽셀 신호(SIG_PX)를 기초로 외광의 세기를 계산하고, 외광의 세기에 기초하여, 깊이 센서(100)의 동작 환경이 실내인지 실외인지 결정하고, 결정된 동작 환경에 기초하여 픽셀 신호(SIG_PX)에 아날로그 비닝 또는 디지털 비닝이 수행되도록 구성될 수 있다.

본 개시의 실시예에 따르면, 컨트롤러(121)는 독출 회로(123)로부터 픽셀 신호(SIG_PX)를 수신하고, 픽셀 신호(SIG_PX)에 기초하여 독출 회로(123)의 비닝 모드를 결정하기 위한 비닝 모드 제어 신호(BM_CTRL)를 생성할 수 있다. 컨트롤러(121)는 픽셀 신호(SIG_PX)를 이용하여 외광(ambient light)의 세기를 측정할 수 있다. 컨트롤러(121)는 외광의 세기를 기초로 비닝 모드를 결정하기 위한 외광 정보를 생성할 수 있다. 외광 정보를 기초로 독출 회로(123)의 비닝 모드를 아날로그 비닝 모드 또는 디지털 비닝 모드로 결정할 수 있다. 한편 외광은 주변광으로 지칭될 수도 있다. 외광 정보를 기초로 깊이 센서(100)의 동작 환경이 실내인지 실외인지 결정될 수 있다. 외광 정보는 예를 들어, 도 8의 외광 파라미터를 포함할 수 있다.

외광은 픽셀 신호(SIG_PX)에 대한 잡음원으로 작용할 수 있으므로, 본 개시의 실시예에 따르면 노이즈를 줄이기 위해 외광의 세기에 따라 비닝 모드를 변경할 수 있다. 이로써 픽셀 신호(SIG_PX)의 노이즈를 최소화할 수 있으므로, 측정된 거리 또는 생성된 깊이 데이터의 정확성을 향상시킬 수 있다.

도시되지는 않았으나, 수신기(120)는 반사 신호(RX)를 변조하기 위한 변조기, 깊이 픽셀(PX)들로 제어 신호를 공급하기 위한 로우 드라이버, 로우 디코더 및 타이밍 컨트롤러(121), 깊이 픽셀(PX)로 포토 게이트 제어 신호를 제공하는 포토 게이트 컨트롤러(121)를 더 포함할 수 있다.

이미지 신호 프로세서(200)는 디지털 픽셀 신호(DSIG_PX)를 기초로 깊이 데이터를 생성할 수 있다. 도 1에서 이미지 신호 프로세서(200)가 이미지 처리 장치(10) 내부에 있는 것으로 도시되었으나, 이에 제한되지 않으며 이미지 신호 프로세서(200)가 이미지 처리 장치(10) 외부에 구현될 수도 있다.

도 3은 본 개시의 예시적인 실시예에 따른 깊이 픽셀의 구조를 나타내는 예시도이다.

도 3을 참조하면, 깊이 픽셀(PX)은 4-탭(tap) 구조일 수 있다. '탭'은 복조(demodulation) 신호에 따라 광 전하들을 수집하여 검출하기 위한 포토 게이트 및 검출 영역을 포함하는 컴포넌트를 지칭할 수 있다.

깊이 픽셀(PX)은 서로 다른 위상 각각에 대응되는 4개의 탭을 포함할 수 있다. 예를 들어 4개의 탭은 각각 0°, 90°, 180° 및 270°인 위상에 대응될 수 있다. 즉 4개의 탭 각각에 제공되는 포토 게이트 신호의 위상은 각각 0°, 90°, 180° 및 270°일 수 있다.

깊이 픽셀(PX)은 각 탭에 대응되는 플로팅 디퓨전 노드(FD)를 포함할 수 있다. 즉 깊이 픽셀(PX)은 4-탭 구조이므로 4개의 플로팅 디퓨전 노드(FD)를 포함할 수 있다. 플로팅 디퓨전 노드(FD)가 각 탭의 모서리에 위치한 것으로 도시되었으나, 이에 제한되는 것은 아니다.

플로팅 디퓨전 노드(FD)에 축적된 전하로 인해 각 탭에서 서로 다른 4개의 픽셀 신호(A1~A4)가 생성될 수 있다. 한 실시예로서, 0°위상에 대응되는 제1 탭에서는 제1 픽셀 신호(A1)가 생성되고, 90°위상에 대응되는 제2 탭에서는 제2 픽셀 신호(A2)가 생성되고, 180°위상에 대응되는 제3 탭에서는 제3 픽셀 신호(A3)가 생성되고, 270°위상에 대응되는 제4 탭에서는 제4 픽셀 신호(A4)가 생성될 수 있다.

제1 내지 제4 픽셀 신호(A1~A4)를 기초로, 수학식 1 및 수학식 2에 따라 물체(1)와의 거리가 계산될 수 있다.

수학식 1에서

는 입사 신호(TX)와 반사 신호(RX)의 위상차를 의미하고, 수학식 2에서 c는 광속,

은 입사 신호(TX) 또는 반사 신호(RX)의 주파수, d는 물체(1)와의 거리를 의미한다.

한편 깊이 픽셀(PX)은 4-탭 구조에 제한되지 않으며, 2-탭 구조 또는 복수의 탭을 갖는 멀티탭(multi-tap) 구조일 수 있다.

도 4는 본 개시의 예시적인 실시예에 따른 픽셀 어레이의 구조를 나타내는 예시도이다. 픽셀 어레이(122)는 도 1의 픽셀 어레이(122)의 한 실시예에 해당할 수 있다.

도 4를 참조하면, 픽셀 어레이(122)는 4-탭 구조의 복수의 깊이 픽셀들을 포함할 수 있으며, 예를 들어 제1 깊이 픽셀(PX1) 및 제2 깊이 픽셀(PX2)을 포함할 수 있다.

제1 깊이 픽셀(PX1)은 제1 내지 제4 탭을 포함하고, 제2 깊이 픽셀(PX2)은 제5 내지 제8 탭을 포함할 수 있다. 제1 탭 및 제5 탭은 동일 위상, 예를 들어 0°위상에 대응될 수 있고, 제2 탭 및 제6 탭은 동일 위상, 예를 들어 90°위상에 대응될 수 있고, 제3 탭 및 제5 탭은 동일 위상, 예를 들어 180°위상에 대응될 수 있고, 제4 탭 및 제6 탭은 동일 위상, 예를 들어 270°위상에 대응될 수 있다.

제1 깊이 픽셀(PX1)과 제2 깊이 픽셀(PX2)은 동일한 위상에 대응되는 탭끼리 인접하도록 거울 대칭 구조로 배치될 수 있다. 예를 들어 제3 탭과 제5 탭이 인접하고, 제4 탭과 제6 탭이 인접할 수 있다. 제1 깊이 픽셀(PX1)의 제1 및 제2 탭은 다른 깊이 픽셀과 인접할 수 있다.

이에 따라, 서로 인접한 복수의 탭들은 플로팅 디퓨전 노드를 공유할 수 있다. 예를 들어, 제3 탭 및 제5 탭이 하나의 플로팅 디퓨전 노드를 공유할 수 있고, 제4 탭 및 제6 탭이 하나의 플로팅 디퓨전 노드를 공유할 수 있다.

도 5는 본 개시의 예시적인 실시예에 따른 깊이 픽셀의 일부를 개략적으로 나타내는 회로도이고, 도 6은 본 개시의 예시적인 실시예에 따른 포토 게이트 신호를 나타내는 타이밍도이다.

도 5를 참조하면, 깊이 픽셀(PX)은 하나의 포토 다이오드(PD), 4개의 포토 트랜지스터(PX1~PX4) 및 4개의 플로팅 디퓨전 노드(FD1~FD4)를 포함할 수 있다. 도시되지 않았으나, 깊이 픽셀(PX)은 4개의 전송 트랜지스터, 4개의 캡쳐 트랜지스터, 4개의 스토리지 트랜지스터 및 1개의 오버플로우 트랜지스터 중 적어도 하나를 더 포함할 수 있다.

제1 내지 제4 포토 트랜지스터(PX1~PX4)는 제1 내지 제4 플로팅 디퓨전 노드(FD1~FD4)와 포토 다이오드(PD) 사이에 각각 연결될 수 있다. 제1 내지 제4 포토 트랜지스터(PX1~PX4)는 각각 제1 내지 제4 포토 게이트 신호(PG1~PG4)에 의해 제어될 수 있다. 제1 내지 제4 포토 게이트 신호(PG1~PG4)는 서로 다른 위상을 가질 수 있다. 한 실시예로서 도 6을 참조하면, 제1 포토 게이트 신호(PG1)의 위상을 0°로 가정하면, 제2 내지 제4 포토 게이트 신호(PG2~PG4)의 위상은 각각 90°, 180° 및 270°일 수 있다. 즉 제1 내지 제4 포토 게이트 신호(PG1~PG4)의 위상차는 각각 90°일 수 있다.

제1 내지 제4 포토 트랜지스터(PX1~PX4)가 턴-온됨으로써 포토 다이오드(PD)에서 광전하들이 생성될 수 있고, 생성된 광전하들이 제1 내지 제4 플로팅 디퓨전 노드(FD1~FD4)에 축적될 수 있다. 제1 내지 제4 플로팅 디퓨전 노드(FD1~FD4)에 축적된 전하들에 기초하여, 제1 내지 제4 픽셀 신호(예를 들어 도 3의 A1~A4)가 출력될 수 있다. 제1 내지 제4 포토 게이트 신호(PG1~PG4)의 위상차에 의해 제1 내지 제4 픽셀 신호(A1~A4) 또한 서로 다를 수 있다.

도 7은 본 개시의 예시적인 실시예에 따른 픽셀 어레이의 구조를 나타내는 예시도이다.

도 7을 참조하면, 깊이 센서(예를 들어 도 1의 100)는 비닝 모드로 동작할 수 있고, 이에 따라 픽셀 어레이(122a)는 깊이 픽셀 그룹(GPX) 단위로 동작할 수 있다. 이하에서는 2x2 비닝 모드인 경우를 예로 들어 설명한다.

깊이 픽셀 그룹(GPX)은 동일한 위상에 대응되는 탭을 복수개 포함할 수 있다. 한 실시예로서, 제1 위상(예를 들어 0°)에 대응되는 제1 탭, 제2 위상(예를 들어 90°)에 대응되는 제2 탭, 제3 위상(예를 들어 180°)에 대응되는 제3 탭 및 제4 위상(예를 들어 270°)에 대응되는 제4 탭을 각각 복수 개씩, 예를 들어 4개씩 포함할 수 있다.

동일한 위상에 대응되는 탭들은 플로팅 디퓨전 노드를 공유할 수 있다. 이에 따라 복수의 탭들(예를 들어 4개의 제1 탭)로부터 생성되는 픽셀 그룹 신호는 하나의 플로팅 디퓨전 노드를 통해 출력될 수 있다.

도 8은 본 개시의 예시적인 실시예에 따른 컨트롤러를 나타내는 블록도이고, 도 9는 본 개시의 예시적인 실시예에 따른 외광 파라미터와 외광의 세기 간 관계를 나타내는 그래프이고, 도 10은 본 개시의 예시적인 실시예에 따른 깊이 센서의 동작 환경에 따른 외광 파라미터를 나타내는 그래프이고, 도 11은 본 개시의 예시적인 실시예에 따른 깊이 센서의 비닝 모드에 따른 잡음을 나타내는 그래프이다.

도 8을 참조하면, 컨트롤러(300)는 파라미터 계산 회로(310) 및 비닝 모드 결정 회로(320)를 포함할 수 있다.

파라미터 계산 회로(310)는 독출 회로(400)로부터 픽셀 신호(SIG_PX)를 수신할 수 있다. 픽셀 신호(SIG_PX)는 예를 들어 도 3의 제1 내지 제4 픽셀 신호(A1~A4)일 수 있다. 파라미터 계산 회로(310)는 픽셀 신호(SIG_PX)를 이용하여 외광의 세기를 계산할 수 있고, 외광의 세기를 기초로 외광 파라미터를 계산할 수 있다. 외광 파라미터는 외광의 세기에서 물체(1)와의 거리로 인한 효과를 보정한 변수를 의미할 수 있다. 도 9를 참조하면, 외광 파라미터는 외광의 세기와 반비례할 수 있다. 외광 파라미터 값(PAR)은 물체(1)로 방사한 입사 신호(TX)의 세기 및 외광의 세기를 기초로 계산될 수 있다. 예를 들어 외광 파라미터 값(PAR)은 입사 신호(TX)의 세기를 외광의 세기로 나눈 값을 포함할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어 입사 신호(TX)의 세기를 외광의 세기의 제곱근으로 나눈 값을 포함할 수도 있다.

입사 신호(TX)의 세기, 외광의 세기 및 외광 파라미터는 각각 수학식 3, 수학식 4 및 수학식 5를 통해 계산될 수 있다.

수학식 3에서, A1 내지 A4는 각각 깊이 픽셀의 제1 내지 제4 탭을 통해 출력된 제1 내지 제4 픽셀 신호를 의미하고, A는 입사 신호(TX)의 세기를 의미한다. 수학식 4에서 B는 외광의 세기를 의미하고, 수학식 5에서 P는 외광 파라미터를 의미한다. 파라미터 계산 회로(310)는 외광 파라미터를 이용함으로써, 물체(1)와의 거리에 무관하게 외광의 세기를 측정할 수 있다.

비닝 모드 결정 회로(320)는 외광 파라미터 값(PAR)을 기초로 독출 회로(400)의 비닝 모드를 결정할 수 있다. 예를 들어 외광 파라미터 값(PAR)이 문턱값을 초과하는 경우 비닝 모드를 상기 아날로그 비닝 모드로 결정하고, 외광 파라미터 값(PAR)이 문턱값 이하인 경우, 비닝 모드를 디지털 비닝 모드로 결정할 수 있다. 한편, 비닝 모드 결정 회로(320)는 2개의 문턱값을 이용할 수 있다. 이에 대해서는 도 15를 통해 후술한다.

비닝 모드 결정 회로(320)는 외광 파라미터 값(PAR)을 기초로 깊이 센서(예를 들어 도 1의 100)의 동작 환경을 결정할 수 있고, 동작 환경에 따라 독출 회로(400)의 비닝 모드를 결정하기 위한 비닝 모드 제어 신호(BM_CTRL)를 생성할 수 있다. 예를 들어 외광 파라미터 값(PAR)이 문턱값을 초과함에 따라, 깊이 센서(100)의 동작 환경을 실내로 판단하고, 외광 파라미터 값(PAR)이 문턱값 이하임에 따라, 깊이 센서(100)의 동작 환경을 실외로 판단할 수 있다.

한편 도 10을 참조하면, 외광 파라미터 값(PAR)은 물체(1)와의 거리가 변함에도 불구하고, 실내 환경과 실외 환경에서 명확하게 구분된다. 따라서 깊이 센서(100)의 동작 환경을 결정하기 위해 외광 파라미터가 사용될 수 있다.

본 개시의 실시예에 따르면, 컨트롤러(300)는 외광 파라미터를 기초로 독출 회로(400)의 비닝 모드를 결정함으로써, 외광의 세기가 약한 실내에서는 아날로그 비닝을 통해 픽셀 신호(SIG_PX)의 레벨을 증가시킬 수 있고, 외광의 세기가 강한 실외에서는 디지털 비닝을 통해 깊이 픽셀이 외광으로 인해 포화되는 것을 방지할 수 있다.

도 11을 참조하면, 외광의 세기에 따라서, 아날로그 비닝을 통해 생성된 데이터의 잡음과 디지털 비닝을 통해 생성된 데이터의 잡음의 크기가 서로 다를 수 있다. 예를 들어 외광의 세기가 0 lux 내지 26 klux에서는 디지털 비닝을 통해 생성된 데이터의 잡음이 아날로그 비닝을 통해 생성된 데이터의 잡음보다 클 수 있다. 따라서 이 범위에서는 아날로그 비닝을 수행하는 것이 유리할 수 있다. 또한 외광의 세기가 26 klux를 초과하는 경우, 아날로그 비닝을 통해 생성된 데이터의 잡음이 디지털 비닝을 통해 생성된 데이터의 잡음보다 클 수 있다. 따라서 이 범위에서는 디지털 비닝을 수행하는 것이 유리할 수 있다.

즉, 외광의 세기가 기설정된 문턱값 이하인 경우에는 아날로그 비닝을 수행함으로써 잡음이 감소되고, 외광의 세기가 기설정된 문턱값을 초과하는 경우에는 디지털 비닝을 수행함으로써 잡음이 감소될 수 있다. 한 실시예로서, 비닝 모드 결정 회로(320)는 잡음의 크기가 역전되는 외광의 세기를 기준으로 외광 파라미터의 문턱값을 설정하고, 문턱값을 기준으로 깊이 센서(100)의 아날로그 비닝 모드 또는 디지털 비닝 모드를 결정할 수 있다.

한편, 도 8에서 파라미터 계산 회로(310)는 깊이 픽셀 그룹(예를 들어 도 7의 GPX)에서 생성된 픽셀 그룹 신호를 더 수신할 수 있다. 이 경우 파라미터 계산 회로(310)는 픽셀 그룹 신호를 기초로 외광 파라미터 값(PAR)을 계산할 수 있다.

도 12는 본 개시의 예시적인 실시예에 따른 독출 회로를 나타내는 블록도이다.

도 12를 참조하면, 독출 회로(500)는 컨트롤러(예를 들어 도 8의 300)로부터 비닝 모드 제어 신호(BM_CTRL)를 수신하고, 픽셀 어레이(예를 들어 도 1의 122)로부터 복수의 픽셀 그룹 신호들을 수신할 수 있다. 독출 회로(500)는 비닝 모드 제어 신호(BM_CTRL)에 따라 아날로그 비닝 또는 디지털 비닝을 수행함으로써 디지털 픽셀 신호(DSIG_PX)를 생성하여 출력할 수 있다.

독출 회로(500)는 아날로그 비닝 회로(510), ADC(analog to digital converter)(520) 및 디지털 비닝 회로(530)를 포함할 수 있다. 한 실시예로서, 비닝 모드 제어 신호(BM_CTRL)가 제1 로직 레벨임에 따라 아날로그 비닝을 지시하는 경우, 독출 회로(500)의 아날로그 비닝 회로(510) 및 ADC(520)가 동작할 수 있다. 한 실시예로서, 비닝 모드 제어 신호(BM_CTRL)가 제2 로직 레벨임에 따라 디지털 비닝을 지시하는 경우, 독출 회로(500)의 ADC(520) 및 디지털 비닝 회로(530)가 동작할 수 있다.

아날로그 비닝 동작을 위해, 아날로그 비닝 회로(510)는 아날로그 신호인 복수의 픽셀 그룹 신호들을 수신하고, 각 픽셀 그룹 신호를 합산하여 제1 신호를 생성할 수 있다. ADC(520)는 아날로그 신호인 제1 신호 또는 제2 신호를 디지털 신호로 변환하여 제3 신호를 생성할 수 있다. 독출 회로(500)는 제3 신호를 디지털 픽셀 신호(DSIG_PX)로서 출력할 수 있다.

디지털 비닝 동작을 위해, ADC(520)는 아날로그 신호인 복수의 픽셀 그룹 신호들을 수신하고, 각 픽셀 그룹 신호를 디지털 신호로 변환하여 복수의 제4 신호들을 생성할 수 있다. 디지털 비닝 회로(530)는 디지털 신호인 복수의 제4 신호들을 수신하고, 복수의 제4 신호들을 합산하여 제5 신호를 생성할 수 있다. 한 실시예로서 디지털 비닝 회로(530)는 복수의 제4 신호들의 평균값을 계산하여 제6 신호를 생성할 수 있다. 독출 회로(500)는 제5 신호 또는 제6 신호를 디지털 픽셀 신호(DSIG_PX)로서 출력할 수 있다.

도 13은 본 개시의 예시적인 실시예에 따른 깊이 센서의 동작을 나타내는 흐름도이다.

도 1 및 도 13을 함께 참조하면, 픽셀 신호(SIG_PX)가 출력될 수 있다(S110). 한 실시예로서 깊이 픽셀(PX)로부터 복수의 픽셀 신호들이 출력될 수 있다. 한 실시예로서, 깊이 픽셀 그룹(예를 들어 도 7의 GPX)으로부터 복수의 픽셀 그룹 신호들이 출력될 수 있다.

픽셀 신호(SIG_PX)를 기초로 외광의 세기가 측정될 수 있다(S120). 한 실시예로서 복수의 픽셀 신호들을 평균함으로써 외광의 세기가 계산될 수 있다. 한 실시예로서 복수의 픽셀 그룹 신호들을 평균함으로써 외광의 세기가 계산될 수 있다.

외광의 세기를 기반으로 외광 파라미터 값(PAR)이 계산될 수 있다(S130). 한 실시예로서 외광의 세기 및 물체(1)로 방사한 입사 신호(TX)의 세기를 기초로 외광 파라미터 값(PAR)이 계산될 수 있다. 예를 들어 입사 신호(TX)의 세기와 외광의 세기의 비율을 기초로 외광 파라미터 값(PAR)이 계산될 수 있다. 외광 파라미터 값(PAR)은 외광의 세기와 반비례할 수 있다.

외광 파라미터 값(PAR)에 따라 비닝 모드가 설정될 수 있다(S140). 한 실시예로서 외광 파라미터 값(PAR)을 통해 깊이 센서(100)의 동작 환경이 결정될 수 있고, 동작 환경에 따라 깊이 센서(100)의 비닝 모드가 설정될 수 있다.

이후, 설정된 비닝 모드에 따라, 복수의 깊이 픽셀들을 포함하는 깊이 픽셀 그룹에서 픽셀 그룹 신호가 출력되고, 픽셀 그룹 신호를 처리하여 디지털 픽셀 신호가 생성될 수 있다. 한 예로서, 아날로그 비닝 모드로 설정된 경우, 제1 픽셀 그룹 신호 및 제2 픽셀 그룹 신호를 합산하고, 합산된 신호가 디지털 픽셀 신호로 변환될 수 있다. 한 예로서,디지털 비닝 모드로 설정된 경우, 제1 및 제2 픽셀 그룹 신호를 각각 디지털 신호로 변환하고, 각 디지털 신호를 합산하여 디지털 픽셀 신호가 생성될 수 있다.

도 14는 본 개시의 예시적인 실시예에 따른 깊이 센서의 비닝 모드 설정 방법을 나타내는 흐름도이다.

도 1 및 도 14를 함께 참조하면, 외광 파라미터 값(PAR)이 미리 설정된 문턱값을 초과하는지 판단될 수 있다(S210). 외광 파라미터 값(PAR)이 문턱값을 초과(또는 이상)하는 경우, 깊이 센서(100)는 아날로그 비닝 모드로 설정될 수 있다(S220). 외광 파라미터 값(PAR)이 문턱값 이하(또는 미만)인 경우, 깊이 센서(100)는 디지털 비닝 모드로 설정될 수 있다(S230).

한편 깊이 센서(100)의 비닝 모드를 변경하기 위해 복수의 문턱값들이 이용될 수 있다. 이에 대해서 도 15를 통해 설명한다.

도 15는 본 개시의 예시적인 실시예에 따른 깊이 센서의 비닝 모드 설정 방법을 나타내는 그래프이다.

도 1 및 도 15를 함께 참조하면, 깊이 센서(100)의 비닝 모드를 변경하기 위해 제1 문턱값(TH1) 및 제1 문턱값(TH1)보다 작은 제2 문턱값(TH2)이 이용될 수 있다.

외광 파라미터 값(PAR)이 제1 문턱값(TH1)을 초과하는 경우에 대해 설명한다. 외광 파라미터는 외광의 세기와 반비례할 수 있는바, 외광 파라미터가 큰 것은 외광의 세기가 약함을 의미할 수 있다. 따라서 깊이 센서(100)의 동작 환경은 실내로 결정될 수 있다. 따라서 깊이 센서(100)는 아날로그 비닝을 수행함으로써 잡음을 줄일 수 있다. 즉 독출 회로(123)의 ADC(예를 들어 도 12의 520)에서 발생할 수 있는 양자화 잡음(quantization noise)을 감소시킬 수 있다.

외광 파라미터 값(PAR)이 제2 문턱값(TH2) 이하인 경우에 대해 설명한다. 외광 파라미터는 외광의 세기와 반비례할 수 있는바, 외광 파라미터가 작은 것은 외광의 세기가 강함을 의미할 수 있다. 따라서 깊이 센서(100)의 동작 환경은 실외로 결정될 수 있다. 따라서 깊이 센서(100)는 디지털 비닝을 수행함으로써 잡음을 줄일 수 있다. 즉 깊이 픽셀(PX)의 플로팅 디퓨전 노드의 수광 면적(full well capacity, FWC)을 확보하여 깊이 픽셀(PX)의 포화를 방지할 수 있다.

외광 파라미터 값(PAR)이 제2 문턱값(TH2)을 초과하고, 제1 문턱값(TH1) 이하인 경우에 대해 설명한다. 이 경우 외광 파라미터 값(PAR)이 증가하는 추세인지 또는 감소하는 추세인지에 따라 기준이 되는 문턱값이 달라질 수 있다.

예를 들어, 제1 시점(t1)에서 제2 시점(t2) 사이 외광 파라미터 값(PAR)이 감소하는 추세인 경우, 제2 문턱값(TH2)(또는 제1 문턱값(TH1))이 기준값이 될 수 있다. 따라서 제2 시점(t2)에서 깊이 센서(100)의 비닝 모드는 아날로그 비닝 모드에서 디지털 비닝 모드로 변경될 수 있다.

예를 들어, 제3 시점(t3)에서 제4 시점(t4) 사이, 제5 시점(t5)에서 제6 시점(t6) 사이 외광 파라미터 값(PAR)이 증가하는 추세인 경우, 제1 문턱값(TH1)(또는 제2 문턱값(TH2))이 기준값이 될 수 있다. 따라서 제3 시점(t3)에서 제4 시점(t4) 사이에서 깊이 센서(100)의 비닝 모드는 디지털 비닝 모드로 유지될 수 있다. 이에 따라 제4 시점(t4)에서 제5 시점(t5) 사이에서도 깊이 센서(100)의 비닝 모드는 변경되지 않을 수 있다. 제5 시점(t5)에서 제6 시점(t6) 사이에서, 제1 문턱값(TH1)이 기준값이므로, 제6 시점(t6)에서 깊이 센서(100)의 비닝 모드는 디지털 비닝 모드에서 아날로그 비닝 모드로 변경될 수 있다. 한편, 문턱값의 개수 또는 비닝 모드가 바뀌는 기준점이 되는 문턱값은 이에 제한되지 않는다.

본 개시의 실시예에 따르면 깊이 센서(100)는 2개의 문턱값(TH1, TH2)을 사용함에 따라, 비닝 모드가 민감하게 변경되는 것을 방지할 수 있다. 즉 외광 파라미터 값(PAR)이 순간적으로 빈번하게 변화하는 경우에도 비닝 모드 변경 동작을 안정적으로 수행할 수 있다.

도 16은 본 개시의 예시적인 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다. 이미지 처리 장치(10a)는 도 1의 이미지 처리 장치(10)와 유사하므로, 중복되는 설명은 생략한다.

도 16을 참조하면, 이미지 신호 프로세서(200a)는 깊이 센서(100a)의 비닝 모드를 결정하는 일련의 동작들을 수행할 수 있다. 한 실시예로서, 이미지 신호 프로세서(200a)는 물체(1)와의 거리를 측정하는 깊이 센서(100a)로부터 물체(1)에서 반사된 반사 신호(RX)에 대하여 생성된 픽셀 신호(SIG_PX)를 수신할 수 있다. 이미지 신호 프로세서(200a)는 픽셀 신호(SIG_PX)를 기초로 외광의 세기를 계산할 수 있다. 이미지 신호 프로세서(200a)는 외광의 세기에 기초하여 깊이 센서(100a)의 아날로그 비닝 동작 또는 디지털 비닝 동작의 수행 여부를 결정할 수 있다.

구체적으로, 이미지 신호 프로세서(200a)는 외광의 세기에 기초하여, 깊이 센서(100a)의 동작 환경이 실내인지 실외인지 결정할 수 있다. 깊이 센서(100a)의 동작 환경이 실내로 결정된 경우 아날로그 비닝 동작의 수행을 결정하고, 실외로 결정된 경우 디지털 비닝 동작의 수행을 결정할 수 있다.

이미지 신호 프로세서(200a)는 파라미터 계산 회로(210) 및 비닝 모드 결정 회로(220)를 포함할 수 있다.

파라미터 계산 회로(210)는 도 8의 파라미터 계산 회로(310)와 유사할 수 있으며, 깊이 센서(100a)로부터 픽셀 신호(SIG_PX)를 수신하고, 픽셀 신호(SIG_PX)에 기초하여 외광 파라미터 값(PAR)을 계산할 수 있다.

비닝 모드 결정 회로(220)는 도 8의 비닝 모드 결정 회로(320)와 유사할 수 있으며, 외광 파라미터 값(PAR) 및 미리 설정된 문턱값을 기준으로 깊이 센서(100a)의 비닝 모드를 결정하기 위한 비닝 모드 제어 신호(BM_CTRL)를 생성하여 깊이 센서(100a)의 독출 회로(123a)에 제공할 수 있다.

독출 회로(123a)는 비닝 모드 제어 신호(BM_CTRL)에 기초하여 비닝 동작을 수행함으로써, 디지털 픽셀 신호(DSIG_PX)를 생성할 수 있다. 이미지 신호 프로세서(200a)는 디지털 픽셀 신호(DSIG_PX)를 수신하고, 깊이 데이터를 생성할 수 있다.

도 17은 본 개시의 예시적인 실시예에 따른 깊이 센서를 포함하는 전자 기기를 나타내는 블록도이다.

도 17을 참조하면, 전자 기기(1000)는 깊이 센서(1100), 이미지 센서(1200), 메인 프로세서(1300), 워킹 메모리(1400), 스토리지(1500), 디스플레이 장치(1600), 유저 인터페이스(1700) 및 통신부(1800)를 포함할 수 있다.

깊이 센서(1100)는 도 1 내지 도 16을 참조하여 설명한 깊이 센서(100, 100a)에 대응될 수 있다. 예를 들어, 깊이 센서(1100)는 전자 기기(1000) 외부의 물체와의 거리를 측정하기 위해 반사 신호를 수신함으로써 픽셀 신호를 생성할 수 있다. 깊이 센서(1100)는 픽셀 신호를 기초로 외광의 세기를 계산하고, 외광 파라미터 값을 계산할 수 있다. 깊이 센서(1100)는 외광 파라미터 값에 따라 비닝 모드를 아날로그 비닝 모드 또는 디지털 비닝 모드로 결정할 수 있다. 깊이 센서(1100)는 설정된 비닝 모드에 따라 디지털 픽셀 신호를 생성하여 메인 프로세서(1300)로 제공할 수 있다. 메인 프로세서(1300)는 디지털 픽셀 신호를 기초로 깊이 데이터를 생성할 수 있다.

이미지 센서(1200)는 수신되는 광 신호를 기초로 이미지 데이터, 예컨대 원시 이미지 데이터를 생성하고 이지 데이터를 메인 프로세서(1300)에 제공할 수 있다.

메인 프로세서(1300)는 전자 기기(1000)의 전반적인 동작을 제어할 수 있으며, 깊이 센서(1100)로부터 수신되는 이벤트 데이터, 즉 이벤트 신호들을 처리하여 오브젝트의 움직임을 검출할 수 있다. 또한 이미지 센서(1200)로부터 이미지 프레임을 수신하고, 기설정된 정보를 기초로 이미지 처리를 수행할 수 있다.

워킹 메모리(1400)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1400)는 프로세서(1120)에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1400)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.

스토리지(1500)는 메인 프로세서(1300) 또는 다른 구성들로부터 저장이 요청된 데이터를 저장할 수 있다. 스토리지(1500)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.

디스플레이 장치(1600)는 디스플레이 패널, 디스플레이 구동 회로, 및 DSI (display serial interface)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED(Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 디스플레이 구동 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다. 메인 프로세서(1300)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다.

유저 인터페이스(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.

통신부(1800)는 안테나(1830)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신부(1800)의 송수신기(1810) 및 MODEM (Modulator/Demodulator, 1820)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.

전자 기기(1000)의 구성 요소들, 예를 들어 깊이 센서(1100), 이미지 센서(1200), 메인 프로세서(1300), 워킹 메모리(1400), 스토리지(1500), 디스플레이 장치(1600), 유저 인터페이스(1700) 및 통신부(1800)는 USB (Universal Serial Bus), SCSI (Small Computer System Interface), MIPI, I2C, PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

1. 물체와의 거리를 측정하는 깊이 센서의 동작 방법으로서,
   픽셀 어레이에 포함된 적어도 하나의 깊이 픽셀에서 픽셀 신호를 출력하는 단계;
   상기 픽셀 신호를 이용하여 측정된 상기 깊이 센서 외부의 외광의 세기를 기초로 외광 정보를 생성하는 단계; 및
   상기 외광 정보를 기초로, 상기 깊이 센서의 비닝 모드를 아날로그 비닝 모드 또는 디지털 비닝 모드로 설정하는 단계;
   를 포함하는 것을 특징으로 하는 깊이 센서의 동작 방법.
2. 제1항에 있어서,
   상기 외광 정보는,
   상기 외광의 세기에 상기 물체와의 거리를 보정함으로써 계산된 외광 파라미터 값을 포함하고,
   상기 아날로그 비닝 모드 또는 디지털 비닝 모드로 설정하는 단계는,
   상기 외광 파라미터 값이 문턱값을 초과하는 경우, 상기 비닝 모드를 상기 아날로그 비닝 모드로 설정하는 단계; 및
   상기 외광 파라미터 값이 상기 문턱값 이하인 경우, 상기 비닝 모드를 상기 디지털 비닝 모드로 설정하는 단계;
   를 포함하는 것을 특징으로 하는 깊이 센서의 동작 방법.
3. 제2항에 있어서,
   상기 깊이 센서는,
   상기 외광 파라미터 값이 상기 문턱값을 초과함에 따라, 상기 깊이 센서의 동작 환경을 실내로 판단하고,
   상기 외광 파라미터 값이 상기 문턱값 이하임에 따라, 상기 깊이 센서의 동작 환경을 실외로 판단하는 것을 특징으로 하는 깊이 센서의 동작 방법.
4. 제1항에 있어서,
   상기 깊이 센서는,
   상기 물체로 입사 신호를 전송하고, 상기 물체에서 반사된 반사 신호를 수신하고, 상기 입사 신호 및 반사 신호를 기초로 상기 물체와의 거리를 측정하고,
   상기 외광 정보를 생성하는 단계는,
   상기 입사 신호의 세기 및 상기 외광의 세기를 기초로 상기 외광 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 센서의 동작 방법.
5. 제1항에 있어서,
   상기 외광 정보는,
   상기 외광의 세기에 상기 물체와의 거리를 보정함으로써 계산된 외광 파라미터 값을 포함하고,
   상기 아날로그 비닝 모드 또는 디지털 비닝 모드로 설정하는 단계는,
   상기 외광 파라미터 값이 제1 문턱값 이하이고 제2 문턱값을 초과하는 상태에서 상기 제1 문턱값을 초과하는 경우, 상기 아날로그 비닝 모드로 설정하는 단계; 및
   상기 외광 파라미터 값이 상기 제1 문턱값 이하이고 상기 제2 문턱값을 초과하는 상태에서 상기 제2 문턱값 이하로 감소하는 경우, 상기 디지털 비닝 모드로 설정하는 단계;를 포함하고,
   상기 제2 문턱값은 상기 제1 문턱값보다 작은 것을 특징으로 하는 깊이 센서의 동작 방법.
6. 물체와의 거리를 측정하기 위해, 상기 물체로 입사 신호를 전송하는 전송기; 및
   상기 물체에서 반사된 반사 신호를 수신하는 수신기;를 포함하는 깊이 센서로서,
   상기 수신기는,
   상기 반사 신호를 수신하는 복수의 깊이 픽셀들을 포함하는 픽셀 어레이;
   상기 픽셀 어레이에서 생성된 픽셀 신호를 수신하는 독출 회로; 및
   상기 픽셀 신호를 기초로 외광의 세기를 계산하고, 상기 외광의 세기에 기초하여 상기 독출 회로의 아날로그 비닝 모드 또는 디지털 비닝 모드를 결정하도록 구성되는 컨트롤러;를 포함하고,
   상기 독출 회로는,
   상기 아날로그 비닝 모드 또는 상기 디지털 비닝 모드로 동작하여 상기 픽셀 신호를 기초로 디지털 픽셀 신호를 생성하는 것을 특징으로 하는 깊이 센서.
7. 제6항에 있어서,
   상기 컨트롤러는
   상기 입사 신호의 세기 및 상기 외광의 세기를 기초로, 상기 독출 회로의 비닝 모드를 결정하기 위한 외광 파라미터를 계산하도록 구성되는 파라미터 계산 회로; 및
   외광 파라미터 값이 문턱값을 초과하면, 상기 독출 회로의 비닝 모드를 상기 아날로그 비닝 모드로 결정하고, 상기 외광 파라미터 값이 문턱값 이하이면, 상기 독출 회로의 비닝 모드를 상기 디지털 비닝 모드로 결정하도록 구성되는 비닝 모드 결정 회로;
   를 포함하는 것을 특징으로 하는 깊이 센서.
8. 제6항에 있어서,
   제1 깊이 픽셀은 제1 내지 제4 위상에 각각 대응되는 제1 내지 제4 탭을 포함하고,
   제2 깊이 픽셀은 상기 제1 내지 제4 위상에 각각 대응되는 제5 내지 제8 탭을 포함하고,
   상기 제1 및 제2 깊이 픽셀은 동일한 위상에 대응되는 탭끼리 인접하도록 거울 대칭 구조로 배치되는 것을 특징으로 하는 깊이 센서.
9. 제8항에 있어서,
   상기 독출 회로는, 상기 아날로그 비닝 모드로 동작하는 경우,
   상기 제1 탭에서 출력되는 제1 픽셀 신호 및 상기 제5 탭에서 출력되는 제2 픽셀 신호를 합산하는 아날로그 비닝 회로; 및
   합산된 신호를 디지털 신호로 변환하는 ADC;
   를 포함하는 것을 특징으로 하는 깊이 센서.
10. 제8항에 있어서,
    상기 독출 회로는, 상기 디지털 비닝 모드로 동작하는 경우,
    상기 제1 탭에서 출력되는 제1 픽셀 신호를 제1 디지털 신호로 변환하고, 상기 제5 탭에서 출력되는 제2 픽셀 신호를 제2 디지털 신호로 변환하는 ADC; 및
    상기 제1 및 제2 디지털 신호를 합산하는 디지털 비닝 회로;
    를 포함하는 것을 특징으로 하는 깊이 센서.

Images