KR20170048972A - 영상을 생성하는 방법 및 장치 - Google Patents

영상을 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR20170048972A
KR20170048972A KR1020150149734A KR20150149734A KR20170048972A KR 20170048972 A KR20170048972 A KR 20170048972A KR 1020150149734 A KR1020150149734 A KR 1020150149734A KR 20150149734 A KR20150149734 A KR 20150149734A KR 20170048972 A KR20170048972 A KR 20170048972A
Authority
KR
South Korea
Prior art keywords
image
intensity
saturated
light source
processor
Prior art date
Application number
KR1020150149734A
Other languages
English (en)
Inventor
김진명
빈성욱
권남섭
박용화
전명제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150149734A priority Critical patent/KR20170048972A/ko
Priority to US15/157,633 priority patent/US10122999B2/en
Priority to EP16172385.3A priority patent/EP3163321A1/en
Priority to CN201610637828.7A priority patent/CN106612399B/zh
Publication of KR20170048972A publication Critical patent/KR20170048972A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N13/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/335—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

일 실시 예에 따른 카메라는 IR 신호를 방사하는 광원(Light source); 상기 IR 신호가 객체에 반사된 반사 신호를 수신하는 수신기(receiver); 및 상기 반사 신호를 이용하여 IR 영상을 생성하고, 상기 IR 영상의 포화 여부를 판단하여 상기 광원의 세기를 제어하는 프로세서;를 포함한다.

Description

영상을 생성하는 방법 및 장치{Apparatus and Method for generating image}
영상을 생성하는 방법 및 장치에 관한 것이다.
IR 영상(InfraRed image)이란 3차원 공간 상에 위치한 객체(object)들의 거리를 나타내는 영상이다. 전자 기기는 장치와 객체 사이의 거리를 측정하고, 측정된 거리를 기초로 영상을 생성할 수 있다. 예를 들어, 카메라, 휴대폰, TV 등과 같은 전자 기기는 IR 영상을 생성할 수 있다.
객체에 반사된 빛의 세기는 거리의 제곱에 반비례 한다. 따라서, 측정 거리가 길어질수록 전자 기기에 수신되는 빛의 양이 줄어들게 되어, 전자 기기는 정확한 IR 영상을 생성할 수 없다. 또한, 전자 기기가 광원의 세기를 높이면, 가까운 거리의 물체 반사된 빛의 양이 증가하여 IR 영상이 포화(saturation)될 수 있다.
하이 다이나믹 레인지(high dynamic range) 영상을 생성하기 위한 장치 및 방법을 제공한다.
일 실시 예에 따른 카메라는 IR 신호를 방사하는 광원(Light source); 상기 IR 신호가 객체에 반사된 반사 신호를 수신하는 수신기(receiver); 및 상기 반사 신호를 이용하여 IR 영상을 생성하고, 상기 IR 영상의 포화 여부를 판단하여 상기 광원의 세기를 제어하는 프로세서;를 포함한다.
또한, 상기 프로세서는 상기 IR 영상의 포화 여부의 기준 픽셀값을 설정하고, 상기 IR 영상의 전체 픽셀들 중 일부 픽셀의 픽셀값이 기준 픽셀값보다 큰 경우에 상기 IR 영상이 포화되었다고 판단한다.
또한, 상기 프로세서는 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 줄이거나 높이는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 높이는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상의 포화 정도에 기초하여 상기 광원의 최적 세기를 결정하는 것을 특징으로 한다.
또한, 상기 IR 광원은 서로 다른 위상을 갖는 4개의 IR 신호를 방사하고, 상기 프로세서는 상기 4개의 위상 중 적어도 하나의 위상을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 카메라가 글로벌 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 프레임을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 한다.
또한, 상기 프로세서는 상기 카메라가 롤링 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 2개 이상의 프레임들을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 한다.
또 다른 일 실시 예에 따른 영상 생성 방법은 IR 신호를 방사하는 단계; 상기 IR 신호가 객체에 반사된 반사 신호를 수신하는 단계; 및 상기 반사 신호를 이용하여 IR 영상을 생성하고, 상기 IR 영상의 포화 여부를 판단하여 상기 광원의 세기를 제어하는 단계;를 포함한다.
또한, 상기 제어하는 단계는 상기 IR 영상의 포화 여부의 기준 픽셀값을 설정하고, 상기 IR 영상의 전체 픽셀들 중 일부 픽셀의 픽셀값이 기준 픽셀값보다 큰 경우에 상기 IR 영상이 포화되었다고 판단하는 것을 특징으로 한다.
또한, 상기 제어하는 단계는 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 줄이거나 높이는 것을 특징으로 한다.
또한, 상기 제어하는 단계는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 높이는 것을 특징으로 한다.
또한, 상기 제어하는 단계는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상의 포화 정도에 기초하여 상기 광원의 최적 세기를 결정하는 것을 특징으로 한다.
또한, 상기 방사하는 단계는 서로 다른 위상을 갖는 4개의 IR 신호를 방사하고, 상기 제어하는 단계는 상기 4개의 위상 중 적어도 하나의 위상을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 한다.
또한, 상기 제어하는 단계는 상기 카메라가 글로벌 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 프레임을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 한다.
또한, 상기 제어하는 단계는 상기 카메라가 롤링 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 2개 이상의 프레임들을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 한다.
방사되는 광원의 세기를 제어하여 하이 다이나믹 레인지 영상을 획득할 수 있다.
IR 영상이 포화되었는지를 판단하여 광원의 세기를 제어할 수 있다.
1장의 프레임만으로 IR 영상의 포화 여부를 판단할 수 있다.
도 1은 장치가 동작하는 상황을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 IR 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 3은 하이 다이나믹 레인지 영상을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 IR 영상을 생성하는 방법을 설명하기 위한 순서도이다.
도 5는 일 실시 예에 따른 카메라를 나타내는 구성도이다.
도 6은 또 다른 실시 예에 따른 카메라를 나타내는 구성도이다.
도 7은 일 실시 예에 따른 광원의 세기를 조절하는 방법을 설명하기 위한 순서도이다.
도 8은 또 다른 실시 예에 따른 광원의 세기를 조절하는 방법을 설명하기 위한 순서도이다.
도 9는 또 다른 실시 예에 따른 광원의 세기를 조절하는 방법을 설명하기 위한 순서도이다.
도 10은 일 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다.
도 11은 또 다른 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다.
도 12는 또 다른 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다.
도 13은 또 다른 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 장치가 동작하는 상황을 설명하기 위한 도면이다. 도 1은 장치(100)가 이동하는 방향을 나타낸다. 장치(100)는 위치를 이동하면서 IR 영상을 촬영 및 생성할 수 있다. 장치(100)는 IR 신호를 방사(emit)하고, 수신된 IR 신호를 이용하여 IR 영상을 생성할 수 있다. 장치(100)은 일정 시간마다 IR 영상을 촬영 및 생성할 수 있다.
IR 영상은 장치(100)와 객체 사이의 거리를 나타내는 장치(100)의 위치가 변경될 때마다 생성되는 IR 영상이 달라진다. 따라서, 장치(100)는 IR 영상을 생성하기 위해 방사하는 광원의 세기를 조절할 필요가 있다. 예를 들어, 장치(100)가 1번 위치에 있을 때와 2번 위치에 있을 때 정면에 위치한 소파(110)와의 거리가 달라진다. 따라서, 장치(100)가 1번 위치에 있을 때 방사한 광원의 세기와 2번 위치에 있을 때 방사한 광원의 세기가 같더라도 생성되는 IR 영상은 달라질 수 있으며, 이 경우, 2번 위치에서 생성된 IR 영상은 포화될 수 있다. 또한, 장치(100)가 3번 위치에 있을 때와 4번 위치에 있을 때 장치(100)와 계단(120)과의 거리가 달라지기 때문에, 장치(100)는 계단(120)의 위치를 판단하기 위해서 광원의 세기를 변경해야한다.
장치(100)가 이동하는 경우, 장치(100)는 이동할 때마다 방사하는 광원의 세기를 조절한다. 예를 들어, 도 1에서와 같이 장치(100)는 1번 위치부터 4번 위치로 순차적으로 이동할 수 있다. 장치(100)는 이동할 때마다 최적의 광원의 세기를 결정하고, 결정된 광원의 세기로 빛을 방사하여 IR 영상을 획득할 수 있다. 장치(100)는 포화되지 않은 IR 영상을 획득함으로써, 주변 객체들(110, 120)의 위치를 판단할 수 있고, 주변 객체들(110, 120)과 충돌하지 않고 이동할 수 있다.
장치(100)는 카메라를 포함하는 전자 기기일 수 있다. 또는 장치(100)는 영상 처리가 가능한 전자 기기일 수 있다. 예를 들어, 장치(100)는 로봇청소기, 드론, 휴대폰 또는 TV 등일 수 있다. 또한, 장치(100)는 이동 가능할 수 있다. 장치(100)가 이동하게 되면, 장치(100)의 정면의 객체들이 변경되거나, 객체와 장치(100)와의 거리가 변경된다. 따라서, 장치(100)는 일정 시간마다 영상을 생성할 수 있다. 로봇청소기는 위치를 변경하며 이동하기 때문에 이동하는 동안 객체와 충돌할 수 있기 때문에 객체의 위치를 정확하게 판단하는 것이 중요하다.
장치(100)는 빠른 속도로 광원의 세기를 결정한다. 장치(100)는 복수의 위상(phase)을 갖는 신호들을 출력할 수 있으며, 수신된 신호들을 기초로 IR 영상을 생성할 수 있다. 장치(100)는 복수의 위상을 갖는 신호들 중 일부 신호만을 이용하여 광원의 세기를 결정할 수 있다. 장치(100)는 일부 신호만으로도 IR 영상의 포화 여부를 판단할 수 있고, 판단 결과에 기초하여 광원의 세기를 제어할 수 있다. 장치(100)가 일부 신호만을 이용하는 구체적인 방법에 관하여는 도 10 내지 도 14에서 상세히 설명한다.
장치(100)는 0도 위상을 갖는 신호만을 이용하여 IR 영상을 생성하고, 생성된 IR 영상이 포화되었는지를 판단한다. IR 영상이 포화된 경우, 장치(100)는 광원의 세기를 감소시킨다. IR 영상이 포화되지 않은 경우, 장치(100)는 광원의 세기를 증가 시킬 수 있다. 장치(100)가 IR 영상의 포화 여부를 판단하는 구체적인 방법에 관하여는 도면 7 내지 도 9에서 상세히 설명한다.
도 2는 일 실시 예에 따른 IR 영상을 생성하는 방법을 설명하기 위한 도면이다.
단계 210에서, 장치(100)는 IR 신호를 방사한다. IR 신호의 세기는 복수의 레벨로 구분될 수 있다. IR 신호의 세기는 N개의 레벨로 구분될 수 있다. N은 2보다 큰 자연수이다. 예를 들어, 장치(100)는 최초의 IR 신호를 가장 강한 크기의 세기로 방사 또는 출력할 수 있다.
단계 220에서, 장치(100)는 반사 신호를 이용하여 IR 영상을 생성한다. 장치(100)로부터 출력된 IR 신호는 객체에 반사되어 다시 장치(100)로 수신된다. 장치(100)로 수신되는 IR 신호를 반사 신호라고 지칭한다.
단계 230에서, 장치(100)는 IR 영상에 기초하여 광원의 세기를 제어한다. 장치(100)는 IR 영상이 포화되었는지 판단하고, IR 영상이 포화되었으면 광원의 세기를 감소시키고, IR 영상이 포화되지 않았으면 광원의 세기를 증가시킨다. 광원의 세기가 조절되면, 다시 단계 210으로 진행하고, 장치(100)는 조절된 광원의 세기로 IR 신호를 방사한다.
장치(100)는 단계 210 내지 단계 230을 반복하여 수행한다. 장치(100)가 이동하게 되면 장치(100)가 생성하는 IR 영상은 계속하여 변하게 되므로, 장치(100)는 변경된 IR 영상에 따라 광원의 세기를 계속하여 제어한다.
도 3은 하이 다이나믹 레인지 영상을 설명하기 위한 도면이다. 도 3을 참조하면, 제1 영상(310)은 제1 객체(301)가 식별되지 않는 포화 영상이고, 제2 영상(320)은 제1 객체(301)가 식별되는 불포화 영상이다. 제1 영상(310)에서 제1 객체(301)는 식별되지 않는다. 카메라(300)로부터 방사된 빛의 양이 많은 경우 근접한 제1 객체(301)에 대한 영상은 포화되어 나타난다. 따라서, 카메라(300)는 광원의 세기를 감소시켜 제2 영상(320)을 생성한다. 제2 영상(320)은 제1 영상(310)을 생성할 때보다 더 적은 양의 빛을 방사하여 생성된 영상이다. 따라서, 제2 영상(320)에서는 제1 객체(301)에 대한 영상이 포화되지 않는다. 다만, 제1 객체(301)를 식별하기 위해 광원의 세기를 감소시키면, 제2 객체(302)가 식별되지 않을 수 있다. 제2 객체(302)는 제1 객체(301)보다 카메라(300)로부터 더 멀리 떨어져 있기 때문에, 제2 객체(302)가 식별 가능한 영상을 생성하기 위해서는 광원의 세기가 최저로 낮출수 없다. 따라서, 제1 객체(301) 및 제2 객체(302)를 모두 식별할 수 있는 광원의 세기를 결정하는 것이 요구된다.
일 실시 예에 따른 카메라(300)는 제1 객체(301) 및 제2 객체(302)를 모두 식별할 수 있는 광원의 세기를 빠르게 결정할 수 있다. 카메라(300)는 영상이 포화되어 제1 객체(301)가 식별되지 않으면, 광원의 세기를 줄이고 다시 영상을 획득하여 포화 여부를 판단한다. 카메라(300)는 복수의 위상을 갖는 신호들 중 1개의 신호만을 이용하여 영상을 포화 여부를 판단하여 광원의 세기를 빠르게 업데이트할 수 있다.
도 4는 일 실시 예에 따른 IR 영상을 생성하는 방법을 설명하기 위한 순서도이다. 도 4를 참조하면, 카메라(300)는 IR 영상의 포화 여부에 기초하여 광원의 세기를 제어할 수 있다.
단계 410에서, 카메라(300)는 IR 신호를 방사한다. 카메라(300)는 IR 신호를 방사할 수 있는 다이오드를 포함한다. 카메라(300)는 다이오드에 인가되는 전압 또는 전류의 크기를 제어하여 IR 신호의 세기를 제어할 수 있다. 카메라(300)는 복수의 위상을 갖는 IR 신호를 방사할 수 있다. 예를 들어, 카메라(300)는 0도, 90도, 180도, 270도 위상을 갖는 IR 신호를 방사할 수 있다.
단계 420에서, 카메라(300)는 IR 신호가 객체에 반사된 반사 신호를 수신한다.
단계 430에서, 카메라(300)는 반사 신호를 이용하여 IR 영상을 생성하고, IR 영상의 포화 여부를 판단하여 광원의 세기를 제어한다. 카메라(300)는 IR 영상이 포화되었는지를 판단한다. 예를 들어, 카메라(300)는 IR 영상의 픽셀값이 제1 임계값보다 큰 픽셀은 포화 픽셀로 판단하고, 포하 픽셀의 수가 제2 임계값보다 큰 경우 IR 영상이 포화되었다고 판단한다. 카메라(300)는 IR 영상이 포화된 경우 광원의 세기를 감소기키고, IR 영상이 포화되지 않은 경우 광원의 세기를 증가시킨다.
도 5는 일 실시 예에 따른 카메라를 나타내는 구성도이다. 도 5를 참조하면, 카메라(500)는 수신기(510), 프로세서(520) 및 광원(530)을 포함한다.
광원(530)은 빛을 방사한다. 예를 들어, 광원(530)은 IR 신호, UV 신호 등을 출력할 수 있다.
수신기(510)는 광원(530)에서 출력된 신호를 수신한다.
프로세서(520)는 수신기(510)로부터 신호를 수신하고, 신호에 기초하여 영상을 생성한다. 예를 들어, 프로세서(520)는 IR 신호에 기초하여 IR 영상을 생성할 수 있다.
프로세서(520)는 IR 영상의 포화 여부의 기준 픽셀값을 설정하고, IR 영상의 전체 픽셀들 중 일부 픽셀의 픽셀값이 기준 픽셀값보다 큰 경우에 IR 영상이 포화되었다고 판단한다. 프로세서(520)는 기준 픽셀값보다 픽셀값이 큰 포화 픽셀의 수를 카운트하고, 포화 픽셀의 수가 또 다른 임계값보다 큰 경우에 IR 영상이 포화되었다고 판단할 수 있다.
프로세서(520)는 광원(530)을 제어한다. 일 예로, 프로세서(520)는 IR 영상이 포화되지 않는 최대 광 세기까지 광원(530)의 세기를 순차적으로 줄이거나 높인다. 프로세서(520)는 IR 영상이 포화되면 광원(530)의 세기를 줄이고, IR 영상이 포화되지 않으면 광원(530)의 세기를 높인다. 광원(530)의 세기는 복수의 레벨로 구분된다. 예를 들어, 광원(530)의 세기는 1 내지 4 레벨로 구분될 수 있다. 프로세서(520)는 광원(530)의 세기를 1 레벨에서 4 레벨까지 순차적으로 높이거나, 4 레벨에서 1레벨로 순차적으로 낮출수 있다. 도 7에서 보다 상세히 설명한다.
또 다른 예로서, 프로세서(520)는 IR 영상이 포화된 경우, 광원(530)의 세기를 가장 낮은 레벨로 낮추고, IR 영상이 포화되지 않는 최대 광 세기까지 광원(530)의 세기를 순차적으로 높일 수 있다. 예를 들어, 광원(530)의 세기가 4 레벨일 때 IR 영상이 포화되었다면, 프로세서(520)는 광원(530)의 세기를 1 레벨로 낮추고 IR 영상을 생성하여 IR 영상이 포화되었는지를 판단한다. 광원(530)의 세기가 1 레벨일 때 생성된 IR 영상이 포화되지 않으면, 프로세서(520)는 광원(530)의 세기를 순차적으로 높이며 IR 영상의 포화 여부를 판단한다. 도 8에서 보다 상세히 설명한다.
또 다른 예로서, 프로세서(520)는 IR 영상이 포화된 경우, 광원(530)의 세기를 가장 낮은 레벨로 낮추고, IR 영상의 포화 정도에 기초하여 광원(530)의 최적 세기를 결정한다. 프로세서(520)는 IR 영상에서 포화된 픽셀의 수에 기초하여 광원(530)의 세기를 결정할 수 있다. 도 9에서 보다 상세히 설명한다.
광원(530)은 서로 다른 위상을 갖는 4개의 IR 신호를 방사할 수 있다. 프로세서(520)는 4개의 위상 중 적어도 하나의 위상을 이용하여 생성된 영상의 포화 여부를 판단할 수 있다. 예를 들어, 광원(530)은 0도, 90도, 180도, 270도 위상을 갖는 IR 신호를 방사할 수 있다. 프로세서(520)는 4개의 위상을 갖는 반사 신호를 이용하여 영상을 생성할 수 있으나, 4개의 반사 신호 중 1개만을 이용하여 영상의 포화 여부를 판단할 수도 있다.
예를 들어, 카메라(500)가 글로벌 셔터 방식을 이용하는 카메라인 경우, 프로세서(520)는 0도 위상에 해당하는 프레임을 이용하여 생성된 영상의 포화 여부를 판단할 수 있다.
또 다른 예로, 카메라(500)가 롤링 셔터 방식을 이용하는 카메라인 경우, 프로세서(520)는 0도 위상에 해당하는 2개 이상의 프레임들을 이용하여 생성된 영상의 포화 여부를 판단할 수 있다. 롤링 셔터 방식의 경우, 광 소스 페이지(light source page)와 프레임이 일치하지 않을 수 있으므로, 하나의 광 소스 페이지에 해당하는 영상을 생성하기 위해서는 복수의 프레임이 필요할 수 있다.
도 6은 또 다른 실시 예에 따른 카메라를 나타내는 구성도이다. 카메라(600)는 프로세서(610), V/I 제어부(620), 드라이버(630), 다이오드(640), 메모리(660), 이미지 센서(670) 및 렌즈(680)를 포함한다. 이미지 센서(670) 및 렌즈(680)는 도 5의 수신기(510)에 포함될 수 있다. 또한, V/I 제어부(620), 드라이버(630) 및 다이오드(640)는 도 5의 광원(530)에 포함될 수 있다.
프로세서(610)는 V/I 제어부(620)로 신호를 출력하여, V/I 제어부(620)에서 출력되는 전압 또는 전류의 세기를 제어한다. 도 5에서 설명한 바와 같이, 프로세서(610)는 IR 영상의 포화 여부에 따라 V/I 제어부(620)에서 출력되는 전압 또는 전류의 세기를 높일 것인지 낮출 것인지를 결정한다.
V/I 제어부(620)는 전압 또는 전류를 출력한다. V/I 제어부(620)는 프로세서(610)에 의해 결정된 전압 또는 전류를 드라이버(630)로 출력한다.
드라이버(630)는 V/I 제어부(620)로부터 수신된 전압 또는 전류에 따라 다이오드(640)를 제어한다.
다이오드(640)는 복수의 발광 소자들을 포함하며, 빛을 방사한다. 다이오드(640)는 복수의 위상을 갖는 IR 신호들을 출력할 수 있다.
렌즈(680)는 수신된 빛을 굴절 시킨다. 렌즈(680)를 통과한 빛은 이미지 센서(670)에 도달한다.
이미지 센서(670)는 렌즈(680)를 통과한 빛을 전기 신호로 전환한다. 이미지 센서(670)는 전기 신호를 메모리(660)로 출력한다. 이미지 센서(670)는 복수의 위상을 갖는 IR 신호를 메모리(660)로 출력할 수 있다.
메모리(660)는 이미지 센서(670)로부터 수신된 데이터를 저장한다. 메모리(660)는 이미지 센서(670)로부터 복수의 위상에 대응하는 신호들을 수신 및 저장할 수 있다.
프로세서(610)는 메모리(660)에 저장된 데이터를 독출한다. 프로세서(610)는 메모리(660)에 저장된 데이터 중 일부 데이터만을 독출할 수 있다. 예를 들어, 메모리(660)에 4개 위상의 영상 데이터가 저장된 경우, 프로세서(610)는 1개 위상의 영상 데이터만을 독출할 수 있다.
도 7은 일 실시 예에 따른 광원의 세기를 조절하는 방법을 설명하기 위한 순서도이다. 도 7을 참조하면, 프로세서(610)는 IR 영상이 포화되지 않는 최대 광 세기까지 광원(530)의 세기를 순차적으로 줄이거나 높인다. 다시 말해서, 프로세서(610)는 IR 영상의 포화 여부에 따라 V/I 제어부(620)로 전압 또는 전류의 크기를 지정하는 신호를 출력할 수 있다.
단계 701에서, 프로세서(610)는 광원(530)의 세기를 X1으로 설정하고, 수신기(510)의 이득을 G1으로 설정한다. 프로세서(610)는 V/I 제어부(620)에서 출력되는 전압 또는 전류의 크기를 결정하여, 광원(530)의 세기를 설정할 수 있다. 도 7에서는 광원(530)의 세기를 4 레벨들(X1 내지 X4 )로 구분한 경우를 예를 들어 설명한다. 광원(530)의 세기는 4개 이상 또는 미만의 레벨들로 구분될 수도 있다. X1이 광원(530)의 세기가 가장 큰 레벨을 나타내고, X4가 광원(530)의 세기가 가장 작은 레벨을 나타낸다. 다시 말해서, 광원(530)의 세기는 X1에서 X4가 될수록 점점 작아진다.
프로세서(610)는 수신기(510)의 이득을 G1으로 설정한다. 예를 들어, 프로세서(610)는 이미지 센서(670)에 포함된 증폭기들의 이득을 G1으로 설정할 수 있다. G1이 수신기(510)의 이득이 가장 큰 레벨을 나타내고, G4가 수신기(510)의 이득이 가장 작은 레벨을 나타낸다. 수신기(510)의 이득은 G1에서 G4가 될수록 점점 작아진다.
단계 702에서, 프로세서(610)는 제1 영상에 포함된 픽셀들 중에서 포화된 픽셀(이하, 포화 픽셀)의 수가 A보다 큰지를 판단한다. A는 임의의 자연수 일 수 있으며, 하나의 영상에 포함된 픽셀의 수보다 작은 수이다. 포화 픽셀은 픽셀값이 포화 임계값보다 큰 픽셀이다.
프로세서(610)는 기준 임계값을 설정하고 변경할 수 있다. # Sat는 포화 픽셀의 수를 나타낸다. 만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기가 크기 때문에 광원(530)의 세기를 조절하기 위해 단계 703으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 701로 진행한다.
제1 영상은 광원(530)의 세기가 X1이고, 수신기(510)의 이득이 G1일 때 획득된 영상이다. 예를 들어, 광원(530)은 세기가 X1인 IR 신호를 출력하고, 수신기(510)는 반사 신호를 수신하여 G1 만큼 반사 신호를 증폭한다. 프로세서(610)는 수신기(510)로부터 수신된 반사 신호에 기초하여 제1 영상을 생성한다.
단계 703에서, 프로세서(610)는 광원(530)의 세기를 X2로 설정하고, 수신기(510)의 이득을 G2로 설정한다. 영상이 포화된 것으로 판단되므로, 프로세서(610)는 광원(530)의 세기를 줄이거나 수신기(510)의 이득을 줄일 수 있고, 광원(530)의 세기 및 수신기(510)의 이득을 모두 줄일 수 있다.
단계 704에서, 프로세서(610)는 제2 영상에 포함된 픽셀들 중 포화 픽셀의 수가 A보다 큰지를 판단한다. 제2 영상은 광원(530)의 세기가 X2이고, 수신기(510)의 이득이 G2일 때 획득된 영상이다. 다시 말해서, 프로세서(610)는 광원(530)의 세기 또는 수신기(510)의 이득을 줄인 상태에서 획득된 반사 신호에 기초하여 제2 영상을 생성하고, 제2 영상에서 포화 픽셀의 수가 A보다 큰지 판단한다.
만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기가 크기 때문에 광원(530)의 세기를 조절하기 위해 단계 705으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 708로 진행한다.
단계 705에서, 프로세서(610)는 광원(530)의 세기를 X3로 설정하고, 수신기(510)의 이득을 G3로 설정한다.
단계 706에서, 프로세서(610)는 제3 영상에 포함된 픽셀들 중 포화 픽셀의 수가 A보다 큰지를 판단한다. 제3 영상은 광원(530)의 세기가 X3이고, 수신기(510)의 이득이 G3일 때 획득된 영상이다.
만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기가 크기 때문에 광원(530)의 세기를 조절하기 위해 단계 707으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 709로 진행한다.
단계 707에서, 프로세서(610)는 광원(530)의 세기를 X4로 설정하고, 수신기(510)의 이득을 G4로 설정한다.
단계 708에서, 프로세서(610)는 제2 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. B는 임의의 자연수 일 수 있으며, 0 일수도 있다. 예를 들어, B가 0으로 설정된 경우, 단계 708에서 프로세서(610)는 불포화 픽셀들이 전혀 없는지를 판단하게 된다. B는 제2 영상이 불포화 영상으로 판단하기 위한 임계값이다. # eSat 는 불포화 픽셀들의 수를 나타내며, 불포화 픽셀은 픽셀값이 불포화 임계값보다 작은 픽셀이다. 프로세서(610)는 불포화 임계값을 포화 임계값에 e를 곱한 값으로 결정할 수 있다. e는 0보다 크고 1보다 작다. 예를 들어, 포화 임계값이 1000이고, e가 0.2인 경우, 불포화 임계값은 200이다. 따라서, # eSat는 픽셀값이 200보다 작은 픽셀의 수를 나타낸다.
만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 701으로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 703으로 진행한다.
단계 709에서, 프로세서(610)는 제3 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 만약, 제3 영상에서 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 703으로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 705로 진행한다.
단계 710에서, 프로세서(610)는 제4 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 만약, 제4 영상에서 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 705으로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 707로 진행한다.
도 8은 또 다른 실시 예에 따른 광원의 세기를 조절하는 방법을 설명하기 위한 순서도이다. 도 8을 참조하면, 프로세서(610)는 광원(530)의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 높일 수 있다.
단계 801에서, 프로세서(610)는 광원(530)의 세기를 X1으로 설정하고, 수신기(510)의 이득을 G1으로 설정한다.
단계 802에서, 프로세서(610)는 제1 영상에 포함된 픽셀들 중에서 포화 픽셀의 수가 A보다 큰지를 판단한다. 만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기를 최저로 낮추기 위해 단계 803으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 801로 진행한다.
단계 803에서, 프로세서(610)는 광원(530)의 세기를 X4로 설정하고, 수신기(510)의 이득을 G4로 설정한다.
단계 804에서, 프로세서(610)는 제4 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 807로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 803으로 진행한다.
단계 805에서, 프로세서(610)는 광원(530)의 세기를 X2로 설정하고, 수신기(510)의 이득을 G2로 설정한다.
단계 806에서, 프로세서(610)는 제2 영상에 포함된 픽셀들 중에서 포화 픽셀의 수가 A보다 큰지를 판단한다. 만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기를 낮추기 위해 단계 807으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 809로 진행한다.
단계 807에서, 프로세서(610)는 광원(530)의 세기를 X3로 설정하고, 수신기(510)의 이득을 G3로 설정한다.
단계 808에서, 프로세서(610)는 제3 영상에 포함된 픽셀들 중에서 포화 픽셀의 수가 A보다 큰지를 판단한다. 만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기를 낮추기 위해 단계 803으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 810로 진행한다.
단계 809에서, 프로세서(610)는 제2 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 801로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 805로 진행한다.
단계 810에서, 프로세서(610)는 제3 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 805로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 807로 진행한다.
도 9는 또 다른 실시 예에 따른 광원의 세기를 조절하는 방법을 설명하기 위한 순서도이다. 도 9를 참조하면, 프로세서(610)는 IR 영상이 포화된 경우, 광원(530)의 세기를 가장 낮은 레벨로 낮추고, IR 영상의 포화 정도에 기초하여 광원(530)의 최적 세기를 결정한다.
단계 901에서, 프로세서(610)는 광원(530)의 세기를 X1으로 설정하고, 수신기(510)의 이득을 G1으로 설정한다.
단계 902에서, 프로세서(610)는 제1 영상에 포함된 픽셀들 중에서 포화 픽셀의 수가 A보다 큰지를 판단한다. 만약, 포화 픽셀의 수가 A보다 크면, 광원(530)의 세기를 최저로 낮추기 위해 단계 903으로 진행한다. 만약, 포화 픽셀의 수가 A보다 작으면, 영상이 포화되지 않은 것으로 판단하고, 단계 901로 진행한다.
단계 903에서, 프로세서(610)는 광원(530)의 세기를 X4로 설정하고, 수신기(510)의 이득을 G4로 설정한다.
단계 904에서, 프로세서(610)는 제4 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 단계 904에서 불포화 픽셀인지를 판단하는 제3 불포화 임계값은 포화 임계값의 e3배 일 수 있다. 다시 말해서, 프로세서(610)는 제4 영상에서 픽셀값이 제3 불포화 임계값보다 작은 픽셀의 수가 B보다 작은지 판단한다.
제1 불포화 임계값은 포화 임계값의 e배 이고, 제2 불포화 임계값은 포화 임계값의 e2배 이고, 제3 불포화 임계값은 포화 임계값의 e3배 일수 있다. # e3Sat는 제3 불포화 임계값보다 작은 픽셀값을 갖는 픽셀들의 수를 나타내고, # e2Sat는 제2 불포화 임계값보다 작은 픽셀값을 갖는 픽셀들의 수를 나타내고, # eSat는 제1 불포화 임계값보다 작은 픽셀값을 갖는 픽셀들의 수를 나타낸다.
만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 901로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 905로 진행한다.
단계 905에서, 프로세서(610)는 제4 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 단계 905에서 불포화 픽셀인지를 판단하는 제2 불포화 임계값은 포화 임계값의 e2배 일 수 있다. 다시 말해서, 프로세서(610)는 제4 영상에서 픽셀값이 제2 불포화 임계값보다 작은 픽셀의 수가 B보다 작은지 판단한다.
만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 907로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 906으로 진행한다.
단계 906에서, 프로세서(610)는 제4 영상에 포함된 픽셀들 중 불포화 픽셀의 수가 B보다 작은지 판단한다. 단계 906에서 불포화 픽셀인지를 판단하는 제1 불포화 임계값은 포화 임계값의 e배 일 수 있다. 다시 말해서, 프로세서(610)는 제4 영상에서 픽셀값이 제1 불포화 임계값보다 작은 픽셀의 수가 B보다 작은지 판단한다.
만약, 불포화 픽셀의 수가 B보다 작으면, 광원(530)의 세기를 조절하기 위해 단계 909로 진행한다. 만약, 불포화 픽셀의 수가 B보다 크면, 단계 904로 진행한다.
도 10 및 도 11은 영상의 촬영 방식이 글로벌 셔터 방법(Global Shutter method)인 경우를 예를 들어 설명한다.
도 12 및 도 13은 영상의 촬영 방식이 롤링 셔터 방법(Rolling Shutter method)인 경우를 예를 들어 설명한다.
도 10은 일 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다. 도 10을 참조하면, 프로세서(610)는 1개의 IR 프레임을 이용하여 영상의 포화 여부를 판단할 수 있다.
4개의 광 소스 페이지들(1001 내지 1004)는 광원(530)에서 출력되는 IR 신호의 위상들을 나타낸다. 광 소스 페이지(1001)은 0도 위상을 갖는 광 소스 페이지를 나타내고, 광 소스 페이지(1002)은 90도 위상을 갖는 광 소스 페이지를 나타내고, 광 소스 페이지(1003)은 180도 위상을 갖는 광 소스 페이지를 나타내고, 광 소스 페이지(1004)은 270도 위상을 갖는 광 소스 페이지를 나타낸다.
수신기(510)는 4개의 IR 프레임들(1005 내지 1008)을 수신한다.
프로세서(610)는 4개의 IR 프레임들(1005 내지 1008) 중에서 1개의 IR 프레임(1005)만을 이용하여 IR 영상의 포화 여부를 판단할 수 있다. IR 영상의 포화는 카메라로부터 근거리에 위치한 객체에 의해 발생하기 때문에, 0도 위상의 IR 프레임(1005)만으로도 IR 영상의 포화 여부를 판단할 수 있다. 이미지 센서(670)에 수신되는 반사 신호의 강도(intensity)는 광원(530)의 파워와 거리에 따른 이상적인 IR 신호의 강도의 곱이므로, 0도 위상의 반사 신호의 크기가 다른 위상의 반사 신호의 크기보다 상대적으로 크다. 따라서, 프로세서(610)는 0도 위상의 반사 신호를 모니터링하여 IR 영상의 포화 여부를 판단할 수 있다.
도 11은 또 다른 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다. 도 11은 프로세서(610)가 0도 위상 및 270도 위상의 IR 신호를 모니터링하는 경우를 나타낸다. 영상의 촬영 방식이 글로벌 셔터 방법이므로, 프로세서(610)는 2개의 IR 프레임들(1105 및 1107)만을 이용하여 IR 영상의 포화 여부를 판단할 수 있다.
도 12는 또 다른 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다. 도 12는 영상의 촬영 방식이 롤링 셔터 방법인 경우이므로, 0도 위상의 IR 신호를 모니터링하기 위해서, 프로세서(610)는 3개의 IR 프레임(1205, 1206, 1208)들을 이용한다. 보다 상세히 설명하면, 프로세서(610)는 3개의 IR 프레임(1205, 1206, 1208)들 중에서 IR1, IR2, IR3로 표시된 영역만을 이용하여 0도 위상의 IR 신호를 모니터링할 수 있다.
도 13은 또 다른 실시 예에 따른 포화 영상 판단 방법을 설명하기 위한 도면이다. 도 13는 0도 위상 및 270도 위상의 IR 신호를 모니터링하는 경우를 나타낸다. 영상의 촬영 방식이 롤링 셔터 방법인 경우이므로, 0도 위상 및 270도 위상의 IR 신호를 모니터링하기 위해서, 프로세서(610)는 3개의 IR 프레임(1305, 1306, 1308)들을 이용한다. 보다 상세히 설명하면, 프로세서(610)는 3개의 IR 프레임(1305, 1306, 1308)들 중에서 IR1, IR2, IR2', IR3로 표시된 영역만을 이용하여 0도 위상 및 270도 위상의 IR 신호를 모니터링할 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
500: 카메라
510: 수신기
520: 프로세서
530: 광원

Claims (17)

  1. 3차원 IR 영상을 생성하는 카메라에 있어서,
    IR 신호를 방사하는 광원(Light source);
    상기 IR 신호가 객체에 반사된 반사 신호를 수신하는 수신기(receiver); 및
    상기 반사 신호를 이용하여 IR 영상을 생성하고, 상기 IR 영상의 포화 여부를 판단하여 상기 광원의 세기를 제어하는 프로세서;를 포함하는 카메라.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 IR 영상의 포화 여부의 기준 픽셀값을 설정하고, 상기 IR 영상의 전체 픽셀들 중 일부 픽셀의 픽셀값이 기준 픽셀값보다 큰 경우에 상기 IR 영상이 포화되었다고 판단하는 것을 특징으로 하는 카메라.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 줄이거나 높이는 것을 특징으로 하는 카메라.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 높이는 것을 특징으로 하는 카메라.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상의 포화 정도에 기초하여 상기 광원의 최적 세기를 결정하는 것을 특징으로 하는 카메라.
  6. 제 1 항에 있어서,
    상기 IR 광원은 서로 다른 위상을 갖는 4개의 IR 신호를 방사하고,
    상기 프로세서는 상기 4개의 위상 중 적어도 하나의 위상을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 하는 카메라.
  7. 제 6 항에 있어서,
    상기 프로세서는 상기 카메라가 글로벌 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 프레임을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 하는 카메라.
  8. 제 6 항에 있어서,
    상기 프로세서는 상기 카메라가 롤링 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 2개 이상의 프레임들을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 하는 카메라.
  9. 3차원 IR 영상을 생성하는 방법에 있어서,
    IR 신호를 방사하는 단계;
    상기 IR 신호가 객체에 반사된 반사 신호를 수신하는 단계; 및
    상기 반사 신호를 이용하여 IR 영상을 생성하고, 상기 IR 영상의 포화 여부를 판단하여 상기 광원의 세기를 제어하는 단계;를 포함하는 IR 영상 생성 방법.
  10. 제 9 항에 있어서,
    상기 제어하는 단계는 상기 IR 영상의 포화 여부의 기준 픽셀값을 설정하고, 상기 IR 영상의 전체 픽셀들 중 일부 픽셀의 픽셀값이 기준 픽셀값보다 큰 경우에 상기 IR 영상이 포화되었다고 판단하는 것을 특징으로 하는 IR 영상 생성 방법.
  11. 제 9 항에 있어서,
    상기 제어하는 단계는 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 줄이거나 높이는 것을 특징으로 하는 IR 영상 생성 방법.
  12. 제 9 항에 있어서,
    상기 제어하는 단계는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상이 포화되지 않는 최대 광 세기까지 상기 광원의 세기를 순차적으로 높이는 것을 특징으로 하는 IR 영상 생성 방법.
  13. 제 9 항에 있어서,
    상기 제어하는 단계는 상기 IR 영상이 포화된 경우, 상기 광원의 세기를 가장 낮은 레벨로 낮추고, 상기 IR 영상의 포화 정도에 기초하여 상기 광원의 최적 세기를 결정하는 것을 특징으로 하는 IR 영상 생성 방법.
  14. 제 9 항에 있어서,
    상기 방사하는 단계는 서로 다른 위상을 갖는 4개의 IR 신호를 방사하고,
    상기 제어하는 단계는 상기 4개의 위상 중 적어도 하나의 위상을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 하는 IR 영상 생성 방법.
  15. 제 14 항에 있어서,
    상기 제어하는 단계는 상기 카메라가 글로벌 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 프레임을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 하는 IR 영상 생성 방법.
  16. 제 14 항에 있어서,
    상기 제어하는 단계는 상기 카메라가 롤링 셔터 방식을 이용하는 카메라인 경우, 0도 위상에 해당하는 2개 이상의 프레임들을 이용하여 생성된 영상의 포화 여부를 판단하는 것을 특징으로 하는 IR 영상 생성 방법.
  17. 제 9항 내지 제16항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적(non-transitory) 기록매체.
KR1020150149734A 2015-10-27 2015-10-27 영상을 생성하는 방법 및 장치 KR20170048972A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150149734A KR20170048972A (ko) 2015-10-27 2015-10-27 영상을 생성하는 방법 및 장치
US15/157,633 US10122999B2 (en) 2015-10-27 2016-05-18 Image generating method and image generating apparatus
EP16172385.3A EP3163321A1 (en) 2015-10-27 2016-06-01 Image generating method and image generating apparatus
CN201610637828.7A CN106612399B (zh) 2015-10-27 2016-08-05 图像产生方法和图像产生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150149734A KR20170048972A (ko) 2015-10-27 2015-10-27 영상을 생성하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20170048972A true KR20170048972A (ko) 2017-05-10

Family

ID=56119317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150149734A KR20170048972A (ko) 2015-10-27 2015-10-27 영상을 생성하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10122999B2 (ko)
EP (1) EP3163321A1 (ko)
KR (1) KR20170048972A (ko)
CN (1) CN106612399B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013570A1 (ko) * 2018-07-09 2020-01-16 엘지이노텍 주식회사 광 출력 방법 및 장치
KR20200110158A (ko) * 2019-03-14 2020-09-23 엑시스 에이비 조명기의 제어

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
SE542644C2 (en) 2017-05-30 2020-06-23 Photon Sports Tech Ab Method and camera arrangement for measuring a movement of a person
US10609298B2 (en) * 2018-02-06 2020-03-31 Google Llc Adaptive infrared illumination for exposure correction
DE102019127667A1 (de) * 2019-10-15 2021-04-15 Sick Ag Entfernungsmessender optoelektronischer Sensor und Verfahren zur Erfassung eines Zielobjekts

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004049293A1 (en) * 2002-11-27 2004-06-10 Koninklijke Philips Electronics N.V. Method of improving the perceptual contrast of displayed images
US20060017656A1 (en) * 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
ATE512422T1 (de) * 2006-04-03 2011-06-15 Omnivision Cdm Optics Inc Optische bildgebungssysteme und verfahren mit nichtlinearer und/oder räumlich variierender bildverarbeitung
JP5190663B2 (ja) 2007-03-27 2013-04-24 スタンレー電気株式会社 距離画像生成装置
JP5271643B2 (ja) 2008-09-19 2013-08-21 スタンレー電気株式会社 光飛行時間型距離画像センサの制御方法およびそのシステム
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
JP5701139B2 (ja) * 2011-04-21 2015-04-15 株式会社ジャパンディスプレイ 表示装置
JP5670829B2 (ja) 2011-05-13 2015-02-18 株式会社 ソキア・トプコン 光波距離計
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP6144878B2 (ja) * 2012-04-27 2017-06-07 キヤノン株式会社 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム
KR20130134739A (ko) 2012-05-31 2013-12-10 삼성전자주식회사 3차원 이미지 센서
JP6042674B2 (ja) 2012-09-20 2016-12-14 スタンレー電気株式会社 三次元情報取得機能付き画像投影装置
KR101970607B1 (ko) 2012-12-06 2019-04-19 엘지이노텍 주식회사 3차원 입력장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013570A1 (ko) * 2018-07-09 2020-01-16 엘지이노텍 주식회사 광 출력 방법 및 장치
KR20200110158A (ko) * 2019-03-14 2020-09-23 엑시스 에이비 조명기의 제어
US11178339B2 (en) 2019-03-14 2021-11-16 Axis Ab Control of an illuminator

Also Published As

Publication number Publication date
US20170118459A1 (en) 2017-04-27
EP3163321A1 (en) 2017-05-03
CN106612399A (zh) 2017-05-03
US10122999B2 (en) 2018-11-06
CN106612399B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
KR20170048972A (ko) 영상을 생성하는 방법 및 장치
KR102272254B1 (ko) 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
EP3579546B1 (en) Exposure control method, exposure control device and electronic device
US9819872B2 (en) Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount
US10475237B2 (en) Image processing apparatus and control method thereof
WO2017213052A1 (ja) 測距システム及び測距方法
JP6346427B2 (ja) 画像処理装置、画像処理方法
US20170278260A1 (en) Image processing apparatus, image processing method, and non-transitory recording medium storing program
US10349486B2 (en) Method and apparatus for generating an infrared illumination beam with a variable illumination pattern
US10313601B2 (en) Image capturing device and brightness adjusting method
US20110304719A1 (en) Image processing apparatus, image processing method, program, and electronic apparatus
US20150341577A1 (en) Image pickup device having unit pixels arranged in two-dimensional matrix form each of which has pixels of different sensitivities, control method therefor, storage medium storing control program therefor, and signal processing device for image pickup device
KR20190033462A (ko) 전력 제어 방법, 거리 측정 모듈 및 전자 장치
US8526805B2 (en) Lens apparatus and camera system including the same
CN106817543B (zh) 处理装置、处理***、图像拾取装置和处理方法
CN104394330A (zh) 图像亮度的自动控制方法及自动控制***
US10255687B2 (en) Distance measurement system applicable to different reflecting surfaces and operating method thereof
US9661211B2 (en) Image capture apparatus and method for controlling the same
US20200007851A1 (en) Imaging apparatus, method of processing image, and storage medium
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US11140333B2 (en) Image pickup apparatus capable of controlling flash exposure and control method therefor
JP2012198337A (ja) 撮像装置
JP2015087267A (ja) 物体検出装置
US11398045B2 (en) Three-dimensional imaging device and three-dimensional imaging condition adjusting method
CN108332720B (zh) 光学测距***