KR101642964B1 - 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치 - Google Patents

정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치 Download PDF

Info

Publication number
KR101642964B1
KR101642964B1 KR1020100108511A KR20100108511A KR101642964B1 KR 101642964 B1 KR101642964 B1 KR 101642964B1 KR 1020100108511 A KR1020100108511 A KR 1020100108511A KR 20100108511 A KR20100108511 A KR 20100108511A KR 101642964 B1 KR101642964 B1 KR 101642964B1
Authority
KR
South Korea
Prior art keywords
depth image
exposure time
depth
weight
previous
Prior art date
Application number
KR1020100108511A
Other languages
English (en)
Other versions
KR20120046943A (ko
Inventor
이승규
김도균
이기창
강병민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100108511A priority Critical patent/KR101642964B1/ko
Priority to US13/067,338 priority patent/US8670593B2/en
Publication of KR20120046943A publication Critical patent/KR20120046943A/ko
Application granted granted Critical
Publication of KR101642964B1 publication Critical patent/KR101642964B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

뎁스 영상의 움직임에 따라 뎁스 카메라의 노출 시간을 동적으로 조절함으로써, 뎁스 영상의 정밀도를 향상시키기 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치에 관한 것이다. 뎁스 카메라의 노출 시간 동적 제어 장치는 뎁스 카메라로부터 획득한 뎁스 영상의 움직임을 측정하고, 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하여, 상기 판단결과에 따라 상기 뎁스 카메라의 노출 시간(Integration Time)을 제어함으로써, 뎁스 영상의 정밀도를 향상시킬 수 있다.

Description

정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치{APPARATUS AND METHOD FOR DYNAMIC CONTROLLING INTEGRATION TIME OF DEPTH CAMERA FOR ACCURACY ENHANCEMENT}
본 발명의 일실시예는 정밀도 높은 뎁스 영상을 획득하기 위한 방안에 관한 것이다.
ToF(Time-of-Flight) 방식의 뎁스 카메라(Depth Camera)에서 획득한 뎁스 영상(Depth Image)의 정밀도는 피사체의 재질이나 색깔 등 외적인 요소뿐 아니라, 카메라 주파수 및 노출 시간(Integration Time) 등의 내적인 요소에도 좌우된다.
특히, 노출 시간의 경우, 노출 시간이 길수록 획득한 뎁스 영상의 정밀도는 상승하지만, 실시간으로 영상을 촬영하는 조건에서의 노출 시간은 원하는 프레임율(frame rate)에 의해 최대값이 제한된다.
본 발명의 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 장치는 뎁스 카메라로부터 획득한 뎁스 영상의 움직임을 측정하는 움직임 측정부, 및 상기 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하고, 상기 판단결과에 따라 상기 뎁스 카메라의 노출 시간(Integration Time)을 제어하는 노출 시간 제어부를 포함한다.
상기 노출 시간 제어부는 상기 측정된 움직임이 기선정된 기준치 이상인 경우, 상기 노출 시간을 이전 노출 시간보다 짧게 조절하고, 상기 측정된 움직임이 기선정된 기준치 미만인 경우, 상기 노출 시간을 조절하지 않거나, 또는 상기 이전 노출 시간보다 길게 조절할 수 있다.
상기 뎁스 카메라의 노출 시간 동적 제어 장치는 필터링된 제n-N(N은 자연수, n은 현재 프레임) 뎁스 영상에 가중치를 적용하는 지수 가중치(exponential weighting) 방식으로, 제n 뎁스 영상을, 상기 제n 뎁스 영상과 시간적으로 상이한 복수의 제n-N 뎁스 영상들을 이용하여 필터링하는 시간 필터링부를 더 포함할 수 있다.
상기 시간 필터링부는 n-1 프레임의 이전 프레임들을 이용하여 필터링된 제n-1 뎁스 영상에 선정된 '가중치'를 반복적으로 적용하여, 제n-N 뎁스 영상에 '가중치N'이 적용되도록, 상기 '제n-N 뎁스 영상들'을 이용하여 상기 제n 뎁스 영상을 필터링할 수 있다.
상기 시간 필터링부는 상기 노출 시간에 따라 상기 가중치를 조절하여, 상기 제n 뎁스 영상에 반영되는 프레임 개수를 제어할 수 있다.
상기 시간 필터링부는 상기 노출 시간이 짧게 조절되는 경우, 상기 가중치를 이전 가중치보다 크게 조절하거나, 또는 상기 노출 시간이 길게 조절되는 경우, 상기 가중치를 이전 가중치보다 작게 조절할 수 있다.
상기 움직임 측정부는 상기 뎁스 영상에 포함된 프레임들의 동작 흐름이나, 상기 프레임들 간의 차이점을 이용하여 상기 뎁스 영상의 움직임을 측정할 수 있다.
본 발명의 다른 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 장치는 뎁스 영상으로부터 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하고, 상기 판단결과에 따라 뎁스 카메라의 노출 시간(Integration Time)을 제어하는 노출 시간 제어부를 포함할 수 있다.
상기 뎁스 카메라의 노출 시간 동적 제어 장치는 상기 제어된 노출 시간에 따라 제2 뎁스 영상을 생성하는 뎁스 카메라를 더 포함할 수 있다.
본 발명의 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 방법은 뎁스 영상으로부터 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하는 단계, 및 상기 판단결과에 따라 뎁스 카메라의 노출 시간을 제어하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 뎁스 영상의 움직임에 따라 뎁스 카메라의 노출 시간을 동적으로 조절함으로써, 뎁스 영상의 정밀도를 향상시킬 수 있다.
본 발명의 일 측면에 따르면, 필터링된 이전 뎁스 영상에 가중치를 적용하는 지수 가중치 방식으로 현재 뎁스 영상을 필터링함으로써, 작은 메모리 용량으로 시간 필터링을 구현할 수 있다.
본 발명의 일 측면에 따르면, 노출 시간의 조절로 인해 손실되는 뎁스 영상을 보간함으로써, 프레임율을 일정하게 유지해야 하는 경우에도 뎁스 영상의 정밀도를 효율적으로 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 장치의 구성을 도시한 블록도이다.
도 2는 움직임에 상응하여 뎁스 영상의 정밀도가 향상되는 일례를 도시한 도면이다.
도 3은 프레임율에 따라 노출 시간을 조절하는 일례를 도시한 도면이다.
도 4는 가중치를 조절하여 프레임 개수를 조절하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 뎁스 카메라의 노출 시간 동적 제어 장치(100, 이하 '노출 시간 동적 제어 장치'라 함)는 뎁스 영상 획득부(110), 움직임 추출부(120), 노출 시간 제어부(130), 뎁스 영상 보간부(140), 시간 필터링부(150), 및 뎁스 카메라(160)를 포함할 수 있다.
뎁스 카메라(Depth Camera, 160)는 ToF(Time Of Flight Camera) 방식의 카메라로서, 미리 정해진 노출 시간(Integration Time)에 따라 대상체를 촬영하여 뎁스 영상을 생성할 수 있다. 노출 시간은 뎁스 영상에 포함된 하나의 프레임을 생성하기 위해, 전자를 소집하는 시간이다. 따라서, 노출 시간이 길수록, 뎁스 카메라(160)에서 생성되는 뎁스 영상의 정밀도는 향상된다. 그러나, 노출 시간은 프레임율(Frame Rate)과 상호 연관되어 있기 때문에, 종래에는 프레임율에 따라 노출 시간이 정해져 있다.
그러나, 본 발명의 뎁스 카메라(160)는 상기 생성된 뎁스 영상의 움직임에 따라 상기 노출 시간을 동적으로 조절함으로써, 새로운 뎁스 영상을 생성할 수 있다.
뎁스 영상 획득부(110)는 뎁스 카메라(160)에서 생성된 뎁스 영상을 획득하여, 움직임 측정부(120) 또는 뎁스 영상 보간부(140)로 제공할 수 있다. 예를 들어, 뎁스 영상 획득부(110)는 첫번째 생성된 제1 뎁스 영상에 대해 움직임 측정부(120)로 전달함으로써, 상기 제1 뎁스 영상의 움직임에 따라 두번째 생성될 제2 뎁스 영상에 대한 노출 시간을 제어할 수 있도록 할 수 있다.
움직임 측정부(120)는 상기 획득된 뎁스 영상의 움직임을 측정한다. 예컨대, 움직임 측정부(120)는 상기 뎁스 영상에 포함된 각 픽셀마다의 차이값(Sum of Squared Differences; SSD)을 구해서, 상기 뎁스 영상의 움직임을 측정할 수 있다. 예를 들어, 움직임 측정부(120)는 상기 뎁스 영상에 포함된 프레임들의 동작 흐름(motion flow)이나, 상기 프레임들 간의 차이점(difference)을 이용하여 상기 뎁스 영상의 움직임을 측정할 수 있다. 뎁스 영상의 움직임을 측정하는 방법은 종래에 사용된 방식을 이용하므로, 구체적인 설명은 생략한다.
노출 시간 제어부(130)는 상기 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하고, 상기 판단결과에 따라 뎁스 카메라(160)의 노출 시간을 제어한다. 상기 기준치는 테스트를 통해 뎁스 영상의 움직임이 많거나, 적어 상기 노출 시간의 조절이 필요하다고 판단되는 수치로 설정될 수 있으며, '문턱값(Threshold value)'으로 해석될 수 있다.
예를 들어, 노출 시간 제어부(130)는 상기 측정된 움직임이 기선정된 기준치 이상인 경우, 상기 노출 시간을 이전 노출 시간보다 짧게 조절할 수 있다. 노출 시간 제어부(130)는 상기 측정된 움직임이 기선정된 기준치 이상인 경우, 상기 뎁스 영상에 움직임이 많은 것으로 판단하고, 다음에 생성될 뎁스 영상의 정밀도를 높이기 위해, 노출 시간을 짧게 조절할 수 있다. 예를 들어, 제1 뎁스 영상을 생성한 노출 시간이 '0.03초'라고 가정한다면, 상기 제1 뎁스 영상의 움직임이 기선정된 기준치 이상인 경우, 노출 시간 제어부(130)는 상기 노출 시간을 이전 노출 시간(0.03초)보다 짧은 '0.016초'로 조절할 수 있다. 이 경우, 뎁스 카메라(160)는 상기 조절된 노출 시간(0.016초)에 따라 제2 뎁스 영상을 생성할 수 있다. 상기 이전 노출 시간은 상기 노출 시간과 시간적으로 상이한 노출 시간으로서, 예컨대, 상기 노출 시간보다 시간적으로 앞선 노출 시간을 의미할 수 있다. 상기 제2 뎁스 영상은 상기 제1 뎁스 영상과 시간적으로 상이한 뎁스 영상으로서, 예컨대, 상기 제1 뎁스 영상보다 시간적으로 뒤에 생성되는 뎁스 영상일 수 있다.
또는, 노출 시간 제어부(130)는 상기 측정된 움직임이 기선정된 기준치 미만인 경우, 상기 노출 시간을 조절하지 않거나, 또는 상기 이전 노출 시간보다 길게 조절할 수 있다. 노출 시간 제어부(130)는 상기 측정된 움직임이 기선정된 기준치 미만인 경우, 상기 뎁스 영상에 움직임이 적은 것으로 판단하고, 다음에 생성될 뎁스 영상도 움직임이 적을 것이라 예측하여 노출 시간을 조절하지 않을 수 있다. 또는, 노출 시간 제어부(130)는 다음에 생성될 뎁스 영상의 정밀도를 높이기 위해, 상기 노출 시간을 이전 노출 시간보다 길게 조절할 수도 있다.
예를 들어, 제1 뎁스 영상을 생성한 노출 시간이 '0.03초'라고 가정한다면, 상기 제1 뎁스 영상의 움직임이 기선정된 기준치 미만인 경우, 노출 시간 제어부(130)는 상기 노출 시간을 이전 노출 시간(0.03초)과 동일하게 '0.03초'로 유지하거나, 또는 상기 노출 시간을 이전 노출 시간(0.03초)보다 긴 '0.06초'로 조절할 수 있다. 이 경우, 뎁스 카메라(160)는 상기 조절된 노출 시간(0.06초)에 따라 제2 뎁스 영상을 생성할 수 있다.
뎁스 영상 보간부(140)는 상기 획득한 뎁스 영상을 이용하여 필요한 중간 뎁스 영상을 보간할 수 있다. 뎁스 영상 보간부(140)는 일정한 시간 동안 세 개의 뎁스 영상을 획득해야 하지만, 상기 노출 시간이 길어 두 개의 뎁스 영상만 획득한 경우, 두 개의 뎁스 영상을 이용하여 중간 뎁스 영상을 보간할 수 있다.
도 2는 움직임에 상응하여 뎁스 영상의 정밀도가 향상되는 일례를 도시한 도면이다.
도 2를 참조하면, 일반적으로 뎁스 영상의 움직임(Motion)이 많아지면, 정밀도(Accuracy)가 낮아지는 것을 볼 수 있다. 그러나, 본 발명(Mo-comp Filtered Accuracy, 점선)에서는 움직임에 따라 노출 시간을 조절함으로써, 움직임이 많아지더라도 뎁스 영상의 정밀도가 향상되는 것을 볼 수 있다.
예를 들어, 뎁스 영상의 움직임이 많이 측정되는 경우, 노출 시간 동적 제어 장치(100)는 노출 시간(210)을 짧게 설정하여, 짧은 노출 시간에 따라 뎁스 영상들(211, 212)을 획득할 수 있다. 또는, 뎁스 영상의 움직임이 적게 측정되는 경우, 노출 시간 동적 제어 장치(100)는 노출 시간(220)을 이전 노출 시간(210)보다 길게 설정하여, 긴 노출 시간에 따라 뎁스 영상(221)을 획득할 수 있다. 다만, 이 경우에는 뎁스 영상 보간부(140)가 획득한 뎁스 영상(221)을 이용하여 중간 뎁스 영상(222)을 보간함으로써, 뎁스 영상의 정밀도를 향상시킬 수 있다. 또한, 뎁스 영상의 움직임이 이전보다 더 적게 측정되는 경우, 노출 시간 동적 제어 장치(100)는 노출 시간(230)을 이전 노출 시간(220)보다 길게 설정하여, 긴 노출 시간에 따라 뎁스 영상들(231, 235)을 획득할 수 있다. 이 경우에도, 뎁스 영상 보간부(140)는 획득한 뎁스 영상(231, 235)을 이용하여 중간 뎁스 영상들(232, 233, 234)을 보간함으로써, 뎁스 영상의 정밀도를 향상시킬 수 있다.
실시예로, 프레임율을 일정하게 유지해야 하는 경우, 노출 시간 제어부(130)에 의해 상기 노출 시간이 길게 조절되면, 상대적으로 뎁스 영상의 손실이 발생할 수 있다. 이 경우, 뎁스 영상 보간부(140)는 순차적으로 획득된 제1 뎁스 영상과 제2 뎁스 영상을 이용하여 제1 뎁스 영상과 제2 뎁스 영상 사이의 '중간 뎁스 영상'을 보간할 수 있다.
도 3은 프레임율에 따라 노출 시간을 조절하는 일례를 도시한 도면이다.
도 3을 참조하면, 노출 시간 동적 제어 장치(100)는 프레임율이 '100ms'일 때(310), 노출 시간에 따른 뎁스 영상을 획득하는 일례를 나타낸다. 310에서는 프레임율을 일정하게 유지하면서 획득한 뎁스 영상에 대해 뎁스 영상 보간부(140)가 중간 뎁스 영상을 보간할 필요가 없다.
노출 시간 동적 제어 장치(100)는 프레임율이 '150ms'일 때(320), 노출 시간에 따른 뎁스 영상을 획득하는 일례를 나타낸다. 프레임율이 '100ms'에서 '150ms'으로 증가한 경우, 노출 시간 제어부(130)는 노출 시간을 이전 노출 시간보다 길게 조절할 수 있다. 이 경우, 뎁스 영상 보간부(140)는 늘어난 노출 시간에 따라 획득한 뎁스 영상(실선)을 이용하여 필요한 중간 뎁스 영상(점선)을 보간할 수 있다. 이때, 노출 시간은 최소값의 배수로 증가할 필요는 없다.
노출 시간 동적 제어 장치(100)는 프레임율이 '200ms'일 때(330), 노출 시간에 따른 뎁스 영상을 획득하는 일례를 나타낸다. 프레임율이 '150ms'에서 '200ms'으로 증가한 경우, 노출 시간 동적 제어 장치(100)는 노출 시간을 이전 노출 시간보다 길게 조절할 수 있다. 이 경우, 뎁스 영상 보간부(140)는 늘어난 노출 시간에 따라 획득한 뎁스 영상(실선)을 이용하여 필요한 중간 뎁스 영상(점선)을 보간할 수 있다.
즉, 노출 시간 동적 제어 장치(100)는 프레임율에 따라 노출 시간을 연속적으로(continuous) 조절할 수 있다.
종래의 움직임 보상 기반 3차원 시간 필터링(Temporal Filtering)은 이전 뎁스 영상을 저장하기 위한 메모리가 필요하며, 메모리의 크기가 클수록 즉, 더 많은 이전 뎁스 영상을 가지고 있을수록, 뎁스 영상의 정밀도 개선 효과가 더 커지게 된다. 그러나, 실제 구현에 있어서 메모리의 용량이 중요한 문제가 되는 경우가 많다.
본 발명에서는, 작은 용량의 메모리를 이용하여 효율적으로 움직임 보상을 수행하는 방법을 제안할 수 있다.
시간 필터링부(150)는 상기 뎁스 영상을 필터링하여, 필터링된 뎁스 영상을 메모리에 저장할 수 있다. 시간 필터링부(150)는 필터링해야 하는 현재 뎁스 영상(제2 뎁스 영상)에 대한 이전 뎁스 영상(제1 뎁스 영상)만을 이용하여 상기 제2 뎁스 영상을 필터링할 수 있다. 즉, 시간 필터링부(150)는 상기 제2 뎁스 영상을 필터링한 경우, 상기 제2 뎁스 영상을 이용하여 다음 뎁스 영상(제3 뎁스 영상)을 필터링할 수 있다.
구체적으로, 시간 필터링부(150)는 사전에 필터링된 제n-N(N은 자연수, n은 현재 프레임) 뎁스 영상에 가중치를 적용하는 지수 가중치(exponential weighting) 방식으로, 제n 뎁스 영상을, 상기 제n 뎁스 영상과 시간적으로 상이한 복수의 제n-N 뎁스 영상들을 이용하여 필터링하는 시간 필터링부를 더 포함할 수 있다. 예를 들어, 종래에는 이전 N장의 뎁스 영상에 모두 같은 가중치를 적용하는 방식이 이용되어 왔다. 그러나, 본 발명의 시간 필터링부(150)는 추가 메모리 없이 3차원 시간 필터링을 수행하기 위하여, 현재 뎁스 영상에서부터 멀리 떨어진 이전 뎁스 영상일수록 낮은 가중치(weight)를 가지도록 하는 '지수 가중치 방식'을 이용할 수 있다.
수학식 1
I_f(n)=I(n)+a*I(n-1), 0<a<1
a는 가중치, I(n-1)는 'n-1' 시점에 획득한 뎁스 영상, I(n)은 'n'시점에 획득한 뎁스 영상, I_f(n)은 'n'시점에 획득한 뎁스 영상을 필터링한 것이다. 가중치는 0부터 1까지 사이의 숫자로 설정될 수 있다. 또한, 'n-1' 시점의 뎁스 영상은 'n'시점의 뎁스 영상보다 시간적으로 앞선 영상이다.
즉, I(n)은 'n'시점에서의 현재 뎁스 영상(제2 뎁스 영상)을 의미하며, I(n-1)는 이전 뎁스 영상(제1 뎁스 영상)을 의미한다. 시간 필터링부(150)는 제2 뎁스 영상(I(n))과, 가중치(a)를 적용한 제1 뎁스 영상(I(n-1))을 합하여 상기 제2 뎁스 영상을 필터링(I_f(n))할 수 있다. 시간 필터링부(150)는 가중치를 뎁스 영상마다 반복적으로(recursive) 적용하는 '지수 가중치 방식'으로 뎁스 영상을 필터링할 수 있다.
수학식 2
I_f(n)=I(n)+a*I_f(n-1)=I(n)+a*I(n-1)+a2*I(n-2)
I(n-2), I(n-1), I(n) 은 시간 순서대로 각각 획득한 뎁스 영상이다. I(n-1)은 'n-1'시점에 획득한 뎁스 영상이고, I(n-2)은 'n-2'시점에 획득한 뎁스 영상이다. 또한, I_f(n-1)는 'n-1'시점의 뎁스 영상을 필터링한 것이다.
즉, 수학식 2를 참고하면, 'n-1'시점의 영상이 그 이전 프레임으로부터 필터링된 I_f(n-1)일 경우 I(n-1)영상과 I(n-2)영상으로 반복적으로 표현될 수 있다.
결과적으로, 시간 필터링부(150)는 현재 뎁스 영상에서 N만큼 떨어진 뎁스 영상에 aN의 가중치를 적용하여, 상기 현재 뎁스 영상을 필터링할 수 있다. 따라서, 매 뎁스 영상을 필터링할 때마다 움직임 보상이 이루어지므로, 매 뎁스 영상간 움직임 보상도 부가적으로(additive) 반영될 수 있다.
실시예로, 시간 필터링부(150)는 상기 노출 시간에 따라 상기 가중치를 조절하여, 상기 제n 뎁스 영상에 반영되는 프레임 개수를 제어할 수 있다. 시간 필터링부(150)는 영상 보간부(140)에 저장된 현재시간의 프레임과 바로 이전 시간의 프레임만을 이용하여 필터링을 수행 하므로 메모리를 적게 사용 할 수 있다.
도 4는 가중치를 조절하여 프레임 개수를 조절하는 일례를 도시한 도면이다.
도 4를 참고하면, 시간 필터링부(150)는 노출 시간에 따라 가중치(a)를 조절하여, 제n 뎁스 영상에 반영되는 프레임 개수를 제어할 수 있다. 예를 들어, 시간 필터링부(150)는 상기 노출 시간이 짧게 조절되는 경우, 필터링할 뎁스 영상에 움직임이 많을 것이라 예측하고, 상기 가중치를 작게 조절할 수 있다. 이 경우, 시간 필터링부(150)는 이전 뎁스 영상의 프레임 개수를 작게 사용하여 현재 뎁스 영상을 필터링함으로써, 현재 뎁스 영상의 정밀도를 향상시킬 수 있다.
또는, 시간 필터링부(150)는 상기 노출 시간이 길게 조절되는 경우, 필터링할 뎁스 영상에 움직임이 적을 것이라 예측하고, 상기 가중치를 크게 조절할 수 있다. 이 경우, 시간 필터링부(150)는 이전 뎁스 영상의 프레임 개수를 많이 사용하여 현재 뎁스 영상을 필터링함으로써, 현재 뎁스 영상의 정밀도를 향상시킬 수 있다.
도 5는 본 발명의 일실시예에 따른 뎁스 카메라의 노출 시간 동적 제어 방법의 순서를 도시한 흐름도이다.
도 5를 참고하면, 단계 510에서, 노출 시간 동적 제어 장치(100)는 노출 시간에 따른 뎁스 영상을 뎁스 카메라(160)를 통해 획득한다. 뎁스 카메라(160)는 미리 정해진 노출 시간에 따라 대상체를 촬영하여 뎁스 영상을 생성할 수 있다. 노출 시간은 뎁스 영상에 포함된 하나의 프레임을 생성하기 위해, 전자를 소집하는 시간이다. 본 발명의 뎁스 카메라(160)는 상기 생성된 뎁스 영상의 움직임에 따라 상기 노출 시간을 동적으로 조절함으로써, 새로운 뎁스 영상을 생성할 수 있다.
단계 520에서, 노출 시간 동적 제어 장치(100)는 상기 획득한 뎁스 영상으로부터 움직임을 측정한다. 노출 시간 동적 제어 장치(100)는 상기 뎁스 영상에 포함된 프레임들의 동작 흐름이나, 상기 프레임들 간의 차이점을 이용하여 상기 뎁스 영상의 움직임을 측정할 수 있다.
단계 530에서, 노출 시간 동적 제어 장치(100)는 상기 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단한다. 기준치는 테스트를 통해 뎁스 영상의 움직임이 많거나, 적어 상기 노출 시간의 조절이 필요하다고 판단되는 수치로 설정될 수 있으며, '문턱값'으로 해석될 수 있다.
예를 들어, 노출 시간 동적 제어 장치(100)는 상기 움직임이 기선정된 기준치 미만인 경우, 상기 노출 시간의 조절 없이 단계 510을 수행하여 뎁스 카메라(160)에서 새로운 뎁스 영상을 생성하도록 할 수 있다. 반면, 상기 움직임이 기선정된 기준치 이상인 경우, 노출 시간 동적 제어 장치(100)는 단계 540을 수행할 수 있다. 또는, 노출 시간 동적 제어 장치(100)는 상기 움직임이 기선정된 기준치 미만인 경우, 상기 노출 시간을 이전 노출 시간보다 길게 조절하여 뎁스 카메라(160)에서 새로운 뎁스 영상을 생성하도록 할 수도 있다.
단계 540에서, 노출 시간 동적 제어 장치(100)는 뎁스 카메라(160)의 노출 시간을 조절한다. 상기 측정된 움직임이 기선정된 기준치 이상인 경우, 노출 시간 동적 제어 장치(100)는 상기 노출 시간을 이전 노출 시간보다 짧게 조절할 수 있다. 즉, 노출 시간 동적 제어 장치(100)는 상기 측정된 움직임이 기선정된 기준치 이상인 경우, 상기 뎁스 영상에 움직임이 많은 것으로 판단하고, 다음에 생성될 뎁스 영상의 정밀도를 높이기 위해, 노출 시간을 짧게 조절할 수 있다.
단계 550에서, 노출 시간 동적 제어 장치(100)는 상기 조절된 노출 시간에 따라 뎁스 카메라(160)에서 새로운 뎁스 영상을 생성할 수 있다. 예를 들어, 단계 510에서 생성한 뎁스 영상을 '제1 뎁스 영상'이라 하면, 단계 550에서 생성하는 새로운 뎁스 영상을 '제2 뎁스 영상'으로 해석할 수 있다. 즉, 상기 제2 뎁스 영상은 상기 제1 뎁스 영상과 시간적으로 상이한 뎁스 영상으로서, 예컨대, 상기 제1 뎁스 영상보다 시간적으로 뒤에 생성되는 뎁스 영상일 수 있다.
단계 560에서, 노출 시간 동적 제어 장치(100)는 상기 획득한 뎁스 영상을 이용하여 필요한 중간 뎁스 영상을 보간한다. 단계 560은 상기 획득한 뎁스 영상에 대해 중간 뎁스 영상이 필요한 경우에만 수행될 수 있다. 만약, 상기 노출 시간에 따라 획득한 뎁스 영상의 정밀도가 높다면, 노출 시간 동적 제어 장치(100)는 단계 560를 수행하지 않고(skip), 단계 570을 수행할 수도 있을 것이다.
단계 570에서, 노출 시간 동적 제어 장치(100)는 지수 가중치 방식을 이용하여 상기 뎁스 영상을 필터링한다. 예를 들어, 노출 시간 동적 제어 장치(100)는 필터링된 제n-1 뎁스 영상에 선정된 '가중치'를 적용하는 방식을 반복적으로 수행함으로써, 제n-N 뎁스 영상에 '가중치N'이 적용되는 효과를 얻어 상기 '제n-N 뎁스 영상들'을 이용하여 상기 제n 뎁스 영상을 필터링할 수 있다.
뎁스 카메라의 노출 시간 동적 제어 방법은 노출 시간 동적 제어 장치(100)에서 수행될 수 있다. 노출 시간 동적 제어 장치(100)에 대해서는 도 1을 통해 상세히 설명하였으므로, 이하에서는 설명을 생략한다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 뎁스 카메라의 노출 시간 동적 제어 장치
110: 뎁스 영상 획득부
120: 움직임 측정부
130: 노출 시간 제어부
140: 뎁스 영상 보간부
150: 시간 필터링부
160: 뎁스 카메라

Claims (17)

  1. 뎁스 카메라로부터 획득한 뎁스 영상의 움직임을 측정하는 움직임 측정부;
    상기 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하고, 상기 판단결과에 따라 상기 뎁스 카메라의 노출 시간(Integration Time)을 제어하는 노출 시간 제어부; 및
    이미 필터링된 이전 뎁스 영상에 가중치를 적용하여서 현재 뎁스 영상을 필터링하는 시간 필터링부
    를 포함하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  2. 제1항에 있어서,
    상기 노출 시간 제어부는,
    상기 측정된 움직임이 기선정된 기준치 이상인 경우, 상기 노출 시간을 이전 노출 시간보다 짧게 조절하고,
    상기 측정된 움직임이 기선정된 기준치 미만인 경우, 상기 노출 시간을 조절하지 않거나, 또는 상기 이전 노출 시간보다 길게 조절하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  3. 제1항에 있어서,
    상기 시간 필터링부는 상기 현재 뎁스 영상 및 상기 이전 뎁스 영상의 프레임 간격 차이로 결정되는 지수 가중치 값을 상기 이전 뎁스 영상에 상기 가중치로서 적용하는
    뎁스 카메라의 노출 시간 동적 제어 장치.
  4. 제3항에 있어서,
    상기 시간 필터링부는,
    상기 현재 뎁스 영상으로부터 n 개의 프레임만큼 떨어진 제n 이전 뎁스 영상에 미리 지정된 가중치를 반복적으로 적용한 상기 가중치의 n차 제곱을 적용하여 상기 현재 뎁스 영상을 필터링하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  5. 제3항에 있어서,
    상기 시간 필터링부는,
    상기 노출 시간에 따라 상기 가중치를 조절하여, 필터링에 이용되는 상기 이전 뎁스 영상의 개수를 제어하는 뎁스 카메라의 노출 시간 동적 제어 장치.
  6. 제5항에 있어서,
    상기 시간 필터링부는,
    상기 노출 시간이 짧게 조절되는 경우, 상기 가중치를 이전 가중치보다 크게 조절하거나, 또는 상기 노출 시간이 길게 조절되는 경우, 상기 가중치를 이전 가중치보다 작게 조절하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  7. 제1항에 있어서,
    상기 움직임 측정부는,
    상기 뎁스 영상에 포함된 프레임들의 동작 흐름이나, 상기 프레임들 간의 차이점을 이용하여 상기 뎁스 영상의 움직임을 측정하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  8. 뎁스 영상으로부터 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하고, 상기 판단결과에 따라 뎁스 카메라의 노출 시간(Integration Time)을 제어하는 노출 시간 제어부; 및
    이미 필터링된 이전 뎁스 영상에 가중치를 적용하여서 현재 뎁스 영상을 필터링하는 시간 필터링부
    를 포함하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  9. 제8항에 있어서,
    상기 제어된 노출 시간에 따라 제2 뎁스 영상을 생성하는 뎁스 카메라
    를 더 포함하는, 뎁스 카메라의 노출 시간 동적 제어 장치.
  10. 제8항에 있어서,
    상기 시간 필터링부는 상기 현재 뎁스 영상 및 상기 이전 뎁스 영상의 프레임 간격 차이로 결정되는 지수 가중치 값을 상기 이전 뎁스 영상에 상기 가중치로서 적용하는 뎁스 카메라의 노출 시간 동적 제어 장치.
  11. 뎁스 영상으로부터 측정된 움직임이 기선정된 기준치 이상인지 여부를 판단하는 단계;
    상기 판단결과에 따라 뎁스 카메라의 노출 시간을 제어하는 단계; 및
    이미 필터링된 이전 뎁스 영상에 가중치를 적용하여서 현재 뎁스 영상을 필터링하는 단계
    를 포함하는, 뎁스 카메라의 노출 시간 동적 제어 방법.
  12. 제11항에 있어서,
    상기 판단결과에 따라 뎁스 카메라의 노출 시간을 제어하는 단계는,
    상기 측정된 움직임이 기선정된 기준치 이상인 경우, 상기 노출 시간을 이전 노출 시간보다 짧게 조절하는 단계
    를 포함하는, 뎁스 카메라의 노출 시간 동적 제어 방법.
  13. 제11항에 있어서,
    상기 판단결과에 따라 뎁스 카메라의 노출 시간을 제어하는 단계는,
    상기 측정된 움직임이 기선정된 기준치 미만인 경우, 상기 노출 시간을 조절하지 않거나, 또는 이전 노출 시간보다 길게 조절하는 단계
    를 포함하는, 뎁스 카메라의 노출 시간 동적 제어 방법.
  14. 제11항에 있어서,
    상기 이미 필터링된 이전 뎁스 영상에 가중치를 적용하여서 상기 현재 뎁스 영상을 필터링하는 단계는,
    상기 현재 뎁스 영상 및 상기 이전 뎁스 영상의 프레임 간격 차이로 결정되는 지수 가중치 값을 상기 이전 뎁스 영상에 상기 가중치로서 적용하는 단계를 포함하는 뎁스 카메라의 노출 시간 동적 제어 방법.
  15. 제14항에 있어서,
    상기 이미 필터링된 이전 뎁스 영상에 가중치를 적용하여서 상기 현재 뎁스 영상을 필터링하는 단계는,
    상기 현재 뎁스 영상으로부터 n 개의 프레임만큼 떨어진 제n 이전 뎁스 영상에 미리 지정된 가중치를 반복적으로 적용한 상기 가중치의 n차 제곱을 적용하여 상기 현재 뎁스 영상을 필터링하는 단계를 포함하는
    뎁스 카메라의 노출 시간 동적 제어 방법.
  16. 제14항에 있어서,
    상기 노출 시간에 따라 상기 가중치를 조절하여 필터링에 이용되는 상기 이전 뎁스 영상의 개수를 제어하는 단계
    를 더 포함하는, 뎁스 카메라의 노출 시간 동적 제어 방법.
  17. 제16항에 있어서,
    상기 노출 시간이 짧게 조절되는 경우, 상기 가중치를 이전 가중치보다 크게 조절하거나, 또는 상기 노출 시간이 길게 조절되는 경우, 상기 가중치를 이전 가중치보다 작게 조절하는 단계
    를 더 포함하는, 뎁스 카메라의 노출 시간 동적 제어 방법.
KR1020100108511A 2010-11-03 2010-11-03 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치 KR101642964B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100108511A KR101642964B1 (ko) 2010-11-03 2010-11-03 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
US13/067,338 US8670593B2 (en) 2010-11-03 2011-05-25 Apparatus and method for dynamically controlling integration time of depth camera for accuracy improvement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108511A KR101642964B1 (ko) 2010-11-03 2010-11-03 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120046943A KR20120046943A (ko) 2012-05-11
KR101642964B1 true KR101642964B1 (ko) 2016-07-27

Family

ID=45996820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108511A KR101642964B1 (ko) 2010-11-03 2010-11-03 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치

Country Status (2)

Country Link
US (1) US8670593B2 (ko)
KR (1) KR101642964B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087955A1 (en) * 2009-01-30 2010-08-05 Thomson Licensing Coding of depth maps
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
KR102082703B1 (ko) * 2013-06-13 2020-02-28 엘지전자 주식회사 깊이 영상 획득 장치 및 방법
KR101981648B1 (ko) 2015-01-08 2019-05-24 한화테크윈 주식회사 전력절감기능을 갖는 야간 감시 시스템 및 방법
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
CN111726522B (zh) * 2020-06-12 2021-06-11 上海摩勤智能技术有限公司 一种人脸识别设备控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186592A (ja) 2004-12-27 2006-07-13 Canon Inc 撮像装置及びその制御方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5097340A (en) * 1988-12-28 1992-03-17 Minolta Camera Kabushiki Kaisha Exposure control device for still video camera
US5299015A (en) * 1989-03-29 1994-03-29 Hitachi, Ltd. Image pickup apparatus and method and system for controlling the exposure of the image pickup apparatus
JP2838296B2 (ja) * 1989-10-17 1998-12-16 株式会社ニコン 撮像装置の手振れ防止装置および手振れ警告装置
JPH03230130A (ja) * 1990-02-05 1991-10-14 Canon Inc 手振れ検出装置を有するカメラ
US5969350A (en) 1998-03-17 1999-10-19 Comstock, Inc. Maldi/LDI time-of-flight mass spectrometer
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2006203477A (ja) * 2005-01-19 2006-08-03 Fuji Photo Film Co Ltd 撮影装置
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8031775B2 (en) * 2006-02-03 2011-10-04 Eastman Kodak Company Analyzing camera captured video for key frames
US7705314B2 (en) 2006-06-06 2010-04-27 General Electric Company Method and apparatus for PET time of flight generation of compression sinogram and image reconstruction
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
JP4709126B2 (ja) 2006-12-08 2011-06-22 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP2009047497A (ja) 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
KR100920931B1 (ko) 2007-11-16 2009-10-12 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
US8055025B2 (en) * 2008-06-14 2011-11-08 City University Of Hong Kong Motion estimation method
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US8149323B2 (en) * 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
KR101572851B1 (ko) 2008-12-22 2015-11-30 삼성전자 주식회사 동적 환경에서 모바일 플랫폼의 지도 작성방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186592A (ja) 2004-12-27 2006-07-13 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US20120106803A1 (en) 2012-05-03
KR20120046943A (ko) 2012-05-11
US8670593B2 (en) 2014-03-11

Similar Documents

Publication Publication Date Title
KR101642964B1 (ko) 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
EP3062509B1 (en) Terminal and image processing method
US9068831B2 (en) Image processing apparatus and image processing method
KR101526866B1 (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
JP6245885B2 (ja) 撮像装置およびその制御方法
US8532425B2 (en) Method and apparatus for generating a dense depth map using an adaptive joint bilateral filter
US9706104B2 (en) Image auto-focusing method and camera using same
CN110740247B (zh) 视频增稳方法、装置、计算机设备及存储介质
CN105306804A (zh) 智能终端及其视频稳像方法及装置
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
EP3506621B1 (en) Image processing apparatus, image processing method, and computer program
EP3195590A1 (en) Trajectory planning for video stabilization
JP2015043495A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US10171742B2 (en) Image capturing apparatus, method, and program with operation state determination based upon angular velocity detection
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
CN104427212B (zh) 用于消除失真的装置和方法
KR101439013B1 (ko) 스테레오 영상 처리 장치 및 방법
US8243801B2 (en) Motion prediction apparatus and motion prediction method
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
CN106331679A (zh) 双目相机间距调节方法及装置
KR101265021B1 (ko) 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치
US20180332227A1 (en) Image processing device, image processing method, image processing program
KR20160062665A (ko) 동작 인식 장치 및 방법
KR20150130251A (ko) 촬상장치 및 그 제어 방법
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4