KR102442594B1 - 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 - Google Patents

조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 Download PDF

Info

Publication number
KR102442594B1
KR102442594B1 KR1020160078768A KR20160078768A KR102442594B1 KR 102442594 B1 KR102442594 B1 KR 102442594B1 KR 1020160078768 A KR1020160078768 A KR 1020160078768A KR 20160078768 A KR20160078768 A KR 20160078768A KR 102442594 B1 KR102442594 B1 KR 102442594B1
Authority
KR
South Korea
Prior art keywords
value
cost volume
disparity
volume calculation
illuminance
Prior art date
Application number
KR1020160078768A
Other languages
English (en)
Other versions
KR20180000580A (ko
Inventor
임을균
장지호
정재찬
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160078768A priority Critical patent/KR102442594B1/ko
Priority to US15/469,223 priority patent/US10313650B2/en
Publication of KR20180000580A publication Critical patent/KR20180000580A/ko
Application granted granted Critical
Publication of KR102442594B1 publication Critical patent/KR102442594B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

본 발명은 스테레오 촬영 시의 조도 조건에 상대적으로 덜 영향을 받을 수 있도록 조도를 제어하고, 거리 별 단계적으로 파라미터를 변경하여 코스트 볼륨 값을 연산하는 장치 및 그 방법에 관한 것으로, 조명기 제어부, 픽셀 기대값 계산부, 코스트 볼륨 계산부를 포함할 수 있으며, 피사체를 촬영시의 조도를 조명을 통해 제어하고, 피사체와의 거리 및 조도에 따라 코스트 볼륨 값을 연산하는데 사용되는 파라미터를 변경함으로써 스테레오 매칭에 있어 거리 및 조도에 영향을 상대적으로 적게 받도록 코스트 볼륨 값을 연산하는데 그 목적이 있다.

Description

조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법{cost volume calculation apparatus stereo matching system having a illuminator and method therefor}
본 발명은 스테레오 영상을 매칭함에 있어서 필요한 코스트 볼륨 값을 연산하기 위한 것으로, 더 자세하게는 스테레오 촬영 시의 조도 조건에 상대적으로 덜 영향을 받을 수 있도록 자체적으로 조명을 구비한 스테레오 카메라 시스템에서 코스트 볼륨 값을 연산하는 장치 및 그 방법에 대한 것이다.
스테레오 카메라로 촬영한 스테레오 영상을 매칭함에 있어서, 사람의 두 눈으로 보는 영상에 양안시차(binocular disparity)가 있듯이, 사람 눈처럼 수평 방향으로 나란하게 배열한 스테레오 카메라에 찍힌 영상에도 시차(disparity)가 존재한다.
스테레오 카메라의 영상 중 하나를 기준영상(reference image)이라고 하고, 나머지 하나의 영상을 타겟영상(target image)이라고 한다면, 기준영상 내의 한 점(point)
Figure 112016060928129-pat00001
와 타겟영상 내의 점
Figure 112016060928129-pat00002
가 피사체 상의 같은 점일 때,
Figure 112016060928129-pat00003
점의 디스패리티는"
Figure 112016060928129-pat00004
"라고 나타낸다.
스테레오 매칭 시스템에 있어서는,
Figure 112016060928129-pat00005
의 타겟영상 에피폴라 라인 (epipolar line)상의 제한된 범위의 점들에 대해서
Figure 112016060928129-pat00006
와의 차이점, 즉 디스시밀러리티(dissimilarity)들을 계산하고 그 차이점이 가장 적은 점과의 수평방향 좌표 차이
Figure 112016060928129-pat00007
를 그 점의 디스패리티로 선택하는 방법을 사용한다.
디스시밀러리티 지표는 스테레오 매칭 시스템에서 코스트로 불리며, 흔히 두 픽셀 값 차이의 절대값(absolute difference)이나 두 픽셀 인근 값간 차이의 절대값의 합(SAD; Sum of Absolute Difference)등이 사용되며 코스트는 영상 좌표 x, y와 디스패리티 후보 d에 관한 3차원 변수 형식으로 표현될 수 있으며, 이렇게 표현된 형식을 코스트 볼륨이라고 한다.
한편, 주변 광량이 적을수록 카메라로 촬영되는 픽셀값이 작아지기 때문에 픽셀값의 차이에 기반한 통상의 코스트도 주변 광량이 적을수록 그 값이 작아지게 된다. 야간의 부족한 광량을 극복하기 위해 스테레오 카메라 근처에 가시광 LED 조명기를 구비하거나 태양광을 아예 배제하고 특정 파장의 LED 조명기를 스테레오 카메라에 구비한 시스템의 경우에는, 근거리 피사체의 코스트에 비하여 원거리 피사체의 코스트가 급격히 감소하는 문제가 생기기 때문에 모든 피사체의 모든 부분을 동일한 알고리즘을 적용하여 코스트 볼륨 값을 산출하여 스테레오 매칭을 수행하면 원거리 또는 주변광량이 적은 부분일수록 식별이 어려워지게 된다.
본 발명은 피사체와의 거리 및 조도에 따라 코스트 볼륨 값을 연산하는데 사용되는 파라미터를 변경함으로써 조명기를 사용하는 스테레오 매칭 시스템에 있어 거리 및 조도에 영향을 상대적으로 적게 받도록 코스트 볼륨 값을 연산하는데 그 목적이 있다.
본 발명의 실시 예에 따르면 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치는 수신한 스테레오 영상의 픽셀 인텐시티 값을 산출하고 미리 설정된 조도 값과 비교하여 일반 또는 디스패리티 단계별 코스트 볼륨 산출명령을 생성하고 조명을 제어하는 조명기 제어부; 카메라 캘리브레이션을 수행하여 카메라 파라미터를 획득하고, 상기 획득한 카메라 파라미터를 통해 디스패리티 값을 산출하여 상기 산출된 디스패리티 값으로부터 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 픽셀 기대값 계산부; 및 상기 수신한 영상을 대상으로 상기 수신한 코스트 볼륨 산출 명령에 따라 미리 설정된 파라미터 또는 상기 수신한 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값에 따라 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨 값을 산출하는 코스트 볼륨 계산부를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 조명기 제어부는, 상기 수신한 영상의 픽셀 인텐시티 값을 산출하고 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우에는 조명의 사용을 제어하고, 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신하는 제1 비교 제어부; 상기 조명을 사용한 경우, 상기 조명을 사용한 후 획득한 영상을 수신하고 상기 수신한 영상의 픽셀 인텐시티 값을 산출하여 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우 디스패리티 디스패리티 단계별 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하고. 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하는 제2 비교 제어부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 코스트 볼륨 계산부는, 상기 일반 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 미리 설정된 일정한 파라미터를 적용하여 코스트 볼륨을 산출하는 일반 코스트 볼륨 산출부; 및 상기 단계별 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 수신한 상기 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨을 산출하는 단계별 코스트 볼륨 산출부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 픽셀 기대값 계산부는, 스테레오 카메라 설정정보로부터 초점 거리, 주점의 좌표를 포함하는 카메라 파라미터를 획득하는 파라미터 획득부; 상기 획득한 카메라 파라미터에 포함된 초점 거리, 주점의 좌표를 이용하여 디스패리티 값을 산출하는 디스패리티 산출부; 상기 디스패리티 값을 통해 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 조도 기대 값 생성부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법은 수신한 스테레오 영상의 픽셀 인텐시티 값을 산출하고 미리 설정된 조도 값과 비교하여 일반 또는 디스패리티 단계별 코스트 볼륨 산출명령을 생성하고 조명을 제어하는 단계; 카메라 캘리브레이션을 수행하여 카메라 파라미터를 획득하고, 상기 획득한 카메라 파라미터를 통해 디스패리티 값을 산출하여 상기 산출된 디스패리티 값으로부터 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 단계; 및 상기 수신한 영상을 대상으로 상기 수신한 코스트 볼륨 산출 명령에 따라 미리 설정된 파라미터 또는 상기 수신한 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값에 따라 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨 값을 산출하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 조명 및 재촬영을 제어하는 단계는, 상기 수신한 영상의 픽셀 인텐시티 값을 산출하고 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우에는 조명의 사용을 제어하고, 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신하는 단계; 상기 조명을 사용하는 경우, 상기 조명을 사용한 후 획득한 영상을 수신하고 상기 수신한 영상의 픽셀 인텐시티 값을 산출하여 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우 디스패리티 디스패리티 단계별 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하고. 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 코스트 볼륨 값을 산출하는 단계는,
상기 일반 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 미리 설정된 일정한 파라미터를 적용하여 코스트 볼륨을 산출하는 단계; 및 상기 단계별 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 수신한 상기 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨을 산출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 조도 기대 값을 생성하는 단계는, 스테레오 카레라 설정정보로부터 초점 거리, 주점의 좌표를 포함하는 카메라 파라미터를 획득하는 단계; 상기 획득한 카메라 파라미터에 포함된 초점 거리, 주점의 좌표를 이용하여 디스패리티 값을 산출하는 단계; 상기 디스패리티 값을 통하여 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 단계를 더 포함할 수 있다.
본 발명을 통해 사용자는 개개인의 신체 조건, 스포츠 동작 훈련 정도 등의 개인적인 특성을 고려한 개인화된 스포츠 동작 분석정보를 제공받을 수 있으며, 특히 이러한 스포츠 동작 분석 및 코칭이 일상적인 스포츠 활동 중에도 이루어질 수 있고 또한 실제 스포츠 활동 시에 기록된 동작들이 새로운 코칭 목표를 위해 피드백 되어 사용될 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치의 구성도이다.
도 2는 도 1에 도시된 조명기 제어부의 세부 구성도이다.
도 3은 도 1에 도시된 픽셀 기대값 계산부의 세부 구성도이다.
도 4는 본 발명에 따라 생성된 디스패리티 단계별 거리에 따른 픽셀 별 조도 기대 값의 그래프를 나타낸 도면이다
도 5는 도 1에 도시된 코스트 볼륨 계산부의 세부 구성도이다.
도 6는 본 발명의 실시 예에 따라 산출한 코스트 볼륨을 이용하여 스테레오 매칭을 한 영상과 종래 방법으로 코스트 볼륨을 이용하여 스테레오 매칭을 한 영상을 비교한 도면이다
도 7은 본 발명의 실시 예에 따른 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치(1000)의 구성도이다.
도 1을 참조하면 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치(1000)는 조명기 제어부(100), 픽셀 기대값 계산부(200), 코스트 볼륨 계산부(300)을 포함할 수 있다.
조명기 제어부(100)는 수신한 스테레오 영상의 픽셀 인텐시티 값을 산출하고 미리 설정된 조도 값과 비교하여 일반 또는 디스패리티 단계별 코스트 볼륨 산출명령을 생성하고 조명을 제어할 수 있다.
조명기 제어부(100)는 도 2를 참조하여 더 자세히 설명하도록 한다.
픽셀 기대값 계산부(200)는 카메라 캘리브레이션을 수행하여 카메라 파라미터를 획득하고, 획득한 카메라 파라미터를 통해 디스패리티 값을 산출하여 산출된 디스패리티 값으로부터 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성할 수 있다.
픽셀 기대값 계산부(200)는 도 3을 참조하여 더 자세히 설명하도록 한다.
코스트 볼륨 계산부(300)는 스테레오 영상 및 코스트 볼륨 산출 명령을 수신하고, 수신한 영상을 대상으로 상기 수신한 코스트 볼륨 산출 명령에 따라 미리 설정된 파라미터 또는 수신한 거리 별 조도 기대 값에 따라 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨 값을 산출할 수 있다.
코스트 볼륨 계산부(300)는 도 4을 참조하여 더 자세히 설명하도록 한다.
도 2는 도 1에 도시된 조명기 제어부(100)의 세부 구성도이다.
도 2를 참조하면 조명기 제어부(100)는 제1 비교 제어부(110), 제2 비교 제어부(120)를 포함할 수 있다.
제1 비교 제어부(110)는 상기 수신한 영상의 픽셀 인텐시티(intensity) 값을 산출하고 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우에는 조명의 사용을 제어하고, 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신할 수 있다.
본 발명의 일 실시 예에 따르면 수신한 영상은 IR narrow bandpass filter를포함하는 스테레오 카메라를 통하여 촬영한 영상을 의미할 수 있다.
본 발명의 일 실시 예에 따르면 영상의 조명기를 고려한 알고리즘의 적용 필요성은 포함된 기준 밝기 이하의 픽셀의 수가 전체 픽셀 수에서 차지하는 비율로 판단할 수 있다.
예를 들어 전체 픽셀 수가 100개이고 기준 빛 강도(intensity)가 최대 255기준에 10인 경우 각 픽셀값이 기준 밝기 10 이하인 픽셀의 수가 60개라고 한다면 암부 비율이 60%로서 본 알고리즘이 필요하다고 판정할 수 있다.
여기서 미리 설정된 기준 빛 강도(intensity) 및 비율은 사용자가 미리 설정한 값으로서 자유롭게 변경될 수 있다.
본 발명의 일 실시 예에 따르면 조명의 사용 제어는 코스트 볼륨 연산장치(1000)와 연결된 조명에 스테레오 영상 촬영 시 충분한 광량을 제공할 수 있도록 스테레오 카메라에 설치된 조명기를 작동하는 것을 의미할 수 있다.
본 발명의 일 실시 예에 따르면 일반 코스트 볼륨 산출명령은 산출된 영상의 촬영 조도 값이 미리 설정된 조도 값보다 큰 경우, 즉 영상 내 암부 비율이 기준치보다 작은 경우에는 대부분의 피사체가 적절히 조명되는 상황이므로 디스패리티 단계별로 코스트 볼륨을 산출하는 방법을 사용할 필요가 없으므로 미리 설정된 코스트 볼륨 산출식에 일정한 파라미터 값을 적용하여 코스트 볼륨을 산출하는 방법을 적용하도록 하는 명령을 의미하여 촬영된 영상 데이터와 함께 코스트 볼륨 계산부(300)로 송신될 수 있다.
여기서 일반 코스트 볼륨 산출방법은 도 4를 참조하여 더 자세히 설명하도록 한다.
제2 비교 제어부(120)는 재촬영을 한 경우, 구비된 조명기를 사용하여 재촬영된 영상을 수신하고 재촬영된 영상의 픽셀 인텐시티 값을 산출하여 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우 디스패리티 디스패리티 단계별 코스트 볼륨 산출명령및 재촬영된 영상을 송신하고. 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 재촬영된 영상을 송신할 수 있다.
본 발명의 일 실시 예에 따르면 디스패리티 단계별 코스트 볼륨 산출명령은 산출된 영상의 픽셀 인텐시티 값이 미리 설정된 조도 값보다 작은 경우, 원거리 피사체까지의 거리에 비해서 광량이 충분하지 못하여 디스패리티 단계별로 코스트 볼륨을 산출하는 방법을 사용할 필요성이 존재하므로, 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값에 따라서 각 디스패리티 단계마다 서로 다른 파라미터를 미리 설정된 코스트 볼륨 산출식에 적용하여 코스트 볼륨을 산출하는 방법을 사용하도록 하는 명령을 의미하여 촬영된 영상 데이터와 함께 코스트 볼륨 계산부(300)로 송신될 수 있다.
여기서 단계별 코스트 볼륨 산출방법은 도 4를 참조하여 더 자세히 설명하도록 한다.
도 3은 도 1에 도시된 픽셀 기대값 계산부(200)의 세부 구성도이다.
도 3을 참조하면 픽셀 기대값 계산부(200)는 파라미터 획득부(210), 디스패리티 산출부(220), 조도 기대 값 생성부(230)을 포함할 수 있다.
파라미터 획득부(210)는 스테레오 카메라 설정정보로부터 초점 거리, 주점의 좌표를 포함하는 카메라 파라미터를 획득할 수 있다.
여기서 주점(principal point)은 사진의 중심으로써 투영중심에서 투영면에 내린 수선이 투영면과 만나는 점을 의미한다.
또한 초점 거리(focal length)는 주점에서 초점까지의 거리를 의미한다.
본 발명의 일 실시 예에 따르면 유효 영상을 최대로 확보하기 위해서 가상 평행축 카메라 주점의 가로 위치는 변동될 수 있으며 이 경우엔 변동을 위해 차후 계산된 디스패리티 값에 주점 위치 차이를 반영함으로써 보정할 수 있다.
본 발명의 일 실시 예에 따르면 카메라 파라미터를 이용하여 상기 획득한 영상에 왜곡 제거 및 스테레오 조정을 수행할 수 있다.
디스패리티 산출부(220)는 획득한 카메라 파라미터에 포함된 초점 거리, 주점의 좌표를 이용하여 디스패리티 값을 산출할 수 있다.
가상 평행축 카메라의 초점거리 f, 두 카메라 주점 사이의 거리 B(단위는 mm)를 이용해서, 가상 평행축 카메라로부터 피사체 상의 픽셀까지의 거리(z)와 디스 패리티 값 d 사이의 관계는 다음과 같은 수식으로 산출할 수 있다.
[수학식1]
Figure 112016060928129-pat00008
본 발명의 실시 예에 따르면 보정된 디스패리티(disparity)가 0이면 보정된 디스패리티가 1인 위치보다 먼 모든 거리(무한대 포함)를 대표하게 되고, 디스패리티 탐색 범위에 의해서 최근접거리가 정해질 수 있다.
조도 기대 값 생성부(230)는 디스패리티 값 마다 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하기 위해선 아래의 수학식 2와 같은 수식을 사용할 수 있다.
[수학식 2]
Figure 112016060928129-pat00009
수학식 2를 사용하여 디스패리티에 대응되는 거리를 이용해서, 디스패리티 값
Figure 112016060928129-pat00010
마다 픽셀 값
Figure 112016060928129-pat00011
의 기대 값
Figure 112016060928129-pat00012
을 계산할 수 있다.
기준 거리
Figure 112016060928129-pat00013
에서의 복사 조도 값을 1로 설정하고, 기준 거리로부터의 비율을 이용해서 역제곱 법칙(inverse square law)를 적용하여 수학식 2를 도출할 수 있다.
수학식 2를 사용하는 본 발명의 일 실시 예에 따르면 아래의 설정과 같은 경우 디스패리티와 거리와 픽셀 별 조도 기대 값(%)의 관계는 도 4의 그래프와 같이 나타낼 수 있다.
도 4는 본 발명에 따라 생성된 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값(expected intensity ratio)에 대한 그래프를 나타낸 도면이다
도 4를 참조하면 초점거리(f) =1556, 두 카메라 주점 사이의 거리(B) = 148.81, 최대 디스패리티(max.disparity)=127, 주점 위치 보정 값
Figure 112016060928129-pat00014
,
Figure 112016060928129-pat00015
인 경우에는 도 4의 그래프와 같은 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값이 산출 될 수 있다.
도 5는 도 1에 도시된 코스트 볼륨 계산부(300)의 세부 구성도이다.
도 5를 참조하면 본 발명의 실시 예에 따른 코스트 볼륨 계산부(300)는 일반 코스트 볼륨 산출부(310), 단계별 코스트 볼륨 산출부(320)를 포함할 수 있다.
일반 코스트 볼륨 산출부(310)는 일반 코스트 볼륨 산출 명령과 같이 수신된 영상을 대상으로 미리 설정된 일정한 파라미터를 이용하여 코스트 볼륨을 산출할 수 있다.
본 발명의 일 실시 예에 따르면 일정한 파라미터를 이용하여 코스트 볼륨을 산출하기 위해서는 양방향 필터(bilateral filter)를 이용한 픽셀 단위의 서포트 웨이트(support weight)방법을 통해 코스트 볼륨을 수학식 3과 같이 산출할 수 있다.
[수학식 3]
Figure 112016060928129-pat00016
,
Figure 112016060928129-pat00017
일반 코스트 산출방법을 사용하는 실시 예에 따르면 색상 차이 파라미터
Figure 112016060928129-pat00018
는 미리 설정된 특정 값으로 디스패리티의 변화에 상관 없이 일정한 값이 사용될 수 있다.
단계별 코스트 볼륨 산출부(320)는 단계별 코스트 볼륨 산출 명령과 같이 수신된 영상을 대상으로 수신한 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터를 이용하여 코스트 볼륨을 산출할 수 있다.
본 발명의 일 실시 예에 따르면 디스패리티 단계마다 서로 다른 파라미터를를 이용하여 코스트 볼륨을 산출하기 위해서는 양방향 필터(bilateral filter)를 이용한 픽셀 단위의 서포트 웨이트(support weight)방법을 통해 코스트 볼륨을 수학식 3과 같이 산출할 수 있다.
여기서 일반 코스트 볼륨 산출방법과의 차이는 색상 차이 파라미터
Figure 112016060928129-pat00019
을 디스패리티 레벨에 따라 다르게
Figure 112016060928129-pat00020
함수로서 적용할 수 있다는 것에 있다.
본 발명의 일 실시 예에 따르면
Figure 112016060928129-pat00021
함수로는 수학식 4와 같은 수식이 이용될 수 있다.
[수학식 4]
Figure 112016060928129-pat00022
여기서
Figure 112016060928129-pat00023
대신에
Figure 112016060928129-pat00024
을 사용한 이유는, 무한히 먼 곳의 조도 기대값
Figure 112016060928129-pat00025
은 0이기 때문이다.
이러한 수학식 4를 참조하면 기본적으로
Figure 112016060928129-pat00026
는 픽셀의 조도 기대 값 (0~1)에 비례할 수 있다.
또한 디스패리티가 0인 코스트 평면을 대상으로 할 때, 디스패리티 0값은
Figure 112016060928129-pat00027
를 고려하더라도 상당히 먼 거리에 해당하는 경우이며, 따라서 이 디스패리티 값으로 매칭될 픽셀들은 평균적으로 매우 낮은 픽셀 값을 가질 수 있으며, 이 거리에 있는 서로 다른 물체들의 픽셀 값 차이는 상당히 작게 될 수 있다.
또한 본 발명의 일 실시 예에 따르면
Figure 112016060928129-pat00028
은 주로 사용하는 거리에 있는 피사체에 대한 최적 값으로 할 수 있다.
수학식 4을 수학식 3에 대입하면 디스패리티 값이 작을 때에는
Figure 112016060928129-pat00029
의 작은 값에도 p 인근점 q와의 로우 코스트 (raw cost) 값
Figure 112016060928129-pat00030
의 가중치가 크게 반영될 수 있으며 이는 광원으로부터 거리가 멀어질수록 급격하게 어두워지는 피사체 간의 미소한 차이를 제대로 반영하는 효과를 나타낼 수 있다.
단계별 코스트 볼륨 산출방법을 사용하는 실시 예에 따르면 디스패리티가 큰 코스트 평면을 집성하는 것은 가까운 거리의 피사체를 식별해 내는 단계이기 때문에 매칭될 픽셀들의 픽셀의 기대 값이 높아지게 되므로 디스패리티가 높을 때에도 높은 식별률을 보일 수 있다.
일반적으로 cmos 이미지 센서(image sensor)들은 광량에 비례하는 포톤 샷 노이즈(photon shot noise)의 레벨 특성을 갖기 때문에 밝게 촬영될수록 노이즈 레벨도 함께 높아진다.
따라서 원거리 피사체에 비해 상대적으로 밝게 촬영되는 근거리 피사체에는 노이즈가 더 강하게 포함되어 있다. 본 발명에 따라서 원거리 피사체를 고려해서 집성(aggregation)할 때, 더 밝게 촬영되는 근거리 피사체에 포함된 노이즈의 영향을 줄이기 위해서는 기준(guidance) 이미지 픽셀의 밝기를 제한하는 방법을 함께 쓸 수 있다. 예를 들어 현재 집성하는 디스패리티 레벨
Figure 112016060928129-pat00031
에서 기대할 수 있는 픽셀 빛 강도 기대값
Figure 112016060928129-pat00032
보다 어느 한도 이상 더 밝게 찍힌 픽셀의 밝기를 일괄적으로 낮추는 방법은 다음 수학식 5와 같을 수 있다.
[수학식 5]
Figure 112016060928129-pat00033
수학식 5에서는 상술한 바와 마찬가지의 이유로
Figure 112016060928129-pat00034
대신에
Figure 112016060928129-pat00035
을 사용하였다.
b는 조도 기대값이 0에 가까운 원거리 피사체의 텍스쳐에 따른 정상적인 픽셀값 분포를 고려하여 결정하여 주는 양의 값이다. 픽셀 값이 8 bit로 표시되는 경우에 b는 2 정도로 작은 값일 수 있다.
본 발명의 일 실시 예에 따르면 a는 더 밝은 값을 기대할 수 있는 근거리를 위한 비례상수로서, 조도 기대 값이 0부터 1사이이므로 픽셀 값 범위로 변환하는 기능도 함께 할 수 있으며, 예를 들어 대부분의 조도 기대 값 구간에 대해서 조도 기대 값의 120%로 제한하고자 하려면, 픽셀 값이 8 bit로 표시되는 경우에 a는 255*1.2= 306 정도의 값일 수 있다.
본 발명의 일 실시 예에 따르면 조도 기대값에 기반하여 밝기가 제한된
Figure 112016060928129-pat00036
이미지를 기준 이미지로 하여 아래 수학식 6과 같이 집성을 하면, 매칭될 가능성이 낮은 근거리 피사체 픽셀에 포함된 노이즈에 의한 매칭 에러를 억제하는 효과가 존재할 수 있다.
[수학식 6]
Figure 112016060928129-pat00037
,
단,
Figure 112016060928129-pat00038
도 6는 본 발명의 실시 예에 따라 산출한 코스트 볼륨을 이용하여 스테레오 매칭을 한 영상과 종래 방법으로 코스트 볼륨을 이용하여 스테레오 매칭을 한 영상을 비교한 도면이다
도 6을 참조하면 본 발명의 실시 예에 따른 코스트 볼륨 값을 이용하여 스테레오 매칭한 영상과 종래 방법으로 코스트 볼륨을 이용하여 스테레오 매칭을 한 영상이 나타나 있다.
도 6의 본 발명의 실시 예에 따른 코스트 볼륨 값을 이용하여 스테레오 매칭한 영상은 도 4의 디스패리티 단계별 거리에 따른 픽셀 별 조도 기대 값의 그래프 의 조도 기대 값을 사용하고 디스패리티 레벨 기대 값보다 20% 이상 밝은 픽셀 밝기를 제한한
Figure 112016060928129-pat00039
을 적용하여 코스트 볼륨 값을 산출하고, 이를 이용하여 스테레오 영상을 매칭한 것으로 종래 방법으로 코스트 볼륨을 이용하여 스테레오 매칭을 한 영상에 비하여 원거리 피사체의 윤곽이 상대적으로 개선된 것이 나타나 있다.
도 7은 본 발명의 실시 예에 따른 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법의 흐름도이다.
영상의 픽셀 인텐시티 값을 산출한다(S10).
본 발명의 일 실시 예에 따르면 수신한 영상은 IR narrow band pass filter를 포함하는 스테레오 카메라를 통하여 촬영한 영상을 의미할 수 있다.
본 발명의 일 실시 예에 따르면 영상의 픽셀 인텐시티 값은 영상에 포함된 기준 밝기 이하의 픽셀의 수가 전체 픽셀 수에서 차지하는 비율로 산출할 수 있다.
산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교한다(S20).
본 발명의 일 실시 예에 따르면 산출된 영상의 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 상대적으로 더 크거나 작은지를 판단할 수 있다.
여기서 미리 설정된 조도 값 및 기준 밝기는 사용자가 미리 설정한 값으로서 자유롭게 변경될 수 있다.
일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신한다(S30).
산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신할 수 있다.
본 발명의 일 실시 예에 따르면 일반 코스트 볼륨 산출명령은 산출된 영상의 픽셀 인텐시티 값이 미리 설정된 조도 값보다 큰 경우, 충분한 광량으로 인하여 디스패리티 단계별로 코스트 볼륨을 산출하는 방법을 사용할 필요가 없으므로 일정한 파라미터 값을 이용하여 코스트 볼륨을 산출하는 방법을 적용하도록 하는 명령을 의미하여 촬영된 영상 데이터와 함께 송신될 수 있다.
조명 사용 명령을 생성하여 송신한다(S40).
본 발명의 일 실시 예에 따르면 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우에는 조명 사용 명령을 생성하여 송신할 수 있다.
상술한 실시 예에 따르면 조명 사용 명령은 코스트 볼륨 연산장치(1000)와 연결된 조명에 스테레오 영상 촬영 시 충분한 광량을 제공할 수 있도록 조명을 작동하기 위한 제어 명령을 의미할 수 있다.
재촬영된 영상의 픽셀 인텐시티 값을 산출한다(S50).
본 발명의 일 실시 예에 따르면 조명 사용 명령을 송신한 경우, 조명을 사용한 후 획득한 영상을 수신하고 수신한 영상의 픽셀 인텐시티 값을 산출할 수 있다.
산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교한다(S60).
본 발명의 일 실시 예에 따르면 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우 디스패리티 디스패리티 단계별 코스트 볼륨 산출명령및 재촬영된 영상을 송신하고. 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 재촬영된 영상을 송신할 수 있다.
단계별 코스트 볼륨 산출 명령 및 영상을 송신한다(S70).
본 발명의 일 실시 예에 따르면 디스패리티 단계별 코스트 볼륨 산출명령은 산출된 영상의 픽셀 인텐시티 값이 미리 설정된 조도 값보다 작은 경우, 광량이 충분하지 못하여 디스패리티 단계별로 코스트 볼륨을 산출하는 방법을 사용할 필요성이 존재하므로, 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터 및 미리 설정된 코스트 볼륨 산출식을 이용하여 코스트 볼륨을 산출하는 방법을 적용하도록 하는 명령을 의미하여 촬영된 영상 데이터와 함께 송신될 수 있다.
카메라 설정정보로부터 카메라 파라미터를 획득한다(S80).
본 발명의 실시 예에 따르면 스테레오 카메라 설정정보로부터 초점 거리, 주점의 좌표를 포함하는 카메라 파라미터를 획득할 수 있다.
여기서 주점(principal point)은 사진의 중심으로써 투영중심에서 투영면에 내린 수선이 투영면과 만나는 점을 의미한다.
또한 초점 거리(focal length)는 주점에서 초점까지의 거리를 의미한다.
카메라 파라미터를 통해 디스패리티마다 대응되는 거리 값을 산출한다(S90).
본 발명의 일 실시 예에 따르면 획득한 카메라 파라미터에 포함된 초점 거리, 주점의 좌표를 이용하여 디스패리티 값을 산출할 수 있다.
가상 평행축 카메라의 초점거리 f, 두 카메라 주점 사이의 거리 B(단위는 mm)를 이용해서, 가상 평행축 카메라로부터 피사체 상의 픽셀까지의 거리(z)와 디스 패리티 값 d 사이의 관계는 수학식 1을 사용하여 산출할 수 있다.
디스패리티마다 대응되는 거리값을 통해, 디스패리티 레벨별 픽셀 기대값을 생성한다(S100).
본 발명의 일 실시 예에 따르면 디스패리티 값에 따라 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성할 수 있다.
본 발명의 일 실시 예에 따르면 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하기 위해선 앞서의 수학식 2와 같은 수식을 사용하여 디스패리티에 대응되는 거리를 이용해서, 디스패리티 값
Figure 112016060928129-pat00040
마다 픽셀 값
Figure 112016060928129-pat00041
의 기대 값
Figure 112016060928129-pat00042
을 계산할 수 있다.
일반 코스트 볼륨 값을 산출한다(S110).
본 발명의 일 실시 예에 따르면 일반 코스트 볼륨 산출 명령과 같이 수신된 영상을 대상으로 미리 설정된 일정한 파라미터를 이용하여 코스트 볼륨을 산출할 수 있다.
본 발명의 일 실시 예에 따르면 일정한 파라미터를 이용하여 코스트 볼륨을 산출하기 위해서는 양방향 필터(bilateral filter)를 이용한 픽셀 단위의 서포트 웨이트(support weight)방법을 통해 코스트 볼륨을 수학식 3과 같이 산출할 수 있다.
일반 코스트 산출방법을 사용하는 실시 예에 따르면 색상 차이 파라미터
Figure 112016060928129-pat00043
는 미리 설정된 특정 값으로 디스패리티의 레벨에 상관 없이 일정한 값이 사용될 수 있다.
수신한 조도 기대 값을 통해 단계별 코스트 볼륨 값을 산출한다(S120).
본 발명의 일 실시 예에 따르면 단계별 코스트 볼륨 산출 명령과 같이 수신된 영상을 대상으로 수신한 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터를 이용하여 코스트 볼륨을 산출할 수 있다.
본 발명의 일 실시 예에 따르면 디스패리티 단계마다 서로 다른 파라미터를를 이용하여 코스트 볼륨을 산출하기 위해서는 양방향 필터(bilateral filter)를 이용한 픽셀 단위의 서포트 웨이트(support weight)방법을 통해 코스트 볼륨을 수학식 3과 같이 산출할 수 있다.
여기서 일반 코스트 볼륨 산출방법과의 차이는 색상 차이 파라미터
Figure 112016060928129-pat00044
을 디스패리티 레벨에 따라 다르게
Figure 112016060928129-pat00045
함수로서 적용할 수 있다는 것에 있다.
본 발명의 일 실시 예에 따르면
Figure 112016060928129-pat00046
함수로는 수학식 4와 같은 수식이 이용될 수 있다.
수학식 4를 참조하면 기본적으로
Figure 112016060928129-pat00047
는 다음과 같이 픽셀의 조도 기대 값 (0~1)에 비례할 수 있다.
또한 디스패리티가 0인 코스트 평면을 대상으로 할 때, 디스패리티 0값은
Figure 112016060928129-pat00048
를 고려하더라도 상당히 먼 거리에 해당하는 경우이며, 따라서 이 디스패리티 값으로 매칭될 픽셀들은 평균적으로 매우 낮은 픽셀 값을 가질 수 있으며, 이 거리에 있는 서로 다른 물체들의 픽셀 값 차이는 상당히 작게 될 수 있다.
또한 본 발명의 일 실시 예에 따르면
Figure 112016060928129-pat00049
은 주로 사용하는 거리에 있는 피사체에 대한 최적 값으로 할 수 있다.
수학식 4을 수학식 3에 대입하면 디스패리티 값이 작을 때에는
Figure 112016060928129-pat00050
의 작은 값에도 p 인근점 q와의 로우 코스트 (raw cost) 값
Figure 112016060928129-pat00051
의 가중치가 크게 반영될 수 있으며 이는 광원으로부터 거리가 멀어질수록 급격하게 어두워지는 피사체 간의 미소한 차이를 제대로 반영하는 효과를 나타낼 수 있다.
단계별 코스트 볼륨 산출방법을 사용하는 실시 예에 따르면 디스패리티가 큰 코스트 평면을 집성하는 것은 가까운 거리의 피사체를 식별해 내는 단계이기 때문에 매칭될 픽셀들의 픽셀의 조도 기대 값이 높아지게 되므로 디스패리티가 높을 때에도 높은 식별률을 보일 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 조명기 제어부 110 : 제1 비교 제어부
120 : 제2 비교 제어부 200 : 픽셀 기대값 계산부
210 : 파라미터 획득부 220 : 디스패리티 산출부
230 : 조도 기대 값 생성부 300 : 코스트 볼륨 계산부
310 : 일반 코스트 볼륨 산출부 320 : 단계별 코스트 볼륨 산출부
1000 : 코스트 볼륨 연산장치

Claims (8)

  1. 수신한 스테레오 영상의 픽셀 인텐시티 값을 산출하고 미리 설정된 조도 값과 비교하여 일반 또는 디스패리티 단계별 코스트 볼륨 산출명령을 생성하고 조명을 제어하는 조명기 제어부;
    카메라 캘리브레이션을 수행하여 카메라 파라미터를 획득하고, 상기 획득한 카메라 파라미터를 통해 디스패리티 값을 산출하여 상기 산출된 디스패리티 값으로부터 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 픽셀 기대값 계산부; 및
    상기 수신한 영상을 대상으로 상기 수신한 코스트 볼륨 산출 명령에 따라 미리 설정된 파라미터 또는 상기 수신한 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값에 따라 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨 값을 산출하는 코스트 볼륨 계산부를 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치.
  2. 제 1 항에 있어서 상기 조명기 제어부는,
    상기 수신한 영상의 픽셀 인텐시티 값을 산출하고 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우에는 조명의 사용을 제어하고, 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신하는 제1 비교 제어부;
    상기 조명을 사용한 경우, 상기 조명을 사용한 후 획득한 영상을 수신하고 상기 수신한 영상의 픽셀 인텐시티 값을 산출하여 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우 디스패리티 디스패리티 단계별 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하고. 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하는 제2 비교 제어부를 더 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치.
  3. 제 1 항에 있어서 상기 코스트 볼륨 계산부는,
    상기 일반 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 미리 설정된 일정한 파라미터를 적용하여 코스트 볼륨을 산출하는 일반 코스트 볼륨 산출부; 및
    상기 단계별 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 수신한 상기 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨을 산출하는 단계별 코스트 볼륨 산출부를 더 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치.
  4. 제 1 항에 있어서 상기 픽셀 기대값 계산부는,
    스테레오 카메라 설정정보로부터 초점 거리, 주점의 좌표를 포함하는 카메라 파라미터를 획득하는 파라미터 획득부;
    상기 획득한 카메라 파라미터에 포함된 초점 거리, 주점의 좌표를 이용하여 디스패리티 값을 산출하는 디스패리티 산출부;
    상기 디스패리티 값을 통해 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 조도 기대 값 생성부를 더 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치.
  5. 수신한 스테레오 영상의 픽셀 인텐시티 값을 산출하고 미리 설정된 조도 값과 비교하여 일반 또는 디스패리티 단계별 코스트 볼륨 산출명령을 생성하고 조명을 제어하는 단계;
    카메라 캘리브레이션을 수행하여 카메라 파라미터를 획득하고, 상기 획득한 카메라 파라미터를 통해 디스패리티 값을 산출하여 상기 산출된 디스패리티 값으로부터 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 단계; 및
    상기 수신한 영상을 대상으로 상기 수신한 코스트 볼륨 산출 명령에 따라 미리 설정된 파라미터 또는 상기 수신한 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값에 따라 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨 값을 산출하는 단계를 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법.
  6. 제 5 항에 있어서 상기 조명 및 재촬영을 제어하는 단계는,
    상기 수신한 영상의 픽셀 인텐시티 값을 산출하고 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우에는 조명의 사용을 제어하고, 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 촬영된 영상을 송신하는 단계;
    상기 조명을 사용하는 경우, 상기 조명을 사용한 후 획득한 영상을 수신하고 상기 수신한 영상의 픽셀 인텐시티 값을 산출하여 상기 산출된 픽셀 인텐시티 값을 미리 설정된 조도 값과 비교하여 더 작은 경우 디스패리티 디스패리티 단계별 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하고. 더 큰 경우에는 일반 코스트 볼륨 산출명령 및 상기 수신한 영상을 송신하는 단계를 더 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법.
  7. 제 5 항에 있어서 상기 코스트 볼륨 값을 산출하는 단계는,
    상기 일반 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 미리 설정된 일정한 파라미터를 적용하여 코스트 볼륨을 산출하는 단계; 및
    상기 단계별 코스트 볼륨 산출 명령과 같이 수신한 영상을 대상으로 수신한 상기 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 이용하여 각 디스패리티 단계마다 서로 다른 파라미터를 적용하여 코스트 볼륨을 산출하는 단계를 더 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법.
  8. 제 5 항에 있어서 상기 조도 기대 값을 생성하는 단계는,
    스테레오 카레라 설정정보로부터 초점 거리, 주점의 좌표를 포함하는 카메라 파라미터를 획득하는 단계;
    상기 획득한 카메라 파라미터에 포함된 초점 거리, 주점의 좌표를 이용하여 디스패리티 값을 산출하는 단계;
    상기 디스패리티 값을 통하여 디스패리티 단계별 거리에 따른 픽셀의 조도 기대 값을 생성하는 단계를 더 포함하는 것을 특징으로 하는 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산방법.
KR1020160078768A 2016-06-23 2016-06-23 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 KR102442594B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160078768A KR102442594B1 (ko) 2016-06-23 2016-06-23 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
US15/469,223 US10313650B2 (en) 2016-06-23 2017-03-24 Apparatus and method for calculating cost volume in stereo matching system including illuminator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160078768A KR102442594B1 (ko) 2016-06-23 2016-06-23 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180000580A KR20180000580A (ko) 2018-01-03
KR102442594B1 true KR102442594B1 (ko) 2022-09-13

Family

ID=60677205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160078768A KR102442594B1 (ko) 2016-06-23 2016-06-23 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법

Country Status (2)

Country Link
US (1) US10313650B2 (ko)
KR (1) KR102442594B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087944A (ko) 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 장치
DE112018002572T5 (de) 2017-05-19 2020-06-04 Movidius Ltd. Verfahren, systeme und vorrichtungen zur optimierung der pipeline-ausführung
US11062471B1 (en) * 2020-05-06 2021-07-13 Nvidia Corporation Neural network system for stereo image matching

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101607504B1 (ko) 2014-12-02 2016-03-30 포항공과대학교 산학협력단 합산 영역 테이블 방식을 이용한 스테레오 매칭방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP3990271B2 (ja) 2002-12-18 2007-10-10 日本電信電話株式会社 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US7809183B2 (en) * 2003-10-08 2010-10-05 Microsoft Corporation Gaze manipulation
KR100519782B1 (ko) * 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US7697749B2 (en) * 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
US7970177B2 (en) 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
KR100815486B1 (ko) * 2006-08-18 2008-03-20 광주과학기술원 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
NZ567986A (en) * 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
KR20100072772A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
KR101377325B1 (ko) 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
KR101686168B1 (ko) * 2010-03-10 2016-12-22 주식회사 티엘아이 스트레오스코픽 동영상 파일의 구성 방법
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101888969B1 (ko) * 2012-09-26 2018-09-20 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
US9292927B2 (en) * 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
KR101584693B1 (ko) * 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
KR102178978B1 (ko) 2014-07-31 2020-11-13 한국전자통신연구원 스테레오 매칭 방법 및 이를 수행하는 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101607504B1 (ko) 2014-12-02 2016-03-30 포항공과대학교 산학협력단 합산 영역 테이블 방식을 이용한 스테레오 매칭방법

Also Published As

Publication number Publication date
US20170374339A1 (en) 2017-12-28
KR20180000580A (ko) 2018-01-03
US10313650B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
WO2018161877A1 (zh) 处理方法、处理装置、电子装置和计算机可读存储介质
CN106937049B (zh) 基于景深的人像色彩的处理方法、处理装置和电子装置
TWI713547B (zh) 用於判定一圖像之一深度圖的方法與設備
US9092671B2 (en) Visual line detection device and visual line detection method
US20160307324A1 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
KR20180066116A (ko) 스테레오 카메라 및 구조화 광을 사용하는 헤드 마운트 디스플레이로의 깊이 맵핑
US20050111705A1 (en) Passive stereo sensing for 3D facial shape biometrics
US20150304625A1 (en) Image processing device, method, and recording medium
KR101418167B1 (ko) 스테레오 카메라 제어 장치 및 그 방법
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
CN109429060B (zh) 瞳孔距离测量方法、可穿戴眼部设备及存储介质
CN106851122A (zh) 基于双摄像头***的自动曝光参数的标定方法和装置
JP2021501517A (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
CA2794659A1 (en) Apparatus and method for iris recognition using multiple iris templates
KR102442594B1 (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
JP2017038162A (ja) 撮像装置及び画像処理方法、プログラム、並びに記憶媒体
CN113545028B (zh) 用于面部认证的增益控制
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
US10089731B2 (en) Image processing device to reduce an influence of reflected light for capturing and processing images
CN106131448B (zh) 可自动调节成像亮度的三维立体视觉***
JP2016051317A (ja) 視線検出装置
US10823950B2 (en) Camera system with balanced monocular cues for use in digital stereo microscopes
TW202119093A (zh) 頭戴式顯示裝置以及距離量測器
JP6853216B2 (ja) 近赤外感受性ビデオカメラによって取得された画像における画像品質を改善する方法およびそのようなカメラ
JP2020140637A (ja) 瞳孔検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant