KR20060065800A - 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법 - Google Patents

헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법 Download PDF

Info

Publication number
KR20060065800A
KR20060065800A KR1020040104212A KR20040104212A KR20060065800A KR 20060065800 A KR20060065800 A KR 20060065800A KR 1020040104212 A KR1020040104212 A KR 1020040104212A KR 20040104212 A KR20040104212 A KR 20040104212A KR 20060065800 A KR20060065800 A KR 20060065800A
Authority
KR
South Korea
Prior art keywords
helmholtz
dimensional
image
camera
equation
Prior art date
Application number
KR1020040104212A
Other languages
English (en)
Inventor
김재철
추창우
구본기
최병태
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040104212A priority Critical patent/KR20060065800A/ko
Priority to US11/295,916 priority patent/US7623701B2/en
Publication of KR20060065800A publication Critical patent/KR20060065800A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 경계선 상에서 깊이 불연속이 발생하는 물체의 3차원을 헬름홀츠 스테레오(Helmholtz stereopsis)를 이용하여 획득하기 위한 3차원 형상 획득 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 헬름홀츠 스테레오를 이용한 물체의 3차원 형상 획득 장치에 있어서, 헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득하기 위한 영상획득수단; 영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정하기 위한 전처리수단; 및 상기 광학적, 기학적 특성을 바탕으로, 헬름홀츠 호환 조건을 만족하는 두 쌍(총 4장)의 영상에 대해 각 영상 쌍에서 발생하는 헬름홀츠 제약조건을 편미분 방정식으로 변환하고, 두 쌍의 영상에서 얻은 방정식을 함께 고려하여, 경계선간에 깊이의 불연속이 존재하는 물체의 3차원 표면을 획득하기 위한 기하정보 획득수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 3차원 물체 형상 복원 시스템 등에 이용됨.
헬름홀츠 스테레오, 3차원 복원, 3차원 획득, 영상기반 모델링, 3차원 스캐너

Description

헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치 및 그 방법{Apparatus and method for 3D reconstruction of objects with depth discontinuities using helmholtz stereopsis}
도 1 은 본 발명에 따른 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 방법에 대한 일실시예 흐름도,
도 3 은 본 발명에 따라 헬름홀츠 호환 조건을 만족하는 영상 쌍을 촬영할 수 있는 하드웨어 장치를 나타낸 일실시예 설명도,
도 4 는 본 발명에 따라 물체의 3차원 형상 획득 과정에 적용되는 3차원 좌표계의 설정 과정을 나타낸 일실시예 설명도,
도 5 는 본 발명에 따라 깊이 불연속에 의한 그림자 발생을 나타낸 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호 설명
10 : 영상 입력부 20 : 전처리부
21 : 광학 보정부 22 : 기하 보정부
30 : 기하정보 획득부 31 : 영상 교정부
32 : 3차원 계산부 321 : 법선 계산부
322 : 최적화부 323 : 3차원 결정부
본 발명은 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 경계선 상에서 깊이 불연속이 발생하는 물체의 3차원을 헬름홀츠 스테레오(Helmholtz stereopsis)를 이용하여 획득할 수 있는 3차원 형상 획득 장치 및 그 방법에 관한 것이다.
통상, 조명을 이용한 3차원 물체 형상 복원 분야의 대표적인 기법으로, 포토메트릭 스테레오(photometric stero), 모아레 패턴광을 이용한 3차원 스캐너 등이 있다. 최근에는, 빛의 입사와 반사의 크기 비율이 입사와 반사의 위치를 바꾸어도 변하지 않는다는 헬름홀츠 호환(Helmholtz reciprocity) 조건을 이용하여 물체의 3차원 형상을 복원하는 헬름홀츠 스테레오 기법이 소개되었다.
헬름홀츠 스테레오는 물체의 표면 특성에 관계없이 물체의 3차원 형상을 복원 할 수 있는 장점을 가지며, 본 발명에서는 이러한 헬름홀츠 스테레오의 범주에 속하는 기술을 다룬다.
헬름홀츠 스테레오는 기존의 3차원 스캐너 등에서 다루기 어려웠던 반짝거리는 표면의 물체나 털로 덮인 물체 등의 형상 획득이 가능하지만, 물체 각 영역간의 경계에서 깊이의 불연속이 존재할 경우, 이를 처리할 수 있는 방법은 아직 알려진 바가 없다.
참고적으로, 본 발명과 관련된 선행기술의 일예로, 포토메트릭 스테레오와 양안 스테레오를 결합하여 물체 표면의 3차원을 획득할 수 있는 "Method for optically detecting the shape of objects(미국특허등록번호 US6590669GH, 2003. 7. 8 등록)(이하, '제1 선행기술'이라 함)"가 존재하는데, 상기 제1 선행기술은 포토메트릭 스테레오를 이용하여 얻은 각 영상에 기록된 물체의 법선벡터 성분을 스테레오 매칭을 통해 정합함으로써 물체의 3차원을 획득한다. 물론, 상기 제1 선행기술과 본 발명은 조명과 카메라를 이용하여 3차원 정보를 획득하는 점에서 유사하지만, 본 발명은 상기 제1 선행기술과는 다르게, 물체 표면 특성에 무관하게 3차원 모델링이 가능한 헬름홀츠 스테레오 기법을 이용한다. 즉, 본 발명에서는 헬름홀츠 제약 조건을 만족하도록 영상 획득 시스템을 구성하고, 이를 통해 물체의 법선과 물체의 3차원 위치를 동시에 획득한다.
한편, 헬름홀츠 스테레오의 이론적 기초를 소개한 "Helmholtz Stereopsis: Exploiting Reciprocity for Surface Reconstruction(International Journal of Computer Vision, Vol.49, Todd Zickler외 2인 공저, pp215-227, 2002. 9. 10)(이하, '제2 선행기술'이라 함)"이 존재하는데, 상기 제2 선행기술은 헬름홀츠 호환 조건을 만족시키는 최소 3쌍(6장)의 영상을 이용하여 물체의 3차원을 복원한다.
상기 제2 선행기술은 헬름홀츠 스테레오의 이론적 기초를 소개한 것으로, 3쌍 이상의 영상으로부터 각 3차원 포인트의 법선벡터를 선형 방정식으로부터 계산한 뒤, 선형방정식의 오차가 적은 점들로 물체의 3차원 표면을 구성한다. 이에 반하여, 본 발명은 헬름홀츠 호환 조건을 만족시키는 두 쌍, 총 4장의 영상으로부터 깊이 불연속이 존재하는 물체의 3차원을 복원하는 것으로, 상기 제2 선행기술에 비해 영상 획득 및 처리가 용이하며, 실제 3차원 획득에 걸리는 계산 시간이 현저히 적어 현실적으로 응용 가능한 시스템을 제안하고 있다. 특히, 물체의 불연속을 명시적으로 다룰 수 있어, 이에 대한 처리방법이 불명확한 상기 제2 선행기술에 비해 활용폭이 넓다.
상기 제2 선행기술에서는 물체 형상을 복원하기 위해서 최소 6장의 영상을 필요로 한다. 그러나, 높은 품질의 3차원 데이터를 얻기 위해서는 보통 수십장의 영상이 필요하다. 최근에는 영상 촬영 조건에 제약을 둠으로써 두 장의 사진만으로도 연속면으로 이루어진 물체의 3차원 형상을 획득할 수 있는 "Binocular Helmholtz Stereopsis(International Conference on Computer Vision, Vol.2, D.J. Kriegman외 3인 공저, pp1411-1417, 2003. 10)(이하, '제3 선행기술'이라 함)" 기법이 제안되었다.
상기 제3 선행기술은 2장의 영상에서 발생하는 헬름홀츠 제약조건을 편미분 방정식으로 변환하고, 방정식을 가장 잘 만족하는 3차원 표면을 동적 프로그래밍을 통해 계산함으로써, 기존 헬름홀츠 기법에 비해, 2장의 영상만으로 간단하게 물체의 3차원을 획득할 수 있다.
비록, 상기 제 3선행기술이 신뢰성있는 3차원 데이터를 매우 간단하게 획득할 수 있다는 장점을 보이나, 물체의 표면이 연속면이라는 가정을 두고 문제를 푼다. 따라서, 물체의 각 영역 사이의 경계선에서 발생할 수 있는 불연속이 존재하는 경우, 동작할 수 없다. 이에 반하여, 본 발명은 2쌍, 총 4장의 영상에 대해 각 영상 쌍에서 발생하는 헬름홀츠 제약 조건을 편미분 방정식으로 변환하고, 두 쌍의 영상에서 얻은 방정식을 함께 고려하여 물체의 3차원 표면을 계산, 특히 물체 표면의 불연속을 다룰 수 있는 방법을 새롭게 제안하였으며, 두 쌍의 영상에서 얻은 정보를 통합함으로써 별도의 근사 과정없이 바로 정확한 물체의 3차원 표면을 획득할 수 있다. 즉, 본 발명은 4장의 영상을 사용하여, 상기 제3 선행기술의 장점인 영상 획득의 수월성을 유지하면서도, 상기 제3 선행기술에서 다루지 못하는 깊이 불연속 문제를 해결할 수 있다.
따라서, 3차원 물체 형상 복원 분야, 특히 헬름홀츠 스테레오 기술분야에서 물체 각 영역간의 경계에서 깊이의 불연속이 존재할 경우, 이를 처리할 수 있는 방안이 절실히 요구된다.
다른 한편, 헬름홀츠 호환 조건을 만족시키는 두 장의 영상으로부터 연속면으로 이루어진 물체의 3차원을 복원할 수 있는 "Binocular Helmholtz Stereopsis(International Conference on Computer Vision, Vol.2, D.J. Kriegman외 3인 공저, pp1411-1417, 2003. 10)(이하, '제3 선행기술'이라 함)"가 존재하는데, 상기 제3 선행기술은 2장의 영상에서 발생하는 헬름홀츠 제약조건을 편미분 방 정식으로 변환하고, 방정식을 가장 잘 만족하는 3차원 표면을 동적 프로그래밍을 통해 계산함으로써, 기존 헬름홀츠 기법에 비해, 2장의 영상만으로 간단하게 물체의 3차원을 획득할 수 있다. 이에 반하여, 본 발명은 2쌍, 총 4장의 영상에 대해 각 영상 쌍에서 발생하는 헬름홀츠 제약 조건을 편미분 방정식으로 변환하고, 두 쌍의 영상에서 얻은 방정식을 함께 고려하여 물체의 3차원 표면을 계산, 특히 물체 표면의 불연속을 다룰 수 있는 방법을 새롭게 제안하였으며, 두 쌍의 영상에서 얻은 정보를 통합함으로써 별도의 근사 과정없이 바로 정확한 물체의 3차원 표면을 획득할 수 있다. 즉, 본 발명은 4장의 영상을 사용하여, 상기 제3 선행기술의 장점인 영상 획득의 수월성을 유지하면서도, 상기 제3 선행기술에서 다루지 못하는 깊이 불연속 문제를 해결할 수 있다.
이와 같이, 헬름홀츠 스테레오에서 물체 형상을 복원하기 위해서는 최소 6장의 영상이 필요하다(상기 제2 선행기술 참조). 그러나, 높은 품질의 3차원 데이터를 얻기 위해서는 보통 수십장의 영상이 필요하다. 최근에는 영상 촬영 조건에 제약을 둠으로써 두 장의 사진만으로도 물체의 3차원 형상을 정확하게 획득할 수 있는 양안 헬름홀츠 스테레오(Binocular Helmholtz stereopsis) 기법이 제안되었다(상기 제3 선행기술 참조). 비록, 양안 헬름홀츠 기법은 신뢰성있는 3차원 데이터를 매우 간단하게 획득할 수 있다는 장점을 보이나, 물체의 표면이 연속면이라는 가정을 두고 문제를 푼다. 따라서, 물체의 각 영역 사이의 경계선에서 발생할 수 있는 불연속이 존재하는 경우, 동작할 수 없다.
따라서, 3차원 물체 형상 복원 분야, 특히 헬름홀츠 스테레오 기술분야에서 물체 각 영역간의 경계에서 깊이의 불연속이 존재할 경우, 이를 처리할 수 있는 방안이 절실히 요구된다.
본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, 경계선 상에서 깊이 불연속이 발생하는 물체의 3차원을 헬름홀츠 스테레오(Helmholtz stereopsis)를 이용하여 획득하기 위한 3차원 형상 획득 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 헬름홀츠 스테레오를 이용한 물체의 3차원 형상 획득 장치에 있어서, 헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득하기 위한 영상획득수단; 영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정하기 위한 전처리수단; 및 상기 광학적, 기학적 특성을 바탕으로, 헬름홀츠 호환 조건을 만족하는 두 쌍(총 4장)의 영상에 대해 각 영상 쌍에서 발생하는 헬름홀츠 제약조건을 편미분 방정식으로 변환하고, 두 쌍의 영상에서 얻은 방 정식을 함께 고려하여, 경계선간에 깊이의 불연속이 존재하는 물체의 3차원 표면을 획득하기 위한 기하정보 획득수단을 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 3차원 물체 형상 복원 장치에 적용되는 물체의 3차원 형상 획득 방법에 있어서, 헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득하는 영상획득단계; 영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정하는 전처리단계; 획득된 두 쌍의 영상에 대해 각각, 하나의 3차원 점에 대응하는 두 영상의 점들의 위치를 동일선상에 놓음으로써, 영상을 교정하는 영상교정단계; 상기 교정된 영상을 입력받아, 물체의 정규화된 법선벡터를 계산하는 법선계산단계; 상기 법선벡터에 가장 일치하는 3차원 물체 표면을 계산하는 최적화단계; 및 상기 최적화단계에서 제공하는 최소비용을 고려하여 물체의 3차원을 나타내는 함수를 결정하는 3차원 결정단계를 포함하여 이루어진 것을 특징으로 한다.
본 발명은 양안 헬름홀츠 스테레오 기법의 장점인 데이터 획득의 용이성을 최대한 유지하면서, 동시에 양안 헬름홀츠 스테레오 기법에서 다룰 수 없는 깊이 불연속이 존재하는 물체를 처리할 수 있는 알고리즘을 제안한다. 이와 더불어, 두 장의 사진만을 이용할 경우, 두 사진을 찍은 카메라간의 베이스 라인에 평행한 방향으로의 3차원 정보만을 획득할 수 있다. 따라서, 베이스 라인에 수직한 방향으로의 3차원 물체 형상 정보를 양안 헬름홀츠 기법에서는 근사적으로 추정할 수 밖에 없었다. 이에 반하여, 본 발명은 서로 직교하는 네 군데 위치에서 영상을 획득함으로써, 근사없이 보다 정확하게 물체의 형상을 얻을 수 있는 알고리즘을 제안한다.
이와 같이, 본 발명은 경계선 상에서 깊이 불연속이 발생하는 물체의 3차원 을 헬름홀츠 스테레오를 이용하여 획득하는 것으로, 본 발명에서는 헬름홀츠 호환(Helmholtz reciprocity) 조건을 만족하는 두 쌍(네 장)의 영상을 서로 직교하는 위치에서 획득하고, 호환 조건으로부터 발생하는 제약조건을 편미분 방정식으로 변환한 뒤, 이를 동적 프로그래밍을 통해 최적화함으로써 물체의 3차원을 계산한다.
따라서, 본 발명은 물체 표면의 속성에 상관없이 안정적으로 물체 형상을 제공할 수 있는 기존 헬름홀츠 스테레오 기법의 장점을 유지함과 동시에, 기존 기법에서는 다루지 못하던 깊이 불연속이 존재하는 물체의 3차원 형상을 다룰 수 있는 장점이 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치는, 헬름홀츠 호환 조건을 만족시키는 영상을 획득하기 위한 영상 입력부(10)와, 영상 획득에 쓰인 카메라의 광학 적, 기하적 특성을 추정하여 이후의 물체 형상 획득 과정에 적용하는 전처리부(20)와, 입력 영상으로부터 물체의 3차원을 계산하는 기하 정보 획득부(30)로 구성된다.
이를 구체적으로 살펴보면, 헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득하기 위한 영상 입력부(10)와, 영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정하기 위한 전처리부(20)와, 광학적, 기학적 특성을 바탕으로, 헬름홀츠 호환 조건을 만족하는 두 쌍(총 4장)의 영상에 대해 각 영상 쌍에서 발생하는 헬름홀츠 제약조건을 편미분 방정식으로 변환하고, 두 쌍의 영상에서 얻은 방정식을 함께 고려하여, 경계선간에 깊이의 불연속이 존재하는 물체의 3차원 표면을 획득하기 위한 기하정보 획득부(30)를 포함한다.
여기서, 영상 입력부(10)는 헬름홀츠 호환 조건을 만족시키기 위해, 카메라와 조명의 위치를 교번하여 2장씩 쌍으로 영상을 촬영하되, 카메라와 조명을 일직선상에 위치시켜, 한 번 촬영을 하고나서 180도를 회전시켜 다시 영상을 촬영함으로써 조건을 충족시킨다.
상기 전처리부(20)는 카메라의 광학적 특성을 추출하되, 촬영된 영상의 적(R), 녹(G), 청(B) 칼라값에 대응되는 실제 빛의 세기를 결정하기 위한 광학 보정부(21)와, 카메라의 초점 거리 및 촬영 위치를 추출하되, 3차원 격자 패턴을 이용하여 카메라의 초점 거리, 주점(principal point), CCD 가로-세로비(aspect ratio)로 구성되는 카메라 내부 인자, 및 3차원 기준 좌표계에 대한 회전과 병진으로 구성되는 카메라 외부 인자를 계산하기 위한 기하 보정부(22)를 포함한다.
또한, 기하정보 획득부(30)는 획득된 두 쌍의 영상에 대해 각각, 하나의 3차원 점에 대응하는 두 영상의 점들의 위치를 동일선상에 놓음으로써, 영상을 교정하기 위한 영상 교정부(31)와, 영상 교정부(31)에 의해 교정된 영상을 입력받아, 경계선간에 깊이의 불연속이 존재하는 물체의 3차원 형상을 계산하기 위한 3차원 계산부(32)를 포함한다.
여기서, 3차원 계산부(32)는 교정된 영상을 입력받아, 물체의 정규화된 법선벡터를 계산하기 위한 법선 계산부(321)와, 법선 계산부(321)에서 계산된 물체의 법선벡터를 입력받아, 주어진 법선벡터에 가장 일치하는 3차원 물체 표면을 계산하기 위한 최적화부(322)와, 최적화부(322)에서 제공하는 최소비용을 고려하여 물체의 3차원을 나타내는 함수를 결정하기 위한 3차원 결정부(323)를 포함한다.
상기와 같은 구성을 갖는 본 발명에 따른 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치의 각 구성요소의 기능 및 동작 과정을 도 2를 참조하여 함께 설명하기로 한다.
먼저, 영상 입력부(10)를 통해 헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득한다(201).
영상 입력부(10)는 헬름홀츠 호환 조건을 만족시키는 영상을 획득하기 위한 하드웨어 장치이다.
영상 입력부(10)에서 헬름홀츠 호환 조건을 만족시키기 위해서는, 카메라와 조명의 위치가 서로 바뀌면서 2장씩 쌍으로 영상이 촬영되어야 한다. 헬름홀츠 호환 조건을 만족하는 영상 쌍을 촬영하도록 고안된 하드웨어 장치(영상 입력부(10)) 가 도 3에 도시되었다.
도 3의 하드웨어 장치는 카메라와 조명을 일직선상에 위치시킴으로써, 한 번 촬영을 하고나서 180도를 회전하여 다시 영상을 촬영함으로써 조건을 충족시킨다.
이후, 전처리부(20)를 통해 영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정한다(202,203). 즉, 광학 보정부(21)에서는 카메라의 광학적 특성을 추출하는데, 보다 구체적으로는 촬영된 영상의 적(R), 녹(G), 청(B) 칼라값에 대응되는 실제 빛의 세기를 결정한다(202). 그리고, 기하 보정부(22)에서는 카메라의 초점 거리 및 촬영 위치를 추출하는데, 보다 구체적으로는 3차원 격자 패턴을 이용하여 카메라의 초점 거리, 주점(principal point), CCD 가로-세로비(aspect ratio)로 구성되는 카메라 내부 인자, 및 3차원 기준 좌표계에 대한 회전과 병진으로 구성되는 카메라 외부 인자를 계산한다(203).
전처리부(20)는 카메라의 광학적 특성을 추출하는 광학 보정부(21)와, 카메라의 초점 거리 및 촬영 위치 등을 추출하는 기하 보정부(22)로 구성된다.
우선, 광학 보정부(110)는 촬영된 영상의 적(R), 녹(G), 청(B) 칼라값에 대응되는 실제 빛의 세기(radience)를 결정한다. 보다 정확히 표현하면, 광학 보정은 R, G, B 칼라값을 입력으로 받아, 이에 대응하는 빛의 세기를 출력으로 내는 함수 f를 추정하는 것이다. 이러한 광학 보정은 헬름홀츠 스테레오가 영상의 R, G, B 칼라값이 아니라, 그러한 칼라값을 발생시키는 카메라의 CCD에 실제로 가해진 빛의 세기를 이용하기 때문에 필요하다.
광학 보정을 하는 구체적인 방법에 대해서는 이미 공개 소프트웨어로도 기능 이 제공되는 것이 있으므로, 구체적인 설명은 생략하기로 한다.
한편, 기하 보정부(22)는 3차원 격자 패턴을 이용하여, 카메라의 초점 거리, 주점(principal point), CCD 가로-세로 비(aspect ratio)로 구성되는 카메라 내부 인자 및 3차원 기준 좌표계에 대한 회전과 병진으로 구성되는 카메라 외부 인자를 계산한다.
기하 보정을 통해 3차원 기준 좌표계 상의 점 (X,Y,Z)가 2차원 영상의 점 (x,y)에 어떻게 맺히는지를 알 수 있다. 하기의 [수학식 1]은 이러한 매핑 관계를 나타낸다.
Figure 112004058303445-PAT00001
상기 [수학식 1]에서, K는 카메라 내부인자 행렬로서, f는 카메라의 초점거리, α는 CCD 가로-세로 비, (ox,oy)는 카메라 주점의 위치를 나타낸다. 그리고, R은 기준 좌표계에 대한 카메라의 회전을 나타내는 3×3 크기의 행렬을 나타내며, t는 카메라의 병진을 나타내는 3×1 크기의 열벡터를 나타낸다. 그리고, s는 임의의 스케일 상수이다. 격자 패턴으로부터 카메라 인자를 계산하는 것은, 광학 보정과 마찬가지로 오픈 소스 소프트웨어들에 의해 이미 구현되어 있기 때문에 구체적인 설명은 생략하기로 한다.
한편, 기하 정보 획득부(30)는 헬름홀츠 호환조건을 만족하는 2쌍, 즉 총 4장의 영상을 이용하여 물체의 3차원 기하 정보를 획득한다(204~207). 본 발명에서는 4장의 영상이 서로 직교하는 위치에서 촬영되도록 카메라를 움직인다.
계산량의 축소를 위해서, 기하 정보의 본격적인 계산에 앞서, 먼저 영상 교정부(31)에서 영상 교정을 수행한다(204).
즉, 영상 교정은 헬름홀츠 호환조건을 만족하는 한 쌍의 영상에 대해 3차원 상의 점 (X,Y,Z)에 대응하는 2차원 첫 번째 영상의 점 (x1,y1)과 두 번째 영상의 점 (x2,y2)에 대해, y1=y2가 되도록 영상을 워핑(warping)한다. 이러한 교정 과정은 획득한 두 쌍의 영상에 독립적으로 수행된다. 이렇게 하나의 3차원 점에 대응하는 두 영상의 점들의 위치를 동일 선상에 놓음으로써, 보다 간단하게 이후의 계산을 수행할 수 있다. 한 쌍의 영상에 대한 교정은 다음과 같이 수행된다.
1. 두 카메라의 위치 C1, C2를 하기의 [수학식 2]에 의해 계산한다.
Figure 112004058303445-PAT00002
상기 [수학식 2]에서, Ri,ti(i=1,2)는 기하 보정부(22)에 의해 제공되는 각 카메라의 회전행렬과 병진벡터이다.
2. 3×1 크기의 열벡터 T를 다음과 같이 정의한다.
T = R1(C2 - C1)
3. 3×3 크기의 행렬 Rrect,1를 하기의 [수학식 3]과 같이 정의한다.
Figure 112004058303445-PAT00003
상기 [수학식 3]에서, e1, e2, e3은 1×3 크기의 행벡터이고,
Figure 112004058303445-PAT00004
은 벡터의 놈(norm)을, ×은 두 벡터의 외적을 의미한다.
4. 3×3 크기의 행렬 Rrect,2를 하기의 [수학식 4]와 같이 정의한다.
Figure 112004058303445-PAT00005
5. 3×3 크기의 행렬 K를 하기의 [수학식 5]와 같이 정의한다.
Figure 112004058303445-PAT00006
상기 [수학식 5]에서 Ki(i=1,2)는 기하 보정부(22)에 의해 제공되는 각 카메라의 내부인자 행렬이다.
6. 영상 교정 행렬 Hi(i=1,2)는 하기의 [수학식 6]과 같이 계산된다.
Figure 112004058303445-PAT00007
영상 교정 행렬에 의해, 각 영상의 점 (xi,yi)(i=1,2)는 하기의 [수학식 7]에 의해 교정된 영상의 점
Figure 112004058303445-PAT00008
으로 옮겨진다.
Figure 112004058303445-PAT00009
상기 [수학식 7]에서, s는 임의의 스케일 상수이다.
이제, 영상 교정부(31)에 의해 교정된 영상을 입력받아, 3차원 계산부(220)에서는 물체의 3차원 형상을 계산한다(205~207).
본 발명에서는 물체의 3차원 정보를 함수 Z(X,Y)로 나타낸다. 즉, 물체의 3차원 좌표는 (X,Y,Z(X,Y))로 표현된다. 이때, 3차원 공간의 x축은 헬름홀츠 호환 조건을 만족하는 첫 번째 영상 쌍의 두 카메라 중심을 이은 직선으로 정의되며, y축은 두 번째 영상 쌍의 두 카메라 중심을 이은 직선으로 정의된다. 물론, 영상 쌍 간에 서로 직교하도록 카메라를 위치시키므로, 두 축 역시 서로 직교한다. 그리고, z축의 방향은 카메라로부터 물체를 향하도록 정의된다. 도 4는 좌표계 설정 과정을 나타낸 것이다.
도 4에서, "1"은 첫 번째 영상을 획득한 카메라, "2"는 두 번째 영상을 획득한 카메라, "3"은 세 번째 영상을 획득한 카메라, 그리고 "4"는 네 번째 영상을 획득한 카메라를 각각 나타낸다.
이러한 좌표계 설정하에서 법선 계산부(321)는 물체의 정규화된 법선 벡터 (nx,ny,-1)을 계산한다(205). 이때, 법선 벡터는 다음의 과정을 거쳐 계산된다.
1. 3×1 크기의 열벡터 vi(i=1,2,3,4)를 하기의 [수학식 8]과 같이 정의한다.
Figure 112004058303445-PAT00010
상기 [수학식 8]에서, Ci는 각 카메라의 중심 위치를 나타내는 3×1 크기의 열벡터로 Ci=-Ri tti로 계산된다. 이때, Ri, ti는 기하 보정부(22)에서 제공되는 카메라 회전행렬 및 병진벡터이다. 그리고, W는 물체 표면의 한 점의 3차원 좌표를 나타내는 3×1 크기의 열벡터이다.
2. 법선 벡터의 x 방향 성분 nx는 첫 번째 쌍의 두 영상에 대해 하기의 [수학식 9]에 의해 계산된다.
Figure 112004058303445-PAT00011
상기 [수학식 9]에서, ei(xi,y)(i=1,2)는 삼차원 상의 점 W가 첫 번째 영상과 두 번째 영상에 맺힌 영상 좌표 (xi,y)에서의 빛의 세기(radiance)를 의미한다. 두 영상은 영상 교정부(31)에 의해 교정되었으므로, y 좌표는 두 영상에서 동일하 다. 그리고, Vi(m)(i=1,2)는 벡터 vi의 m번째 성분을 의미한다.
3. 법선 벡터의 y 방향 성분 ny는 두 번째 쌍의 두 영상에 대해 하기의 [수학식 10]에 의해 계산된다.
Figure 112004058303445-PAT00012
상기 [수학식 10]의 표기법은 상기 [수학식 9]를 따른다.
4. 물체에 깊이 불연속이 존재할 경우, 상기 [수학식 9] 및 [수학식 10]은 성립하지 않는다. 왜냐하면, 그림자가 발생하기 때문이다. 깊이 불연속에 의한 그림자 발생 현상은 도 5와 같다. 도 5와 같이, 그림자가 발생하면, 영상 쌍을 구성하는 두 카메라 중 그림자를 바라보고 있는 카메라에 들어오는 빛의 세기 e는 이론적으로 0이 된다. 그러나, 실제로는 간섭광 등에 의해 완전하게 0이 되지는 않는다. 따라서, 본 발명에서는 상기 [수학식 9] 또는 상기 [수학식 10]에서 어느 한 카메라의 빛의 세기가 일정 크기 이하이면, 이에 해당하는 3차원 좌표는 그림자 영역으로 체크하고 더 이상의 계산을 수행하지 않는다. 그림자 영역의 처리는 최적화부(322)에서 이루어진다(206). 한편, 상기 [수학식 9] 및 [수학식 10]을 구성하는 네 대의 카메라에서 모두 빛의 세기가 일정 크기 이하라면, 이것은 해당 3차원 좌 표에는 물체가 존재하지 않음을 의미한다. 따라서, 이러한 경우는 해당하는 3차원 좌표를 그림자 영역이 아니라 빈 공간으로 체크하여 따로 처리한다.
최적화부(322)에서는 법선 계산부(321)에서 계산된 물체의 법선 벡터를 입력으로 받아, 주어진 법선벡터에 가장 일치하는 3차원 물체 표면을 계산한다. 계산은 다음의 과정으로 이루어진다.
먼저, 첫 번째 영상 쌍에 대해, 3차원 공간 상의 XZ 평면 Y=Yk(k=1,2,…,n) 각각에 대해, 다음의 비용을 최소로 하는 함수 Z(X,Yk)를 하기의 [수학식 11]과 같이 계산한다.
Figure 112004058303445-PAT00013
상기 [수학식 11]에서, nx는 상기 [수학식 9]에 의해 계산된 3차원 상의 점 (x,yk,z(x,yk))에서의 법선 벡터의 x 성분이다. 그리고, occ(x,yk,z(x,y k))는 깊이 불연속에 의한 가리워짐을 고려하는 함수이다. 여기서, occ(x,yk,z(x,yk))는 하기의 [수학식 12]와 같이 정의된다.
Figure 112004058303445-PAT00014
상기 [수학식 12]에서, occ(x,yk,z(x,yk))는 점 (x,yk,z(x,yk))이 그림자 영역에 속할 경우, 다시 말해 해당 점에서의 빛의 세기가 일정 이하일 경우에는 상수 c를 함수값으로 갖고, 그렇지 않으면 0을 함수값으로 갖는다.
결국, 상기 [수학식 11]을 최소화하는 것은 물체의 불연속이 고려됨과 동시에, 불연속이 아닌 영역에서 제공되는 법선 벡터의 x 성분에 가장 일치하는 물체의 3차원 깊이 정보 함수 Z(X,Yk)를 구하는 것이다.
실제, 상기 [수학식 11]의 최소화는 이산 공간(discrete space)에서 이루어진다. 따라서, 연속 공간에서 정의된 상기 [수학식 11]은 실제로는 하기의 [수학식 12]와 같이 근사되어 계산된다.
Figure 112004058303445-PAT00015
상기 [수학식 13]의 최소화는 동적 프로그래밍(dynamic programming)을 이용하여 수행된다.
일반적인 동적 프로그래밍은 상기 [수학식 13]을 최소화하는 함수 Z(X,Yk)를 계산함으로써 종료된다. 그러나, 본 발명에서는 두 번째 영상 쌍도 고려를 해야 하므로, 첫 번째 영상 쌍에서 곧바로 Z(X,Yk)을 결정하지 않는다. 대신, 상기 [수학식 13]에 대한 동적 프로그래밍이 수행되면서 계산되는, 시작점 x=x1으로부터 각 점 (xi,yk,z)(i=2,3,..,n)에 이르는 최소 비용 C1(xi,yk,z)만이 각 점에 저장된다. 이 최소 비용은 3차원 결정부(323)에서 이용된다.
첫 번째 영상 쌍에 대한 계산이 완료되면, x축 방향으로의 3차원 정보가 얻어진 것이므로, 두 번째 영상 쌍에 대한 계산으로부터 나머지 y축에 대한 3차원 정보를 얻는다. 이때, 두 번째 영상 쌍에 대한 최적화는 첫 번째 영상에서 사용한 방법과 같은 방법을 사용한다. 단, 최적화 대상이 되는 에너지 함수가 다르다. 즉, 두 번째 영상 쌍에 대해서는 YZ 평면 x=xk(k=1,2,..,n) 각각에 대해 최적화가 수행되며, 에너지 함수는 하기의 [수학식 14]와 같다.
Figure 112004058303445-PAT00016
상기 [수학식 14]는 상기 [수학식 13]과 x와 y의 역할만 바뀐 형태이다. 물 론, 법선벡터 역시 x가 아니라 y 성분을 적용한다.
두 번째 영상에 대한 [수학식 14]를 최소화하는 것은, 결국 물체의 불연속이 고려됨과 동시에, 불연속이 아닌 영역에서 제공되는 법선 벡터의 y 성분에 가장 일치하는 물체의 3차원 깊이 정보 함수 Z(Xk,Y)를 구하는 것이다. 계산 결과는 첫 번째 영상 쌍과 마찬가지로, 함수 Z(Xk,Y)를 직접 결정하는 것이 아니고, 시작점 y=y1으로부터 각 점 (xk,yi,z)(i=2,3,..,n)에 이르는 최소 비용 C2(x k,yi,z) 만이 각 점에 저장된다. 이 최소 비용은 C1(xi,yk,z)과 함께 3차원 결정부(323)에서 이용된다.
마지막으로, 3차원 결정부(323)에서는 최적화부(322)에서 제공하는 최소 비용 C1, C2를 고려하여 물체의 3차원을 나타내는 함수 z(x,y)를 결정한다.
여기서, 함수 z(x,y)는 각각의 XZ 평면 y=yk에 대해 하기의 [수학식 15]와 같은 에너지 함수를 최소화하는 함수로써 결정된다.
Figure 112004058303445-PAT00017
상기 [수학식 15]의 표기법은 상기 [수학식 13]을 따르며, 최소화 역시 동적 프로그래밍에 의해 수행된다. 상기 [수학식 15]를 최소화함으로써 x, y 방향의 법선 벡터 모두를 고려하여, 이에 가장 일치하는 3차원 정보를 얻을 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 깊이 불연속선이 존재하는 물체의 3차원 형상을 헬름홀츠 스테레오를 이용하여 획득할 수 있으며, 서로 직교하는 위치에서의 4번의 영상 촬영을 통해 간단하고 손쉽게 3차원 획득이 가능한 효과가 있다.
또한, 본 발명은 물론 헬름홀츠 스테레오의 일반적 특징인 물체 표면 특성에 무관한 3차원 획득이 가능하므로, 반짝이는 물체, 털로 뒤덮인 물체 등과 같이 기존의 3차원 획득 방식으로는 불가능한 물체의 형상을 획득할 수 있는 효과가 있다.

Claims (10)

  1. 헬름홀츠 스테레오를 이용한 물체의 3차원 형상 획득 장치에 있어서,
    헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득하기 위한 영상획득수단;
    영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정하기 위한 전처리수단; 및
    상기 광학적, 기학적 특성을 바탕으로, 헬름홀츠 호환 조건을 만족하는 두 쌍(총 4장)의 영상에 대해 각 영상 쌍에서 발생하는 헬름홀츠 제약조건을 편미분 방정식으로 변환하고, 두 쌍의 영상에서 얻은 방정식을 함께 고려하여, 경계선간에 깊이의 불연속이 존재하는 물체의 3차원 표면을 획득하기 위한 기하정보 획득수단
    을 포함하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치.
  2. 제 1 항에 있어서,
    상기 영상은,
    2쌍(4장)의 서로 직교하는 위치에서 획득한 헬름홀츠 영상 쌍인 것을 특징으로 하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치.
  3. 제 1 항에 있어서,
    상기 영상획득수단은,
    헬름홀츠 호환 조건을 만족시키기 위해, 카메라와 조명의 위치를 교번하여 2장씩 쌍으로 영상을 촬영하되, 카메라와 조명을 일직선상에 위치시켜, 한 번 촬영을 하고나서 180도를 회전시켜 다시 영상을 촬영함으로써 조건을 충족시키는 것을 특징으로 하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 전처리수단은,
    카메라의 광학적 특성을 추출하되, 촬영된 영상의 적(R), 녹(G), 청(B) 칼라값에 대응되는 실제 빛의 세기를 결정하기 위한 광학 보정부; 및
    카메라의 기학적 특성(초점 거리 및 촬영 위치)을 추출하되, 3차원 격자 패턴을 이용하여 카메라의 초점 거리, 주점(principal point), CCD 가로-세로비(aspect ratio)로 구성되는 카메라 내부 인자, 및 3차원 기준 좌표계에 대한 회전과 병진으로 구성되는 카메라 외부 인자를 계산하기 위한 기하 보정부
    를 포함하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치.
  5. 제 4 항에 있어서,
    상기 기하정보 획득수단은,
    획득된 두 쌍의 영상에 대해 각각, 하나의 3차원 점에 대응하는 두 영상의 점들의 위치를 동일선상에 놓음으로써, 영상을 교정하기 위한 영상 교정부;
    교정된 영상을 입력받아, 물체의 정규화된 법선벡터를 계산하기 위한 법선 계산부;
    상기 법선 계산부에서 계산된 물체의 법선벡터를 입력받아, 주어진 법선벡터에 가장 일치하는 3차원 물체 표면을 계산하기 위한 최적화부; 및
    상기 최적화부에서 제공하는 최소비용을 고려하여 물체의 3차원을 나타내는 함수를 결정하기 위한 3차원 결정부
    를 포함하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 장치.
  6. 3차원 물체 형상 복원 장치에 적용되는 물체의 3차원 형상 획득 방법에 있어서,
    헬름홀츠 호환 조건을 만족시키는 두 쌍(총 4장)의 영상을 획득하는 영상획득단계;
    영상 획득에 쓰인 카메라의 광학적, 기학적 특성을 추정하는 전처리단계;
    획득된 두 쌍의 영상에 대해 각각, 하나의 3차원 점에 대응하는 두 영상의 점들의 위치를 동일선상에 놓음으로써, 영상을 교정하는 영상교정단계;
    상기 교정된 영상을 입력받아, 물체의 정규화된 법선벡터를 계산하는 법선계산단계;
    상기 법선벡터에 가장 일치하는 3차원 물체 표면을 계산하는 최적화단계; 및
    상기 최적화단계에서 제공하는 최소비용을 고려하여 물체의 3차원을 나타내는 함수를 결정하는 3차원 결정단계
    를 포함하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 방법.
  7. 제 6 항에 있어서,
    상기 최적화단계는,
    첫 번째 영상 쌍에 대해, 3차원 공간 상의 XZ 평면 Y=Yk(k=1,2,…,n) 각각에 대해 하기의 [수학식 1]에 의거하여 최적화를 수행하며,
    두 번째 영상 쌍에 대해, 3차원 공간 상의 YZ 평면 x=xk(k=1,2,..,n) 각각에 대해 하기의 [수학식 2]에 의거하여 최적화를 수행하는 것을 특징으로 하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 방법.
    [수학식 1]
    Figure 112004058303445-PAT00018
    (여기서, nx는 3차원 상의 점 (x,yk,z(x,yk))에서의 법선 벡터의 x 성분, occ(x,yk,z(x,yk))는 깊이 불연속에 의한 가리워짐을 고려하는 함수임)
    [수학식 2]
    Figure 112004058303445-PAT00019
    (여기서, ny는 3차원 상의 점 (xk,y,z(xk,y))에서의 법선 벡터의 y 성분, occ(xk,y,z(xk,y))는 깊이 불연속에 의한 가리워짐을 고려하는 함수임)
  8. 제 7 항에 있어서,
    상기 3차원 결정단계는,
    상기 [수학식 1]에 대한 동적 프로그래밍이 수행되면서 계산되는, 시작점 x=x1으로부터 각 점 (xi,yk,z)(i=2,3,..,n)에 이르는 최소 비용 C1(xi ,yk,z)와, 상기 [수학식 2]에 대한 동적 프로그래밍이 수행되면서 계산되는, 시작점 y=y1으로부터 각 점 (xk,yi,z)(i=2,3,..,n)에 이르는 최소 비용 C2(xk,y i,z)를 고려하여, 물체의 3차원을 나타내는 함수 z(x,y)를 결정하되, 함수 z(x,y)는 각각의 XZ 평면 y=yk에 대해 하기의 [수학식 3]에 의거하여 에너지 함수를 최소화하는 함수로써 결정되는 것을 특징으로 하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 방법.
    [수학식 3]
    Figure 112004058303445-PAT00020
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 영상은,
    2쌍(4장)의 서로 직교하는 위치에서 획득한 헬름홀츠 영상 쌍이며,
    상기 영상획득단계에서는 헬름홀츠 호환 조건을 만족시키기 위해, 카메라와 조명의 위치를 교번하여 2장씩 쌍으로 영상을 촬영하되, 카메라와 조명을 일직선상에 위치시켜, 한 번 촬영을 하고나서 180도를 회전시켜 다시 영상을 촬영함으로써 조건을 충족시키는 것을 특징으로 하는 헬름홀츠 스테레오를 이용한 깊이 불연속선 을 지니는 물체의 3차원 형상 획득 방법.
  10. 제 9 항에 있어서,
    상기 전처리단계는,
    카메라의 광학적 특성을 추출함에 있어서, 촬영된 영상의 적(R), 녹(G), 청(B) 칼라값에 대응되는 실제 빛의 세기를 결정하며,
    카메라의 기학적 특성(초점 거리 및 촬영 위치)을 추출함에 있어서, 3차원 격자 패턴을 이용하여 카메라의 초점 거리, 주점(principal point), CCD 가로-세로비(aspect ratio)로 구성되는 카메라 내부 인자, 및 3차원 기준 좌표계에 대한 회전과 병진으로 구성되는 카메라 외부 인자를 계산하는 것을 특징으로 하는 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는 물체의 3차원 형상 획득 방법.
KR1020040104212A 2004-12-10 2004-12-10 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법 KR20060065800A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040104212A KR20060065800A (ko) 2004-12-10 2004-12-10 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법
US11/295,916 US7623701B2 (en) 2004-12-10 2005-12-06 Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040104212A KR20060065800A (ko) 2004-12-10 2004-12-10 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20060065800A true KR20060065800A (ko) 2006-06-14

Family

ID=36583924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040104212A KR20060065800A (ko) 2004-12-10 2004-12-10 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법

Country Status (2)

Country Link
US (1) US7623701B2 (ko)
KR (1) KR20060065800A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004976A2 (ko) * 2009-07-06 2011-01-13 (주)비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치.

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100681320B1 (ko) * 2005-12-08 2007-02-09 한국전자통신연구원 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US20100085359A1 (en) * 2008-10-03 2010-04-08 Microsoft Corporation Surface normal reconstruction from a single image
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
CN103424083B (zh) * 2012-05-24 2016-02-10 北京数码视讯科技股份有限公司 物体深度的检测方法、装置和***
JP6708378B2 (ja) * 2015-07-27 2020-06-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN105069804B (zh) * 2015-08-21 2018-04-20 清华大学 基于智能手机的三维模型扫描重建方法
ITUB20159560A1 (it) * 2015-12-23 2017-06-23 Torino Politecnico Dispositivo e procedimento di acquisizione di immagini mediche per l?analisi di ulcere
WO2019170591A1 (de) 2018-03-04 2019-09-12 Vision Tools Hard- Und Software Entwicklungs-Gmbh Erstellung eines abstandsbildes
WO2023156021A1 (de) 2022-02-21 2023-08-24 Vision Tools Hard- Und Software Entwicklungs-Gmbh Anordnung und verfahren zur aufnahme von bildern
DE102022104041B3 (de) 2022-02-21 2023-02-23 Vision Tools Hard- Und Software Entwicklungs Gmbh Anordnung und Verfahren zur Aufnahme von Bildern

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590669B1 (en) * 1999-04-30 2003-07-08 Christoph Wagner Method for optically detecting the shape of objects

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004976A2 (ko) * 2009-07-06 2011-01-13 (주)비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치.
WO2011004976A3 (ko) * 2009-07-06 2011-04-14 (주)비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치.
US9143766B2 (en) 2009-07-06 2015-09-22 Vision St Co., Ltd. Method and apparatus for high-speed calibration and rectification of a stereo camera

Also Published As

Publication number Publication date
US20060126929A1 (en) 2006-06-15
US7623701B2 (en) 2009-11-24

Similar Documents

Publication Publication Date Title
CN111066065B (zh) 用于混合深度正则化的***和方法
US7623701B2 (en) Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
US9025862B2 (en) Range image pixel matching method
JP5043023B2 (ja) 画像処理方法および装置
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
WO2014044126A1 (zh) 坐标获取装置、实时三维重建***和方法、立体交互设备
WO2013008804A1 (ja) 計測装置および情報処理装置
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN108886611A (zh) 全景立体视频***的拼接方法和装置
Courteille et al. Towards shape from shading under realistic photographic conditions
WO2014003081A1 (en) Method for registering data
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
CN109242898B (zh) 一种基于图像序列的三维建模方法及***
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
Mousavi et al. The performance evaluation of multi-image 3D reconstruction software with different sensors
CN110599578A (zh) 一种真实感三维彩色纹理重建方法
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
CN111724446B (zh) 一种用于建筑物三维重建的变焦距相机外参数标定方法
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
JP6285686B2 (ja) 視差画像生成装置
Hosseininaveh et al. Automatic image selection in photogrammetric multi-view stereo methods
JPH04130587A (ja) ３次元画像評価装置
Nozick Camera array image rectification and calibration for stereoscopic and autostereoscopic displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application