KR20210141922A - 객체의 3d 재구성 방법 - Google Patents

Abstract

본 발명은 다음 단계를 포함하는 객체의 3D 재구성을 위한 방법에 관한 것이다: 적어도 하나의 카메라에 의해 객체의 복수의 이미지를 생성하는 단계; 상기 복수의 이미지로부터 상기 객체의 특징을 추출하는 단계; 객체를 나타내는 3차원 모델로 배열된 3차원 점들의 군을 생성하는 단계; 상기 특징들의 부분집합 중 적어도 하나를 포함하는 이미지 각각을 식별하는 단계; 상기 특징들의 부분집합에 대응하는 3차원 점들의 제 1 집합 및 3차원 점들의 제 2 집합을 결정하는 단계; 제1 집합및 제2 집합의 3차원 점에 의해 객체의 구성요소로서 기설정된 3차원 기하학적 구조에 대응하는 수학식을 결정하는 단계; 및 적어도 기설정된 3차원 기하학적 구조에 의해 객체의 3차원 모델을 렌더링하는 단계를 포함한다.

Description

객체의 3D 재구성 방법

본 발명은, 객체의 3D 재구성 방법, 이 방법을 수행하기 위한 수단을 포함하는 데이터 처리 시스템, 컴퓨터로 하여금 이 방법을 수행하도록 하는 명령어들을 포함하는 컴퓨터 프로그램, 및 컴퓨터로 하여금 이 방법을 수행하도록 하는 명령어들을 포함하는 컴퓨터 판독가능 매체에 관한 것이다.

컴퓨터 비전(vision) 및 컴퓨터 그래픽에서, 3D 재구성은 실제 객체들의 형태와 외관의 재현을 실현하는 것이다. 이 목적을 달성하기 위해, 다양한 기법들에 의해 실제 객체들의 디지털 3차원 모델들이 생성된다. 이러한 기법들의 하나로서, 실제 객체들의 표면 점들의 정확한 위치들을 얻기 위해 사진들에서 측정을 하는 현대적 사진측량기법이 널리 사용된다.

실제 객체의 재구성을 위한 일반적인 사진측량 방법은 다음 단계들로 구성될 수 있다:

먼저, 재구성될 객체의 복수의 사진들이 한 대의 카메라 또는 여러 대의 카메라에 의해, 카메라의 위치와 방향의 조합인 상이한 카메라 포즈로부터 동시에 또는 상이한 촬영 시간에 촬영된다.

이후, 각 사진의 특징점들은, 특징 탐지기인 크기 불변 특징 변환(Scale-Invariant Feature Transform, SIFT) 또는 고속 강인 특징 추출(Speeded-Up Robust Features, SURF)을 사용하는 것과 같은 기존의 방식을 통해 사진들로부터 탐지되고 추출된다.

촬영된 사진 상의 특징은, 사진의 모서리 점들(여러 방향으로의 경사도(gradient)가 있는 가장자리), 얼룩 또는 경계와 같은 “흥미로운” 부분이다.

그 후, 모든 사진들에서 탐지된 특징들은, 예를 들어 루카스-카나데 추적기(Lucas-Kanade tracker)에 의한, 기존의 방식으로 사진들 간의 기하학적 관계를 탐지하기 위해 대조된다.

그 후, 모션 구조(Structure from Motion, SfM)라 명명된 널리 사용되는 알고리즘을 사용하여, 사진들 간의 특징들을 추출하며 재구성될 객체의 특징점들의 위치 뿐 아니라 카메라들의 방향들을 계산한다. 요즘에는 다양한 종류의 SfM 소프트웨어가 시장에 나와 있다. 상업적으로 사용가능한 SfM 소프트웨어의 출력은, 촬영된 사진들 상에서 탐지된 2차원 특징들에 대응하는 3차원 점들의 군(cloud)일 수 있다.

3차원 점들의 군을 사용하여 객체 모델의 표면이 재구성될 수 있다. 객체 모델의 품질은, 다른 무엇보다도, 3차원 점들의 군의 국소적 밀도에 따라 달라지며, 이 국소적 밀도는 3차원 점들에 대응하는 최적(best fit)의 표면 면적 또는 용량에 대한, 한 영역에 위치한 3차원 점들의 양의 비율로서 정의된다. 3차원 점들의 군의 국소적 밀도가 높을수록 객체 모델의 품질은 더 좋아진다.

마지막 단계에서, 객체 모델은 실제적인 외관을 얻기 위해 질감(texture)처리된다.

3차원 점들의 군을 통한 객체 모델의 재구성의 단계 동안, 객체 모델의 구성 요소(building blocks)로서의 평면, 곡면 또는 다면체와 같은 기하학적 구조가 먼저 재구성될 수 있다.

그러나 높은 연산 비용으로 인해 기하학적 구조의 재구성 속도는 지금까지는 매우 느리며, 예를 들어 기하학적 구조가 재구성될 영역 내의 3차원 점들의 군의 낮은 국소적 밀도 때문에, 재구성 결과의 품질 역시 만족스럽지 못할 수 있다.

따라서, 본 발명의 목적은 대상 객체의 빠르고 좀 더 정확한 3D 재구성을 제공하는 것이다.

이 목적은 첨부된 독립항들에 의해 해결된다. 종속항들은 바람직한 실시예들을 참조한다.

본 발명은 대상 객체의 빠르고 좀 더 정확한 3D 재구성을 제공하는 효과를 가진다.

도 1은 객체의 3D 재구성을 위한 본 발명의 방법의 실시예의 개략도를 도시한다.

본 발명은 다음 단계를 포함하는 객체의 3D 재구성 방법에 관한 것이다:

A) 적어도 하나의 카메라를 사용하여, 특히 상이한 카메라 각도 및 위치에서 객체의 복수의 이미지들을 생성하는 단계;

B) 상기 복수의 이미지들로부터 상기 객체의 특징들을 추출하는 단계;

C) 상기 객체를 나타내는 3차원 모델(three-dimensional model)내에 배열된 3차원 점들의 군(cloud)을 생성하되, 상기 3차원 점들의 각각은 상기 복수의 이미지들 중 적어도 2개로부터 추출 가능한 상기 특징들 중 하나에 대응하는, 단계;

D) 기설정된 3차원 기하학적 구조의 적어도 일부의 투영을 포함하는 상기 복수의 이미지들 중 하나의 영역을 상기 객체의 구성요소로서 선택하는 단계이되,

상기 기설정된 3차원 기하학적 구조는 복수의 미지 계수들을 포함하는 수학식으로써 설명되며,

상기 3차원 점들마다 각각 대응하는, 상기 객체의 상기 특징들의 부분집합은 상기 영역에 포함되고, 상기 특징들의 상기 부분집합 내의 상기 특징들의 수는 상기 수학식의 상기 미지 계수들의 수보다 적지 않은 단계;

E) 상기 특징들의 상기 부분집합 내 상기 특징들 중 적어도 하나를 포함하는 각각의 상기 이미지들을 식별하는 단계;

F) 상기 D단계에서 언급된 상기 특징들의 상기 부분집합에 대응하는 3차원 점들의 제1 집합을 결정하고 상기 특징들 중 상기 부분집합에 속하지 않는 적어도 하나의 특징에 대응하는 적어도 하나의 3차원 점을 포함하는 3차원 점들의 제2 집합을 결정하지만, 상기 E단계에서 상기 식별된 이미지들 중 적어도 2개로부터 추출 가능한 단계;

G) 상기 3차원 점들의 상기 제1 집합과 상기 제2 집합에 의하여, 상기 기설정된 3차원 기하학적 구조에 대응하는 상기 수학식이 결정되는 단계; 및

H) 적어도 상기 기설정된 3차원 기하학적 구조로써 상기 객체의 3차원 모델을 렌더링하는 단계.

다양한 실시예들은 바람직하게는 다음과 같은 특징들을 구현할 수 있다.

상기 언급한 D단계 내지 G단계에 의하여 재구성될 객체를 위한 구성요소들로서 필요한 기하학적 구조들을 재구성하기 위한 시간이 현저하게 감소되는 것이 특히 바람직하다. 그 외에도 3차원 점들의 군의 상대적으로 낮은 국소적 밀도에도 불구하고 전반적인 재구성 품질이 상당히 향상된다.

C단계에서 언급된, 재구성될 객체를 나타내는 3차원 점들의 군의 생성 후, 다음과 같은 전제조건이 모두 충족되는 한, 선택된 이미지 내의 영역을 선택하기 위해, 촬영된 이미지 중 그 어떠한 것이라도 선택될 수 있다.

첫째, 선택된 이미지의 영역에서, 기설정된 3차원 기하학적 구조의 적어도 일부의 투영은, 재구성될 객체를 위한 구성요소들로서의, 예를 들어 M개의 미지의 계수들과 함께, 수학식에 의해 나타낼 수 있다.

둘째, 탐지된 특징점들은 이 영역에서 존재하되, 특징점들의 수가 N으로 표시되면, N은 M 미만이 되어서는 안된다.

촬영된 이미지로부터 영역을 선택하는 것은, 실제 객체의 재구성을 위한 소프트웨어를 작동하는 사용자에 의해 수행될 수 있다. 대안적으로, 선택 동작은, 위에서 언급된 두 전제 조건이 기존의 방식으로 기설정되며 저장되는 컴퓨터 프로그램에 의해 수행될 수 있다.

선택 동작 후, 다른 관련 이미지가 E단계에서 식별된다. 관련 이미지는 촬영된 이미지의 부분집합이며, D단계에서 선택된 이미지의 선택된 영역으로부터 추출 가능한 N개의 특징점 중 적어도 하나를 포함하는 각각의 이미지로서 정의된다.

C단계에서 생성된 3차원 점들의 군 내에 있는 3차원 점들 각각은 촬영된 이미지 중 적어도 2개로부터 추출할 수 있는 2차원 특징(점)에 대응하므로, N개의 3차원 점들로 구성된 제1 집합은 D단계에서 언급된 N개의 특징점들에 따라 독창적으로 결정된다.

예를 들어 X개의 3차원 점들로 구성된, 제2 집합이 결정된다. 이들 X개의 3차원 점들은 N개의 특징점에 속하지 않는 X개의 특징점에 대응하지만, 이들 각각은 관련 이미지 중 적어도 2개, 즉 촬영된 이미지의 부분집합으로부터 추출될 수 있는 다른 특징점들이다.

다음으로, 기설정된 3차원 기하학적 구조에 대응하는 수학식은 3차원 점들의 제1 집합 및 제2 집합을 사용하여 결정될 수 있다.

수학식은 M개의 미지 계수들을 가지고 있고 제1 집합 내의 3차원 점들의 수 N은 이미 미지 계수들의 개수 M 이상이므로 수학식을 결정하거나 인지할 수 있다. 즉, M개의 미지 계수들은 제1 집합의 N개의 3차원 점들만으로 알아낼 수 있다.

X개의 3차원 점들이 있는 제2 집합은, N개의 3차원 점들이 있는 제1 집합에 의해 결정된 수학식을 평가하는 데 사용된다. 예를 들어, 수학식이 여전히 확립되어 있는지 테스트하기 위해 제2 집합 내의 X개의 3차원 점들의 상대 좌표를 각각 결정된 수학식에 넣는다.

식별된 이미지들은, 기설정된 3차원 기하학적 구조의 적어도 일부의 투영을 포함하는 선택 영역 내의 적어도 하나의 특징점을 공유한다. 그러므로, E단계에서 식별된 이미지들의 부분 집합은 D단계에서의 선택된 이미지와 관련이 있기 때문에, F단계에서 언급된 이미지들의 부분집합 내의 X개의 특징은, 기설정된 3차원 기하학적 구조의 표면에 있는 적어도 하나의 3차원 점에 해당할 가능성이 높다.

즉, X개의 3 차원 점들이 있는 제2 집합은, 기설정된 3차원 기하학적 구조의 표면에 있는 적어도 하나의 3차원 점을 포함할 수 있다.

언급된 수학식 확립여부의 테스트 동안, 제2 집합의 3차원 점들이 더 많이 수학식에 일치(fit)하거나 대략적으로 일치할수록, 기설정된 3차원 기하학적 구조를 나타내기에 해당 수학식이 가장 적합한 공식이 되거나 올바르게 결정될 가능성이 높다.

반대로, 제2 집합 내의 3차원 점들이 수학식에 덜 일치할수록, 기설정된 3차원 기하학적 구조를 나타내는데 해당 수학식이 올바르게 결정될 가능성이 적거나 덜 적합한 공식이 된다.

수학식 확립여부 테스트의 결과가 만족스럽지 않은 경우, 예를 들어 제2 집합의 3차원 점들 중 1/3만이 수학식에 일치하거나 대략적으로 일치할 경우, D단계의 선택 단계와 후속 E단계 내지 G단계는 테스트 결과가 사용자를 만족시키거나 기설정된 임계값이 얻어질 때까지 기존의 방식을 통해 반복될 수 있다.

이에 의해, 본 발명에 따르면, 생성될 3차원 객체 모델의 매우 중요한 기본 요소인 객체의 구성요소로서 M개의 미지 계수를 갖는 수학식으로 표현 가능한 기설정된 3차원 기하학적 구조를 가능한 한 정확하게 결정할 수 있다.

더욱이, 기설정된 기하학적 구조에서 3차원 점들의 군의 국소적 밀도가 상대적으로 낮더라도, 본 발명에 따르면, 결정된 기설정된 기하학적 구조의 정확도는 여전히 높은 수준이라는 것이 특히 유리하다.

또한, 본 발명의 D 선택 단계에 의하여, 기설정된 3차원 기하학적 구조의 결정 속도 및 이에 따른 객체의 3차원 모델의 후속 생성이 최신 기술에 비해 상당히 개선된다.

또한, 3차원 점의 제2 집합을 사용하는 평가 단계의 도입으로 인해, 기설정된 3차원 기하학적 구조의 결정이 D단계에서의 영역 선택에 지나치게 의존하지 않게 된다.

바람직한 실시예에서, 기하학적 구조는 평면, 구, 원통, 원뿔, 도넛형 구조 또는 유사한 3차원 정체(regular body)이다.

평면을 예로 들면, 평면은 3개의 변수 x, y, z와 4개의 미지 계수 a, b, c, d가 있는 수학식 ax+by+cz = d로 기술될 수 있다. 선택된 이미지의 선택된 영역에서 특징의 부분집합 내의 특징의 수가 3개 이상인 한, 4개의 미지 계수 a, b, c, d는 특징들의 부분집합에 해당하는 제1 집합 내의 3차원 점을 사용한 계산에 의해 알아낼 수 있다. 3차원 점의 수는 수학식의 모든 미지 계수를 계산하기에 충분해야 한다.

그 후, 이미 위에서의 상세한 설명과 같이 결정된 3차원 점들의 제2 집합은, 3개의 결정된 계수를 갖는 결정된 수학식이 기설정된 평면에 가장 일치하는지 여부를 평가하는 데 사용된다.

또 다른 예는 다음과 같다: 구는 3개의 변수 x, y, z 및 4개의 미지 계수 a, b, c, r을 가지는 수학식 (x-a)²+(y-b)²+(z-c)² = r²로 기술될 수 있다. 선택된 이미지의 선택된 영역에서 특징의 부분집합 내의 특징의 수가 4개 이상인 한, 4개의 미지 계수 a, b, c, r는 특징들의 부분집합에 해당하는 제1 집합 내의 3차원 점을 사용한 계산에 의해 알아낼 수 있다.

그 후, 이미 위에서의 상세한 설명과 같이 결정된 3차원 점들의 제2 집합은, 4개의 결정된 계수를 갖는 결정된 수학식이 기설정된 구에 가장 일치하는지 여부를 평가하는 데 사용된다.

다른 바람직한 실시예에서, 객체의 3D 재구성 방법은 다음과 같은 단계를 더 포함한다:

I) 상기 복수의 이미지들 각각의 소실점들을 식별하는 단계;

J) 상기 소실점들 중 적어도 하나로써 상기 기설정된 3차원 기하학적 구조를 제한하는 단계.

I단계 및 J단계는 H단계 이후가 아니라 그 이전에 수행된다는 점에 유의해야 한다. 바람직하게는, I단계 및 J단계는 B단계 및 H단계 사이에서 수행된다. 보다 바람직하게는, J단계는 F단계 및 H단계 사이에서 수행된다.

I단계에서, 복수의 이미지들의 소실점들은, 가우시안 구(Gaussian sphere)를 사용하는 것과 같이, 기존의 알려진 방식으로 식별 및 추출된다. 소실점은, 3차원 공간에서 서로 평행한 선의 2차원 투시 투영(또는 도면)이 수렴하는 것처럼 보이는 투시도의 이미지 평면 상의 한 점이다.

소실점은 3차원 기하학적 구조의 평면표면(있는 경우)의 법선 방향(normal direction)을 제한하므로 이러한 소실점을 사용하여 기설정된 3차원 기하학적 구조를 제한하거나 결정할 수 있다. 이에 따라, 기설정된 3차원 기하학적 구조를 보다 정확하게 결정할 수 있다.

다른 바람직한 실시예에서, 소실점은 복수의 이미지들에서 수렴하는 선을 분석함으로써 식별된다. 이미지는 수평 이미지 축과 수직 이미지 축으로 기술되거나 이를 가질 수 있다. 따라서, 수평 이미지 축에 가까운 수렴 선은 적어도 수평 장면 선에 대한 소실점을 식별하는 데 사용되며, 수직 이미지 축에 가까운 수렴 선은 적어도 수직 장면 라인에 대한 소실점을 식별하는 데 사용된다.

또 다른 바람직한 실시예에서, 3차원 기하학적 구조는 복수의 이미지들 중 하나의 이미지의 적어도 일부에 의해 질감처리되며, 여기서 이미지의 일부는 3차원 점들의 군 내에서의 3차원 점들에 의해 식별되고 선택된다. 이로써, 3차원 기하학적 구조의 빠르고 비교적 정확한 질감처리가 달성된다.

또 다른 바람직한 실시예에서, 렌더링된 3차원 모델은, 복수의 이미지들을 모델에 투영하고 이미지들과 모델 간의 일치 정도를 계산함으로써 평가된다. 일치 정도가 사용자에게 만족스럽지 못한 경우, D단계의 선택 단계 및/또는 위에 언급된 질감처리 단계가 다시 수행될 수 있다.

또 다른 바람직한 실시예에서, 계산된 일치 정도는, 결정된 계수의 값을 변경하면서 국소 최대 일치 정도를 찾음으로써 결정된 미지 계수들 중 적어도 하나를 최적화하는데 사용된다.

모델과 복수의 이미지들 사이의 질감의 일치 정도는 측광 오차(photometric error)에 의해 기술될 수 있다. 측광 오차는 수학식의 적어도 하나의 계수를 최적화하는 데 사용될 수 있다. 이는 계수의 값을 반복적으로 변경하면서 측광 오차의 극소값(local minimum)을 찾는 것에 의해 가능하다. 알려진 그 어떠한 비선형 최적화 알고리즘도 이 목적을 위해 사용할 수 있으며, 예를 들어 레벤버그-마쿼트(Levenberg-Marquardt) 알고리즘을 사용할 수도 있다.

랜색(RANSAC)과 같은 알려진 포인트 피팅 알고리즘(point fitting algorithms)과 비교하여, 본 방법의 이 실시예를 사용하면, 이 실시예는 복수의 이미지로부터 수백만 개의 픽셀의 정보를 사용하기 때문에 렌더링된 3차원 모델이 더 정확하고, 따라서 서브픽셀 수준에서 더 정밀한 정확도에 도달할 수 있다.

또 다른 바람직한 실시예에서, 복수의 이미지들로부터 추출된 객체의 특징들은, 특징들이 렌더링된 3차원 모델로부터 또한 추출가능한지를 결정함으로써 일치 정도를 계산하는데 사용된다. 복수의 이미지로부터 추출된 특징의 50% 이상, 특히 70% 이상이 렌더링된 3차원 모델에서도 추출될 수 있다면 높은 일치 정도를 얻을 수 있다. 이에 의해 3차원 모델의 렌더링 품질 평가에 관한 완전 자동화가 실현되는 것이 유리하다.

"사진", "이미지", "그림" 또는 이들의 다른 변형용어는 본 특허 출원에서 상호 교환 가능함을 이해해야 한다.

더 유리한 세부 사항 및 특징은 도면과 함께 본 발명의 예시적인 실시예에 대한 다음의 설명으로부터 취해질 수 있으며, 여기서:

도 1은 객체의 3D 재구성을 위한 본 발명의 방법의 실시예의 개략도를 도시한다.

도 1에 따르면, 좌측에 있는 7개의 카메라 아이콘(1 내지 7)은 3차원적으로 재구성될 객체(100)의 7개의 이미지(1 내지 7)를 나타내며, 이 이미지는 하나의 카메라에 의해 다른 카메라 각도에서 촬영된다.

이 이미지들(1 내지 7)은 여러 카메라에 의해 동시에 또는 다른 촬영 시간에 서로 다른 카메라 포즈에서 촬영될 수도 있다. 설명의 편의를 위해 적은 수의 이미지가 적합하기 때문에 도 1에는 7개의 이미지만 도시되었지만, 본 발명의 방법을 구현하기 위해 더 많은 이미지를 촬영하여 사용할 수 있음을 배제하지 않는다.

이후, 이미지(1 내지 7)로부터, 객체(100)의 모서리 점, 경계와 같은 이미지(1 내지 7)의 "흥미로운" 부분, 즉 객체(100)의 특징점을 추출한다. 이러한 객체(100)의 2차원 특징점 또는 특징은 도 1에 도시되어 있지 않다.

그 후, 객체(100)를 나타내는 3차원 모델 내에 배열된 3차원 점들의 군이 생성되고, 각각의 3차원 점들은 이미지(1 내지 7)들 중 적어도 2개로부터 추출 가능한 특징들 중 하나에 대응한다. 이러한 3차원 점들은 도 1에서 숫자 12, 14, 16, 18, 20, 22, 24, 26으로 표시된다.

이어서, 이미지(4)에서 영역(40)이 선택된다. 이 영역은, 기설정된 구(10)의 부분(30)의 투영을 객체(100)의 구성요소(building block)로서 포함한다. 설명의 편의를 위해 도 1에서는 기설정된 구(10)와 3차원 점(12 내지 26)을 의도적으로 확대한 반면, 재구성될 객체(100)는 구체적인 형태/경계에 의해 표시되지는 않는다.

기설정된 구(10)는 3개의 변수 x, y, z 및 4개의 미지 계수 a, b, c, r을 갖는 수학식 (x-a)²+(y-b)²+(z-c)² = r²로 나타낼 수 있다.

3차원 점들(16, 18, 20, 및 22)마다 각각 대응하는, 객체(100)의 특징들의 부분집합은 영역(40)에 포함되고, 특징들의 부분집합 내의 특징들의 수는 수학식의 미지 계수들 a, b, c, r의 개수와 같은 4이다.

촬영된 이미지(1 내지 7)로부터 이미지를 선택하고, 선택된 이미지로부터 영역을 선택하는 것은 실제 객체를 재구성하기 위한 소프트웨어를 작동하는 사용자에 의해 수행될 수 있다. 대안적으로, 이것은 또한 컴퓨터 프로그램에 의해 수행될 수 있다.

그 후, 이미지들(3 내지 6)이 식별되고, 이들 각각은 3차원 점들(16 내지 22)에 대응하는 특징들 중 적어도 하나를 포함한다.

그 다음, 3차원 점들(16 내지 22)의 제1 집합이 결정된다. 하나의 3차원 점(24)으로 구성된 3차원 점의 제2 집합도 결정된다. 이 3차원 점(24)은, 3차원 점(16 내지 22)에 대응하는 특징에 속하지 않는 하나의 특징에 대응하지만, 위에서 언급한 식별된 이미지(3 내지 6) 중 2개의 이미지(5 및 6)로부터 추출될 수 있다.

그 후, 기설정된 구(10)에 대응하는 수학식 (x-a)²+(y-b)²+(z-c)² = r²은 3차원 점의 제1 집합과 제2 집합에 의해 결정된다.

수학식은 4개의 미지 계수들 a, b, c, r을 가지고 있고 제1 집합 내의 3차원 점들(16 내지 22)의 개수는 이미 미지 계수들 a, b, c, r의 개수와 같으므로 수학식을 결정하거나 인지할 수 있다. 즉, 미지 계수들 a, b, c, r은 제1 집합의 3차원 점들(16 내지 22) 4개만으로 알아낼 수 있다.

식별된 이미지들(3 내지 6)은, 기설정된 구(10)의 일부(30)의 투영인 선택 영역(40) 내의 적어도 하나의 특징점을 공유한다. 그러므로, 식별된 이미지들(3 내지 6)은 선택된 이미지(4)와 관련이 있기 때문에, 이미지들(5 및 6)으로부터 추출 가능하고 3차원 점(24)에 대응하는 추가 특징은, 기설정된 구(10)의 표면에 있는 하나의 3차원 점에 해당하는 특징일 가능성이 높다.

즉, 제2 집합은, 기설정된 구(10)의 표면에 있는 하나의 3차원 점을 포함할 수 있다.

이러한 측면에서, 3차원 점(24)이 있는 제2 집합은, 제1 집합에 의해 결정된 수학식을 평가하는 데 사용된다. 수학식이 여전히 확립되어 있는지 테스트하기 위해 제2 집합 내의 3차원 점(24)의 상대 좌표를 결정된 수학식에 넣는다.

테스트 결과에 따라 방정식이 여전히 확립되거나 거의 확립된 경우, 결정된 수학식은 기설정된 구(10)를 나타내는 데 가장 적합한 식으로 볼 수 있다.

테스트 결과 식이 확립되지 않은 경우, 결정된 수학식은 기설정된 구(10)를 나타내기에 적합하지 않다고 볼 수 있으며, 결정된 수학식이 테스트를 통과할 때까지 위에서 언급한 선택 단계를 다시 반복해야 한다.

마지막 단계에서, 객체(100)의 3차원 모델은 적어도 최적으로 결정된 기설정된 구(10)에 의해 렌더링된다.

Claims (11)

1. 객체의 3D 재구성 방법에 있어서:
   A) 적어도 하나의 카메라를 사용하여, 특히 상이한 카메라 각도 및 위치에서 객체의 복수의 이미지들을 생성하는 단계;
   B) 상기 복수의 이미지들로부터 상기 객체의 특징들을 추출하는 단계;
   C)상기 객체를 나타내는 3차원 모델(three-dimensional model)내에 배열된 3차원 점들의 군(cloud)을 생성하되, 상기 3차원 점들의 각각은 상기 복수의 이미지들 중 적어도 2개로부터 추출 가능한 상기 특징들 중 하나에 대응하는, 단계;
   D) 기설정된 3차원 기하학적 구조의 적어도 일부의 투영을 포함하는 상기 복수의 이미지들 중 하나의 영역을 상기 객체의 구성요소로서 선택하는 단계이되,
   상기 기설정된 3차원 기하학적 구조는 복수의 미지 계수들을 포함하는 수학식으로써 설명되며,
   상기 3차원 점들마다 각각 대응하는, 상기 객체의 상기 특징들의 부분집합은 상기 영역에 포함되고, 상기 특징들의 상기 부분집합 내의 상기 특징들의 수는 상기 수학식의 상기 미지 계수들의 수보다 적지 않은 단계;
   E) 상기 특징들의 상기 부분집합 내 상기 특징들 중 적어도 하나를 포함하는 각각의 상기 이미지들을 식별하는 단계;
   F) 상기 D단계에서 언급된 상기 특징들의 상기 부분집합에 대응하는 3차원 점들의 제1 집합을 결정하고 상기 특징들 중 상기 부분집합에 속하지 않는 적어도 하나의 특징에 대응하는 적어도 하나의 3차원 점을 포함하는 3차원 점들의 제2 집합을 결정하지만, 상기 E단계에서 상기 식별된 이미지들 중 적어도 2개로부터 추출 가능한 단계;
   G) 상기 3차원 점들의 상기 제 1 집합과 상기 제 2 집합에 의하여, 상기 기설정된 3차원 기하학적 구조에 대응하는 상기 수학식이 결정되는 단계 및
   H) 적어도 상기 기설정된 3차원 기하학적 구조로써 상기 객체의 3차원 모델을 렌더링하는 단계.
2. 제1항에 있어서,
   상기 기하학적 구조는 평면, 구, 원통, 원뿔 또는 도넛형 구조인 방법.
3. 제 1항 또는 제 2항에 있어서,
   I) 상기 복수의 이미지들 각각의 소실점들을 식별하는 단계;
   J) 상기 소실점들 중 적어도 하나로써 상기 기설정된 3차원 기하학적 구조를 제한하는 단계.
4. 제 3항에 있어서,
   상기 소실점들은 상기 복수의 이미지들 내 집중선을 분석함으로써 식별되는 방법.
5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
   상기 3차원 기하학적 구조는 상기 복수의 이미지들 중 하나의 이미지의 적어도 일부에 의해 질감처리가 되고, 상기 이미지의 상기 일부는 상기 3차원 점들의 상기 군 내에서의 상기 3차원 점들에 의해 식별되고 선택되는 방법.
6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
   상기 렌더링된 3 차원 모델은, 상기 복수의 이미지들을 상기 모델에 투영하고 상기 이미지들과 상기 모델 간의 일치 정도를 계산함으로써 평가되는 방법.
7. 제 6항에 있어서,
   상기 계산된 일치 정도는, 상기 결정된 계수의 상기 값을 변경하면서 국소 최대 일치 정도를 찾음으로써 상기 결정된 미지 계수들 중 적어도 하나를 최적화하는데 사용되는 방법.
8. 제 6항 또는 제 7항에 있어서,
   상기 복수의 이미지들로부터 추출된 상기 객체의 상기 특징들은, 상기 특징들이 상기 렌더링된 3차원 모델로부터 또한 추출가능한지를 결정함으로써 상기 일치 정도를 계산하는데 사용되는 방법.
9. 상기 제 1항 내지 제 8항 중 어느 한 항의 방법을 수행하기 위한 수단들을 포함하는 데이터 처리 시스템.
10. 컴퓨터에 의하여 프로그램이 실행될 때, 상기 컴퓨터로 하여금 상기 제 1항 내지 제 8항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 포함하는 컴퓨터 프로그램.
11. 컴퓨터로 실행될 때, 상기 컴퓨터로 하여금 상기 제 1항 내지 제 8항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 포함하는 컴퓨터 판독 매체.

Images