KR100834157B1 - 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체 - Google Patents

영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체 Download PDF

Info

Publication number
KR100834157B1
KR100834157B1 KR1020060114471A KR20060114471A KR100834157B1 KR 100834157 B1 KR100834157 B1 KR 100834157B1 KR 1020060114471 A KR1020060114471 A KR 1020060114471A KR 20060114471 A KR20060114471 A KR 20060114471A KR 100834157 B1 KR100834157 B1 KR 100834157B1
Authority
KR
South Korea
Prior art keywords
calculating
image
illumination
photographing
unit
Prior art date
Application number
KR1020060114471A
Other languages
English (en)
Other versions
KR20080045392A (ko
Inventor
황용호
홍현기
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020060114471A priority Critical patent/KR100834157B1/ko
Publication of KR20080045392A publication Critical patent/KR20080045392A/ko
Application granted granted Critical
Publication of KR100834157B1 publication Critical patent/KR100834157B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/55—Radiosity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/08—Gnomonic or central projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

영상 합성을 위한 조명환경 재구성 방법 및 프로그램이 기록된 기록매체가 개시된다. 본 발명의 실시예에 따른 영상합성을 위하여 조명공간을 재구성하는 방법은 대상 공간의 입력영상에 상응하는 복수개의 촬영위치를 산출하는 단계; 입력영상을 이용하여 상기 대상 공간의 조명의 특성을 분류하는 단계; 및 복수개의 촬영위치 및 조명의 특성을 이용하여 3차원 조명공간을 재구성하는 단계를 포함한다.
본 발명에 따르면, 사전 보정과정 없이 카메라 및 조명의 위치를 자동으로 산출하며, 움직이는 물체에 대해서도 정확하게 조명 정보를 적용할 수 있다는 장점이 있다.
영상합성, 렌더링, 조명

Description

영상 합성을 위한 조명환경 재구성 방법 및 프로그램이 기록된 기록매체 {Method for Light Environment Reconstruction for Image Synthesis and Storage medium storing program therefor.}
도 1은 본 발명의 일 실시예에 따른 조명환경 구성 방법의 흐름도를 도시한 도면.
도 2는 본 발명의 일 실시예에 따라 카메라의 셔터 속도를 다르게 하여 촬영한 다중 노출 영상을 예시한 도면.
도 3은 본 발명의 일 실시예에 따라 다중노출 영상을 이용하여 추정한 카메라의 응답 함수(response function)를 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상 취득 시스템의 평면도를 도시한 도면.
도 5는 본 발명의 일 실시예에 따라 촬영위치 C1 및 C2에서 취득한 전면의 반구 영상을 예시한 도면.
도 6은 본 발명의 일 실시예에 따라 전역조명을 추정하기 위한 대응점의 검색 영역 설정을 위한 방향벡터를 예시한 도면.
도 7은 본 발명의 일 실시예에 따라 L-L 단위영상간에서 샘플링된 조명과 검출된 대응점을 예시한 도면.
도 8은 본 발명의 일 실시예에 따라 LLI1에 상응한 LLI2에서의 대응점과 LLI2에서 샘플링한 조명에 대한 층들을 중첩한 영상을 예시한 도면.
도 9는 본 발명의 일 실시예에 따른 조명환경 재구성 방법으로 가상의 물체를 대상 공간에 합성한 결과를 도시한 도면.
본 발명은 조명환경 구성 방법 및 프로그램이 기록된 기록매체에 관한 것으로서, 보다 상세하게는 실 세계 공간에 가상 물체를 사실적으로 합성하기 위한 3D(Dimension) 공간 해석 및 조명환경의 구성 방법 및 프로그램이 기록된 기록매체에 관한 것이다.
실사영상에 가상 물체를 사실적(photo-realistic)으로 합성하는 기술은 컴퓨터 비전(vision)과 그래픽스 분야에서 오랫동안 연구되고 있는 분야이다. 사실적인 합성영상을 얻기 위해서는 실제 카메라와 가상의 물체 간의 기하학적인 특성을 매칭시키고, 배경영상의 다른 물체에 적용된 같은 밝기의 조명을 가상의 물체에 적용해야 한다.
일반적으로 대상 공간 내에 존재하는 조명들의 위치와 밝기를 결정하는 작업 은 상당히 많은 시간과 노력이 필요하며, 이에 따라 사실적인 장면을 얻기는 매우 어렵다. 이는 조명원(light source)들에 의한 직접 및 간접 조명, 그림자, 반사, 굴절 등의 실 세계에 존재하는 복잡한 조명의 영향 들을 충분히 고려하기 어렵기 때문이다. 이러한 합성 과정을 자동화하는 많은 렌더링 도구들이 지금까지 제안되었지만, 대부분의 연구는 조명원과 물체가 움직이지 않는 정적인 상황으로 제한된다는 문제점이 있다.
따라서, 종래의 조명환경 재구성 방법은 조명정보의 재구성을 통한 동적인 상황 등이 고려되지 않는다는 문제점이 있다.
또한, 종래의 조명환경 재구성 방법은 대상 공간을 촬영한 카메라의 위치와 내부 파라미터를 알기 위한 사전 교정이 필요하다는 문제점이 있다.
상기한 바와 같은 종래의 문제점을 해결하기 위해, 본 발명은 영상합성을 위하여 조명환경을 재구성하는 방법에 있어서 움직이는 물체에 대해서도 정확하게 조명 정보를 적용할 수 있는 조명환경 재구성 방법 및 프로그램이 기록된 기록매체를 제안하는 것이다.
또한, 본 발명은 대상공간을 촬영한 카메라 위치와 내부 파라미터를 알기 위한 사전교정이 필요 없이 이를 자동으로 추정하여 조명환경을 재구성하는 방법 및 프로그램이 기록된 기록매체를 제안하는 것이다.
본 발명의 또 다른 목적들은 이하의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일 측면에 따르면 영상합성을 위하여 조명공간을 재구성하는 방법에 있어서, 대상 공간의 입력영상에 상응하는 복수개의 촬영위치를 산출하는 단계; (b) 상기 입력영상을 이용하여 상기 대상 공간의 조명의 특성을 분류하는 단계; 및 (c) 상기 복수개의 촬영위치 및 상기 조명의 특성을 이용하여 3차원 조명공간을 재구성하는 단계를 포함하는 조명공간 재구성 방법이 제공된다.
상기 입력영상은 어안렌즈(fisheye lens)를 장착한 카메라의 셔터 속도를 각각 다르게 하여 촬영된 다중 노출영상이고, (d) 상기 (a) 단계에 선행하여 상기 다중 노출영상을 이용하여 상기 카메라의 응답함수(response function)을 추정하고 HDR(High Dynamic Range) 영상을 생성하는 단계를 더 포함할 수 있다.
상기 (a) 단계는 (a1) 상기 입력영상은 상기 복수개의 촬영위치에 상응한 전방 및 후방의 반구(hemi-sphere) 영상이고, 상기 복수개의 촬영위치를 원점으로 하는 반구 좌표계를 각각 구성하는 단계; (a2) 미리 설정된 알고리즘을 이용하여 제1 및 제2 촬영위치에서 취득된 반구 영상의 제1 및 제2 중앙점에 상응하는 사영(projection)된 중앙점을 산출하는 단계; 및 (a3) 상기 제1 및 제2 중앙점과 상기 사영된 중앙점을 이용하여 상기 제1 촬영위치에 상대적인 제2 촬영위치를 계산하는 단계를 포함하되, 상기 복수개의 촬영위치의 개수에 상응하여 상기 (a2) 단계 내지 상기 (a3)단계를 반복하여 상기 복수개의 촬영위치를 각각 산출할 수 있다.
상기 미리 설정된 알고리즘은 특징점 추출 알고리즘 및 매칭 알고리즘 중 적어도 하나일 수 있다.
상기 (a3) 단계는, 수학식
Figure 112006084747178-pat00001
를 이용하여
Figure 112006084747178-pat00002
각(∠AC1B) 및
Figure 112006084747178-pat00003
각(∠ C1 BC2)를 각각 구하는 단계 - C1 및 C2는 제1 및 제2 촬영위치이고, A 및 B는 C1 및 C2에서 취득한 반구영상의 중앙점이며,
Figure 112006084747178-pat00004
는 렌즈의 초점거리이며,
Figure 112006084747178-pat00005
은 각각의 반구영상의 중앙점과 상대 중앙점이 사영된 중앙점간의 거리임 -; 상기
Figure 112006084747178-pat00006
각(∠AC1B), 상기
Figure 112006084747178-pat00007
각(∠ C1 BC2) 및 수학식
Figure 112006084747178-pat00008
을 이용하여 제1 촬영위치 C1에 상대적인 제2 촬영위치 C2를 계산하는 단계-상기
Figure 112006084747178-pat00009
는 상기 제1 촬영위치 C1로부터 상기 중앙점 B를 통과하는 선분, 상기
Figure 112006084747178-pat00010
는 상기 제2 촬영위치 C2로부터 상기 중앙점 A를 통과하는 선분, 상기
Figure 112006084747178-pat00011
및 상기
Figure 112006084747178-pat00012
는 임의의 수
Figure 112006084747178-pat00013
및
Figure 112006084747178-pat00014
에 상응하여 각각 변화하는 상기
Figure 112006084747178-pat00015
및
Figure 112006084747178-pat00016
의 방향벡터임-를 포함할 수 있다.
상기 (b) 단계에 선행하여, (e1) 상기 입력영상은 상기 복수개의 촬영위치에 대응하는 전방 및 후방의 반구(hemi-sphere) 영상이고, 상기 입력영상을 파노라믹 변환하여 L-L(Latitude-Longitude) 단위영상을 만드는 단계; (e2) 구조적 중요 도(structured importance) 샘플링을 이용하여 상기 L-L 단위영상의 복수개의 조명원(light source)의 위치를 산출하는 단계; (e3) 상기 복수개의 촬영위치를 원점으로 하는 반구 좌표계를 각각 구성하는 단계; 및 (e4) 상기 복수개의 조명원의 위치에 상응하는 단위 방향벡터를 각각 산출하는 단계를 더 포함할 수 있다.
상기 (b)단계는, (f1) 제1 촬영위치에 대응되는 제1 L-L 단위영상에서 산출된 복수개의 단위 방향벡터 중 제1 방향 벡터를 직각 좌표계로 변환하는 단계; (f2) 제2 촬영위치에 대응되는 제2 L-L 단위영상에서 미리 설정된 알고리즘과 상기 변환된 방향 벡터를 이용하여 상기 제2 L-L 단위영상에서의 대응점을 산출하는 단계; 및 (f3) 상기 제1 L-L 단위영상에서 산출된 복수개의 단위 방향벡터의 개수에 상응하여 상기 (f1)단계 내지 (f2)단계를 반복하여 제2 L-L 단위영상에서 대응점을 각각 산출하는 단계를 포함하되, 상기 복수개의 촬영위치에 대응하는 L-L 단위영상의 개수에 상응하여 상기 (f1)단계 상기 (f3)단계를 반복하여 상기 복수개의 촬영위치에 대응하는 상기 L-L 단위영상에서 하나 이상의 상기 대응점을 각각 산출할 수 있다.
상기 (f2) 단계는 (g1) 수학식
Figure 112006084747178-pat00017
를 이용하여
Figure 112006084747178-pat00018
을 산출하는 단계-
Figure 112006084747178-pat00019
는 상기 제1 방향 벡터가 직각 좌표계로 변환된 것이고,
Figure 112006084747178-pat00020
는 임의의 수임 -; (g2) 상기
Figure 112006084747178-pat00021
와 수학식
Figure 112006084747178-pat00022
을 이용하여
Figure 112006084747178-pat00023
을 산출하는 단계; 및 (g3) 상기
Figure 112006084747178-pat00024
을 이용하여 상기 제2 L-L 단위영상에서 대응 점을 산출할 수 있다.
상기 (g3)단계는 (h1) 상기
Figure 112006084747178-pat00025
을 구면 좌표계로 변환하여
Figure 112006084747178-pat00026
을 산출하는 단계; (h2) 상기
Figure 112006084747178-pat00027
가 상기 제2 L-L 단위영상에 대응되는 위치를 산출하는 단계; (h3) 상기 산출된 위치를 중심으로 미리 지정된 크기의 검색영역 내에서 밝기에 대한 SSD(Sum of Squared Differences)가 가장 적은 값에 대응되는 위치를 대응점으로 산출하는 단계를 포함할 수 있다.
상기 (b)단계는 (i1) 제2 촬영위치에 대응하는 제2 L-L 단위영상에서 복수개의 조명을 샘플링하는 단계; (i2) 상기 복수개의 조명의 개수에 상응하여 상기 제2 L-L 단위영상을 복수개의 층(strata)을 나누는 단계; 및 (i3) 상기 대응점을 포함하지 않는 층에 상응하는 조명을 지역조명으로 산출하는 단계를 상기 단계 (f3) 이후에 더 포함할 수 있다.
제 (c)단계는 (j1) 제1 및 제2 촬영위치에 상응하는 복수개의 단위 방향벡터를 수학식
Figure 712008001235638-pat00169
을 이용하여 복수개의 3차원 단위 방향벡터로 각각 변환하는 단계; 및 (j2) 상기 촬영위치 및 상기 복수개의 3차원 방향벡터를 미리 설정된 알고리즘에 적용하여 전역 조명의 좌표를 산출하는 단계를 포함하되, 상기 복수개의 촬영위치에 대응하는 상기 L-L 단위 영상의 개수에 상응하여 상기 (j1)단계 내지 (j2)단계를 반복하여 상기 전역조명의 좌표를 각각 산출할 수 있다.
상기 (j2)단계는 (k1) 수학식
Figure 112006084747178-pat00029
을 이용하여
Figure 112006084747178-pat00030
및
Figure 112006084747178-pat00031
을 각각 산출하는 단계 -
Figure 112006084747178-pat00032
및
Figure 112006084747178-pat00033
는 각각 제1 및 제2 촬영위치의 3차원 단위 방향벡터; 및 (k2) 상기
Figure 112006084747178-pat00034
및 상기
Figure 112006084747178-pat00035
의 교차점을 전역 조명의 좌표로 산출하는 단계를 포함하되, 상기 3차원 단위 방향벡터
Figure 112006084747178-pat00036
및
Figure 112006084747178-pat00037
의 개수에 상응하여 상기 (k1)단계 내지 (k2)단계를 반복하여 상기 전역 조명의 좌표를 각각 산출할 수 있다.
상기 (k2)단계는 상기
Figure 112006084747178-pat00038
및 상기
Figure 112006084747178-pat00039
의 교차점이 존재하지 않는 경우 상기
Figure 112006084747178-pat00040
및 상기
Figure 112006084747178-pat00041
간에 거리가 각각 가장 가까운 위치를 전역조명의 좌표로 산출하는 단계를 더 포함할 수 있다.
상기 (c) 단계는 (l1) 제1 및 제2 촬영위치에 상응하는 복수개의 단위 방향벡터를 수학식
Figure 712008001235638-pat00170
을 이용하여 복수개의 3차원 단위 방향벡터로 각각 변환하는 단계; (k2) 상기 복수개의 3차원 단위 방향벡터의 교차점을 지역조명의 좌표로 산출하는 단계; (k3) 상기 복수개의 촬영위치에 대응하는 상기 L-L 단위 영상의 개수에 상응하여 상기 (k1)단계 내지 (k2)단계를 반복하여 상기 L-L 단위영상에서 상기 지역조명의 좌표를 각각 산출하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 의하면, 영상합성을 위한 조명환경 재구성을 위하여 디지털 영상처리기에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 영상처리기에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서, (a) 대상 공간의 입력영상에 상응하는 복수개의 촬영위치를 산출하는 단계; (b) 상기 입력영상을 이용하여 상기 대상 공간의 조명의 특성을 분류하는 단계; 및 (c) 상기 복수개의 촬영위치 및 상기 조명의 특성을 이용하여 3차원 조명공간을 재구성하는 단계를 실행하는 프로그램을 기록한 기록매체가 제공된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한 본 명세서에서 제1 촬영위치에서 취득한 L-L 환경맵과 제 2 촬영위치에서 취득한 L-L 환경맵을 예로 들어서 본 발명의 일 실시예를 설명을 하나, 상술한 과정이 촬영위치를 달리하며 복수개의 촬영위치만큼 되풀이 될 수 있음은 당업자에게 자명하다.
이하, 본 발명의 일 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1은 본 발명의 일 실시예에 따른 조명공간 재구성 방법의 흐름도를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 조명공간 재구성 방법은 단계 S101에서 조명 정보를 해석하기 위한 대상 공간의 전방향(omni-directional) 영상을 취득한다.
예를 들어, 어안렌즈(fisheye lens)를 장착한 디지털 카메라로 대상 공간의 전방향 영상을 취득할 수 있으며, 3차원 공간의 360도 모든 공간에 대한 조명정보를 취득하기 위하여 전방 및 후방의 반구 영상(hemi-sphere)을 취득 할 수 있다.
이 때, 대상공간에서 영상을 촬영하는 장치는 어안렌즈를 장착한 디지털 카메라에 한정되지 아니하며, 장치의 명칭에 구애 받지 아니하고 대상공간에서 조명 정보를 취득하는 모든 기기를 포함함은 당업자에게 자명하다. 다만, 본 명세서에서는 본 발명에 대한 이해 및 설명의 편의를 도모하기 위해 어안렌즈를 장착한 디지털 카메라를 예를 들어 설명한다.
여기서, 디지털 카메라로 촬영한 영상의 픽셀값(pixel value)은 대상 공간에서 전방향 영상 취득 당시의 입력 조건에 따라 고정되기 때문에 실제의 래디언스(radiance)가 아닌 제한된 조명정보가 얻어지며, 조명 조건과 카메라의 위치가 변화함에 따라 새로운 장면을 표현하기 어렵다. 따라서, 단계 S102에서 이런 문제점을 해결하기 위해 대상 장면에 대한 셔터 속도를 각각 다르게 하여 촬영한 다중 노출 영상들로부터 카메라의 응답함수(response function)를 추정하고 HDR(High Dynamic range) 영상을 생성한다.
이어서, 단계 S103에서 대상 공간의 전방향 영상을 취득한 카메라의 위치를 산출하고, 단계 S104에서 조명의 특성을 분류한다.
이어서, 단계 S104에서 대상 공간 대부분에 영향을 미치는 전역(global) 조명을 추정하기 위한 대응점을 산출하는 단계(S 105)와 일부 지역에 제한된 영향을 주는 방향성을 갖는 지역(local) 조명을 추정하는 단계(S106)을 포함한다.
이어서, 단계 S107에서 전역조명 및 지역조명의 3차원 좌표를 산출하여 3차원 조명 환경을 구성하고, 단계 S108에서 가상의 물체를 실제의 장면에 영상 합성하여 렌더링(rendering)한다.
지금까지 본 발명의 일 실시예에 따른 조명공간 재구성 방법의 흐름에 대해서 설명하였다. 이하에서는 본 발명의 일 실시예에 따른 조명공간 재구성 방법의 각 단계에 대해서 도면을 참조하여 상세히 후술하며, 먼저 카메라의 응답함수를 추정하여 HDR 영상을 생성하는 단계(S102)에 대해서 설명한다.
도 2는 본 발명의 일 실시예에 따라 카메라의 셔터 속도를 다르게 하여 촬영한 다중 노출 영상을 예시한 도면이며, 도 3은 본 발명의 일 실시예에 따라 다중노출 영상을 이용하여 추정한 카메라의 응답 함수(response function)를 예시한 도면이다.
도 2를 참조하면, 디지털 카메라의 셔터 속도를 빠르게 하여 대상 공간을 촬영한 영상(201)부터 점차적으로 셔터 속도를 느리게 하여 대상 공간을 촬영한 영상(206)이 예시되어 있다.
일반적으로 디지털 카메라로 영상을 찍으면 Dynamic Range가 좁아서 셔터속도를 느리게 찍어서 광량을 많이 확보했을 경우(예를 들어, 도2의 201영상)에는 어두운 부분은 표현이 되지만 밝은 부분이 하얗게 촬상되지 않는다. 반대로 디지털 카메라의 셔터속도를 빠르게 했을 경우에는 밝은 부분이 잘 표현되지만 어두운 부분은 어두워져서 구분이 불분명해진다. 왜냐하면 디지털 카메라로는 실세계의 넓은 조명영역을 모두 표현할 수 없기 때문이다.
따라서, 본 발명의 일 실시예에서는 이것을 극복하기 위한 방법으로서, 같은 위치의 대상 공간을 디지털 카메라의 노출을 각각 달리하여 여러 장 촬영한다. 또한 촬영을 통해 생성된 영상의 각각 픽셀위치에 대한 픽셀값을 0~255 사이값이 아닌 더 넓은 영역의 값으로 잘게 나눈다. 이 잘게 나누어진 넓은 영역의 데이터로 영상을 표현하면 HDR 영상이 되며, 잘게 나누어진 조명의 픽셀값을 그래프로 그리면 도3의 카메라 응답함수(300)가 된다.
보다 상세하게는, 도 2에 예시된 바와 같이 같은 위치의 대상 공간을 디지털 카메라의 노출을 각각 달리하여 촬영하여서 다중 노출 영상을 생성하면, 특정한 위치에 해당하는 픽셀값(0~255 사이값)이 셔터속도의 변화에 따라 어떻게 변화하는지를 알 수가 있다.
예를 들어, 특정 위치의 픽셀값이 255에서 200, 180, 90, 50 및0의 값으로 변화하는 것을 볼 수 있다.
이 때, 모든 픽셀에 대해서 위와 같은 데이터를 각각 수집해서 수학적인 계산을 이용하여 디지털 카메라 응답함수(300)를 추정할 수 있다(여기서, 응답함수는 특정 위치의 픽셀값(0~255)에 대한 실제 조명값임).
여기서, 특정 위치의 픽셀값을 이용하여 디지털 카메라의 응답함수를 추정하는 방법은 이미 공지된 기술이므로, 본 명세서에서 상세한 설명은 생략한다.
도 3에 도시된 디지털 카메라의 응답함수(300)를 이용하면, 카메라로 찍은 영상의 픽셀값을 실제조명 값으로 전환할 수 있고, 따라서 HDR영상을 생성할 수 있다.
지금까지 도 2및 도 3을 참조하여 카메라의 응답함수를 추정하여 HDR 영상을 생성하는 단계(도 1의 S102)에 대하여 설명하였고, 이하에서는 대상공간을 촬영한 디지털 카메라의 위치를 산출하는 단계(도 1의 S103)에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상 취득 시스템의 평면도를 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따라 촬영위치 C1(401) 및 C2(402)에서 취득한 전면의 반구 영상을 예시한 도면이다.
일반적으로 대상 공간의 360도 모든 부분에 대한 조명정보를 갖고 있는 환경맵은 일반적으로 먼 곳에 존재하는 광원들에 의해 조명되는 장면을 생성하기 위해 사용하며, 환경맵의 밝은 영역을 샘플링해서 대상 장면에 존재하는 조명원의 분포를 취득한다.
실세계는 복잡한 구조로 구성되기 때문에 고정된 한 지점에서 취득한 래디언스 분포가 장면 내에 존재하는 다양한 조명원들의 영향을 모두 표현할 수 없다. 이는 복잡한 구조로 구성된 공간 내에 단일 환경맵에서 샘플링할 수 없는 지역적인 특성을 지닌 다수의 조명원들이 존재하기 때문이다
따라서, 본 발명의 일 실시예에서는 지역적인 특성을 지닌 조명원을 해석하기 위해 각각 다른 위치에 카메라를 위치시켜 다수의 HDR 영상을 취득한다.
여기서, 셔터 속도를 달리하여 촬영한 다중 노출 영상들로부터 추정한 카메라의 응답함수를 이용하여 HDR 영상을 생성하는 과정에 대해서는 도 2 및 도 3을 참조하여 설명하였으므로 중복되는 설명은 생략한다.
도 4를 참조하면, Ci(i= 1, 2, 3, … , n)(401 내지 404)은 각각의 디지털 카메라들의 사영(projection) 중심점이고, 각 지점에서 모든 카메라들은 수직축을 중심으로 회전하지 않고 대상공간을 촬영한다. 본 발명의 일 실시예에서는 발명의 이해와 설명의 편의를 도모하기 위하여 대상 공간은 정육면체 형태로 가정하나, 본 발명이 적용될 수 있는 대상공간이 이에 한정되지 아니함은 당업자에게 자명하다.
또한, 도 4에는 카메라의 위치(이하 '촬영위치'라 칭함)를 예를 들어 4곳을(401 내지 404) 예시하였으나, 본 발명을 적용하는 환경 및 목적에 따라 다양하게 변경될 수 있음은 당업자에게 자명하다.
본 발명의 일 실시예에 따라 각각의 위치에서 촬영한 전방 및 후방의 반구(hemi-sphere) 영상을 파노라믹 변환하여 위도-경도(Latitude-Longitude) 환경맵(이하 'L-L 단위영상'이라 칭함)을 만든 다음, 구조적 중요도(structured importance) 샘플링에 의해 조명들의 위치를 결정한다.
여기서, 파노라믹 변환은 3차원 영상정보를 2차원인 파노라마 영상으로 변환하는 기술이다. 2차원 파노라마 영상은 2차원 영상이지만 3차원 정보를 모두 가지므로, 2차원 파노라마 영상에서 특정 위치를 선택하면 그 위치가 3차원상에서 어디에 존재하는 지를 알 수 있다. 파노라마 변환은 공지될 기술이므로 변환 과정에 대한 설명은 본 명세서에서 생략한다.
이 때 생성된 2차원 파노라마 영상은 2차원 영상이지만, 3차원 정보를 모두 갖는 HDR 영상이다.
여기서, 2차원 파노라마 영상에 포함된 모든 조명정보를 렌더링 하는 경우 실재와 같은 영상을 얻을 수 있으나, 계산시간이 매우 커지게 된다. 따라서 본 발명의 일 실시예에서는 공간의 조명을 가장 잘 표현하는 제한된 수의 조명을 샘플링하는 구조적 중요도 샘플링(structured importance sampling)을 적용할 수 있다. 이 때, 샘플링된 조명들의 위치값은 파노라믹 변환의 역변환을 하면 3차원 상에서 위치산출이 가능하고, 그 곳의 조명의 밝기 정도도 알 수 있다.
이 때, 본 발명의 실시과정에서 적용될 수 있는 샘플링이 이에 한정되지 아니함은 당업자에게 자명하다.
이어서, 카메라의 위치(예를 들어 401 내지 404)를 원점으로 하는 반구 좌표계를 구성하고, 반구 영상에 존재하는 조명원에 대한 단위 방향벡터를 산출한다. 산출된 방향벡터는 이후 전역조명 및 지역조명을 추정하고 각각의 위치를 추정하는 단계(도 1의 S104 내지 S107단계)에서 사용되는데, 이에 대해서는 도 6 내지 도 8를 참조하여 이후 설명한다.
본 발명의 일 실시예에 의하면 복수개의 촬영위치를 산출하기 위하여 공간의 중앙지점에서 위치한 촬영위치 C1(401)을 원점으로 정의하고 나머지 다른 지점(예를 들어, C2 내지 C4)간의 상대적인 위치를 계산한다. 이하에서는 본 발명의 이해와 설명의 편의상 촬영위치 C1(401)과 C2를 예로 들어 도 4 및 도 5를 참조하여 설명한다.
본 발명의 일 실시예에 따라 C1(401) 및 C2(402)에서 취득한 전면의 반구 영상의 중앙점 A 및 B의 위치를 (0, L)(431) 및 (Δx, L)(432)로 정의할 수 있다. 그리고 특징점(feature point) 추출 알고리즘 및 매칭 알고리즘을 이용하여 사영된 중앙점 A' (511) 및 B'(512)을 산출한다.
여기서 특징점 추출 알고리즘은 주변픽셀과의 밝기의 차가 큰 지점 또는 여 러 직선 성분이 교차하는 지점을 미분 연산자등을 이용하여 추출하는 방법으로서 공지된 기술이므로 이에 대한 설명은 생략한다.
또한, 매칭 알고리즘은 마스크(mask)를 사용하여 왼쪽 영상(501)의 특정 위치에 대한 오른쪽 영상(502)에서의 대응하는 위치를 구하는 방법으로서 공지된 기술이므로 이에 대한 설명은 생략한다.
본 발명의 일 실시예에 따라 중앙점 A(431) 및 B(432)와 사영된 중앙점 A' (511) 및 B'(512)을 이용하여
Figure 112006084747178-pat00043
각(∠AC1B)(421) 및
Figure 112006084747178-pat00044
각(∠ C1 BC2)(422)를 하기의 수학식 1을 이용하여 산출한다.
Figure 112006084747178-pat00045
여기서,
Figure 112006084747178-pat00046
는 렌즈의 초점 거리(focal length)이며,
Figure 112006084747178-pat00047
(521) 및
Figure 112006084747178-pat00048
(522)는 각각 영상의 중심점과 상대 중심점이 사영된 지점 간의 거리이다. 본 발명의 일 실시예에 따라
Figure 112006084747178-pat00049
각(421)과
Figure 112006084747178-pat00050
각(422)를 계산한 후, 방향 벡터
Figure 112006084747178-pat00051
및
Figure 112006084747178-pat00052
와 라인
Figure 112006084747178-pat00053
및
Figure 112006084747178-pat00054
들을 하기의 수학식을 이용하여 정의할 수 있다.
Figure 112006084747178-pat00055
여기서,
Figure 112006084747178-pat00056
는 제1 촬영위치 C1(401)로부터 중앙점 B(432)를 통과하는 선 분, 상기
Figure 112006084747178-pat00057
는 제2 촬영위치 C2(402)로부터 중앙점 A(431)를 통과하는 선분, 방향벡터
Figure 112006084747178-pat00058
및
Figure 112006084747178-pat00059
는 임의의 수
Figure 112006084747178-pat00060
및
Figure 112006084747178-pat00061
에 상응하여 각각 변화하는 선분
Figure 112006084747178-pat00062
및
Figure 112006084747178-pat00063
의 방향벡터이다.
이어서, 본 발명의 실시예에 따라 선분
Figure 112006084747178-pat00064
가 y=L인 지점을 교차할 때 Δx(411)를,
Figure 112006084747178-pat00065
가 x=Δx인 지점을 교차할 때 Δy(412)를 각각 산출할 수 있고, 따라서 제2 촬영위치인 C2의 위치(402)를 산출 할 수 있다.
지금까지 본 발명의 실시예에 따라 제1 촬영위치 C1(401)를 원점으로 두고 제2 촬영위치 C2(402)의 위치를 산출하는 방법에 대하여 설명하였고, 이와 같은 방법으로 다른 촬영위치인 Ci도 위와 같은 방법으로 산출할 수 있음은 당업자에게 자명하다.
지금까지, 본 발명의 일 실시예에 따라 카메라의 위치를 산출하는 단계(도1의 S103단계)를 도4 및 도 5를 참조하여 설명하였고, 이하에서는 조명의 특성을 분류하는 단계(도1의 S104단계)에서 전역 조명을 추정하기 위하여 대응점을 산출하는 단계(도1의 S105)를 설명한다.
본 발명의 일 실시예에 따라 대상공간에서 취득한 조명들의 특성은 전역조명과 지역조명으로 분류될 수 있다. 전역조명은 대상 공간 내의 모든 영역에 직접적 인 영향을 미치고 모든 L-L 단위영상에서 취득되는 반면, 지역조명은 대상 공간 내의 특정 지역에만 영향을 미친다. 가상의 물체가 대상 공간 내에서 특정 지역으로 이동할 경우 전역조명뿐만 아니라 지역조명에 의해 영향 받도록 하기 위해 복수개의 촬영위치에서 취득한 L-L 단위영상들로부터 조명의 특성을 분류하여 조명공간을 재구성한다.
이하에서는 먼저 전역조명을 추정하기 위한 대응점을 산출하는 과정(도 1의 단계 S105)에 대해서 먼저 설명한다.
도 6은 본 발명의 일 실시예에 따라 전역조명을 추정하기 위한 대응점의 검색 영역 설정을 위한 방향벡터를 예시한 도면이고, 도 7은 본 발명의 일 실시예에 따라 L-L 단위영상간에서 샘플링된 조명과 검출된 대응점을 예시한 도면이다.
일반적으로 전역조명들의 3차원 좌표는 L-L 단위영상간의 대응점들을 사용해서 추정할 수 있다. 그러나 L-L 단위영상은 구면 사영으로 인한 왜곡 때문에 기존의 특징점 추출 알고리즘으로는 대응점들을 효과적으로 구하기 어렵다.
따라서 본 발명의 일 실시예에서는 L-L 단위영상에서 대응점을 검색하기 위해 조명위치의 방향벡터에 기반한 적응적 검색영역을 이용하는 특징점 추출 알고리즘을 정의하여 적용한다.
먼저, 본 발명의 일 실시예에 따르면 대상공간의 중앙위치인 제1 촬영위치 C1(401)에서 취득한 L-L 단위 기본영상(이하 'LLI1'이라 칭함)에서 샘플링된 조명의 위치를 전역조명으로 추정할 수 있다. 왜냐하면, 대상 공간상의 중앙지점에서 취득 한 조명 정보이므로 대상 공간내의 모든 위치에 영향을 미친다고 가정할 수 있기 때문이다.
이어서, LLI1에서 얻은 조명의 위치를 전역조명으로 정확한 위치를 산출하기 위해서는 다른 지역(예를 들어 제2 촬영위치 C2(402))에서 취득한 L-L 단위영상에서의 전역조명에 대한 정보가 필요하다. 왜냐하면 LLI1에서 추정한 전역조명위치는 수학적으로 전역 조명이 있는 방향을 가리키는 벡터이기 때문에, 다른 지역에서 취득한 전역조명에 대한 정보를 이용하여 거리를 확정 지어야 3차원 공간상에서 위치 시킬 수 있게 된다.
다만, 본 발명은 제1 촬영위치가 대상공간의 중앙지점에 한정되지 아니하고 임의의 위치가 될 수 있으며, 그에 따라 전역 조명을 산출하기 위한 방법이 부가될 수 있음은 당업자에게 자명하다.
본 발명의 일 실시예에 따라 LLI1에서 샘플링한 조명원 중 임의의 조명원에 대한 방향벡터(카메라 위치를 원점으로 하는 반구좌표계에서 조명원에 대한 방향벡터임, 도4 참조)를 직각 좌표계 변환하여
Figure 112006084747178-pat00066
를 산출하여, 하기의 수학식 3에 의해 3차원 선분
Figure 112006084747178-pat00067
(601)을 산출 할 수 있다.
Figure 112006084747178-pat00068
이어서, 본 발명의 일 실시예에 따라 제2 촬영위치 C2(402)에서 취득한 L-L 단위영상(이하 'LLI2'라 칭함) 상에서 대응점을 검색하는 검색영역(search region)을 설정하기 위하여, 제2 촬영위치 C2(402)로부터
Figure 112006084747178-pat00069
(601)로 향하는 방향벡터
Figure 112006084747178-pat00070
(602)을 하기의 수학식 4에 의하여 산출할 수 있다.
Figure 112006084747178-pat00071
여기서, 도 6에 예시된 바와 같이
Figure 112006084747178-pat00072
(602)는 임의의 수
Figure 112006084747178-pat00073
에 따라 변화할 수 있다.
도 7을 참조하면, 도 7의 (a)는 본 발명의 일 실시예에 따라 LLI1에서 샘플링된 조명이 예시된 도면이고, 도 7의 (b)는 본 발명의 일 실시예에 따라 LLI1의 임의의 조명에 대하여 LLI2에서의 대응점 검색영역이 예시된 도면이고, 도 7의 (c)는 본 발명의 일 실시예에 따라 LLI1의 임의의 조명에 대하여 LLI2에서 샘플링된 대응점이 예시된 도면이다.
본 발명의 일 실시예에 따라 LLI1상의 임의의 조명(701)의 방향벡터와 수학식 4를 이용하여 산출한
Figure 112006084747178-pat00074
(602)의 궤적을 LLI2에서의 위치를 산출할 수 있다(702).
여기서, LLI1상의 임의의 조명(701)과 LLI2상의
Figure 112006084747178-pat00075
(602)의 위치를 중심으로 미리 지정된 마스크(mask) 속의 영상의 밝기에 대한 SSD(sum of Squared Difference)를 구해 가장 적은 값이 나오는 지점을 LLI2상의 대응점으로 정할 수 있다.
예를 들어, 미리 지정된 마스크(mask)의 크기가 매크로 블록(macro block) 5Ⅹ5 크기인 경우 LLI1상의 임의의 조명(701)과 LLI2상의
Figure 112006084747178-pat00076
(602)의 위치를 중심으로 매크로 블록(macro block) 5Ⅹ5 크기의 마스크 내에서 영상의 밝기에 대한 SSD(sum of Squared Difference)를 구해 가장 적은 값이 나오는 지점을 LLI2상의 대응점으로 정할 수 있다.
이어서, 본 발명의 일 실시예에 따라 상술한 방법으로 LLI1상의 임의의 조명을 달리하며 LLI2상의 대응점을 각각 산출하여 LLI2상에 예시하면 도 7의 (c)와 같다.
본 발명의 일 실시예에서는 실험영상에서 카메라로 입사된 래디언스 에너지 중 대부분이 천장의 조명으로부터 블루 스크린에 반사된 것이기 때문에 도 7의 (c)의 블루 스크린상에 많은 조명이 전역 조명을 추정하기 위한 대응점으로 샘플링되었다.
지금까지 상술한 방법으로 복수개의 촬영위치에서 촬영한 L-L 단위영상간의 대응점을 샘플링할 수 있음은 당업자에게 자명하므로, 여기서 중복된 설명은 생략한다.
지금까지 전역조명을 추정하기 위한 대응점을 산출하는 단계(도 1의 단계 S105)에 대해서 도 6 및 도 7를 참조하여 설명하였다. 이하에서는 본 발명의 일 실 시예에 따라 지역조명을 추정하는 방법에 대해서 설명한다.
합성된 영상에서 물체가 제1 촬영위치 C1(401)에서 제2 촬영위치 C2(402)위치로 이동하는 장면을 더욱 사실적으로 표현하기 위해 제2 촬영위치 C2(402) 지역에만 영향을 주는 지역 조명이 고려되어야 한다. LLI2에서 샘플링된 조명은 지역 조명뿐만 아니라 전역 조명도 포함되어 있다.
본 발명의 일 실시예에 따라 지역 조명을 검출하기 위해 제2 촬영위치 C2(402)에 대응하는 L-L 단위영상에서 복수개의 조명원을 샘플링한 후, 샘플링된 조명원의 개수만큼 생성되는 층(strata) Si 정보를 사용할 수 있다.
도 8은 본 발명의 일 실시예에 따라 LLI1에 상응한 LLI2에서의 대응점과 LLI2에서 샘플링한 조명에 대한 층(strata)들을 중첩한 영상을 예시한 도면이다.
먼저, 도 8에 도시된 층(strata)(예들 들어, 도8의 801, 802)에 대해서 살펴보면, 층은 LLI2에서 복수개의 조명을 샘플링하는 과정에서 생성된 것으로서, 샘플링된 조명의 개수만큼 생성이 된다.
본 발명의 일 실시예에 따르면 LLI2에서 구조적 중요도 샘플링할 때, 각 층 하나당 조명 한 개가 샘플링될 수 있다. 이 때, 그 조명은 그 층이 포함하는 영역의 조명 정보를 대표할 수 있다. 즉, 층에 포함된 각 픽셀 위치의 모든 픽셀값들을 더해서 평균을 내어 산출한 조명밝기를 샘플링된 조명이 대표하게 된다.
도 8을 참조하면, LLI2의 영상, LLI2에서 구조적 중요도 샘플링하는 과정에 서 생성된 층 및 LLI1의 조명에 상응하여 LLI2에서 산출된 대응점이 중첩되어 있다.
여기서 본 발명의 일 실시예에 따라 하기의 의사(pseudo) 코드로서 지역 조명을 추정할 수 있다.
For i=1, 2, 3, …, k
For j=1, 2, 3, …, n
If Cpj ∈ Si then false
else true
Loop j
If true then Si is the stratum of local light
Loop i
여기서 Cp는 LLI1의 조명에 상응하는 LLI2에서의 대응점이며, n는 Cp의 개수이고, k는 LLI2에서 구조적 중요도 샘플링에 의하여 산출된 조명의 개수이다.
본 발명의 일 실시예에 따른 상기의 의사코드를 참조하면, LLI2의 복수개의 층 중에서 대응점을 포함하지 않는 층(예를 들어 도 8의 801)을 지역조명으로 추정할 수 있게 되고, 그 층을 대표하는 LLI2의 조명을 지역조명의 위치로 산출할 수 있다.
지금까지, LLI1의 영상과 LLI2의 영상과의 관계에서 LLI2의 지역조명을 산출하는 방법에 대해서 설명하였으며, 복수개의 촬영위치를 달리하며 그에 상응하는 L-L단위 영상에서 상술한 방법을 되풀이하여 지역조명을 각각 산출 할 수 있음은 당업자에게 자명하므로, 본 발명의 요지를 명확하게 하기 위하여 중복되는 설명은 생략한다.
지금까지, 지역조명을 산출하는 방법에 대해서 설명하였고, 하기에서는 전역조명 및 지역조명의 3차원 좌표를 산출하는 단계(도 1의 S107)를 설명한다.
본 발명의 일 실시예에 따라, 촬영위치를 산출하고(도 1의 S103), 조명에 대한 특성을 전역조명(도1의 S105) 및 지역조명(도 1의 S106)을 산출한 후, 각각의 3차원 좌표를 산출하여 3차원 조명 환경을 구성할 수 있다(도 1의 S107).
먼저 전역조명들의 3차원 좌표를 산출하는 방법을 LLI1과 LLI2를 예로 들어서 설명한다.
본 발명의 일 실시예에 따르면, 전역조명들의 3차원 좌표값은 스테레오 알고리즘에 의하여 산출 할 수 있다.
스테레오 알고리즘은 두 개의 영상을 이용하여 서로의 대응점을 산출 한 뒤, 각각의 벡터의 교차점을 3차원상의 위치로 결정하는 방법으로서 공지된 기술이므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따라 L-L 단위영상에서 산출한 대응점의 2차원 좌표값은 하기의 수학식 5에 의하여 3차원 방향벡터
Figure 112006084747178-pat00077
를 산출할 수 있다.
Figure 712008001235638-pat00171
본 발명의 일 실시예에 따라 LLI1에서 산출된 전역 조명에 대한 복수개의 방향벡터
Figure 112006084747178-pat00079
와 LLI2에서 산출된 대응점에 대한 방향벡터
Figure 112006084747178-pat00080
을 수학식 5를 이용하여 산출하고,
Figure 112006084747178-pat00081
,
Figure 112006084747178-pat00082
및 하기의 수학식 6을 이용하여 선분
Figure 112006084747178-pat00083
및
Figure 112006084747178-pat00084
을 산출 할 수 있다.
Figure 112006084747178-pat00085
여기서
Figure 112006084747178-pat00086
은 전역조명의 개수이다.
이어서, 본 발명의 일 실시예에 따라 스테레오 알고리즘에 의하여 선분
Figure 112006084747178-pat00087
및
Figure 112006084747178-pat00088
의 교차점을 전역조명의 3차원 좌표로 산출 할 수 있다.
그러나, L-L 단위영상 취득과정에서 발생하는 오차로 인해 두 선분이 정확히 교차하지 않는 경우가 발생할 수 있으며, 이 경우에는 두 선분 사이의 거리가 가장 가까운 지점을 전역조명의 3차원 좌표로 결정할 수 있다. 이 때, 두 선분의 3차원에서 거리는 하기의 수학식 7에 의하여 산출할 있다.
Figure 112006084747178-pat00089
본 발명의 일 실시예에 따른 지역조명의 3차원 좌표는 각 L-L 단위 영상의 방향벡터가 가상의 공간에서 교차하는 위치를 산출하여 구할 수 있다.
전역조명은 포인트 라이트(point light)로서 조명이 방사선으로 뻗어나가 모든 대상공간에 영향을 미치는 반면에, 지역조명은 방향성이 있는 조명(directional light)이다.
예를 들어, 가상의 공간을 큐브 형태로 둘 수 있으며, 제1 L-L 단위영상의 방향벡터가 큐브에 접하는 지점에 제1 지역조명을 위치시킬 수 있다.
이때, 제1 지역조명은 방향성이 있는 조명(directional light)이므로 제1 L-L 단위영상에 대응하는 제1 촬영위치에만 영향을 미친다.
상술한 방법으로 각 L-L 단위영상에서의 각 방향벡터가 가상의 공간에 교차하는 위치를 지역조명으로 각각 산출 할 수 있음은 당업자에게 자명하다.
지금까지 전역조명 및 지역조명의 3차원 좌표를 산출하여 영상합성을 위한 3차원 조명 환경을 구성하는 단계(도 1의 S107)에 대해서 도 9를 참조하여 설명하였다. 3차원 조명환경이 구성된 후 대상공간에 가상의 물체를 합성하여 렌더 링(rendering)(도 1의 S108)하는 단계는 당업자에게 공지된 기술이므로 본 명세서에서는 상세한 설명을 생략한다.
도 9는 본 발명의 일 실시예에 따른 조명환경 재구성 방법으로 가상의 물체를 대상 공간에 합성한 결과를 도시한 도면이다. 보다 상세하게는 동적인 상황에 대한 사실적인 표현 여부를 파악하기 위해 가상 물체를 제1 촬영지점 C1(401)에서 제2 촬영지점 C2(402)로 이동시키며 렌더링한 합성영상이다.
도 9를 참조하면, 도 9의 (a)는 제1 촬영지점 C1(401)에서 렌더링한 영상이고, 도 9의 (b)는 제2 촬영지점 C2(402)에서 전역조명만을 이용하여 레더링한 영상이며, 도 9의 (c)는 제2 촬영지점 C2(402)에서 전역조명 및 지역조명 모두 이용하여 렌더링한 영상이다.
본 발명의 일 실시예에 따른 제1 촬영지점 C1(401)에서 렌더링한 영상은 전역조명만이 존재한다고 가정하였기 때문에 일부 지역조명을 고려하는 경우와 차이가 거의 없었다(도 9의 (a)참조). 그러나, 물체가 제2 촬영지점 C2(402)으로 이동함에 따라 지역조명의 영향이 고려되어 보다 밝고 사실적인 장면을 표현할 수 있다(도 9의 (c)참조). 왜냐하면 도 7의 (a)에 예시된 바와 같이 대상공간의 블루 스크린에 많은 간접조명이 존재하기 때문이다. 따라서, 구, 토러스, 테이블 등의 가상물체가 블루 스크린에 가까운 제2 촬영지점 C2(402)으로 이동함에 따라 도 9의 (c) 와 같이 전역 조명뿐만 아니라 지역 조명에 의해 자연스러운 조명이 이뤄진다.
상기한 본 발명의 일 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 의한 조명환경 재구성 방법 및 프로그램이 기록된 기록매체는 움직이는 물체에 대해서도 정확하게 조명 정보를 적용할 수 있다는 장점이 있다.
또한, 본 발명은 대상공간을 촬영한 카메라 위치와 내부 파라미터를 알기 위한 사전교정이 필요 없이 이를 자동으로 추정하여 조명환경을 재구성할 수 있다는 장점이 있다.

Claims (15)

  1. 영상합성을 위하여 조명공간을 재구성하는 방법에 있어서,
    (a) 대상 공간의 입력영상에 상응하는 복수개의 촬영위치를 산출하는 단계;
    (b) 상기 입력영상을 이용하여 상기 대상 공간의 조명을 전역조명 또는 지역조명으로 분류하여 산출하는 단계; 및
    (c) 상기 산출된 전역조명 또는 지역조명의 3차원 좌표 및 상기 복수개의 촬영위치의 3차원 좌표를 포함하는 3차원 조명 공간을 산출하는 단계를 포함하는 조명공간 재구성 방법
  2. 제 1항에 있어서,
    상기 입력영상은 어안렌즈(fisheye lens)를 장착한 카메라의 셔터 속도를 각각 다르게 하여 촬영된 다중 노출영상이고,
    (d) 상기 (a) 단계에 선행하여 상기 다중 노출영상을 이용하여 상기 카메라의 응답함수(response function)을 추정하고 HDR(High Dynamic Range) 영상을 생성하는 단계를 더 포함하는 조명공간 재구성 방법.
  3. 제 1항에 있어서
    상기 (a) 단계는
    (a1) 상기 입력영상은 상기 복수개의 촬영위치에 상응한 전방 및 후방의 반구(hemi-sphere) 영상이고, 상기 복수개의 촬영위치를 원점으로 하는 반구 좌표계를 각각 구성하는 단계;
    (a2) 미리 설정된 알고리즘을 이용하여 제1 및 제2 촬영위치에서 취득된 반구 영상의 제1 및 제2 중앙점에 상응하는 사영(projection)된 중앙점을 산출하는 단계; 및
    (a3) 상기 제1 및 제2 중앙점과 상기 사영된 중앙점을 이용하여 상기 제1 촬영위치에 상대적인 제2 촬영위치를 계산하는 단계를 포함하되,
    상기 복수개의 촬영위치의 개수에 상응하여 상기 (a2) 단계 내지 상기 (a3)단계를 반복하여 상기 복수개의 촬영위치를 각각 산출하는 조명공간 재구성 방법.
  4. 제 3항에 있어서
    상기 미리 설정된 알고리즘은 특징점 추출 알고리즘 및 매칭 알고리즘 중 적어도 하나인 조명공간 재구성 방법.
  5. 제 3항에 있어서,
    상기 (a3) 단계는,
    수학식
    Figure 112006084747178-pat00090
    를 이용하여
    Figure 112006084747178-pat00091
    각(∠AC1B) 및
    Figure 112006084747178-pat00092
    각(∠ C1 BC2)를 각각 구하는 단계 - C1 및 C2는 제1 및 제2 촬영위치이고, A 및 B는 C1 및 C2에서 취득한 반구영상의 중앙점이며,
    Figure 112006084747178-pat00093
    는 렌즈의 초점거리이며,
    Figure 112006084747178-pat00094
    은 각각의 반구영상의 중앙점과 상대 중앙점이 사영된 중앙점간의 거리임 -;
    상기
    Figure 112006084747178-pat00095
    각(∠AC1B), 상기
    Figure 112006084747178-pat00096
    각(∠ C1 BC2) 및 수학식
    Figure 112006084747178-pat00097
    을 이용하여 제1 촬영위치 C1에 상대적인 제2 촬영위치 C2를 계산하는 단계-상기
    Figure 112006084747178-pat00098
    는 상기 제1 촬영위치 C1로부터 상기 중앙점 B를 통과하는 선분, 상기
    Figure 112006084747178-pat00099
    는 상기 제2 촬영위치 C2로부터 상기 중앙점 A를 통과하는 선분, 상기
    Figure 112006084747178-pat00100
    및 상기
    Figure 112006084747178-pat00101
    는 임의의 수
    Figure 112006084747178-pat00102
    및
    Figure 112006084747178-pat00103
    에 상응하여 각각 변화하는 상기
    Figure 112006084747178-pat00104
    및
    Figure 112006084747178-pat00105
    의 방향벡터임-를 포함하는 조명공간 재구성 방법.
  6. 제 1항에 있어서,
    상기 (b) 단계에 선행하여,
    (e1) 상기 입력영상은 상기 복수개의 촬영위치에 대응하는 전방 및 후방의 반구(hemi-sphere) 영상이고, 상기 입력영상을 파노라믹 변환하여 L-L(Latitude-Longitude) 단위영상을 만드는 단계;
    (e2) 구조적 중요도(structured importance) 샘플링을 이용하여 상기 L-L 단위영상의 복수개의 조명원(light source)의 위치를 산출하는 단계;
    (e3) 상기 복수개의 촬영위치를 원점으로 하는 반구 좌표계를 각각 구성하는 단계; 및
    (e4) 상기 복수개의 조명원의 위치에 상응하는 단위 방향벡터를 각각 산출하는 단계를 더 포함하는 것을 특징으로 하는 조명공간 재구성 방법.
  7. 제 6항에 있어서,
    상기 (b)단계는,
    (f1) 제1 촬영위치에 대응되는 제1 L-L 단위영상에서 산출된 복수개의 단위 방향벡터 중 제1 방향 벡터를 직각 좌표계로 변환하는 단계;
    (f2) 제2 촬영위치에 대응되는 제2 L-L 단위영상에서 미리 설정된 알고리즘과 상기 변환된 방향 벡터를 이용하여 상기 제2 L-L 단위영상에서의 대응점을 산출하는 단계; 및
    (f3) 상기 제1 L-L 단위영상에서 산출된 복수개의 단위 방향벡터의 개수에 상응하여 상기 (f1)단계 내지 (f2)단계를 반복하여 제2 L-L 단위영상에서 대응점을 각각 산출하는 단계를 포함하되,
    상기 복수개의 촬영위치에 대응하는 L-L 단위영상의 개수에 상응하여 상기 (f1)단계 상기 (f3)단계를 반복하여 상기 복수개의 촬영위치에 대응하는 상기 L-L 단위영상에서 하나 이상의 상기 대응점을 각각 산출하는 것을 특징으로 하는 조명공간 재구성 방법.
  8. 제 7항에 있어서,
    상기 (f2) 단계는
    (g1) 수학식
    Figure 112008010316340-pat00141
    를 이용하여
    Figure 112008010316340-pat00142
    을 산출하는 단계-
    Figure 112008010316340-pat00143
    은 제1 촬영위치 벡터,
    Figure 112008010316340-pat00144
    는 첫번째 카메라 위치(C1)에서 출발하는 임의의 조명에 대한 3차원 방향벡터,
    Figure 112008010316340-pat00145
    는 상기 제1 방향 벡터가 직각 좌표계로 변환된 것이고,
    Figure 112008010316340-pat00146
    는 임의의 수임 - ;
    (g2) 상기
    Figure 112008010316340-pat00147
    와 수학식
    Figure 112008010316340-pat00148
    을 이용하여
    Figure 112008010316340-pat00149
    을 산출하는 단계 -
    Figure 112008010316340-pat00150
    는 제2 촬영위치 벡터,
    Figure 112008010316340-pat00151
    는 제2 촬영위치에서
    Figure 112008010316340-pat00152
    의 끝을 향하는 벡터임; 및
    (g3) 상기
    Figure 112008010316340-pat00153
    을 이용하여 상기 제2 L-L 단위영상에서 대응점을 산출하는 단계를 포함하는 조명공간 재구성 방법.
  9. 제 8항에 있어서,
    상기 (g3)단계는
    (h1) 상기
    Figure 112006084747178-pat00114
    을 구면 좌표계로 변환하여
    Figure 112006084747178-pat00115
    을 산출하는 단계;
    (h2) 상기
    Figure 112006084747178-pat00116
    가 상기 제2 L-L 단위영상에 대응되는 위치를 산출하는 단계;
    (h3) 상기 산출된 위치를 중심으로 미리 지정된 크기의 검색영역 내에서 밝기에 대한 SSD(Sum of Squared Differences)가 가장 적은 값에 대응되는 위치를 대응점으로 산출하는 단계를 포함하는 것을 특징으로 하는 조명공간 재구성 방법.
  10. 제 7항에 있어서,
    상기 (b)단계는
    (i1) 제2 촬영위치에 대응하는 제2 L-L 단위영상에서 복수개의 조명을 샘플링하는 단계;
    (i2) 상기 복수개의 조명의 개수에 상응하여 상기 제2 L-L 단위영상을 복수개의 층(strata)을 나누는 단계; 및
    (i3) 상기 대응점을 포함하지 않는 층에 상응하는 조명을 지역조명으로 산출하는 단계를 상기 단계 (f3) 이후에 더 포함하는 것을 특징으로 하는 조명공간 재구성 방법.
  11. 제 6항에 있어서
    상기 제 (c)단계는
    (j1) 제1 및 제2 촬영위치에 상응하는 복수개의 단위 방향벡터를 수학식
    Figure 712008001235638-pat00172
    을 이용하여 복수개의 3차원 단위 방향벡터로 각각 변환하는 단계; 및
    (j2) 상기 촬영위치 및 상기 복수개의 3차원 방향벡터를 미리 설정된 알고리즘에 적용하여 전역 조명의 좌표를 산출하는 단계를 포함하되,
    상기 복수개의 촬영위치에 대응하는 상기 L-L 단위 영상의 개수에 상응하여 상기 (j1)단계 내지 (j2)단계를 반복하여 상기 전역조명의 좌표를 각각 산출하는 것을 특징으로 하는 조명공간 재구성 방법.
  12. 제 11항에 있어서
    상기 (j2)단계는
    (k1) 수학식
    Figure 112008010316340-pat00154
    을 이용하여
    Figure 112008010316340-pat00155
    및
    Figure 112008010316340-pat00156
    을 각각 산출하는 단계 -
    Figure 112008010316340-pat00157
    및
    Figure 112008010316340-pat00158
    는 각각 제1 및 제2 촬영위치의 3차원 단위 방향벡터,
    Figure 112008010316340-pat00159
    및
    Figure 112008010316340-pat00160
    는 각각 제1 및 제2 촬영위치 벡터,
    Figure 112008010316340-pat00161
    및
    Figure 112008010316340-pat00162
    는 각각 제1 및 제2 촬영위치 벡터에서 출발하는 i번째 조명에 대한 3차원 벡터, t 및 s는 각각
    Figure 112008010316340-pat00163
    및
    Figure 112008010316340-pat00164
    의 스케일링 계수임; 및
    (k2) 상기
    Figure 112008010316340-pat00165
    및 상기
    Figure 112008010316340-pat00166
    의 교차점을 전역 조명의 좌표로 산출하는 단계를 포함하되,
    상기 3차원 단위 방향벡터
    Figure 112008010316340-pat00167
    및
    Figure 112008010316340-pat00168
    의 개수에 상응하여 상기 (k1)단계 내지 (k2)단계를 반복하여 상기 전역 조명의 좌표를 각각 산출하는 것을 특징으로 하는 조명공간 재구성 방법.
  13. 제 12항에 있어서,
    상기 (k2)단계는
    상기
    Figure 112006084747178-pat00127
    및 상기
    Figure 112006084747178-pat00128
    의 교차점이 존재하지 않는 경우 상기
    Figure 112006084747178-pat00129
    및 상기
    Figure 112006084747178-pat00130
    간에 거리가 각각 가장 가까운 위치를 전역조명의 좌표로 산출하는 단계를 더 포함하는 특징으로 하는 조명공간 재구성 방법.
  14. 제 6항에 있어서
    상기 (c) 단계는
    (l1) 제1 및 제2 촬영위치에 상응하는 복수개의 단위 방향벡터를 수학식
    Figure 712008001235638-pat00173
    을 이용하여 복수개의 3차원 단위 방향벡터로 각각 변환하는 단계;
    (k2) 상기 복수개의 3차원 단위 방향벡터의 교차점을 지역조명의 좌표로 산출하는 단계;
    (k3) 상기 복수개의 촬영위치에 대응하는 상기 L-L 단위 영상의 개수에 상응하여 상기 (k1)단계 내지 (k2)단계를 반복하여 상기 L-L 단위영상에서 상기 지역조명의 좌표를 각각 산출하는 단계를 더 포함하는 것을 특징으로 하는 조명공간 재구성 방법.
  15. 영상합성을 위한 조명환경 재구성을 위하여 디지털 영상처리기에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 영상처리기에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서,
    (a) 대상 공간의 입력영상에 상응하는 복수개의 촬영위치를 산출하는 단계;
    (b) 상기 입력영상을 이용하여 상기 대상 공간의 조명을 전역조명 및 또는 지역조명으로 분류하여 산출하는 단계; 및
    (c) 상기 산출된 전역조명 또는 지역조명의 3차원 좌표 및 상기 복수개의 촬영위치의 3차원 좌표를 포함하는 3차원 조명 공간을 산출하는 단계를 실행하는 프로그램을 기록한 기록매체.
KR1020060114471A 2006-11-20 2006-11-20 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체 KR100834157B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060114471A KR100834157B1 (ko) 2006-11-20 2006-11-20 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060114471A KR100834157B1 (ko) 2006-11-20 2006-11-20 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체

Publications (2)

Publication Number Publication Date
KR20080045392A KR20080045392A (ko) 2008-05-23
KR100834157B1 true KR100834157B1 (ko) 2008-06-02

Family

ID=39662802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060114471A KR100834157B1 (ko) 2006-11-20 2006-11-20 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체

Country Status (1)

Country Link
KR (1) KR100834157B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
US9684991B2 (en) 2013-05-08 2017-06-20 Samsung Electronics Co., Ltd. Image processing apparatus and method using photon mapping and ray tracing and increasing a rate of photon mapping
KR20210029391A (ko) * 2019-09-06 2021-03-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 환경 정보 취득을 이용한 혼합 현실 기기 지원 장치 및 그 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952749B1 (ko) * 2008-07-31 2010-04-13 중앙대학교 산학협력단 특징 강조를 위한 세일리언시 기반 조명 방법
KR101068324B1 (ko) * 2009-10-28 2011-09-28 중앙대학교 산학협력단 구좌표계 렌더링 방법 및 시스템
CN101916455B (zh) * 2010-07-01 2012-06-27 清华大学 一种高动态范围纹理三维模型的重构方法及装置
US9508191B2 (en) 2010-07-23 2016-11-29 Pacific Data Images Llc Optimal point density using camera proximity for point-based global illumination
US9710958B2 (en) 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2013081398A1 (ko) * 2011-11-29 2013-06-06 삼성전자주식회사 영상 처리 장치 및 방법
GB2543562B (en) * 2015-10-23 2020-02-05 Geomerics Ltd Graphics processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233826A (ja) * 1991-11-19 1993-09-10 Nec Corp 画像の照明方向の変更方法及び装置並び画像合成方法及び装置
JPH11265440A (ja) 1998-01-14 1999-09-28 Hitachi Ltd 任意光源位置の画像合成方法および表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233826A (ja) * 1991-11-19 1993-09-10 Nec Corp 画像の照明方向の変更方法及び装置並び画像合成方法及び装置
JPH11265440A (ja) 1998-01-14 1999-09-28 Hitachi Ltd 任意光源位置の画像合成方法および表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684991B2 (en) 2013-05-08 2017-06-20 Samsung Electronics Co., Ltd. Image processing apparatus and method using photon mapping and ray tracing and increasing a rate of photon mapping
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
KR20210029391A (ko) * 2019-09-06 2021-03-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 환경 정보 취득을 이용한 혼합 현실 기기 지원 장치 및 그 방법
KR102243138B1 (ko) * 2019-09-06 2021-04-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 환경 정보 취득을 이용한 혼합 현실 기기 지원 장치 및 그 방법

Also Published As

Publication number Publication date
KR20080045392A (ko) 2008-05-23

Similar Documents

Publication Publication Date Title
KR100834157B1 (ko) 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체
CN110148204B (zh) 用于在真实环境的视图中表示虚拟对象的方法和***
EP3242275B1 (en) Using photo collections for three dimensional modeling
US20180012411A1 (en) Augmented Reality Methods and Devices
Shan et al. The visual turing test for scene reconstruction
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
Meilland et al. 3d high dynamic range dense visual slam and its application to real-time object re-lighting
KR101396346B1 (ko) 다수의 2차원 실사 영상들을 이용하여 3차원 영상을생성하는 방법 및 장치
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
US20100296724A1 (en) Method and System for Estimating 3D Pose of Specular Objects
CN108475327A (zh) 三维采集与渲染
WO2021203883A1 (zh) 三维扫描方法、三维扫描***和计算机可读存储介质
JP2015201850A (ja) 撮像装置のパラメータ推定方法
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
Meerits et al. Real-time diminished reality for dynamic scenes
JP2016537901A (ja) ライトフィールド処理方法
Frahm et al. Markerless augmented reality with light source estimation for direct illumination
JP2021520008A (ja) 車両検査システムとその方法
CN110490967A (zh) 图像处理和对象建模方法与设备、图像处理装置及介质
JPH11175762A (ja) 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
KR20180048443A (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
Zhu et al. Spatially-varying outdoor lighting estimation from intrinsics
WO2023225891A1 (zh) 一种基于多分辨率网络结构的神经绘制方法
Ji et al. Virtual home staging: Inverse rendering and editing an indoor panorama under natural illumination
JPH04130587A (ja) ３次元画像評価装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee