KR100641836B1 - 구조광 패턴 - Google Patents

Abstract

두 개의 프레임을 영사하여 고밀도의 3차원 정보를 실시간으로 획득할 수 있도록 한 구조광 패턴에 관한 것으로, 두 개의 프레임 중 하나에 해당하는 제1 구조광 패턴은 컬러가 동시에 천이(Transition) 되지 않도록 하는 조건에서 천이 가능 수를 m으로 한 n(컬러의 수를 정의하며, 적어도 2개 이상)에서 k(줄무늬의 수)를 선택하고 이웃하는 원소 끼리를 서로 다르게 한 중복순열(2^mm^k-1)을 산출하고, 산출된 중복순열들 중 임의로 선택된 제1 중복순열의 두 번째부터 마지막 원소까지의 배열과 동일하게 시작되는 제2 중복순열을 찾고, 제2 중복순열을 제1 중복순열의 두 번째 자리부터 중첩시키는 과정을 더 이상 유일한 중복순열이 없을 때까지 반복하여 생성하며, 두 개의 프레임 중 나머지 하나에 해당하는 제2 구조광 패턴은 제1 구조광 패턴을 반전시켜 생성하므로, 두 프레임의 패턴 영사만으로 표면의 컬러가 복잡한 물체의 경우에도 실시간 3차원 정보 획득이 가능하다.

구조광/패턴/모션 캡쳐

Description

구조광 패턴{Structured-Light Pattern}

도 1은 일반적인 마커를 이용한 광학식 모션 캡쳐방식을 설명한 도면

도 2는 일반적인 구조광을 이용한 3차원 정보 획득 시스템의 구성을 개략적으로 나타낸 도면

도 3은 본 발명에 따른 구조광 패턴의 실시예를 나타낸 도면

도 4a 내지 도 4d는 본 발명에 따른 구조광 패턴을 적용한 두개의 프레임을 피사체에 영사함에 따른 결과를 나타낸 도면

본 발명은 마커 프리(Marker Free) 방식의 3차원 정보 획득에 관한 것으로서, 최소 갯수의 프레임 특히 두개의 프레임을 이용하여 고해상도 3차원 구조 획득이 가능하도록 한 구조광 패턴에 관한 것이다.

모션 캡쳐(Motion Capture)란 인체가 동작하는 움직임을 컴퓨터 데이터 형태로 기록하고, 기록된 정보를 바탕으로 컴퓨터 캐릭터에게 위치 정보를 포함하는 정보를 전달하여 인체의 움직임이 그대로 컴퓨터 캐릭터에 의해 나타낼 수 있도록 하는 작업을 말한다.

이러한 모션 캡쳐 기술은 1970년대에 세상에 알려지기 시작하여 1980~1983년 즈음에 컴퓨터를 이용해서 인간의 동작을 분석하기 위한 움직임이 학문적으로 시작되었다.

1980년대 초기 Simon Fraser 대학의 Tom Calvert 교수는 통신분압기를 인체의 양쪽 무릎에 부착하고 모션 캡쳐하여 컴퓨터 캐릭터를 움직이는 방법을 처음으로 고안하였다.

그 후, MIT 공과 대학과 New York Institute of Technology에서 광센서를 이용한 모션 캡쳐 방식이 고안되어 실험이 이루어졌다.

이 것은 인체에 부착하는 엘이디(LED)로 부터 각 센서의 2차원 값을 카메라를 통해 얻은 값을 통합하여 3차원 정보를 얻어내는 기술로 발달하게 되었다.

1989년부터는 상업성을 띤 작품들에 모션 캡쳐기술이 응용되기 시작되어 뮤직 비디오 촬영이나, TV 어린이 프로그램 등에서도 응용이 되었다.

1993년 이후부터는 상업용 제품이 출시되었고, 앞으로 모션 캡쳐 기술은 다양한 방법으로 발달이 되고 그 응용 범위가 다양해 질 것이다.

이러한 모션 캡쳐 시스템은 방식에 따라서 여러 형태가 있지만, 대표적으로 음향식(Acustic), 기계식(Mechanic), 자기식(Magnetic), 광학식(Optical)의 4가지 형태로 구분할 수 있다.

이때 광학식 시스템(Optical)은 도 1에 도시된 바와 같이, 사람의 몸에 광 반사성이 좋은 마커(Marker)를 붙이고, 적외선 불빛이 나오는 적외선 카메라로 캡처 하는 방식이다.

그러나 마커는 부피가 크고 거추장스러워 마커를 장착한 사람의 자연스런 동작에 장애가 되고 부착할 수 있는 개수도 제한되므로 고밀도의 모션 캡쳐에는 무리가 있다. 특히 비관절 비고형체의 경우 모션 캡쳐가 매우 어렵다.

상술한 마커를 사용하지 않고 모션 캡쳐를 하기 위한 가장 이상적인 방법은 여러 대의 카메라를 사용하여 캡쳐한 이미지들간에 특징점들의 대응관계를 구해서 이를 트랙킹(Tracking)하는 방식인데, 일반적인 물체나 인체들에서는 충분한 밀도의 특징점들을 찾는 것은 물론이고 이들의 정확한 대응관계를 구하기도 매우 어려워 현실성이 없다.

따라서 현실적으로 가능한 능동적 3차원 정보 획득 방법 중 가장 대표적인 것이, 도 2와 같이, LCD/DLP 프로젝터, 카메라로 이루어진 시스템을 이용하는 것이다.

즉, LCD/DLP 프로젝터를 통해 구조광(Structured Light)을 해당 피사체에 영사하고 이를 카메라를 통해 촬영하여 3차원 정보를 얻는 방법으로서, 이에 대하여 설명하면 다음과 같다.

구조광은 특정 형태의 패턴을 가지는데, 현재 이용될 수 있는 대표적인 것이 흑백 이진 패턴(BW binary pattern), 흑백 줄무늬 경계패턴 및 정현파 줄무늬 패턴(fringe pattern)이다.

먼저, 흑백 이진 패턴은 흑과 백의 조합으로 이루어지는 것으로, 첫 번째 프레임에는 흑/백, 두 번째 프레임에는 상기 첫 번째 프레임의 경계에 걸치도록 흑/백/흑, 이런 식으로 다수의 프레임을 구성하는 것으로, N 번의 패턴 영사 및 촬영 으로 2^N 개의 투영평면(Plain Identification: PLID)을 유일하게 식별해낼 수 있다.

그리고 이와 같이 얻어진 투영 평면정보는 이미 많이 알려진 캘리브레이션(Calibration) 방법을 이용하여 3차원 정보를 얻는데 사용될 수 있지만, 상술한 바와 같이, 다수의 프레임 촬영이 필요하여 실시간 3차원 정보 획득이 거의 불가능하다.

다음으로, 흑백 줄무늬 경계패턴은 상기 흑백 이진 패턴의 배열형태를 적절히 변형하여 획득 데이터의 안전성을 높인 것이다.

그러나 이 역시 흑백 이진 패턴과 마찬가지로 다수의 프레임 촬영이 필요하여(예를 들어, 100여 개의 투영평면을 얻는데 4 프레임의 이미지가 필요) 4 프레임 동안 물체의 운동을 무시해야 하므로 실시간으로 비고형체의 세밀한 모션을 캡쳐하는 것이 매우 어렵다.

그리고 정현파 줄무늬 패턴 역시 획득 데이터의 안전성을 저하시키거나 다수의 프레임을 촬영해야 하므로 이 역시 실시간 모션 캡쳐가 매우 어렵다.

상술한 바와 같이, 종래의 구조광에 의한 거리 영상 즉, 3차원 정보의 획득은 상술한 바와 같이, 흑백 형태의 구조광 패턴을 적용하므로 한 프레임 당 다수의 구조광 패턴이 필요하게 되어 실시간 모션 캡쳐가 매우 어려운 상태이다.

따라서 의상이나 사람 얼굴 등과 같이 움직이는 물체에 대한 고속 거리영상 획득을 위해 분별 가능한 패턴의 수를 늘려서 한 장면의 거리 영상 획득에 필요한 구조광 영사를 줄이기 위한 칼라 사용에 관해 많은 연구가 있었다.

그 연구들에서는 하나의 줄무늬가 하나의 투영 평면을 결정하는 경우가 대부분이었다.

이 경우 서로 다른 N 개의 컬러로 유일하게 결정할 수 있는 투영평면의 수는 N 개가된다.

따라서 더 많은 투영평면을 결정하기 위해서는 하나의 영상 이미지에 같은 투영평면의 줄무늬를 중복해서 사용한 후 언래핑(Unwrapping: 중복된 것을 다시 구분해내는 과정)하는 방법이 있다.

그러나 언래핑은 대상 물체의 구조를 제한하는 특성이 있어서, 기하학적으로 복잡한 형태의 경우 그 결과에 오류가 자주 발생하는 문제가 있다.

따라서 본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출한 것으로서, 두 개의 프레임을 영사하여 고밀도의 3차원 정보를 실시간으로 획득할 수 있도록 한 구조광 패턴을 제공함에 그 목적이 있다.

본 발명은 두개의 프레임 영사에 의해 3차원 정보를 획득하기 위한 구조광 패턴에 있어서, 두 개의 프레임 중 하나에 해당하는 제1 구조광 패턴은 컬러가 동시에 천이(Transition) 되지 않도록 하는 조건에서 천이 가능 수를 m으로 한 n(컬러의 수를 정의하며, 적어도 2개 이상)에서 k(줄무늬의 수)를 선택하고 이웃하는 원소 끼리를 서로 다르게 한 중복순열(2^mm^k-1)을 산출하고, 산출된 중복순열들 중 임 의로 선택된 제1 중복순열의 두 번째부터 마지막 원소까지의 배열과 동일하게 시작되는 제2 중복순열을 찾고, 제2 중복순열을 제1 중복순열의 두 번째 자리부터 중첩시키는 과정을 더 이상 유일한 중복순열이 없을 때까지 반복하여 생성하며, 두 개의 프레임 중 나머지 하나에 해당하는 제2 구조광 패턴은 제1 구조광 패턴을 반전시켜 생성함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 구조광 패턴의 바람직한 일실시예를 상세히 설명하면 다음과 같다.

도 1은 일반적인 마커를 이용한 광학식 모션 캡쳐방식을 설명한 도면, 도 2는 일반적인 모션 캡쳐 시스템의 구성을 개략적으로 나타낸 도면, 도 3은 본 발명에 따른 구조광 패턴의 실시예를 나타낸 도면이고, 도 4a 내지 도 4d는 본 발명에 따른 구조광 패턴을 적용한 두개의 프레임을 피사체에 영사함에 따른 결과를 나타낸 도면이다.

본 발명은 서로 다른 각각의 구조광 패턴으로 이루어진 두개의 프레임으로 고밀도의 3차원 정보를 실시간으로 획득하는 기술이다.

본 발명은 이를 위해 중복순열에 기초한 줄무늬 조합방식으로 생성한 컬러 다중 줄무늬 패턴을 이용하고 이를 상세히 설명하면 다음과 같다.

먼저, 본 발명의 컬러 다중 줄무늬 패턴의 생성원리에 대하여 설명하면 다음과 같다.

서로 다른 N 개에서 k 개를 선택하는 중복순열은 N^k 개이고, 이웃하는 원소 끼리를 서로 다르게 할 경우의 중복순열은 N(N-1)^k-1개이다.

따라서 이것을 줄무늬에 적용시키면, 서로 다른 N 개의 컬러를 이웃하는 줄무늬끼리는 다른 컬러가 되게 나열시킴으로서 k 개의 줄무늬로 이루어진 순열을 N(N-1)^k-1개 만들 수 있게 된다.

이 방법을 사용하면 단일 프레임에 의해 보다 많은 투영평면을 유일하게 결정할 수 있는 것이다.

예를 들어, 3개의 서로 다른 컬러로는 단일 줄무늬 패턴의 경우 단 3개의 투영평면을 결정할 수 있지만, 본 발명의 다중 줄무늬 패턴을 사용할 경우, k(줄무늬의 수)값 2, 3, 4, 5 ...에 따라 각각 6, 12, 24, 48 ...개의 투영평면을 유일하게 결정할 수 있는 것이다.

본 발명과 비교하여 기존의 흑백 패턴의 경우 N=2이므로 이를 상기 순열공식{N(N-1)^k-1}에 적용하면, 2(2-1)^2-1=2가 되어 유일하게 결정할 수 있는 투영평면의 수를 늘릴 수 없다.

그러나 표면 반사율이 균일하지 않은 물체 즉, 색상이 복잡한 물체의 경우, 하나의 프레임 영사보다는 두 개의 프레임을 영사하는 것이 3차원 정보 획득의 정확도를 높일 수 있다.
따라서 본 발명은 두 개의 프레임 각각에 컬러 다중 줄무늬 패턴을 적용한 것으로, 각 프레임의 컬러 다중 줄무늬 패턴을 생성함에 있어, 물체의 반사율과 기하학적 음영계수에 의한 영향을 최소화한 것으로, 이를 더욱 상세히 설명하면 다음과 같다.

삭제

먼저, 본 발명 각 프레임의 컬러 다중 줄무늬 패턴을 생성함에 있어, 물체의 반사율과 기하학 계수에 의한 영향을 최소화하기 위한 원리를 설명한다.

방사도(irradiance)

는 아래의 수학식 1과 같이 정의된다.

여기서,

는 기하학적 명암 계수(geometric shading factor),

는 물체의 반사율 그리고

는 광원의 휘도이다.

따라서 두 프레임 각각에 대해 방사도를 표현하면 아래의 수학식 2와 같이 정의된다.

여기서, 두 프레임은 매우 짧은 시간차이를 두고 방사되는 것이므로

및

는 양쪽 프레임에서 동일하게 정의되며,

는 환경 휘도이다.

상술한 수학식 2에서 두 방사도의 차이는 아래의 수학식 3과 같이 정의된다.

따라서, 유한한

및

에 대해

가 클수록

가 크게 되어 3차 원 정보의 획득이 용이해지므로, 주어진 범위 내에서

가 최대가 되게 해야할 필요가 있다.

이것을 만족하는 경우는 [

] = [1,0] 또는 [0,1]이다.

결국, 이것은 두 프레임의 구조광 패턴이 서로 반전된 형태이어야 함을 의미한다.

즉, 예를 들어, 한 프레임의 패턴이 (1,0,1...1)이라면 다른 프레임의 패턴은 상기 프레임과 반전된 형태 즉, (0,1,0,...0)이 되어야 한다는 것이다.

다음으로, 본 발명의 컬러 다중 줄무늬 패턴에서 사용될 N개의 컬러를 선택하는 원리에 대해 설명하면 다음과 같다.

다중 줄무늬 패턴에 사용될 컬러는 서로 구분하기 쉽게 그 차이가 충분히 커야 한다.

즉, 주위의 밝기 차이에 영향을 적게 받도록 명암(Intensity) 차이보다는 색조(Hue)값의 차이를 이용하는 것이 좋다.

또한 이 경우 채도(Saturation)값을 충분히 크게 하여 각 컬러의 구분은 더욱 쉽게 할 수 있다.

색조의 차이를 고려할 경우, 빨강, 초록 및 파랑을 이용할 수 있으며, 특히 채도값을 최대로 하고자 할 경우 24비트(R/G/B 각각 8비트) 디지털 데이터(B, G, R)값을 기준으로 (0, 0, 255)인 강순빨강(strong pure red), (0, 255, 0)인 강순초록(strong pure green), 및 (255, 0, 0)인 강순파랑(strong pure blue)과 같이, 3가지 색상을 사용하는 것이 좋다.
이때 '255'는 명도값이 최고인 것 즉, 8비트 데이터의 최고값을 의미하는 것으로, 이하 설명의 편의를 위하여 '1'로 기재하기로 한다. 그러나 본 발명이 목적하는 바와 같이, 표면 반사율이 균일하지 않은 물체 즉, 색상이 복잡한 물체의 경우, 해당 물체 자체가 다양한 색상을 띄고 있으므로, 영사한 프레임의 패턴색상과의 중첩에 의해 획득 데이터의 오류를 초래할 확률이 높다.
이에 본 발명에서는 컬러띠 코드의 식별 정확도를 높이기 위해 최적화된 패턴영상을 개발한 것이다. 또한, 빨강 채널의 경우는 초록과 파랑에 비하여, 프로젝터-카메라 간 컬러 반응특성에 의해, 식별 정확도가 떨어진다. 따라서 본 발명의 실시예에서는 초록과 파랑의 2개 채널만을 사용하기로 한 것이다.
이와 같이, 두 가지 채널의 컬러를 사용할 경우, 상술한 24비트 디지털 데이터(R, G, B)값을 기준으로 (0,0,0), (0,0,1), (0,1,0), (0,1,1)과 같이, 4가지 컬러를 정할 수 있으며, 이때 초록과 파랑의 값이 동시에 천이(Transition)되면 두 컬러의 에지(edge)가 일치하지 않는 경우에 오인식되는 픽셀(Pixel)이 발생할 확률이 높으므로 이를 방지하기 위하여 초록과 파랑이 동시에 천이 되지 않도록 한다.

삭제

삭제

삭제

삭제

삭제

이와 같이 할 경우, 두 가지 컬러를 사용할 때 중복순열의 수 즉, 유일하게 결정할 수 있는 투영평면의 수는 아래의 수학식 4와 같이 정의된다.

이때, m은 가능한 천이수, k는 줄무늬의 수이다.

다음으로, 상술한 중복순열들을 조합하여 두 프레임중 어느 한 프레임의 컬 러 다중 줄무늬 패턴을 생성하는 원리를 설명하면 다음과 같다.

2가지 컬러(초록, 파랑)를 사용하고, 가능한 천이수가 '2'이며, 줄무늬의 수가 '7'일 경우 상술한 수학식 4를 참조하면, 중복순열의 수는 256개가 된다.

이때 초록과 파랑이 모두 '0'일 경우 검정(Black)이 표현되며, 초록과 파랑이 모두 '1'일 경우 시안(Cyan)이 표현되므로, 결국, 2개의 컬러를 이용하여 4개의 컬러를 표현하는 것이다.

따라서 상기 256개의 중복순열 중 하나(설명의 편의상 제1 중복순열이라 칭함)를 선택한다.

그리고 제1 중복순열의 첫 번째 원소를 제외한 6개 원소들과 동일한 원소배열로 시작되는 제2 중복순열을 찾는다.

이어서 상기 제2 중복순열(제2 중복순열이 둘 이상일 경우에는 그 중 임의의 하나)을 제1 중복순열의 두 번째 자리부터 중복시킨다.

그리고 더 이상 유일한 중복순열이 존재하지 않을 때까지 상술한 과정을 반복하여 패턴생성을 완료한다.

한편, 다른 프레임의 패턴은 이미 기술한 바와 같이, 상기 생성된 패턴을 반전시킴으로서 완성된다.

이와 같이 생성된 패턴은 이웃하는 줄무늬간에 동일한 것이 존재하지 않게 되며 유일한 중복순열로만 이루어지게 된다.

이때 본 발명은 줄무늬의 개수에 상관없이 적용할 수 있지만, 너무 많은 수의 줄무늬를 사용할 경우, 3차원 정보처리과정이 너무 복잡해져, 시스템의 고사양 화를 요구하게 된다.

따라서 고사양의 시스템에는 적용 가능하지만, 현실적으로 적절하게 적용할 수 있도록 하기 위하여, 본 발명에서는 k값을 '7'로 하여 생성한 컬러 다중 줄무늬 패턴이 도 3에 도시되어 있다.

이때 본 발명의 컬러 다중 줄무늬 패턴은 도 3에 도시된 바와 같이, 초록, 파랑, 검정 및 시안(Cyan)으로 이루어진다.

그리고 상술한 컬러 다중 줄무늬 패턴에 따라 실제 3차원 영상획득에 관련된 실험결과가 도 4a 내지 도 4d에 도시되어 있다.

즉, 도 4a는 일반조명에서의 얼굴사진이다.

상기 도 4a와 같은 얼굴에 도 4b와 같이, 상술한 도 3과 같은 컬러 다중 줄무늬 패턴으로 이루어진 이중 프레임을 순차적으로 영사한다.

그리고 도 4b를 카메라를 통해 촬영하고 3차원 정보 분석 프로그램을 통해 분석하여 컬러 다중 줄무늬를 식별한 것이 도 4c에 도시되어 있다.

최종적으로 도 4c에서 획득한 3차원 영상을 밝기값으로 처리하면 도 4d와 같다.

본 발명에 따른 구조광 패턴은 색조값의 차이를 이용하여 노이즈 및 투영평면 결정오류 문제를 해결함과 동시에 유일하게 결정할 수 있는 투영평면의 수를 최대한 증가시키기에 적당한 컬러 다중 줄무늬 패턴을 사용하며, 상기 컬러 다중 줄무늬 패턴을 표면의 컬러가 복잡한 물체의 모션 캡쳐에 적당하도록 두 개의 프레임 용으로 각각 제작한다.

따라서 프레임당 필요한 구조광 패턴의 수를 최소화하여 표면의 컬러가 복잡한 물체의 경우에도 실시간 고해상도 3차원 정보 획득이 가능하다.

Claims (5)

1. 두개의 프레임 영사에 의해 3차원 정보를 획득하기 위한 구조광 패턴에 있어서,

   상기 두 개의 프레임 중 하나에 해당하는 제1 구조광 패턴은 컬러가 동시에 천이(Transition) 되지 않도록 하는 조건에서 천이 가능 수를 m으로 한 n(적어도 2개 이상의 컬러의 수)에서 k(줄무늬의 수)를 선택하고 이웃하는 원소 끼리를 서로 다르게 한 중복순열(2^mm^k-1)을 산출하고, 상기 산출된 중복순열들 중 임의로 선택된 제1 중복순열의 두 번째부터 마지막 원소까지의 배열과 동일하게 시작되는 제2 중복순열을 찾고, 상기 제2 중복순열을 상기 제1 중복순열의 두 번째 자리부터 중첩시키는 과정을 더 이상 유일한 중복순열이 없을 때까지 반복하여 생성하며,

   상기 두 개의 프레임 중 나머지 하나에 해당하는 제2 구조광 패턴은 상기 제1 구조광 패턴을 반전시켜 생성한 구조광 패턴.
2. 제1 항에 있어서,

   상기 2가지 이상의 색상은 색조 차이를 고려하여 선택한 초록 및 파랑을 포함함을 특징으로 하는 구조광 패턴.
3. 제2 항에 있어서,

   상기 초록은 (0, 255, 0)의 채도값을 갖는 강순초록(strong pure green)이며, 파랑은 (255, 0, 0)의 채도값을 갖는 강순파랑(strong pure blue)임을 특징으로 하는 구조광 패턴.
4. 제2 항에 있어서,

   상기 초록과 파랑의 값을 '0'으로 한 검정, 그리고 초록과 파랑의 값을 동시에 '1'로 한 시안(Cyan)을 더 포함함을 특징으로 하는 구조광 패턴.
5. 제1 항에 있어서,

   상기 색상의 수가 고정될 경우 k(줄무늬 수)값에 의해 유일하게 결정되는 투영평면의 수가 정해짐을 특징으로 하는 구조광 패턴.

Images