KR101025785B1 - 3차원 실물 화상장치 - Google Patents

Abstract

본 발명은 이미지 센서 앞에 렌즈어레이를 배치함으로써 물체의 3차원 정보를 작은 소형의 촬영 장치로 획득하고, 촬영된 영상의 이미지 처리를 통해 프로젝터, 모니터, 텔레비전과 같은 일반적인 2창원 표시장치에서 촬영된 물체를 3차원 입체 그래픽으로 재생할 수 있도록 한 3차원 실물 화상장치에 관한 것이다.

본 발명에 따른 3차원 실물 화상장치는 대상물체를 촬영하여 3차원 영상데이터를 작성하는 3차원 실물화상장치에 있어서, 상기 대상물체를 촬영하여 상기 대상물체를 다양한 방향에서 바라본 정보가 포함된 원영상을 작성하기 위해, 상기 원영상이 결상되고, 상기 결상된 원영상을 원영상 데이터로 변환하는 이미지센서, 상기 대상물체와 상기 이미지센서 사이에 배치되고, 같은 사양을 가지는 복수의 기초요소렌즈들이 규칙적으로 밀집하여 배열되고, 상기 대상물체의 일부분의 영상인 기초영상을 상기 이미지센서의 감지영역에 결상하는, 상기 기초영상의 집합영상인 상기 원영상을 결상하는 렌즈어레이 및 상기 대상물체와 상기 렌즈어레이 사이에 배치되어, 상기 대상물체의 상이 상기 렌즈어레이에 결상되도록 초점을 조절하는 제1렌즈를 포함하여 구성되는 촬영부; 상기 촬영부로부터의 상기 원영상 데이터를 제공받아, 상기 원영상으로부터 각각의 상기 기초영상을 구분하기 위한 경계를 구분하는 전처리부, 상기 기초영상의 경계가 구분된 상기 원영상 데이터를 이용하여 상기 원영상의 깊이맵을 작성하는 깊이맵 작성부 및 상기 원영상 데이터와 상기 깊이맵을 이용하여 임의시점에서 상기 대상물체를 바라본 임의시점영상을 합성하는 시점영상합성부를 포함하여 구성되는 영상처리부; 및 상기 시점영상합성부에서 합성된 상기 임의시점영상을 사용자의 단말로 전송하는 전송부;를 포함하여 구성된다.

3차원, 입체영상, 실물, 집적영상

Description

3차원 실물 화상장치{3D Real Video Device}

본 발명은 3차원 실물화상장치에 관한 것으로 특히, 입체 영상을 촬영하기 위한 촬영장치에 구비되는 렌즈어레이의 크기를 줄여 이미지 센서 앞에 배치함으로써, 촬영장치의 부피를 감소시키면서도, 넓은 시야각을 확보하도록 함과 아울러 촬영된 영상의 이미지 처리를 통해 프로젝터, 모니터, 텔레비전과 같은 일반적인 표시장치에서 촬영된 입체 영상을 재생할 수 있도록 한 3차원 실물 화상장치에 관한 것이다.

3차원 영상 관련 미디어는 시각 정보의 수준을 한 차원 높여주는 새로운 개념의 실감 영상 미디어로서, 2차원 영상에 비해 실감있고 자연스러우며, 현실에 가까워 궁극적인 영상 구현 기술로 인식되고 있다. 이러한 3차원 영상 재생 기술은 관측자에게 평면 이미지가 아니라 입체감 있고 실제감이 있는 3차원 영상을 획득하여 표시하는 기술로써, 대표적인 것으로 스테레오스코피(Stereoscopy), 홀로그래피(Holography) 및 집적영상(Integral Imaging)을 예로 들 수 있다.

스테레오스코피 방식은 좌우 양안에 대응되는 영상을 구분하여 입력 및 재생하는 방식으로, 인간의 시각 인식 방법을 모방한 방식이다. 이 스테레오스코피 방 식은 좌우 영상을 이용하여 시차를 통해 입체감을 느끼게 하는 가장 단순한 구조의 방식으로써, 통상적으로 수평시차로 제한된다. 때문에, 스테레오스코피 방식은 관측자의 초점 기능에 피로감을 주어 장시간의 입체 영상 재생 시스템으로써의 사용은 크게 제한되고 있다.

홀로그래피 방식은 홀로그래피에 광원을 비추면 홀로그래피를 통해 허상의 입체 영상을 관측하는 방식으로 레이저를 이용하여 제작한 홀로그래피 관측시 특수 안경을 착용하지 않고도 실물과 같은 입체 영상을 느낄 수 있는 방법이며, 입체감이 뛰어나고 피로감과 같은 부작용이 없어 가장 이상적인 3차원 디스플레이 방식이다. 하지만, 홀로그래피 방식은 암실에서 레이저를 이용하여 홀로그램을 합성해야 할 뿐만 아니라 사용하는 광원이 제한적이고 먼거리의 객체를 표현하는데 어려움이 있으며, 과도한 데이터 처리의 요구로 인해 실시간 전송 및 재생이 어려워 실제 사용에 큰 제약이 따르는 문제점이 있다.

집적영상 방식은 1908년 처음 제안되었으며, 최근 평판 디스플레이 장치 및 이미지 센서의 성능 개량으로 주목받는 기술이다. 이 집적영상 방식은 복수의 렌즈로 구성된 렌즈 어레이와 이미지 센서를 통해 대상을 촬영하고 이의 역과정을 통해 재생하는 방식이다. 이러한 집적영상 방식은 입체 영상을 보기 위한 특수 안경과 같은 장비가 불필요하고, 일정한 시야각 내에서 연속적인 시점을 제공함과 아울러, 천연색의 디스플레이가 가능한 점과 기존의 평면 디스플레이 시스템과 호환성이 좋은 장점을 가지고 있다.

하지만, 종래의 집적영상 방식은 주로 입체 영상을 표시하는 3차원 디스플레 이에 적용이 되어 왔으며, 물체의 3차원 정보를 획득하고 이를 분석하여 물체의 깊이맵을 복원하거나 물체를 임의의 각도에서 바라본 임의 시점 영상을 합성하는 것과 같은 3차원 영상 데이터 생성에는 이용되지 않았다.

따라서, 본 발명의 목적은 이미지 센서 앞에 렌즈어레이를 배치함으로써 물체의 3차원 정보를 작은 소형의 촬영 장치로 획득하고, 촬영된 영상의 이미지 처리를 통해 프로젝터, 모니터, 텔레비전과 같은 일반적인 2창원 표시장치에서 촬영된 물체를 3차원 입체 그래픽으로 재생할 수 있도록 한 3차원 실물화상장치를 제공하는 것이다.

상기 목적을 달성하기 위하여 본 발명에 따른 3차원 실물 화상장치는 대상물체를 촬영하여 3차원 영상데이터를 작성하는 3차원 실물화상장치에 있어서, 상기 대상물체를 촬영하여 상기 대상물체를 다양한 방향에서 바라본 정보가 포함된 원영상을 작성하기 위해, 상기 원영상이 결상되고, 상기 결상된 원영상을 원영상 데이터로 변환하는 이미지센서, 상기 대상물체와 상기 이미지센서 사이에 배치되고, 같은 사양을 가지는 복수의 기초요소렌즈들이 규칙적으로 밀집하여 배열되고, 상기 대상물체의 일부분의 영상인 기초영상을 상기 이미지센서의 감지영역에 결상하는, 상기 기초영상의 집합영상인 상기 원영상을 결상하는 렌즈어레이 및 상기 대상물체와 상기 렌즈어레이 사이에 배치되어, 상기 대상물체의 상이 상기 렌즈어레이에 결상되도록 초점을 조절하는 제1렌즈를 포함하여 구성되는 촬영부; 상기 촬영부로부터의 상기 원영상 데이터를 제공받아, 상기 원영상으로부터 각각의 상기 기초영상을 구분하기 위한 경계를 구분하는 전처리부, 상기 기초영상의 경계가 구분된 상기 원영상 데이터를 이용하여 상기 원영상의 깊이맵을 작성하는 깊이맵 작성부 및 상기 원영상 데이터와 상기 깊이맵을 이용하여 임의시점에서 상기 대상물체를 바라본 임의시점영상을 합성하는 시점영상합성부를 포함하여 구성되는 영상처리부; 및 상기 시점영상합성부에서 합성된 상기 임의시점영상을 사용자의 단말로 전송하는 전송부;를 포함하여 구성된다.

상기 깊이맵 작성부는 상기 원영상을 복수의 상기 기초영상별 블럭으로 구분하고, 상기 구분된 블럭들 중 어느 한 블럭의 중심픽셀을 선택하고, 상기 블럭과 인접한 블럭의 이미지 픽셀들 중 상기 중심픽셀에 해당하는 대응점을 검출하여 산출된 차이값정보를 가지는 상기 깊이맵을 작성한다.

상기 전처리부는 회선마스크 알고리즘을 이용하여 상기 기초영상 간의 경계를 구분한다.

본 발명에 따른 3차원 실물 화상장치는 이미지 센서 앞에 렌즈어레이를 배치함으로써 물체의 3차원 정보를 작은 소형의 촬영 장치로 획득하고, 촬영된 영상의 이미지 처리를 통해 프로젝터, 모니터, 텔레비전과 같은 일반적인 2창원 표시장치에서 촬영된 물체를 3차원 입체 그래픽으로 재생할 수 있도록 하는 것이 가능하다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 당해 분야의 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명하기로 한다. 첨부된 도면 들에서 구성에 표기된 참조번호는 다른 도면에서도 동일한 구성을 표기할 때에 가능한 한 동일한 도면번호를 사용하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 도면에 제시된 어떤 특징들은 설명의 용이함을 위해 확대 또는 축소 또는 단순화된 것이고, 도면 및 그 구성요소들이 반드시 적절한 비율로 도시되어 있지는 않다. 그러나 당업자라면 이러한 상세 사항들을 쉽게 이해할 것이다.

도 1은 본 발명에 따른 3차원 실물 화상장치의 구성예를 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 3차원 실물 화상장치는 촬영부(100), 영상처리부(200) 및 전송부(300)를 포함하여 구성된다.

촬영부(100)는 대상물체를 3차원 영상으로 촬영하여 원영상(Raw Image : RI)을 작성하고, 작성된 원영상(RI)을 영상처리부(200)에 전달한다. 이 원영상(RI)은 대상물체를 다양한 방향에서 바라본 정보가 포함된다. 이러한 촬영부(100)는 제1렌즈(110), 렌즈어레이(120), 제2렌즈(150) 및 이미지센서(160)를 포함하여 구성된다.

제1렌즈(110)는 대상물체와 렌즈어레이(120) 사이에 배치되어, 대상물체의 상을 렌즈어레이(120)에 맞게 조정하는 역할 즉, 초점 조절 및 줌(Zoom) 기능을 제공하여 대상물체의 상이 렌즈어레이(120)에 맺히게 하는 역할을 한다. 이러한 제1 렌즈(110)는 복수의 오목렌즈, 복수의 볼록렌즈 또는 이들을 조합하여 구성될 수 있으나, 이로써 본 발명을 한정하는 것은 아니다.

렌즈어레이(120)는 복수의 기초요소렌즈(121)들이 군집된 렌즈집합체이며, 대상물체를 다양한 방향에서 바라본 영상을 이미지센서(160)에 결상하는 역할을 한다. 이 렌즈어레이(120)를 구성하는 기초요소렌즈(121)들은 초점거리, 크기, 투명도와 같은 사양이 동일하며, 이러한 복수의 기초요소렌즈들이 규칙적으로 조밀하게 배열되어 렌즈어레이(120)를 구성하게 된다. 예를 들어, 렌즈어레이(120)는 초점거리는 3.3mm 이고, 1mm 직경의 원형렌즈를 가로세로 각각 50개씩 배열하여 50X50의 렌즈어레이를 구성하거나, 초점거리 10mm이고, 5mm 직경의 정사각형 렌즈를 가로세로 각각 20개씩 배열하여 20X20의 렌즈어레이(120)를 구성할 수 있으나, 이로써 본 발명을 한정하는 것은 아니며, 다양한 형태로 구성하는 것이 가능하다. 기초요소렌즈(121)는 시야각이 좁기 때문에 물체의 일부분만을 이미지센서(160)에 결상(기초영상)하게 되며, 이미지센서(160)에 결상되는 기초영상은 이러한 기초요소렌즈(121)들에 의해 결상되는 영상의 집합 즉, 대상물체를 잘게 나눈 부분들의 집합으로 보이게 되며, 이를 원영상(RI)이라 한다. 이러한 렌즈어레이(120)는 기초요소렌즈(121)의 개수에 따라 대상물체에 대해 획득 가능한 3차원 정보인 최대깊이, 깊이측정 정밀도, 평면 방향의 해상도가 달라진다. 일례로, 기초요소렌즈(121)의 크기를 줄이면 주어진 면적 안에 기초요소렌즈(121)의 수가 많아지므로 조밀한 깊이 맵을얻을 수는 있으나, 기초요소렌즈(121)에 대응되는 CCD의 픽셀 수가 적어져 깊이 정밀도는 상대적으로 저하된다

제2렌즈(150)는 렌즈어레이(120)의 영상을 이미지센서(160)의 촬영영역에 맞게 조정하는 역할을 한다. 이 제2렌즈(150)는 렌즈어레이(120)와 이미지센서(160)의 크기, 거리 및 기초요소렌즈(121)의 초점거리에 따라 렌즈어레이(120)로부터의 영상을 확대, 축소하는 역할을 한다. 이 제2렌즈(150)의 경우 이미지센서(160)와 렌즈어레이(120)의 배치 및 크기를 조정하여 생략이 가능하며, 반드시 구성에 포함되어야 하는 것은 아니다.

이미지센서(160)는 렌즈어레이(120)로부터 기초요소렌즈(121)들에 의해 결상되는 대상물체의 영상을 데이터화된 원영상데이터(RI)로 작성하고, 작성된 원영상데이터(RI)를 영상처리부(200)에 전달한다. 본 발명에서 이러한 이미지센서(160)로 CCD(Charge Coupled Device)를 이용하는 예를 개시하고 있으나, 이로써 본 발명을 한정하는 것은 아니다.

영상처리부(200)는 촬영부(100)로부터 원영상데이터(RID)를 제공받아, 원영상(RI)으로부터 깊이맵(Depth Map) 정보를 추출하고, 임의시점에서의 시점영상을 합성하여 전송부(300)에 제공한다. 이를 위해 영상처리부(200)는 전처리부(210), 깊이맵추출부(220) 및 시점영상 합성부(230)를 포함하여 구성된다.

전처리부(210)는 원영상(RI)을 깊이맵추출부(220) 및 시점영상합성부(230)에서 이용할 수 있도록 기초영상별로 경계를 구분하여 분리하는 과정을 수행한다. 전술한 원영상(RI)은 기초영상의 군집된 형태로 이미지센서(160)에 결상된다. 이러한 원영상(RI0은 이상적인 경우 즉, 렌즈어레이(120)와 이미지센서(160) 간의 기 하학적 구조파라미터를 알고 있는 경우 별다른 처리없이 기초영상들을 개별적으로 분리할 수 있으나, 실제로는 오차가 존재하기 때문에 기초영상의 분리를 위한 과정이 필요하며, 이러한 과정이 전처리부(210)에 의해 수행된다. 전처리부(210)는 원영상(RI)에서 기초영상의 경계부분에 나타나는 경계성분(Edge)들을 이용하여 기초영상 간의 경계를 찾아 기초영상들을 구분한다. 구체적으로 각 기초영상은 대상물체를 특정방향에서 바라본 영상을 담고 있으나, 각 기초영상의 경계는 연속적이지 못하며, 각 기초요소렌즈들은 같은 사양을 가짐으로 인해 기초영상의 경계도 수직, 수평방향으로 주기적인 간격을 가지게 된다. 전처리부(210)에 의한 경계선 검출은 원영상(RI)을 여러 개의 영역으로 구분하고, 이웃한 두 영역의 차이를 계산하는 것으로 가능하며, 좁은 간격을 두고 픽셀값들의 차이를 구하면 경계 부분에서 차이값이 두드러지게 되어 이를 통해 경계를 인식할 수 있게 된다. 이러한 과정은 직접계산도 가능하지만, 보다 빠르고 효율적인 기초영상의 구분을 위해 본 발명의 전처리부(210)는 경계를 회선마스크를 이용하는 기법에 의해 구분한다. 전처리부(210)는 가로와 세로의 경계값을 찾기 위해 두 개의 회선 마스크를 이용하고, 이를 합성하여 기초영상간의 경계를 찾고, 구분하게 된다. 이러한 회선 마스크를 이용한 경계구분을 위해서 전처리부(210)는 소벨(Sobel), 프리윗(Prewitt) 알고리즘을 이용할 수 있으며, 이외에도 로버트(Robert), 라플라시안(Laplacian), 캐니(Canny)와 같은 알고리즘을 이용하는 것도 가능하며, 제시된 바에 의해 본 발명을 한정하는 것은 아니다.

깊이맵추출부(220)는 기초영상을 이용하여 원영상(RI)에 대한 깊이맵(Depth Map : DM) 정보를 작성한다. 본 발명의 깊이맵추출부(220)는 기초영상의 중심픽셀들의 깊이맵(DP)을 추출하는 방법을 이용한다. 여기서, 중심픽셀이란 일정한 크기 즉, 일정한 픽셀이 포함되는 영역으로 임의의 블럭을 지정할 때, 블럭의 중앙부분에 위치하는 임의의 픽셀을 의미한다. 깊이맵추출부(220)는 원영상(RI)이 제공되면 원영상을 기초요소렌즈(121)의 크기만큼의 간격으로 샘플링하고, 기초영사의 중심 픽셀들의 깊이맵(DP)을 추출함으로써 모든 부분에 대한 깊이맵(DP)을 추출하게 된다. 이러한 깊이맵(DP)의 추출은 기초요소렌즈(121)의 크기가 작으면 샘플링 간격이 작아져 보다 조밀한 깊이맵을 측정하는 것이 가능해진다. 구체적으로 깊이맵추출부(220)는 기초영상의 중심 픽셀 깊이 정보를 추출하기 위해 블록(Block Matching)을 이용한 대응점 분석을 수행한다.

시점영상 합성부(230)는 원영상(RI)과 원영상(RI)으로부터 추출된 깊이맵(DP)를 이용하여 임의 시점의 영상을 합성한다. 이를 위해, 시점영상 합성부(230)는 중심 픽셀에 대응하는 물체점을 깊이맵(DP)에 의해 3차원 공간 상에 위치시키고, 이를 임의 시점에 대한 평면에 투사함으로써, 임의시점에 대한 영상을 생성하게 된다.

전송부(300)는 시점영상 합성부(230)로부터 생성된 임의시점 영상을 관측자가 지정한 단말로 전송한다. 여기서, 관측자가 지정한 단말은 컴퓨터, 휴대용 정보 단말, 디지털 텔레비전, 프로젝터와 같은 출력장치들로써, 2차원 디스플레이 장치 및 3차원 디스플레이 장치를 모두 포함한다. 이를 위해, 전송부(300)는 전송방 식에 따라 유선 또는 무선 데이터 통신이 가능한 모듈을 포함하여 구성될 수 있으며, 다양한 형태의 전송장치가 이미 공지되어 있으므로 이에 대한 상세한 설명은 생략하기로 한다.

도 2는 대상물체를 촬영한 원영상과 원영상을 이루는 기초영상을 설명하기 위한 예시도이다.

도 2를 참조하면, (a)와 같은 대상물체(401)를 촬영부(100)에 의해 촬영하는 경우 (b)와 같은 원영상(RI)이 이미지센서(160)에 결상되어 원영상데이터(RID)로 작성된다. 이러한 원영상(RI)은 (c)에 도시된 것과 같은 대상물체의 일부분의 화상인 기초영상이 군집을 이루어 형성되는 영상이다. 전술한 바와 같이 기초영상은 기초요소렌즈(121)에 의해 이미지센서(160)에 결상되는 영상이다. 기초요소렌즈(121)는 시야각(FOV : Field Of View)가 제한되기 때문에 각 기초영상에는 대상물체(401)의 전부분이 아닌, 일부분만이 담기게 되며, 이러한 기초요소렌즈(121)의 집합체인 렌즈어레이(120)를 통해 찍은 영상은 대상물체(401)를 잘게 나눈 부분들의 집합으로 보이게 된다. 때문에, 이와 같은 원영상을 일정한 과정을 거처 처리함으로써 3차원 입체영상을 얻을 수 있게 된다.

도 3은 깊이맵 작성을 위한 대응블록 매칭방법을 도시한 예시도이다.

도 3을 참조하면, (a)는 인접 기초영상 간의 대응점 관계를 도시한 예시도이고, (b)는 대응점 분석을 위한 블럭 매칭을 나타낸 것이다. 일반적인 기초영상간 의 상관 관계 분석에는 스테레오 매칭법이 이용된다. 이 스테레오 매칭법의 경우 기초 영상이 충분한 시야각을 가지기 때문에 대상물체(401)의 모든 영상이 두 개의 기초영상에 담겨 있게 되므로, 영상의 모든 픽셀에 대한 상관관계를 분석하여 불일치(Disparity) 값을 찾아냄으로써 깊이정보를 추출할 수 있다.

하지만, 본 발명에서와 같이 대상물체(401)의 일부분만을 담는 기초요소렌즈(121)와 그에 따른 기초영상을 이용하는 경우 기존의 스테레오 매칭법을 사용하는 것이 곤란하다.

때문에, 본 발명에서는 원영상(RI)을 기초영상 단위의 블럭으로 구분하고 각 블럭간 즉, 기초영상 간의 상관관계를 분석함으로써 불일치값을 추출하고, 이에 따라 깊이맵(DP)을 작성한다. 특히, 본 발명에서는 블럭의 중심 픽셀들을 이용하여 깊이맵(DP)을 작성한다.

(a)에서와 같이 하나의 기초요소렌즈(121a)에 의해 형성되는 기초영상에서의 중심픽셀(C)을 인접한 기초요소렌즈(121b)에 의해 형성되는 기초영상에서 찾음으로써 불일치값(D)을 검출할 수 있게 된다.

이때, 대응점 추출을 위해 (b)와 같이 일정한 크기의 블럭을 설정하고, 설정된 블록의 중심픽셀(C)을 선정한 다음, 인접 기초영상에서 대응하는 블록 및 이전블록의 중심픽셀(C)에 대응하는 대응점을 찾게 된다. 이러한 중심픽셀(C)과 대응점의 상관관계 분석은 차의 제곱합(SSD)를 이용하여 수행하는 것이 가능하다.

도 4는 추출된 깊이맵을 이용하여 임의시점 영상을 합성하는 방법을 설명하 기 위한 예시도이다. 또한, 도 5a 및 도 5b는 대상물체에 대한 임의시점 영상 및 이의 사용예를 나타낸 예시도들이다.

도 4 및 도 5를 참조하면, (a)는 시점영상의 평면 투사를 나타낸 것이고, (b)는 대응영역을 이용한 보간방법을 나타낸 것이다.

전술한 도 3의 과정에 의해 깊이맵(DP)이 작성되면, 기초영상 블럭의 중심 픽셀에 대응하는 물체점을 3차원의 공간에 위치시키는 것이 가능해진다. 이러한 물체점을 (a)에 나타낸 것과 같이 임의 시점(View Point)에 대한 시점평면(View-Image Plane)에 대해 투사를 하면 임의 시점 영상을 합성할 수 있게 되며, 이와 같은 방법으로 다양한 시점에 대한 영상을 합성할 수 있게 된다. 특히, 이러한 임의시점영상은 출력을 위한 렌즈어레이를 구비하지 않는 디스플레이 장치에서 입체영상의 시청이 가능하게 한다. 이러한 예가 도 5에 도시되어 있다.

도 5a에서 본 발명의 실물화상장치를 통해 대상물체(401)를 촬영하여 깊이맵(DP)을 작성한 후, 깊이맵(DP)을 이용하여 임의시점영상을 다수 생성할 수 있게 된다. 이러한 임의시점 영상은 도 5a의 우측 도면을 통해 확인할 수 있는 것처럼, 깊이맵(DP)을 이용하여 다른 시점에 대한 대상물체의 이미지를 재구성한 것이기 때문에 각각 다른 형상을 나타내게 된다.

이와 같은 임의시점영상은 도 5b에서와 같이 3차원 디스플레이장치로 출력하여 이용할 수도 있지만, 사용자 1, 사용자2에서와 같이 3차원 출력장치가 아닌 일반 출력장치를 통해 출력하여 이용하는 것도 가능하다. 다만, 이러한 경우는 사용자가 시점을 미리 결정하도록 하거나, 상황에 따라 소수의 시점을 지정함으로써 이 루어질 수 있다. 하지만, 이로써 본 발명을 한정하는 것은 아니다.

이와같이, 임의시점 영상이 작성되면, 작성된 임의시점 영상은 전술한 바와 같이 전송부(300)에 의해 사용자 단말로 전달되고, 사용자가 자신의 필요에 따라 이용할 수 있게 된다.

구체적으로 종래에는 3차원 촬영장치에서 촬영된 입체영상의 경우 3차원 출력장치를 이용해야만 3차원 영상을 이용할 수 있었다. 하지만, 본 발명에서는 임의 시점 영상을 합성하여 사용자에게 제공함으로써, 사용자가 2차원 출력장치에서도 사용자가 원하는 시점의 3차원 영상 즉, 깊이정보를 가지는 영상을 이용하도록 하는 것이 가능해진다.

도 1은 본 발명에 따른 3차원 실물 화상장치의 구성예를 도시한 블록도.

도 2는 대상물체를 촬영한 원영상과 원영상을 이루는 기초영상을 설명하기 위한 예시도.

도 3은 깊이맵 작성을 위한 대응블록 매칭방법을 도시한 예시도.

도 4는 추출된 깊이맵을 이용하여 임의시점 영상을 합성하는 방법을 설명하기 위한 예시도.

도 5a 및 도 5b는 대상물체에 대한 임의시점 영상 및 이의 사용예를 나타낸 예시도들.

<도면의 주요 부분에 대한 부호의 설명>

100 : 촬영부 110 : 제1렌즈

120 : 렌즈어레이 121 : 기초요소렌즈

150 : 제2렌즈 160 : 이미지센서

200 : 영상처리부 210 : 전처리부

220 : 깊이맵추출부 230 : 시점영상합성부

300 : 전송부

Claims (3)

1. 대상물체를 촬영하여 3차원 영상데이터를 작성하는 3차원 실물화상장치에 있어서,

   상기 대상물체를 촬영하여 상기 대상물체를 다양한 방향에서 바라본 정보가 포함된 원영상을 작성하기 위해,

   상기 원영상이 결상되고, 상기 결상된 원영상을 원영상 데이터로 변환하는 이미지센서,

   상기 대상물체와 상기 이미지센서 사이에 배치되고, 같은 사양을 가지는 복수의 기초요소렌즈들이 규칙적으로 밀집하여 배열되고, 상기 대상물체의 일부분의 영상인 기초영상을 상기 이미지센서의 감지영역에 결상하는, 상기 기초영상의 집합영상인 상기 원영상을 결상하는 렌즈어레이 및

   상기 대상물체와 상기 렌즈어레이 사이에 배치되어, 상기 대상물체의 상이 상기 렌즈어레이에 결상되도록 초점을 조절하는 제1렌즈를 포함하여 구성되는 촬영부;

   상기 촬영부로부터의 상기 원영상 데이터를 제공받아, 상기 원영상으로부터 각각의 상기 기초영상을 구분하기 위한 경계를 구분하는 전처리부,

   상기 기초영상의 경계가 구분된 상기 원영상 데이터를 이용하여 상기 원영상의 깊이맵을 작성하는 깊이맵 작성부 및 상기 원영상 데이터와 상기 깊이맵을 이용하여 임의시점에서 상기 대상물체를 바라본 임의시점영상을 합성하는 시점영상합성부를 포함하여 구성되는 영상처리부; 및

   상기 시점영상합성부에서 합성된 상기 임의시점영상을 사용자의 단말로 전송하는 전송부;를 포함하여 구성되는 것을 특징으로 하는 3차원 실물화상장치.
2. 제 1 항에 있어서,

   상기 깊이맵 작성부는

   상기 원영상을 복수의 상기 기초영상별 블럭으로 구분하고,

   상기 구분된 블럭들 중 어느 한 블럭의 중심픽셀을 선택하고, 상기 블럭과 인접한 블럭의 이미지 픽셀들 중 상기 중심픽셀에 해당하는 대응점을 검출하여 산출된 차이값정보를 가지는 상기 깊이맵을 작성하는 것을 특징으로 하는 3차원 실물화상장치.
3. 제 1 항에 있어서,

   상기 전처리부는 회선마스크 알고리즘을 이용하여 상기 기초영상 간의 경계를 구분하는 것을 특징으로 하는 3차원 실물화상장치.

Images