KR100208476B1 - 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성방법 및 장치 - Google Patents

Abstract

본 발명은 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성방법 및 장치에 관한 것으로, 종래의 렌티큐라 혹은 패러랙스 배리어 방식에 의한 입체영상 방식에 있어서는 아날로그 방식과 디지탈 방식으로 나눌 수 있는데, 아날로그 방식은 영상합성이 용이한 장점이 있는 반면에 입력이 2채널로 고정되어 시스템의 확장성에 제약을 받고, 이전의 영상처리에 어려움을 갖게 되었으며, 디지탈 방식 역시 시스템의 유연성이 제한되는 문제점이 있었다. 이러한 문제점을 감안하여 디지탈 신호로 변환된 좌, 우 입력영상을 좌, 우 영상의 마스크 패턴영상과 각기 화소별로 논리곱 연산을 수행하여 스트라이프 형태의 영상을 얻고, 상기 2개의 스트라이프 형태의 영상을 화소별로 논리합 연산을 수행하여 입체영상으로 출력하게 함으로써, 컴퓨터와의 접속 및 영상처리기법의 적용 등이 용이하고, 영상데이타의 저장 및 전송이 편리하게 하고, 소프트웨어적인 데이터 처리방식을 통한 패턴의 변화가 용이하여 카메라 채널 수를 유연하게 확장할 수 있고, 실험에 쉽게 적용할 수 있게 한다.

Description

디지탈 마스킹 기법을 이용한 실시간 입체영상 합성방법 및 장치

제1도는 양안시차의 원리도.

제2도는 렌티큐라 렌즈판의 모양도.

제3도는 패러랙스 배리어 방식의 판의 모양도.

제4도는 렌티큐라 방식의 입체영상 표시원리도.

제5도는 패러랙스 배리어 방식의 입체영상 표시원리도.

제6도는 전용 하드웨어 보드를 사용한 입체영상 합성원리도.

제7도는 디지탈 멀티플렉싱의 원리도.

제8도의 (a), (b)는 본 발명에 따른 좌, 우 영상의 마스크 패턴 영상예시도.

제9도의 (a), (b)는 본 발명에 따른 논리곱 연산과정 설명도.

제10도는 본 발명에 따른 논리합 연산과정 설명도.

제11도는 본 발명의 디지탈 마스킹 기법을 이용한 실시간 입체영상합성장치블럭도.

제12도는 본 발명의 4대의 카메라를 사용한 경우의 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성장치 블럭도.

* 도면의 주요부분에 대한 부호의 설명

11a - 11d : 카메라 12a - 12d : 아날로그 / 디지탈 변환기

13a - 13d : 입체영상 저장메모리 14a - 14d : 마스크 저장 메모리

15a - 15d : 연산기 16 : 교번 영상 저장 메모리

17 : 출력 제어기 18 : 영상 매체

본 발명은 3차원 영상 표시기술의 일환인 입체영상 합성방법에 관한 것으로, 특히 인간이 현실세계에서 느끼는 자연스럽고 사실적인 감각을 티브이(TV)등과 같은 평면 매개체를 통해서도 그대로 느낄 수 있도록 한 다지탈 마스킹(masking)기법을 이용한 실시간 입체영상 합성 방법 및 장치에 관한 것이다.

인간의 입체감을 느끼는 요인은 생리적인 요인과 심리적인 요인이 있는데, 3차원 영상표시 기술에서는 일반적으로 근거리 (보통 10m이내)에서 입체감을 발생시키는 가장 큰 요인인 양안시차(binocular parallax)를 이용하여 물체의 입체감을 나타낸다. 제1도는 양안시차의 원리도로서, 이 제1도로부터 알 수 있는 바와 같이 양안시차는 양안의 간격(약 65mm)으로 인해 우안 및 좌안에서 동일한 대상물을 보았을 때 발생하는 시 각도차를 의미한다. 이러한 양안의 시차에 의해 동일대상물의 입체감을 느낄 수 있게 된다.

이러한 양안의 시각차를 이용하여 입체효과를 나타내는 입체영상 표시방법은 통상적인 티브이 기술과 접목이 가능하여 여러분야에서 사람들이 쉽게 이용할 수 있다. 입체영상 표시방식으로서는 크게 안경 착용 방식과 안경 미착용 방식으로 나눌 수 있다.

상기 안경 착용 방식은 양안에 각각 청색과 적색의 색안경을 쓰는 아나그라프(Anaglyph) 방식, 각각 편광이 다른 안경을 쓰는 편광식, 그리고 시간 분할된 편광을 주기적으로 반복시키고, 이 주기에 동기시킨 편광셔터가 설치된 안경을 쓰고 보는 시분할 방식 등이 있다.

특히 시분할 방식은 다른 방식에 비해 손쉽게 입체효과를 얻을 수 있는 장점이 있어 일찍부터 실용화된 반면, 시력 교정용 안경 이외의 또 다른 안경을 써야하는 불편함 및 안경을 쓴 상태로 화상 이외의 또 다른 사물을 관찰하는데 지장을 받는 문제점이 있고, 또한 다시점(multi- View)영상표시가 불가능하게 되는 문제점을 갖고 있다.

따라서 안경을 사용하지 않고서도 입체영상을 볼 수 있는 안경 미착용 방식에 관한 연구가 지속되어 왔다.

현재까지 제안된 여러 방식중 가장 실용적인 방식으로는 원통형의 렌즈를 수직으로 배열한 렌티큐라(lenticular)렌즈판을 티브이 앞에 설치하는 렌티큐라 방식과, 특수하게 설계된 판을 사용하여 화면에 비추어지는 빛을 조절함으로써 입체감을 얻는 패러랙스 배리어(parallax barier) 방식을 들 수 있다.

제2도는 상기 렌티큐라 렌즈판의 모양도로서, 이에 표시된 바와 같이 소정 피치(pitch)의 원통형 렌즈(Lens)를 수직으로 배열하여 렌티큐라 렌즈판을 구성하고, 제3도는 패러랙스 배리어 방식의 판의 모양으로서, 이에 도시된 바와 같이 유리판에 불투명 막대를 일정간격을 두고 수직으로 배열하여 구성한다.

상기에서 설명한 여러 가지 입체영상 표시기법들은 각기 독특한 형태의 영상구조를 필요로 하는데, 예를 들어 안경착용 방식중 아나그라프 방식을 위해서는 좌영상이 적색(혹은 청색), 우영상이 청색(혹은 적색)으로 표시되어야 하며, 시분할 방식에서는 좌/우 영상이 티브이 인터레이스 신호에 동기되어 각각 반복적으로 표시되어야 하고, 렌티큐라 방식과 패러랙스 배리어 방식에서는 좌/우 영상이 화소단위로 규칙적으로 교번되는 영상구조로 되어야 한다.

제4도는 렌티큐라 방식의 입체영상 표시원리도로서, 이에 도시된 바와 같이 좌, 우 카메라에 의한 좌, 우 영상(Image)이 영상 프로세서(Image Processor)에 입력되어, 그 영상 프로세서로부터 엘씨디 패널(LCD Panel)위에 좌/우 영상의 화소순서로 교대로 배열된 입체영상이 출력되면, 렌티큐라판(Lenticular Sheet)의 지향 특성에 따라 그 렌티큐라판의 초점면에서 좌/우 영상 화소가 교차되고, 이에 따라 관찰자(observer)의 좌안에는 좌영상 화소, 우영상 화소만이 투영되어 그 두 영상이 각기 분리되어 보임으로써 입체감을 느낄 수 있게 된다.

제 5 도는 패러랙스 배리어 방식의 입체영상 표시 원리도로서, 이에 도시된 바와 같이 엘씨(LC)판에는 관찰자의 좌안에서 보는 영상과 우안에서 보는 영상이 각각 수직방향으로 한줄씩 결합되어 출력되고 있다. 엘씨판의 뒤에는 유리판과 수직방향으로 놓인 막대기 모양의 칸막이인 불투명 막대(이를 합쳐 영상 스플리터라고 한다.)가 놓여 있다. 이 영상 스플리터가 패러랙스 배리어 방식의 가장 핵심적인 요소로서, 영상 스플리터의 영향으로 뒤에 놓인 백라이트의 빛이 일종의 간섭을 받게 된다. 즉, 관찰자의 좌측 눈에는 빛이 투사되는 좌영상의 화소로 보이는 반면에, 우영상의 화소는 영상 스플리터의 수직 칸막이 때문에 빛이 반사되지 못하므로 보이지 않게 된다. 마찬가지 방식으로 우측눈에는 우영상의 화소만 보이고 좌영상의 화소는 보이지 않게 된다. 결과적으로 관찰자의 좌측눈과 우측눈에는 각각 다른 영상이 보이게 되므로 입체감을 느끼게 되는 것이다. 여기서 관찰자와 영상이 출력되는 엘씨(LC) 패널 사이의 거리는 영상 스플리터의 유리판의 두께를 이용하여 조절할 수 있다.

상기에서 언급한 렌티큐라 혹은 패러랙스 배리어 방식에 대한 영상구조 처리를 위하여 기존에 사용되고 있는 기법은 대부분 아날로그 방식과 디지탈 방식을 나눌 수 있다.

상기 아날로그 방식은 엔티에스씨(NTSC)의 인터레이스 방식에 바탕을 두었는데, 인터레이스 방식이 프레임단위가 아닌 필드 단위로 영상을 입력하는 점에 착안하여, 두 카메라와 티브이를 모두 90°회전시킨 후 좌영상을 짝수 필드 (혹은 홀수 필드), 우영상을 홀수 필드 (혹은 짝수 필드)로 각각 입력시킴으로써 자연스러운 좌/우 합성 영상을 구현하게 된다.

이 방법은 일본 엔티티(NTT)에서 개발한 3차원 화상 전화기 시스템에서 사용되었다. 그러나 이 방법은 영상 합성이 용이한 장점이 있는 반면, 입력이 2채널로 고정되어 시스템의 확장성에 제약을 받고, 합성 이전의 영상 처리에 어려움을 갖는 아날로그 방식 고유의 단점을 갖고 있다.

한편, 일본 엔에이치케이(NHK)에서는 렌티큐라 방식의 디지탈 3차원 티브이 기술을 개발하였는데, 입력영상 합성을 위한 전용 하드웨어 보드를 사용하여 디지탈 변환된 입력 영상 멀티플렉싱 방식을 통해 합성하는 방식을 채택하였다.

제6도는 전용 하드웨어 보드를 사용한 입체영상 합성원리도로서, 이에 도시된 바와 같이 카메라 (A - D)에 의해 입력된 아날로그 영상 신호는 컨버터(1)에 의해 디지탈화 되어, 각각 알지비(RGB)신호(R(A)-R(D), G(A)-G(D), B(A)-B(D))로 분리된다. 이와 같이 분리된 알지비 신호는 디지탈 멀티플렉서(2)를 통하여 화소단위로 교번된 스트라이프 형태의 영상으로 만들어져 디스플레이부(3)에 표시된다.

즉, 제7도는 디지탈 멀티플렉싱의 원리도로서, 이에 도시된 바와 같이 제1 카메라(A)의 알지비 콤포넌트(RGB Component)는 하나의 화소를 구성하여 (0,0)번째 위치에 놓이고, 제2 카메라(B)의 알지비 콤퍼넌트는 (0,1)번째 화소가 된다. 이러한 형태로 입력된 영상들이 교번된 모양의 영상을 만들 수 있게 된다. 일반적으로 멀티플렉싱의 하드웨어적 처리속도가 매우 빠르므로 실시간 (보통 초당 30프레임을 의미함)으로 입체영상을 만들 수 있는 장점이 있으나, 멀티플렉서의 입력이 고정되기 때문에 입력영상의 수에 변화를 주기가 어려워 가변적인 실험환경에서 최적의 입체영상 제작을 위한 다양한 시도에 제약이 따른다는 단점이 있다.

따라서, 본 발명의 목적은 상기 종래의 단점을 해결하여 실시간적으로 입체영상을 합성할 수 있는 디지탈 마스킹 기법을 이용한 입체영상 합성방법 및 장치를 제공함에 있다.

또한, 본 발명의 다른 목적은 디지탈 방식의 고유의 장점인 컴퓨터와의 접속 및 영상처리기법 적용의 용이함과, 영상 데이터의 저장 및 전송의 편리성을 제공하고, 또한 전용 하드웨어를 통한 디지탈 멀티플렉싱 방식의 구조적인 제약에 따른 문제점을 극복하기 위하여 소프트웨어적인 데이터 처리방식을 통하여 각종 실험에 쉽게 적용이 가능한 사용자 중심의 입체영상 제작환경을 제공함에 있다.

이와 같은 본 발명의 목적은 입력되는 영상을 좌, 우 영상의 마스크 패턴 영상과 각기 앤드(AND)연산을 수행하여 스트라이프 형태의 영상을 얻고, 그 2개의 스트라이프 형태의 영상을 오아(OR)연산을 수행하여 입체영상으로 출력함으로써 달성되는 것으로, 이를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

제8도의 (a), (b)는 본 발명에 따른 좌, 우 영상의 마스크 패턴 영상 예시도로서, 좌영상의 마스크 패턴 영상은 제8도의 (a)에 도시한 바와 같이 검은 부분과 하얀부분이 교대로 반복되고, 우영상의 마스크 패턴 영상은 제8도의 (b)에 도시한 바와 같이 상기 좌영상의 마스크 패턴 영상과는 반대로 하얀부분과 검은부분이 교대로 반복된다. 상기 마스크 패턴 영상에서 검은부분은 논리회로에서 0을 의미하는 부분으로서 스위치로 보면 오프(off)인 것이고, 반대로 하얀부분은 논리회로에서 1을 의미라고 스위치로 보면 온(on)상태인 것이다.

이와같은 2개의 마스크 패턴 영상은 2안식 즉, 입력영상이 2개일 경우 사용되는 것이다.

제9도의 (a), (b)는 본 발명에 따른 논리곱(logical AND) 연산과정 설명도로서, 이에 도시한 바와 같이 두 입력영상을 상기 제8도 (a), (b)의 좌, 우 영상의 마스크 패턴영상과 각기 논리곱(logical AND) 연산을 수행시켜서 스트라이프 형태의 영상을 얻는다. 먼저, 입력 영상중 좌영상의 화소값을 A, 그리고 우영상의 화소값을 B라고 가정한다. 좌영상의 경우 (0,0)번째 화소가 입력되어, 좌영상에 대한 마스크 패턴 영상의 (0,0)번째 화소(검은 부분이므로 논리 0을 의미)와 논리곱 연산을 취하게 된다. 이때 논리회로에서 A ∩ O = O 이므로 좌영상의 마스크 패턴영상의 검은 부분이 출력영상의 (0,0)번째 화소에 위치하게 된다. 다음 (0,1)번째 화소의 경우 좌영상의 마스크 패턴 영상의 (0,1)번째 화소가 하얀 부분이므로 논리적으로 1이 된다. 따라서 A ∩ 1 = A가 되므로, 입력영상의 (0,1)번째 화소가 출력영상의 (0,1)번째 화소위치에 놓이게 된다.

우영상의 경우도 상기에서 설명한 좌영상의 경우와 동일방식으로 논리곱연산을 수행함으로써 좌, 우영상에 대한 스트라이프 형태의 출력영상을 얻을 수 있게 된다.

제10도는 본 발명에 따른 논리합(logical OR) 연산과정 설명도로서, 이에 도시한 바와 같이 상기 제9도의 (a), (b)와 같이 얻은 좌, 우 영상에 대한 스트라이프 형태의 출력영상을 논리합(logical OR) 연산을 수행함으로써 최종적으로 합성된 입체영상을 얻을 수 있게 된다. 즉, 상기 스프라이트 형태의 좌영상의 (0,0)번째 화소는 검은 부분이므로 논리 0이고, 우영상의 (0,0)번째 화소는 입력영상이므로 B이다. 따라서 이 좌, 우 영상의 (0,0)번째 화소들에 대한 논리합의 결과는 O ∪ B = B 가 되어 최종출력영상의 (0,0)번째 화소값은 B가 된다. 좌, 우 영상의 (0,1)번째 화소의 경우도 상기와 같은 방식으로 논리합을 취하면 A ∪ O = A 가 되어, 최종출력영상의 (0,1)번째 화소값은 A가 된다. 결국, 최종적으로 좌, 우영상의 화소 B,A,B,A가 반복되는 형태의 입체영상이 만들어지게 된다.

제11도는 본 발명의 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성장치 블럭도로서, 이에 도시한 바와 같이 좌, 우 카메라(11a),(11b)의 출력영상 신호를 입력받아 디지탈 신호로 변환하는 아날로그/디지탈(A/D) 변환기(12a),(12b)와, 상기 아날로그/디지탈 변환기(12a),(12b)의 출력영상신호를 입력받아 저장하는 입력영상 저장메모리(13a),(13b)와, 좌, 우 영상의 마스크 패턴 영상을 저장한 마스크 저장메모리(14a),(14b)와, 상기 입력영상 저장메모리(13a),(13b)에 저장되어 출력되는 입력영상신호를 상기 마스크 저장메모리(14a),(14b)의 마스크 패턴 영상신호와 논리곱 연산을 수행한 후 그 입력 영상신호에 따른 영상신호를 교번으로 출력하는 연산기(15a),(15b)와, 상기 연산기(15a),(15b)에서 교번으로 출력되는 교번 영상신호를 저장하는 교번영상 저장 메모리(16)와, 상기 교번영상 저장 메모리(16)에 저장된 교번영상을 입력받아 영상매체(18)에 표시하는 출력제어기(17)로 구성한 것으로, 이의 동작과정을 설명한다.

좌, 우 카메라(11a),(11b)에서 촬상되어 출력되는 좌, 우 영상신호는 아날로그/디지탈 변환기(12a),(12b)에서 디지탈 영상신호로 변환되어 입력영상 저장메모리(13a),(13b)에 저장되어 출력되는 입력 영상 및 마스크 저장메모리(14a),(14b)에 저장되어 출력되는 좌, 우 영상의 마스크 패턴 영상을 연산기(15a),(15b)에서 입력받아 각기 화소별로 논리곱(logical AND) 연산하게 되면, 상기 제9도의 (a),(b)에서 설명한 바와 같은 스트라이프 형태의 영상으로 되고, 이 스트라이프 형태의 영상중 좌, 우 입력영상의 출력에 따른 영상 즉, 검은 부분이 아닌 하얀 부분의 영상을 그 연산기(15a),(15b)에서 교번으로 출력함으로써 좌, 우 입력영상의 교번 영상으로 된다. 이와 같이 연산기(15a),(15b)에서 출력되는 좌, 우 입력영상의 교번영상은 교번영상 저장 메모리(16)에 저장되고, 이 교번영상 저장 메모리(16)에서 출력되는 영상을 출력제어기(17)에서 입력받아 영상매체(18)에 표시함에 따라 그 표시영상은 입체영상으로 된다.

제12도는 본 발명의 4대의 카메라를 사용한 경우의 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성장치 블럭도로서 이에 도시한 바와 같이 마스크 패턴의 수를 4개로 증가시켜 상기에서 설명한 제11도의 기술적 구성과 동일하게 구성한다. 즉, 카메라(11c),(11d)의 출력영상신호를 입력받아 디지탈 신호로 변환하는 아날로그/디지탈 변환기(12c),(12d)와, 상기 아날로그/디지탈 변환기(12c),(12d)의 출력 영상신호를 입력받아 저장하는 입력영상 저장 메모리(13c),(13d)와, 마스크 패턴 영상을 저장한 마스크 저장메모리(14c),(14d)와, 상기 입력영상 저장메모리(13c),(13d)에 저장되어 출력되는 입력영상신호를 상기 마스크 저장메모리(14c),(14d)의 마스크 패턴 영상신호와 논리곱 연산을 수행한 후 그 입력 영상신호에 따른 영상신호를 교번으로 출력하는 연산기(15c),(15d)를 상기 제11도의 기술적 구성에 추가하여 구성한 것으로, 이 제 12 도의 동작과정도 상기 제 11 도에서 설명한 동작과 동일하게 이루어진다.

이상에서 상세히 설명한 바와 같이 본 발명은 처리방식이나 요구되는 사양이 단순하므로 일반적인 개인용 컴퓨터나, 전용 하드웨어 시스템 혹은 범용 하드웨어 시스템 등에서 모두 쉽게 적용될 수 있고, 사용자의 소프트웨어 구현에 따라 다양한 형태의 입체영상 구현실험이 가능하며, 연산속도가 빠른 범용영상처리 하드웨어 시스템에 응용한 경우 실시간 처리로 좌/우 영상의 합성을 이룰 수 있는 효과가 있다.

Claims (4)

1. 디지탈 신호로 변환된 좌, 우 입력영상을 좌, 우 영상의 마스크 패턴 영상과 각기 화소별로 논리곱(logical AND)연산을 수행하여 스트라이프 형태의 영상을 얻는 단계와, 상기 2개의 스트라이프 형태의 영상을 화소별로 논리합(logical OR)연산을 수행하여 입체영상으로 출력하는 단계로 이루어진 것을 특징으로 하는 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성방법.
2. 좌, 우 카메라의 출력영상 신호를 입력받아 디지탈 신호로 변환하는 제1, 제2 아날로그/디지탈변환수단과 , 상기 제1, 제2 아날로그/디지탈 변환수단의 출력영상신호를 입력받아 저장하는 제1, 제2 입력영상 저장수단과, 좌, 우 영상의 마스크 패턴 영상을 저장한 제1, 제2 마스크 저장수단과, 상기 제1, 제2 입력영상 저장수단에서 출력되는 입력영상신호를 상기 제1, 제2 마스크 저장수단의 마스크 패턴 영상신호와 논리곱 연산을 수행한 후 그 입력 영상신호에 따른 영상신호를 교번으로 출력하는 제1, 제2 연산수단과, 상기 제1, 제2 연산수단으로부터 교번으로 출력되는 교번 영상신호를 저장하는 교번영상 저장수단과, 상기 교번영상 저장수단에 저장된 교번영상을 입력받아 영상매체에 표시하는 출력제어수단으로 구성하여 된 것을 특징으로 하는 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성장치.
3. 제2항에 있어서, 제1, 제2 마스크 저장수단에 저장된 좌, 우 영상의 마스크 패턴 영상은 논리 0 부분 및 논리 1 부분이 서로 반대로 배열되어 구성된 것을 특징으로 하는 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성장치.
4. 제2항에 있어서, 카메라 4대를 사용하게 마스크 패턴의 수를 4개로 증가시켜 구성된 것을 특징으로 하는 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성장치.