KR100868244B1 - 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩 - Google Patents

Abstract

본 발명은 이동 기기(Mobile Equipment)를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩에 대한 것이다. 본 발명에 따르면, 2개의 이동 기기용 카메라 모듈을 이용하여 촬영한 좌측 영상과 우측 영상을 합성하고, 이들을 시프트하여 이동함으로써 입체감이 조정된 입체 영상을 하나의 입체 영상 컨텐츠로서 저장함으로써 쉽게 높은 품질의 입체 영상을 생성하는 것이 가능하다.

입체영상, 이동 기기

Description

이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩{Method For Generating Stereoscopic Image Using The Mobile Equipment, And Chipset For Generating Stereoscopic Image Used In The Mobile Equipment}

도 1a는 패럴랙스-베리어를 이용한 입체영상 표시장치의 단면도.

도 1b는 패럴랙스-베리어를 이용한 입체영상 표시장치의 사시도.

도 2는 2개의 카메라 모듈을 이용하여 촬영한 좌측 영상과 우측 영상을 각각 도시한 도면.

도 3은 2개의 카메라 모듈을 이용하여 촬영한 좌측 영상과 우측 영상을 입체 영상 생성 칩에서 합성한 영상을 도시한 도면.

도 4는 본 발명의 일 실시형태에 따라 메모리 모듈이 없더라도 2개의 카메라 모듈을 통해 촬영한 좌측 영상과 우측 영상의 동기를 맞추는 방법을 설명하기 위한 도면.

도 5는 본 발명의 일 실시형태에 따라, 촬영된 좌측 영상과 우측 영상의 입체감을 입체 영상 생성 칩에 의해 조절하는 원리를 설명하기 위한 도면.

도 6은 본 발명의 일 실시형태에 따라 입체 영상을 생성하는 방법을 나타내는 순서도.

도 7은 본 발명의 일 실시형태에 따른 이동 기기용 입체영상 생성칩의 개략 적인 배치를 설명하기 위한 도면.

도 8은 도 7에 도시된 이동 기기용 입체영상 생성칩의 세부 구성을 설명하기 위한 도면.

*도면의 주요 부분에 대한 부호의 설명

401 : 스크린 402, 403 : 좌우측 영상

601, 601a, 601b : 카메라 모듈 602 : 입체영상 생성 칩

603 : 백엔드(backend) 칩셋 701 : 입체영상 프로세서

702 : 카운터 703 : 메모리

704 : I2C 제어부

본 발명은 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩에 대한 것으로서, 더 구체적으로는 기존의 이동 기기용 카메라 모듈 2개를 그대로 이용하여 손쉽게 입체 영상을 촬영 및 저장하고, 이의 입체감(depth)을 조절함으로써 높은 품질의 입체 영상을 생성하는 기술에 대한 것이다.

일반적으로 입체 영상(또는 3D 영상)을 구현하는 방법은 인간의 두 눈에 서로 다른 영상을 조명함으로써 구현되며, 입체영상 표시 장치는 이와 같이 두 눈에 서로 다른 영상을 조명하기 위하여 별도의 안경착용이 필요한지 여부에 따라 크게 안경식 입체영상 표시 장치와 비안경식 (나안방식) 입체영상 표시 장치로 구분된 다.

안경식 입체영상 표시장치는 관찰자가 특수한 안경을 착용하여야 하는 불편함을 감수하여야 하지만, 비안경식 입체영상 표시 장치는 상술한 안경을 착용하지 않고 직접 스크린을 주시하는 것만으로도 입체영상을 느낄 수 있어 안경식 입체영상 표시 장치의 단점을 해소할 수 있기 때문에, 이에 대한 많은 연구가 진행되고 있다. 비안경식 입체영상 표시 장치는 렌티큘러 (lenticular) 방식에 의한 장치와 패럴랙스-베리어 (parallax-barrier) 방식에 의한 장치로 크게 구분된다.

이하에서 패럴랙스-베리어 방식에 의한 입체영상 표시 장치의 동작을 도 1a 및 도 1b를 참조하여 설명한다.

도 1a는 패럴랙스-베리어를 이용한 입체영상 표시장치의 단면도, 도 1b는 패럴랙스-베리어를 이용한 입체영상 표시장치의 사시도이다.

패럴랙스-베리어 방식에 의한 입체영상 표시 장치는 도 1a 및 도 1b에 도시된 바와 같이 좌/우 두 눈에 각각 대응하는 수직방향(도 1b 의 Y-Y' 방향)을 향하는 좌측영상(L)과 우측영상(R)을 수평방향(도 1b에서 X-X' 방향)으로 교대로 배치한 디스플래이 모듈(10), 및 그 전단에 베리어(20; barrier)라 불리는 수직방향을 향하는 막대 형태의 차단막을 포함한다. 이러한 입체영상 표시 장치는 도 1a에 도시된 바와 같이 좌측영상(L)에 해당하는 빛은 좌안으로만 입사되고, 우측영상(R)에 해당하는 빛은 우안으로만 입사되도록 상기 디스플레이 모듈(10) 및 베리어(20)를 배치하며, 이를 통해 분할된 2 개의 좌, 우 영상(L, R)이 분리 관측되어 입체감을 느끼게 하는 방식이다.

상술한 바와 같은 입체 영상을 구현하기 위하여는 좌측 영상과 우측 영상이 교대로 배치되어 저장된 입체 영상 컨텐츠가 필요하다. 다만, 현재 이와 같은 입체영상 컨텐츠 생성은 입체영상을 촬영하기 위한 장비가 고가이며, 대중화되어 있지 않아 특정 서비스 제공자에 의해서만 제공되고 있으며, 일반 사용자들에 의해 널리 활성화되어 있지 않고 있다.

따라서, 이와 같은 입체 영상을 휴대폰을 포함한 기존 이동 기기를 이용하여 쉽게 높은 품질의 입체영상을 생성하는 기술에 대한 기대가 크다.

상술한 바와 같은 문제점을 해결하기 위해서 본 발명의 목적은 기존의 카메라 모듈 2개를 장착한 이동 기기를 이용하여 일반 사용자가 쉽게 입체영상 컨텐츠를 제작하고, 또한 입체영상 촬영 시 실제 디스플레이 되는 입체영상을 확인하고 입체감을 조절하여 컨텐츠를 생성함으로써 보다 높은 품질의 입체 영상을 제작하는 방법을 제공하는 데 있다.

또한, 기존의 이동 기기 구성을 그대로 이용하면서 하나의 칩을 추가함으로써 손쉽게 입체 영상을 제작할 수 있도록 하는 입체영상 생성 칩을 제공하고자 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시형태에 따른 입체 영상 생성 방법은, 영상 처리가 가능한 벡엔드 칩셋 및 2개의 카메라 모듈을 포함하는 이동 기기(Mobile Equipment)에 입체 영상 생성 칩을 삽입하여 입체 영상을 생성하는 방법으로서, 상기 이동 기기의 2개의 카메라 모듈을 통해 좌측 영상과 우측 영상을 촬영하는 단계; 상기 입체 영상 생성 칩의 카운터로부터 생성된 시간 동기를 입력 받아 상기 2개의 카메라 모듈을 통해 촬영한 상기 좌측 영상과 상기 우측 영상의 촬영 시간 동기를 맞추어 공간적으로 교대로 배치하여 합성하는 단계를 포함한다.

이때, 상기 합성하는 단계는, 상기 2개의 카메라 모듈을 통해 촬영한 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 좌측 영상과 상기 우측 영상의 동기를 맞추기 위해 상기 좌측 영상과 상기 우측 영상 중 어느 하나를 메모리 모듈에 일시 저장하는 단계를 포함하거나, 입체 영상 생성 칩이 메모리 모듈을 포함하지 않는 경우, 상기 2개의 카메라 모듈의 대기(Ready) 또는 전원 해제(power down) 중 하나 이상의 기능을 포함하는 일시 정지 기능을 이용하여 상기 2개의 카메라 모듈로부터 입력 받은 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 좌측 영상과 상기 우측 영상을 일시 정지시킨 후, 동기가 맞도록 상기 좌측 영상과 상기 우측 영상을 동시에 재 시작시키는 단계를 포함할 수 있다.

또한, 상기 벡엔드 칩셋으로부터의 제어 신호를 입력 받아, 상기 제어 신호에 따라 상기 좌측 영상과 상기 우측 영상의 좌우 배치를, 상기 좌측 영상과 상기 우측 영상의 시프트를 통해 조정하여 입체감(depth)을 조정하는 단계를 더 포함할 수 있으며, 여기서 상기 입체감 조정 단계는, 상기 이동 기기에 설치되는 소프트웨어에 의해 수행될 수도, 상기 입체 영상 생성 칩의 입체감 조절 모듈에 의해 수행 될 수도 있다.

아울러, 상기 입체감 조정 단계는, 상기 이동 기기의 액정을 통해 입체감을 확인하는 단계를 포함할 수 있다.

한편, 본 발명의 다른 일 실시형태에 따른 입체 영상 생성 칩은, 영상 처리가 가능한 벡엔드 칩셋 및 2개의 카메라 모듈을 포함하는 이동 기기(Mobile Equipment)에 삽입되어 입체 영상을 생성하는데 이용되는 입체 영상 생성 칩으로서, 상기 2개의 카메라 모듈로부터 상기 좌측 영상과 상기 우측 영상을 입력받아 합성하는 합성 모듈을 포함하는 입체 영상 프로세서; 및 상기 입체 영상 생성 칩의 시간 동기를 생성하기 위한 카운터를 포함하며, 상기 입체 영상 프로세서의 상기 합성 모듈은 상기 카운터로부터 상기 동기 정보를 입력받아 상기 2개의 카메라 모듈을 통해 촬영한 상기 좌측 영상과 상기 우측 영상의 촬영 시간 동기를 맞추어 공간적으로 교대로 배치하는 것을 특징으로 한다.

이때, 상기 2개의 카메라 모듈로부터 입력 받은 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 좌측 영상과 상기 우측 영상의 동기를 맞추기 위해 상기 좌측 영상과 상기 우측 영상 중 어느 하나를 일시 저장하는 메모리 모듈을 더 포함할 수 있다.

또한, 이러한 메모리 모듈이 없더라도 상기 2개의 카메라 모듈은 대기(Ready) 또는 전원 해제(power down) 중 하나 이상의 기능을 포함하는 일시 정지 기능을 포함하며, 상기 입체 영상 프로세서는 상기 2개의 카메라 모듈로부터 입력 받은 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 2개의 카메 라 모듈의 상기 일시 정지 기능을 사용하여 상기 좌측 영상과 상기 우측 영상을 일시 정지시킨 후, 동기가 맞도록 상기 좌측 영상과 상기 우측 영상을 동시에 재 시작시킬 수 있다.

아울러, 상기 입체 영상 프로세서는, 상기 벡엔드 칩셋으로부터의 제어 신호를 입력 받아, 상기 제어 신호에 따라 상기 좌측 영상과 상기 우측 영상의 좌우 배치를, 상기 좌측 영상과 상기 우측 영상의 시프트를 통해 조정하여 입체감(depth)을 조정하는 입체감 조정 모듈을 더 포함할 수 있으며, 또한, 상기 이동 기기의 제어 신호를 상기 2개의 카메라 모듈에 분할 전달하는 제어부를 더 포함할 수 있다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. 몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시된다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

도 2는 2개의 카메라 모듈을 이용하여 촬영한 좌측 영상과 우측 영상을 각각 도시한 도면이다.

본 발명의 일 실시형태에 따르면 영상 촬영 기능이 있는 휴대폰을 포함한 기존의 이동 기기(Mobile Eqipment)용 카메라 모듈 2개를 이용하여 각각 도 2의 (1)과 같은 좌측 영상(L)과 도 2의 (2)와 같은 우측 영상(R)을 촬영한다. 한편, 기존의 영상 처리 기능을 가지는 이동 기기는 1개의 카메라 모듈을 통해 촬영된 영상을 상기 이동 기기의 벡엔드 칩셋(back-end chipset)을 통해 처리하는 기능만을 포함하며, 본 발명의 일 실시형태에서와 같이 2개의 카메라 모듈을 통해 촬영된 좌측 영상과 우측 영상을 동기를 맞추어 합성하고, 입체감을 조정할 수 없다. 따라서, 본 발명의 일 실시형태에서는 이와 같은 이동 기기에 입체 영상 생성 칩을 삽입하여 이를 통해 입체 영상을 생성하도록 할 수 있다.

한편, 도 2에 도시된 바와 같은 좌측 영상(L)과 우측 영상(R)은 정지화상일 수도 있고, 동영상일 수도 있으며, 각각의 카메라 모듈을 통한 일반적인 영상 컨텐츠에 해당한다. 또한, 각각의 카메라 모듈은 CMOS 또는 CCD를 지원하도록 할 수 있으며, 이는 선택적인 사항에 해당한다.

도 3은 2개의 카메라 모듈을 이용하여 촬영한 좌측 영상과 우측 영상을 입체영상 생성 칩에서 합성한 영상을 도시한 도면이다.

구체적으로, 도 2의 (1) 및 (2)에 도시된 바와 같은 2개의 카메라 모듈에 의해 촬영된 좌측 영상과 우측 영상은 본 발명의 일 실시형태에 따른 입체 영상 생성칩에 입력되어 각각 세로방향 열을 단위로 분할되어 가로 방향으로 교대로 배치되어 합성된다. 이와 같이 공간적으로 교대로 배치된 좌우 영상은 도 1a 및 도 1b와 같은 패럴랙스 베리어를 이용한 디스플레이 모듈을 통해 사용자의 좌안에는 좌측 영상만 보이고, 우안에는 우측 영상만이 보여 전체적으로 입체 영상으로 인지되게 된다.

종래의 패럴랙스 베리어 방식 입체 영상 디스플레이 모듈의 경우에는 도 1a 및 도 1b에 도시된 바와 같이 좌측 영상과 우측 영상이 각각 세로 방향 열을 단위로 분할되어 가로 방향으로 배치되어 합성된 입체 영상만이 사용자에게 입체 영상으로서 인지가 가능하였다. 다만, 본 발명자에 의해 발명되어, 본 출원인에 의해 출원되었으며, 여기에 참조로서 포함된 "셀 구조 패럴랙스-베리어 및 이를 이용하는 입체영상 표시 장치(특허출원번호 제 2005-0127631 호)"에 따르면, 상술한 패럴랙스 베리어를 셀 방식으로 구현하여, 이를 가로방향 또는 세로 방향으로 선택적으로 구동할 수 있다. 따라서, 본 발명의 일 실시형태에 따라 입체 영상을 합성하는 경우, 합성의 방향은 어느 한 방향으로 한정될 필요는 없으며, 입체 영상을 합성하는 방향과 이를 상영하는데 이용되는 패럴랙스 베리어 방식의 디스플레이 모듈의 베리어 방향을 조절하여 입체 영상을 상영할 수 있다.

다만, 일반적으로 입체 영상이 상영될 때, 사용자가 입체감을 느끼기 위해서는 가로방향으로 좌우 영상이 배치되어야 하며, 따라서, 입체 영상을 합성하는 방향 역시 도 3에 도시된 바와 같이 세로 방향 열을 단위로 가로방향으로 좌우 영상을 반복적으로 배치하여 합성하는 것으로 통일하는 것이 구현을 간단하게 할 수 있다.

한편, 이때 2개의 카메라 모듈을 통해 촬영한 좌우 영상이 동영상인 경우, 각각의 영상은 상술한 입체 영상 생성 칩에서 시간 동기에 맞게 합성되어야 한다. 이와 같은 시간 동기는 후술하는 바와 같이 본 발명의 일 실시형태에 따른 입체 영상 생성 칩의 카운터에 의해 생성된 시간 동기를 이용하여, 좌우 영상의 동기가 맞지 않은 경우 좌우 영상 중 어느 하나를 입체영상 생성칩의 메모리에 일시 저장한 후, 동기를 맞추어 합성하거나, 기존 2개의 카메라 모듈에 포함된 대기(ready) 또는 전원 해제(power down) 기능 등을 포함하는 일시 정지 기능을 이용하여 좌우 영상에 따른 전압에 변화가 있을 때, 좌우 영상 모두를 일시 정지하였다가, 이둘의 동기가 맞도록 동시에 재 시작함으로써 획득될 수 있으며, 이하에서 더 구체적으로 살펴보기로 한다.

먼저, 본 발명의 일 실시형태에 따른 입체영상 생성 칩은 좌측 영상과 우측 영상의 동기가 맞지 않는 경우, 이들 중 어느 하나를 임시 저장하기 위한 메모리 모듈을 포함할 수 있다. 이 메모리 모듈은 2개의 카메라 모듈을 통해 촬영한 좌측 영상과 우측 영상의 동기가 맞지 않는 경우, 이들 사이의 동기를 맞추기 위해 동기가 빠른 영상을 일시 저장하는 버퍼 기능을 수행할 수 있으며, 이를 통해 좌우 영상의 동기를 맞추어 합성할 수 있다.

한편, 본 발명의 다른 일 실시형태에서는 상술한 바와 같이 입체 영상 생성 칩이 별도의 메모리 모듈을 포함하지 않는다 하더라도 다음과 같은 방법에 의해 좌우 영상의 동기를 맞출 수 있다.

도 4는 본 발명의 일 실시형태에 따라 메모리 모듈이 없더라도 2개의 카메라 모듈을 통해 촬영한 좌측 영상과 우측 영상의 동기를 맞추는 방법을 설명하기 위한 도면이다.

구체적으로, 2개의 카메라 모듈을 통해 촬영된 좌측 영상과 우측 영상의 동기를 각각 "CH 1 카메라 sync" 및 "CH 2 카메라 sync"로 도시하였으며, 양 영상의 동기가 맞지 않을 경우 기존 카메라 모듈의 일시 정지 기능을 이용하여 동기를 맞추는 과정을 도시하였다,

기존의 카메라 모듈은 영상 촬영의 편의를 위해 대기 또는 전원 해제 등의 일시 정지 기능을 포함할 수 있다. 따라서, 본 발명의 일 실시형태에서는 입체 영상 생성 칩에 좌우 영상 중 어느 하나의 일시 저장을 위한 메모리 모듈이 없더라도, 2개의 카메라 모듈로부터 입력 받은 좌우 영상의 동기가 맞지 않는 경우, 양 영상의 동기에 이벤트가 있을 때, 즉 도 4에 도시된 바와 같이 전압이 "high"에서 "low"로 변환되는 시점 또는 이와 반대로 "low"에서 "high"로 변환되는 시점에, 좌우 영상을 일시 정지하였다가, 양 영상의 동기를 맞추어 동시에 재시작함으로써 동기를 맞출 수 있다.

이와 같이, 2개의 카메라 모듈의 일시 정지 기능을 이용하여 입체 영상 생성 칩이 메모리 모듈을 포함하지 않더라도 좌우 영상의 동기를 맞추는 기능은 이하에서 구체적으로 설명할 입체 영상 생성 칩의 입체 영상 프로세서에 의해 수행될 수도 있으나, 상술한 방식을 수행할 수 있는 한 이에 한정될 필요는 없다.

다만, 상술한 바와 같이 좌측 영상과 우측 영상의 동기를 맞추어 공간적으로 교대로 배치하여 합성하는 경우라도, 디스플레이 수단 및 사용자에 따라 인지되는 입체감이 서로 상이할 수 있다. 사용자에 따라서는 보다 강한 입체감을 느끼기를 원할 수도 있고, 인지 과정에서의 불편함 등을 이유로 보다 약한 입체감을 느끼기 를 원할 수도 있으므로, 본 발명의 일 실시형태에 따른 입체 영상 생성칩은 촬영된 입체 영상의 입체감을 조절할 수 있는 것이 바람직하다.

도 5는 본 발명의 일 실시형태에 따라, 촬영된 좌측 영상과 우측 영상의 입체감을 입체 영상 생성 칩에 의해 조절하는 원리를 설명하기 위한 도면이다.

도 5에 도시된 바와 같이 입체 영상을 구성하는 좌측 영상과 우측 영상의 합성 위치에 따라, 사용자에게 해당 사물이 스크린(401) 전면(예를 들어, 좌측 영상과 우측 영상이 "402"로 지칭된 위치)에 위치하는 것으로 인지될 수도, 스크린(401) 후면(예를 들어, 좌측 영상과 우측 영상이 "403"으로 지칭된 위치)에 위치하는 것으로 인지될 수 있다. 본 발명의 일 실시형태에 따르면, 상술한 바와 같이 합성된 좌측 영상과 우측 영상의 좌우 배치의 시프트(shift)를 통해 조정하여 상술한 바와 같이 입체감을 조정하는 것을 제안한다. 이와 같은 좌측 영상과 우측 영상의 합성 및 시프트를 통한 입체감 조정은 기존의 이동 기기 구성에 본 발명의 일 실시형태에 따른 입체 영상 생성 칩의 입체영상 프로세서, 구체적으로 입체 영상 프로세서의 입체감 조정 모듈를 통해 구현될 수도, 이와 달리 이동 기기에 설치되는 소프트웨어에 의해 구현될 수도 있으며. 이에 대해서는 후술하기로 한다.

구체적으로, 합성된 좌측 영상과 우측 영상의 배치 관계에 따라 스크린(401) 전면에 "402"로 지칭된 위치에 사물이 위치하는 것으로 인지되는 경우, 우측 영상을 "A" 방향으로, 좌측 영상을 "A'" 방향으로 시프트한다면, 사용자에게는 좌우 영상 사이의 간격으로 인하여 이들 좌측 영상과 우측 영상이 "402a"로 지칭된 위치에 위치하는 것으로 인지되어 결과적으로 사물이 더욱 스크린(401)으로부터 멀어지는 방향(즉, "a" 방향)으로 이동하는 것과 같은 효과를 가지게 된다. 이 경우, 동일한 영상 내에서 스크린(401) 후면에 위치("403" 위치)하는 것으로 인지되는 사물의 경우, 우측 영상을 "A" 방향으로, 좌측 영상을 "A'" 방향으로 시프트하는 경우, 사용자에게는 좌우 영상 사이의 간격으로 인하여 이들 우측 영상과 우측 영상이 "403a"로 지칭된 위치에 위치하는 것으로 인지되어 결과적으로 사물이 스크린(401) 쪽(즉, "a" 방향)으로 이동하는 것과 같은 효과를 가지게 된다.

결국, 우측 영상을 "A" 방향으로, 좌측 영상을 "A'" 방향으로 시프트하는 경우, 사물을 전체적으로 "a" 방향으로 이동시키는 효과를 가지게 되어 전체적인 입체감을 조정할 수 있다.

반대로, 스크린(401) 전면에 "402"로 지칭된 위치에 사물이 위치하는 것으로 인지되는 경우, 우측 영상을 "B" 방향으로, 좌측 영상을 "B'" 방향으로 시프트하는 경우, 사용자에게는 이들 영상이 "402b" 위치에 위치하는 것과 같이 인지되어, 결과적으로 스크린(401) 쪽(즉, "b" 방향)으로 이동하는 것과 같은 효과를 가지게 되며, 스크린(401) 후면에 "403"으로 지칭된 위치에 사물이 위치하는 것으로 인지되는 경우 역시, 우측 영상을 "B" 방향으로, 좌측 영상을 "B'" 방향으로 시프트하는 경우, 사용자에게는 이들 영상이 "403b" 위치에 위치하는 것과 같이 인지되어, 결과적으로 스크린(401)으로부터 멀어지는 방향(즉, "b" 방향)으로 이동하는 것과 같은 효과를 가지게 된다.

결국, 우측 영상을 "B" 방향으로, 좌측 영상을 "B'" 방향으로 시프트하는 경우, 사물을 전체적으로 "b" 방향으로 이동시키는 효과를 가지게 되어 전체적인 입 체감을 조정할 수 있다.

도 5와 관련하여 상술한 바와 같은 입체감 조정은 본 발명의 일 실시형태에서 이동 기기의 액정을 통해 촬영된 입체 영상의 입체감을 확인하면서 동시에 수행될 수 있으며, 이에 따라 디스플레이 모듈 및 사용자에 따라 상이하게 요구되는 입체감을 조정하여 입체 영상을 생성할 수 있다.

이와 같이, 입체감이 조정된 입체 영상은 기존의 이동 기기의 저장 메모리에 저장될 수도, 본 발명의 일 실시형태에 따른 입체 영상 생성 칩의 메모리 수단에 저장될 수도 있다. 따라서, 본 발명의 일 실시형태에 따른 입체 영상 생성 방법에 의하면, 기존의 이동 기기에 본 발명의 다른 일 실시형태에 따른 입체 영상 생성칩을 삽입하는 것을 통해 손쉽게 입체 영상을 촬영, 입체감 조정을 하여, 이를 저장할 수 있으며, 기존의 휴대폰과 같은 이동 기기를 이용하여 이를 손쉽게 전송할 수 있음으로써 입체 영상 컨텐츠 대중화에 효과적일 수 있다.

상술한 본 발명의 일 실시형태에 따른 입체 영상 생성 방법을 정리하면 다음과 같다.

도 6는 본 발명의 일 실시형태에 따라 입체 영상을 생성하는 방법을 나타내는 순서도이다.

우선, 단계 S501에서, 이동 기기용 카메라 모듈 2 개를 이용하여 좌측 영상과 우측 영상을 촬영한다. 이를 위한 카메라 모듈은 별도의 기능 추가 없이 기존의 이동 기기용 카메라 모듈을 단순히 1 개가 아닌 2개를 이용하는 점에서만 차이를 가지므로, 별도의 입체 영상 촬영용 카메라 모듈이 요구되지 않는다.

그 후, 단계 S502에서, 단계 S501에서 촬영한 좌측 영상과 우측 영상을 본 발명의 일 실시형태에 따른 입체 영상 생성 칩에서 합성한다. 이러한 합성 단계에서의 좌측 영상과 우측 영상의 합성은 상술한 바와 같이 입체 영상 생성 칩의 카운터로부터 생성된 시간 동기를 입력 받아 2개의 카메라 모듈을 통해 촬영한 좌측 영상과 우측 영상의 촬영 시간 동기를 맞추어 공간적으로 교대로 배치하여 합성하는 것을 의미한다. 이울러, 좌우 영상의 동기는 상술한 바와 같이 메모리 모듈을 이용하여 동기가 빠른 영상을 일시 저장하여 맞추어지거나, 도 4와 관련하여 상술한 바와 같이 기존의 카메라 모듈의 일시 정지 기능을 이용하여 동기가 맞추어 질 수 있다.

한편, 입체 영상 생성 칩을 통한 좌측 영상과 우측 영상의 합성은 패럴랙스 베리어를 이용하는 입체영상 디스플레이의 경우에는 도 3과 관련하여 설명한 바와 같이 세로 방향 열을 단위로 가로 방향으로 좌측 영상과 우측 영상을 교대로 배치하여 수행되는 것이 바람직하다.

이와 같이 입체 영상이 합성된 경우, 본 발명의 바람직한 일 실시형태에서는 이동 기기의 액정 등의 디스플레이 모듈을 통해 표시되는 입체 영상의 입체감을 확인할 수 있다(단계 S503). 입체감을 확인한 결과, 입체감이 부적절하다고 느껴지는 경우 단계 S504로 진행하여 도 5와 관련하여 상술한 바와 같이 입체감 조정 과정을 거친다.

이와 같은 입체감 조정 과정을 통해 단계 S503의 판정 결과 입체감이 적절한 것으로 판정되는 경우, 단계 S505로 진행하여 좌우 영상의 합성 위치가 조정된 입 체 영상을 하나의 입체 영상으로서 저장한다. 이 경우, 저장 매체는 본 발명의 일 실시형태에 따른 입체영상 생성 칩의 메모리일 수도 있고, 기존의 이동 기기에 내장된 저장 매체일 수도 있다.

한편, 이하에서는 상술한 바와 같은 본 발명의 일 실시형태에 따른 입체영상 생성 방법을 기존의 이동 기기 구성에 하나의 단일 칩을 삽입함으로써 구현하기 위한 본 발명의 다른 일 실시형태에 따른 입체영상 생성 칩에 대해 설명한다.

도 7은 본 발명의 일 실시형태에 따른 이동 기기용 입체영상 생성칩의 개략적인 배치를 설명하기 위한 도면이다.

도 7에 도시된 바와 같이, 본 발명의 일 실시형태에 따른 입체영상 생성 칩(602)은 2개의 이동 기기용 카메라 모듈(601a, 601b) 및 종래 백엔드 칩(603)과 연결되어, 도 6과 관련하여 상술한 입체영상 생성 방법을 수행한다. 즉, 본 발명에 따라 이동 기기를 이용하여 입체 영상 컨텐츠를 제작하는 것은 기존 이동 기기 구성에 1 개의 카메라 모듈을 추가하고, 본 발명의 일 실시형태에 따른 입체영상 생성 칩(602)을 추가함으로써 간단하게 실현될 수 있다.

도 8은 도 7에 도시된 이동 기기용 입체영상 생성칩의 세부 구성을 설명하기 위한 도면이다.

도 8에 도시된 바와 같이 본 발명의 일 실시형태에 따른 입체영상 생성칩(602)은 입체영상 프로세서(701)를 포함하며, 이 입체영상 프로세서(701)는 좌측 영상과 우측 영상의 합성을 수행하는 합성 모듈(701a)을 포함하며, 도 5와 관련하여 상술한 바와 같은 입체감 조정을 수행하는 입체감 조정 모듈(701b)을 포함할 수 도 있으나, 이와 같은 입체감 조정은 상술한 바와 같이 이동 기기에 설치되는 특정 소프트웨어에 의해 수행될 수도 있다.

구체적으로, 2개의 카메라 모듈(601)로부터 촬영된 좌측 영상과 우측 영상은 입체영상 프로세서(701)의 합성 모듈(701a)에 입력되어 도 3에 도시된 바와 같이 각 영상을 세로 방향 열을 단위로 가로방향으로 교대로 배치하여 합성할 수 있다. 이와 같이 합성된 입체 영상은, 이후 이동 기기 액정 등을 통해 확인한 영상을 통해 사용자로부터 입력된 입체감 조정 제어 신호를 백엔드 칩셋(603)으로부터 입력 받아 좌우 영상을 시프트 시킴으로서 입체감 조정을 수행할 수 있다.

또한, 입체영상 생성 칩(602)은 시간 동기를 생성하기 위한 카운터(702)를 포함할 수 있다. 이 카운터는 2 개의 자체적인 동기를 발생하여 입체영상 생성칩(602)을 전체적으로 동시에 구동되도록 조절할 수 있으며, 이를 통해 합성 모듈(701a)은 좌우 영상을 동기에 맞추어 합성할 수 있다.

또한, 도 8에 도시된 바와 같이 입체영상 생성칩(602)은 별도의 메모리(703)를 포함할 수 있다. 이 메모리는 상술한 바와 같이 좌우 영상의 동기를 맞추기 위해 어느 한 영상을 일시 저장하는 버퍼 용도 이외에도 생성된 입체 영상을 임시적으로 저장하는 역할을 수행할 수 있다.

아울러, 입체영상 생성칩(602)은 도 8에 도시된 바와 같이 백엔드 칩셋(603)으로부터의 제어 신호를 상기 2개의 카메라 모듈(601)에 분할 전달하는 I2C 제어부(704)를 포함할 수 있다. 일반적으로, 이동 기기의 백 엔드 칩셋(603)은 하나의 카메라 모듈이 장착된 경우에 맞추어 제어 신호를 전달하므로, 상술한 I2C 제어 부(704)는 이 제어 신호를 각 카메라 모듈의 ID를 향한 2 개의 제어 신호로 분할하여 전달하는 기능을 수행할 수 있다.

상술한 바와 같은 본 발명의 일 실시형태에 따른 입체영상 생성 칩(602)은 카메라 모듈(601) 및 백엔드 칩셋(603)과 I2C 또는 GPIO를 통해 상호 연결될 수 있으나, 이에 한정될 필요는 없다.

또한, 본 발명의 일 실시형태에 따른 입체영상 생성 칩은 ASIC 또는 이와 동등한 방식에 의해 하나의 이동 기기용 칩셋으로 제작될 수 있으며, 이를 이동 기기에 장착함으로써 용이하게 입체 영상 컨텐츠의 제작이 가능하다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시형태에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시 형태를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 본 발명의 상술한 설명에 있어서 "이동 기기"는 휴대폰, PDA, PDP 등을 포함하는 모든 이동식 기기를 포함하는 개념이며, 2개의 카메라 모듈과 영상 처리가 가능한 벡엔드 칩을 포함하는 이동 기기라면 어느 특정 형태의 기기에 한정할 필요가 없으며 임의의 이동 기기에 본 발명의 실시형태에 따른 입체 영상 생성 칩을 삽입함으로써 입체 영상을 생성할 수 있다.

따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이 다.

상기와 같은 본 발명의 일 실시형태에 따르면, 기존의 카메라 모듈 2개를 장착한 이동 기기를 이용하여 일반 사용자가 쉽게 입체영상 컨텐츠를 제작하고, 또한 입체영상 촬영 시 실제 디스플레이 되는 입체영상을 확인하고 입체감을 조절하여 컨텐츠를 생성함으로써 보다 높은 품질의 입체 영상을 제작할 수 있다.

또한, 기존의 이동 기기 구성을 그대로 이용하면서 하나의 칩을 추가함으로써 손쉽게 입체 영상을 제작할 수 있도록 함으로써 입체 영상 컨텐츠를 더욱 대중화시킬 수 있다.

Claims (12)

1. 영상 처리가 가능한 벡엔드 칩셋 및 2개의 카메라 모듈을 포함하는 이동 기기(Mobile Equipment)에 입체 영상 생성 칩을 삽입하여 입체 영상을 생성하는 방법에 있어서,

   상기 이동 기기 내에, 대기(Ready) 또는 전원 해제(Power down) 중 하나 이상의 기능에 해당하는 일시 정지 기능을 가진 2개의 카메라 모듈을 통해 좌측 영상과 우측 영상을 촬영하는 단계; 및

   상기 입체 영상 생성 칩의 카운터로부터 생성된 시간 동기를 입력 받아, 상기 2개의 카메라 모듈로부터 입력 받은 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 2개의 카메라 모듈의 상기 일시 정지 기능을 사용하여 상기 좌측 영상과 상기 우측 영상을 일시 정지시킨 후, 동기가 맞도록 상기 좌측 영상과 상기 우측 영상을 동시에 재 시작시킴으로써, 상기 2개의 카메라 모듈을 통해 촬영한 상기 좌측 영상과 상기 우측 영상의 촬영 시간 동기를 맞추어 공간적으로 교대로 배치하여 합성하는 단계를 포함하는, 입체 영상 생성 방법.
2. 제 1 항에 있어서,

   상기 합성하는 단계는,

   상기 2개의 카메라 모듈을 통해 촬영한 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 좌측 영상과 상기 우측 영상의 동기를 맞추기 위해 상기 좌측 영상과 상기 우측 영상 중 어느 하나를 메모리 모듈에 일시 저장하는 단계를 포함하는, 입체 영상 생성 방법.
3. 삭제
4. 제 1 항 또는 제 2 항에 있어서,

   상기 벡엔드 칩셋으로부터의 제어 신호를 입력 받아, 상기 제어 신호에 따라 상기 좌측 영상과 상기 우측 영상을 좌측 방향 및 우측 방향 중 서로 다른 방향으로 시프트시킴으로써 입체감(depth)을 조정하는 단계를 더 포함하는, 입체 영상 생성 방법.
5. 제 4 항에 있어서,

   상기 입체감 조정 단계는,

   상기 이동 기기에 설치되는 소프트웨어에 의해 수행되는, 입체 영상 생성 방법.
6. 제 4 항에 있어서,

   상기 입체감 조정 단계는,

   상기 입체 영상 생성 칩의 입체감 조절 모듈에 의해 수행되는, 입체 영상 생성 방법.
7. 제 4 항에 있어서,

   상기 입체감 조정 단계는,

   상기 이동 기기의 액정을 통해 입체감을 확인하는 단계를 포함하는, 입체 영상 생성 방법.
8. 영상 처리가 가능한 벡엔드 칩셋 및 대기(Ready) 또는 전원 해제(Power down) 중 하나 이상의 기능에 해당하는 일시 정지 기능을 가진 2개의 카메라 모듈을 포함하는 이동 기기(Mobile Equipment)에 삽입되어 입체 영상을 생성하는데 이용되는 입체 영상 생성 칩에 있어서,

   상기 2개의 카메라 모듈로부터 상기 좌측 영상과 상기 우측 영상을 입력받아 합성하는 합성 모듈을 포함하는 입체 영상 프로세서; 및

   상기 입체 영상 생성 칩의 시간 동기를 생성하기 위한 카운터를 포함하며,

   상기 입체 영상 프로세서의 상기 합성 모듈은 상기 카운터로부터 상기 동기 정보를 입력받아, 상기 2개의 카메라 모듈로부터 입력 받은 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 2개의 카메라 모듈의 상기 일시 정지 기능을 사용하여 상기 좌측 영상과 상기 우측 영상을 일시 정지시킨 후, 동기가 맞도록 상기 좌측 영상과 상기 우측 영상을 동시에 재 시작시킴으로써 상기 2개의 카메라 모듈을 통해 촬영한 상기 좌측 영상과 상기 우측 영상의 촬영 시간 동기를 맞추어 공간적으로 교대로 배치하는, 입체 영상 생성 칩.
9. 제 8 항에 있어서,

   상기 2개의 카메라 모듈로부터 입력 받은 상기 좌측 영상과 상기 우측 영상의 동기가 맞지 않는 경우, 상기 좌측 영상과 상기 우측 영상의 동기를 맞추기 위해 상기 좌측 영상과 상기 우측 영상 중 어느 하나를 일시 저장하는 메모리 모듈을 더 포함하는, 입체 영상 생성 칩.
10. 삭제
11. 제 8 항 또는 제 9 항에 있어서,

    상기 입체 영상 프로세서는,

    상기 벡엔드 칩셋으로부터의 제어 신호를 입력 받아, 상기 좌측 영상과 상기 우측 영상을 좌측 방향 및 우측 방향 중 서로 다른 방향으로 시프트시킴으로써 입체감(depth)을 조정하는 입체감 조정 모듈을 더 포함하는, 입체 영상 생성 칩.
12. 제 8 항 또는 제 9 항에 있어서,

    상기 이동 기기의 제어 신호를 상기 2개의 카메라 모듈에 분할 전달하는 제어부를 더 포함하는, 입체 영상 생성 칩.

Images