KR101433082B1 - 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법 - Google Patents

Abstract

2차원과 3차원의 중간 정도의 느낌을 주는 영상 변환 및 재생 방법이 개시된다. 이 방법은 컴퓨팅 장치에 의해 실행되는 방법으로서 먼저, 변환 대상인 소스 영상 데이터의 각 영상 프레임(Fi)을 절반 크기로 축소한다. 그 절반으로 축소된 영상 프레임(Fi/2)을 좌우로 병치시켜 변환된 영상 프레임(Fi′)을 만든다. 변환된 영상 프레임(Fi′)들로 구성된 변환 영상 데이터를 영상재생기기에서 재생하되, 각 변환된 영상 프레임(Fi′)의 좌측 절반의 영상(Fi/2)을 사용자의 좌안과 우안 중 어느 한 쪽에만 보이게 함과 동시에 우측 절반의 영상이 사용자의 좌안과 우안 중 나머지 한 쪽에만 보이도록 디스플레이 한다.

Description

2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법 {Video conversing and reproducing method to provide medium feeling of two-dimensional video and three-dimensional video}

본 발명은 영상처리에 관한 것으로서, 보다 상세하게는 2차원 영상과 3차원 영상의 중간 정도의 입체감을 제공함으로써 완전한 3차원 영상의 시청에 따른 시각적 피로감이나 심리적 불안증을 줄일 수 있는 영상신호 변환 및 재생 방법에 관한 것이다.

입체영화 '아바타'가 개봉된 이후, 입체영상에 대한 사람들의 관심이 폭발적으로 증가하였다. 입체영상에 대한 시장도 크게 성장하였다. 입체영상(3D 영상)을 시청할 수 있는 TV, 모니터 등도 다양하게 출시되었고, 관련 입체영상 기술도 더욱 발전하였다.

사람이 입체감을 느낄 수 있는 것은 약 65mm 간격을 가진 사람의 양안의 시차를 이용하기 때문이다. 즉, 입체감을 느끼는 이유는 좌안과 우안이 양안시차에 상응하는 차이를 갖는 서로 다른 2차원 화상을 각각 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면, 뇌는 이를 정확히 서로 융합하여 본래 입체영상의 깊이감(perception of depth), 임장감, 사실감(perception of volume)을 재생하기 때문이다. 따라서 입체영상을 디스플레이 하기 위해서는 적어도 양안시차를 갖는 서로 다른 2개의 영상이 필요하다. 3D 디스플레이용 입체영상 콘텐츠는 양안시차를 갖도록 65mm 가량 벌린 두 대의 카메라로 동시에 촬영하는 2안 렌즈 촬영방식을 통해 제작될 수 있다. 1안 렌즈로 된 카메라로 촬영한 1안 시점의 영상 콘텐츠를 하드웨어, 소프트웨어적인 계산을 통해 변환하여 2안 렌즈 촬영방식과 같은 효과를 나타내는 방법도 있다.

그런데 입체영상은 영화 아바타의 성공 직후 크게 각광받았지만, 최근에는 입체영상의 소비주체들의 구매욕이 잠시 주춤한 상태에 있다. 입체영상의 인기가 다소 시들해지게 된 것은 시청기기의 단가가 높은 반면, 입체영상 콘텐츠는 크게 부족한 것이 한 가지 이유이다. 하지만 보다 근본적인 이유는 입체영상 시청이 사람들에게 불편함을 주고 심지어는 건강에 나쁜 영향을 미칠 수 있다는 우려이다.

입체영상을 시청한 사람들은 시각적 피로감과 심리적 불안정을 느끼는 것으로 알려져 있다. 3D 영상 시청에 따른 시각적 피로와 불안정의 증세로는 눈의 피곤함(eyestrain), 눈의 무겁게 느껴짐(eyes feel heavy), 이중상(double vision), 눈의 건조(dry eyes), 머리가 무거워짐, 두통, 어깨가 뻣뻣해짐, 어깨 아픔, 등의 아픔, 멀미증상(nausea), 현기증(giddiness), 두통 등이 있다. 통계에 의하면 대략 12% 정도의 사람들은 여러 가지 의학적 조건들 때문에 입체영상을 제대로 볼 수 없다, 또한 사람들의 대략 30% 정도는 매우 약한 입체시(stereoscopic vision)를 가져 깊이 인식을 잘 하지 못한다. 그런 사람들에게는 입체영상에 대한 집중 효과가 거의 없거나 크게 감소된다. 이런 점들 때문에, 입체영상 영상을 입체적으로 보는 것에 대해 거부감을 갖는 소비자들이 의외로 많다.

입체영상을 시청한 많은 사람들이 눈의 피로, 어지럼증을 경험한 데서, 3D 입체영상의 지속적인 시청이 인체에 해로운 영향을 미치지 않는가 하는 문제에 강한 의구심도 생겨나고 있다. 3D 입체영상의 산업 활성화를 위해서는 이 문제에 대한 연구를 통해 3D 디스플레이 및 콘텐츠에 대한 안정성 기준을 마련하는 것이 매우 중요하다. 입체영상에 있어서의 시각 심리적 피로를 유발하는 요인에 관해서는 명쾌하게 규명된 것은 아니지만, 대체로 두 눈의 초점거리와 수렴각도의 불일치, 부자연스러운 영상, 운동시차의 불일치, 좌우영상의 광학적 특징을 들 수 있다. 이런 요인들은 입체영상의 잘못된 촬영, 잘못된 디스플레이를 포함한 입체영상 재생시스템의 오류와 관련 있기도 하지만, 입체영상 자체의 본래적 속성과도 밀접하게 관련된 것으로 이해된다. 입체영상에서는 움직이는 물체의 과도한 돌출감과 속도감이 느껴지고, 영상이 화려한 색채와 복잡한 무늬를 많이 포함하면 그 부분이 입체감에 더해 문양과 색체들의 잔상을 남긴다. 이런 영상을 오래도록 보게 되면 어지럼증 등 시각적 피로감과 심리적 불안증이 유발된다.

입체영상 시청 시 어지러움 현상 등을 최소화하기 위한 기술들이 여러 가지 제안되고 있다. 일예로, 입체영상 제작 시 촬영자 개인의 능력차로 인해 발생하는 입체영상의 오류를 보정하는 기술(대한민국 특허공개공보 제 10-2012-0064560호. 발명의 명칭: 시각적 피로 최소화를 지원하는 입체영상 제작시스템 및 그 방법)이 알려져 있다. 이 종래기술은 촬영단계에서 발생할 수 있는 입체영상의 오류로 좌/우 영상 간 기하오차, 색상오차, 영상의 잔상 발생, 한쪽 영상에만 보이는 물체 등) 여러 가지 요인이 있다고 보고, 이런 오류를 제거 내지 최소화 할 수 있는 입체 보정 기술을 제시한다. 하지만, 이 기술은 촬영단계에서의 오류 수정에 초점이 맞춰져 있으므로, 문제의 근본적인 해결책은 되지 못한다.

결국, 영상을 입체적으로 보이게 하는 것이 모든 사람들에게 좋은 것은 아니다. 입체영상 시청으로 인해 야기되는 여러 가지 건강상의 문제들에 대한 근본적인 해법은 입체감을 최소화 하거나 제거하는 것일 수 있다.

한편, 동일한 영상이라 하더라도 그 영상이 표시되는 화면의 크기에 따라서 보는 사람의 감동이 달라진다. 영화관의 대형 스크린을 통해서 본 영화의 감흥을 컴퓨터 모니터 또는 스마트폰과 같은 작은 화면을 통해서는 제대로 느끼기 힘들다. 그 이유는 사용자가 보는 화면의 크기에 차이가 있기 때문이다. 영화관의 스크린만큼까지는 아니더라도, 작은 사이즈의 화면을 확대하여 영상을 화면의 실제 크기보다 훨씬 크게 볼 수 있다면, 사용자들의 요구에 제대로 부응하는 것이라 할 수 있다. 컴퓨터 모니터를 통한 영상 콘텐츠 감상이 널리 일반화되었듯이, 최근에는 스마트폰 사용 인구의 폭발적 증가에 따라 스마트폰을 이용한 영상 콘텐츠나 TV 시청도 일반화되고 있다. 위와 같은 요구는 화면 사이즈가 상대적으로 작은 스마트폰이나 컴퓨터 모니터를 통한 영상 시청 시에 더욱 강하다고 할 수 있다.

영상을 실제 화면보다 더 크게 볼 수 있는 해법이 강구될 필요가 있다. 그런데 그 해법은 어지럼증 등과 같은 불편함을 유발하는 입체영상을 이용하는 방법이 아닌 제3의 방법일 필요가 있다.

본 발명은 완전한 입체감을 제공하는 3D 영상과 입체감을 전혀 제공하지 않는 2D 영상의 중간 정도의 입체감 내지 원근감과 실제감(實際感) 및 임장감(臨場感)을 제공함으로써 3D 영상 시청에 따른 시각적 피로감이나 심리적 불안증이 생기지 않도록 하는 영상 변환 및 재생 방법을 제공하는 것을 목적으로 한다.

본 발명은 또한 위와 같은 방법으로 생성한 영상을 실제 화면에 비해 훨씬 더 크게 시청할 수 있도록 하는 영상 변환 및 재생 방법을 제공하는 것을 다른 목적으로 한다.

위와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 영상변환부에서, 소스 영상데이터의 각 소스 영상프레임(Fi)을 대응하는 타겟 영상프레임(Fi’)으로 순차적으로 변환하여 상기 타겟 영상프레임(Fi’)들로 구성된 변환 영상데이터를 생성하는 제1단계, 여기서 상기 각 소스 영상프레임(Fi)의 대응 타겟 영상프레임(Fi’)으로의 변환은 상기 소스 영상프레임(Fi)의 픽셀 수를 가로방향과 세로방향으로 각각 절반으로 줄여 축소 영상프레임(Fi/2)을 만들고 상기 축소 영상프레임(Fi/2)을 복제하여 두 개의 동일한 상기 축소 영상프레임(Fi/2)을 조합함으로써 상기 대응 타겟 영상프레임(Fi’)으로 구성하는 것에 의해 달성되며; 상기 영상변환부가 상기 변환 영상데이터를 영상재생부로 제공하는 제2단계; 및 상기 영상재생부에서, 제공받은 상기 변환 영상데이터의 타겟 영상프레임(Fi’)들을 화면에 재생하되, 각 타겟 영상프레임(Fi’)을 구성하는 동일한 두 개의 축소 영상프레임(Fi/2)의 영상을 디스플레이 화면의 좌측 절반과 우측 절반에 각각 디스플레이 되게 함으로써, 각 타겟 영상프레임(Fi’)을 구성하는 동일한 두 개의 축소 영상프레임(Fi/2)이 두 개의 렌즈를 포함하는 입체경(stereoscope)으로 관람하는 영상콘텐츠 소비자의 좌안과 우안에 각각 별도로 보일 수 있도록 해주는 제3단계를 포함하는 것을 특징으로 하는 영상 데이터 변환 및 재생 방법이 제공된다.

상기 방법에 있어서, 상기 소스 영상프레임(Fi)으로부터 상기 축소 영상 프레임(Fi/2)을 만드는 것은 각 소스 영상 프레임(Fi)의 픽셀 데이터에서 홀수 번째의 행과 열에 있는 픽셀 데이터들과 짝수 번째의 행과 열에 있는 픽셀 데이터들 중 어느 한쪽만 취하고 나머지 픽셀 데이터는 버리는 것에 의해 이루어진다.

상기 방법에 있어서, 상기 제3단계에서의 영상 디스플레이는 스마트폰 또는 타블렛 컴퓨터(Personal Computer)에서 수행되고, 상기 입체경의 상기 두 개의 렌즈는 상기 두 개의 동일한 축소 영상프레임(Fi/2)의 영상이 각각 크게 확대되어 보이도록 해주는 배율 있는 렌즈이며, 영상콘텐츠 소비자가 상기 입체경을 통해 보는 영상은 상기 배율만큼 확대된 크기의 영상으로 인식되는 것이다.

상기 방법에 있어서, 상기 제1단계, 상기 제2단계, 및 상기 제3단계는 상기 영상변환부와 상기 영상재생부를 모두 구비하는 영상콘텐츠 소비자 측의 영상재생기기에서 수행될 수 있다.

상기 방법에 있어서, 상기 제1단계와 상기 제2단계는 상기 영상변환부를 구비하는 영상콘텐츠 제공자 측의 영상제공시스템에 의해 수행되고, 상기 제3단계는 상기 영상재생부를 구비하는 영상콘텐츠 소비자 측의 영상재생기기에 의해 수행될 수도 있다. 이 경우, 상기 영상변환부가 상기 제2단계를 수행할 때 상기 변환 영상데이터를 스트리밍(streaming) 방식 또는 방송(broadcast) 방식으로 상기 영상재생부에 전송한다.

상기 제2단계에서 상기 영상제공시스템이 상기 영상재생기기에 상기 변환 영상데이터를 제공함에 있어서 상기 소스 영상데이터도 함께 제공하는 것이 바람직하다. 이 경우, 상기 제3단계는 상기 영상재생기기에서 영상콘텐츠 소비자가 상기 소스 영상데이터와 상기 변환 영상데이터 중 후자를 선택하여 재생을 지시하는 경우에 수행된다.

본 발명의 영상 변환 및 재생 방법에 따르면, 재생되는 영상의 관람 느낌이 완전한 입체감을 느끼게 하는 3차원 입체영상과 입체감이 전혀 없는 2차원 영상의 중간 정도의 느낌이다. 그러므로 완전한 입체감을 느끼게 하는 입체영상 재생방법에 비해, 시각적 피로나 심리적 불안감과 같은 입체영상의 관람 부작용이 훨씬 적게 발생한다.

게다가 스테레오스코프 방식으로 재생하면서 배율이 있는 입체경을 착용하고 관람하면, 재생 영상을 상당히 크게 확대하여 볼 수 있는 효과를 누릴 수 있다. 이는 화면 사이즈가 작은 스마트폰과 같은 영상재생기의 단점을 상쇄시켜주는 효과가 있다.

도 1은 본 발명에 따른 영상 변환 개념을 도식적으로 나타낸 도면이고,
도 2는 그런 영상변환 개념을 처리하는 수단을 간략하게 도시하며,
도 3은 본 발명에 따른 영상 변환을 처리하는 데 필요한 영상 콘텐츠 제공자 시스템(300)의 구성을 개략적으로 나타내며,
도 4는 본 발명에 따른 영상 변환 알고리즘이 구현된 애플리케이션 프로그램의 처리 절차를 흐름도이며,
도 5는 콘텐츠 소비자의 영상재생기기(500)의 구성을 개략적으로 도시하며,
도 6의 영상 콘텐츠 제공자 측에서 원래의 영상과 본 발명에 따라 변환한 영상의 두 가지 종류로 제공할 때, 영상 콘텐츠 소비자 측에서 본 발명에 따라 영상을 재생하는 방법을 나타낸 흐름도이며,
도 7은 영상 데이터가 라이브 방송신호 형태로 제공되는 경우의 영상 변환을 처리하는 애플리케이션 프로그램의 처리 절차를 개략적으로 나타낸 흐름도이며,
도 8은 본 발명에 따라 변환된 영상을 입체경으로 시청할 때, 입체경의 렌즈 초점거리에 따라 화면이 확대되는 효과를 설명하기 위한 도면이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

본 발명이 제안하는 영상 가공 방법은 원래의 영상을 프레임 별로 새로운 프레임으로 변환하는 것이다. 도 1은 본 발명에 따른 영상 변환을 도식적으로 나타내었고, 도 2는 영상변환 처리를 하는 수단을 도시한다.

변환 대상인 원래의 영상 프레임(100)은 가로 및 세로 픽셀 수가 각각 a개 및 b개인 디지털 영상이다. 영상 변환을 위해 먼저, 영상변환부(200)는 원래의 영상을 입력받아 영상 변환 처리를 하여 변환된 영상을 출력한다. 영상 변환 처리는 먼저 원래의 영상을 프레임 단위로 읽어 각 영상 프레임(100)의 가로 픽셀 수와 세로 픽셀 수를 각각 절반으로 줄인 축소된 영상(110)을 만든다. 그런 다음, 그 축소된 영상(110)을 두 번 복사하여 두 개의 축소된 영상(110)이 좌우에 병치된 영상 프레임(120)을 새로 만든다. 그 영상 프레임(120)이 바로 본 발명의 영상 가공 방법에 따른 변환된 영상 프레임(120)이다.

사용자는 이 변환된 영상 프레임(120)을 보게 된다. 그런데 좌안과 우안이 모두 영상 프레임(120) 전부를 보는 것이 아니라 각각 절반씩 본다. 예컨대, 좌안은 좌측 영상 프레임(120)의 좌측 절반의 영상(110)을 보고, 우안은 우측 절반의 영상(110)을 본다. 좌안 및 우안이 동일한 영상을 본다. 이 점이 일반적인 3D 입체영상과는 다른 점이다. 일반적인 3D 입체영상에서는 좌안 및 우안이 보는 영상이 동일하지 않고 서로 다른 각도에서 본 비동일 영상(하나의 영상은 나머지 하나의 영상에 비해 왜곡된 영상임)이다. 사람의 뇌는 두 눈에서 받아들이는 영상의 차이로 그 영상의 깊이(입체감)를 인지한다. 영상의 입체감을 느끼도록 하기 위해서는 양쪽 눈에 차이가 있는 영상, 그것도 물체의 거리에 따라서 차이가 있는 영상을 보여주어야 한다. 본 발명의 경우, 좌안 및 우안으로 들어가는 두 영상은 동일하기 때문에, 일반적인 3D 입체영상과 같은 입체감이 나타나지 않는다. 반면, 동일한 두 영상을 각각 확대하여 두 눈을 통해 따로따로 보이도록 하면, 단안시 요인들에 의한 깊이감 내지 입체감과 함께 영상의 청량감이 돋보이는 영상으로 느껴진다.

또한, 입체영상을 관람할 때 사용하는 기술들을 활용하면, 본 발명에 따라 변환한 영상을 더욱 고품질로 볼 수 있다. 이에 관해서는 후술한다.

이런 영상 변환 작업은 영상 콘텐츠를 제공하는 측(예컨대, 방송국, 유튜브 등)의 시스템에서 영상 콘텐츠 전송 전에 또는 영상 콘텐츠를 소비하는 사용자측 기기에서 수신된 영상 콘텐츠를 재생하기 전에 이루어질 수 있다.

먼저, 영상 콘텐츠 제공자 시스템에서 변환하는 것을 설명한다.

도 3은 본 발명에 따른 영상 변환을 처리하는 데 필요한 영상 콘텐츠 제공자 시스템(300)의 구성을 개략적으로 나타낸다. 이 시스템(300)은 콘텐츠 소스로서 데이터 저장소(310)나 카메라(320)를 포함할 수 있다. 영상 데이터 변환 처리를 수행하는 CPU(330)와 메모리(340), 그리고 사용자 인터페이스(350) 역할을 하는 입출력장치도 포함한다.

이런 하드웨어 자원과는 별도로, 이하에서 설명하는 영상 변환 알고리즘이 구현된 애플리케이션 프로그램, 사용자 인터페이스 프로그램도 필요하다. 도 4의 흐름도는 이 프로그램의 실행 절차를 개략적으로 나타낸 흐름도이다.

일예로, 변환대상인 소스 영상은 데이터 저장소(210)에 파일 형태로 저장되어 있는 경우를 고려한다. CPU(330)는 영상 변환 프로그램을 실행하여, 변환된 영상(타겟 영상)을 생성한다. 영상 변환 처리에 앞서, 먼저 타겟 화면 프레임의 화소수 즉, 해상도를 결정한다(S10 단계). 표준으로 정해진 해상도의 예로는 1080p (1920x1080 픽셀), 720p (1280x720 픽셀), 480p (640x480 픽셀) 등과 같이 여러 종류가 있을 수 있다. 소스 영상의 화면 해상도가 예컨대 1080p (1920x1080 픽셀)이면 타겟화면 프레임을 만들기 위한 화면 해상도도 1920x1080로 정한다. CPU(330)는 이 사이즈만큼의 버퍼 메모리 공간을 확보한다.

CPU(330)는 데이터 저장소(310)로부터 소스 영상 파일을 읽어 들인다(S12 단계). 그 영상 파일들은 예컨대 MP4, avi, wmv, mkv 등과 같은 소정의 압축표준에 따라 압축된 파일일 수 있다. 그런 압축 영상 파일이면, 그 영상 파일을 해당 표준의 디코딩 툴을 이용하여 압축을 푼다(S14 단계). 초당 예컨대 30 프레임을 기준으로 디코딩한다.

이제 디코딩 된 영상 데이터를 가지고 본 발명에 따른 영상 변환 처리를 수행한다. 이를 위해, 먼저 디코딩 된 영상데이터의 각 화면 프레임 Fi(100)을 절반으로 축소한다(S16 단계). 각 화면 프레임 Fi(100)을 절반으로 줄이는 방법은 예컨대 각 화면 프레임 Fi(100)의 가로방향 픽셀 수와 세로방향 픽셀 수를 각각 절반으로 줄이는 것이다. 즉, 각 화면 프레임 Fi(100)의 가로방향 및 세로방향으로 예컨대 짝수 번째 픽셀들은 모두 제거하고 홀수 번째 픽셀들만으로 화면을 새로 구성하거나 또는 가로방향 및 세로방향으로 홀수 번째 픽셀들은 모두 없애고 짝수 번째 픽셀들만으로 화면을 새로 구성하는 것이다. 이렇게 축소된 화면 Fi/2(110)은 원래의 화면에 비해 가로방향과 세로방향으로 각각 픽셀 수가 절반으로 줄고, 면적은 1/4로 감소된 화면이다. 위 예에 따르면, 축소된 화면 Fi/2(110)의 픽셀 수는 960x540이 된다.

각 화면 프레임별로 절반으로 축소된 영상 Fi/2(110)이 준비되면, 도 1의 (c)에 도시된 것처럼 그 축소된 영상 Fi/2(110)을 메모리(340)의 변환 영상 영역에 좌우로 병치되게 두 번 복사하여 새로운 화면 프레임 Fi′(120)를 구성한다(S18 단계). 이렇게 원본 영상프레임의 축소 프레임 두 개를 조합하여 구성된 새로운 화면 프레임 Fi′(120)이 바로 본 발명이 변환을 통해 얻고자 하는 타겟 화면 프레임이다.

이 변환된 타겟 화면 프레임들 Fi′(120)은 저장 효율이나 전송 효율 등을 고려하여, 원하는 파일 형식(MP4, avi, wmv, mkv 등)으로 인코딩한 다음 데이터 저장소(310)에 저장해둔다(S20 단계).

그리고 필요한 시점에 또는 콘텐츠 소비자의 요청에 응하여, 데이터 저장소(310)에 저장되어 있는 변환 영상 파일을 콘텐츠 소비자의 영상재생기기에 제공한다(S22 단계). 그 변환된 영상 파일은 예컨대 스트리밍 방식, 브로드캐스팅 방식, 또는 다운로드 방식 등과 같은 전송방식으로 제공될 수 있다.

한편, 텔레비전 방송국에서 실시간 중계하는 영상도 무선 송출에 앞서 위와 같은 변환 처리를 한 다음, 그 변환된 영상을 예컨대 공중파 방송, 케이블 방송 또는 DMB 방송 등과 같은 방송신호로 송출할 수도 있다. 이 경우, 변환 대상 영상의 소스는 데이터 저장소(310)가 아니라 카메라 장치(320)이다. 즉, 카메라 장치(320)에서 생성되는 영상 프레임이 CPU(330)에 실시간으로 제공된다. CPU(330)에서는 카메라 장치(320)가 제공하는 영상 프레임을 위에서 설명한 단계 S16과 단계 S18의 처리를 통해 프레임별로 1/2 축소 영상을 만든 다음 그것을 좌우 병치하여 조합한 영상 프레임으로 변환한다. 그런 다음, 그 변환된 영상 프레임들을 모아 방송신호의 송출 포맷에 맞게 압축 부호화 처리를 하여 브로드캐스팅방법으로 송출한다.

영상 콘텐츠 제공자 측은 콘텐츠 소비자 측으로 같은 영상을 두 가지 형태로 제공할 수 있을 것이다. 즉, 한 가지는 위와 같이 축소된 두 개의 동일화면 프레임을 좌우에 병치한 새로운 화면 프레임(Fi′)으로 변환된 영상 데이터이고, 다른 한 가지는 변환되지 않은 원래의 영상 데이터이다. 그러면, 콘텐츠 소비자는 이 두 가지에 영상에 대한 선택권을 가질 수 있다.

콘텐츠 소비자 측은 새로운 화면 프레임(Fi′)으로 구성된 영상 데이터를 제공받는 경우, 그 영상 데이터를 기존에 알려진 입체영상 디스플레이 방법 중 어느 한 가지에 따라 재생하면 된다. 도 5는 그렇게 할 수 있는 콘텐츠 소비자의 영상재생기기(500)의 구성을 개략적으로 도시한다.

영상재생기기(500)는 외부의 영상제공시스템(예컨대, 방송시스템 또는 스트리밍 서버시스템 등)이 제공하는 영상 데이터를 수신하는 통신부(510), 영상재생기기(500)의 전반적인 제어 및 통신부(510)를 통해 전달되는 영상 데이터를 디코딩하고 필요 시 원하는 입체영상 재생방법에 따라 가공하는 등의 처리를 수행하는 CPU(530)와 메모리(540), 데이터 저장 공간(예컨대 하드디스크 또는 플래시 메모리 등으로 구성)으로 기능하는 저장부(520), 원래의 영상과 변환된 영상 중 어느 한 가지를 특정 하는 것을 비롯하여 사용자 명령을 내리고 그 처리 결과를 확인할 수 있도록 해주는 사용자 인터페이스(550), CPU(530)가 제공하는 영상 데이터를 디스플레이 구동신호로 변환하여 디스플레이에 제공하는 비디오 구동부(530), 그리고 디스플레이 구동신호에 따라 영상을 표현하는 디스플레이(570) 등을 포함한다.

도 6의 흐름도는 영상 콘텐츠 제공자 측에서 원래의 영상과 본 발명에 따라 변환한 영상의 두 가지 종류로 제공할 때, 영상 콘텐츠 소비자 측에서 본 발명에 따라 영상을 재생하는 방법을 나타낸 것이다.

콘텐츠 소비자는 사용자 인터페이스(550)를 통해 원래의 영상과 변환된 영상 중 원하는 한 가지를 선택할 수 있다. 여기서는 변환된 영상을 선택한 것으로 가정한다. 영상 선택정보는 CPU(530)로 제공된다(S30 단계). 변환된 영상을 선택한 경우에 한해, 이하에서 설명하는 처리를 수행한다. 만약 원래의 영상을 선택하는 경우에는 이하에서 설명하는 도 6의 처리는 수행하지 않고, 원래의 영상을 통상의 재생방법으로 재생한다.

사용자 인터페이스(550)로부터 영상 선택정보를 전달받은 CPU(530)는 수신부(510)를 통해 콘텐츠 제공 시스템에 원하는 변환 영상에 관한 정보를 제공하면서 그 영상을 제공해줄 것을 요청한다(S32 단계). 다만, 이 단계는 영상 콘텐츠의 전송 방식에 따라 생략될 수도 있다. 예컨대 콘텐츠 제공자측이 원래의 영상과 변환된 영상을 한꺼번에 브로드캐스팅 방식으로 전송하는 경우에는 사용자의 요청 절차는 생략되고, 수신된 영상 중 변환 영상만을 선택적으로 이용하는 조치를 취하면 된다. 이와 달리, 콘텐츠 제공자측이 콘텐츠 소비자의 요구에 응하여 영상 콘텐츠를 제공하는 경우에는, 이러한 요청이 필요할 것이다.

콘텐츠 제공자 시스템이 자발적으로 또는 콘텐츠 소비자의 요청에 응하여 변환 영상 데이터를 전송하면, 통신부(510)는 그 변환 영상 데이터를 수신하여 CPU(530)에 전달한다. 그 영상 데이터의 저장이 허용되는 경우, CPU(530)는 그 영상 데이터를 파일 형태로 저장부(520)에 저장해두었다가 필요한 시점에 이하에서 설명하는 재생 처리를 수행하면 될 것이다. 만약, 전송되는 영상이 라이브 방송 영상인 경우, 통신부(510)에서 복조 처리를 한 다음 CPU(530)에 제공하면 된다. 그 영상 데이터가 스트리밍 방식으로 제공되는 영상이거나 라이브 방송 영상인 경우, CPU(530)는 영상 데이터 스트림을 입력받으면서 그 영상 데이터를 실시간으로 재생하기 위한 이하의 처리를 수행한다.

먼저, CPU(530)는 통신부(510)를 통해 제공되는 변환 영상 데이터 스트림을 버퍼 메모리에 임시로 저장한다(S34 단계). 그리고 그 변환 영상 데이터를 소정 단위씩 읽어 와서 디코딩 한다(S36 단계). CPU(530)는 또한 디코딩 된 각 화면 프레임 (Fi′)을 원하는 입체영상 재생방법(관람방법)과 디스플레이(570)의 사양에 적합하게 추가적인 가공을 한다(S38 단계). 그런 다음, 그 가공된 영상 데이터를 비디오 구동부(560)에 제공한다(S40 단계). 비디오 구동부(560)는 CPU(530)가 제공해주는 영상 데이터에 의거하여 디스플레이(570)의 구동을 위한 구동신호로 만들어 디스플레이(570)를 구동시킨다. 디스플레이(570)에는 원하는 입체영상 재생방법에 따라 영상이 디스플레이 된다.

콘텐츠 소비자는 디스플레이(570)에 재생되는 영상을 본다. 그 재생 영상은 소비자가 사용하는 입체영상 관람방법과 매치되는 영상이어야 할 것이다. 기존에 알려진 입체영상 관람방법(재생방법)으로는 크게 안경식과 무안경식 방법으로 구분할 수 있다. 안경식 관람방법(재생방법)으로는 스테레오스코프(Stereoscope) 방식, 머리장착 방식(HMD: Head Mounted Display), 적청 안경 방식(Anaglyph), 편광 필터(Polarizer) 방식, 시분할 내지 셔터 글래스(Shutter glass) 방식 등이 알려져 있다. 무안경식 관람방법(재생방법)에는 패럴랙스 베리어(Parallax Barrier) 방식, 렌티큘러(Lenticular) 방식 등이 있다. 이들 안경식 관람방법과 무안경식 관람방법들이 공통적으로 전제하는 사항은 재생영상에 입체감을 느낄 수 있도록 하기 위해 광각(optical angle)의 차이를 인위적으로 부여한 서로 다른 좌안용 영상과 우안용 영상을 필요로 한다는 점이다.

이에 비해, 본 발명은 좌안용 영상과 우안용 영상이 동일하다는 점에서 기존 입체영상 재생방법과 근본적으로 다르다. 즉, 본 발명에서는, 변환된 영상의 각 프레임 (Fi′)을 구성하는 좌측 영상 및 우측 영상을 좌안용 영상 및 우안용 영상으로 이용한다. 본 발명은 위에서 설명한 변환방법으로 변환한 영상 프레임 (Fi′)을 재생용 소스 영상으로 사용하는 점만 다르다.

스테레오스코프 방식은 좌우에 해당하는 영상이 좌우에 연이어 배치되고 좌우의 두 영상을 두 렌즈를 통해 두 눈에 따로따로 결상되게 함으로써 입체를 느끼게 하는 방식이다. 이 스테레오스코프 방식을 본 발명에 적용할 수 있다. 이 경우, 변환 영상 프레임 (Fi′)의 좌측 영상과 우측 영상을 디스플레이(570)의 좌측 절반과 우측 절반에 또는 우측 절반과 좌측 절반에 각각 디스플레이 되게 한다. 그리고 콘텐츠 소비자는 그 디스플레이 영상을 두 개의 렌즈가 좌안과 우안에 맞게 병치된 입체경을 착용하여 디스플레이(570)의 좌측 절반의 영상은 좌안으로 보고 우측 절반의 영상은 우안으로 본다. 즉, 좌안과 우안이 광각의 차이가 없는 동일한 두 영상을 각각 별도로 본다.

삭제

삭제

본 발명의 경우, 광각의 차이가 없는 두 영상을 보기 때문에, 기존의 입체영상 관람방법으로 볼 때와 같은 정도의 입체감은 느껴지지 않는다. 그렇다고 좌안과 우안이 공통된 '하나의' 영상을 볼 때의 느낌(단순한 2차원감)과 같은 느낌도 아니다. 본 발명은 좌안과 우안이 '두 개의' 동일 영상을 각각 별도로 보기 때문에, 관람 느낌은 입체감과 단순한 2차원감의 중간 정도이다. 완전한 입체영상에서 느껴지는 시각적 피로나 심리적 불안증이 거의 생기지 않을 정도로 아주 편안하면서도 실제감이나 임장감이 어느 정도 살아있고 청량함마저 느껴지는 화면으로 보인다.

특히, 두 개의 렌즈가 좌우에 병치된 입체경을 착용하고 디스플레이(570)에 표시되는 두 영상을 보면, 렌즈의 배율에 따라 영상이 크게 확대되어 보이는 효과도 얻을 수 있다. 이는 디스플레이(570)의 사이즈가 작은 스마트 폰으로 영상을 시청하는 경우에 특히 효과적이다. 두 영상을 화면의 좌우 절반에 각각 스테레오스코프 방식으로 재생하면서 사용자가 입체경을 착용하고 그 두 영상을 좌안과 우안으로 각각 보는 경우, 사용자가 느끼는 영상의 크기는 렌즈 초점거리에 따라 크게 확대된다. 도 8은 사용자의 영상재생기기가 화면 크기가 가로x세로 11㎝ x 6.5㎝인 스마트폰(삼성전자 갤럭시 S4 모델)이고, 가상의 스크린이 입체경의 렌즈로부터 150cm 앞에 위치한다고 가정할 때, 입체경의 렌즈 초점거리가 6㎝, 12㎝, 18㎝, 24㎝의 4가지인 경우에 입체경을 통해 보이는 화면의 크기를 도식적으로 나타내었다. 도 8에 따르면, 초점거리가 6㎝인 렌즈의 경우, 1.5m 떨어진 가상 스크린에 가로길이가 약 277.24㎝의 영상이 표시되는 것과 같은 효과가 있다. 달리 말하면, 화면의 가로 사이즈가 277㎝인 TV를 1.5미터 떨어진 위치에서 사용자가 (입체경을 착용하지 않고) 육안으로 보는 것과 같은 효과가 있다. 다만, 본 발명의 경우, 두 영상이 사이드 바이 사이드 형태로 배치되어 반분된 것과 같으므로, 138.62㎝ 크기로 확대되어 보인다. 스마트폰의 실제 가로 사이즈의 절반이 5.5cm이므로 대략 25배로 확대되는 효과가 있다. 즉 상기 사이즈(대각선으로 5인치 화면)의 스마트폰에 본 발명에 따른 변환 영상을 스테레오스코프 방식으로 재생하고, 사용자가 초점거리가 6cm인 두 렌즈로 된 입체경을 착용하여 그 재생 영상을 보면, 사용자는 1.5미터 전방에 25배 확대된 125인치 스크린을 맨 눈으로 보는 것과 동일한 효과를 누릴 수 있다.

입체경의 렌즈 초점거리가 더 길어지면, 화면 확대의 효과는 반감된다. 예컨대 렌즈의 초점거리가 24cm로 되면, 1.5m 전방의 가상스크린에 가로길이가 72.66cm인 화면을 보는 것과 같게 된다. 이 경우, 화면 확대율은 대략 6.5배(72/11)로 되어, 사용자는 약 36인치 텔레비젼을 1.5미터 떨어진 곳에서 육안으로 보는 것과 같은 크기로 인식하게 된다.

이상에서 설명한 본 발명에 따른 재생 영상과 기존의 입체영상 및 단순한 2차원 영상 간의 차이점을 아래 표에 정리하였다.

구분	종래의 입체영상	본 발명의 영상	단순 2차원 영상
소스 영상	광각의 차이를 갖는 좌안용 및 우안용 두 영상(비동일 영상)	광각의 차이가 없는 좌안용 및 우안용 두 영상(동일 영상)	좌안용과 우안용 구별 없는 하나의 영상
관람 방법	좌안용 영상과 우안용 영상을 각각 좌안과 우안으로 봄	좌안용 영상과 우안용 영상을 각각 좌안과 우안으로 봄	좌안과 우안 모두 하나의 영상을 봄
관람 느낌	입체감	입체감과 2차원감의 중간 정도의 느낌	2차원감
기타		배율 있는 렌즈를 착용하여 관람하면, 작은 사이즈의 디스플레이 영상도 아주 크게 확대하여 볼 수 있음

다음으로, 변환된 영상 프레임 (Fi′)을 만드는 작업을 해당 영상을 소비하는 사용자측에서 수행하는 경우를 설명한다. 영상 변환 작업을 위한 수단으로, 예컨대 도 5와 같은 하드웨어 자원을 갖는 영상재생기기(500)면 충분하다. 그리고 영상 변환 처리 알고리즘을 실행하도록 구성된 애플리케이션 프로그램도 필요하다. 예컨대 스마트폰, 타블렛 PC, 일반 PC 등에서 그 애플리케이션 프로그램을 실행하여 영상을 변환할 수 있다. 이 애플리케이션 프로그램은 예컨대 영상재생 플레이어의 일부 기능으로서 포함시키는 형태로 구현하는 것이 바람직할 것이다.

변환 대상인 영상 데이터는 저장부(520)에 파일 형태로 저장된 것이거나, 외부의 콘텐츠 제공 시스템으로부터 실시간으로 스트리밍 되어 오는 영상데이터이거나 또는 외부의 방송시스템이 전송해주는 방송신호에 실린 영상데이터일 수 있다. 어느 경우나, 콘텐츠 제공자 측에서 변환 영상을 만들어내는 것과 크게 다르지 않다. 즉, 원래의 소스 영상 프레임을 절반으로 축소하여 좌우로 병치하여 새로운 영상 프레임을 만든다는 기본 개념은 동일하다.

먼저, 영상 데이터가 라이브 방송신호 형태로 제공되는 경우를 고려한다. 도 7은 이 경우의 영상 변환을 처리하는 애플리케이션 프로그램의 실행 절차를 개략적으로 나타낸 흐름도이다.

외부의 방송시스템이 제공하는 영상은 일반적인 디지털 영상이다. 콘텐츠 소비자는 변환되지 않은 원래대로의 영상을 시청할 것인지 아니면, 본 발명에 따라 변환된 영상을 시청할 것인지를 선택할 수 있다. 이런 선택권은 사용자 인터페이스(550)를 통해 행사할 수 있다(S50 단계). 변환된 영상을 시청하는 것으로 선택된 경우, CPU(530)는 이하에서 설명하는 영상 변환 처리를 수행한다.

구체적으로, 방송신호 형태로 수신되는 영상 데이터는 통신부(510)를 통해 CPU(530)에 제공될 것이다. 이 영상 데이터는 통상 특정 압축 표준에 따라 인코딩되어 있을 것이므로, CPU(530)는 그 수신된 영상 데이터를 디코딩한다(S52 단계). 그리고 그 디코딩 영상 데이터의 각 화면 프레임 Fi를 절반 크기로 축소한 다음(S54 단계), 그 축소된 각 화면 프레임 Fi/2을 두 번 복사하여 좌우에 병치되도록 구성하여 새로운 영상 프레임 (Fi′)을 구성한다(S56 단계).

CPU(530)는 이렇게 변환된 영상 프레임 (Fi′)을 순차적으로 만들면서, 한편으로는 그 변환된 화면 프레임들을 적용하는 입체영상 재생방법에 따라 필요한 가공을 한다(S58 단계). 그리고 그 가공된 화면 프레임들을 모아서 비디오 구동부(560)에 제공한다. 그러면, 비디오 구동부(560)가 화면 프레임들을 디스플레이(570)를 통해 표시되도록 처리한다(S60 단계).

허용된다면, CPU(530)는 S46 단계에서 얻어지는 새로운 영상 프레임들 (Fi′)을 모아서 파일 형태로 저장부(520)에 저장하였다가, 나중에 필요할 때 그 저장된 파일을 읽어 와서 재생할 수도 있을 것이다.

다음으로, 저장부(520)에 저장되어 있는 통상적인 영상 파일들을 본 발명에 따른 변환 영상 파일로 만들 수도 있다. 즉, CPU(530)는 저장부(520)에서 변환 대상인 소스 영상 파일을 읽어 와서 단계 42의 디코딩, 단계 44의 영상 축소, 단계 46의 축소 영상의 병치 조합을 순차적으로 수행하여 통해 소스 영상의 각 화면 프레임(Fi)을 변환 영상 프레임 (Fi′)으로 가공한다. 계속해서 단계 S48과 S50을 수행하여 변환과 병행하여 재생을 하거나, 또는 그 변환된 프레임 (Fi′)들을 모아서 저장부(520)에 파일 형태로 저장하고 필요 시 재생을 한다.

본 발명은 이상에서 설명한 것처럼, 영상 프레임의 변환을 콘텐츠 제공자 시스템에서 미리 수행하여 변환된 영상 콘텐츠를 콘텐츠 소비자에게 제공하거나, 또는 영상 프레임의 변환 처리를 콘텐츠 소비자 측에서 수행할 있다. 어느 경우나, 변환 환경이나 조건의 차이에서 비롯되는 변환의 전처리나 후처리가 조금 차이날 수는 있겠지만, 영상 변환의 핵심적인 알고리즘은 실질적으로 동일하다고 볼 수 있다. 이와 달리, 그 영상 변환 알고리즘을 운영체제 프로그램에 심는 방법도 가능할 것이다. 즉, 사용자에게 화면 분할에 대한 선택권을 제공하고, 사용자의 선택에 따라 화면을 좌우 두 개로 분할하면서 재생할 영상을 모두 그 분할된 두 화면에 동시에 디스플레이 되도록 하는 방법도 가능하다.

100: 변환 대상이 영상 프레임(Fi)
110: 절반 크기로 축소된 영상 프레임(Fi/2)
120: 변환된 영상 프레임(Fi′) 200: 영상변환부
300: 영상 콘텐츠 제공자 시스템 310: 데이터 저장소
320: 카메라 330, 530: CPU
340, 540: 메모리 350, 550: 사용자 인터페이스
500: 영상재생기기 510: 통신부
520: 저장부 560: 비디오 구동부
570: 디스플레이

Claims (11)

1. 영상변환부에서, 소스 영상데이터의 각 소스 영상프레임(Fi)을 대응하는 타겟 영상프레임(Fi’)으로 순차적으로 변환하여 상기 타겟 영상프레임(Fi’)들로 구성된 변환 영상데이터를 생성하는 제1단계, 여기서 상기 각 소스 영상프레임(Fi)의 대응 타겟 영상프레임(Fi’)으로의 변환은 상기 소스 영상프레임(Fi)의 픽셀 수를 가로방향과 세로방향으로 각각 절반으로 줄여 축소 영상프레임(Fi/2)을 만들고 상기 축소 영상프레임(Fi/2)을 복제하여 두 개의 동일한 상기 축소 영상프레임(Fi/2)을 조합함으로써 상기 대응 타겟 영상프레임(Fi’)으로 구성하는 것에 의해 달성되며;
   상기 영상변환부가 상기 변환 영상데이터를 영상재생부로 제공하는 제2단계; 및
   상기 영상재생부에서, 제공받은 상기 변환 영상데이터의 타겟 영상프레임(Fi’)들을 화면에 재생하되, 각 타겟 영상프레임(Fi’)을 구성하는 동일한 두 개의 축소 영상프레임(Fi/2)의 영상을 디스플레이 화면의 좌측 절반과 우측 절반에 각각 디스플레이 되게 함으로써, 각 타겟 영상프레임(Fi’)을 구성하는 동일한 두 개의 축소 영상프레임(Fi/2)이 두 개의 렌즈를 포함하는 입체경(stereoscope)으로 관람하는 영상콘텐츠 소비자의 좌안과 우안에 각각 별도로 보일 수 있도록 해주는 제3단계를 포함하는 것을 특징으로 하는 영상 데이터 변환 및 재생 방법.
2. 제1항에 있어서, 상기 소스 영상프레임(Fi)으로부터 상기 축소 영상 프레임(Fi/2)을 만드는 것은 각 소스 영상 프레임(Fi)의 픽셀 데이터에서 홀수 번째의 행과 열에 있는 픽셀 데이터들과 짝수 번째의 행과 열에 있는 픽셀 데이터들 중 어느 한쪽만 취하고 나머지 픽셀 데이터는 버리는 것에 의해 이루어지는 것을 특징으로 하는 영상 데이터 변환 및 재생 방법.
3. 삭제
4. 제1항에 있어서, 상기 제3단계에서의 영상 디스플레이는 스마트폰 또는 타블렛 컴퓨터(Personal Computer)에서 수행되고, 상기 입체경의 상기 두 개의 렌즈는 상기 두 개의 동일한 축소 영상프레임(Fi/2)의 영상이 각각 크게 확대되어 보이도록 해주는 배율 있는 렌즈이며, 영상콘텐츠 소비자가 상기 입체경을 통해 보는 영상은 상기 배율만큼 확대된 크기의 영상으로 인식되는 것을 특징으로 하는 영상 데이터 변환 및 재생 방법.
5. 삭제
6. 제1항에 있어서, 상기 제1단계, 상기 제2단계, 및 상기 제3단계는 상기 영상변환부와 상기 영상재생부를 모두 구비하는 영상콘텐츠 소비자 측의 영상재생기기에서 수행되는 것을 특징으로 하는 영상 데이터 변환 및 재생방법.
7. 삭제
8. 제1항에 있어서, 상기 제1단계와 상기 제2단계는 상기 영상변환부를 구비하는 영상콘텐츠 제공자 측의 영상제공시스템에 의해 수행되고, 상기 제3단계는 상기 영상재생부를 구비하는 영상콘텐츠 소비자 측의 영상재생기기에 의해 수행되는 것을 특징으로 하는 영상 데이터 변환 및 재생방법.
9. 제8항에 있어서, 상기 영상변환부가 상기 제2단계를 수행할 때 상기 변환 영상데이터를 스트리밍(streaming) 방식 또는 방송(broadcast) 방식으로 상기 영상재생부에 전송하는 것을 특징으로 하는 영상 데이터 변환 및 재생방법.
10. 제9항에 있어서, 상기 제2단계에서 상기 영상제공시스템이 상기 영상재생기기에 상기 변환 영상데이터를 제공함에 있어서 상기 소스 영상데이터도 함께 제공하는 것을 특징으로 하는 영상 데이터 변환 및 재생방법.
11. 제10항에 있어서, 상기 제3단계는 상기 영상재생기기에서 영상콘텐츠 소비자가 상기 소스 영상데이터와 상기 변환 영상데이터 중 후자를 선택하여 재생을 지시하는 경우에 수행되는 것을 특징으로 하는 영상 데이터 변환 및 재생방법.
    

Images