KR101046580B1

KR101046580B1 - 영상처리장치 및 그 제어방법

Info

Publication number: KR101046580B1
Application number: KR1020060001007A
Authority: KR
Inventors: 김현진
Original assignee: 삼성전자주식회사
Priority date: 2006-01-04
Filing date: 2006-01-04
Publication date: 2011-07-06
Also published as: KR20070073282A

Abstract

본 발명에 따른 영상처리장치의 제어방법은 이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상을 확인하는 단계; 수신되지 않은 시점영상에 대응하는 현재 프레임의 미수신영역을 기준으로 전시점영상 및 후시점영상과 수신되지 않은 시점영상의 변이값을 산출하는 단계; 산출된 변이값에 따라 전시점영상과 후시점영상을 합성하여 중간시점영상을 생성하는 단계; 생성된 중간시점영상을 미수신영역에 삽입하는 단계; 생성된 중간시점영상 및 현재 프레임의 복수의 시점영상을 합성하여 입체영상을 생성하는 단계; 및 생성된 입체영상을 표시하는 단계를 포함한다. 이에 의해, 수신된 시점영상을 분석하여 중간시점영상을 합성하므로, 정확한 중간시점영상을 합성하여 입체영상의 품질이 향상될 수 있다.

Description

영상처리장치 및 그 제어방법{Image Processing Apparatus And Control Method Thereof}

도 1은 본 발명의 실시예에 따른 영상처리장치의 제어블록도이며,

도 2는 본 발명의 실시예에 따른 영상처리장치의 제어과정을 나타낸 흐름도이다.

* 도면의 주요부분에 대한 부호의 설명 *

10 : 신호수신부 20 : 신호처리부

21 : 프레임확인부 22 : 변이산출부

24 : 중간영상생성부 26 : 입체영상생성부

30 : 디스플레이부

본 발명은 영상처리장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 입체영상을 표시하는 영상처리장치 및 그 제어방법에 관한 것이다.

일반적으로, 사람의 두 눈은 일정 간격(약, 6.5cm) 떨어져 있으므로 한쪽 눈에는 다른 쪽 눈에 비해 수평방향으로 약간 평행이동 된 영상이 입력된다. 이를 양 안시차(binocular disparity)라 하며, 양안시차에 의해 사람은 물체를 입체적으로 볼 수 있다.

이러한, 인간시각시스템(HVS: Human Visual System)을 모방하여 입체영상을 표시하기 위한 다양한 형태의 3차원 디스플레이 방식이 구현되었다. 그리고, 3차원 디스플레이 방식 중 하나로 스테레오 양안방식이 있다. 스테레오 양안방식은 사람의 눈으로 보는 것과 동일한 원리를 이용하여 하나의 대상을 2개의 카메라로 촬상한 후, 촬상된 영상을 합성하여 입체적으로 보이도록 하는 방식이다.

그러나, 스테레오 양안방식은 시점이 2개로 제한되기 때문에 입체영상을 시청하는 사용자가 제한된 시역을 벗어나거나 초점이 맞지 않을 경우에는 입체감을 느낄 수 없으며, 눈의 피곤함 및 어지러움 등을 느끼기 때문에 실질적인 응용이 제한되고 있다고 한다.

그리하여, 이러한 기존의 스테레오 방식의 단점을 해결하기 위해 다시점 스테레오 3D 디스플레이 방식에 관한 연구가 이루어지고 있다. 이는, 복수개의 카메라를 통해 다시점으로 영상을 촬상한 후, 이를 합성하여 표시하기 때문에 시역이 확대되고, 보다 자연스러운 입체영상이 표시될 수 있다.

그러나, 시점의 개수가 증가됨에 따라 전송해야하는 영상데이터도 동시에 증가하기 때문에 실시간의 영상처리 프로세서 및 초고속, 광대역의 전송채널이 요구되게 된다. 이러한 문제를 해결하기 위해 여러 개의 임의 시점 스테레오 영상을 디지털적으로 합성해내는 중간시점영상(IVR: Intermediate View Reconstruction) 합성기법이 연구 개발 되고 있다. 이때, 중간시점영상은 다음의 수학식을 통해 합성 될 수 있다.

(여기서, I_I는 중간시점영상이며, a는 각 시점 간 간격이며, I_L은 좌시점영상이며, I_R은 우시점영상이며, i, j는 각각 좌시점영상의 세로방향과 가로방향의 좌표값을 나타낸다.)

그러나, 이러한 중간시점영상은 좌측과 우측에 위치한 카메라의 중간에 위치한 카메라로부터 촬상된 것이라 가정하여, 시점 간의 간격(a)을 0.5로 고정시킨다. 이로 인해, 카메라로부터 촬상된 영상신호가 코딩되는 도중 에러가 발생하거나, 카메라의 위치 또는 각도가 정확하지 않은 경우, 정확한 중간시점영상을 구할 수 없다는 단점이 있다.

따라서, 본 발명의 목적은, 정확한 중간시점영상을 합성하여 품질이 향상된 입체영상을 표시할 수 있도록 하는 영상처리장치 및 그 제어방법을 제공하는 것이다.

상기 목적은, 본 발명에 따라, 영상처리장치의 제어방법에 있어서, 이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상을 확인하는 단계; 상기 수신되지 않은 시점영상에 대응하는 현재 프레임의 미수신영역을 기준으로 전시점영상 및 후시점영상과 상기 수신되지 않은 시점영상의 변이값 을 산출하는 단계; 상기 산출된 변이값에 따라 상기 전시점영상과 후시점영상을 합성하여 중간시점영상을 생성하는 단계; 상기 생성된 중간시점영상을 상기 미수신영역에 삽입하는 단계; 상기 생성된 중간시점영상 및 상기 현재 프레임의 복수의 시점영상을 합성하여 입체영상을 생성하는 단계; 및 상기 생성된 입체영상을 표시하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법에 의해 달성된다.

여기서, 상기 변이값을 산출하는 단계는, 상기 수신되지 않은 시점영상의 각 블록 당 대응블록을 상기 전시점영상 및 후시점영상으로부터 검색하는 단계와; 상기 시점영상의 각 블록과 상기 검색된 대응블록과의 변이를 산출하여 정렬하는 단계; 상기 정렬된 변이 중 중간값을 산출하는 단계를 포함하는 것이 바람직하다.

그리고, 상기 중간시점영상은 다음의 수학식에 의해 합성될 수 있다.

한편, 상기 목적은, 본 발명에 따라, 영상처리장치에 있어서, 이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상을 확인하는 프레임확인부; 상기 수신되지 않은 시점영상에 대응하는 현재 프레임의 미수신영역을 기준으로 전시점영상 및 후시점영상과 상기 수신되지 않은 시점영상의 변이값을 산출하는 변이산출부; 상기 산출된 변이값에 따라 상기 전시점영상과 후시점영상을 합성하여 중간시점영상을 생성하고, 상기 생성된 중간시점영상을 상기 미수신영역에 삽입하는 중간영상생성부; 및 상기 생성된 중간시점영상 및 상기 현재 프레임의 복수의 시점영상을 합성하여 입체영상을 생성하는 입체영상생성부를 포함하는 것을 특징으로 하는 영상처리장치에 의해 달성될 수 있다.

상기 입체영상생성부는 다음의 수학식에 의해 상기 중간시점영상을 합성할 수 있다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 영상처리장치의 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처지장치는 신호수신부(10), 신호처리부(20), 디스플레이부(30)를 포함한다.

본 발명에 따른 신호수신부(10)는 영상신호를 수신하는 튜너(미도시)를 포함한다. 이때, 튜너(미도시)를 통해 수신된 영상신호는 입체영상을 생성하기 위한 복수의 시점영상을 갖는다. 여기서, 복수의 시점영상은 서로 다른 위치에 위치한 복수의 카메라를 통해 다양한 각도로 촬상된 것이며, 각각의 카메라로부터 동시에 촬 상된 시점영상은 하나의 프레임을 형성한다.

그리고, 수신된 복수의 시점영상은 신호처리부(20)에 의해 입체영상으로 합성되어 후술할 디스플레이부(30)에 표시된다. 여기서, 디스플레이부(30)는 DLP(Digital Light Processing), LCD(Liquid Crystal Display), PDP(Plasma Display Penal) 등과 같이 다양한 유형으로 구현 가능하다.

본 발명에 따른 신호처리부(20)는 신호수신부(10)로부터 수신된 복수의 시점영상을 합성하여 입체영상을 형성하는 것으로, 프레임확인부(21), 변이산출부(22), 중간영상생성부(24), 입체영상생성부(26)를 포함한다. 또한, 신호처리부(20)는 합성된 입체영상을 디스플레이부(30)의 출력규격에 맞는 수직주파수, 해상도, 화면비율 등에 맞도록 변환하는 스케일러(미도시)를 더 포함한다.

프레임확인부(21)는 이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상, 즉 현재 프레임 중 이전 프레임과 비교하여 시점영상이 수신되지 않은 미수신영역이 존재하는지의 여부를 확인한다.

예컨대, 이전 프레임이 제1카메라로부터 촬상된 제1시점영상, 제2카메라로부터 촬상된 제2시점영상, 제3카메라로부터 촬상된 제3시점영상, 제4카메라로부터 촬상된 제4시점영상, 제5카메라로부터 촬상된 제5시점영상을 합성하여 형성되었다고 하자. 이때, 5개의 시점영상을 계속 전송하려면 광대역의 전송채널이 요구되므로, 5개의 시점영상 중 소정 개수(예컨대, 제1시점영상, 제3시점영상, 제5시점영상)의 시점영상만을 전송하게 된다. 프레임확인부(21)는 이전 프레임을 형성하는 복수의 시점영상과 현재 프레임을 형성하는 복수의 시점영상을 비교하여, 현재 프레임 중 미수신영역(이하, '미수신영역'이라 칭함)이 제2시점영상, 제4시점영상임을 확인한다.

변이산출부(22)는 미수신영역의 전시점영상 및 후시점영상과 이전 프레임 중 미수신영역에 대응하는 시점영상(이하, '이전시점영상'이라 칭함)과의 변이값을 산출한다. 여기서, 변이값은 0 내지 1 사이의 값인 것이 바람직하다.

구체적으로, 변이산출부(22)는 이전시점영상의 각 블록 당 대응블록을 미수신영역의 전시점영상 및 후시점영상으로부터 검색한다. 여기서, 대응블록이란 이전시점영상을 M*N의 크기를 갖는 블록(이하, '기준블록'(reference block)이라 칭함)으로 분할하고, 미수신영역의 전시점영상 및 후시점영상 안에 존재하는 블록과 비교하여 검출된 블록 중 가장 닮은 블록을 말한다.

그리고, 이전시점영상의 기준블록과 전시점영상의 대응블록을 비교하여 변이, 즉 상대적으로 변화된 거리를 산출하고, 이전시점영상의 기준블록과 후시점영상의 대응블록을 비교하여 변이를 산출한다. 그리고, 산출된 변이를 순서대로 정렬한 후, 중간값을 산출한다.

예컨대, 현재 프레임에서 제2시점영상이 미수신영역이라 하면, 현재 프레임의 제1시점영상이 전시점영상이며, 제3시점영상이 후시점영상이므로, 변이산출부(22)는 현재 프레임의 제1시점영상 및 제3시점영상에서 이전 프레임의 제2시점영상의 대응블록을 각각 검색한다.

그리고, 산출된 변이가 0.1, 0.5, 0.7, 0.9, 0.4, 0.3, 0.1이라 하자. 이를 정렬하면, 0.1, 0.1, 0.3, 0.4, 0.5, 0.7, 0.9가 되며, 이 중 중간값은 0.4이므로, 변이산출부(22)는 변이값 0.4를 산출하게 된다.

중간영상생성부(24)는 변이산출부(22)로부터 산출된 변이값을 다음의 수학식에 대입하여 중간시점영상을 생성한다.

(여기서, I_I는 중간시점영상이며, a는 산출된 변이값이며, I_L은 좌시점영상이며, I_R은 우시점영상이며, i, j는 각각 좌시점영상의 세로방향과 가로방향의 좌표값을 나타낸다.)

또한, 중간영상생성부(24)는 생성된 중간시점영상을 현재 프레임의 미수신영역에 삽입한다.

입체영상생성부(26)는 중간영상생성부(24)로부터 생성된 중간시점영상 및 현재 프레임을 형성하는 복수의 시점영상을 합성하여 입체영상을 생성한다. 그리고, 입체영상생성부(26)에 의해 합성된 입체영상은 디스플레이부(30)에 표시된다.

이를 통해, 수신된 시점영상을 분석하여 중간시점영상을 산출하므로, 정확한 중간시점영상을 합성할 수 있으며, 좀 더 입체감 있는 입체영상이 합성될 수 있다.

전술한 본 발명의 실시예에 따른 움직임 추정장치의 제어방법을 도 2의 흐름도를 이용하여 설명한다.

도 2에 도시된 바와 같이, 프레임확인부(21)는 이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상 즉, 현재 프레임 중 미수신영역이 존재하는지 확인한다(S1).

확인결과, 미수신영역이 존재하는 경우, 변이산출부(22)는 현재 프레임의 미수신영역을 기준으로 전시점영상 및 후시점영상과 이점시점영상과의 변이값을 산출한다(S3).

그리고, 중간영상생성부(24)는 변이산출부(22)로부터 산출된 변이값을 이용하여 전시점영상과 후시점영상을 합성하여 중간시점영상을 생성하고(S5), 생성된 중간시점영상을 현재 프레임의 미수신영역에 삽입한다(S7).

그리고, 입체영상생성부(26)는 생성된 중간시점영상과 현재 프레임을 형성하는 복수의 시점영상을 합성하여 입체영상을 생성한다(S9).

그리고, 생성된 입체영상은 디스플레이부(30)에 표시된다(S11).

단계 S1에서 확인결과, 미수신영역이 존재하지 않는 경우, 입체영상생성부(26)는 현재 프레임을 형성하는 복수의 시점영상을 합성하여 입체영상을 생성하고(S13), 생성된 입체영상은 디스플레이부(30)에 표시된다(S11).

이를 통해, 정확한 중간시점영상을 합성할 수 있어, 좀 더 입체감이 나타나는 입체영상이 표시될 수 있다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

이상 설명한 바와 같이, 본 발명에 따르면, 수신된 시점영상을 분석하여 중 간시점영상을 합성하므로, 정확한 중간시점영상을 합성하여 입체영상의 품질이 향상되는 영상표시장치 및 그 제어방법이 제공된다.

Claims

영상처리장치의 제어방법에 있어서,

이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상을 확인하는 단계;

상기 수신되지 않은 시점영상에 대응하는 현재 프레임의 미수신영역을 기준으로 전시점영상 및 후시점영상과 상기 수신되지 않은 시점영상의 변이값을 산출하는 단계;

상기 산출된 변이값에 따라 상기 전시점영상과 후시점영상을 합성하여 중간시점영상을 생성하는 단계;

상기 생성된 중간시점영상을 상기 미수신영역에 삽입하는 단계;

상기 생성된 중간시점영상 및 상기 현재 프레임의 복수의 시점영상을 합성하여 입체영상을 생성하는 단계; 및

상기 생성된 입체영상을 표시하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
제1항에 있어서,

상기 변이값을 산출하는 단계는,

상기 수신되지 않은 시점영상의 각 블록 당 대응블록을 상기 전시점영상 및 후시점영상으로부터 검색하는 단계와;

상기 시점영상의 각 블록과 상기 검색된 대응블록과의 변이를 산출하여 정렬하는 단계;

상기 정렬된 변이 중 중간값을 산출하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
제1항 또는 제2항에 있어서,

상기 중간시점영상은 다음의 수학식에 의해 합성되는 것을 특징으로 하는 영상처리장치.

(여기서, I_I는 중간시점영상이며, a는 각 시점 간 간격이며, I_L은 좌시점영상이며, I_R은 우시점영상이며, i, j는 각각 좌시점영상의 세로방향과 가로방향의 좌표값을 나타낸다.)
영상처리장치에 있어서,

이전 프레임을 형성하는 복수의 시점영상 중 현재 프레임에서 수신되지 않은 시점영상을 확인하는 프레임확인부;

상기 수신되지 않은 시점영상에 대응하는 현재 프레임의 미수신영역을 기준으로 전시점영상 및 후시점영상과 상기 수신되지 않은 시점영상의 변이값을 산출하는 변이산출부;

상기 산출된 변이값에 따라 상기 전시점영상과 후시점영상을 합성하여 중간시점영상을 생성하고, 상기 생성된 중간시점영상을 상기 미수신영역에 삽입하는 중간영상생성부; 및

상기 생성된 중간시점영상 및 상기 현재 프레임의 복수의 시점영상을 합성하여 입체영상을 생성하는 입체영상생성부를 포함하는 것을 특징으로 하는 영상처리장치.
제4항에 있어서,

상기 입체영상생성부는 다음의 수학식에 의해 상기 중간시점영상을 합성하는 것을 특징으로 하는 영상처리장치.

(여기서, I_I는 중간시점영상이며, a는 각 시점 간 간격이며, I_L은 좌시점영상이며, I_R은 우시점영상이며, i, j는 각각 좌시점영상의 세로방향과 가로방향의 좌표값을 나타낸다.)