KR20060063265A - 영상 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 처리 방법 및 장치에 관한 것으로, 영상의 색깔이나 패턴과는 상관없이 촬영된 대상의 거리 정보를 이용하여 해당 대상을 영상에서 제거하고 합성하는 방법 및 장치에 관한 것이다.

이를 위하여, 본 발명에 따른 영상 처리 방법은, 두 대의 카메라를 이용하여 각각 영상을 촬영하고, 상기 각 영상에 대한 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하고, 추출된 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 처리하는 것을 특징으로 한다.

영상 처리, 합성, 거리, 양안차

Description

영상 처리 방법 및 장치{Method and apparatus for processing image}

도 1은 본 발명에 따른 영상 처리 방법의 흐름도.

도 2는 본 발명에 따라 대응되는 픽셀을 맵핑하는 과정을 설명하기 위한 도면.

도 3은 본 발명에 따라 두 영상의 양안차와 촬영된 대상까지의 거리를 계산하는 방법을 설명하기 위한 도면.

도 4는 본 발명에 따라 사용자가 배경을 제거하고 제거된 배경에 다른 영상을 합성한 예를 나타내는 도면.

도 5는 본 발명에 따른 영상 처리 장치의 구성도.

본 발명은 영상 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 화상 통화나 영상 촬영 시 촬영된 영상에서 카메라로부터 일정 거리의 영상을 제거하고 합성할 수 있는 방법 및 장치에 관한 것이다.

동영상이나 정지영상 촬영에서 사용자 또는 정해진 물체의 주위로 보여지는 배경부분을 제거하여 사용자가 설정한 배경으로 변환하는 방법은 사용자에게 매우 다양한 서비스를 제공할 수 있다. 이러한 기술의 핵심은 카메라를 통하여 촬영된 영상에서 제거하려는 대상을 얼마나 정확하게 추출하느냐는 것이다.

이를 위해 종래에는 하나의 카메라로부터 얻어진 영상에서 색깔이나 에지 검출(Edge Detection) 등을 통한 패턴 인식을 통하여 제거하려는 영상을 추출하였다. 그러나 1차원 영상 정보만으로는 제거하려는 대상과 남기려는 대상의 구분이 모호할 뿐만 아니라 패턴 인식이 가지는 많은 제한으로 인해 제거하려는 대상의 추출 시 오류 확률이 높다. 예를 들어, 사람이 입고 있는 의상과 배경에 동일한 색깔이 존재하게 되면 1차원 영상에서는 그 구분이 모호할 수 밖에 없다. 한편, 이러한 종래의 패턴 인식 방법은 여러 단계의 처리 과정으로 인해 1초에 여러 프레임으로 이루어진 동영상에서는 처리 속도의 문제로 실시간으로 영상을 처리해야 하는 시스템에서는 실현 가능성이 적다.

상술한 문제점을 해결하기 위하여, 본 발명의 목적은 촬영된 대상의 거리 정보를 이용하여 해당 대상을 영상에서 제거하고 합성하는데 있다.

본 발명의 다른 목적은 두 대의 카메라를 이용하여 동일 대상을 촬영하고 두 카메라의 양안차를 이용하여 촬영 대상의 거리 정보를 추출하여 해당 대상을 영상에서 제거하고 합성하는데 있다.

본 발명의 또 다른 목적은 사용자가 영상에서 제거하고자 하는 범위를 직접 입력함으로써 선택적으로 영상을 제거하거나 합성할 수 있도록 하는데 있다.

본 발명의 또 다른 목적은 영상의 색깔이나 패턴과는 상관없이 정확하게 대상을 추출하는데 있다.

이를 위하여, 본 발명에 따른 영상 처리 방법은, 두 대의 카메라를 이용하여 각각 영상을 촬영하고, 상기 각 영상에 대한 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하고, 추출된 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 처리하는 것을 특징으로 한다.

이를 위해 본 발명에 따른 영상 처리 방법은, 상기 두 대의 카메라를 이용하여 각각 영상을 촬영하는 과정; 상기 각 영상에 대해 동일한 대상의 대응 픽셀(Pixel)을 맵핑(Mapping)하는 과정; 상기 대응 픽셀에 대한 상기 각 영상 간의 위치 차로서 상기 양안차를 계산하는 과정; 상기 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하는 과정; 상기 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 제거하는 과정; 및 상기 제거된 영상을 다른 영상으로 합성하는 과정을 포함하는 것을 특징으로 한다.

그리고 상기 맵핑 과정은 상기 두 영상에 대하여 서브 블록 단위로 상관(Correlation) 값을 비교하여 수행된다. 상기 촬영 대상까지의 거리 정보는 상기 두 카메라에 대한 중심 사이의 거리 정보와 상기 각 카메라의 포커스 길이 정보 및 상기 양안차 정보를 이용하여 계산된다.

그리고 본 발명에 따른 영상 처리 장치는, 각각 영상을 촬영하는 두 대의 카메라; 상기 두 카메라로부터 촬영된 각각의 영상에 대해 동일한 대상의 대응 픽셀을 맵핑하는 픽셀 맵핑부; 상기 대응 픽셀에 대한 상기 각 영상 간의 위치 차로서 상기 각 영상에 대한 양안차를 계산하고, 상기 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하는 거리 정보 추출부; 및 상기 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 처리하는 영상 합성부를 구비하는 것을 특징으로 한다.

여기서, 상기 두 카메라는 일정 간격으로 떨어져 에피폴라 라인(Epipolar Line)이 일치되도록 설치되어, 상기 두 영상은 동일한 시각에 동일한 대상을 촬영한 동일한 크기로 촬영된다.

상기 픽셀 맵핑부는 상기 두 영상에 대하여 서브 블록 단위로 상관 값을 비교하여 상기 대응 픽셀을 맵핑한다.

상기 거리 정보 추출부는, 상기 두 카메라에 대한 중심 사이의 거리 정보와 상기 각 카메라의 포커스 길이 정보 및 상기 양안차 정보를 이용하여 상기 촬영 대상까지의 거리 정보를 계산한다.

이하, 본 발명에 따른 바람직한 실시 예에 대하여 첨부 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따라 거리 정보를 이용하여 영상을 처리하는 영상 처리 방법의 흐름도이다.

먼저 본 발명은 거리 정보를 추출하기 위하여 두 대의 카메라(이하 각각 '제 1 카메라', '제 2 카메라'라고 칭함)를 이용하여 각각 영상을 촬영한다(S11). 제 1 카메라에서 촬영된 제 1 영상과 제 2 카메라에서 촬영된 제 2 영상은 동일한 시각에 동일한 대상을 촬영한 동일한 크기의 영상인 것이 바람직하며, 양안차를 얻기 위하여 두 카메라의 에피폴라 라인을 일치시켜 좌우 대칭이 되도록 촬영되는 것이 바람직하다.

두 대의 카메라로부터 영상이 촬영되면 두 영상에서 동일한 대상에 대한 대응되는 픽셀을 찾아 맵핑한다(S12). 대응되는 픽셀을 맵핑한다는 것은 제 1 영상과 제 2 영상에서 동일한 좌표의 픽셀을 맵핑한다는 것이 아니라, 동일한 대상에 대하여 동일한 모양과 위치에 해당하는 픽셀을 각각 제 1 영상과 제 2 영상에서 찾는다는 것이다. 도 2를 참조하여 설명하면, 제 1 영상(21)에서 x, y 좌표 값이 (4, 3)인 픽셀 23과 매핑되는 제 2 영상(22)의 픽셀은, 같은 좌표 값 (4, 3)을 갖는 픽셀 24가 아니라 픽셀 25가 된다. 왜냐하면, 제 1 영상(21)의 픽셀 23은 삼각형의 한 꼭짓점이므로, 제 2 영상(22)에서도 동일한 대상인 삼각형에 대하여 동일한 모양과 위치(밑변의 양쪽을 구성하는 꼭짓점이 아닌 다른 꼭짓점으로서 모양과 위치가 동일함)에 해당하는 픽셀 25가 매핑되는 것이다.

상술한 바와 같은 대응되는 픽셀의 맵핑은 제 1 영상과 제 2 영상을 먼저 버퍼에 넣어두고 서브블록 단위로 상관(Correlation) 값을 구하여 대응되는 픽셀을 찾음으로써 수행된다.

두 영상의 동일한 대상에 대하여 픽셀이 맵핑되면, 대응되는 픽셀 정보를 이 용하여 제 1 영상과 제 2 영상의 양안차를 계산하고(S13) 이를 이용하여 촬영된 대상까지의 거리를 계산한다(S14). 즉, 동일 대상에 대하여 제 1 영상에서의 위치와 제 2 영상에서의 위치 차를 이용하여 양안차를 구하고 이를 이용하여 해당 대상까지의 거리를 계산한다.

도 3을 참조하여 제 1 영상과 제 2 영상의 양안차와 촬영된 대상까지의 거리를 계산하는 방법에 대하여 보다 상세하게 설명한다.

P는 촬영 대상이고, A와 B는 P가 각각 제 1 카메라와 제 2 카메라에 의해 촬영된 영상이다. CA는 제 1 카메라로 찍히는 영상의 중심이고 CB는 제 2 카메라로 찍히는 영상의 중심이다.

그리고 계산에 사용되는 각 파라미터는 다음과 같다.

L : 제 1 카메라의 중심(CA)과 제 2 카메라의 중심(CB) 사이의 거리.

f : 각 카메라의 포커스 길이.

dl : 제 1 카메라의 중심(CA)으로부터 제 1 카메라에 의해 촬영된 영상(A)까지의 거리.

dr : 제 2 카메라의 중심(CB)으로부터 제 2 카메라에 의해 촬영된 영상(B)까지의 거리.

a : 제 1 카메라로 찍히는 영상의 왼쪽 기준면으로부터 제 1 카메라에 의해 촬영된 영상(A)까지의 거리.

b : 제 2 카메라로 찍히는 영상의 왼쪽 기준면으로부터 제 2 카메라에 의해 촬영된 영상(B)까지의 거리.

X : 두 카메라의 중점으로부터 촬영된 대상 P까지의 거리.

도 3에서 X는 수학식 1과 같이 계산된다.

X = (L × f) / (dl + dr)

여기서 (dl+dr)은 (b-a)이므로, 수학식 1은 수학식 2과 같다.

X = (L × f) / (b - a)

여기서 (b-a)는 촬영 대상이 각 카메라에 의해 촬영된 영상의 상대적 차이 값으로 양안차라고 한다.

수학식 2에 의해 두 카메라의 중심 사이의 거리와 카메라의 포커스 길이 및 양안차 정보를 알면 촬영 대상까지의 거리를 구할 수 있다. 이중 두 카메라의 중심 사이의 거리와 카메라의 포커스 길이는 일반적으로 고정되어 있을 가능성이 크므로 양안차 정보만 있으면 물체까지의 거리를 쉽게 구할 수 있다. 그리고 수학식 2를 살펴보면, 양안차가 클수록 촬영 대상이 가까운 거리에 위치하고 양안차가 작을수록 먼 거리에 위치함을 알 수 있다. 본 발명은 이러한 거리 정보를 이용하여 색깔이나 에지 정보를 이용하는 것보다 더욱 정확하게 촬영된 영상으로부터 사물을 구별하는 것을 특징으로 한다.

보다 구체적으로, 본 발명을 이동 전화기에 적용한 실시 예를 통하여 본 발명의 특징을 더욱 상세하게 설명한다. 본 발명은 수학식 2에 의해 알 수 있듯이, 두 카메라의 중심 사이의 거리와 카메라의 포커스 길이 및 양안차에 영향을 받으므 로, 이동 전화기에 어떠한 종류의 카메라를 얼마만큼의 거리 차이로 설치하였느냐에 따라 거리 측정의 정밀도나 거리 측정 범위가 조금씩 변경될 수 있다.

본 실시 예에서는 카메라를 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구현하고, 카메라의 포커스 길이가 3mm이며, 두 카메라의 거리를 5cm가 되도록 설치하였다고 가정한다. 만약 CMOS 이미지 센서로 촬영되는 영상의 크기가 (1152×864)이면 영상의 한 픽셀의 크기는 3.2㎛가 되어 영상의 양안차 값을 3.2㎛의 해상도(Resolution)로 검출할 수 있게 된다.

이때 이러한 이동 전화기로 검출할 수 있는 가장 가까운 거리(XL)는 수학식 3과 같이 구할 수 있다.

XL = (L × f) / (이미지 센서의 폭)

여기서 단위는 cm이고, 이동 전화기로 검출할 수 있는 가장 가까운 거리에 물체가 위치할 때 양안차는 최대일 것이므로 이 때의 양안차 값은 영상의 가로 픽셀의 길이 즉, 이미지 센서의 폭이 된다.

변수의 값을 대입하면, XL = (5 × 0.3) / (1152 × 0.00032) 이므로, 이동 전화기로 검출할 수 있는 가장 가까운 거리는 약 5cm이다.

또한, 이러한 이동 전화기로 검출할 수 있는 가장 먼 거리(XH)는 수학식 4와 같이 구할 수 있다.

XL = (L × f) / (한 픽셀의 크기)

여기서 단위는 cm이고, 이동 전화기로 검출할 수 있는 가장 먼 거리에 물체가 위치할 때 양안차는 최소일 것이므로 이 때의 양안차 값은 픽셀 하나의 길이가 된다.

변수의 값을 대입하면, XL = (5 × 0.3) / (0.00032) 이므로, 이동 전화기로 약 46m까지의 거리를 구분할 수 있다. 그 이상의 거리는 가장 먼 위치의 영상과 같은 위치에 촬영되므로 원거리를 제거하는 경우에는 영향을 받지 않는다.

한편, 수학식 2를 면밀히 살펴보면, 가까운 거리일수록 세밀하게 측정할 수 있고 먼 거리일수록 해상도가 낮아지는 것을 알 수 있다. 하지만 이동 전화기로 화상 통화를 하는 경우에는 사람과 카메라가 장착되어 있는 이동 전화기 사이의 거리가 일반적으로 사람의 팔 길이 이상을 넘지 않을 것이므로 충분한 해상도를 확보할 수 있다. 이를 식으로 검증해 보면, 사람이 화상 통화를 할 경우 카메라와 사람 사이의 거리가 대략 30cm라고 하면, 수학식 2에 의해 양안차는 0.5mm가 되고, 한 픽셀의 크기가 3.2㎛이므로 대략 2mm 정도의 거리 차이를 구분해 낼 수 있는 해상도를 확보할 수 있다. 다시 말해서 화상 통화를 하는 사람이 위치하는 근방의 거리 정보는 2mm정도의 차이까지 구분해 낼 수 있다는 말이 된다. 본 발명은 이러한 특징을 이용하여 촬영된 영상에서 근소한 거리 차이의 대상까지 구분하여 제거할 수 있다.

한편, 각 픽셀 당 거리 정보가 추출되면, 각 픽셀의 거리 정보가 영상에 표시될 거리의 범위에 포함되는지의 여부를 판단한다(S15). 그리고 해당 픽셀의 거리 정보가 영상에 표시될 거리의 범위에 포함되면 해당 픽셀의 영상을 표시하고(S16), 그렇지 않으면 해당 픽셀 부분에 다른 영상을 합성할 것인지 판단한다(S17). 다른 영상을 합성할 것으로 판단되면, 해당 픽셀에 다른 영상을 합성하여 표시한다(S18). 즉, 픽셀의 거리 정보가 영상에 표시될 거리의 범위에 포함되지 않는 픽셀 부분에 다른 영상을 표시하는 것이다. 픽셀의 거리 정보가 영상에 표시될 거리의 범위에 포함되지 않으면서 해당 픽셀에 다른 영상을 합성할 것으로 판단되지 않으면, 해당 픽셀 부분에 어떠한 영상도 표시하지 않는다(S19). 이를 정리하면, 각 픽셀 당 거리 정보를 추출하여 영상에 표시될 거리의 범위에 포함되지 않을 경우 촬영된 대상을 영상에서 제거하고, 경우에 따라 제거된 영상 부분에 다른 영상을 합성하여 표시하는 것이다. 상술한 과정 S15 내지 S19에 대한 일 예를 프로그램으로 표현하면 다음과 같다.

for (x=0; x<=1152(영상의 가로 픽셀 수); x++)

{

for(y=0; y<=864(영상의 세로 픽셀 수); y++)

{

if( d(x.y)>=Disp_L && d(x,y)<=Disp_H )

{

SetPixel(x,y,image_from_camera(x,y));

}

else

{

SetPixel(x,y,image_from_userdefine(x,y);

}

}

}

여기서 변수는 다음과 같다.

x : 영상에서 x축 방향의 픽셀 위치.

y : 영상에서 y축 방향의 픽셀 위치.

d(x, y) : 좌표 (x, y) 위치에 있는 픽셀의 양안차.

Disp_L : 영상에 나타낼 거리 값 중 최소 거리의 양안차.

Disp_H : 영상에 나타낼 거리 값 중 최대 거리의 양안차.

즉, 상기 프로그램에 의해 영상에 표시되는 거리의 범위(DP)는 Disp_L ≤ DP ≤ Disp_H 이다. 그리고 Disp_L 와 Disp_H 은 영상에 나타낼 대상의 거리 정보만 있다면 수학식 2에 의해 쉽게 계산된다. SetPixel(x,y,image_from_camera(x,y))는 해당 좌표가 DP 내에 있을 경우 카메라에 의해 촬영된 영상을 그대로 나타내는 함수이고, SetPixel(x,y,image_from_userdefine(x,y)는 해당 좌표가 DP 내에 없을 경우 촬영된 영상을 대체하도록 미리 설정된 영상을 나타내는 함수이다.

한편, 일정 거리의 대상을 영상에서 제거하고 영상이 제거된 부분을 다른 영상으로 합성하는데 있어서, 제거될 대상의 거리 설정과 합성될 영상의 설정은 기본값으로 미리 설정되거나 사용자에 의해 설정될 수 있다. 또는 기본값으로 설정된 것을 사용자가 필요에 따라 변경하여 사용할 수도 있다.

예를 들면, 화상 통화 시 이동 전화기를 들고 화상 통화를 하는 사용자는 일반적으로 이동 전화기로부터 대략 15cm~1m 정도의 거리를 두고 화상 통화를 시도한다. 그러므로 두 대의 카메라로부터 양안차를 구하여 이를 거리로 환산하였을 때 15cm~1m 사이의 거리 값을 기본값으로 설정한다. 그리고 촬영된 영상에 대하여 픽셀의 거리 값이 기본값에 해당하면 해당 픽셀은 화면에 나타내고, 나머지 픽셀은 제거하여 이 부분에 기본값으로 설정된 영상이나 사용자가 설정한 영상을 합성하여 화면에 나타낸다.

그리고 사용자가 합성될 영상을 설정할 때에는 화상 통화 이전에 카메라의 미리 보기(Preview) 기능을 통해 일정 거리의 영상이 제거된 화면을 미리 확인하면서 영상에 나타내는 거리 범위를 수동으로 조절할 수 있다. 이때 사용자는 거리 범위를 cm 단위 또는 m 단위로 직접 입력할 수 있고, 이 값은 수학식 2에 의해 양안차 값으로 변환되어 상기 프로그램의 Disp_L 값과 Disp_H 값으로 설정된다.

또는 화면에 거리 범위를 설정하는 부분을 프로그레스 바(Progress Bar) 형태로 구성하여, 사용자가 미리 보기를 통해 제거될 영상의 범위를 눈으로 직접 확인하면서 프로그레스 바를 이용하여 조절할 수도 있다. 이때 Disp_L 값과 Disp_H 값은 프로그레스 바에 맞추어 자동 설정된다. 예를 들어, 화상 통화 시 사무실에서 자신의 모습만 전송하던 사용자가 사무실의 모습까지 전송하되 창 밖으로 보이는 배경은 전송하고 싶지 않다면 통화 중에 프로그레스 바를 이용하여 거리 범위를 조절하여 사무실의 모습까지만 보이도록 설정할 수 있다. 이때 창 밖 배경을 유럽이나 북극 등 다른 영상으로 바꾸어 전송할 수도 있다. 이렇게 거리 범위를 실시간으 로 조절해 가면서 영상을 제거하고 합성하는 것은 종래의 하나의 카메라로 패턴을 인식하는 방법으로는 수행할 수 없다.

도 4는 프로그레스 바를 이용하여 사용자가 배경을 제거하고 제거된 배경에 다른 영상을 합성한 예를 나타낸다.

a는 화면에 나타낼 거리를 멀리 하여 사용자와 배경이 모두 보이는 화면이고, b는 사용자가 프로그레스 바를 이용하여 화면에 나타낼 거리를 좀더 가까이 조절함으로써 사용자만 보이도록 하고 배경은 제거되도록 한 화면이다. c는 사용자만 보이도록 조절된 거리 상태에서 제거된 배경 부분에 다른 배경을 합성한 화면이다.

한편, 화면에 표시되는 화면은 두 대의 카메라 중 하나의 카메라에서 촬영된 영상인 것이 바람직하다. 물론 두 카메라에는 양안차가 존재하여 각 카메라로부터 촬영 대상까지의 거리는 오차가 발생한다. 그러나 본 발명에서 사용하는 거리 정보는 각 카메라로부터 촬영 대상까지의 거리 정보가 아니라, 두 카메라의 중심에서부터 촬영 대상까지의 거리 정보이므로 상기 오차는 문제가 되지 않는다.

도 5는 본 발명에 따라 상술한 바와 같이 거리 정보를 이용하여 영상을 처리하는 장치의 일 실시 예를 나타낸다.

도시된 바와 같이 본 발명에 따른 영상 처리 장치는 제 1 카메라(51), 제 2 카메라(52), 픽셀 맵핑부(53), 거리 정보 추출부(54), 및 영상 합성부(55)를 구비한다.

제 1 카메라(51)와 제 2 카메라(52)는 일정한 거리차를 두고 설치된다. 제 1 카메라(51)에서 촬영된 제 1 영상과 제 2 카메라(52)에서 촬영된 제 2 영상은 픽셀 맵핑부(53)에 저장된다. 제 1 영상과 제 2 영상은 동일한 시각에 동일한 대상을 촬영한 동일한 크기의 영상인 것이 바람직하며, 양안차를 얻기 위하여 제 1 카메라(51)와 제 2 카메라(52)는 에피폴라 라인을 일치시켜 좌우 대칭이 되도록 설치하는 것이 바람직하다.

픽셀 맵핑부(53)는 제 1 영상과 제 2 영상에서 동일한 대상에 대하여 대응되는 픽셀을 찾아 맵핑한다. 대응되는 픽셀을 맵핑한다는 것은 제 1 영상과 제 2 영상에서 동일한 좌표의 픽셀을 맵핑한다는 것이 아니라, 동일한 대상에 대하여 동일한 모양과 위치에 해당하는 픽셀을 각각 제 1 영상과 제 2 영상에서 찾는다는 것이다. 대응되는 픽셀의 맵핑은 제 1 영상과 제 2 영상을 먼저 버퍼에 넣어두고 서브블록 단위로 상관(Correlation) 값을 구하여 대응되는 픽셀을 찾음으로써 수행된다.

거리 정보 추출부(54)는 픽셀 맵핑부(53)에서 맵핑된 대응되는 픽셀 정보를 이용하여 제 1 영상과 제 2 영상의 양안차를 계산하고 이를 이용하여 촬영된 대상까지의 거리를 계산한다. 여기서 양안차와 거리 정보의 계산은 상술한 바와 같다.

거리 정보 추출부(54)에서 각 픽셀 당 거리 정보가 추출되면, 영상 합성부(55)는 추출된 거리 정보를 이용하여 제거 대상을 영상에서 제거한다. 그리고 경우에 따라 제거된 영상 부분에 다른 영상을 합성한다. 영상 합성부(55)가 일정 거리의 대상을 영상에서 제거하고 영상이 제거된 부분을 다른 영상으로 합성하는데 있어서, 제거될 대상의 거리 설정과 합성될 영상의 설정은 기본값으로 미리 설정되거나 사용자에 의해 설정될 수 있다. 또는 기본값으로 설정된 것을 사용자가 필요에 따라 변경하여 사용할 수도 있다.

화면에 표시되는 화면은 두 대의 카메라 중 하나의 카메라에서 촬영된 영상이다. 물론 두 카메라에는 양안차가 존재하여 각 카메라에서 촬영 대상까지의 거리는 오차가 발생한다. 그러나 본 발명에서 사용하는 거리 정보는 각 카메라로부터 촬영 대상까지의 거리 정보가 아니라, 두 카메라의 중심에서부터 촬영 대상까지의 거리 정보이므로 상기 오차는 문제가 되지 않는다.

이상, 상술한 바와 같은 본 발명은 주로 화상 통신을 할 수 있는 이동 전화기에 적합하다. 이는 사용자가 주로 이동 전화기를 손으로 들고 사용하는데다 이동 전화기에 설치되는 일반적인 카메라의 사양으로 인해 촬영되는 영상의 거리가 제한적이기 때문이다. 이와 비슷하게 본 발명은 PC를 이용한 화상 통신에도 적합하다. PC를 이용한 화상 통신은 사용자가 주로 PC에 설치된 카메라 앞에 앉아 마이크 사용과 함께 이루어지므로, 거리에 변동이 적고 제한적이기 때문이다. 한편, 본 발명은 캠코더(Camcorder)나 방송용 카메라 등을 이용한 동영상 촬영, 정지영상을 찍는 디지털 카메라 등 영상을 촬영하는 장치에는 모두 적용될 수 있다.

본 발명은 상술한 바와 같이 두 대의 카메라를 이용하여 추출한 거리 정보를 통해 일정 거리의 영상을 제거하면, 픽셀 값의 변화나 색의 유사성과 상관없이 정확하게 영상에 표시할 대상만을 추출할 수 있다. 그리고 계산량이 적어 실시간으로 영상을 제거하거나 합성할 수 있다.

Claims (11)

1. 두 대의 카메라를 이용하여 각각 영상을 촬영하고, 상기 각 영상에 대한 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하고, 추출된 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 처리하는 것을 특징으로 하는 영상 처리 방법.
2. 제 1항에 있어서,

   상기 두 대의 카메라를 이용하여 각각 영상을 촬영하는 과정;

   상기 각 영상에 대해 동일한 대상의 대응 픽셀을 맵핑하는 과정;

   상기 대응 픽셀에 대한 상기 각 영상 간의 위치 차로서 상기 양안차를 계산하는 과정;

   상기 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하는 과정;

   상기 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 제거하는 과정; 및

   상기 제거된 영상을 다른 영상으로 합성하는 과정을 포함하는 것을 특징으로 하는 영상 처리 방법.
3. 제 2항에 있어서,

   상기 두 카메라는 일정 간격으로 떨어져 에피폴라 라인이 일치되도록 설치된 것을 특징으로 하는 영상 처리 방법.
4. 제 3항에 있어서,

   상기 두 영상은 동일한 시각에 동일한 대상을 촬영한 동일한 크기의 영상인 것을 특징으로 하는 영상 처리 방법.
5. 제 4항에 있어서,

   상기 맵핑 과정은, 상기 두 영상에 대하여 서브 블록 단위로 상관 값을 비교하여 수행되는 것을 특징으로 하는 영상 처리 방법.
6. 제 5항에 있어서,

   상기 촬영 대상까지의 거리 정보는, 상기 두 카메라에 대한 중심 사이의 거리 정보와 상기 각 카메라의 포커스 길이 정보 및 상기 양안차 정보를 이용하여 계산되는 것을 특징으로 하는 영상 처리 방법.
7. 각각 영상을 촬영하는 두 대의 카메라;

   상기 두 카메라로부터 촬영된 각각의 영상에 대해 동일한 대상의 대응 픽셀을 맵핑하는 픽셀 맵핑부;

   상기 대응 픽셀에 대한 상기 각 영상 간의 위치 차로서 상기 각 영상에 대한 양안차를 계산하고, 상기 양안차를 이용하여 촬영 대상까지의 거리 정보를 추출하는 거리 정보 추출부; 및

   상기 거리 정보를 이용하여 일정 거리에 존재하는 촬영 대상의 영상을 처리하는 영상 합성부를 구비하는 것을 특징으로 하는 영상 처리 장치.
8. 제 7항에 있어서,

   상기 두 카메라는 일정 간격으로 떨어져 에피폴라 라인이 일치되도록 설치된 것을 특징으로 하는 영상 처리 장치.
9. 제 8항에 있어서,

   상기 두 카메라는 동일한 시각에 동일한 대상을 동일한 크기의 영상으로 촬영하는 것을 특징으로 하는 영상 처리 장치.
10. 제 9항에 있어서,

    상기 픽셀 맵핑부는, 상기 두 영상에 대하여 서브 블록 단위로 상관 값을 비교하여 상기 대응 픽셀을 맵핑하는 것을 특징으로 하는 영상 처리 장치.
11. 제 10항에 있어서,

    상기 거리 정보 추출부는, 상기 두 카메라에 대한 중심 사이의 거리 정보와 상기 각 카메라의 포커스 길이 정보 및 상기 양안차 정보를 이용하여 상기 촬영 대상까지의 거리 정보를 계산하는 것을 특징으로 하는 영상 처리 장치.

Images