KR20050041640A

KR20050041640A - 영상 촬영 장치 및 방법

Info

Publication number: KR20050041640A
Application number: KR1020030076877A
Authority: KR
Inventors: 최광철
Original assignee: 삼성전자주식회사
Priority date: 2003-10-31
Filing date: 2003-10-31
Publication date: 2005-05-04
Also published as: US20050128323A1

Abstract

본 발명은, 초첨 거리가 다른 영상들을 합성하여 초첨을 맞추기 위한 영상촬영 장치에 있어서, 상기 서로 다른 거리에 초점이 있는 영상들을 촬영하는 적어도 하나 이상의 렌즈와, 상기 촬영된 영상들을 화면상의 일정 영역으로 나누고, 상기 촬영된 영상들의 각각 화면상 동일 위치에 있는 영역 중에서 초점이 맞는 영역을 표시하고, 상기 초점이 잘 맞는 영역으로 합성된 최종 합성 영상을 출력하는 영상 합성 처리부를 포함하는 것을 특징으로 한다. 이로 인해 영상처리 기법을 적용함으로써 원거리와 근거리까지 모두 초점이 맞고, 왜곡이 없이 자연스럽고 정밀한 영상을 표현할 수 있는 효과가 있다.

Description

영상 촬영 장치 및 방법{Image photographing device and method}

본 발명은 영상촬영 장치 및 방법에 관한 것으로서, 특히 휴대형 통신 단말기에 사용되는 디지털 카메라에서 초첨 거리가 다른 영상을 합성하여 초점을 맞추기 위한 영상촬영 장치 및 방법에 관한 것이다.

디지털 카메라 및 캠코더 등은 초점을 맞추기 위해 자동초점 조절(auto focus, 이하 AF) 장치가 사용되는데 주로 모터를 사용하여 렌즈의 위치를 조절하는 방법을 사용한다.

도 1은 일반적인 자동 초점 장치를 포함하는 카메라의 영상촬영 장치의 구조을 도시한 도면이다.

도 1을 참조하면, 일반적인 카메라 또는 켐코더 등의 종래의 영상촬영 장치는 렌즈(11)와 CCD 촬영기(12)를 통해 입력된 영상 데이터를 디지털 변환하는 디지털 변환장치(13)와, 디지털 변환된 디지털 영상 데이터를 영상 압축등의 처리를 하는 DSP 프로세서(20)를 구비하고 있다. 그리고 상기 종래의 영상촬영 장치는 초점 스텝 모터(15)를 구비하여 AF 기능을 수행하며, 상기 초점 스텝 모터(15)는 모터 드라이버 칩(Motor drive IC)(16)를 통해 마이콤(micom)(30)으로부터 의 화상 정보를 입력 받아 조정된다.

AF 기능이 있는 카메라는 이미지(IMAGE)의 변화가 있을 때 혹은 줌(ZOOM) 기능 수행 시 피사체와의 거리를 스스로 감지하여 초점 스텝 모터(focus step motor)를 이용함으로써 최적의 초점상태를 유지하게 한다. 이러한 최적의 초점상태를 유지하기 위해 AF 기능이 있는 카메라는 후술되는 방법들을 이용한다.

첫 번째 방법은 초음파나 적외선을 피사체에 쏜 후, 피사체로부터 반사되어 되돌아오는 신호를 이용하여 카메라와 피사체 사이의 거리를 계산함으로써 초점을 맞추는 방법이다. 그러나 이러한 방법은 초점조절 거리에 제한이 있고 거리 측정의 정밀도가 떨어지며 거리 측정을 위한 부가장치가 있어야 한다.

두 번째 방법은 씨씨디(Charge-Coupled Device, 이하 CCD라 함) 등 영상 입력 장치로부터 얻은 영상의 특성을 분석하여 그 결과를 이용하는 방법이다. 즉, 초점이 맞지 않으면 영상의 고주파 성분이 사라지는 흐림(blurring)현상이 발생하는 특징을 이용하여 렌즈의 위치를 조정하여 초점을 두고자 하는 화면상의 위치(주로 중앙)에 고주파 성분이 많이 나타날 때의 렌즈 위치를 초점이 맞는 위치로 결정하는 방법이다. 이러한 방법은 전동 모터와 다수의 렌즈를 사용한 정밀 카메라에 많이 사용되는 기술이다.

한편, 소형 카메라와 같은 경우에는 큰 부피를 차지하는 모터를 사용하기 어려우므로 모터를 이용한 AF 기능을 수행할 수 없다. 따라서 소형 카메라는 앞에서부터 뒤 배경까지 초점이 맞는 것처럼 보이는 광각렌즈 또는 조리개를 좁게 고정하는 방법을 사용한다. 즉, 소형 카메라는 피사계 심도를 깊게 고정하고 거리 조절을 하지 않는다. 여기서 초점이 맞는 범위의 크기를 피사계 심도라고 하며, 피사계 심도가 얕으면, 초점이 맞는 범위가 좁아지고, 피사계 심도가 깊으면, 초점이 맞는 범위가 넓어진다. 이러한 심도의 정도는 조리개의 개폐 정도와 렌즈의 특성에 따라 결정되며, 조리개가 많이 열릴수록 피사계 심도는 얕아진다. 그리고 피사계 심도는 같은 밝기의 피사체라면 조리개를 큰 구경으로 열어 주면 셔터속도는 빠르게 되고, 조리개를 작은 구경으로 좁히면 셔터속도는 느리게 되므로 이러한 상호 관계로서 일정한 노출을 줄 수 있게 된다. 이밖에 렌즈의 촛점거리가 길수록(망원 렌즈) 심도는 얕아지고, 짧을수록(광각렌즈) 심도는 깊어지며, 초점을 맞춘 곳에서는 앞쪽보다 뒤쪽으로 심도가 더 깊어진다.

일반적으로 카메라 렌즈는 깊이가 있는 3차원의 입체물을 평면인 필름위에 화상을 맺게 한다. 따라서 원거리 배경과 근거리 피사체로 이루어진 일반적인 영상을 촬영하고자 할 때 근거리 피사체와 원거리 배경을 동시에 선명하게 보이기 위해서는 심도가 깊은 광각 렌즈를 사용하거나 조리개를 좁게 해야 한다. 그러나 광각 렌즈를 사용하면 화상의 왜곡이 발생하며, 배경이 더 멀리 보여 실제와 다르게 보이며 근거리 피사체일수록 왜곡이 심해져서 1m이내의 피사체에 대해서는 초점을 맞추기가 어려우며 좁은 조리개는 노출을 줄이므로 셔터 속도를 줄여야 하고 따라서 화상의 명료도를 떨어뜨린다.

한편, 셀룰라 폰 및 PCS 등과 같은 휴대폰은 음성, 데이터 및 동영상 등의 서비스를 위한 형태로 발전되어 왔었다. 그러나 최근 휴대폰은 이러한 전통적인 통신 서비스 기능을 벗어나, 여러 가지 다른 용도로 사용될 수 있는 형태로 발전되고 있다.

이와 같이, 휴대폰에 카메라를 장착하기 위해서는 복잡한 렌즈와 모터의 기구적 특성으로 인해 구조가 복잡해지는 것을 방지하기 위해 일반적으로 AF기능이 없이 사용하는 경우가 대부분이다. 이러한 카메라가 장착된 휴대폰(이하, 카메라 이라 함)은 급속도록 발전되는 추세이며, 영상 센서의 해상도는 증가하고 있으나 AF 기능이 없기 때문에 화질의 향상에는 한계가 있다. AF기능을 추가하는 것도 카메라 폰의 경우와 같은 소형기기에는 부피를 많이 차지하므로 구현하는데 어려움이 있다. 따라서 종래의 AF 기능을 사용하지 않으면서 원거리부터 근거리까지 모두 초점을 맞추면서 왜곡이 없는 영상을 촬영할 수 있는 기능이 필요하게 되었다.

따라서, 본 발명의 목적은 원거리에서 근거리까지 모두 초점이 맞고, 왜곡이 없이 자연스럽고 정밀한 영상을 표현하는 영상촬영 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 카메라 폰에서 초첨 거리가 서로 다른 영상들을 영상처리 기법을 적용하여 합성하는 영상촬영 장치 및 방법 를 제공함에 있다.

본 발명의 또 다른 목적은 카메라 폰에서 광각렌즈를 사용하지 않고 표준 렌즈를 사용하여 영상의 왜곡이 발생하지 않게 하면서 정밀한 초점을 맞추는 영상촬영 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 피사체의 영역으로 구분된 영상을 다른 배경 영상으로 바꾸어서 영상을 재구성하는 영상촬영 장치 및 방법을 제공함에 있다.

상기 이러한 본 발명의 목적들을 달성하기 위한 장치는, 초첨 거리가 다른 영상들을 합성하여 초첨을 맞추기 위한 영상촬영 장치로서, 상기 서로 다른 거리에 초점이 있는 영상들을 촬영하는 적어도 하나 이상의 렌즈와, 상기 촬영된 영상들을 화면상의 일정 영역으로 나누고, 상기 촬영된 영상들의 각각 화면상 동일 위치에 있는 영역 중에서 초점이 맞는 영역을 표시하고, 상기 초점이 잘 맞는 영역으로 합성된 최종 합성 영상을 출력하는 영상 합성 처리부를 포함하는 것을 특징으로 한다.

그리고 상기 본 발명의 목적들을 달성하기 위한 방법은, 초첨 거리가 다른 영상들을 합성하여 초점을 맞추기 위한 영상촬영 방법으로서, 상기 초점 거리가 다른 영상을 각각 촬영하는 과정과, 상기 촬영된 영상들을 각각 화면상의 일정한 영역으로 나누는 과정과, 상기 영역으로 나누어진 각각의 영상에서 초점이 맞는 영역을 표시하는 과정과, 상기 각각의 영상에서 상기 초점이 맞는 영역을 표시한 영상을 합성하여 최종 합성 영상을 출력하는 과정을 특징으로 한다.

또한, 상기 본 발명의 목적들을 달성하기 위한 다른 방법은, 초첨 거리가 다른 영상들을 합성하여 초첨을 맞추기 위한 영상촬영 방법으로서, 상기 초점 거리가 다른 영상을 시간차를 두고 촬영하는 과정과, 상기 촬영된 영상들을 각각 화면상의 일정 영역으로 나누는 과정과, 상기 영역으로 나누어진 각각의 영상에서 초점이 맞는 영역을 표시하는 과정과, 상기 각각의 영상에서 상기 초점이 맞는 영역을 표시한 영상을 합성하여 최종 합성 영상을 출력하는 과정을 특징으로 한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

후술되는 본 발명은 본 발명은 AF기능을 구현하지 않고 원거리와 근거리 피사체를 촬영한 다수의 영상을 이용하여 원거리와 근거리 모두에 초점이 맞은 것처럼 보이면서 왜곡이 발생하지 않는 방법에 대해 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 카메라의 영상촬영 장치의 구조를 도시한 도면이다.

도 2를 참조하면, 영상촬영 장치는 렌즈의 초점을 조절하는 AF 기능이 없으므로 원거리에 초점을 두어 배경을 촬영하는 제1렌즈(101)와, 근거리에 초점을 두어 피사체를 제2렌즈(102)와, 촬영된 초점 거리가 다른 두 영상을 합성하는 영상 합성 처리부(200)를 구비한다.

상기 영상촬영 장치는 상기 제1렌즈(101) 및 상기 제2렌즈(102)를 통해 동시에 두 장의 영상을 촬영하여 상기 제1렌즈(101)를 통해 촬영된 배경영상(111) 및 상기 제2렌즈(102)를 통해 촬영된 피사체영상(112)을 각각 저장한다. 상기 저장된 배경영상(111) 및 피사체영상(112)은 상기 영상 합성 처리부(200)에 의해 초점이 맞는 최종 합성영상(113)으로 합성된다. 그리고 상기 제1렌즈(101) 및 제2렌즈(102), 초점거리 및 조리개는 초기에 선택되어 고정되어야 한다. 이때 조리개 크기, 촬영거리, 초점거리 등에 따라 피사계 심도는 달라지므로 이들의 특성치는 적절한 심도 및 초점위치에 따라 적당하게 고정되어야 한다. 이러한 초점 거리가 다른 두 영상을 합성하는 상기 영상 합성 처리부(200)의 구조를 도면을 참조하여 구체적으로 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 카메라 폰에서 영상 합성부의 구조를 구체적으로 도시한 도면이다.

도 3을 참조하면, 영상 합성 처리부(200)는 고주파 성분들을 검출하여 블록 매트릭스를 정하는 블록 매트릭스부(210)와, 상기 블록 매트릭스에서 미리 설정된 값만을 필터링하여 최종 블록 매트릭스를 출력하는 필터부(220)와, 최종 블록 매트릭스를 배경영상(112)의 피사체 블록 영역에 대치시켜 합성하는 영상 합성기(230)를 구비한다.

블록 매트릭스부(210)는 배경영상(111) 및 피사체영상(112)의 블록을 분할하는 블록 분할기(211)와, 분할된 블록들을 주파수 변환하는 주파수 변환기(212)와, 주파수로 변환된 블록에서 고주파 성분만을 검출하는 고주파 검출기(213)와, 블록 매트릭스를 초기화하여 매트릭스를 결정하는 초기 블록 매트릭스 결정기(214)로 구성된다.

상기 필터부(220)는 다수의 필터들(221, 222, 223)로 구성되며, 고주파 성분에 따라 선택된 매트릭스의 블록들을 다단계 필터링하여 근거리에 초점이 있는 피사체영상(112)의 피사체 형상과 유사한 모양을 갖는 최종 블록 매트릭스를 출력한다.

상기 영상 합성기(230)는 최종 블록 매트릭스 즉, 피사체 영상(112)을 배경 영상(111)에 합성시키고, 경계부분에서 나타나는 영상의 단절을 막기 위해 배경 영상(111)과 피사체영상(112)를 중첩시킨다.

이와 같은 구성을 가지는 영상촬영 장치에서 초점거리가 다른 두개의 영상으로부터 전체 화면이 모두 선명한 화상 즉, 최종 합성 영상을 출력하는 영상촬영 방법에 대해 첨부된 도면들을 참조하여 설명하기로 한다.

상기 영상촬영 장치는 원거리에 고정된 초첨을 두는 제1렌즈(101) 및 근거리에 고정된 초점을 두는 제2렌즈(102)를 통해 동시에 배경영상(111)과 피사체영상(112)을 촬영한다. 이렇게 촬영된 상기 배경영상(111) 및 피사체 영상(112)은 블록 매트릭스부(210)에 의해 블록 단위로 분할되어 주파수 성분으로 변환된다. 이러한 주파수 변한(Discrete Cosine Transform, 이하 DCT라 함) 과정의 일예는 도 4에 도시된 바와 같다.

도 4를 참조하면, 첫 번째 블록은 입력된 배경영상(111) 및 피사체영상(112)을 블록 분할기(211)를 통해 영상 데이터 블록(401)으로 분할한 블록이다. 상기 영상 데이터 블록(401)의 크기는 임의로 정의할 수 있으며, 일반적으로 8×8 픽셀(Pixel) 또는 16ㅧ 16 픽셀을 사용한다. 이러한 영상 데이터 블록(401)은 두 영상의 화면 위치상의 동일 블록들을 비교하여 어느 쪽이 더 초점이 잘 맞았는지를 확인해야 한다. 이를 위해 모의실험을 통해 고주파 성분이 많은 쪽 블록을 선택하는 방법을 이용한다. 이러한 블록 비교를 위해 상기 방법 외에 여러 가지 다른 방법을 적용할 수 있다.

상기 영상 데이터 블록(401)의 각 블록은 주파수 변환기(212)를 통해 주파수 성분으로 변환되어 DCT 변환 블록(402)이 된다. 이후, DCT 변환 블록(402)은 고주파 검출기(213)를 통해 고주파 성분 영역만이 검출되는 고주파 성분 블록(403)이 된다. 블록의 크기가 8ㅧ 8 픽셀의 경우 수평 수직 방향으로 고주파 성분의 합을 더하여 그 합이 많은 쪽의 블록을 더 초점이 맞는 것으로 선택한다. 상기 주파수 변환을 하는 주파수 변환기(212)는 별도로 구비하지 않고, 기존 장치에 영상 압축을 위해 탑재된 DCT 장치를 그대로 사용할 수도 있다.

이와 같이 고주파 성분 영역만이 검출된 고주파 성분 블록(403)은 초기 블록 매트릭스 생성기(214)에 의해 매트릭스 값이 결정된다. 이러한 매트릭스 값 결정은 도 5에 도시된 바와 같다.

블록이 선택되면, 블록 매트릭스는 초기화되며, 초기화된 블록 매트릭스는 도 5에 도시된 바와 같이, 행(i)과 열(j)의 수가 배경영상(111)과 피사체영상(112)의 행과 열 방향 블록 수와 같으며, 매트릭스 값f(i, j)는 해당 블록에서 배경영상(111)이 초점이 잘 맞으면, "1"로 표시하고, 그렇지 않으면, "0"으로 표시한다. 이렇게 결정된 초기 블록 매트릭스에서 "1"인 블록만을 표시한다. 이러한 "1"인 블록은 도 7a와 같다.

이와 같이 결정된 초기 블록 매트릭스는 필터부(320)로 입력된다. 그러면 필터부(220)는 입력된 블록 매트릭스를 필터링한다. 이러한 필터링 과정을 설명하기 위해 도 6a 내지 도 6b에 도시된 바와 같이, 움직임이 없는 화상을 촬영한 영상들을 예를 들어 설명하기로 한다. 그리고 상기 도 6a 내지 도 6b에 도시된 바와 같은 배경 영상 및 피사체 영상을 상술한 블록 매트릭스 과정을 거쳐 "1"블록의 집합만을 표시한 영상을 나타내면 도 7b와 같다.

상기 필터부(210)로 입력된 "1"블록의 집합은 필터(221)를 통해 1차 필터링한다. 상기 필터(221)는 입력된 블록 매트릭스의 블록 위치(i,j)에 인접한 원소 값이 "1"인 블록이 임의의 정해진 수, 예를 들어 5개 이상일 경우, 해당 블록(i,j)의 원소 값을 1로 치환하고 그렇지 않은 경우 0으로 치환한다. 이렇게 치환된 블록 및 영상은 도 8a 및 도 8b와 같다. 이러한 필터링 과정은 여러 번, 예를 들어 3회 반복될 수 있으며, 다음 필터들(222, 223)도 상기 필터(221)와 동일한 동작을 수행하여 필터링된 최종 블록 매트릭스를 출력한다. 이에 따라 근거리 피사체의 형상과 유사한 모양을 갖는 최종 블록 매트릭스를 계산할 수 있다.

그러면 영상 합성기(230)는 배경영상(111) 위의 블록 매트릭스의 원소가 1인 블록에 상기 피사체영상(112) 위의 상기 블록인 상기 최종 블록 매트릭스을 대치시킨다. 이러한 영상 대치에 의해 배경영상과 피사체 영상 사이에 화상의 단절이 생기게 된다. 이를 보정하기 위해 영상 합성기(230)는 배경영상과 피사체 영상을 중첩시킨다. 이러한 중첩 과정은 도 9에 도시된 바와 같으며, 중첩된 부분에서 경계면을 기준으로 배경영상(111)에 가까울수록 배경 영상이 많은 영역을 차지하도록 중첩시킨다. 이를 수학식으로 표현하면 하기 <수학식 1>과 같다.

중첩되는 부분의 픽셀값 = 제1픽셀값×(1-a) + 제2픽셀값×a

여기서 제1픽셀값은 배경영상의 픽셀값이고, 제2픽셀값은 피사체 영상의 픽셀값을 나타낸다. a는 중첩되는 영상의 시작점으로부터 끝나는 부분까지의 거리를 1로 했을 때 시작점으로부터 중첩된 영상을 구하고자하는 화소(pixel)까지의 거리를 나타낸다. 이렇게 중첩 과정을 통해 영상 합성기(230)는 도 10에 도시된 바와 같은 최종 합성 영상을 출력한다.

상술한 바와 같은 본 발명의 제1실시예에서는 영상촬영 장치의 렌즈를 고정된 다수의 렌즈로 구성하여 동시에 배경영상 및 피사체 영상을 촬영하여 영상들을 합성함을 설명하였으나, 본 발명의 제2실시예에서는 영상촬영 장치의 렌즈를 조절이 가능한 하나의 렌즈로 구성하여 시간차를 두고 촬영된 영상들을 합성하는 장치 및 동작에 대해 설명하기로 한다.

도 11은 본 발명의 제2실시예에 따른 카메라 폰의 영상촬영 장치의 구조를 도시한 도면이다.

도 11을 참조하면, 영상촬영 장치는 조절이 가능한 렌즈(101)와, 시간차를 두고 상기 렌즈(101)로부터 출력된 배경영상(111)과 피사체 영상(112)을 합성하여 최종 합성된 영상(113)을 출력하는 영상 합성 처리부(300)로 구성되어 있다. 그리고 영상촬영 장치는 하나의 상기 렌즈(101)만이 구비됨에 따라 초검 거리가 다른 영상들을 시간차를 두고 촬영하기 위해 초점 거리를 조절하는 조절기(120) 구비한다.

여기서 상기 렌즈(101)는 광각렌즈를 사용함에 따라 발생되는 왜곡에 대한 문제를 해결하기 위해 표준렌즈를 적용한다.

상기 영상 합성부(300)는 상기 도 3에 도시된 제1실시예의 영상 합성부(300)와 동일한 구성 및 기능을 수행한다.

그런데, 본 발명의 제1실시예에서는 각각 다른 초점을 가지는 고정된 다수의 렌즈를 통해 동시에 배경 영상 및 피사체 영상이 촬영되므로 시간차가 발생하지 않으나, 본 발명의 제2실시예에서는 조절 가능한 렌즈를 사용하므로 시간차를 두고 영상이 촬영된다. 이에 따라 상기 영상 합성부(400)에는 시간차로 인한 오류를 보정하기 위한 보정부(410)가 더 추가된다. 이러한 영상 합성부(400)에 대해 첨부된 도면을 참조하여 보다 상세히 설명하면 다음과 같다.

도 12는 본 발명의 제2실시예에 따른 영상 합성부의 구조를 도시한 도면이다.

도 12를 참조하면, 영상 합성 처리부(300)는 고주파 성분들을 검출하여 블록 매트릭스를 정하는 블록 매트릭스부(210)와, 상기 블록 매트릭스에서 미리 설정된 값만을 필터링하는 필터부(220)와, 필터링된 블록을 확장하여 오류를 보정하는 보정부(310)와, 최종 보정된 고주파 성분 블록 즉, 배경영상(111)과 피사체영상(112)을 합성하는 영상 합성기(230)를 구비한다.

상기 필터부(220)는 다수의 필터들(221, 222, 223)로 구성되며, 고주파 성분에 따라 선택된 매트릭스의 블록들을 다단계 필터링하여 근거리의 피사체영상(112)의 피사체 형상과 유사한 모양을 갖는 블록 매트릭스로 출력한다.

상기 보정부(310)는 상기 다단계의 필터링을 거쳐 출력된 블록 매트릭스를 수신하여 상기 필터링된 블록 매트릭스를 확장하여 영상간의 시간차에 의한 피사체의 움직임을 보정하는 제1블록 확장기(311)와, 확장된 블록의 모서리 부분이 각지는 것을 완화시키는 제2블록 확장기(312)를 구비한다. 그리고 상기 보정부(310)는 상기 제2블록 확장기(312)에 의해 보정된 최종 블록 매트릭스를 생성하여 영상 합성기(230)로 출력하는 최종 블록 매트릭스 생성기(313)를 구비한다.

상기 영상 합성기(230)는 최종 블록 매트릭스를 배경 영상(111)의 피사체 영역에 대치시키고, 경계부분에서 나타나는 영상의 단절을 막기 위해 피사체영상(112)과 배경영상(111)이 대치된 영역을 중첩시킨다.

이와 같은 구성을 가지는 영상촬영 장치에서 시간차를 두고 촬영한 초점거리가 다른 두개의 영상으로부터 전체 화면이 모두 선명한 화상 즉, 최종 영상을 출력하는 영상촬영 방법에 대해 설명하기로 한다.

영상 촬영 장치는 거리 조절이 가능한 렌즈(101)를 통해 거리 조절을 하여 시간차를 두고 원거리에 초점이 있는 배경영상(111) 및 피사체영상(112)을 촬영하여 저장한다. 이렇게 촬영된 배경영상(111) 및 피사체 영상(112)은 도 12a 및 도 12b와 같다.

상기 입력된 배경영상(111) 및 피사체영상(112)은 블록 매트릭스부(210)에 의해 블록 단위로 분할되어 주파수 성분으로 변환된다. 이렇게 DCT 변환과정은 상술한 제1실시예의 DCT 변환 과정과 동일하므로 구체적인 설명은 생략하기로 한다.

DCT 변환된 블록(402)은 고주파 검출기(213)를 통해 고주파 성분 영역만이 검출되는 고주파 성분 블록(403)으로 출력된다. 여기서 고주파 성분 영역 검출은 수평 수직 방향으로 고주파 성분의 합을 더하여 그 합이 많은 쪽의 블록을 더 초점이 맞는 것을 선택한다. 그리고 상기 주파수 변환을 하는 주파수 변환기(212)는 별도로 구비하지 않고, 기존 장치에 영상 압축을 위해 탑재된 DCT 장치를 그대로 사용할 수도 있다. 이와 같이 고주파 성분 영역만이 검출된 고주파 성분 블록(403)은 초기 블록 매트릭스 생성기(214)에 의해 매트릭스 값이 결정된다. 이러한 매트릭스 값 결정은 상기 도 5에 도시된 바와 같으므로 구체적인 설명은 생략하기로 한다.

블록이 선택되면, 블록 매트릭스는 초기화되며, 초기화된 블록 매트릭스에 매트릭스 값 f(i, j)를 계산하여 초기 블록 매트릭스를 결정한다. 즉, 해당 블록에서 배경영상(111)이 초점이 잘 맞으면, "1"로 표시하고, 그렇지 않으면, "0"으로 표시한다. 이렇게 결정된 초기 블록 매트릭스에서 "1"인 블록만을 표시하면, 도 12와 같다.

상기 "1"블록 집합인 블록 매트릭스는 필터부(220)로 입력된다. 그러면 필터부(220)는 입력된 블록 매트릭스를 필터링한다. 즉, 필터(221)는 입력된 블록 매틀릭스의 블록 위치(i,j)에 있어서 그 근방에 원소 값이 "1"인 블록이 임의의 정해진 수, 예를 들어 5개 이상일 경우 해당 블록(i,j)의 원소 값을 1로 치환하고, 그렇지 않은 경우 0으로 치환한다. 이렇게 치환된 블록 및 영상은 도 8a와 도 15a와 같다. 이러한 필터링 과정은 여러 번, 예를 들어 3회 반복될 수 있으며, 다음 필터들(222, 223)도 상기 필터(221)와 동일한 동작을 수행하여 필터링된 블록 매트릭스를 출력한다. 이에 따라 근거리 피사체의 형상과 유사한 모양을 갖는 블록 매트릭스를 계산할 수 있다. 이러한 여러 번의 필터링 과정을 나타내면 도 15b 및 도 15d와 같다.

그런데 배경영상(111) 및 피사체영상(112)을 촬영하는데 있어서 영상간의 시간차이가 발생하므로 피사체의 움직임이 있는 경우에는 두 영상의 피사체의 위치는 서로 어긋나게 된다. 이를 위해 영상 촬영 장치는 보정부(310)를 통해 시간차에 따른 오류를 보정한다. 이러한 보정과정을 첨부된 도면을 참조하여 설명하기로 한다.

도 16a는 본 발명의 제2실시예에 따라 블록 확장된 블록을 도시한 도면이다.

상기 도 16a를 참조하면, 상기 필터부(220)로부터 입력된 블록 매트릭스는 제1블록 확장기(311)를 통해 "1"로 선택된 블록의 인접한 원소를 1로 보정하는 H 블록 확장을 한다. 1로 선택된 블록의 영역 즉, 근거리 피사체로 인식된 영역을 넓혀서 영상의 오류를 보정한다. 이렇게 H확장된 영상은 첨부된 도 16b와 같다.

도 17a 내지 도 17b는 본 발명의 제1실시예에 따라 블록 확장된 블록을 도면이다.

상기 도 17a를 참조하면, H 확장된 블록은 피사체의 모서리 부분이 각지게 된다. 이를 완화하기 위해 제2블록 확장기(312)는 상기 H확장된 블록의 모서리 부분을 1로 치환한다. 즉, 상기 도 16b에 도시된 바와 같이, 블록 매트릭스의 원소가 3개 이상의 "1"로 둘러싸인 "0"인 경우 "1"로 치환한다. 이에 따라 최종 보정된 블록 매트릭스의 원소 "1"의 집합은 근거리 영상의 피사체와 유사한 형태를 가지게 되며, 최종 매트릭스 생성기(313)를 통해 배경영상과 합성할 최종 블록 매트릭스로 출력된다. 이러한 최종 블록 매트릭스의 영상을 나타내면, 첨부된 도 17c와 같다.

그러면 영상 합성기(230)는 배경영상(111) 위의 블록 매트릭스의 원소가 1인 블록에 상기 피사체영상(112) 위의 상기 블록인 상기 최종 블록 매트릭스을 대치시킨다. 이렇게 대치시킨 결과를 나타내면 도 18과 같으며, 도 18에 도시된 바와 같이, 영상 대치에 의해 배경영상과 피사체 영상 사이에 화상의 단절이 생기게 된다. 이를 보정하기 위해 영상 합성기(230)는 배경영상과 피사체 영상을 중첩시킨다. 이러한 중첩 과정은 상기 도 9에 도시된 바와 같으며, 상술한 본 발명의 제1실시 예와 동일하게 적용되므로 구체적인 설명은 생략하기로 한다. 이와 같은 중첩 과정을 거친 최종 합성 영상은 도 19에 도시된 바와 같다.

상술한 본 발명의 실시 예들에서는 실제 배경 영상과 피사체 영상을 합성하여 최종 합성 영상을 출력하였으나, 실제 배경이 이전에 저장되어 있던 다른 배경 영상에 상술한 바와 같은 과정을 통해 상기 피사체 영상의 피사체 영역인 최종 블록 매트릭스를 대치시켜 합성할 수 있다. 이러한 다른 배경에 상기 피사체 영역을 합성한 최종 합성 영상은 도 20에 도시된 바와 같다.

또한, 상기 본 발명의 제1실시 예에서 고정된 렌즈들을 통해 동시에 촬영하므로 영상간의 시간차가 발생하지는 않지만, 다른 요인에 의한 오류가 발생할 수 있으므로 영상 촬영 장치에 상기 본 발명의 제2실시 예서 설명한 보정부를 추가하여 오류를 보정할 수 있다. 반대로, 상기 본 발명의 제2실시 예에서 영상들간에 시간차가 발생하더라도 피사체의 움직임이 근소한 차이를 보인다면 상기 보정 과정을 생략할 수 있다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 발명청구의 범위뿐 만 아니라 이 발명청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이 본 발명은 영상의 왜곡이 발생하지 않게 하면서 정밀한 초점을 맞추기 위한 영상처리 기법을 적용함으로써 원거리와 근거리까지 모두 초점이 맞고, 왜곡이 없이 자연스럽고 정밀한 영상을 표현할 수 있는 효과가 있다.

도 1은 일반적인 자동 초점 장치를 포함하는 카메라의 영상촬영 장치의 구조을 도시한 도면,

도 2는 본 발명의 제1실시예에 따른 카메라 폰의 영상촬영 장치의 구조를 도시한 도면,

도 3은 본 발명의 실시예에 따른 카메라 폰의 영상촬영 장치에서 영상 합성부의 구조를 구체적으로 도시한 도면,

도 4는 본 발명의 실시예들에 따라 영상을 블록으로 나눈 일예를 도시한 도면,

도 5는 본 발명의 실시예들에 따라 블록 매트릭스에 매트릭스 값을 표시하는 동작을 도시한 도면,

도 6a 및 도 6b는 본 발명의 제1실시예에 따라 촬영한 초점 거리가 서로 다른 영상을 각각 도시한 도면,

도 7a 및 도 7b는 본 발명의 제1실시예에 따라 필터를 통과하기 전의 블록 및 영상을 도시한 도면,

도 8a 및 도 8b는 본 발명의 제1실시예에 따라 필터링을 반복한 후의 블록 및 영상을 도시한 도면,

도 9는 본 발명의 실시예들에 따라 경계부분을 중첩시키는 동작을 도시한 도면,

도 10은 본 발명의 제1실시예에 따라 합성된 최종 합성 영상을 도시한 도면,

도 11은 본 발명의 제2실시예에 따른 카메라 폰의 영상촬영 장치의 구조를 도시한 도면,

도 12은 본 발명의 제2실시예에 따른 카메라 폰의 영상촬영 장치에서 영상 합성부의 구조를 구체적으로 도시한 도면,

도 13a 및 도 13c는 본 발명의 제2실시예에 따라 촬영한 초점거리가 서로 다른 영상들을 도시한 도면,

도 14는 본 발명의 제2실시예에 따라 필터를 통과하기 전의 영상을 도시한 도면,

도 15a 내지 도 15d는 본 발명의 제2실시예에 따라 다단계 필터링을 과정을 거친 영상들을 도시한 도면,

도 16a 내지 도 16b는 본 발명의 제2실시예에 따라 블록 확장된 블록 및 영상을 도시한 도면,

도 17a 내지 도 17c는 본 발명의 제1실시예에 따라 블록 확장된 블록을 더 확장한 블록 및 영상을 도시한 도면,

도 18은 본 발명의 제2실시예에 따라 최종 블록 매트릭스를 배경영상에 대치시킨 영상을 도시한 도면,

도 19는 본 발명의 제2실시예에 따라 합성된 영상의 경계부분을 중첩시킨 최종 합성 영상을 도시한 도면,

도 20은 본 발명의 실시예들에 따라 최종 합성된 영상에서 다른 배경으로 바꾼 최종 영상을 도시한 도면.

Claims

초첨 거리가 다른 영상들을 합성하여 초첨을 맞추기 위한 영상촬영 장치에 있어서,

상기 서로 다른 거리에 초점이 있는 영상들을 촬영하는 적어도 하나 이상의 렌즈와,

상기 촬영된 영상들을 화면상의 일정 영역으로 나누고, 상기 촬영된 영상들의 각각 화면상 동일 위치에 있는 영역 중에서 초점이 맞는 영역을 표시하고, 상기 초점이 잘 맞는 영역으로 합성된 최종 합성 영상을 출력하는 영상 합성 처리부를 포함하는 것을 특징으로 하는 상기 장치.
제1항에 있어서,

상기 초기 블록 매트릭스를 필터링함은 소정의 횟수만큼 반복 수행함을 특징으로 하는 상기 장치.
제1항에 있어서, 상기 영상 합성 처리부는,

상기 영상들을 상기 일정 영역으로 나눠서 주파수 변환하고, 고주파 성분의 영역만을 검출하여 상기 초기 블록 매트릭스를 결정하는 블록 매트릭스부와,

상기 초기 블록 매트릭스를 소정의 횟수만큼 반복 필터링하여 필터링된 블록 매트릭스를 출력하는 필터부와,

상기 필터링된 블록 매트릭스를 원거리에 초점이 있는 영상에 대치시켜 초점이 맞는 상기 최종 합성 영상을 출력하는 영상 합성기를 포함하는 것을 특징으로 하는 상기 장치.
제3항에 있어서,

상기 고주파 성분 영역의 검출은 상기 블록의 수평, 수직 방향으로 고주파 성분의 합을 더하여 그 합이 많은 쪽의 블록을 더 초점이 맞는 것으로 선택함을 특징으로 하는 상기 장치.
제3항에 있어서, 블록 매트릭스부는,

상기 영상들을 상기 일정 영역으로 나누는 블록 분할기와,

상기 일정 영역으로 나눠진 각각의 영상을 주파수 성분으로 변환하는 주파수 변환기와,

상기 주파수 변환기에 의해 주파수 성분으로 변환된 각각의 영상의 동 위치상의 영역을 비교하여 고주파 성분의 영역만을 검출하는 고주파 검출기와,

상기 고주파 성분의 영역만으로 검출된 영역들을 원거리 영상과 근거리 영상에 따라 미리 설정된 블록값으로 설정하고, 상기 영상들 중 고주파 성분 영역이 더 많은 영상을 선택하여 상기 초기 블록 매트릭스를 생성하는 초기 블록 매트릭스 생성기를 포함하는 것을 특징으로 하는 상기 장치.
제3항에 있어서,

상기 영상들의 왜곡을 보정하기 위해 상기 필터링된 블록 매트릭스의 블록을 확장하는 보정부를 더 포함하는 것을 특징으로 하는 상기 장치.
제6항에 있어서, 상기 보정부는,

상기 필터링된 블록 매트릭스의 인접 블록들을 상기 필터링된 블록의 미리 설정된 블록값으로 치환하여 확장된 블록 매트릭스를 출력하는 제1블록 확장기와,

상기 확장된 블록 매트릭스의 각진 모서리를 보정하기 위해 상기 모서리에 인접한 블록들을 상기 필터링된 블록의 미리 설정된 블록값으로 치환하는 제2블록 확장기를 포함하는 것을 특징으로 하는 상기 장치.
제1항에 있어서,

상기 렌즈가 하나만 구비된 경우, 초검 거리가 다른 영상들을 시간차를 두고 촬영하기 위해 초점 거리를 조절하는 조절기를 더 포함하는 것을 특징으로 하는 상기 장치.
초첨 거리가 다른 영상들을 합성하여 초점을 맞추기 위한 영상촬영 방법에 있어서,

상기 초점 거리가 다른 영상을 각각 촬영하는 과정과,

상기 촬영된 영상들을 각각 화면상의 일정한 영역으로 나누는 과정과,

상기 영역으로 나누어진 각각의 영상에서 초점이 맞는 영역을 표시하는 과정과,

상기 각각의 영상에서 상기 초점이 맞는 영역을 표시한 영상을 합성하여 최종 합성 영상을 출력하는 과정을 특징으로 하는 상기 방법.
제9항에 있어서, 상기 초첨이 맞는 영역을 표시하는 과정은,

상기 영역으로 나눠진 각각의 영상을 주파수 변환한 후 각각의 변환된 영상에서 고주파 성분의 영역만을 검출하여 초기 블록 매트릭스를 생성하는 단계와,

상기 생성된 초기 블록 매트릭스를 소정 횟수만큼 반복 필터링하여 상기 초점이 맞는 영역을 표시한 영상의 최종 블록 매트릭스를 출력하는 단계를 포함하는 것을 특징으로 하는 상기 방법.
제10항 있어서, 상기 초기 블록 매트릭스를 생성하는 단계는,

상기 일정한 영역으로 나눠진 각각의 영상을 주파수 성분으로 변환하는 단계와,

상기 주파수 변환된 각각의 영상을 동 위치상에서 비교하여 고주파 성분의 영역만을 검출하는 단계와,

상기 고주파 성분 영역들을 원거리 영상과 근거리 영상에 따라 미리 설정된 블록값으로 설정하여 상기 초기 블록 매트릭스를 생성하는 단계를 포함하는 것을 특징으로 하는 상기 방법.
제11항에 있어서,

상기 고주파 성분 영역의 검출은 상기 블록의 수평, 수직 방향으로 고주파 성분의 합을 더하여 그 합이 많은 쪽의 블록을 더 초점이 맞는 것으로 선택함을 특징으로 하는 상기 방법.
제9항에 있어서,

상기 최종 영상을 출력하는 과정은 상기 초점이 맞는 영역을 표시한 영상을 원거리에 초점이 있는 영상의 해당 영역에 대치시켜 초점이 맞는 상기 최종 합성 영상으로 출력하는 것임을 특징으로 하는 상기 방법.
제9항에 있어서,

상기 초점이 맞는 영역을 표시한 영상을 확장하여 왜곡을 보정하는 과정을 더 포함하는 것을 특징으로 하는 상기 방법.
제14항에 있어서, 상기 보정 과정은,

상기 초점이 맞는 영역을 표시한 영상에서 확장된 영역을 미리 설정된 값으로 치환하여 확장된 블록 매트릭스를 출력하는 단계와,

상기 확장된 블록 매트릭스의 모서리에 인접한 블록들을 상기 미리 설정된 블록값으로 치환하는 단계를 포함하는 것을 특징으로 하는 상기 방법.
초첨 거리가 다른 영상들을 합성하여 초첨을 맞추기 위한 영상촬영 방법에 있어서,

상기 초점 거리가 다른 영상을 시간차를 두고 촬영하는 과정과,

상기 촬영된 영상들을 각각 화면상의 일정 영역으로 나누는 과정과,

상기 영역으로 나누어진 각각의 영상에서 초점이 맞는 영역을 표시하는 과정과,

상기 각각의 영상에서 상기 초점이 맞는 영역을 표시한 영상을 합성하여 최종 합성 영상을 출력하는 과정을 특징으로 하는 상기 방법.
제16항에 있어서, 상기 초첨이 맞는 영역을 표시하는 과정은,

상기 영역으로 나눠진 각각의 영상을 주파수 변환한 후 각각의 변환된 영상에서 고주파 성분의 영역만을 검출하여 초기 블록 매트릭스를 생성하는 단계와,

상기 생성된 초기 블록 매트릭스를 소정 횟수만큼 반복 필터링하여 상기 초점이 맞는 영역을 표시한 영상의 최종 블록 매트릭스를 출력하는 단계를 포함하는 것을 특징으로 하는 상기 방법.
제17항 있어서, 상기 초기 블록 매트릭스를 생성하는 단계는,

상기 일정한 영역으로 나눠진 각각의 영상을 주파수 성분으로 변환하는 단계와,

상기 주파수 변환된 각각의 영상을 동 위치상에서 비교하여 고주파 성분의 영역만을 검출하는 단계와,

상기 고주파 성분 영역들을 원거리 영상과 근거리 영상에 따라 미리 설정된 블록값으로 설정하여 상기 초기 블록 매트릭스를 생성하는 단계를 포함하는 것을 특징으로 하는 상기 방법.
제18항에 있어서,

상기 고주파 성분을 검출은 상기 블록의 수평, 수직 방향으로 고주파 성분의 합을 더하여 그 합이 많은 쪽의 블록을 더 초점이 맞는 것으로 선택함을 특징으로 하는 상기 방법.
제16항에 있어서,

상기 최종 영상을 출력하는 과정은 상기 초점이 맞는 영역을 표시한 영상을 원거리에 초점이 있는 영상의 해당 영역에 대치시켜 초점이 맞는 상기 최종 합성 영상으로 출력하는 것임을 특징으로 하는 상기 방법.
제16항에 있어서,

상기 초점이 맞는 영역을 표시한 영상을 확장하여 왜곡을 보정하는 과정을 더 포함하는 것을 특징으로 하는 상기 방법.
제21항에 있어서, 상기 보정 과정은,

상기 초점이 맞는 영역을 표시한 영상에서 확장된 영역을 미리 설정된 값으로 치환하여 확장된 블록 매트릭스를 출력하는 단계와,

상기 확장된 블록 매트릭스의 모서리에 인접한 블록들을 상기 미리 설정된 블록값으로 치환하는 단계를 포함하는 것을 특징으로 하는 상기 방법.