KR20140048407A - 카메라장치의 이미지처리장치 및 방법 - Google Patents

Abstract

카메라 장치의 이미지처리 방법이, 프리뷰 모드에서 카메라의 구동을 제어하는 제1촬영정보 및 이미지처리시 획득되는 제2촬영정보를 획득하며, 대응되는 프레임 이미지와 함께 제1 및 제2 촬영정보를 저장하는 프리뷰 이미지 처리과정과, 캡쳐 모드에서 저장된 프레임 이미지들 중에서 선택된 프레임 이미지를 촬영정보를 이용하여 처리한 후 정지이미지로 저장하는 정지이미지 처리과정으로 이루어진다.

Description

카메라장치의 이미지처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING A IMAGE OF CAMERA DEVICE AND TERMINAL EQUIPMENT HAVING A CAMERA}

본 발명은 카메라장치 및 카메라를 구비하는 단말기의 이미지처리장치 및 방법에 관한 것으로, 특히 촬영시의 정보를 이용하여 획득된 이미지를 처리할 수 있는 장치 및 방법에 관한 것이다.

카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서)는 고해상도를 가지는 이미지들을 센싱할 수 있다.

이때 상기 카메라 장치는 프리뷰 모드에서 카메라로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 처리하여 저장한다. 이때 카메라로부터 획득되는 영상을 처리할 때, 카메라장치는 영상 자체의 밝기에 따라 영상을 최적화하여 처리한다.

그러나 상기와 같은 방법으로 획득된 영상 데이터를 처리하는 경우, 촬영 시점에서의 촬영정보를 이용하여 처리할 수 없었다. 이는 카메라의 이미지 촬영시점과 카메라장치에서 이미지를 처리하는 시점에서 지연이 발생되기 때문이다. 즉, 카메라장치에서 카메라 이미지를 처리할 때 카메라의 촬영 정보를 동일한 시점에서 사용할 수 없게 된다. 따라서 카메라에서 촬영되는 이미지와 카메라의 이미지처리장치에서 처리되는 이미지 간의 소정의 프레임 차이를 갖게 된다. 따라서 종래의 카메라장치는 이미지처리시 센서 제어 변수, 렌즈 및 조리개 정보, Flash정보, actuator 정보, Gyro와 같은 센서 정보 등과 같은 촬영시점의 촬영정보를 이용할 수 없게 되며, 이로인해 최적의 이미지처리를 할 수 없는 문제점이 있었다.

또한 카메라장치는 사용자가 셔터 버튼을 누르면(shutter on), 카메라에서 이미지를 센싱하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리부의 처리 시간 등에 의해 발생될 수 있다. 따라서 상기와 같은 셔터렉을 보상하기 위하여 이미지를 버퍼링하여 처리하는 카메라장치의 경우, 이미지와 함께 촬영정보를 함께 버퍼링하여야한다. 이런 경우에는 이미지와 촬영정보가 동일한 프레임에서 획득되는 정보가 아니므로 상기와 같은 문제점을 가진다.

본 발명은 카메라장치는 이미지 처리시 카메라에서 촬영되는 시점의 촬영정보를 이용하여 이미지를 처리할 수 있는 장치 및 방법을 제안한다.

본 발명의 카메라장치는 촬영시점의 촬영정보와 이미지처리시점에서 추출되는 정보를 메터데이터로 이미지와 함께 버퍼링하고, 상기 버퍼링된 이미지 처리시 상기 촬영정보를 이용하여 처리할 수 있는 장치 방법을 제안한다.

본 발명은 고화소 카메라장치에서 이미지 처리시 이미지와 동일한 시점에서 센서 제어 변수, 렌즈 및 조리개 정보, Flash정보, actuator정보, Gyro와 같은 센서 정보를 이용하여 이미지를 처리할 수 있는 장치 및 방법을 제안한다.

본 발명의 실시예에 따른 카메라장치가, 제1촬영정보에 의해 구동되어 이미지를 촬영하는 카메라와, 프레임 이미지들을 저장하는 버퍼와, 프리뷰모드시 상기 카메라에서 출력되는 이미지를 처리하며, 이미지 처리과정에서 제2촬영정보를 획득하며, 캡쳐모드시 상기 버퍼에서 출력되는 이미지를 해당 프레임의 촬영정보에 의해 처리하는 이미지처리부와, 프리뷰 모드시 상기 카메라를 제어하기 위한 제1촬영정보를 출력하고, 상기 제1촬영정보 및 제2촬영정보를 대응되는 프레임 이미지와 상기 버퍼에 저장하며, 캡쳐모드시 설정된 프레임 이미지 및 대응되는 촬영정보를 상기 이미지처리부에 출력하는 제어부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 카메라 장치의 이미지처리 방법이, 프리뷰 모드에서 카메라의 구동을 제어하는 제1촬영정보 및 이미지처리시 획득되는 제2촬영정보를 획득하며, 대응되는 프레임 이미지와 함께 상기 촬영정보를 저장하는 프리뷰 이미지 처리과정과, 캡쳐 모드에서 상기 저장된 프레임 이미지들 중에서 선택된 프레임 이미지를 상기 촬영정보를 이용하여 처리한 후 정지이미지로 저장하는 정지이미지 처리과정으로 이루어짐을 특징으로 한다.

또한 본 발명의 실시예에 따른 휴대단말기가, 제1촬영정보에 의해 구동되어 이미지를 촬영하는 카메라와, 프리뷰 및 정지이미지를 표시하는 표시부와, 프리뷰 및 캡쳐 모드 신호를 발생하는 입력부와, 프레임 이미지들을 저장하는 버퍼를 구비하며, 프리뷰모드시 상기 카메라에서 출력되는 이미지를 표시이미지로 처리하며, 이미지 처리과정에서 제2촬영정보를 획득하며, 상기 버퍼에 동일 프레임의 이미지와 제1 및 제2촬영정보를 저장하며, 캡쳐모드시 상기 버퍼에서 출력되는 이미지를 해당 프레임의 촬영정보에 의해 정지이미지로 처리하는 이미지처리부와, 상기 입력부의 출력에 의해 상기 이미지처리부의 프리뷰모드 또는 캡쳐모드를 제어하며, 상기 표시부를 제어하여 이미지처리부에서 출력되는 표시 이미지 또는 정지이미지를 표시하는 어플리케이션제어부와, 상기 어플리케이션처리부의 제어에 의해 상기 정지이미지를 저장하는 저장부와, 상기 어플리케이션제어부에 의해 외부장치와 무선 통신을 수행하는 통신부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 카메라장치가, 제1촬영정보에 의해 구동되어 이미지를 촬영하는 카메라와, 프리뷰 및 캡쳐 모드 신호를 발생하는 입력부와, 프레임 이미지들을 저장하는 버퍼를 구비하며, 상기 입력부에 의해 프리뷰모드시 상기 카메라에서 출력되는 이미지를 표시이미지로 처리하며, 이미지 처리과정에서 제2촬영정보를 획득하여 상기 버퍼에 동일 프레임의 이미지와 제1 및 제2촬영정보를 저장하며, 캡쳐모드시 상기 버퍼에서 출력되는 이미지를 해당 프레임의 제1 및 제2 촬영정보에 의해 처리하여 정지이미지를 생성하는 이미지처리부와, 상기 이미지처리부에서 출력되는 정지이미지를 저장하는 저장부와, 상기 이미지처리부에 의해 상기 표시 이미지 및 정지이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.

본 발명은 고화소 카메라에서 buffer에 저장된 raw data가 최적으로 튜닝될 수 있도록 메타 데이터 이용하는 방법이다.

도 1은 본 발명의 실시예에 따른 카메라장치의 동작을 설명하기 위한 도면
도 2는 본 발명의 실시예에 따라 촬영정보를 획득하는 카메라장치의 구성을 도시하는 도면
도 3은 카메라 및 이미지처리부에서 촬영정보를 획득하여 버퍼에 저장하는 동작을 설명하기 위한 도면
도 4는 도 1의 카메라 구성을 도시하는 도면
도 5는 본 발명의 제1실시예에 따라 촬영정보를 생성 및 이를 이용하여 이미지를 처리하는 구성을 도시하는 도면
도 6은 본 발명의 제1실시예에 따른 카메라장치의 상세한 구성을 도시하는 도면
도 7은 본 발명의 제2실시예에 따른 카메라장치의 구성을 도시하는 도면
도 8은 본 발명의 제2실시예에 따른 카메라 장치의 상세 구성을 도시하는 도면
도 9는 본 발명의 제3실시예에 따른 카메라장치의 구성을 도시하는 도면
도 10은 본 발명의 제3실시예에 따른 카메라 장치의 상세 구성을 도시하는 도면
도 11은 본 발명의 실시예에 따른 카메라장치에서 카메라로부터 촬영되는 이미지를 처리하는 절차를 도시하는 흐름도
도 12는 본 발명의 실시예에 따른 카메라장치에서 프리뷰 모드시 이미지 및 촬영정보를 처리하는 동작을 도시하는 흐름도
도 13은 본 발명의 실시예에 따른 이미지처리방법을 사용하는 휴대단말기의 구성을 도시하는 도면
도 14는 본 발명의 실시에에 따른 이미지처리방법을 사용하는 카메라장치의 구성을 도시하는 도면

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

일반적으로 카메라장치는 셔터 온 시점에서 카메라가 이미지 획득까지의 지연시간(셔터 지연, 셔터렉)을 가진다. 따라서 본 발명의 실시예에 따른 카메라장치는 표시이미지와 독립적으로 카메라의 풀 해상도 이미지를 일시 저장하기 위한 버퍼를 구비하며, 카메라 구동시 상기 버퍼에 풀해상도 이미지들을 버퍼링한다. 그리고 촬영 요구시 버퍼링 중인 프레임 이미지들 중에서 촬영 요구 시점의 프레임 이미지를 선택하여 처리하므로써 제로 셔터렉(zero shutter lag)을 구현할 수 있다. 본 발명의 실시예에서 상기 버퍼는 설정된 수의 프레임 이미지들을 저장할 수 있는 크기로 구성할 수 있으며, 상기 셔터렉을 없앨 수 있는 정도의 프레임 크기로 갖도록 설정하면 된다. 일반적으로 셔터렉은 2프레임 전후로 발생될 수 있다. 따라서 상기 버퍼링 프레임은 5프레임 이내로 설정할 수 있다.

이하의 설명에서 풀해상도 이미지라는 용어는 카메라에서 획득되는 이미지를 의미하는 용어로, 이미지 스케일링되지 않은 이미지를 의미한다. 또한 표시이미지라는 용어는 프리뷰모드에서 표시부에 표시되는 이미지 또는 동영상 저장을 위한 이미지로써, 상기 카메라에서 획득되는 이미지를 설정된 크기(또는 해상도)로 스케일링된 이미지를 의미한다. 여기서 상기 표시이미지의 경우, 프리뷰 이미지 및 동영상 이미지의 해상도(크기)가 같을 수 있으며, 또한 서로 다른 크기(해상도)를 가질 수 있다. 그리고 캡쳐 이미지라는 용어는 정지 이미지로 저장하기 위한 이미지로써, 상기 카메라에서 획득되는 풀해상도의 이미지 또는 상기 카메라에서 획득된 이미지를 설정된 크기로 스케일링하는 이미지가 될 수 있다. 본 발명의 실시예에서 상기 캡쳐이미지는 상기 카메라의 풀해상도 이미지인 경우를 가정하여 설명될 것이다.

본 발명의 실시예에 따른 카메라 이미지처리장치는 프레임 데이터를 저장할 수 있는 다수의 프레임버퍼들로 구성되는 버퍼를 구비하며, 프리뷰모드에서 각 프레임 버퍼에 대응되는 프레임 이미지와 동일한 프레임에서 획득되는 카메라의 제1촬영정보 및 이미지처리부에서 획득되는 제2촬영정보를 해당 프레임의 이미지와 함께 저장한다. 그리고 정지이미지 처리시 선택된 프레임버퍼에 저장된 이미지를 대응되는 촬영정보를 이용하여 처리한다.

이때 상기 프리뷰모드에서 획득되는 촬영정보는 센서 제어 변수, 렌즈 및 조리개 정보, Flash정보, actuator 정보 (Bv, Ev, Sv, Tv, Av, Analog Gain, Digital Gain, Lens Shading Correction parameter, Frame counter, Time stamp, Flash ON/OFF, AE Target, Lens position, Edge value, White balance gain, 색온도 정보), Gyro와 같은 센서정보 등이 될 수 있다.

그리고 상기 버퍼는 프레임 이미지 및 촬영정보들을 각 프레임별로 저장할 수 있는 Ring buffer를 구조를 가질 수 있다. 상기 버퍼에 저장된 이미지(raw data)를 처리할 때 그리고 이미지처리부는 동일 프레임으로 버퍼링된 촬영정보(meta data)를 이미지처리부에 세팅한 후 이미지(raw data)를 처리한다. 이때 상기 촬영정보로 세팅되어 이미지를 처리하는 구성은 이미지처리부의 후처리부가 될 수 있다.

또한 상기 캡쳐모드에서 AE bracketing, AWB bracketing을 처리시, 센서 setting을 연속 frame에 설정하고, 설정치가 적용된 raw data를 ring buffer에 meta data와 같이 저장하고, sensor setting가 완료된 raw data 와 meta data 저장이 완료됨과 동시에 제어부가 상기 브라켓 촬영된 이미지들을 각각 대응되는 촬영정보를 이용하여 연속으로 처리할 수 있다. 또한 상기 버퍼(Ring buffer)에 저장된 촬영정보(meta data)들 중에서 edge value를 이용하여 JPEG 압축율을 조정할 수 있다. 그리고 상기 버퍼(Ring buffer)에 저장된 촬영정보(meta data)들 중에서 time stamp 또는 frame counter를 이용하여 사용자가 필요로 하는 data만을 처리할 수도 있다.

이하의 설명에서 카메라 제어정보 및 카메라로부터 획득되는 촬영정보는 제1촬영정보(meta data 1, MD1)라 칭하기로 하며, 이미지처리부(여기서는 전처리부가 될 수 있음)에서 추출되는 정보는 제2촬영정보(또는 meta data2, MD2)라 칭하기로 한다. 그리고 상기 제1촬영정보 MD1 및 제2촬영정보MD2를 통합하여 통합 촬영정보(또는 통합메터데이터, MD)라 칭하기로 한다. 또한 상기 카메라에서 촬영되어 획득되는 이미지는 row data(RD)라 칭한다.

도 1은 본 발명의 실시예에 따른 카메라장치의 동작을 설명하기 위한 도면이다.

상기 도 1을 참조하면, 카메라110은 카메라 구동시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라110에서 획득되는 이미지는 이미지센서의 풀해상도 이미지로써 로 이미지(raw image)이다. 상기 제어부100은 상기 카메라110을 구동을 제어하기 위한 촬영정보를 출력하며, 또한 상기 카메라110에서 획득되는 이미지의 촬영정보(예를들면 프레임 카운터, 타임 스템프 등)를 획득한다. 여기서 상기 카메라110의 구동을 제어하기 위한 촬영정보 및 상기 카메라110으로부터 획득되는 촬영정보는 제1촬영정보 MD1이 될 수 있다. 상기 제어부100은 상기 카메라110에서 획득되는 이미지를 버퍼130에 저장하며, 상기 제1촬영정보 MD1을 버퍼링한다.

상기 카메라110에서 출력되는 이미지는 이미지처리부120에 입력되는 처리되며, 상기 이미지처리 과정에서 획득되는 촬영정보들을 획득하여 상기 제어부100에 전달한다. 여기서 상기 이미지처리부120에서 획득되는 촬영정보는 제2촬영정보 MD2가 될 수 있다. 상기 이미지처리부120에서 처리되는 이미지는 프리뷰 이미지로써, 상기 프리뷰 이미지는 도시하지 않은 표시부를 통해 표시된다.

상기 이미지처리부120으로부터 제2촬영정보MD2가 수신되면, 상기 제어부100은 상기 제1촬영정보MD1 및 제2촬영정보MD2를 통합하여 통합촬영정보MDT를 생성하며, 상기 통합촬영정보를 상기 버퍼130의 대응되는 프레임 이미지에 함께 저장한다. 여기서 상기 제2촬영정보MD2는 상기 제1촬영정보MD1과 다른 프레임 구간에서 획득될 수 있다. 즉, 상기 카메라110에서 이미지를 획득하는 시점에서 상기 이미지처리부120은 이전 프레임 프레임에서 획득된 이미지를 처리한다. 따라서 상기 제1촬영정보MD1과 상기 제2촬영정보MD2 간에는 프레임 차가 존재한다.

이때 사용자가 캡쳐를 요청하면, 상기 제어부100은 상기 버퍼130에서 제로 셔터렉의 프레임 이미지 및 통합촬영정보를 억세스하여 이미지처리부120에 출력한다. 그러면 상기 이미지처리부120은 상기 이미지를 상기 통합촬영정보를 이용하여 처리한 후 출력 및 저장한다. 따라서 상기 이미지처리부100은 캡쳐 이미지를 처리할 때 이미지와 동일한 프레임에서 획득된 촬영정보를 이용하여 이미지를 처리하며, 이로인해 정지 이미지를 최적화시켜 튜닝할 수 있다.

도 2는 본 발명의 실시예에 따라 촬영정보를 획득하는 카메라장치의 구성을 도시하는 도면이며, 도 3은 카메라 및 이미지처리부에서 촬영정보를 획득하여 버퍼에 저장하는 동작을 설명하기 위한 도면이다.

상기 도 2 및 도 3을 참조하면, 상기 제어부100은 상기 카메라110을 구동하기 위한 제어정보를 상기 카메라110에 출력하며, 상기 카메라110은 상기 제어부100에서 출력되는 제어정보에 의해 세팅되어 이미지를 획득하며, 상기 획득된 이미지를 이미지처리부120에 출력한다. 또한 상기 카메라110은 매 프레임에서 획득되는 이미지의 프레임 카운트 값 및 타임 스템프를 생성한다. 여기서 상기 제1촬영정보는 상기 제어부100에서 출력되는 상기 카메라110의 제어정보 및 상기 카메라110에서 생성되는 프레임 이미지 정보들이 될 수 있다.

그리고 상기 제어부100은 상기 카메라110에서 출력되는 이미지를 버퍼130에 저장한다. 이때 상기 버퍼130은 복수의 프레임 이미지들을 저장할 수 있는 링버퍼로 구성될 수 있으며, 상기 버퍼130의 크기는 카메라장치에서 제로 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정하면 된다. 또한 본 발명의 실시예에서 상기 버퍼130은 상기 제어부100의 제어하에 상기 프레임 이미지와 함께 해당 프레임 이미지와 관련된 촬영정보를 저장한다.

이미지처리부120은 상기 카메라110에서 출력되는 이미지를 처리하다. 여기서 상기 이미지처리부120은 전처리부 및 후처리부를 구비할 수 있으며, 전처리부는 상기 카메라130에서 출력되는 이미지를 처리할 때 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 영상의 보정 등을 처리하며, 이때 추출되는 3A와 같은 정보들은 후처리부에서 사용될 수 있다. 후처리부는 촬영정보를 이용하여 색보정 및 색변환 처리를 수행할 수 있다. 따라서 상기 이미지처리부120은 이미지 전처리 과정에서 제2촬영정보를 추출하며, 이때 추출되는 촬영정보는 후처리 과정에서 이용된다.

먼저 상기 제1촬영정보의 종류 및 획득 방법을 살펴본다. 상기 제어부100은 매 frame마다 카메라110의 센서가 자동 밝기가 동작하도록 센서의 노출시간(Tv) 및 Gain(Analog Gain, Digital gain), frame rate등을 제어하며, 조리개가 장착되는 경우 조리개 구경(Av)을 제어한다. 또한 상기 제어부100은 자동 초점을 구동할 수 있는 경우 최적의 초점을 맞추고, Flash를 구동할 수 있으며, 이런 경우 자동 초점을 동작하는 경우 렌즈의 위치 정보 및 flash 구동을 제어한다. 상기와 같은 촬영정보는 상기 제어부가 상기 카메라110에서 출력하는 제1촬영정보가 될 수 있다. 또한 상기 카메라110은 매 frame 별 time stamp와 frame counter 값을 발생하며, 상기 제어부100은 상기 카메라110에서 출력되는 타임스탬프 및 프레임 카운터 값을 제1촬영정보로 사용한다. 또한 외부 센서(자이로센서, 가속도센서, GPS수신부, 고도센서 등)들이 카메라장치에 장착되어 있는 경우, 상기 제어부100은 이미지를 획득하는 시점에서 상기 센서들의 값을 리드하여 제1촬영정보로 사용할 수 있다.

두번째로 상기 제2촬영정보의 종류 및 획득 방법을 살펴본다. 상기 이미지처리부120은 상기 카메라110에서 출력되는 프레임 이미지 처리시 내부 Lens shading correction parameter, 3A statics에서 얻어지는 밝기 정보 (Bv, Ev), 이미지의 고주파 정보등을 매 frame 마다 추출한다. 이때 이미지의 고주파 정보등을 AF filter 값을 이용할 수도 있다, 고주파 정보는 영상 전체에서 구할 수도 있고, 영역을 여러개로 나누어서 block별 또는 line별로 처리할 수 도 있으며, 특정 영역에서만 구할 수 있다. 그리고 상기 이미지처리부120은 White balance에 사용된 white balance gain(Red, Blue gain) 값을 추출한다. 상기와 같이 추출되는 촬영정보들은 제2촬영정보가 될 수 있다.

상기 제어부100은 상기 이미지처리부120에서 추출되는 제2촬영정보를 상기 제1촬영정보와 통합하여 버퍼130에 저장된 대응되는 프레임 이미지에 통합촬영정보로 저장한다. 즉, 상기 제어부100은 상기와 같이 추출되는 Bv, Ev, Sv, Tv, Av, Analog Gain, Digital Gain, Frame counter, Time stamp, Flash ON/OFF, AE Target, Lens position, Edge value, White balance gain 등의 정보들을 통합하여 meta data를 생성하며, 상기 생성된 메터 데이터를 이에 대응하는 프레임의 raw data와 같은 indexing으로 버퍼130 저장한다.

이때 프레임의 이미지의 제1촬영정보 및 제2촬영정보는 서로 다른 프레임 구간에 발생된다. 즉, 도 3에서 도시된 바와 같이, 제1촬영정보는 310과 같은 프레임 구간에서 획득되며, 이때 상기 제1촬영정보는 해당 프레임 이미지의 구간과 같은 구간에서 획득할 수 있다. 그러나 상기 이미지처리부120에서 획득되는 제2촬영정보는 상기 제1촬영정보 획득 시점과 다른 시점에서 획득된다. 예를들어 상기 이미지처리부120에서 이미지를 처리하는 시간이 1프레임 지연을 가진다면, 동일 프레임 이미지에 대한 상기 제1촬영정보와 제2촬영정보의 획득은 상기 도 3의 310 및 320과 같이 1프레임의 시간차이를 가질 수 있다.

상기 도 2에서 촬영정보획득부210 및 220, 촬영정보생성부230, 버퍼제어부240은 상기 제어부100의 구성이 될 수 있다. 여기서 상기 촬영정보생성부230은 카메라110에 관련된 제1촬영정보와 이미지처리부120에서 획득되는 제2촬영정보를 도 3의 330과 같이 통합하여 하나의 촬영정보를 생성하며, 상기 버퍼제어부240의 제어에 의해 상기 버퍼130의 대응되는 프레임 이미지에 저장될 수 있도록 한다. 본 발명의 실시예에서는 카메라110의 구동에 관련된 제1촬영정보와 이미지처리부120에서 획득되는 제2촬영정보를 합성하여 통합촬영정보를 생성하며, 상기 통합촬영정보는 동일 프레임의 이미지와 함께 저장된다. 이때 상기 촬영정보를 버퍼130에 저장하는 방법은 다양한 방법으로 수행할 수 있다. 먼저 카메라110으로부터 촬영되는 이미지를 버퍼130에 저장하고, 제2촬영정보가 획득되는 시점에서 상기 제1촬영정보와 함께 통합촬영정보를 생성한 후, 이를 해당하는 프레임 이미지에 저장할 수 있다. 또한 상기 카메라110으로부터 촬영되는 이미지와 함께 제1촬영정보를 버퍼130에 저장하고, 이후 상기 제2촬영정보가 획득하면 해당 프레임의 이미지에 상기 제2촬영정보를 저장할 수 있다. 본 발명의 실시예에서는 전자의 방법으로 촬영정보를 저장하는 것으로 가정하여 설명하기로 한다.

도 4는 도 1의 카메라 구성을 도시하는 도면이다.

상기 도 4를 참조하면, 상기 광학부410은 mecha??shutter, 모터440 및 액츄에이터450에 의해 구동되며, 상기 액츄에이터450에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행한다. 상기 광학부410은 피사체의 이미지를 수광하며, 이미지센서420은 상기 광학부410에 의해 받아들여진이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서420은 CMOS 또는 CCD센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서420은 global shutter를 내장할 수도 있다. 상기 Global shutter는 센서에 내장된 메카셔터와 유사한 기능을 수행한다. 그리고 카메라110은 viewfinder를 구비할 수도 있다.

본 발명의 실시예에서 상기 이미지 센서420은 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지센서420에서 감지되는 이미지는 A/D변환부430에서 통해 디지털 이미지로 변환되어 출력된다. 상기 카메라110에서 출력데이터는 Bayer data(raw data)가 될 수 있다. 또한 상기 카메라110은 플래시460을 구비하며, 플래시 구동신호가 수신되면 이미지를 획득하는 시점에서 상기 플래시460을 구동한다.

도 5는 본 발명의 제1실시예에 따라 촬영정보를 생성 및 이를 이용하여 이미지를 처리하는 구성을 도시하는 도면이다.

상기 도 5를 참조하면, 사용자가 카메라 구동명령을 발생하면, 제어부100은 카메라장치를 프리뷰모드로 구동한다. 상기 프리뷰모드에서 상기 제어부100은 상기 선택부510을 제어하여 상기 카메라110의 출력이 상기 전처리부520에 전달되도록 제어하며, 상기 전처리부520, 스케일러530 및 후처리부540이 표시이미지를 처리하도록 설정한다.

그리고 상기 프리뷰모드에서 상기 제어부100은 상기 도 4와 같은 구성을 가지는 카메라110의 세팅정보를 포함하는 제1촬영정보를 출력하여 카메라110을 구동한다. 그러면 상기 카메라110은 상기 제1촬영정보에 의해 광학부 등의 세팅을 수행하고, 상기 촬영정보에 의해 설정된 세팅에 의해 이미지를 획득하여 출력한다. 그리고 상기 획득된 이미지에 대한 타임 스탬프 및 프레임 카운터를 출력한다. 이때 상기 카메라110에서 출력되는 이미지는 카메라110의 풀해상도의 베이어 이미지가 될 수 있으며, 상기 이미지는 선택부510을 통해 상기 저처리부520에 입력되는 동시에 상기 제어부100의 제어하에 버퍼130에 저장된다. 그리고 상기 제어부110은 상기 카메라110을 구동하기 위한 제어정보와 상기 카메라110로부터 이미지 획득시 추출된 정보들을 제1촬영정보로 생성한다.

상기 선택부510을 통해 상기 카메라110의 출력 이미지를 입력하는 전처리부520은 상기 이미지를 전처리한다. 상기 전처리부520은 상기 프레임이미지에 3A (AWB(auto white balance), AE(auto exposure), AF(Auto focusing))를 추출하여 처리하고, 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등을 수행한다. 상기와 같이 전처리된 이미지는 풀해상도 이미지로써, 각각 이미지스케일러530에 인가된다. 또한 상기 전처리부520은 상기 제2촬영정보를 추출하여 상기 제제어부100에 출력한다.

상기 스케일러530은 입력되는 풀 해상도 이미지를 표시부에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 이상의 방법을 사용하여 구현할 수 있다. 상기 스케일러530은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다.

상기와 같이 스케일링된 이미지는 후처리부540에서 후처리된다. 상기 후처리부540은 상기 촬영정보를 이용하여 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등의 기능을 수행할 수 있다. 즉, 상기 컬러인터폴레이션 동작을 수행하여 각 화소 데이터를 RGB 성분을 포함하는 데이터로 생성하고, 컬러 인터폴레이션된 각 화소데이타들의 노이즈 등을 보정한 후, 이를 다시 YUV 데이터로 변환하는 기능을 수행한다. 이때 상기 후처리부 540에서 후처리된 표시 이미지는 표시부을 통해 표시된다.

그리고 상기 버퍼130은 매 프레임 주기에서 상기 카메라110의 이미지(raw image) 및 상기 제어부100에서 생성되는 촬영정보를 버퍼링한다. 이때 버퍼130은 링버퍼 구조를 가지며, 설정된 수의 프레임 이미지 및 대응되는 프레임의 촬영정보들을 버퍼링할 수 있다. 즉 버퍼130은 N 프레임의 이미지 및 촬영정보를 저장할 수 있는 N개의 링버퍼 구조를 가진다. 즉, 매 프레임에서 생성되는 프레임 이미지 및 정보들은 상기 제어부100의 제어하에 첫번째 버퍼에서부터 순차적으로 버퍼링되며, 마지막 버퍼에 프레임 이미지 및 촬영정보가 버퍼링되면 상기 제어부100은 다시 첫번째 버퍼에 오버라이트한다. 이때 셔터 지연(셔터렉)이 3 프레임이라고 가정하면, 상기 버퍼130은 3프레임 이상의 프레임 이미지 및 촬영정보들을 저장할 수 있는 링버퍼로 구성하면 된다. 이때 프리뷰 모드에서 상기 제어부100은 상기 버퍼130을 제어하면서 매 프레임 주기에서 생성되는 프레임 이미지 및 촬영정보들을 버퍼링하며, 압축부호부550은 구동하지 않는다

상기와 같은 프리뷰 모드를 수행하는 중에 사용자의 캡쳐 요구 신호를 감지하면, 상기 제어부100은 선택부510을 제어하여 상기 버퍼130의 출력을 선택하고, 상기 전처리부520 및 후처리부540이 상기 버퍼130에 저장된 이미지(예를들면 카메라110의 풀해상도 이미지)를 처리할 수 있도록 제어하며, 이때 상기 스케일러530은 구동되지 않고 전처리부520의 출력이 후처리부540에 바이패스되도록 제어한다. 또한 상기 압축부호부550을 활성화시켜 압축부호화된 정지이미지를 생성할 수 있도록 한다.

또한 상기 제어부100은 상기 버퍼130을 제어하여 상기 캡쳐 요구시점의 이미지 및 촬영정보가 출력되도록 제어한다. 이는 사용자의 셔터온 시점에서 셔터렉을 보상하기 위함이다. 또한 상기 제어부100은 상기 버퍼130의 출력에서 프레임 이미지는 상기 전처리부520에 인가되도록 제어하며, 촬영정보는 상기 후처리부540에 인가되도록 제어한다.

상기 캡쳐모드시 상기 제어부100은 상기 버퍼130에 버퍼링된 이미지들 중에서 셔터렉을 고려하여 대응되는 프레임 이미지를 억세스한 후, 이를 선택부510에 인가하며, 선택부510은 상기 버퍼130의 출력을 전처리부520에 출력한다. 그러면 상기 전처리부520은 상기 프레임 이미지를 상기와 같은 방법으로 전처리하여 후처리부540에 출력한다. 또한 상기 제어부100은 상기 처리되는 프레임 이미지에 대응되는 촬영정보를 상기 후처리부 540에 인가한다. 그러면 후처리부540은 상기 버퍼130에서 출력되는 프레임 이미지를 상기 촬영정보를 이용하여 후처리(컬러 인터폴레이션, 노이즈 보정, 감마보정, 이미지변환 등)하며, 압축부호부550은 상기 후처리부540에서 출력되는 이미지를 부호화하여 저장한다. 이때 상기 후처리부540에서 출력되는 YUV 이미지가 될 수 있으며, 압축부호부550은 정지이미지 부호기로써 JPEG부호기가 될 수 있다. 본 발명의 실시예에서 상기 정지 이미지는 JPEG(Joint Photographic Expert Group)인 경우를 예로들어 설명하고 있지만, 상기 정지이미지는 다른 정지 부호화 방법(예를들면 TIFF(Tagged??Image File Format))을 사용할 수도 있다.

이때 상기 정지이미지 처리시 후처리부540에 인가되는 촬영정보는 상기 도 2 및 도 3에서 설명된 바와 같이 처리되는 프레임 이미지에 대응되는 촬영정보들이며, 따라서 상기 후처리부540은 정지 이미지를 최적화시켜 튜닝할 수 있게된다.

도 6은 본 발명의 제1실시예에 따른 카메라장치의 상세한 구성을 도시하는 도면이다. 상기 도 6을 참조하면, 카메라110은 상기 도 4에 도시된 바와 같이 렌즈, 센서, 액츄에이터, 플래시 등을 구비하며, 이미지처리부120은 raw data를 저장하는 다수의 ring buffer, 그리고 전처리부, 후처리부 및 영상 사이즈 변경을 위한 resizer등을 구비한다. 상기와 같은 구성을 가지는 카메라장치에서 제어부100은 제1촬영정보를 출력하여 카메라110의 구동을 제어한다. 이때 상기 제1촬영정보는 매 frame마다 센서가 자동 밝기가 동작하도록 노출시간(Tv) 및 Gain(Analog Gain, Digital gain), frame rate등의 제어를 위한 정보들로 이루어질 수 있다. 또한 상기 카메라110에 조리개가 장착되는 경우, 상기 제1촬영정보는 조리개 구경(Av)을 정보를 포함할 수 있다. 또한 자동 초점을 구동할 수 있는 경우, 상기 제1촬영정보는 최적의 초점을 맞추고, Flash를 구동할 수 있는 정보를 포함할 수 있다. 그리고 자동 초점으로 동작하는 경우, 상기 제어부100은 렌즈의 위치 정보 및 flash 구동 상태를 제1촬영정보로 획득한다.

그리고 상기 제어부100에서 출력되는 제1촬영정보에 의해 구동되는 카메라100은 센서에서 이미지 획득시 이미지를 출력하는 시간을 매 frame 별로 time stamp block을 통과하는 시간을 측정하고, 매 frame 마다 frame counter block에서 index를 붙이고, frame이 증가할 때마다 1씩 index를 증가 시킨다. 그리고 상기와 같은 타임스탬프 및 프레임 카운터를 상기 제어부100에 제1촬영정보로 출력한다. 이때 상기 제어부100은 시스템 메모리 또는 레지스터, 일정 변수로 정의하여 처리할 수 있다. 또한 상기 제어부100은 이미지 촬영시 해당 프레임 시점에서 Gyro와 같은 다양한 센서들로부터 획득되는 정보를 제1촬영정보로 설정할 수 있다. 상기 제어부100은 상기와 같이 획득되는 해당 프레임의 제1촬영정보들을 촬영정보발생기610에 전달하고, 상기 촬영정보발생기610은 이를 상기 버퍼130의 해당 프레임 이미지를 저장하는 버퍼에 함께 저장한다.

이때 상기 제어부100은 버퍼제어부(여기는 DMA controller를 사용할 수 있음)를 구비할 수 있으며, 이런 경우 상기 버퍼제어부는 상기 카메라100에서 출력되는 이미지를 상기 버퍼130의 해당 프레임 이미지 버퍼에 저장하며, 또한 상기 촬영정보발생기610에서 출력되는 제1촬영정보를 해당 프레임 이미지 버퍼에 함께 저장할 수 있다. 이때 상기 ring buffer130에 입력되는 data를 pass하게 할 수 도 있고, blocking할 수 있는 기능을 수행할 수 있다.

카메라 구동시 상기 제어부100은 프리뷰 모드를 수행하며, 상기 프리뷰모드에서 상기 제어부100은 상기 선택부510을 제어하여 상기 카메라110에서 출력되는 이미지를 전처리부520에 인가되도록 하며, 또한 스케일러530, 후처리부540을 제어하여 표시이미지를 처리할 수 있도록 제어한다. 이때 상기 압축부호부550은 동작되지 않도록 제어한다.

따라서 상기 프리뷰모드에서 카메라110에서 출력되는 프레임 이미지는 선택부510을 pass하여 전처리부(preprocessor)520에 입력된다. 그러면 상기 전처리부520은 상기 카메라110으로부터 획득되는 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다. 그리고 상기 전처리부520은 상기 전처리 동작을 수행하는 과정에서 제2촬영정보를 획득한다. 여기서 상기 제2촬영정보는 전처리부520의 내부 Lens shading correction parameter, 3A statics에서 얻어지는 밝기 정보 (Bv, Ev), 이미지의 고주파 정보등이 될 수 있다. 이때 이미지의 고주파 정보등을 AF filter 값을 이용할 수도 있다, 고주파 정보는 영상 전체에서 구할 수도 있고, 영역을 여러개로 나누어서 block별 또는 line별로 처리할 수 도 있으며, 특정 영역에서만 구할 수 있다. 또한 상기 제2촬영정보는 White balance에 사용된 white balance gain(Red, Blue gain)을 포함한다.

상기 제2촬영정보는 제2촬영정보획득부620을 통해 촬영정보생성부230에 인가되며, 상기 촬영정보생성부230은 이를 상기 버퍼130의 해당 프레임이미지 버퍼에 함께 저장한다. 여기서 상기 제1촬영정보 및 제2촬영정보는 상기 도 3에 도시된 바와 각각 다른 프레임 구간에서 획득될 수 있으며, 이렇게 다른 프레임 구간에서 획득되는 제1 및 제2촬영정보는 상기 버퍼130의 해당 프레임 이미지와 함께 저장되어야 한다. 이때 상기 제1 및 제2촬영정보를 획득하여 저장하는 방법은 상기한 바와 같이 제1 및 제2프레임을 통합하여 저장하는 방법을 사용할 수 있으며, 또한 생성되는 시점에서 상기 1 및 제2촬영정보를 각각 저장하는 방법을 사용할 수 있다.

상기와 같이 저장되는 촬영정보는 Bv, Ev, Sv, Tv, Av, Analog Gain, Digital Gain, Frame counter, Time stamp, Flash ON/OFF, AE Target, Lens position, Edge value, White balance gain 등이 될 수 있으며, 상기와 같은 촬영정보는 상기한 바와 같이 통합되어 상기 버퍼130의 대응되는 프레임버퍼에 이미지(raw data)와 같은 indexing으로 저장된다.

또한 상기 전처리부520에서 전처리된 이미지는 카메라110의 풀해상도 이미지가 될 수 있으며, 상기 전처리 이미지는 스케일러530에 입력되어 표시 이미지 사이즈로 스케일링(여기서는 resizing 방법을 사용할 수 있음)된다.

상기 후처리부540은 색보간기(color interpolator), IPC(image processing chain)을 구비하며, 상기 촬영정보를 이용하여 상기 전처리된 이미지를 후처리한다. 먼저 상기 색보간기는 상기 카메라110에서 출력되는 이미지 데이터(Bayer data)를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 상기한 바와 같이 카메라110의 이미지센서는 CCD 또는 CMOS 이미지센서가 될 수 있다. 이때 상기 CCD/CMOS 이미지 센서는 컬러필터 배열(color filter array)를 사용하며, 이로인해 각 화소 센서들은 컬러 이미지를 만들기 위한 3가지 색 채널들 중에서 한가지 채널만 가지게 된다. 색보간(color interpolation)은 카메라110에서 출력되는 이미지를의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행한다. 상기 색보간기는 인접한 화소들 간의 상관관계를 이용하여 색보간 기능을 수행한다. 일반적으로 이미지처리장치에서 색보간 이전의 이미지처리를 전처리라 칭하고 색보간 이후의 이미지처리를 후처리라 칭한다. 두번째로 IPC는 상기 색보간된 이미지들의 노이즈 감소(noise reduction), 감마 보정(gramma correction), 휘도 보정(luminence correction) 등을 수행하며, 상기 후처리된 이미지를 YUV 이미지로 변환한다. 즉, 상기 후처리부540은 리사이징되어 스케일링된 이미지를 색보간, 후처리한 후 YUV 이미지로 변환하는 기능을 수행한다.

그리고 상기 후처리된 이미지는 리사이저530에서 다시 표시부에서 표시되는 이미지 사이즈로 리사이징되어 출력되며, 도시하지 않은 표시부는 상기 이미지처리부120에서 출력되는 이미지를 프리뷰 이미지로 표시한다.

상기 프리뷰모드에서 카메라장치는 상기와 같은 촬영정보 획득, 획득된 촬영정보 및 이미지를 저장, 그리고 상기 이미지처리 동작을 매 프레임 주기에서 수행하며, 상기 이미지처리부120의 출력을 표시부를 통해 프리뷰 이미지로 표시한다. 따라서 상기 버퍼130은 프리뷰모드에서 항상 설정된 수의 프레임 이미지 및 촬영정보들을 저장하게 된다.

상기와 같은 상태에서 사용자가 캡쳐를 요구하면, 상기 제어부100은 상기 선택부510을 제어하여 상기 버퍼130에서 출력되는 이미지가 상기 전처리부520에 전달되도록 제어하며, 또한 스케일러520을 제어하여 상기 전처리부520의 출력이 설정된 크기로 상기 후처리부540에 전달되도록 제어한다. 예를들면 상기 스케일러530은 상기 제어부100의 제어에 의해 설정된 정지이미지의 사이즈가 카메라110의 풀해상도 사이즈이면 전처리부520의 출력을 그대로 후처리부에 전달되도록 설정하며, 정지이미지의 사이즈가 사용자에 의해 임의 크기로 설정된 경우에는 설정된 크기로 전처리부의 출력 이미지를 스케일링하여 후처리부540에 전달한다. 또한 상기 후처리부540은 상기 제어부100의 제어에 의해 설정된 사이즈의 정지이미지를 처리할 수 있도록 제어한다. 또한 상기 제어부100은 버퍼130에 저장된 프레임 이미지 및 촬영정보들 중에서 정지이미지를 생성하기 위한 프레임의 이미지 및 촬영정보가 억세스되도록 상기 버퍼130을 제어한다. 그러면 상기 버퍼130은 상기 제어부100의 제어에 의해 선택된 프레임의 이미지를 상기 선택부510에 출력하며, 촬영정보는 상기 후처리부540에 인가한다.

이때 상기 제어부100은 상기 버퍼130의 이미지 및 촬영정보를 억세스할 때 Zero shutter lag 과 같은 기능 구현할 수 있으며, 이런 경우 상기 버퍼130에 저장된 프레임 이미지 및 촬영정보들 중에서 셔터 온 시점의 프레임에 해당하는 이미지 및 촬영정보들이 억세스되도록 제어할 수 있다. 또한 플래시를 구동시켜 촬영한 경우에는 상기 촬영정보를 분석하여 플래시가 작동된 프레임의 이미지 및 촬영정보를 선택할 수 있으며, 브라켓 촬영이 이루어진 경우에는 브라켓촬영이 이루어진 복수의 프레임들에 대한 이미지 및 촬영정보들을 순차적으로 억세스되도록 상기 버퍼130을 제어할 수 있다.

상기 촬영정보를 이용하여 정지이미지를 처리하는 예를 살펴본다.

먼저 상기 캡쳐모드에서 AE bracketing, AWB bracketing을 처리시, 센서 setting을 연속 frame에 설정하고, 설정치가 적용된 raw data를 ring buffer에 meta data와 같이 저장하고, 센서 setting이 완료된 raw data 와 meta data 저장이 완료됨과 동시에 제어부가 상기 브라켓 촬영된 이미지들에 각각 대응되는 촬영정보를 이용하여 연속으로 처리할 수 있다. 또한 상기 버퍼(Ring buffer)에 저장된 촬영정보(meta data)들 중에서 edge value를 이용하여 JPEG 압축율을 조정할 수 있다. 그리고 상기 상기 버퍼(Ring buffer)에 저장된 촬영정보(meta data)들 중에서 time stamp 또는 frame counter를 이용하여 사용자가 필요로 하는 data만을 처리할 수도 있다.

그리고 캡쳐모드에서는 상기한 바와 같이 상기 제어부100의 제어에 의해 선택된 이미지는 선택부510 및 스케일러530을 바이패스하고, 전처리부520에서 전처리된 이미지는 후처리부540에 인가되며, 후처리부540은 상기 전처리된 이미지를 해당 프레임의 촬영정보를 이용하여 후처리하게 된다.

상기 이미지처리 동작을 살펴보면, 연속적으로 카메라110의 센서 설정을 변경하여 AE bracketing을 이용한 High Dynamic Range 등과 같은 application, AWB bracketing를 구현하는 경우, 상기 제어부100은 처리시간의 단축을 위하여 bracketing 출력을 카메라110의 센서에서 종료되는 시간과 동기시켜 상기 버퍼130에 저장하며(즉, 바로 이미지처리부120에 전달되어 처리되지 않도록 blocking시키며), 이후 상기 버퍼130에 저장된 브라켓 촬영 프레임들의 이미지 및 촬영정보들을 상기와 같은 방식으로 순차적으로 이미지처리부120에 출력하면서 처리한다

또한, 촬영정보에 저장된 edge value를 이용하여 JPEG 이미지 사이즈를 제한하는 경우, 상기압축율 촬영정보에서 조정이 가능한 Q??value 설정을 변경하여 시스템 메모리 관리를 효율적으로 구현할 수 있을 뿐만 아니라, JPEG 압축을 여러번 시행하지 않고 한번에 (one??path encoding) 처리할 수 있어 처리시간 단축을 구현할 수 있다.

도 7은 본 발명의 제2실시예에 따른 카메라장치의 구성을 도시하는 도면이며, 도 8은 본 발명의 제2실시예에 따른 카메라 장치의 상세 구성을 도시하는 도면이다. 본 발명의 제2실시예에 따른 카메라장치는 이미처리부120의 구성에서 카메라110에서 생성되는 이미지가 전처리부520에서 전처리된 후 버퍼130에 저장되는 구성을 가진다.

상기 도 7 및 도 8을 참조하면, 프리뷰모드시 제어부100은 선택부510을 제어하여 스케일러530의 출력이 후처리부540에 전달되도록 제어한다. 그리고 후처리부540은 표시이미지 사이즈의 이미지를 처리하도록 제어한다. 따라서 본 발명의 제2실시예에서 상기 버퍼130에 저장되는 이미지는 상기 카메라110에서 촬영되는 이미지가 전처리부520에서 전처리된 이미지가 된다. 그리고 상기 제어부100은 상기 제1실시예에서와 같은 방법으로 제1촬영정보 및 제2촬영정보를 획득하며, 상기 버퍼130에 대응되는 프레임이미지와 함께 저장한다. 즉, 상기 제2실시예에서 상기 제1촬영정보 및 제2촬영정보를 획득하고, 이를 상기 버퍼130에 저장하는 방법은 제1실시예에서의 동작과 동일하게 수행된다. 또한 상기 카메라110에서 촬영되는 이미지는 전처리부520에서 전처리되며, 스케일러530에서 표시이미지 사이즈로 스케일링된 후, 후처리부540에서 후처리되어 프리뷰 이미지로 표시된다.

그리고 사용자에 의한 캡쳐 요구가 발생되면, 상기 제어부100은 상기 선택부510을 제어하여 버퍼130에서 출력되는 이미지가 후처리부540에 출력되도록 제어한다. 또한 상기 제어부100은 버퍼130을 제어하여 설정된 프레임의 이미지 및 촬영정보를 선택 출력하며, 상기 버퍼130에서 출력되는 이미지는 선택부510을 통해 후처리부540에 인가된다. 또한 상기 버퍼130에서 출력되는 촬영정보는 후처리부540에 인가된다. 이때 상기 버퍼130에 저장된 이미지는 전처리된 이미지이며, 상기 후처리부540은 상기 전처리된 이미지를 상기 촬영정보를 이용하여 후처리하며, 상기 후처리된 이미지는 압축부호부550에서 압축 부호화된후 저장된다.

도 9는 본 발명의 제3실시예에 따른 카메라장치의 구성을 도시하는 도면이며, 도 10은 본 발명의 제3실시예에 따른 카메라 장치의 상세 구성을 도시하는 도면이다. 본 발명의 제3실시예에 따른 카메라장치는 이미처리부120이 표시이미지를 처리하는 구성 및 정지이미지를 처리하는 구성을 독립적으로 구비한다.

상기 도 9 및 도 10을 참조하면, 프리뷰모드시 상기 카메라110에서 촬영되는 이미지는 전처리부910에 인가되며, 상기 전처리부910에서 전처리된 이미지는 스케일러920에 출력되는 동시에서 상기 버퍼130에 저장된다. 그러면 상기 스케일러920은 상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하며, 후처리부930은 상기 표시이미지 사이즈로 스케일링된 이미지를 후처리하여 도시하지 않은 표시부를 통해 표시한다. 그리고 상기 제어부100은 상기 제1 및 제2실시예에서와 같은 방법으로 제1촬영정보 및 제2촬영정보를 획득하며, 상기 버퍼130에 대응되는 프레임이미지와 함께 저장한다. 즉, 상기 제3실시예에서 상기 제1촬영정보 및 제2촬영정보를 획득하고, 이를 상기 버퍼130에 저장하는 방법은 제1 및 제2실시예에서의 동작과 동일하게 수행된다.

그리고 사용자에 의한 캡쳐 요구가 발생되면, 상기 제어부100은 버퍼130을 제어하여 설정된 프레임의 이미지 및 촬영정보를 선택 출력하며, 상기 버퍼130에서 출력되는 이미지 및 촬영정보는 후처리부940에 인가된다. 또한 상기 버퍼130에서 출력되는 촬영정보는 후처리부940에 인가된다. 이때 상기 버퍼130에 저장된 이미지는 전처리된 이미지이며, 상기 후처리부940은 상기 전처리된 이미지를 상기 촬영정보를 이용하여 후처리하며, 상기 후처리된 이미지는 압축부호부950에서 압축 부호화된 후 저장된다. 여기서 상기 후처리부930은 표시이미지를 후처리하며, 상기 후처리부940은 상기 상기 카메라110의 풀해상도를 가지는 정지이미지를 후처리할 수 있다.

도 11은 본 발명의 실시예에 따른 카메라장치에서 카메라로부터 촬영되는 이미지를 처리하는 절차를 도시하는 흐름도이다. 그리고 도 12는 본 발명의 실시예에 따른 카메라장치에서 프리뷰 모드시 이미지 및 촬영정보를 처리하는 동작을 도시하는 흐름도이다.

상기 도 11 및 도 12를 참조하면, 사용자가 셔터를 온시키면 상기 제어부100은 1111단계에서 카메라 구동을 감지하고, 1113단계에서 프리뷰모드를 실행하면서 프리뷰 이미지를 표시하다. 그리고 상기 프리뷰 모드에서 상기 제어부100은 상기 카메라110의 구동을 제어하기 위한 촬영정보 및 상기 카메라110으로 출력되는 촬영정보를 제1촬영정보로 획득하며, 이미지처리부120에서 이미지 처리시 획득되는 촬영정보를 제2촬영정보로 획득한다. 그리고 상기 제어부100은 상기 카메라110에서 촬영되는 이미지를 버퍼130에 저장하며, 또한 상기 저장되는 이미지와 동일한 프레임에서 획득되는 제1 및 제2촬영정보를 함께 저장한다.

도 12를 참조하여 상기 프리뷰 모드이 동작을 살펴보면, 상기 제어부100은 2111단계에서 상기 카메라110에서 촬영되는 이미지를 버퍼130에 버퍼링하며, 상기 카메라110의 구동을 제어하기 위한 정보들 및 상기 카메라110에서 출력되는 촬영정보들을 제1촬영정보로 획득한다. 여기서 상기 제1촬영정보는 노출시간(Tv), Gain(Analog Gain, Digital gain), frame rate등을 제어하기 위한 정보, 조리개 구경(Av) 정보, 초점정보, 플래시 구동정보, 렌즈의 위치 정보, 카메라110으로부터 출력되는 프레임의 time stamp 및 프레임 카운터, Gyro등과 같은 외부 센서들의 정보들이 될 수 있다. 이때 상기 제1촬영정보는 상기 버퍼130의 해당 프레임 이미지와 함께 저장할 수 있으며, 또한 나중에 제2촬영정보와 통합되어 저장될 수도 있다.

이후 상기 제어부100은 상기 카메라110에서 출력되는 이미지를 처리하는데, 1213단계에서 상기 이미지를 이미지처리부120에서 전처리하며, 상기 전처리과정에서 제2촬영정보를 획득한다. 여기서 상기 제2촬영정보는 Lens shading correction parameter, 3A statics에서 얻어지는 밝기 정보 (Bv, Ev), 이미지의 고주파 정보, White balance에 사용된 white balance gain(Red, Blue gain) 등을 포함한다. 여기서 상기 제어부100은 상기 제1촬영정보가 상기 프레임 이미지와 함께 저장된 상태이면 상기 제2촬영정보를 해당 프레임의 상기 제1촬영정보 다음에 저장한다. 그러나 상기 제1촬영정보가 저장되지 않은 경우에는 상기 제1촬영정보와 통합하여 해당 프레임 이미지 영역에 이때 상기 촬영정보는 캡쳐 모드시 이미지와 함께 처리될 수 있다. 그리고 상기 촬영정보는 이미지처리의 후처리 과정에서 사용된다.

본발명의 실시예에서 상기 1촬영정보 및 제2촬영정보를 통합하여 저장하는 것으로 가정한다.

이후 상기 제어부100은 1215단계에서 상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하며, 또한 상기 획득된 제1촬영정보 및 제2촬영정보를 통합하여 상기 버퍼130에 저장하며, 이때 상기 통합 촬영정보의 위치는 해당 프레임의 이미지가 저장된 버퍼 위치가 될 수 있다. 즉, 상기한 바와 같이 제1촬영정보 및 제2촬영정보는 서로 다른 프레임 구간에 발생되는데, 본 발명의 실시예에서는 프레임 이미지가 저장된 위치에 해당 프레임 이지와 함께 상기 촬영정보를 저장한다. 상기 촬영정보는 캡쳐 모드시 이미지와 함께 처리될 수 있다. 그리고 상기 촬영정보는 이미지처리의 후처리 과정에서 사용된다.

그리고 상기 제어부100은 1217단계에서 상기 표시이미지 사이즈로 스케일링된 이미지를 후처리하며, 1219단계에서 상기 후처리된 이미지를 출력하여 프리뷰 이미지로 표시한다.

상기와 같은 프리뷰 모드는 카메라 구동 후 캡쳐 모드가 요구되거나 또는 카메라 구동을 종료하지 않으면 계속적으로 반복수행된다. 그리고 상기 프리뷰 모드에서 캡쳐요구가 발생되면, 상기 제어부100은 1115단계에서 이를 감지하고, 1117단계에서 상기 버퍼130을 제어하여 캡쳐 요구에 따른 이미지 및 촬영정보를 선택하여 출력한다. 이때 상기 이미지는 제로 셔터렉의 프레임 이미지, 플래시를 사용하여 촬영한 이미지인 경우에는 촬영정보에서 플래시가 구동된 프레임의 이미지, 브라켓 촬영인 경우에는 브라켓 촬영된 복수의 프레임 이미지들이 될 수 있다. 그리고 상기 제어부100은 1119단계에서 상기 버퍼130에서 출력되는 프레임 이미지를 이미지처리부120에 출력하여 처리하도록 하는 동시에 해당 프레임의 촬영정보를 이미지처리부120에 출력하여 이미지 처리과정에서 촬영정보를 이용하여 이미지를 처리하도록 제어한다. 이때 처리되는 이미지는 정지 이미지가 될 수 있으며, 상기 제어부100은 1121단계에서 상기 이미지처리된 정지이미지를 압축부호화한 후 저장부에 저장한다.

상기와 같은 이미지처리부는 카메라를 구비하는 휴대단말기 및 카메라장치에서 사용할 수 있다. 도 13은 본 발명의 실시예에 따른 이미지처리방법을 사용하는 휴대단말기의 구성을 도시하는 도면이며, 도 14는 본 발명의 실시에에 따른 이미지처리방법을 사용하는 카메라장치의 구성을 도시하는 도면이다.

상기 도 13을 참조하면, 카메라1320은 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다.

이미지처리부1330은 상기 카메라부1320으로부터 획득되는 이미지를 처리하여 표시부13400에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 캡쳐 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 캡쳐이미지는 압축 부호화된 이미지로써 JPEG 이미지가 될 수 있다. 상기 이미지처리부1330은 상기 카메라1320에서 획득되는 이미지를 상기 표시부1340에 표시하기 위한 크기로 이미지 스케일링하며, 상기 표시부1340에 표시될 수 있도록 YUV 이미지로 변환한다. 또한 상기 이미지처리부1330은 상기 카메라1320에서 출력되는 풀해상도 이미지를 버퍼링하며, 셔터온 시 셔터 지연시간을 보상하는 프레임 이미지를 선택하여 압축 부호화한다. 여기서 상기 캡쳐 이미지는 카메라1320의 풀해상도를 가지는 이미지가 될 수 있다. 상기 이미지처리부1330은 매 프레임 주기에서 상기 표시이미지를 생성하며, 캡쳐 이미지를 버퍼링한다. 또한 상기 캡쳐 이미지를 버퍼링할 때, 캡쳐 이미지의 프레임에서 획득되는 제1촬영정보 및 제2촬영정보를 해당 이미지와 함께 저장한다.

어플리케이션 처리부1300은 카메라 구동시 상기 이미지처리부1330에서 생성되는 표시이미지를 버퍼링하며, 또한 캡쳐 요구시 상기 표시이미지 및 캡쳐이미지를 버퍼링한다. 그리고 상기 어플리케이션처리부1300은 상기 버퍼링되는 표시이미지를 표시부1340에 출력하여 표시되도록 제어하며, 캡쳐 요구시 버퍼링된 캡쳐이미지를 저장부1310에 저장한다.

상기 입력부1350은 상기 어플리케이션처리부1300에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 표시부1340은 프리뷰 모드시 상기 어플리케이션처리부1300에서 출력되는 표시 이미지를 표시한다. 여기서 상기 입력부1350은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부1340은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부1350 및 표시부1340은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부1350은 휴대단말기의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부1310은 캡쳐 요구시 상기 어플리케이션 처리부1300에 출력되는 캡쳐이미지를 저장한다.또한 상기와 같은 구성을 가지는 휴대단말기의 경우, 상기 어플리케이션처리부1300은 통신부1360을 구비할 수 있다. 이런 경우 상기 통신부1360은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부1360은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter)와, 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있고, 또는 이런 복수의 변복조부들을 구비할 수 있다. 상기 통신부1360을 구비하는 경우, 상기 어플리케이션처리부1300은 통신처리부(mobile processor: MP) 및 어플리케이션처리부(application processor)로 구성될 수 있다.

또한 도 14를 참조하면, 카메라1420은 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다.

이미지처리부1400은 상기 카메라부1420으로부터 획득되는 이미지를 처리하여 표시부1440에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 캡쳐 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 캡쳐이미지는 압축 부호화된 이미지로써 JPEG 이미지가 될 수 있다. 상기 이미지처리부1400은 상기 카메라1420에서 획득되는 이미지를 상기 표시부1440에 표시하기 위한 크기로 이미지 스케일링하며, 상기 표시부1440에 표시될 수 있도록 YUV 이미지로 변환한다. 또한 상기 이미지처리부1400은 상기 카메라1420에서 출력되는 풀해상도 이미지를 버퍼링하며, 셔터온 시 셔터 지연시간을 보상하는 프레임 이미지를 선택하여 압축 부호화한 후 상기 저장부1410에 저장한다. 여기서 상기 캡쳐 이미지는 카메라1420의 풀해상도를 가지는 이미지가 될 수 있다. 상기 이미지처리부1400은 매 프레임 주기에서 상기 표시이미지를 생성한 후, 이를 표시부1440을 통해 표시한다. 또한 상기 프리뷰모드에서 캡쳐 이미지를 버퍼링하며, 상기 캡쳐 이미지를 버퍼링할 때, 캡쳐 이미지의 프레임에서 획득되는 제1촬영정보 및 제2촬영정보를 해당 이미지와 함께 버퍼링한다.

상기 입력부1450은 상기 이미지처리부1400의 제어하에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 표시부1440은 프리뷰 모드시 이미지처리부1400에서 출력되는 표시 이미지를 표시한다. 여기서 상기 입력부1450은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부1440은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부1450 및 표시부1440은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부1450은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부1410은 캡쳐 요구시 상기 이미지처리부1400에 출력되는 캡쳐이미지를 저장한다.상기 도 13과 같은 구성을 가지는 휴대단말기 및 도 14와 같은 구성을 가지는 카메라 장치의 경우, 상기 이미지처리부1330 및 1400은 상기 도 5, 도 7 또는 도 9와 같은 구성을 가질 수 있다. 그리고 프리뷰 모드시 상기 이미지처리부1330 및 1400은 프레임 이미지를 버퍼링하는 동시에 버퍼링된 해당 프레임의 이미지에 관련된 제1촬영정보 및 제2촬영정보를 획득하여 상기 버퍼링할 수 있다. 여기서 상기 제1촬영정보는 카메라1320의 제어 및 동작에 관련된 촬영정보이며, 상기 제2촬영정보는 이미지 처리 과정에서 획득되는 촬영정보가 된다. 상기 이미지처리부1330 및 1400은 프리뷰 모드에서 프리뷰 이미지를 처리할 때, 캡쳐 모드시 처리할 카메라132의 풀해상도 이미지와 촬영정보들(해당 프레임의 이미지에서 획득되는 제1촬영정보(카메라의 구동에 관련된 촬영정보) 및 제2촬영정보(이미지처리부에서 획득되는 촬영정보))을 저장한다. 이때 동일 프레임 이미지에서 획득되는 상기 제1촬영정보 및 제2촬영정보는 상기한 바와 같이 프레임 지연되어 서로 다른 프레임 구간에서 획득된다. 본 발명이 실시예에서는 상기 촬영정보들을 통합하여 해당 프레임의 이미지와 함께 버퍼의 동일 프레임 영역에 버퍼링한다. 그리고 캡쳐 모드시 버퍼링된 이미지를 처리할 때 함께 저장된 촬영정보(즉, 동일한 프레임에서 획득된 촬영정보)를 이용하여 이미지 처리 동작을 수행할 수 있다. 본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (25)

1. 카메라 장치에 있어서,
   제1촬영정보에 의해 구동되어 이미지를 촬영하는 카메라와,
   프레임 이미지들을 저장하는 버퍼와,
   프리뷰모드시 상기 카메라에서 출력되는 이미지를 처리하며, 이미지 처리과정에서 제2촬영정보를 획득하며, 캡쳐모드시 상기 버퍼에서 출력되는 이미지를 해당 프레임의 촬영정보에 의해 처리하는 이미지처리부와,
   프리뷰 모드시 상기 카메라를 제어하기 위한 제1촬영정보를 출력하고, 상기 제1촬영정보 및 제2촬영정보를 대응되는 프레임 이미지와 상기 버퍼에 저장하며, 캡쳐모드시 설정된 프레임 이미지 및 대응되는 촬영정보를 상기 이미지처리부에 출력하는 제어부로 구성된 것을 특징으로 하는 장치.
2. 제1항에 있어서, 상기 버퍼는 설정된 수의 프레임 데이터들을 저장할 수 있는 프레임버퍼들을 구비하는 링버퍼이며, 각 프레임 버퍼는 프레임 이미지 및 제1 및 제2촬영정보들을 저장하는 것을 특징으로 하는 장치.
3. 제2항에 있어서, 상기 제어부는 서로 다른 프레임 구간에서 획득되는 제1촬영정보 및 제2촬영정보를 통합하는 촬영정보발생부를 구비하며, 상기 촬영정보발생부에서 출력되는 통합촬영정보를 상기 버퍼의 대응되는 프레임 이미지를 버퍼에 저장하는 것을 특징으로 하는 장치.
4. 제3항에 있어서, 제1촬영정보는 상기 카메라의 노출시간, 게인, 플래시 구동정보를 포함하며, 상기 제2촬영정보는 Bv,Ev, 화이트밸런스 등을 포함하는 것을 특징으로 하는 장치.
5. 제4항에 있어서, 상기 제1촬영정보는 상기 카메라에 출력되는 타임스탬프 및 프레임카운터를 더 구비하는 것을 특징으로 하는 장치.
6. 제2항에 있어서, 상기 제어부가,
   프리뷰 모드시 매 프레임 구간에서 상기 카메라에서 출력되는 이미지를 버퍼의 프레임버퍼에 저장하며, 상기 제1 및 제2촬영정보를 통합하여 대응되는 프레임 버퍼에 이미지와 함께 저장되도록 제어하며,
   캡쳐모드시 설정된 프레임 버퍼의 이미지 및 통합촬영정보를 이미지처리부에 출력하는 것을 특징으로 하는 장치.
7. 제6항에 있어서, 상기 설정된 프레임 버퍼는 제로셔터렉의 프레임 이미지 및 촬영정보를 저장하는 프레임 버퍼인 것을 특징으로 하는 장치.
8. 제6항에 있어서, 상기 설정된 프레임버퍼는 플래시 온 정보를 저장하는 프레임버퍼인 것을 특징으로하는 장치.
9. 제6항에 있어서, 상기 설정된 프레임버퍼는 브라켓 촬영이 연속으로 촬영된 이미지 및 촬영정보를 저장하는 프레임버퍼들인 것을 특징으로 하는 장치.
10. 제6항에 있어서, 상기 이미지처리부는
    상기 이미지를 전처리하고 전처리 과정에서 제2촬영정보를 추출하는 전처리부와,
    상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하는 스케일러와,
    상기 이미지를 색보간 및 색변환하여 후처리하는 후처리부로 구성되며,
    상기 제어부의 제어에 의해 프리뷰모드시 상기 전처리부, 스케일러 및 후처리부가 프리뷰 이미지를 생성하며, 캡쳐모드시 상기 전처리부는 설정된 프레임 버퍼의 이미지를 입력하여 전처리하고 후처리부는 상기 전처리된 이미지를 상기 촬영정보를 이용하여 후처리하는 것을 특징으로 하는 장치.
11. 제6항에 있어서, 상기 이미지처리부는
    상기 이미지를 전처리하여 상기 버퍼에 저장하고 전처리 과정에서 제2촬영정보를 추출하는 전처리부와,
    상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하는 스케일러와,
    상기 이미지를 색보간 및 색변환하여 후처리하는 후처리부로 구성되며,
    상기 제어부의 제어에 의해 프리뷰모드시 상기 전처리부, 스케일러 및 후처리부가 프리뷰 이미지를 생성하며, 캡쳐모드시 상기 후처리부는 상기 버퍼에서 출력되는 이미지를 상기 촬영정보를 이용하여 후처리하는 것을 특징으로 하는 장치
12. 제6항에 있어서, 상기 이미지처리부는
    상기 카메라에서 출력되는 이미지를 전처리하여 상기 버퍼에 저장하고 전처리 과정에서 제2촬영정보를 추출하는 전처리부와,
    상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하는 스케일러와,
    상기 스케일링된 이미지를 색보간 및 색변환하여 후처리하는 제1후처리부와,
    상기 버퍼에 출력되는 이미지를 색보간 및 색변환하여 후처리하는 제2후처리부로 구성되며,
    상기 제어부의 제어에 의해 프리뷰모드시 상기 전처리부, 스케일러 및 제1후처리부가 프리뷰 이미지를 생성하며, 캡쳐모드시 상기 제2후처리부가 상기 버퍼에서 출력되는 이미지를 상기 촬영정보를 이용하여 후처리하는 것을 특징으로 하는 장치
13. 카메라 장치의 이미지처리 방법에 있어서,
    프리뷰 모드에서 카메라의 구동을 제어하는 제1촬영정보 및 이미지처리시 획득되는 제2촬영정보를 획득하며, 대응되는 프레임 이미지와 함께 상기 촬영정보를 저장하는 프리뷰 이미지 처리과정과,
    캡쳐 모드에서 상기 저장된 프레임 이미지들 중에서 선택된 프레임 이미지를 상기 촬영정보를 이용하여 처리한 후 정지이미지로 저장하는 정지이미지 처리과정으로 이루어짐을 특징으로 하는 방법.
14. 제13항에 있어서, 상기 프리뷰 이미지 처리과정은
    매 프레임 구간에서 상기 카메라에서 출력되는 이미지를 저장하며, 상기 이미지를 촬영시의 카메라 제어정보를 제1촬영정보로 획득하는 과정과,
    상기 카메라에서 출력되는 이미지를 처리하며, 이미지처리에 따른 상기 이미지를 처리하며, 이미지 처리에 따른 제2촬영정보를 획득하는 과정과,
    대응되는 프레임의 이미지를 저장하는 버퍼에 획득된 제1 및 제2촬영정보를 함께 저장하는 과정으로 이루지며,
    상기 버퍼는 각각 프레임 이미지 및 촬영정보들을 저장하는 복수의 프레임버퍼들로 구성되는 것을 특징으로 하는 방법.
15. 제14항에 있어서, 상기 정지이미지 처리 과정은
    상기 버퍼에서 선택된 프레임의 이미지를 출력하며, 선택된 프레임에 대응되는 프레임의 촬영정보를 이용하여 정지 이미지 처리하는 과정과,
    이미지처리된 정지이미지를 정지이미지를 압축부호화하여 저장하는 과정으로 이루어짐을 특징으로 하는 방법.
16. 제15항에 있어서, 제1촬영정보는 상기 카메라의 노출시간, 게인, 플래시 구동정보를 포함하며, 상기 제2촬영정보는 Bv,Ev, 화이트밸런스 등을 포함하는 것을 특징으로 하는 방법.
17. 제16항에 있어서, 상기 제1촬영정보는 상기 카메라에 출력되는 타임스탬프 및 프레임카운터를 더 구비하는 것을 특징으로 하는 방법.
18. 제14항에 있어서, 상기 제1 및 제2촬영정보를 저장하는 과정이
    상기 제2촬영정보 획득시 상기 제1촬영정보와 상기 제2촬영정보를 통합하여 대응되는 프레임 이미지를 저장하는 버퍼에 저장하는 것을 특징으로 하는 방법.
19. 제15항에 있어서, 상기 선택된 프레임은 캡쳐 요구 시점에서 제로셔터렉의 프레임인 것을 특징으로 하는 방법.
20. 제15항에 있어서, 상기 선택된 프레임은 상기 제1촬영정보에서 플래시 온 정보를 저장하는 프레임인 것을 특징으로 하는 방법.
21. 제15항에 있어서, 상기 선택된 프레임은 브라켓 촬영이 연속으로 촬영된 이미지 및 촬영정보를 저장하는 프레임들인 것을 특징으로 하는 방법.
22. 제13항에 있어서,
    상기 프리뷰이미지처리과정은
    카메라에서 획득되는 이미지 및 카메라의 구동에 따른 촬영정보를 제1촬영정보를 동일한 프레임버퍼에 저장하는 과정과,
    상기 이미지를 전처리하며, 전처리 과정에서 제2촬영정보를 추출하여 상기 이미지와 동일한 프레임버퍼에 저장하는 전처리과정과,
    상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하는 스케일링과정과,
    상기 이미지를 색보간 및 색변환하여 후처리하는 후처리과정으로 이루어지며,
    상기 정지이미지처리과정은
    선택된 프레임 버퍼의 이미지를 전처리하는 과정과,
    전처리된 이미지를 동일 프레임의 제1 및 제2촬영정보를 이용하여 후처리하는 과정과,
    후처리된 이미지를 압축부호화하여 정지이미지로 저장하는 과정으로 이루어짐을 특징으로 하는 방법.
23. 제13항에 있어서,
    상기 프리뷰이미지처리과정은
    카메라를 구동하여 이미지를 촬영하고, 상기 카메라의 구동에 따른 촬영정보를 제1촬영정보로 획득하는 과정과,
    촬영된 이미지를 전처리하며, 전처리 과정에서 제2촬영정보를 추출하고, 상기 전처리된 이미지, 제1촬영정보 및 제2촬영정보를 동일한 프레임 버퍼에 저장하는 전처리과정과,
    상기 전처리된 이미지를 표시이미지 사이즈로 스케일링하는 스케일링과정과,
    상기 이미지를 색보간 및 색변환하여 후처리하는 후처리과정으로 이루어지며,
    상기 정지이미지처리과정은
    프레임 버퍼를 선택하는 과정과,
    선택된 프레임버퍼의 이미지를 상기 제1 및 제2촬영정보를 이용하여 후처리하는 과정과,
    후처리된 이미지를 압축부호화하여 정지이미지로 저장하는 과정으로 이루어짐을 특징으로 하는 방법.
24. 휴대단말기에 있어서,
    제1촬영정보에 의해 구동되어 이미지를 촬영하는 카메라와,
    프리뷰 및 정지이미지를 표시하는 표시부와,
    프리뷰 및 캡쳐 모드 신호를 발생하는 입력부와,
    프레임 이미지들을 저장하는 버퍼를 구비하며, 프리뷰모드시 상기 카메라에서 출력되는 이미지를 표시이미지로 처리하며, 이미지 처리과정에서 제2촬영정보를 획득하며, 상기 버퍼에 동일 프레임의 이미지와 제1 및 제2촬영정보를 저장하며, 캡쳐모드시 상기 버퍼에서 출력되는 이미지를 해당 프레임의 촬영정보에 의해 정지이미지로 처리하는 이미지처리부와,
    상기 입력부의 출력에 의해 상기 이미지처리부의 프리뷰모드 또는 캡쳐모드를 제어하며, 상기 표시부를 제어하여 이미지처리부에서 출력되는 표시 이미지 또는 정지이미지를 표시하는 어플리케이션제어부와,
    상기 어플리케이션처리부의 제어에 의해 상기 정지이미지를 저장하는 저장부와,
    상기 어플리케이션제어부에 의해 외부장치와 무선 통신을 수행하는 통신부로 구성된 것을 특징으로 하는 장치.
25. 카메라장치있어서,
    제1촬영정보에 의해 구동되어 이미지를 촬영하는 카메라와,
    프리뷰 및 캡쳐 모드 신호를 발생하는 입력부와,
    프레임 이미지들을 저장하는 버퍼를 구비하며, 상기 입력부에 의해 프리뷰모드시 상기 카메라에서 출력되는 이미지를 표시이미지로 처리하며, 이미지 처리과정에서 제2촬영정보를 획득하여 상기 버퍼에 동일 프레임의 이미지와 제1 및 제2촬영정보를 저장하며, 캡쳐모드시 상기 버퍼에서 출력되는 이미지를 해당 프레임의 제1 및 제2 촬영정보에 의해 처리하여 정지이미지를 생성하는 이미지처리부와,
    상기 이미지처리부에서 출력되는 정지이미지를 저장하는 저장부와,
    상기 이미지처리부에 의해 상기 표시 이미지 및 정지이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 장치.

Images