KR101005248B1

KR101005248B1 - 정보단말

Info

Publication number: KR101005248B1
Application number: KR1020047021472A
Authority: KR
Inventors: 아츠미에이지; 신가즈노부
Original assignee: 노키아 코포레이션
Priority date: 2002-06-28
Filing date: 2003-06-27
Publication date: 2011-01-04
Also published as: WO2004004361A1; EP1530377A4; CN100505891C; KR20050014894A; US7817850B2; EP1530377A1; JPWO2004004361A1; US20060101080A1; CN1675935A; JP4460447B2

Abstract

사용 상황이나 사용 목적에 맞는 화상처리를 수행할 수 있는 정보단말을 제공한다. 재시행 모듈(107)이 기동되면 제거수단(107a)은 베이어 형식 모듈에 실행되고 있는 보간연산처리의 일부 또는 전부를 제거한다. 그 후 제거가 완료된 데이터는 색보간수단(107b)으로 넘겨지고 다른 색보간연산처리를 실행하여 화질보정수단(107c)으로 넘긴다. 화질보정수단(107c)은 다른 화질보정처리를 실행하여 JPEG 부호화 수단(109)으로 넘긴다.

Description

정보단말{Information terminal}

본 발명은 정보단말에 관한 것으로서 구체적으로는 보간장치를 갖춘 정보단말에 관한 것이다.

최근 카메라가 장착된 정보단말이 보급되어 해당 정보단말은 화상촬영이나 열람, 화상통신을 위한 수단으로도 활용되고 있다.

예를 들면 카메라폰은, 카메라로 촬영한 화상은 첨부파일로서 메일 본문과 함께 송신되거나 실시간 통신(화상전화)에 이용되거나 사용자 본인이 프린트 출력하는 등 다방면에 걸쳐 사용된다. 또 다른 사람으로부터 수신한 화상이나 서버로부터 다운로드한 화상도 마찬가지라고 말할 수 있다.

따라서 원래라면 상기 촬영화상이나 수신화상은 그 용도에 따라 화질이나 처리에 필요한 속도, 즉 연산량 내지 실행 메모리량을 변화시킬 수 있는 쪽이 더욱 사용하기 편리하여 바람직하다.

예컨대 도 5에 도시한 바와 같이 촬영화상을 실시간 통신에 사용할 때에는 "화질보다도 처리속도가 우선시"된다. 이에 반해 촬영화상을 프린트 출력하는 경우에는 "처리속도보다 화질이 우선시"되는 것이 사용자에게 바람직하다.

그러나 종래의 휴대전화기는 사용자의 기호나 용도에 상관없이 일정한 화질·일정한 처리속도를 제공하는 데 그치는 것이 일반적이었다.

또 휴대전화기로 대표되는 정보단말에서는 카메라의 소형화, 저소비전력화, 저가격화가 필수이기 때문에 상기에 해당하는 적응적 화상처리를 구비한 카메라를 탑재하는 것은 쉽지 않았다.

또 정보단말의 프로세서에 대해서도 소형, 저소비전력, 저가격화가 필수이기 때문에 통상 카메라에 탑재되는 화상처리 모두를 동일 프로세서로 이행시킴으로써 카메라 화상처리의 적응성을 보증하고자 하는 시도는 일반적이지 않았다.

본 발명은 이상의 점을 고려하여 이루어진 것으로서, 카메라 및 정보단말의 프로세서로의 변경을 최소한으로 억제하고 저비용으로 단시간에 사용 상황 및 카메라 및 정보단말에서의 화상촬영 처리에 관한 연산처리량 및 연산에 필요한 실행 메모리량 등 각종 조건에 따라 화질·처리속도를 적응적으로 변경할 수 있는 정보단말을 제공하는 것을 목적으로 한다.

또 본 발명은 카메라 DSP에서의 간소화된 실행처리에 따른 영향을 줄이고 화상의 고화질화를 꾀할 수 있는 정보단말을 제공하는 것을 목적으로 한다.

또 본 발명은 동일 성능의 카메라를 탑재하는 정보단말보다도, 사용 상황 등에 따라 적응적으로 화질을 1단계 향상시키는 기능을 갖는 정보단말을 제공하는 것을 목적으로 한다.

또 본 발명은 정보단말에 탑재되는 카메라 모듈의 하드웨어 아키텍쳐를 변경하거나 카메라 DPS의 하드웨어 규모를 증강시키지 않고 화상의 양질화를 실현할 수 있게 하는 정보단말을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위해 본원 제1발명의 정보단말은, 입력화상 데이터에 연산처리를 실행하여 출력화상 데이터를 작성하는 데이터 연산처리수단과, 출력화상 데이터로부터 입력화상 데이터에 실행된 일련의 연산처리 일부 또는 모든 단계를 제거하는 제거수단과, 제거수단에 의해 얻어진 데이터에 다른 연산처리단계를 실행하여 출력화상 데이터를 작성하는 데이터 처리수단을 구비하는 것을 특징으로 한다.

상기 정보단말의 입력화상 데이터란, 구체적으로 칼라 카메라용 단판 이미지센서에서 일반적으로 이용되는 레드, 블루, 그린의 화소배열인 RGB 베이어(Bayer) 배열에 기초한 칼라화상 데이터이다.

상기 정보단말의 데이터 처리수단이란, 구체적으로는 보간연산 처리를 위한 수단으로서 더욱 구체적으로는 R, G 또는 B화소 각각에 대해, 센서의 출력시에는 센서 표면에 중첩된 색필터에 의해 제거되어 있는 G와 B, R과 B, R과 G 각각을 동일색의 인접화소의 값을 기초로 최근방법(最近傍法), 직선근사법 또는 3차원 회선(回旋)(Convolution)법에 의한 보간처리를 실행하기 위한 수단이다.

상기 정보단말에서 입력화상 데이터에 불가역적 처리가 실행되고 출력화상 데이터가 작성되어 있는 경우에도 제거수단은 역함수 변환을 실행하여 입력 데이터에 실행된 보간연산처리의 일부 또는 전부를 제거하는 것이 바람직하다.

상기 정보단말에서 데이터 처리수단은 에지강조를 재차 실행하는 것이 바람직하다.

또 본원 제2발명의 정보단말은 이미지 센서를 가지며 이미지 센서의 출력신호를 디지털화하여 제1베이어 형식 데이터를 작성하고 제1베이어 형식 데이터로부터 제1알고리즘을 이용하여 제1화상 데이터를 작성하여 제1화상 데이터를 송신하는 카메라 모듈과, 주기억장치를 가지며 카메라 모듈로부터 송신된 제1화상 데이터를 수신하고, 수신한 제1화상 데이터를 주기억장치에 저장하고 주기억장치로부터 제1화상 데이터를 독출하고, 독출한 제1화상 데이터로부터 제2베이어 형식 데이터를 추출하고, 제2베이어 형식 데이터로부터 제2알고리즘을 이용하여 제2화상 데이터를 작성하는 호스트 모듈을 구비한 것을 특징으로 한다.

상기 제1화상 데이터 또는/및 상기 제2화상 데이터는 RGB 형식 또는 YUV 형식인 것이 바람직하다.

상기 제1화상 데이터는 데이터 압축된 형식인 것이 바람직하다.

상기 호스트 모듈은 프린터로 데이터를 출력하는 데이터 출력부를 구비하며 제2화상 데이터를 데이터 출력부를 통해 프린터로 출력하는 것이 바람직하다.

도 1은 본 발명의 실시형태인 재시행 모듈 주변의 기능블럭도이다.

도 2는 본 발명의 실시형태인 재시행 모듈 주변의 기능블럭도이다.

도 3은 본 발명의 실시형태인 재시행 모듈 주변의 기능블럭도이다.

도 4는 본 발명의 실시형태인 재시행 모듈의 흐름도이다.

도 5는 정보단말의 사용목적과 요구항목의 관계를 나타낸 도면이다.

도 6은 보간연산처리의 제1수법을 설명하기 위한 도면이다.

도 7은 보간연산처리의 제2수법을 설명하기 위한 도면이다.

도 8은 보간연산처리의 제3수법을 설명하기 위한 도면이다.

도 9는 카메라폰의 외관도이다.

도 10은 카메라폰의 하드웨어 구성도이다.

도 11은 화상 데이터의 구축·재구축을 설명하기 위한 도면이다.

도 12는 사진촬영모드의 흐름도이다.

1. 제1실시형태

이하 첨부도면을 참조하면서 본 발명의 제1실시형태를 설명하기로 한다.

(1) 촬영화상을 부호화할 때의 설명

도 1은 본 발명의 실시형태를 설명하기 위한 기능블럭도로서, 본 발명에 따른 정보단말을 구성하는 모듈 중 본 발명을 설명할 때 필요한 모듈만 도시한 도면이다. 본 실시형태는 촬영화상을 소정 형식(도 1의 경우 JPEG형식)으로 부호화하여 저장·송신하는 경우의 것이다.

카메라 모듈(103)은 센서와 카메라 DSP를 구비하고 있다. 센서는 예컨대 블루(B), 그린(G), 레드(R)광의 3원색에 대응한 칼라필터를 가지며 해당 필터에서는 G가 바둑판 모양으로, R과 B가 선순차(line-sequential)로 배치되어 있다. 이 배치를 본 명세서에서는 베이어(Bayer) 배열이라 부른다. 베이어 배열의 칼라필터를 이용한 칼라모듈에서 출력되는 화상데이터도 베이어 배열을 갖는다.

사용자가 피사체에게 렌즈(101)를 향해 셔터를 누르면 센서에 의해 검출된 피사체에 대응하는 베이어 배열을 갖는 화상데이터가 생성되고 카메라 DSP가 색보정수단, 감마보정수단, 색보간수단, 에지강조처리 등을 포함하는 화질보정수단으로 이루어진 연산처리를 실시한다.

여기서 상기 연산처리란, 베이어 배열을 갖는 화상 데이터 각각의 색성분, 즉 R성분, G성분 및 B성분을 취출한 후 색보정수단에서 각 색성분의 밸런스를 조정하고, 감마보정수단으로 각 색성분의 각 화소값을 변환식 내지 룩업테이블을 이용하여 각각 개별적으로 변환하고 색보간수단으로 각각의 성분별 각 화소위치에서 부족한 색성분을 동일 화소의 근방화소 중 동일한 색성분을 갖는 화소로 보간처리함으로써 이미지 센서 위에 중첩된 칼라필터에 의해 필터아웃된 색성분을 모든 화소에서 복원하는 것이다.

이 경우 카메라 DSP가 갖는 연산처리능력은, 칩면적을 최소화하고 소형화, 저비용화가 추구되기 때문에 연산처리량 또는 화상처리를 위한 라인메모리로 대표되는 실행 메모리량을 많이 필요로 하는 복잡한 연산이 불가능하며 가능한 경우라 해도 시간이 걸리거나 후단(後段)에서 처리결과를 받는 처리단계와의 동기 등이 손상되는 등 문제를 일으킬 염려가 있다.

따라서 이 단계에서 가능한 색보정처리수단, 감마보정처리수단, 색보간처리수단은 연산처리 및 실행 메모리량을 최대한 삭감한 것이 된다. 그 중에서도 실행메모리량, 연산처리량 모두 카메라 화상처리 중에서 가장 리소스를 필요로 하는 처리수단 중 하나인 색보간처리수단에 대해서는, 예컨대 인접화소와의 선형보간법을 이용하여 실현하는 사례를 들 수 있다.

마찬가지로 처리 리소스의 소비가 상대적으로 큰 에지강조처리에 대해서도,실행메모리량 및 연산량을 최소화하기 위해 수평방향으로 길고 수직방향으로 짧은 탭수를 갖는 에지강조필터를 이용하여 보다 적은 라인메모리수로 처리하는 사례가 많다.

상기 각종 처리수단을 거친 화상 데이터에는 화질보정처리가 몇가지 더 실행되어 카메라 처리를 대충 끝낸 후 화상 데이터의 축적을 목적으로 할 때에는 JEPG 등의 압축처리를 실행하여 압축화상 데이터(이하 처리완료 데이터라 칭한다)로서 기억수단(111)으로 출력된다. 또 화상 데이터의 표시를 목적으로 할 때에는 표시수단(113)의 화소수, 색수 등의 제약에 최적화를 꾀하기 위해 화질보정처리를 실행하여 표시수단(113)으로 출력된다.

재시행 모듈(107)은 제거수단(107a), 색보간수단(107b) 및 화질보정수단(107c)으로 구성되어 있으며 카메라 모듈에서 출력되는 데이터, 즉 처리완료 데이터가 제거수단(107a)으로 넘겨진다.

재시행 모듈(107)이 기동되면 제거수단(107a)는 처리완료 데이터에 실행되고 있는 카메라 DSP에서의 화상처리연산의 일부 또는 전부를 제거한다. 여기에서 제거되는 처리는 예컨대 베이어 배열의 화상 데이터에 실행한 색보간처리 및/또는 기타 고화질화 처리의 대표적인 단계인 에지강조처리이다.

보간처리 완료된 데이터로부터 해당 보간처리를 제거하면 베이어 배열의 데이터로 복원된다. 여기에서 해당 보간처리를 제거한다는 것은, 일련의 카메라 처리 를 거쳐 얻어진 칼라화상의 R, G, B 각 성분에 대해 이미지 센서의 베이어 배열의 R, G, B 행렬에 해당하는 형식이 되도록 감소처리를 실행하는 것을 나타낸다.

색보간처리에 의해 만들어진 각 화소의 색성분을 한번 리셋함으로써 카메라 DSP에 탑재되어 있는 색보간처리 및 고화질화처리의 제약을 최소화한다.

그 후 제거 완료된 데이터는 화질보정수단(107c)으로 넘겨지고 재시행 모듈(107)은 해당 카메라 DSP의 색보간처리와는 다른 보간연산처리를, 필요한 경우에 카메라 DSP의 고화질화 처리에 포함되는 에지강조처리와는 다른 에지강조처리를 더 실행하여 JPEG 부호화수단(109)으로 넘긴다.

다른 보간연산처리의 수법으로서, 더욱 복잡한 처리연산량, 보다 많은 실행라인 메모리량을 필요로 하는 보간연산처리를 채용할 수 있다. 다른 고화질화처리에 포함되는 에지강조처리에 대해서도 마찬가지로 복잡한 처리연산량, 보다 많은 실행라인 메모리량을 필요로 하는 처리를 채용할 수 있다.

본 실시형태에서는 예컨대 카메라 DSP에서 최근방법에 의한 보간처리가 탑재되어 화상 데이터 2라인의 실행메모리에서 승산횟수 없이 보간처리가 이루어지며 재시행 모듈(107)에서 화상 5라인의 실행메모리에서 부동 소수점의 승산에 의해 구성되는 3차원 회선법에 의한 보간처리를 적용한다.

또 카메라 DSP에서의 보간처리는 화상의 1라인마다 수평방향 5화소의 탭수를 갖는 에지강조처리 필터로 이루어진 고화질화 처리를 탑재하고 재시행 모듈(107)에서 화상의 3라인마다 수평방향의 5화소 탭을 가지며 또 각 3×5화소 내 값의 조합에 따라 필터를 전환하는 타입의 에지강조필터로 이루어진 고화질화 처리를 탑재한 다.

물론 본 발명은 이들 특정 색보간처리 내지 에지강조처리에 한정되지 않으며 범용적인 처리 아키텍쳐이다.

본 실시형태에서는 보간연산처리의 재시행이 필요할 때에만 재시행 모듈(107)을 기동하고 재시행이 불필요할 때에는 카메라 모듈(103)에서 JPEG 부호화수단(109)으로 그대로 처리완료 데이터를 넘긴다.

재시행이 필요한지의 판단은 화상을 촬영한 직후에 정보단말에 탑재된 디스플레이 화면에 표시하여 육안으로 판단한다.

재시행 모듈(107)의 기동에 대해서는, 육안으로 판단하여 약간 희미하거나 에지부분이 엉성하여 화질이 불충분하다고 판단한 경우, 정보단말의 사용자 메뉴 또는 키버튼을 통해 실행된다.

물론 화질이 불충분한지의 판단을 자동 판정하는 처리수단, 자동 판정된 결과에 기초하여 자동으로 재시행 모듈(107)을 기동하는 처리수단을 부여하여 구성해도 좋다.

재시행 모듈(107)에서 보간처리, 에지강조처리로 대표되는 고화질화처리 모두 카메라 DSP 탑재의 처리와는 다른 처리를 사용해도 좋고 이들 일련의 처리 일부에만 다른 처리를 사용해도 좋다.

상기에서는 화상촬영 직후에 JPEG에 의한 압축처리를 하기 전 재시행 모듈(107)을 기동하는 가능성의 판정 및 재시행 모듈에 포함되는 처리를 실행하는 실시형태에 대해서 설명했는데 도 3에 도시한 바와 같이 이들 일련의 처리를 JPEG 압축 이 실행된 후의 화상에 실행해도 좋다.

즉 JPEG 압축된 화상 데이터에 대해 JPEG 복호화수단(305)에서 JPEG 복호처리를 실행하여 디스플레이에 표시하고 재시행 모듈(307)을 실행하여 그 결과를 처리완료 데이터로서 재차 JPEG 부호화수단(309)으로 넘겨도 좋다.

(2) 복호화 화상을 출력할 때의 설명

도 2는 본 발명의 다른 실시형태를 설명하기 위한 기능블럭도로서, 본 발명에 따른 정보단말을 구성하는 모듈 중 본 발명을 설명하기 위해 필요한 모듈만을 도시한 도면이다. 본 실시형태는 소정 형식(도 2의 경우 JPEG 형식)으로 취득한 화상을 출력·저장하는 경우의 것이다.

여기에서는 JPEG 복호화수단(205)이 JPEG 화상을 복호화한 후 재처리를 실행하여 출력하는 경우를 예로 들어 설명하기로 한다.

재시행 모듈(207)은 제거수단(207a), 색보간수단(207b) 및 화질보정수단(207c)으로 구성되어 있으며 JPEG 복호화 수단(205)에서 제거수단(207a)으로 JPEG 복호된 화상 데이터가 넘겨진다.

재시행 모듈(207)이 기동되면 제거수단(207a)은 복호 데이터에 실행되고 있는 보간연산처리(구체예로서 최근방보간) 및 에지강조처리를 포함하는 고화질화처리의 일부 또는 전부를 제거한다.

그 후 제거완료 데이터는 색보간수단(207b)으로 넘겨지고 색보간수단(207b)는 다른 보간연산처리 및 에지강조처리(구체예로서 1라인 5탭 고정의 에지강조필 터)를 실행하여 표시수단(213)으로 넘겨진다.

다른 보간연산처리 수법으로서 본 실시형태에서는 직선근사법, 3차원 회선법을 적용하는 사례를 들 수 있다. 또 다른 에지강조필터를 포함한 고화질화처리의 수법으로서 3라인 5탭 화상의 국소적인 특징에 적응적인 에지강조필터를 적용하는 사례를 들 수 있다.

본 실시형태에서는 보간연산처리의 재시행이 필요할 때 재시행 모듈(207)을 기동하고 재시행이 불필요할 때에는 JPEG 부호화수단(205)에서 표시수단(213)으로 그대로 데이터를 넘긴다. 또 에지강조처리의 재시행이 필요할 때에 재시행 모듈(207)을 기동하고 보간처리와 에지강조처리를 재시행하여 동일한 처리순서를 밟아도 좋다.

(3) 재시행 모듈의 처리동작

도 4는 재시행 모듈의 처리동작을 설명하기 위한 흐름도이다.

해당 모듈이 기동하면(S401) 우선 처음으로 입력 데이터에 실행되고 있는 보간연산처리, 에지강조처리를 포함한 고화질화 처리의 일부 또는 전부를 제거한다(S403).

통상 이들 일련의 연산처리는 여러 단계로 구성되어 있으며 모든 단계에서 실행한 처리를 제거할지 소정 단계에서 실행한 처리만 제거할지 상황에 따라 선택할 수 있다.

입력 데이터에 실행되는 처리에는, 가역에 가까운 처리부분과 불가역성이 높 은 처리부분이 있으며 불가역성이 높은 처리부분(예컨대 베이어 배열 데이터에 최근방법을 이용하여 보간처리를 실행하여 얻은 화상 중 보간되어 생긴 화소의 색성분)은 가역성이 높은 처리부분, 즉 베이어 배열 데이터에 보간처리를 실행하기 전에 원래부터 존재하고 있던 각 화소의 값에 의존하여 만들어진다.

보간되어 생긴 화소와 보간처리에 이용된 화소, 즉 베이어 배열에 상당하는 화소의 색성분을 분류하고 화소 데이터 자체로부터 오리지날인 베이어 배열의 데이터 정보를 복원할 수 있기 때문에 용이하게 보정연산처리를 제거할 수 있다.

또 실제 문제로는 베이어 배열에는 몇개의 변형이 존재한다. 따라서 어느 화소의 어느 색성분이 어느 베이어 배열에 상당하는 화소인지, 또는 보간되어 만들어진 화소인지에 대해서는 카메라 내의 이미지 센서의 베이어 배열의 패턴을 정보단말 내에 유지시켜 놓고 재시행 처리를 실행할 때 이 패턴을 참조할 필요가 있다.

또는 베이어 배열의 패턴을 화상 데이터에 부수되는 카메라 처리 파라미터로서 카메라 모듈에서 출력시키고 정보단말 내에는 화상데이터와, 상기 파라미터 정보를 구분하고 베이어 배열의 패턴을 추출하는 데이터 파서(Parser)를 설치함으로써 동일한 기능을 실현할 수 있다.

또 자신 이외의 정보단말로 촬영되어 첨부된 화상 데이터 또는 과거에 촬영하여 저장되어 있는 화상에 대해 동일한 처리를 실행하려면 화상 데이터와 함께 베이어 배열의 패턴을 유지하는 파일포맷 및 부가정보파일 등이 있으면 된다.

단 이용된 베이어 배열의 정확한 배열을 파악하지 않아도 디폴트의 베이어 배열을 가정하여 동일한 재시행 처리를 실행할 경우에도 화질개선의 실현은 가능하 다.

보정제거의 처리(S403)가 종료되면 새로 적용하는 보정연산처리 수법을 선택한다(S405). 수법 선택(S405)은 사용자가 수동으로 수행해도 좋고 사용 상황·각종 조건에 따라 단말측에서 자동으로 수행해도 좋다.

예컨대 여기에서 원래의 화상 데이터에 최근방법 등의 연산처리량 및 실행메모리량을 별로 소비하지 않는 보간처리가 되어 있는 경우에, 화질을 향상시키고 싶은 경우에는 더욱 자연스러운 화상을 얻을 수 있는 처리, 예컨대 직선근사법이나 3차원 회선법을 이용하여 재보간연산 처리를 실행할 수 있다(S409 또는 S411). 반대로 화질보다 처리속도를 우선시하고 싶을 때에는 최근방법을 이용하여 재보간연산 처리를 실행할 수 있다(S407). 또 에지강조가 필요한 경우에는 해당 처리를 실행하여(S415) 처리를 종료한다.

(4) 본 실시형태에서 적용하는 보간법에 대한 설명

도 6 및 도 8을 참조하여 최근방법, 직선근사법, 3차원 회선법에 대해 설명하기로 한다. 최근방법은 도 6에 도시한 바와 같이 화소(P1),(P2),(P3),(P4)를 갖는 화상 데이터에 대해 화소(P2) 및 (P3) 사이에 화소(P0)를 생성하는 경우 이 화소(P0)의 화소값에 최근방의 화소(P2)의 화소값을 복사하는 것이다(도 6(b) 참조). 따라서 연산처리량은 제로, 보간처리에 필요한 실행라인 메모리는 1라인으로 충분하다.

한편 도 8에 도시한 바와 같이 직선근사법은 화소값이 직선적으로 변화한다 고 가정하여 처리하는 방법으로서, 전후의 화소(P2)와 (P3)의 화소값을 양 화소의 거리에 따라 비례 배분함으로써 보간 대상(P0)의 화소값을 계산하는 것이다. 즉 화소피치를 정규화하여 표시하고 직전의 화소(P2)까지의 거리를 X로 하면 화소(P0)의 화소값은 다음 식에 도시한 근방 2화소(P2) 및 (P3)를 이용한 가중(weighting) 가산에 의해 표시된다. 여기에서는 1차원 방향에 대해 설명했으나 실제로는 화상의 수평, 수직방향으로 동일 처리가 실행된다. P0를 얻으려면 P2, P3의 2화소에 상당하는 화소가 수평, 수직방향으로 모두 필요하기 때문에 최저화상 2라인의 실행메모리가 필요하게 된다. 이하에서는 이해를 쉽게 하기 위해 수학식 1에서는 화소값을 대응하는 화소의 부호로 나타낸다.

Δp=X(P3-P2)

P0=Δp+P2

=X(P3-P2)+P2

=(1-X)P2+XP3

에에 반해 3차원 회선법은 소위 큐빅 컨벌루션(Cubic Convolution)으로서 화소값의 변화를 3차곡선에 근사하게 처리한다. 즉 3차원 회선법에서 도 7에 도시한 바와 같이 화소(P0)의 화소값은 다음 수학식 2에 도시하는 근방 4화소(P1)∼(P4)를 이용한 가중 가산에 의해 표시된다. 여기에서는 1차원 방향에 대해 설명했는데 실제로는 화상의 수평, 수직방향으로 동일한 처리가 실행된다. P0을 얻으려면 P1, P2, P3, P4의 4화소에 상당하는 화소가 수평, 수직방향 모두에 필요하기 때문에 최 저화상 4라인의 실행메모리가 필요하게 된다.

P0=k1·P1+k2·P2+k3·P3+k4·P4

여기에서 k1∼k4는 가중계수로서 다음 수학식 3의 보간함수 h(t)에 의해 구해진다. 여기에서 t는 각 화소(P1)∼(P4)와 연산대상인 화소(P0)와의 위치관계를 도시한 변수(t1)∼(t4)이며 상기 거리(X)를 이용하여 표시된다.

(a+2)┃t┃³-(a+3)┃t┃²+1 0≤┃t┃<1

h(t)= a┃t┃³-5a┃t┃²+8a┃t┃-4a 1≤┃t┃<2

0 2≤┃t┃

단 t1=1.0+X

t2=+X

t3=1.0-X

t4=2.0-X

최근방법은 전후의 화소간의 거리를 판정하여 화소값을 설정하는 처리일 뿐이기 때문에 처리속도가 매우 짧은 반면 화질이 열화되는 결점이 있다.

이에 반해 직선근사법은 수학식 1보다 2회의 승산과 1회의 가산이 필요하기 때문에 최근방법에 비해 연산처리량이 늘고 처리속도가 늦어져 실행라인 메모리에 대해서도 최소한 2라인을 필요로 하며 최근방법보다 많은 메모량을 필요로 하지만 최근방법에 비해 화질이 좋다는 특징이 있다.

또 3차원 가중법은 가중 가산의 처리만으로도 4회의 승산과 3회의 가산이 필요하기 때문에 이들 3가지 수법 중에서 가장 많은 연산횟수를 필요로 하며 따라서 처리속도가 가장 늦지만 화질이 가장 좋다는 특징이 있다.

따라서 재시행 모듈의 수법 선택(도 4의 S405)에서 상기 수법 중에서 최적의 수법을 선택함으로써 사용 상황이나 용도에 맞는 화질이나 처리속도를 실현할 수 있다.

2. 제2실시형태

이하 첨부 도면을 참조하면서 본 발명의 제2실시형태를 설명하기로 한다.

도 9는 본 발명을 적용한 카메라폰의 외관도이다. 카메라폰(1)은 표면에 디스플레이(2), 텐키(ten key)(3), 기능버튼(4), 안테나(5) 등을 구비하며 이면에는 카메라부(11), 배터리 커버(9) 등을 구비하고 있으며 또 이들을 일체로 지지하는 케이스(6)를 구비하고 있다. 또 외부의 프린트와 접속하기 위한 데이터 출력단자(41)를 구비하고 있다. 카메라폰(1)은 주지의 사실과 같이 매우 소형경량이며 한쪽손으로 들거나 핸드백에 넣어 가지고 다니기에 전혀 불편함이 없는 크기와 중량이다. 카메라부(11)는 렌즈(7)와 LED조명(8)을 구비하며 독립 케이스(10)를 구비한 카메라 모듈로서 구성된다. 이와 같이 카메라부를 독립 모듈로 하는 이유는 카메라 모듈에 범용성을 부여하여 다른 핸드폰이나 PDA에 용이하게 조합할 수 있도록 하기 위함이다. 따라서 본 실시예의 카메라폰(1)은 카메라 모듈(11)과 그 나머지 부분( 호스트 모듈)으로 나눌 수 있다.

기능버튼(4)은 전화의 착발신이나 촬영시의 셔터버튼 등으로 이용된다. 또 화상 데이터의 재구축을 개시하기 위한 버튼으로도 이용된다. 카메라폰(1)을 이용하여 전화를 걸 경우에는 이용자는 텐키(3)로 전화번호를 입력하고 기능버튼(4)을 누른다. 또 사진을 촬영할 경우에는 이용자는 렌즈(7)를 대상에게 향한 상태에서 카메라폰(1)을 가지고 카메라 모듈(11)로 촬영된 프리뷰 화상을 디스플레이(2)에서 확인한다. 그리고나서 기능버튼(4)을 누르면 촬영이 되고 촬영에 의해 작성된 화상 데이터가 카메라폰(1)에 구비된 기록장치에 저장된다.

도 10을 이용하여 본 발명을 적용한 카메라폰의 하드웨어의 구성과 동작을 설명하기로 한다. 카메라폰(1)은 상기 설명한 바와 같이 카메라 모듈(11)과 호스트 모듈(12)로 구성되며 카메라 모듈(11)은 촬영 및 화상 데이터의 작성을 담당하고 호스트 모듈(12)은 작성된 화상 데이터의 저장과 표시 외에 전화기능이나 스케줄 기능 등 PDA 기능을 담당한다.

카메라 모듈(11)은 렌즈(7), LED 조명(8), 고체촬상소자(13), A/D 변환기(14), 화상 데이터 구축기(16), JPEG 압축기(17), 버스(18), 데이터 인터페이스(19), 제어 인터페이스(20) 등을 구비한다. 이 중에서 화상 데이터 구축기(16), JEPG 압축기(17), 버스(18), 데이터 인터페이스(19), 제어 인터페이스(20)는 카메라 LSI(115)로서 1칩으로 제공된다.

고체촬상소자에는 예컨대 CCD나 CMOS 센서 등을 이용할 수 있다. 고체촬상소자(13)는 렌즈(7)를 통과한 광을 전기신호로 전환함으로써 촬영을 한다. 고체촬상 소자(13)의 출력신호는 A/D 변환기(14)에서 디지털 데이터로 변환된다. 이 디지털 데이터를 베이어 형식 데이터라고 하는데 아직 컴퓨터로 표시하거나 인쇄기로 인쇄할 수 있는 화상 데이터가 된 것은 아니다.

화상 데이터는 화상 데이터 구축기(16)에 의해 구축된다. 화상 데이터 구축기(16)는 베이어 형식 데이터에 대해서 우선 렌즈농담 보정, 화이트밸런스 등 원화를 처리한다. 이어서 원화 처리된 베이어 형식 데이터로부터 레드(R), 그린(G), 블루(B)의 성분으로 분리하여 CFA(Color Filter Array) 보간처리를 실행하여 RGB 3평면으로 이루어진 RGB 형식의 화상 데이터를 구축한다.

이 CFA 보간에 이용하는 알고리즘은 구축되는 화상 데이터의 품질에 매우 큰 영향을 미친다. 사이즈, 비용, 스피드에 제한이 있는 카메라 LSI에서 이용할 수 있는 알고리즘에서는 고품질의 화상 데이터를 바라기 어렵다. 화상 데이터 구축기(16)는 또 완성된 화상 데이터에 대해 윤곽강조나 감마보정 등의 처리를 수행한다.

마지막으로 화상 데이터의 형식을 RGB 형식에서 YUV 형식으로 변환한다. 1프레임을 구성하는 화상 데이터는 1라인 또는 수라인마다 차례로 작성되어 마지막에는 1회의 촬영에 의해 얻어지는 고체촬상소자(13)의 출력신호로부터 1프레임 전체의 화상 데이터가 구축된다. 화상 데이터는 작성된 분량만큼 차례대로 JPEG 압축기(17)로 보내지고 JPEG 압축되어 데이터 인터페이스(19)에서 호스트 모듈(12)로 송신된다.

도 10으로 돌아가 호스트 모듈(12)의 하드웨어 구성과 동작을 설명하기로 한다. 호스트 모듈(12)은 데이터 인터페이스(25), 제어 인터페이스(26), CPU(30), 버 스(24), 일시기억장치용 인터페이스(31), 일시기억장치(32), 주기억장치용 인터페이스(33), 주기억장치(34), 표시장치용 인터페이스(35), 표시장치(36), 키보드용 인터페이스(37), 키보드(38), 프린터용 인터페이스(40), 베이스밴드 제어부(22), 안테나부(23) 등으로 구성된다.

이 중 CPU(30), 버스(24), 인터페이스(25), (26), (31), (33), (35), (37), (40)은 어플리케이션 엔진(21)으로서 1칩으로 제공된다. 베이스밴드 제어부(22)는 전화의 착발신에 관한 기능을 담당하며 전용 CPU를 갖는다. 어플리케이션 엔진(21)은 전화의 착발신 이외의 기능을 담당하며 카메라 모듈(11)에서 전송되는 화상 데이터의 처리 외에 키보드(38)의 제어, 게임, 음악재생, 예정표 등의 기능도 담당한다. 또 CPU(30)는 제어 인터페이스(26), (20), 버스(18)를 통해 카메라 모듈(11)의 JPEG 압축기(17)의 제어 뿐 아니라 화상 데이터 구축기(16)에서의 각 처리 제어나 LED 조명(8)의 온오프, 고체촬상소자의 데이터 수집모드의 변경이나, A/D 변환기(14)의 파라미터 제어 등도 수행할 수 있다. 키보드(38)는 텐키(3), 기능버튼(4) 등을 포함한다.

카메라 모듈(11)에서 출력된 화상 데이터는 데이터 인터페이스(25)를 통해 호스트 모듈(12)에 입력되고 일시기억장치(32)에 일시적으로 저장된다. 일시기억장치(32)에 이용되는 전형적인 것은 SDRAM이다. 그 후 CPU(30)는 일시기억장치(32)에서 화상 데이터를 독출하여 주기억장치(34)에 저장한다. 주기억장치(34)는 카메라폰(1)의 전원이 끊겨도 데이터를 저장할 수 있는 기록매체를 구비하며 예컨대 플래시 메모리, CF카드, SD카드를 이용할 수 있다.

본 발명에 따른 카메라폰은 호스트 모듈에서 화상 데이터를 재구축할 수 있다. 화상 데이터의 재구축은 사용자 인터페이스로부터의 지시를 받아 CPU(30)가 수행한다. CPU(30)는 화상 데이터를 일단 베이어 형식 데이터로 되돌리고 다시 고품질의 알고리즘을 이용하여 새로운 화상 데이터를 구축한다. 구축된 고품질의 화상 데이터는 주기억장치(34)에 저장되거나 프린터용 인터페이스(40)를 통해 프린터로 송신된다.

도 11을 이용하여 화상 데이터의 구축과 재구축의 형태를 설명하기로 한다.

센서의 출력신호를 디지털화했을 뿐인 데이터는 부호 1144로 도시한 바와 같이 레드화소(R) 1개와 그린화소(G) 2개와 블루화소(B) 1개로 이루어진 단위 매트릭스가 여러개 반복되는 베이어 형식을 갖고 있다. 베이어 형식 데이터로부터 각 색의 성분을 분리하여 각각에 보간처리를 실행함으로써 RGB 형식의 화상 데이터(45)가 구축된다. 부호 1145에서 ○로 둘러싸인 화소 데이터는 원래의 베이어 형식 데이터와 동일하거나 거의 바뀌지 않는다. 따라서 부호 1145에서 ○로 둘러싸인 화소 데이터를 취출하면 원래의 베이어 형식 데이터를 재구성할 수 있다.

물론 원래의 베이어 형식 데이터를 재구성하기 위해서는 RGB 형식의 화상 데이터 중에서 원래의 베이어 형식 데이터에 유래하는 화소 데이터가 무엇인지를 미리 정해둘 필요가 있다. 그 방법은 보간의 단계로 정하는 방법, 구축한 화상 데이터의 헤더에 정보를 매립하는 방법, 기타 여러가지를 생각할 수 있다. 재구성한 베이어 형식 데이터에 대해 고품질의 원화처리, 보간처리, 후처리를 수행함으로써 새로운 화상 데이터(1147)가 작성된다.

또 JPEG 압축된 RGB 데이터로부터 베이어 형식 데이터를 재구성할 경우에는 원래의 데이터와 완전히 동일한 베이어 형식 데이터를 취출할 수 없다. 그러나 고품질의 알고리즘을 이용하여 화상 데이터를 재구축한다는 장점은 다소의 데이터 손실보다 크다.

도 12를 이용하여 본 발명에 의해 카메라폰(1)으로 수행되는 처리에 대해 설명하기로 한다.

촬영할 경우 우선 사용자 인터페이스가 조작된다(S1201). 그러면 카메라 모듈(11)에서 이미지 센서가 광을 전기신호로 변환하고(S1202) 그 전기신호로부터 화상 데이터를 구축한다(S1203). 다음에 구축된 화상 데이터를 JPEG 방식에 의해 압축하고(S1204), 호스트 모듈(12)로 송신한다(S1205). 호스트 모듈은 송신된 화상 데이터를 받아들여(S1206) 기억장치에 저장한다(S1207).

촬영한 화상 데이터를 인쇄할 경우 우선 사용자 인터페이스가 조작된다(S1208). 그러면 호스트 모듈(12)은 기억장치로부터 화상 데이터를 독출하고(S1209) 독출한 화상 데이터의 압축을 해동하여(S1210) 압축이 풀린 화상 데이터로부터 베이어 형식 데이터를 추출·재구성한다(S1211). 또 호스트 모듈(12)은 재구성된 베이어 형식 데이터에 대해 새로 고품질의 알고리즘을 이용하여 새로운 화상 데이터를 작성하고(단계 S1212), 새로 작성한 화상 데이터를 프린터로 출력한다(단계 S1213).

이상 본 발명의 실시형태를 설명했는데 본 발명은 상기 설명에 한정되지 않으며 예컨대 본 실시형태에서는 보간연산처리의 수법으로서 최근방법, 직선근사법, 3차원 회선법을 이용했는데 이들 수법 대신에 또는 이들 수법에 더해 예컨대 스풀라인 함수나 베지어(Bezier)함수 등을 이용한 보간연산처리를 적용할 수 있다.

또 본 실시형태에서는 본 발명을 화상 데이터의 처리에 적용하는 경우에 대해 설명했는데 본 발명은 이에 한정되지 않으며 음성 데이터의 샘플링 주파수를 변환하는 경우 등 각종 데이터의 샘플링 피치를 변경하는 경우에 적용할 수 있다.

이와 같이 본 발명에 따르면 저비용 그리고 단시간에 사용 상황 및 각종 조건에 맞게 화질·처리속도를 바꿀 수 있는 정보단말을 제공할 수 있다.

또 본 발명에 따르면 카메라 DSP에서의 간소화된 실행처리에 따른 영향을 줄이고 화상의 고화질화를 도모할 수 있는 정보단말을 제공할 수 있다.

또 본 발명에 따르면 동일 성능의 카메라를 사용하는 다른 정보단말보다도 화질이 더욱 우수한 화상을 작성할 수 있는 정보단말을 제공할 수 있다.

또 본 발명에 따르면 카메라 모듈을 변경하거나 카메라 DSP를 증강시키지 않아도 화상의 양질화를 꾀할 수 있는 정보단말을 제공할 수 있다.

Claims

적어도 하나의 프로세서; 및

컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고,

상기 적어도 하나의 프로세서, 컴퓨터 프로그램 코드 및 적어도 하나의 메모리는,

제1 보간 처리를 통해 얻어진 입력화상 데이터에 대한 적어도 하나의 처리를 수행하여, 상기 입력화상 데이터로부터 상기 제1 보간 처리의 효과 중 적어도 일부를 제거하고,

상기 제1 보간 처리의 효과 중 적어도 일부가 제거된 후 얻어진 화상 데이터에 대해 상기 제1 보간 처리와 다른 제2 보간 처리를 수행함으로써 출력 데이터를 준비하도록 구성되는, 장치.
제1항에 있어서,

렌즈, 이미지 센서 및 카메라 DSP를 포함하는 카메라 모듈을 구비하고,

상기 카메라 DSP는 색보정유닛, 감마보정유닛, 색보간유닛 및 화질보정유닛을 구비하며,

상기 카메라 모듈에 의해 상기 입력화상 데이터를 생성하고,

상기 제1 보간 처리의 효과 중 적어도 일부의 제거는, 상기 카메라 DSP의 상기 색보정유닛에 의해 보간된 화소들을 제거하는 것과 상기 카메라 DSP에 의해 수행된 색보정처리 및 화질보정처리의 영향을 최소화하는 것을 포함하고,

상기 제1 보간 처리와 다른 제2 보간 처리의 수행은, 상기 제1 보간 처리와 다른 색 보간 처리를 수행하는 것과 화질 보정 처리를 수행하는 것을 포함하는 것을 특징으로 하는 장치.
제2항에 있어서,

상기 이미지 센서 상에 놓여진 칼라 필터의 배열 패턴을 인식하고,

상기 색 보정 유닛에 의해 상기 제1 보간 처리 동안 만들어진 화소의 색성분과, 그들 색성분을 만드는데 이용된 화소의 색성분을 분류하고,

상기 색 보정 유닛에 의해 상기 제1 보간 처리 동안 만들어진 화소의 색성분에 대한 처리를 선택적으로 수행하는 것을 특징으로 하는 장치.
이미지 센서를 포함하는 카메라 모듈로부터 화상 데이터를 획득하는 단계,

획득한 상기 화상 데이터에 보간 처리를 수행하는 단계, 및

상기 보간 처리가 완료된 화상 데이터를 출력하는 단계를 포함하고,

상기 보간 처리 수행 단계는,

제1 보간 처리가 완료된 화상 데이터로부터 상기 제1 보간 처리의 효과 중 적어도 일부를 제거하는 단계를 포함하는 적어도 하나의 처리를 수행하는 단계, 및

상기 제1 보간 처리의 효과 중 적어도 일부가 제거된 후 얻어진 데이터에 대해 상기 제1 보간 처리와 다른 제2 보간 처리를 수행하는 단계를 포함하는, 방법.
제4항에 있어서,

상기 적어도 하나의 처리는, 색 보정기에 의해 보간된 화상들상에 수행되어 색 보정 처리로 인한 효과를 최소화하는 처리, 및 카메라 DSP에 의해 수행된 화질 보정 처리를 포함하고,

상기 제1 보간 처리와 다른 제2 보간 처리는, 색 보간 처리, 및 증가된 양의 동작 처리와 상기 제1 보간 처리 보다 더 많은 양의 처리 메모리를 요구하는 화질 보정 처리를 포함하는, 방법.
제5항에 있어서,

상기 적어도 하나의 처리는,

상기 이미지 센서 상에 놓여진 칼라 필터의 배열 패턴을 인식하는 단계,

상기 제1 보간 처리 동안 만들어진 화소의 색성분과, 그들 색성분을 만드는데 이용된 화소의 색성분을 분류하는 단계, 및

상기 제1 보간 처리 동안 만들어진 화소의 색성분에 대한 처리를 선택적으로 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 장치는 이동 장치로 구현됨을 특징으로 하는, 장치.
삭제