KR100719988B1

KR100719988B1 - 화상 신호 처리 장치

Info

Publication number: KR100719988B1
Application number: KR1020040109328A
Authority: KR
Inventors: 나까꾸끼도시오
Original assignee: 산요덴키가부시키가이샤
Priority date: 2003-12-22
Filing date: 2004-12-21
Publication date: 2007-05-18
Also published as: TW200527921A; CN1328911C; CN1638487A; JP4286124B2; TWI250802B; JP2005184693A; KR20050063711A; US7855739B2; US20050174438A1

Abstract

종래에는, 화상 신호 처리 장치에서 VGA 포맷의 화상 신호를 CIF 포맷으로 변환하기 위해, 장치 후단에 별도의 라인 메모리가 필요하게 된다. 본 발명에서는, 디지털 신호 처리 회로에 설치되는 복수의 라인 메모리(60)에 1 행씩 유지된 VGA의 화상 데이터를 VLPF(62)로 가중치 부여 가산한다. VLPF(62)의 계수 설정부(76)는, CIF의 생성 대상행의 위치와 VGA의 행과의 위치 관계에 따라, 가중 계수를 변경한다. 가중 계수는, 수직 샘플링 주파수 f_V의 1/2을 트랩하는 특성도 얻어지도록 정해져, VLPF(62)에서 f_V/2를 트랩하고, 또한 수직 샘플링점을 CIF 포맷으로 변경한다.

가중 계수, 수직 샘플링 주파수, 라인 메모리, 화상 데이터

Description

화상 신호 처리 장치{IMAGE SIGNAL PROCESSING DEVICE}

도 1은 본 발명의 실시예에 따른 개략의 촬상 장치의 블록도.

도 2는 실시예에 따른 VLPF의 개략의 회로 구성을 도시하는 회로도.

도 3은 VGA 포맷, CIF 포맷 상호의 각 행의 수직 방향의 샘플링 위치의 관계를 도시하는 모식도.

도 4는 VGA의 행 배열에 대한 CIF의 3 종류의 행 위치에 대응한 αm의 조(組)의 일례를 도시하는 모식도.

도 5는 종래의 촬상 장치의 블록 구성도.

도 6은 종래의 VLPF의 회로 구성을 도시하는 회로도.

<도면의 주요 부분에 대한 부호의 설명>

50 : CCD 이미지 센서

52 : 아날로그 신호 처리 회로

54 : ADC

56 : 디지털 신호 처리 회로

60 : 라인 메모리

62 : VLPF

64 : HLPF

66 : 신호 처리부

68 : YUV 생성부

70 : 승산기

72 : 레지스터

74 : 가산기

76 : 계수 설정부

본 발명은, 원화상을 주사선수가 상이한 화상으로 변환하는 화상 신호 처리 장치에 관한 것이다.

디지털 카메라 등의 촬상 장치에 탑재되는 고체 촬상 소자는 고해상도화가 진행되는데, 예를 들면, 큰 사이즈로 프린트해도 고화질을 얻을 수 있게 되어 있다. 한편, 액정 표시 장치 등의 표시 디바이스의 해상도는 고체 촬상 소자 정도까지는 향상되지 않는다. 또한, 원래, 촬상 장치에 탑재된 디스플레이는 비교적 소형인 것이나, 촬영 화상을 확인하는 용도를 위해 설치된 것이기 때문에, 그 정도의 고해상도는 요구되고 있지 않다.

또한, 카메라 기능이 부가된 휴대 전화 등에도 고해상도의 고체 촬상 소자를 탑재하는 것이 등장하고 있지만, 이들에 있어서 촬영한 화상을 무선 전송하는 경우에는 전송 용량의 제약으로 인하여, 저해상도의 화상이 전송된다. 또한, 디지털 카메라 등에서는, 정지 화상은 고해상도의 화상을 기록하는 한편, 동화상은 기록 용량의 제약으로 인하여 저해상도로 기록하는 것이 행해지고 있다.

또한, 화상 포맷에는, VGA(Video Graphics Array)계나 CIF(Common Intermediate Format)계의 규격이 존재한다. 구체적으로 VGA 사이즈는, 수평 640×수직 480 도트, 또한 CIF 사이즈는 수평 352×수직 288 도트이다. 또한, 각 규격에는, 1/4 사이즈의 QVGA 사이즈, QCIF 사이즈 등이 존재한다. 예를 들면, 동화상 촬영에는, CIF계의 포맷이 이용되는 경우가 많다.

상술한 바와 같이, 고체 촬상 소자의 고해상도화는 진행되고 있지만, 항상 해당 소자로부터 출력되는 화상 신호가 그대로 이용되는 것은 아니며, 다른 포맷으로 변환하여 이용되는 경우도 많다. 예를 들면, VGA 포맷으로 촬영된 화상을 CIF 포맷으로 변환하는 경우에는, 수직 사이즈를 기준으로 하여 3/5으로 스케일링할 필요가 있다.

종래, 디지털 카메라 등으로 행해지고 있는 스케일링에서는, 고체 촬상 소자에 의해 촬영된 화상 신호에 기초하여 디지털 신호 처리 회로에 의해 생성된 휘도 데이터 Y, 색차 데이터 U, V가 일단 프레임 메모리 등에 저장된다. 스케일링은 이 메모리에 저장된 화상 데이터에 대하여 보간 연산 등을 행함으로써 행해진다. 예를 들면, 변환 전의 인접하는 2 행의 화상 데이터를 선형 보간함으로써, 그 사이에 위치하는 변환 후의 화상의 임의의 행의 화상 데이터가 생성된다.

그러나, 1 화면을 일단 메모리에 축적하여 스케일링 처리를 행하면, 메모리에의 화상 저장에 기인한 지연 시간이 발생한다. 그 때문에, 프리뷰 화면에의 표 시 시의 포맷 변환이나, 동화상 촬영 중의 주밍 처리 등 리얼타임성이 요구되는 장면에는, 타임 래그가 발생하여 조작성이 저하할 수 있다는 문제가 있다.

따라서, 도 5에 도시하는 구성에 의해, 화상 포맷 변환 처리의 리얼타임성의 향상이 도모되고 있다. 도 5는 VGA 포맷으로 촬영된 화상을 CIF 포맷으로 변환하여 출력하는 종래의 촬상 장치의 블록 구성도이다. 이 촬상 장치는 CCD 이미지 센서(2)와, CCD 이미지 센서(2)가 출력하는 화상 신호 Y0(t)을 처리하는 화상 신호 처리 회로를 포함하고, 해당 화상 신호 처리 회로는, 아날로그 신호 처리 회로(4), ADC(analog-to-digital converter : 6), 디지털 신호 처리 회로(8), 포맷 변환 회로(10)를 포함하여 구성된다.

CCD 이미지 센서(2)는, 행 방향, 열 방향 각각에 대하여 2 화소 주기로 색 성분이 변화하는 베이어 배열의 컬러 필터를 탑재하고, 또한 VGA 포맷의 화상 신호 Y0(t)을 출력한다.

디지털 신호 처리 회로(8)에는, VGA 포맷의 각 화소에서의 화상 데이터 D(n)가 입력된다. 디지털 신호 처리 회로(8)는, 므와레의 원인으로 되는 노이즈를 제거하기 위해 VLPF(20), HLPF(22)를 구비한다. VLPF(20)는, 수직 샘플링 주파수의 1/2의 주파수 성분을 트랩하는 필터이고, HLPF(22)는 수평 샘플링 주파수의 1/2의 주파수 성분을 트랩하는 필터이다. VLPF(20)의 입력에는, 해당 VLPF(20)에서 사용하는 5 행분의 화상 데이터를 유지하는 라인 메모리(24)(24-1∼24-5)가 설치된다. VLPF(20)는 후술한 바와 같이, 3 종류의 화상 데이터 I_Y, I_C1, I_C2를 출력한다. 화 상 데이터 I_Y, I_C1, I_C2는 HLPF(22)를 거쳐 신호 처리부(26)에 입력된다. 신호 처리부(26)는, 색 분리, 감마 보정, 윤곽 보정 등의 신호 처리를 행한다. 신호 처리부(26)로부터 출력된 RGB 데이터는 YUV 생성부(28)에 입력된다. YUV 생성부(28)는, RGB 데이터에 기초하여 휘도 데이터 Y 및 색차 데이터 U, V를 생성한다.

디지털 신호 처리 회로(8)로부터 출력된 Y, U, V는 각각 VGA 포맷으로서, 포맷 변환 회로(10)가 이것을 CIF 포맷의 휘도 데이터 Y' 및 색차 데이터 U', V'로 변환한다. 포맷 변환 회로(10)는, VGA 포맷의 인접하는 2 행의 사이에 CIF 포맷의 행이 정의되는 경우, VGA 포맷의 2 행의 화상 데이터를 선형 보간하여, CIF 포맷의 해당 행에 대응한 화상 데이터를 생성한다. 포맷 변환 회로(10)는, VGA 포맷의 휘도 데이터 Y의 인접하는 2 행을 유지하기 위해 라인 메모리(30)(30-1, 30-2)를 갖고, 보간 처리부(36-1)가 이들 2 행의 보간을 행하여, CIF 포맷의 휘도 신호 Y'를 생성한다. 또한, 포맷 변환 회로(10)는 2 종류의 색차 데이터 U, V에 대해서도 마찬가지의 보간 처리를 행하기 위해 2개의 라인 메모리(34)(34-1, 34-2)와 보간 처리부(36-2)를 갖는다. 이들 라인 메모리(34) 및 보간 처리부(36-2)는 2 종류의 색차 데이터에서의 처리로써 공용된다.

도 6은, VLPF(20)의 회로 구성을 도시하는 회로도이다. VLPF(20)에는, 5개의 라인 메모리(24)에 유지된 VGA 포맷에서의 연속하는 5행(j∼j+4 행이라고 함)의 화상 데이터 D(이하, 제k 행의 화상 데이터 D를 D(k)로 표기함)가 병렬로 입력된다. VLPF(20)는, 이들 5 행 중 중앙의 행 위치에 대응하는 3 종류의 화상 데이터 I_Y, I_C1, I_C2를 생성한다. 라인 메모리(24)에 유지되는 화상 데이터는, CCD 이미지 센서(2)의 출력에 연동하여 교체되고, 그에 따라 각 행에 대하여 순서대로 화상 데이터 I_Y, I_C1, I_C2가 얻어진다. VLPF(20)는 제j∼j+4 행의 각 데이터를 가중치 부여한다. 여기서 각각에 대한 가중 계수는, 전술한 바와 같이 수직 샘플링 주파수의 1/2의 주파수 성분을 트랩하는 필터 특성이 얻어지도록 정해지며, 예를 들면 제j∼j+4 행에 대하여 각각 1, 6, 10, 6, 1로 할 수 있다. 이 가중치 부여를 행하기 위해, 제j+1∼j+3 행의 화상 데이터 D는 각각 승산 계수가 6, 10, 6으로 설정된 승산기(40-1∼40-3)에 입력된다. 가산기(42-1)는 가중치 부여된 5행의 화상 데이터를 가산하여 화상 데이터 I_Y를 생성한다. 가산기(42-2)는 가중치 부여된 제j+1행 및 제j+3행의 화상 데이터를 가산하여 화상 데이터 I_C1을 생성한다. 또한 가산기(42-3)는 가중치 부여된 제j, j+2, j+4 행의 화상 데이터를 가산하여 화상 데이터 I_C2를 생성한다. 즉, VGA 포맷의 제j+2행에 대하여,

I_Y(j+2)=D(j)+6D(j+1)+10D(j+2)+6D(j+3)+D(j+4)

I_C1(j+2)=6D(j+1)+6D(j+3)

I_C2(j+2)=D(j)+10D(j+2)+D(j+4)

되는 3 종류의 화상 데이터가 생성된다.

<특허 문헌1> 일본 특개평9-98437호 공보

전술한 바와 같이, 예를 들면 VGA로부터 CIF로의 수직 해상도를 변경하는 포맷 변환은, 종래, 수직 방향의 보간 처리에 의해 행해진다. 이 보간 처리를 리얼타임으로 행하기 위해, 변환 전의 포맷으로 생성된 화상 데이터의 인접하는 2 행을 유지하는 라인 메모리가 설치되어 있다. 이 보간 처리는, 원화상의 각 행에 대하여 휘도 데이터 Y, 색차 데이터 U, V와 같이 복수 종류의 화상 데이터가 얻어진 후에 행해지기 때문에, 이들을 동시 병렬로 처리하기 위해서는, 상술한 예에서 개시한 라인 메모리(30, 34)와 같이 라인 메모리도 복수조 필요하게 된다.

여기서, 촬상 장치가 휴대 전화 등의 소형 기기에 탑재되는 경우, 화상 처리 장치의 소형화가 한층더 요구되고 있다. 그 때문에, 포맷 변환에 이용되는 라인 메모리(30, 34)를 생략하여, 구성하는 부품의 삭감이나 집적 회로의 칩 면적의 저감, 또한 비용 저감을 도모하는 것이 과제로 되었다.

본 발명은 이 과제를 해결하기 위해 이루어진 것으로, 촬상 장치로부터 출력된 화상 신호의 수직 해상도를 변환하기 위해서만 이용되는 라인 메모리를 필요로 하지 않는 화상 신호 처리 장치를 제공하는 것을 목적으로 한다.

본 발명에 따른 화상 신호 처리 장치는, 행렬 배치된 샘플링점의 각 열에 소정 행수를 반복 주기로 하여 복수의 색 성분이 주기적으로 나타나는 원화상 데이터가 입력되고, 해당 원화상 데이터와는 수직 샘플링 주기가 상이한 목적 화상 데이터를 생성하는 것으로서, 입력된 상기 원화상 데이터 중 소정 폭의 행 범위 내에서 상호 소정의 위치 관계에 있는 복수행을 유지하는 데이터 유지부와, 상기 데이터 유지부에 유지된 복수행의 상기 원화상 데이터를 행마다 가중치 부여하여 서로 가산하여, 원화상의 상기 행 범위에 따른 위치의 목적 행에서의 상기 목적 화상 데이터를 생성하는 목적 화상 데이터 생성부와, 상기 목적 화상 데이터 생성부에 의해 행해지는 가중치 부여 가산의 행마다의 가중 계수를 상기 목적 행에 따라 설정하는 계수 설정부를 갖고, 상기 계수 설정부가, 상기 목적 화상 데이터에서 상기 원화상의 수직 샘플링 주파수 및 상기 색 성분의 상기 반복 주기에 따른 주파수 성분을 감쇠하는 트랩 특성과, 상기 데이터 유지부에 유지된 상기 원화상 데이터의 각 행에 대응하는 수직 샘플링점 및 상기 목적 행에 대응하는 수직 샘플링점의 상호의 위치 관계에 기초하여 상기 가중 계수를 정한다.

모자이크형의 컬러 필터를 탑재한 고체 촬상 소자로부터 얻어지는 화상 신호와 같이, 열 방향(수직 방향)으로 복수의 색 성분이 소정 행수의 반복 주기로 주기적으로 얻어지는 원화상 신호에 대해서는, 므와레 노이즈를 억제하기 위해 트랩 필터가 설치되고, 원화상의 수직 샘플링 주파수 및 색 성분의 반복 주기에 따른 주파수 성분을 감쇠시키는 처리가 행해진다. 이 처리는, 원화상의 복수행의 화상 데이터를 유지하고, 이들을 가중치 부여 가산함으로써 행할 수 있다. 종래부터 그 데이터 유지를 위해 데이터 유지부로서 라인 메모리가 설치되어 있다. 본 발명에서는, 이 데이터 유지부가, 트랩 필터의 기능과, 원화상으로부터 목적 화상으로의 수직 방향의 샘플링점 위치의 변환 기능과의 양방에 이용된다. 목적 화상의 행이 원화상의 행 배치에 대하여 어떠한 위치에 있는지는, 반드시 일정하지는 않으며, 목적 화상의 행마다 상이할 수 있다. 본 발명에 따르면, 이것에 대응하기 위해 계수 설정부가 설치되고, 또한 목적 화상 데이터 생성부는 가중치 부여 가산 처리에서의 가중 계수를 변경 가능하게 구성된다. 계수 설정부는, 목적 화상의 산출 대상으로 되어 있는 행과 데이터 유지부에 유지되어 있는 원화상의 행과 위치 관계에 따라, 데이터 유지부에 유지되어 있는 원화상의 각 행에 대한 가중 계수를 변경하고, 목적 화상 데이터 생성부는, 이 변경된 가중 계수를 이용하여 데이터 유지부에 유지된 원화상 데이터를 가중치 부여 가산하여, 목적 화상 데이터를 생성한다. 계수 설정부는, 가중 계수를 원화상으로부터 목적 화상으로의 수직 샘플링점의 변경이라는 조건뿐만 아니라, 트랩 필터로서의 기능을 실현하는 조건도 만족하도록 결정한다. 또한, 본 발명에 따르면, 원화상으로부터 목적 화상으로의 수직 샘플링점의 변경에 이용되는 원화상 데이터는, 색 분리 등의 처리를 행하기 전의 것으로, 원화상 데이터의 수직 샘플링점마다 1 행씩의 데이터이다. 이와 같이, 원화상의 각 수직 샘플링점에 대하여 복수 종류의 화상 데이터가 생성되기 전에, 수직 샘플링점의 변환을 행함으로써, 회로 구성의 간소화, 처리 부하의 경감이 도모된다.

본 발명의 적합한 양태는, 상기 색 성분의 상기 반복 주기는 n 행으로서, 상기 계수 설정부가, 상기 원화상의 수직 샘플링 주파수의 1/n에 따른 주파수 성분을 감쇠시키는 트랩 특성을 상기 목적 화상 데이터 생성부에 부여하는 화상 신호 처리 장치이다. 본 양태에서는 예를 들면, n이 2인 경우에는 수직 샘플링 주파수의 1/2를 중심으로 한 주파수 성분을 감쇠시키는 트랩 특성이 설정된다. 본 양태에서는 일반적으로 수직 샘플링 주파수의 1/n, 2/n, …(n-1)/n을 중심으로 한 주파수 성분을 감쇠시키는 트랩 특성을 설정할 수 있다.

또한, 본 발명의 다른 적합한 양태는, 상기 데이터 유지부가, 각각 1 행의 상기 원화상 데이터를 유지할 수 있는 복수의 라인 메모리로 이루어지는 화상 신호 처리 장치이다.

다른 본 발명에 따른 화상 신호 처리 장치에서는, 상기 데이터 유지부는, 상기 행 범위 내의 각 행의 상기 원화상 데이터를 유지하고, 상기 목적 화상 데이터 생성부는, 상기 행 범위 내의 각 행의 상기 원화상 데이터를 가중치 부여 가산한 휘도 데이터와, 상기 데이터 유지부에 유지된 상기 원화상 데이터 중 색 성분 구성이 동일하게 되는 상기 반복 주기마다의 각 행을 상기 가중 계수에 기초하여 가중치 부여 가산한 색 성분 데이터를 산출한다.

본 발명에 따르면, 데이터 유지부에 복수행으로 이루어지는 1 세트의 원화상 데이터가 저장되어, 각 행에 대한 가중 계수가 설정되면, 이들을 이용하여, 목적 화상의 각 행에 대하여 복수 종류의 화상 데이터가 한번에 생성된다.

이하, 본 발명의 실시예에 대하여, 도면에 기초하여 설명한다.

도 1은, 본 발명의 실시예에 따른 촬상 장치의 개략의 블록도로서, 이 촬상 장치는 VGA 포맷으로 화상을 촬영하고, 해당 화상을 CIF 포맷으로 변환하여 출력할 수 있다. 이 촬상 장치는 CCD 이미지 센서(50)와, CCD 이미지 센서(50)가 출력하는 화상 신호 Y0(t)을 처리하는 화상 신호 처리 회로를 포함하고, 해당 화상 신호 처리 회로는, 아날로그 신호 처리 회로(52), ADC(analog-to-digital converter : 54), 디지털 신호 처리 회로(56)를 포함하여 구성된다.

CCD 이미지 센서(50)는, 예를 들면, 베이어 배열의 컬러 필터를 탑재하고, 또한 도시하지 않은 이미지 센서 제어 회로로부터의 구동 펄스에 의해 구동되어, VGA 포맷의 화상 신호 Y0(t)을 출력한다.

아날로그 신호 처리 회로(52)는, CCD 이미지 센서(50)로부터 출력되는 화상 신호를 수신하여, 샘플 홀드, 게인 조정 등의 각종 아날로그 신호 처리를 실시한다. ADC(54)는, 아날로그 신호 처리가 실시된 화상 신호 Y1(t)을 취득하여, 1 화소마다 디지털 신호로 변환하여 화상 데이터 D(n)로 하여 디지털 신호 처리 회로(56)로 출력한다. 이하, 제k 행의 화상 데이터 D를 D(k)라고 표기한다. 화상 데이터 D에서의 RGB 성분의 배열은, 예를 들면 홀수행에서는 행 선두로부터 RGRG…, 짝수행에서 행 선두로부터 GBGB…로 된다.

디지털 신호 처리 회로(56)는, 라인 메모리(60), VLPF(62), HLPF(64), 신호 처리부(66), YUV 생성부(68)를 구비한다. 라인 메모리(60)는 복수개 설치되고, 본 장치에서는 예를 들면 5개의 라인 메모리(60-1∼60-5)를 갖는다. 각 라인 메모리(60)는, ADC(54)로부터 출력되는 VGA 포맷의 화상 데이터 D를 1 행분 기억하는 용량을 갖고, 상호 직렬로 접속되어, 화상 데이터 D를 1행 단위로 순차적으로 기억한다. 즉, 라인 메모리(60-1∼60-5)에는, VGA 포맷에서의 연속하는 5행(j∼j+4행으로 함)의 화상 데이터 D가 저장된다. 이들 라인 메모리(60-1∼60-5)에 유지된 화상 데이터 D(j)∼D(j+4)는 VLPF(62)에 병렬하여 입력된다.

도 2는, VLPF(62)의 개략의 회로 구성을 도시하는 회로도이다. VLPF(62)는, 후술하는 바와 같이, 수직 샘플링 주파수의 소정 주파수 성분을 트랩하는 필터의 기능과 함께, VGA로부터 CIF로의 포맷 변환 기능도 갖는다. 각 라인 메모리(60)에 대응하여 설치되는 VLPF(62)의 각 입력선 각각에는, 승산기(70-1∼70-5)가 배치된다. 이 각 승산기(70)에 대응하여 레지스터(72-1∼72-5)가 설치된다. 이 레지스터(72)는 각각 승산기(70)에서 이용되는 승산 계수 αm을 저장하고, 승산기(70-m)(m=1∼5)는 대응하는 레지스터(72-m)의 저장값 αm을 판독하여, 입력되는 제j+m-1행의 화상 데이터 D(j+m-1)에 순차적으로 αm을 승산한다. 5개의 승산기(70)의 출력값에 대하여, 3 종류의 가산 처리가 각각 가산기(74-1∼74-3)를 이용하여 행해진다. 가산기(74-1)는 αm에 의해 가중치 부여된 5행의 화상 데이터를 가산하여 화상 데이터 I_Y를 생성한다. 가산기(74-2)는 가중치 부여된 제j+1행 및 제j+3행의 화상 데이터를 가산하여 화상 데이터 I_C1을 생성한다. 또한 가산기(74-3)는 가중치 부여된 제j, j+2, j+4 행의 화상 데이터를 가산하여 화상 데이터 I_C2를 생성한다. 즉,

I_Y=α1·D(j)+α2·D(j+1)+α3·D(j+2)+α4·D(j+3)+α5·D(j+4)

I_C1=α2·D(j+1)+α4·D(j+3)

I_C2=α1·D(j)+α3·D(j+2)+α5·D(j+4)

되는 3 종류의 화상 데이터가 생성된다.

그런데, 본 장치는 계수 설정부(76)를 갖고, 이 계수 설정부(76)에서 각 레지스터(72)의 내용이 재기입된다. 본 장치에서는, CCD 이미지 센서(50)의 각 열에는 R과 G, 또는 G와 B가 교대로 배열된다. 즉, 수직 방향에 관한 화소의 배열 주 기는 2 화소 주기이다. 이것에 기인하여, VGA 포맷에서의 수직 샘플링 주파수 f_V의 1/2의 주파수 성분의 므와레 노이즈가 발생하기 쉽다. 따라서, 동시에 설정되는 1조의 계수 αm에 대하여, VLPF(62)가 f_V/2를 중심으로 한 대역에서 신호 성분을 감쇠시키는 트랩 특성을 갖는다고 하는 제1 조건이 부과된다. 또한, 제2 조건에서, VLPF(62)에 의한 가중치 부여 가산에 의해, VGA로부터 CIF로 수직 방향의 샘플링 위치를 변경하는 것이 부과된다.

도 3은 VGA 포맷, CIF 포맷 상호의 각 행의 수직 방향의 샘플링 위치의 관계를 도시하는 모식도이다. 기호 "a_i" 옆의 수평선은 VGA 포맷에서의 제a_i 행의 샘플링 위치, 기호 "b_i" 옆의 수평선은 CIF 포맷에서의 제b_i행의 샘플링 위치를 나타낸다. 여기서는, CIF의 제b₁행이 VGA의 제a₃행과 동일한 위치이며, 이후, CIF에서 3행 주기, VGA에서 5행 주기로 양자의 행 위치가 일치한다. 또한, CIF의 제b₂행은 VGA의 제a₄행과 제a₅행과의 간격을 2:1로 내분하는 위치, CIF의 제b₃행은 VGA의 제a₆행과 제a₇행과의 간격을 1:2로 내분하는 위치이다. VGA의 수직 샘플링점에 대한 CIF의 수직 샘플링점의 위치 관계는, 이들 3 종류의 반복으로 되고, 그에 따라, αm의 조(組)도 3 종류의 조가 필요하게 된다. 각 조를 구성하는 αm의 값은 미리 계산하여 계수 설정부(76)에 저장해 둘 수 있다. 계수 설정부(76)는, 예를 들면, 이미지 센서 제어 회로가 생성하는 수직 동기 신호 VD에 기초하여 VGA의 선두 행에 대응하는 화상 데이터 b를 파악하고, 또한 수평 동기 신호 HD를 카운트함으로써, 라인 메모리(60-1)에 입력되는 화상 데이터 D의 행 번호를 파악할 수 있다. 그리고 계수 설정부(76)는, 라인 메모리(60-1∼60-5)에 유지되어 있는 VGA의 행 범위에 따라, 데이터를 산출할 CIF의 행을 특정한다. 그리고, 계수 설정부(76)는 그 행이 상기 3 종류 중 어느 한 위치 관계에 있는지를 판별하여, 해당 종류에 대응하는 αm의 조를 미리 저장되어 있는 것 중에서 선택하여, 각 레지스터(72)에 설정한다.

도 4는, CIF의 3 종류의 행 위치에 대응한 αm의 조의 일례를 도시하는 모식도이다. CIF의 생성 대상행의 위치(예를 들면, 제b₁행)가 VGA의 행 위치(예를 들면, 제a₃행)에 일치하는 경우에 대응하는 αm의 조 S1은, α1=1, α2=6, α3=10, α4=6, α5=1로 할 수 있다. 이 조 S1은, VGA의 일치하는 행의 화상 데이터 D가 라인 메모리(60)에 유지되는 행 범위의 중앙, 즉 라인 메모리(60-3)에 유지되는 타이밍에 동기하여 레지스터(72)에 설정된다.

또한, 예를 들면, CIF의 생성 대상행의 위치가 예를 들면 제b₂행인 경우에 대응하는 αm의 조 S2는, α1=2, α2=8, α3=10, α4=4, α5=0으로 할 수 있다. 이 조 S2는 CIF의 생성 대상행(예를 들면 제b₂행)의 가장 가까운 VGA의 행(예를 들면 제a₅행)의 화상 데이터 D가, 라인 메모리(60)에 유지되는 행 범위의 중앙에 유지되는 타이밍에 동기하여 레지스터(72)에 설정된다.

그리고, 예를 들면, CIF의 생성 대상행의 위치가 예를 들면 제b₃행인 경우에 대응하는 αm의 조 S3은, α1=0, α2=4, α3=10, α4=8, α5=2로 할 수 있다. 이 조 S3은, CIF의 생성 대상행(예를 들면 제b₃행)의 가장 가까운 VGA의 행(예를 들면 제a₆행)의 화상 데이터 D가, 라인 메모리(60)에 유지되는 행 범위의 중앙에 유지되는 타이밍에 동기하여 레지스터(72)에 설정된다.

또, 이들 각 조 S1∼S3은, 각각 홀수행에 대한 계수의 합계와, 짝수행에 대한 계수의 합계가 균형을 이루기 때문에, 주파수 f_V/2의 성분을 트랩할 수 있다.

이와 같이 하여, 예를 들면, VGA의 제a₁∼a₅행이 라인 메모리(60)에 저장된 타이밍에서, VLPF(62)는 계수의 조 S1을 이용하여 이들 5 행의 화상 데이터 D를 가중치 부여 가산하여, CIF의 제b₁행에 대응하는 3 종류의 화상 데이터 I_Y, I_C1, I_C2를 생성하여 출력한다. 또한, 예를 들면, VGA의 제a₃∼a₇행이 라인 메모리(60)에 저장된 타이밍에서, VLPF(62)는 계수의 조 S2를 이용하여 이들 5 행의 화상 데이터 D를 가중치 부여 가산하여, CIF의 제b₂행에 대응하는 3종류의 화상 데이터 I_Y,I _C1, I_C2를 생성, 출력하는데, 예를 들면 VGA의 제a₄∼제a₈행이 라인 메모리(60)에 저장된 타이밍에서, VLPF(62)는 계수의 조 S3을 이용하여 이들 5 행의 화상 데이터 D를 가중치 부여 가산하여, CIF의 제b₃행에 대응하는 3 종류의 화상 데이터 I_Y, I_C1, I_C2를 생성하여 출력한다. 이하, 마찬가지로 하여, CIF의 각 행의 화상 데이터가 산출된다.

즉, 예를 들면, VGA의 제a₂∼a₆행이나 제a₅∼제a₉행이 라인 메모리(60)에 저장된 타이밍에서의 VLPF(62)의 출력은, CIF의 화상 데이터로서는 이용되지 않는다. 따라서, 그 경우의 VLPF(62)의 출력은 후단에서 폐기될 수 있으며, 또 예를 들면 VLPF(62)에서 계수 설정부(76)가 각 레지스터(72)에 가중 계수를 0으로 하여, VLPF(62)로부터의 모든 출력이 0으로 유지되도록 해도 된다.

도 1로 되돌아가, VLPF(62) 이후의 구성을 설명한다. VLPF(62)에서 생성된 CIF의 수직 샘플링점에서의 화상 데이터 I_Y, I_C1, I_C2는 HLPF(64)에 입력된다. CCD 이미지 센서(50)의 수평 방향에 관한 화소의 배열 주기는, 수직 방향과 마찬가지로 2 화소 주기이다. 따라서, HLPF(64)는, VGA 포맷에서의 수평 샘플링 주파수 f_H의 1/2의 주파수 f_H/2를 중심으로 한 대역에서 신호 성분을 감쇠시켜, 므와레 노이즈를 억제한다.

HLPF(64)로부터 출력된 화상 데이터 I_Y, I_C1, I_C2는 신호 처리부(66)에 입력된다. 신호 처리부(66)는, 색 분리, 감마 보정, 윤곽 보정 등의 신호 처리를 행한다. 신호 처리부(66)로부터 출력된 RGB 데이터는 YUV 생성부(68)에 입력된다. YUV 생성부(68)는, RGB 데이터에 기초하여, CIF 포맷의 휘도 데이터 Y' 및 색차 데이터 U', V'를 생성하여, 디지털 신호 처리 회로(56)로부터 출력한다.

즉, HLPF(64) 또는 신호 처리부(66)에서, 수평 방향에 관한 VGA로부터 CIF로의 샘플링점의 변환이 행해진다. 또한, 그 때, VGA의 수평 방향 640 화소를 3/5으로 스케일링하면, CIF의 수평 방향 352 화소보다 많아진다. 그 때문에, 이 수평 방향의 나머지 영역을 트리밍하는 처리가 행해질 수 있다.

또, 상술한 바와 같이, 포맷 변환을 행하는 배경에는, 촬상 소자가 표시계나 전송계 등과 비교하여 높은 해상도를 부여하는 경우가 있다. 즉, 포맷 변환은 해상도를 떨어뜨리는 방향으로 행해지는 경우가 많다. 그 경우, 포맷 변환을 행함으로써 샘플링점 수가 다운 컨버트된다. 본 발명에 따르면, 상술한 실시예의 촬상 장치를 이용하여 설명한 바와 같이, 디지털 신호의 전단부에 의해, 포맷의 변환이 행해지므로, 후단의 연산 처리를, 다운 컨버트된 적은 데이터 수에 대하여 행하면 향상된다. 즉, 디지털 신호 처리 회로(56)에서의 연산량이 억제되어, 처리의 신속화를 도모할 수 있다.

한편, 촬상 소자가 표시 디바이스와 비교하여 해상도가 낮은 경우에는, 샘플링점 수를 업 컨버트하는 것이 행해진다. 이 외, 업 컨버트는 예를 들면, 촬상 소자에 의해 촬영된 화상의 일부 영역을 표시 디바이스에 확대 표시하는 디지털줌 처리에서, 해당 일부 영역에 관하여 샘플링점 수를 증가시킬 때에도 행해진다. 본 장치는 이러한 업 컨버트도 적합하게 행할 수 있다.

예를 들면, 상술한 VGA로부터 CIF로의 포맷 변환을 행하면서, 업 컨버트를 행하여 2배로 확대된 화상 데이터를 생성하는 경우에는, CIF의 각 행의 간격을 1:1로 내분하는 위치에 추가되는 수직 샘플링점이 설정된다. 도 3 또는 도 4를 참조하면서 설명하면, 제b₁행과 제b₂행과의 사이에 제b₁'행, 제b₂행과 제b₃행과의 사이에 제b₂'행, 제b₃과 제b₄행과의 사이에 제b₃'행이 추가된다. 또, 제b₁'행은 VGA의 제a₃행과 제a₄행과의 간격을 5:1로 내분하는 점, 제b₂'행은 VGA의 제a₅행과 제a₆행과의 간격을 1:1로 내분하는 점, 제b₃'행은 VGA의 제a₇행과 제a₈행과의 간격을 1:5로 내 분하는 점에, 각각 위치한다. 계수 설정부(76)는, 제b₁'행에 대응하는 αm의 조 S1'로서 예를 들면, α1=1, α2=7, α3=11, α4=5, α5=0을 미리 저장하고, 제b₁'행의 가장 가까운 VGA의 행인 제a₄행의 화상 데이터 D가 라인 메모리(60)에 유지되는 행 범위의 중앙에 유지되는 타이밍에 동기하여 S1'을 레지스터(72)에 설정한다. 또한, 계수 설정부(76)는, 제b₂'행에 대응하는 αm의 조 S2'로서 예를 들면, α1=0, α2=3, α3=9, α4=9, α5=3을 미리 저장하고, 제b₂'행의 가장 가까운 VGA의 행의 하나인 제a₅행의 화상 데이터 D가 라인 메모리(60)에 유지되는 행 범위의 중앙에 유지되는 타이밍에 동기하여 S2'를 레지스터(72)에 설정한다. 또한, 계수 설정부(76)는, 제b₃'행에 대응하는 αm의 조 S3'으로서 예를 들면, α1=0, α2=5, α3=11, α4=7, α5=1을 미리 저장하고, 제b₃' 행의 가장 가까운 VGA의 행인 제a₇행의 화상 데이터 D가 라인 메모리(60)에 유지되는 행 범위의 중앙에 유지되는 타이밍에 동기하여 S3'을 레지스터(72)에 설정한다. 이에 의해, b₁', b₂', b₃', …의 각 행에서의 화상 데이터가 생성되어, 2배로 확대된 CIF 화상 데이터가 얻어진다.

여기서는, 업컨버트에 대하여 CIF의 샘플링점 수를 2배로 하는 예를 설명했지만, 그 밖의 배율에 대해서도 마찬가지로 구성할 수 있다. 즉, r배로 하는 경우, CIF의 각 행 b_i의 간격에 (r-1)점의 수직 샘플링점이 추가되고, 그 각 점마다 αm의 조가 정의된다. 이들 αm의 조는 계수 설정부(76)에 미리 저장되어, 라인 메모리(60)에 유지되는 VGA의 행 범위의 중앙 부근에 목적으로 하는 확대된 CIF 화상의 행의 수직 샘플링점이 위치하는 타이밍에, 레지스터(72)에 설정된다.

이상, 본 발명에 따르면, 촬상 장치로부터 출력된 화상 신호의 수직 해상도를 변환하기 위해서만 이용되는 라인 메모리를 필요로 하지 않는 화상 신호 처리 장치를 제공할 수 있다.

Claims

행렬 배치된 샘플링점의 각 열에 소정 행수를 반복 주기로 하여 복수의 색 성분이 주기적으로 나타나는 원화상 데이터가 입력되고, 해당 원화상 데이터와는 수직 샘플링 주기가 상이한 목적 화상 데이터를 생성하는 화상 신호 처리 장치로서,

입력된 상기 원화상 데이터 중 소정 폭의 행 범위 내에서 상호 소정의 위치 관계에 있는 복수행을 유지하는 데이터 유지부와,

상기 데이터 유지부에 유지된 복수행의 상기 원화상 데이터를 행마다 가중 계수를 승산하여 화상 데이터를 생성하고, 복수의 상기 화상 데이터를 서로 가산하여 원화상의 상기 행 범위에 따른 위치의 목적행에서의 상기 목적 화상 데이터를 생성하는 목적 화상 데이터 생성부와,

상기 가중 계수를 상기 목적행에 따라 설정하는 계수 설정부

를 구비하고,

상기 계수 설정부는,

상기 목적 화상 데이터에서 상기 원화상의 수직 샘플링 주파수 및 상기 색 성분의 상기 반복 주기에 따라, 상기 수직 샘플링 주파수의 소정 주파수 성분을 감쇠하는 트랩 특성과, 상기 데이터 유지부에 유지된 상기 원화상 데이터의 각 행에 대응하는 수직 샘플링점 및 상기 목적행에 대응하는 1 수직 샘플링점의 상호의 위치 관계에 기초하여 상기 가중 계수를 정하는 것을 특징으로 하는 화상 신호 처리 장치.
제1항에 있어서,

상기 색 성분의 상기 반복 주기는 n 행이며,

상기 계수 설정부는, 상기 원화상의 수직 샘플링 주파수의 1/n에 따른 주파수 성분을 감쇠시키는 트랩 특성을 상기 목적 화상 데이터 생성부에 부여하는 것을 특징으로 하는 화상 신호 처리 장치.
제1항 또는 제2항에 있어서,

상기 데이터 유지부는, 각각 1행의 상기 원화상 데이터를 유지할 수 있는 복수의 라인 메모리로 이루어지는 것을 특징으로 하는 화상 신호 처리 장치.
제1항에 있어서,

상기 데이터 유지부는, 상기 행 범위 내의 복수 각 행의 상기 원화상 데이터를 유지하고,

상기 목적 화상 데이터 생성부는, 상기 행 범위 내의 각 행의 상기 원화상 데이터에 제1 가중 계수를 승산하여 제1 화상 데이터를 생성하고, 복수의 상기 제1 화상 데이터를 서로 가산하여 얻어지는 휘도 데이터와, 상기 데이터 유지부에 유지된 복수 행의 상기 원화상 데이터 중 색 성분 구성이 동일하게 되는 상기 반복 주기마다의 각 행의 상기 원화상 데이터에 제2 가중 계수를 승산하여 제2 화상 데이터를 생성하고, 복수의 상기 제2 화상 데이터를 서로 가산하여 얻어지는 색 성분 데이터를 산출하는 것을 특징으로 하는 화상 신호 처리 장치.