KR100627706B1

KR100627706B1 - 데이터처리장치, 화상처리장치, 카메라 및 데이터처리방법

Info

Publication number: KR100627706B1
Application number: KR1020040045714A
Authority: KR
Inventors: 기무라카츠지; 요시다타쿠지
Original assignee: 샤프 가부시키가이샤
Priority date: 2003-06-18
Filing date: 2004-06-18
Publication date: 2006-09-25
Also published as: CN1290343C; US7415170B2; KR20040111184A; JP2005012479A; US20050007470A1; CN1574973A; JP4104495B2; EP1489556A3; EP1489556A2

Abstract

데이터처리장치는 복수종류의 컬러필터가 화소 상에 이산적으로 제공되고, 보간될 화소 및 그 주변 화소가 화상신호를 갖는 고체촬상소자로부터 획득한 상기 화상신호를 처리하기 위해 제공된다. 상기 장치는 상기 보간될 화소 및 그 주변 화소의 화상신호 중 적어도 상기 주변 화소의 화상신호를 이용한 보간에 의해 각 화소의 상기 화상신호에서 누락된 색신호를 생성시키는 보간부를 구비한다. 상기 보간부는, 상기 보간될 화소 및 그 주변 화소의 화상신호의 균일성 및 구배성에 따라, 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴과 유사한 보간 패턴을 획득하고, 상기 보간 패턴에 따라 보간을 행한다.

데이터처리장치, 컬러필터, 고체촬상소자, 화상처리장치, 카메라

Description

데이터처리장치, 화상처리장치, 카메라 및 데이터처리방법{DATA PROCESSING APPARATUS, IMAGE PROCESSING APPARATUS, CAMERA, AND DATA PROCESSING METHOD}

도 1은 본 발명의 실시예에 따른 카메라의 구성을 나타내는 블록도이다.

도 2는 도 1의 보간부에 의해 행해지는 보간 절차를 설명하는 플로우챠트이다.

도 3(a) 및 (b)는 도 1의 라인 메모리에 기억된 화상신호를 나타내는 화상도이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 4(a) 내지 (h)는 G 화소에 관한 예시적인 보간 패턴을 나타내는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 5(a) 내지 (d)는 본 발명에 따른 보간에 대해 보간 패턴을 판정하는 방법을 설명하는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 6(a) 내지 (h)는 P 화소에 관한 예시적인 보간 패턴을 나타내는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 7(a) 내지 (h)는 본 발명에 따른 화상처리로서 에지강조처리를 설명하는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 8은 컬러필터에 있어서 색에 대한 종래의 바이어 어레이 배열을 나타내는 도면이다.

도 9(a) 및 (b)는 종래의 보간 기술을 설명하는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 10(a) 내지 (e)는 종래의 보간 기술의 문제점을 설명하는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

도 11(a) 내지 (c)는 종래의 보간 기술의 다른 문제점을 설명하는 도면이며, 여기서 P와 Q는 각각 R 화소 또는 B 화소, 또는 B 화소 또는 R 화소를 가리킨다.

(도면의 주요 부분에 대한 부호의 설명)

1: 고체촬상소자

2: CDS

3: AGC

4: A/D 변환회로

5: DSP

6: TG

7: 라인 메모리

8: 보간부

9: 보간 패턴 기억 메모리

10: 화상신호처리부

11: I/F부

12: 데이터처리장치

100: 카메라

본 발명은 누락된 색신호를 각 화소의 화상신호로 보간하는 데이터처리장치(예컨대, 카메라 신호처리장치 등)에 관한 것으로, 고체촬상소자를 갖는 카메라(예컨대, 비디오 카메라, 디지털 카메라 등)에 사용된다. 또한, 이 데이터처리장치를 사용하는 데이터처리방법, 상기 데이터처리방법을 사용하는 화상처리장치, 및 이 화상처리장치와 고체촬상소자를 사용하는 카메라(예컨대, 비디오 카메라, 디지털 카메라, 카메라를 갖는 이동전화 등)에 관한 것이다.

종래의 카메라(예컨대, 비디오 카메라, 디지털 카메라 등, 그리고 이하, 카메라로 칭함)에 있어서, 하나의 고체촬상소자가 사용되고, 컬러필터는 상기 고체촬상소자의 화소 상에 이산적으로 배치된다.

각 컬러필터는 3색(3원색), 예컨대, 레드(R), 그린(G) 및 블루(B) 중 하나를 갖는다. R, G 및 B 필터 중 하나는 각 화소 상에 배치된다. 화소에 제공된 컬러필터의 색 이외의 색(색신호)은 연산에 의해 얻어질 수 있다. 이 경우에 있어서, 공 간적으로 연속적인 데이터(여기서, 2차원)는 마치 3개의 컬러필터가 연속적으로 제공된 것과 같이 얻어질 수 있다. 공간적으로 연속적인 데이터를 얻기 위한 이러한 연산은 보간이라 칭하여진다.

이하, 보간이 상세하게 설명된다.

도 8은 종래의 컬러필터에 있어서의 색 배열을 나타내는 도면이다.

일반적으로, 컬러필터 플레이트에 있어서, G 컬러필터는 체크보드(checkboard) 패턴으로 배열되지만, R 및 B 컬러필터 양자는 R 또는 B 컬러필터가 다른 라인 상에 배열되는 체크보드 패턴(checkerboard pattern)으로 또한 배열된다. 이 배열은 바이어 어레이(Bayer array)라 칭하여진다.

고체촬상소자가 바이어 어레이를 갖는 컬러필터 플레이트를 통해 화상신호를 디지털화한다면, 각 화소는 하나의 색만을 표시하는 화상신호를 제공한다. 따라서, 화소에 제공되지 않는 색 데이터는, 각 화소에 대한 완전 컬러 화상신호(R, G 및 B 컬러 모두를 포함함)를 얻기 위해 누락된 색을 갖는 다른 화소의 화상신호에 기초하여 보간될 필요가 있다.

이 경우에 있어서, G 화소와, R 및 B 화소는 개별 방법에 의해 보간될다.

도 9(a) 및 (b)는 종래의 보간 기술을 설명하는 도면이다. 이들 도면에 있어서, G 필터가 제공된 화소는 G로 표시된다. R 및 B 필터가 보간될 화소 상에 배열되기 때문에, R 및 B 필터가 제공된 화소는 각각 P 및 Q로 표시된다.

도 9(a)에 도시된 바와 같이, 예컨대, G33은 보간될 화소로 간주된다. 화소의 R 및 B(P 및 Q) 데이터는 보간에 의해 구해질 필요가 있다. G 화소에 근접하는 것은 R 화소와 B 화소이다.

G33의 보간에 의해 구해진 P 및 Q는 P33 및 Q33으로 표시된다. 특히, P33 및 Q33은 하기의 공식에 의해 G33에 근접하는 P 데이터와 Q 데이터를 기초로 하여 계산된다:

G33=G33

P33=(P32+P34)/2

Q33=(Q23+Q43)/2.

다음, 도 9(b)에 도시된 바와 같이, Q33은 보간될 화소로 간주된다. 화소의 G 및 P 데이터는 보간에 의해 구해진다. Q 화소에 근접하는 것은 G 화소와 P 화소이다.

Q33의 보간에 의해 구해진 G 및 P는 G33 및 P33으로 표시된다. 특히, G33 및 P33은 각각 하기의 공식에 의해 Q33에 근접하는 G 데이터와 P 데이터를 기초로 하여 계산된다:

G33=(G23+G32+G34+G43)/4

P33=(P22+P24+P42+P44)/4

Q33=Q33

그러나, 상기 언급된 일반적인 보간 기술은, 아래에서 설명되는 바와 같이, 화상 왜곡과 에지부에서의 해상도 저하를 야기한다.

이하, 이 문제점은 도 10(a)를 참조하여 설명되고, 여기서 수직 줄무늬 패턴이 촬상된다.

도 10(a)에 있어서, G11에서 G15로 형성된 라인은 전형적으로 화이트로 디스플레이되는 고해상도 라인이다. Q21에서 Q25로 형성된 라인은 전형적으로 블랙으로 디스플레이되는 저해상도 라인이다.

도 10(b)는 도 10(a)의 수직 줄무늬 패턴에서의 각 화소의 화상신호값을 나타내는 도면이며, 여기서 각 화이트 화소는 100값을 갖지만, 각 블랙 화소는 0값을 갖는다.

현재 G33은 보간될 화소로 간주된다. 보간은 상기에 언급된 공식에 따라 행해진다. 결과로서,

G33=100,

P33=(P32+P34)/2=100, 및

Q33=(Q23+Q43)/2=0.

마찬가지로, 다른 모든 화소도 상기에 언급된 공식에 따라 보간될다. 그 결과는 도 10(c) 내지 도 10(e)에 표시된다. 도 10(c)는 보간 후 G의 값을 나타낸다. 도 10(d)는 보간 후 P의 값을 나타낸다. 도 10(e)는 보간 후 Q의 값을 나타낸다.

도 10(c)에 도시된 바와 같이, G의 보간될 데이터는 수직 줄무늬 패턴을 나타내지 않기 때문에, 화상은 왜곡된다. 도 10(e)에 도시된 바와 같이, Q의 보간될 데이터는 수직 줄무늬 패턴을 나타내지 않으며, 여기서 줄무늬는 사라진다. 즉, 화상은 왜곡된다.

예컨대, 일본국 특허공개 평7-59098호 공보에서는 보간에 의해 야기된 이러한 화상의 왜곡 문제점을 해결하고자 하는 시도가 진행되었다. 이 특허문헌에 있어 서, 화소의 그레이 레벨은 수평 또는 수직으로 근접하는 화소 사이의 차분(difference)을 기초로 하여 구해진다. 그레이 레벨은 기설정된 문턱치와 비교된다. 비교 결과에 기초하여, 보간은 행해진다.

이하, 상기 언급된 특허문헌에 개시된 보간 기술은 도 11(a)를 참조하여 설명되며, 여기서 수평 줄무늬 패턴이 촬상된다.

도 11(a)에 있어서, G11 내지 G51, G13 내지 G53, 및 G15 내지 G55로 각각 형성된 라인은 각각 저해상도를 가지며, 전형적으로 블랙으로 디스플레이된다. P12 내지 P52 및 P14 내지 P54로 각각 형성된 라인은 각각 고해상도를 가지며, 전형적으로 화이트로 디스플레이된다.

도 11(b)는 도 11(a)의 수평 줄무늬 패턴의 각 화소의 화상신호값을 나타내며, 여기서 각 화이트 화소는 100값을 갖지만, 각 블랙 화소는 0값을 갖는다.

상기 언급된 특허문헌에 따르면, 도 11(a)의 화소 Q23이 보간될 화소로 간주되면, 색 데이터 G23 및 P23은 다음에 의해 계산된다:

Q23=Q23

P23=0.25×[P14-Adap(G14)+P12-Adap(G12)

+P32-Adap(G32)+P34-Adap(G34)]

+Adap(G23)

G23=Adap(G23)

ㆍㆍㆍ (1)

공식(1)에서의 Adap는 상기 언급된 특허문헌에 따른 공식(2)에 의해 계산되 고, 상기 공식(2)는 조건부 분기를 포함한다. 하기의 공식(2)은 도 11(a)의 화소(G23)에 대응한다. 공식(2)에 있어서, 'Threshold'은 기설정된 문턱치를 나타내고, 'Gdiff-hor'은 수평방향의 휘도값의 차분을 나타내고, 'Gdiff-ver'은 수직방향의 휘도값의 차분을 나타낸다.

For Gdiff-hor=｜G13-G33｜

Gdiff-ver=｜G22-G24｜

Threshold=Predetermined value

If (Gdiff-hor<Threshold) and (Gdiff-ver<Threshold)

or (Gdiff-hor>Threshold) and (Gdiff-ver>Threshold)이면

then ｜Adap(G23)=(G13+G33+G22+G24)/4｜

If (Gdiff-hor<Threshold) and (Gdiff-ver>Threshold)

then ｜Adap(G23)=(G13+G33)/2｜

If (Gdiff-hor>Threshold) and (Gdiff-ver<Threshold)

then ｜Adap(G23)=(G22+G24)/2｜

ㆍㆍㆍ (2)

그러나, 상기 언급된 특허문헌에 개시된 보간 기술에 의해 어떤 화상은 왜곡될 수 있다.

예컨대, G23은 공식(1) 및 (2)에 따라 도 11(b)의 데이터 값에 기초하여 계산된다. 결과로서,

Gdiff-hor=Gdiff-ver=0.

그리고, 문턱치의 값과 무관하게도,

G23=Adap(G23)=｜G13+G33+G22+G24｜/4=50.

G43도 동일하게 계산되어 50이 된다.

상기 언급된 특허문헌에 따르면, G13, G33 및 G53은 모두 각 화소의 데이터에 기초하여 계산되어 0으로 된다.

G13 내지 G53의 결과 데이터는 도 11(c)에 표시된다.

도 11(c)에 있어서, 보간은 위화이트신호(false white signal)[도 11(a)에서는 블랙]를 야기하므로, 휘도에서의 차분은 수평 라인에서 발생한다. 결과 패턴은 교대로 블랙 및 화이트 또는 강약의 휘도를 나타내며, 이는 지퍼 노이즈(zipper noise)로 칭하여진다. 즉, 화상이 왜곡된다.

또한, 상기 언급된 특허문헌의 보간 기술에 있어서, 수직 및 수평방향으로의 휘도값의 차분은 기설정된 문턱치와 비교된다. 화상신호가 노이즈 등으로부터 자유로운 경우에 이 기술은 효과적이다. 그러나, 수평 및 수직방향으로의 휘도값의 차가 노이즈 등으로 인해 문턱치 근처에서 변동하는 경우에, 시계열적으로 보간 계산이 변함으로써 데이터가 변한다. 예컨대, 보간될 화소는 시계열적으로 점멸하기 쉽다.

본 발명의 일실시형태에 따르면, 데이터처리장치는 복수종류의 컬러필터가 화소 상에 이산적으로 제공되고, 보간될 화소 및 그 주변 화소가 화상신호를 갖는 고체촬상소자로부터 획득한 상기 화상신호를 처리하기 위해 제공된다. 상기 장치는 상기 보간될 화소 및 그 주변 화소의 화상신호 중 적어도 상기 주변 화소의 화상신호를 이용한 보간에 의해 각 화소의 상기 화상신호에서 누락된 색신호를 생성시키는 보간부를 구비한다. 상기 보간부는, 상기 보간될 화소 및 그 주변 화소의 화상신호의 균일성 및 구배성에 따라, 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴과 유사한 보간 패턴을 획득하고, 상기 보간 패턴에 따라 보간을 행한다.

본 발명의 일실시예에 있어서, 데이터처리장치는 상기 화상신호의 균일성 및 구배성을 나타내는 복수의 보간 패턴을 기억하는 보간 패턴 기억부를 더 구비한다. 상기 보간부는, 상기 보간될 화소 및 그 주변 화소의 화상신호의 균일성 및 구배성에 따라 상기 보간 패턴 기억부에서의 복수의 보간 패턴으로부터 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴과 유사한 상기 보간 패턴을 선택하고, 상기 선택된 보간 패턴에 따라 보간을 행한다.

본 발명의 일실시예에 있어서, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 각각에 식별정보가 주어지고, 상기 보간부는 상기 보간 패턴 기억부에 상기 선택된 보간 패턴의 식별정보는 기억시킨다.

본 발명의 일실시예에 있어서, 상기 보간부는, 각각의 상기 하나 이상의 보간 패턴과 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴 사이의 유사성을 표시하는 방향성 데이터를 계산하고, 상기 방향성 데이터가 최소인 보간 패턴을 선택한다.

본 발명의 일실시예에 있어서, 상기 보간부는, 상기 보간될 화소가 휘도에 주로 기여하는 화소인지 또는 휘도에 주로 기여하지 않는 화소인지의 여부에 기초 하여 상기 하나 이상의 보간 패턴 중 하나를 선택하고, 상기 선택된 보간 패턴에 따라 보간을 행한다.

본 발명의 일실시예에 있어서, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 하나 이상이 상기 보간될 화소가 휘도에 주로 기여하는 화소인 경우에 사용되고, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 하나 이상이 상기 보간될 화소가 휘도에 주로 기여하지 않는 화소인 경우에 사용된다.

본 발명의 일실시예에 있어서, 상기 보간 패턴 기억부는, 상기 복수의 보간 패턴으로서, 기설정된 값을 갖는 화소가 수평으로 배열된 패턴; 기설정된 값을 갖는 화소가 수직으로 배열된 패턴; 기설정된 값을 갖는 화소가 우상방향으로 경사져 배열된 패턴; 기설정된 값을 갖는 화소가 우하방향으로 경사져 배열된 패턴; 기설정된 값을 갖는 화소가 좌상각부에 모여 배열된 패턴; 기설정된 값을 갖는 화소가 우상각부에 모여 배열된 패턴; 기설정된 값을 갖는 화소가 좌하각부에 모여 배열된 패턴; 및 기설정된 값을 갖는 화소가 우하각부에 모여 배열된 패턴을 기억한다.

본 발명의 일실시예에 있어서, 상기 보간부는, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 어느 것도 상기 보간될 화소 및 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사하지 않는 경우 기설정된 공식에 기초하여 보간을 행한다.

본 발명의 일실시예에 있어서, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 2개 이상이 상기 보간될 화소 및 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사한 경우, 상기 보간부는 상기 하나 이상의 주변 화소에 대해 선택된 보 간 패턴에 따라 상기 2개 이상의 보간 패턴 중 하나를 선택한다.

본 발명의 일실시예에 있어서, 상기 보간부는 상기 획득된 보간 패턴에 대응하는 공식에 기초하여 보간을 행한다.

본 발명의 다른 일측에 따르면, 상기 언급된 데이터처리장치; 및 상기 데이터처리장치에 의해 획득된 상기 보간 패턴에 따라 화상처리를 행하는 화상처리부를 구비하는 화상처리장치가 제공된다.

본 발명의 다른 일측에 따르면, 상기 언급된 화상처리장치를 구비하는 카메라가 제공된다. 상기 카메라는 고체촬상소자로부터 화상신호를 수신하고 보간과 화상처리를 행하여 상기 카메라용 화상 데이터를 획득한다.

본 발명의 다른 일실시형태에 따르면, 데이터처리방법은 복수종류의 컬러필터가 화소 상에 이산적으로 제공되고, 보간될 화소 및 그 주변 화소가 화상신호를 갖는 고체촬상소자로부터 획득한 상기 화상신호를 처리하기 위해 제공된다. 상기 방법은 상기 보간될 화소 및 그 주변 화소의 화상신호의 균일성 및 구배성에 따라, 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴과 유사한 보간 패턴을 획득하는 스텝; 및 상기 보간 패턴에 따라 보간을 행하여 상기 보간될 화소의 화상신호에서 누락된 색신호를 생성시키는 스텝을 구비한다.

본 발명의 작용은 다음과 같이 설명된다.

RGB(3원색) 필터와 같은 복수종류의 컬러필터는 고체촬상소자에서 이산적으로 배열(예컨대, 바이어 어레이)된다. 디지털화된 화상신호(화소신호)는 이러한 소자에서 얻어진다. 본 발명에 따르면, 모든 컬러필터가 각 화소에 연속적으로 배열 된 것과 마찬가지로, 누락된 색에 대응하는 필터가 제공되지 않은 화소에서 누락된 색 데이터(신호)는 보간에 의해 구해질 수 있다. 예컨대, 고체촬상소자가 1000화소를 갖는 경우, 각 화소는 R, G 및 B 중 어느 하나에 대응하는 화상신호의 데이터를 갖는다. 보간의 결과로서, 1000개의 데이터(신호)가 R, G 및 B 각각에 대해 구해져서, 3000개의 색신호가 구해진다. 따라서, 데이터의 공간적(여기서, 2차원) 연속성이 실현될 수 있다.

본 발명에 따르면, 보간은 다음과 같이 행해진다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사한 보간 패턴은 화상신호의 균일성과 구배성에 기초하여 구해진다. 보간은 상기 구해진 보간 패턴에 따라 행해진다. 따라서, 보간은 화상신호의 균일성과 구배성을 고려하면서 행해진다. 종래의 보간 기술에서 달리 발생하는 화상 왜곡을 방지하는 것이 가능하다. 부가적으로, 문턱치가 보간에 사용되는 일본국 공개특허 평7-59098호 공보에 기재된 바와 같이, 노이즈의 영향으로 인해 보간 계산에서 변화가 발생한다. 이러한 문제점은 본 발명의 의해 해결될 수 있다.

보간 패턴은 화상신호의 균일성과 구배성을 고려하여 제공된다. 예컨대, 보간 패턴 기억부는 기설정된 값을 갖는 화소가 수평으로 배열된 패턴; 기설정된 값을 갖는 화소가 수직으로 배열된 패턴; 기설정된 값을 갖는 화소가 우상방향으로 경사져 배열된 패턴; 기설정된 값을 갖는 화소가 우하방향으로 경사져 배열된 패턴; 기설정된 값을 갖는 화소가 좌상각부에 모여 배열된 패턴; 기설정된 값을 갖는 화소가 우상각부에 모여 배열된 패턴; 기설정된 값을 갖는 화소가 좌하각부에 모여 배열된 패턴; 및 기설정된 값을 갖는 화소가 우하각부에 모여 배열된 패턴을 기억한다. 각 보간 패턴에 대해, 보간 패턴의 유사성을 나타내는 방향성 데이터가 계산된다. 최소의 방향성 데이터 값을 갖는 보간 패턴이 선택될 수 있다.

화소가 보간 패턴으로 배치된다면, 보간될 화소와 그 주변 화소의 화상신호, 또는 그 주변 화소의 화상신호를 이용하여, 보간 패턴에 대응하는 공식에 따라 보간이 행해진다. 이 처리는 모든 화소에 대해 연속적으로 행해진다.

보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사한 보간 패턴이 보간 패턴 기억부에 기억되어 있지 않은 경우, 기설정된 공식은 보간을 행하기 위해 사용된다. 이에 따라, 최적의 보간 패턴이 균일성과 구배성에 기초하여 구해지지 않는 경우에도, 더욱 정확한 보간이 행해질 수 있다.

보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사한 2이상의 보간 패턴이 보간 패턴 기억부에 기억되어 있는 경우, 주변 화소에 대해 선택된 보간 패턴에 따라, 2이상의 보간 패턴 중 하나가 선택될 수 있다. 주변 화소의 보간 패턴을 고려함으로써, 노이즈 등의 영향으로 인해 화상신호 데이터가 시계열적으로 변화하여도, 보간에 의해 계산된 화상신호의 변동을 방지하는 것이 가능하다.

화상의 에지부에서 휘도의 변화가 클지라도, 이 부분에서 색의 변화는 비교적 적다. 휘도에 주로 기여하는, G 화소와 같은 화소는 에지부에서 크게 변하지만, 휘도에 주로 기여하지 않는, R 및 B 화소와 같은 화소는 적게 변한다. 따라서, 상기 언급된 경우의 각각에 대해 분리하여 보간을 행함으로써, 최적의 보간이 행해질 수 있다.

또한, 보간 후, 에지강조처리, 위색(僞色)억압처리 등 디지털 화상신호처리는 보간될 화소와 그 주변 화소의 영상신호의 균일성과 구배성에 따라 구해진 보간 패턴에 기초하여 행해질 수 있다. 따라서, 만족스러운 화상신호가 생성될 수 있다.

따라서, 여기에서 설명된 발명은, 복수종류의 컬러필터가 화소상에 이산적으로 제공된 고체촬상소자로부터 보간하여 디지털화된 화상신호가 구해지는 경우 노이즈의 영향을 받지 않고 화상 왜곡이 방지될 수 있는 데이터처리장치(예컨대, 카메라 신호처리장치 등); 상기 데이터처리장치를 사용한 데이터처리방법; 상기 데이터처리방법을 사용한 화상처리장치; 및 상기 화상처리장치를 사용한 카메라를 제공할 수 있는 이점이 있다.

본 발명의 이러한 그리고 다른 장점은 수반된 도면을 참조하여 하기의 상세한 설명을 숙지함으로써 당업자에게 명백하게 될 것이다.

이하, 본 발명은 첨부된 도면을 참조하여 예시적인 실시예에 의해 설명된다. 특히, 본 발명의 데이터처리장치를 구비한 화상처리장치를 포함하는 카메라(카메라 시스템)는 하기에 설명된다.

도 1은 본 발명의 실시예에 따른 카메라의 구성을 나타내는 블록도이다. 도 1에 있어서, 실선 화살표는 화상신호의 흐름을 나타내고, 점선 화살표는 제어신호의 흐름을 나타낸다.

도 1에 있어서, 카메라(100)는 고체촬상소자(1), CDS(correlation double sampling circuit)(2), AGC(automated gain control circuit)(3), A/D(analog/digital) 변환회로(4), 카메라 신호처리장치 등과 같은 화상처리장치인 DSP(digital signal processor)(5), 및 TG(timing signal generation circuit)(6)를 구비한다.

고체촬상소자(1)는 광전변환을 행하는 포토다이오드를 구비한다. 도 8에 도시된 바와 같이, R, G 및 B(3원색) 컬러필터는 바이어 어레이로 불리는 방식으로 포토다이오드상에 이산적으로 배열된다. 포토다이오드에 입사된 광신호는 광전변환되어 전기신호로 된다.

CDS(2)와 AGC(3)는 고체촬상소자(1)에 의해 출력된 신호에 대해 상관이경 샘플링과 자동이득제어처리를 각각 행한다.

A/D 변환회로(4)는 아날로그 화상신호를 디지털 화상신호로 변환시킨다.

DSP(5)는 A/D 변환회로(4)에 의해 출력된 디지털 신호에 대해 화상처리(하기에 상세히 설명됨)를 행한다.

TG(6)는 상기 언급된 전기신호를 전송하기 위한 타이밍신호를 생성/구동하는 회로이다.

DSP(5)는 5 라인에 대한 라인 메모리(7), 보간부(8), 보간 패턴 기억 메모리(9), 화상신호처리부(10), 및 I/F부(11)를 구비한다. 라인 메모리(7), 보간부(8), 및 보간 패턴 기억 메모리(9)는 데이터처리장치(12)를 구성한다.

라인 메모리(7)는 DSP(5)에 입력된 화상신호의 5 라인에 대한 데이터를 유지하고, 보간부(8)로 데이터를 연속적으로 공급한다.

보간부(8)는 라인 메모리(7)로부터 입력된 화상신호를 기초로 하여 보간될 화소와 관련하여 보간을 행한다. 보간 패턴 기억 메모리(9)에 기억된 보간 패턴은 선택적으로 이용된다. 보간처리는 보간될 화소와 그 주변 화소의 화상신호의 균일성과 구배성에 따른다. 보간 후 야기된 화상신호는 화상신호처리부(10)로 전송된다.

보간 패턴 기억 메모리(9)는 미리 복수의 보간 패턴을 기억한다. 보간부(8)가 보간을 행하는 경우, 보간 패턴 기억 메모리(9)에 의해 선택된 보간 패턴 번호는 보간 패턴을 식별하는 정보로서 보간 패턴 기억 메모리(9)에 기억된다.

화상처리부(10)는 화상신호를 처리하는 주지의 블록이다. 여기서 그 상세한 설명은 누락된다. 일반적으로, 화상신호처리부(10)는 고체촬상소자(1)의 노출을 조정하는 자동노출제어처리, 화상신호의 화이트 레벨을 조정하는 자동화이트밸런스제어처리, 에지신호를 강조하는 에지강조처리, 에지부에서 발생된 위색(false color)을 제거하는 위색억압처리 등과 같은 다양한 화상처리를 행한다.

I/F부(11)는 화상신호처리부(10)에 의해 처리된 화상신호를 수신하고, 외부회로와 동기하여 화상신호를 전송한다.

이하, 보간부(8)에 의해 행해진 보간은 도 2에 도시된 플로우챠트와 도 3a와 도 3(b) 내지 도6을 참조하여 설명된다.

도 3(a) 및 도 3(b)는 라인 메모리(7)에 기억된 화상신호로부터 추출된 5×5 화소(수평 및 수직방향의 각각에 있어서의 5 화소)를 갖는 화상을 나타내는 도면이며, 보간될 화소는 화상의 중심인 G33에 배치된다. 도 3(a)는 보간될 화소상에 배치된 필터의 색이 G인 화상을 나타낸다. 도 3(b)는 보간될 화소상에 배치된 필터의 색이 R 또는 B인 화상을 나타낸다. 바이어 어레이에 있어서, R 또는 B 필터는 보간될 화소상에 배치되기 때문에, R 및 B 필터는 도 3(b)에서의 P 및 Q로 표시됨에 주목하자.

화상의 에지부에서 휘도의 변화가 클지라도, 이 부분에서 색의 변화는 비교적 적다는 것은 알려진 사실이다. 예컨대, 휘도에 주로 기여하는 G 화소의 화상신호는 에지부에서 크게 변하지만, 휘도가 아니라 색성분에 주로 기여하는 R 및 B 화소의 화상신호는 적게 변한다.

따라서, 도 2의 스텝(S1)에서, 보간부(8)는 G 화소, 또는 R 또는 B 화소의 각각에 대해 최적의 보간을 행한다.

우선, G 화소의 보간이 설명된다.

도 2의 스텝(S2)에 있어서, 스텝(S1)에서 G 화소와 관련하여 보간이 행해지는 것으로 판단된 경우, 보간될 G 화소와 그 주변 화소의 화상신호의 균일성과 구배성이 계산된다. 화상신호의 균일성과 구배성을 얻기 위해, 균일성과 구배성은 수치화할 필요가 있다. 수치화된 데이터는 방향성 데이터로 칭하여진다.

이 실시예에 있어서, 도 4(a) 내지 도 4(h)에 도시된 바와 같은 보간 패턴은 보간 패턴 기억 메모리(9)에 기억되고, 각각에 대해 후술하는 공식에 기초하여 방향성 데이터 Gv(x)가 계산된다. 결국, 보간 패턴의 수와 동일한 수의 방향성 데이터가 구해진다. 방향성 데이터는 그에 대응하는 보간 패턴과의 유사도를 나타낸다. 방향성 데이터의 값이 작은 경우, G 화소(보간될 화소)와 그 주변 화소의 화상신호의 데이터 값의 패턴이 보간 패턴과 유사한 것으로 판단된다.

예컨대, 도 4(a)는 저휘도 화소가 우상방향으로 경사진 라인상에 배열된 보간 패턴을 나타낸다. 따라서, 도 4(a)의 보간 패턴은 균일성을 갖지 않고 좌에서 우로 상승하는 구배성을 갖는다. 화상신호의 데이터 값의 패턴이 이 보간 패턴과 유사한 경우, 화상 데이터는 우상방향으로 경사진 라인상에 존재하는 것으로 판단된다. 따라서, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(1)는, 보간될 화소인 G33와 나머지 화소 G51, G42, G24 및 G15의 값 사이의 차에 대한 평균을 계산함으로써 구해질 수 있다. 따라서, 방향성 데이터 Gv(1)는 다음과 같이 표시된다:

Gv(1)=(｜G33-G51｜+｜G33-G42｜

+｜G33-G24｜+｜G33-G15｜)/4.

보간될 화소와 그 주변 화소의 화상신호가 보간 패턴과 일치하는 경우, 차 모두가 제로(zero)이다. 방향성 데이터 Gv(1)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 4(a)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(b)는 저휘도 화소가 수평으로 배열된 보간 패턴을 나타낸다. 따라서, 도 4(b)의 보간 패턴은 균일성을 갖지 않고 그 구배성은 수평적이다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(2)는 다음과 같이 계산된다:

Gv(2)=(｜G33-G13｜+｜G33-G53｜)/2.

방향성 데이터 Gv(2)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상 신호의 데이터 값의 패턴과, 도 4(b)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(c)는 저휘도 화소가 우하방향으로 경사진 라인상에 배열된 보간 패턴을 나타낸다. 따라서, 도 4(c)의 보간 패턴은 균일성을 갖지 않고, 좌에서 우로 하강하는 구배성을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(3)는 다음과 같이 계산된다:

Gv(3)=(｜G33-G11｜+｜G33-G22｜

+｜G33-G44｜+｜G33-G55｜)/4.

방향성 데이터 Gv(3)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 4(c)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(d)는 저휘도 화소가 수직으로 배열된 보간 패턴을 나타낸다. 따라서, 도 4(d)의 보간 패턴은 균일성을 갖지 않고 그 구배성은 수직적이다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(4)는 다음과 같이 계산된다:

Gv(4)=(｜G33-G31｜+｜G33-G35｜)/2.

방향성 데이터 Gv(4)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 4(d)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(e)는 저휘도 화소가 패턴의 좌상부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 4(e)의 보간 패턴은 균일성(좌상부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유 사도의 수치를 나타내는 방향성 데이터 Gv(5)는 다음과 같이 계산된다:

Gv(5)=(｜G33-G11｜+｜G33-G31｜

+｜G33-G22｜+｜G33-G13｜)/4.

방향성 데이터 Gv(5)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 4(e)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(f)는 저휘도 화소가 패턴의 우상부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 4(f)의 보간 패턴은 균일성(우상부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(6)는 다음과 같이 계산된다:

Gv(6)=(｜G33-G31｜+｜G33-G42｜

+｜G33-G51｜+｜G33-G53｜)/4.

방향성 데이터 Gv(6)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 4(f)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(g)는 저휘도 화소가 패턴의 좌하부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 4(g)의 보간 패턴은 균일성(좌하부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(7)는 다음과 같이 계산된다:

Gv(7)=(｜G33-G13｜+｜G33-G24｜

+｜G33-G15｜+｜G33-G35｜)/4.

방향성 데이터 Gv(7)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상 신호의 데이터 값의 패턴과, 도 4(g)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(h)는 저휘도 화소가 패턴의 우하부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 4(h)의 보간 패턴은 균일성(우하부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Gv(8)는 다음과 같이 계산된다:

Gv(8)=(｜G33-G35｜+｜G33-G44｜

+｜G33-G53｜+｜G33-G55｜)/4.

방향성 데이터 Gv(8)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 4(h)의 보간 패턴 사이의 유사도는 더 커진다.

방향성 데이터를 계산하는 상기에 언급된 공식에 있어서, 화상신호의 2 또는 4개의 데이터가 사용된다. 어느 경우에 있어서는, 전체 G 화소의 수에 대응하는 데이터의 개수가 보간 패턴상에 존재한다.

방향성 데이터 값 Gv(1) 내지 Gv(8) 중 최소값을 갖는, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴은 보간 패턴 기억 메모리(9)에 기억된 보간 패턴과 가장 유사하다. 방향성 데이터의 ()내의 수치는 보간 패턴 번호로서 언급된다. 이 경우에 있어서, 보간 패턴은 Gn33으로서 언급된다.

도 2의 스텝(S3)에 있어서, 상기 언급된 방향성 데이터 Gv(1) 내지 Gv(8)는 보간될 화소와 그 주변 화소의 화상신호에 대해 최소인 방향성 데이터 값을 갖는 보간 패턴을 구하기 위해 사용된다.

예컨대, 도 5(a)에 도시된 바와 같은 수평 줄무늬 패턴(2개 줄무늬)이 촬상 되어 도 5(b)에 도시된 바와 같은 화상신호의 데이터 값은 구해지고, Gv(1) 내지 Gv(8)는 다음과 같이 구해지며, 여기서 화소 G33은 보간될 화소이다:

Gv(1)=(100+100+100+0)/4=75

Gv(2)=(0+0)/2=0

Gv(3)=(100+100+100+0)/4=75

Gv(4)=(100+0)/2=50

Gv(5)=(100+100+100+0)/4=75

Gv(6)=(100+100+100+0)/4=75

Gv(7)=(100+0+0+0)/4=25

Gv(8)=(100+0+0+0)/4=25

이 경우에 있어서, 최소값을 갖는 방향성 데이터는, 보간 패턴 방향성 데이터 중 유일하게 최소인 Gv(2)이다.

다음, 도 2의 스텝(S4)에 있어서, 하나의 보간 패턴만이 최소인 방향성 데이터 값을 제공하는지의 여부가 판단된다. 하나의 보간 패턴만이 있는 경우(Yes), 스텝(S5)으로 처리가 진행된다. 두개 이상의 보간 패턴이 있는 경우(No), 스텝(S6)으로 처리가 진행된다.

스텝(S5)에 있어서, 예컨대, 최소값이 Gv(2)인 경우, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴이 도 4(b)에 도시된 보간 패턴과 유사하다는 것이 확인될 수 있다. 이 경우에 있어서, 보간부(8)는 보간될 화소에 대한 보간 패턴(Gn33=2)을 보간 패턴 기억 메모리(9)에 기억시킨다.

스텝(S7)에 있어서, 보간부(8)는 각 보간 패턴에 대응하는 보간을 행한다. 보간에 의해 구해진 색 데이터는 Go, Po 또는 Qo로 지정된다. 색 데이터의 보간 패턴에 대응하고, 보간 패턴 기억 메모리(9)에 미리 준비된 보간 공식에 의해 색 데이터는 계산될 수 있다.

이하, Gv(1) 내지 Gv(8)에 대응하는 보간 패턴의 각각에 적합한 예시적인 보간 공식이 설명된다.

보간 패턴 번호 1:[Gv(1)가 최소]

Go=(G15+G24×2+G33×2+G42×2+G51)/8

Po=(P14+P34+P32+P52)/4

Qo=(Q23+Q25+Q43+Q41)/4

보간 패턴 번호 2:[Gv(2)가 최소]

Go=(G13+G33×2+G53)/4

Po=(P12+P14+P32×2+P34×2+P52+P54)/8

Qo=(Q23+Q43)/2

보간 패턴 번호 3:[Gv(3)가 최소]

Go=(G11+G22×2+G33×2+G44×2+G55)/8

Po=(P12+P34+P32+P54)/4

Qo=(Q21+Q23+Q43+Q45)/4

보간 패턴 번호 4:[Gv(4)가 최소]

Go=(G31+G33×2+G35)/4

Po=(P32+P34)/2

Qo=(Q21+Q41+Q23×2+Q43×2+Q25+Q45)/8

보간 패턴 번호 5:[Gv(5)가 최소]

Go=(G11+G13+G22+G31+G33×4)/8

Po=(P12+P32)/2

Qo=(Q21+Q23)/2

보간 패턴 번호 6:[Gv(6)가 최소]

Go=(G31+G42+G53+G51+G33×4)/8

Po=(P32+P52)/2

Qo=(Q41+Q43)/2

보간 패턴 번호 7:[Gv(7)가 최소]

Go=(G13+G15+G24+G35+G33×4)/8

Po=(P14+P34)/2

Qo=(Q23+Q25)/2

보간 패턴 번호 8:[Gv(8)가 최소]

Go=(G35+G44+G53+G55+G33×4)/8

Po=(P34+P54)/2

Qo=(Q43+Q45)/2

보간을 행하기 위해 상기 언급된 공식을 사용함으로써, 색 데이터는 계산될 수 있다.

상기 언급된 보간 공식에 있어서, Go, Po 및 Qo를 구할 수 있도록 화상신호의 평균이 계산된다. 이 경우에 있어서, 평균화될 화소의 수는 2의 제곱이다. 이는 2의 제곱이 사용된다면, 연산이 비트 시프트 동작에 의해 용이해질 수 있기 때문에, 계산기(하드웨어)가 용이하게 구성될 수 있고 계산속도도 증가될 수 있다. 데이터 값의 수가 2의 제곱인 것을 평균함은, 보통의 평균보다 특정 화소에 가중치를 두어 행해진다. 이는 보다 정확한 데이터가 보간될 화소 근처에 있는 화소로부터의 데이터를 사용함으로써 구해질 수 있기 때문이다.

이하, 도 2의 스텝(S4)이 설명된다. 언제나 하나의 보간 패턴만이 최소인 방향성 데이터 값을 갖는 것은 아니다. 예컨대, 도 5(a)에 도시된 바와 같이 수평 줄무늬 패턴이 촬상되는 경우, 화상신호의 데이터 값은 도 5(b)에 도시된 바와 같이 구해진다. 이 경우에 있어서, 도 5(c)에 도시된 바와 같이, G31이 노이즈 등과 같은 영향으로 인해 "0"이 된다면, Gv(1) 내지 Gv(8)는 다음과 같이 계산된다:

Gv(1)=(100+100+100+0)/4=75

Gv(2)=(0+0)/2=0

Gv(3)=(100+100+100+0)/4=75

Gv(4)=(0+0)/2=0

Gv(5)=(100+100+100+0)/4=75

Gv(6)=(100+100+100+0)/4=75

Gv(7)=(100+0+0+0)/4=25

Gv(8)=(100+0+0+0)/4=25.

상기 언급된 계산 결과에 따라, Gv(2)와 Gv(4)가 최소인 방향성 데이터 값이다.

따라서, 상기 언급된 계산 결과에서 보여지는 바와 같이, 2개 이상의 보간 패턴은 최소인 방향성 데이터 값을 갖는 보간 패턴과 보간 패턴 번호를 구하는 방법으로 구하기 쉽다. 최적의 보간 공식에서 어느 보간 패턴이 사용되는지를 판단하는 것은 불가능하다.

이 실시예에 있어서, 도 2의 스텝(S6)에서, 2개 이상의 보간 패턴이 최소인 방향성 데이터 값을 갖는 경우, 이미 최적의 보간 패턴이 판정된 주변 화소의 보간 패턴의 상관이 고려된다. 이는, 화상에 있어서, 보간될 화소의 화상신호의 데이터 값이 그 주변 화소의 화상신호의 데이터 값과의 상관이 높기 때문이다.

도 5(c)에 있어서, 보간은 상방향의 좌 화소로부터 우 화소로 행해지고 난 후 하방향으로 순차 행해지며, 즉, Q01, G11, ㆍㆍㆍ, Q41, G51, G02, P12, ㆍㆍㆍ, Q45, G55.

보간될 현재의 화소가 G33으로 간주된다. 보간이 상기 언급된 순서로 행해지는 경우, 화소 G13, G22, 및 G31은 이미 보간되었다. 그 보간 패턴 번호는 보간 패턴 기억 메모리(9)에 기억된다.

도 5(c)의 화소 G13, G22, 및 G31은 각각 기억된 보간 패턴 번호 Gn13, Gn22, 및 Gn31을 갖는 것으로 한다. 이 경우에 있어서, 도 5(a)의 2개의 줄무늬를 갖는 수평 줄무늬 패턴이 촬상되기 때문에, 명백하게도 Gn13 및 Gn22=2와 Gn31=4이다. 따라서, Gv(2)는 주변 화소의 보간 패턴과 상관에 있다. 특히, 최소값을 갖는 보간 패턴 중 하나가 주변 G 화소의 보간 패턴이라면, 보간 패턴은 주변 G 화소의 보간 패턴 중 하나이다. 이 경우에 있어서, 스텝(S7)에 있어서, '패턴에 대응하는 보간'이 행해진다. 특히, 최적의 보간 패턴 번호 G33은 2로 판단되고, Gv(2)의 보간 패턴에 적합한 보간 공식은 보간을 행하기 위해 사용된다.

결과로서, 노이즈의 영향이 도 5(b)의 데이터를 도 5(c)의 데이터로 변화시키는 경우에도, 화소 G33의 보간은 노이즈로부터의 영향이 없이 정확한 색 데이터를 계산하도록 행해질 수 있다.

그러나, 도 5(d)에 도시된 화상의 경우에 있어서, 방향성 데이터 Gv(1) 내지 Gv(8) 모두는 동일한 값을 가지며, 주변 화소의 보간 패턴과 상관이 없다. 이 경우에 있어서, 스텝(S6)에서, 최소값을 갖는 보간 패턴을 판정하는 것이 불가능하다는 것이 판단된다. 즉, '최소인 보간 패턴=주변 화소 G 화소의 보간 패턴'이 아니라면, '보간 패턴=판정 불가능'으로 판단된다. '판정 불가능'으로 판단되는 경우, '패턴에 대응하는 보간'은 스텝(S7)에서 행해진다. 특히, '판정 불가능'의 경우에 대응하도록 미리 보간 패턴 기억 메모리(9)에 제공된 보간 공식은 보간을 행하기 위해 사용된다.

이하, '판정 불가능'의 경우에 대한 예시적인 보간 공식이 설명된다.

'판정 불가능':

Go=(G22+G24+G42+G44+G33×4)/8

Po=(P32+P34)/2

Qo=(Q23+Q43)/2

이렇게 구해진 보간 패턴 번호 또는 '판정 불가능'을 표시하는 번호는 보간 패턴 기억 메모리(9)에 Gn33으로서 기억되고, 주변 화소가 보간될 경우 보간 패턴의 상관을 검증하기 위해 사용된다.

스텝(S1) 내지 스텝(S7)에 의해, 최적의 보간이 휘도에 주로 기여하는 화상신호인 G 신호에 대해 실현될 수 있다.

다음, R 화소 및 B 화소의 보간이 설명된다.

R 화소가 보간될 화소인 경우의 B 화소의 배열은 B 화소가 보간될 화소인 경우의 R 화소의 배열과 동일하다는 점에 주목하자. 따라서, 이하, 보간될 화소는 P로 표시되지만, G 화소를 제외한 다른 화소는 Q로 표시된다.

P 화소 및 Q 화소에 적합한 보간 패턴을 구하기 위해, 주변 G 화소와 관련하여 구해진 보간 패턴의 상관은 도 2의 스텝(S8)에서 검증된다.

전형적으로, 해상도는 에지부에서 변한다. 특히 휘도(블랙과 화이트)가 크게 변하지만, 색 신호에서의 변화는 실질적으로 중요하지 않다. 따라서, 에지부에서, 휘도에 기여하는 G 화소 데이터만이 처리된다. R 또는 B 화소가 보간될다면, 다른 경우에 블랙인 부분이 색신호를 갖게 된다. 따라서, R 화소와 B 화소(P 화소와 Q 화소)가 보간될 경우, G 화소의 보간 패턴과 그 주변 화소의 보간 패턴의 상관을 보간할 필요가 있다.

이 실시예에 있어서, 도 2의 스텝(S8)에 있어서, 보간될 P 화소의 주변에 있는 G 화소의 보간 패턴 번호가 동일한 경우, 주변 G 화소의 보간 패턴에 대응하는 번호가 보간될 P 화소에 대한 최적의 보간 패턴으로서 사용된다.

스텝(S8)에 있어서, 주변 G 화소의 보간 패턴 번호가 동일한 경우, 주변 G 화소의 보간 패턴은 스텝(S14)에서 보간될 P 화소의 보간 패턴으로서 선택된다. 예컨대, 보간될 P 화소의 보간 패턴 번호는 Pn33으로 한다. 보간이 상바향의 좌 화소로부터 우 화소로 행해진 후 하방향으로 순차 행해지는 경우, Gn32와 Gn23은 주변 G 화소의 보간 패턴 번호로서 사용된다. 스텝(S8)에 있어서, Gn23=Gn32이면, 보간 패턴 번호 Pn33은 도 2의 스텝(S14)에서의 Gn23과 동일하게 설정된다.

다음, 도 2의 스텝(S8)에 있어서, 보간될 P 화소의 주변에 있는 G 화소의 보간 패턴 번호가 다른 경우(No), 수치화된 방향성 데이터가 계산되어 보간될 P 화소와 그 주변 화소의 화상신호의 균일성과 구배성을 구하게 된다.

이 실시예에 있어서, 도 6(a) 내지 도 6(h)에 도시된 바와 같이 보간 패턴이 보간 패턴 기억 메모리(9)에 제공된다. 각 보간 패턴에 대해, 후술하는 공식에 의해 방향성 데이터 Pv(x)가 계산된다.

결과로서, 보간 패턴과 동일한 수치를 갖는 방향성 데이터 값이 계산된다. 이들 방향성 데이터 값 각각은 그들 각각의 보간 패턴과의 유사도를 나타낸다. 방향성 데이터의 수치가 작은 경우, 보간될 G 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴이 보간 패턴과 유사한 것으로 판단된다. P 화소의 보간에 있어서, 그 주변 G 화소와의 상관이 고려된다. 따라서, G 화소에 대해 제공된 보간 패턴과 유사한 패턴은 보간 패턴으로서 제공되고, 보간 패턴 번호는 동일하게 설정된다.

예컨대, 도 4(a)와 동일하게, 도 6(a)는 저휘도 화소가 우상방향으로 경사진 라인상에 배열된 보간 패턴을 나타낸다. 따라서, 도 6(a)의 보간 패턴은 균일성을 갖지 않고, 좌로부터 우로 상승하는 구배성을 갖는다. 화상신호의 데이터 값의 패턴이 이 보간 패턴과 유사한 경우, 화상 데이터는 우상방향으로 경사진 라인상에 존재하는 것으로 판단된다. 따라서, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도 수치를 나타내는 방향성 데이터 Pv(1)는 보간될 화소인 P33과, 나머지 화소 P51 및 P15의 값 사이의 차분의 평균을 계산함으로써 구해질 수 있다. 따라서, 방향성 데이터 Pv(1)는 다음과 같이 표시된다:

Pv(1)=(｜P33-P51｜+｜P33-P15｜)/2.

보간될 화소와 그 주변 화소의 화상신호가 보간 패턴과 일치하는 경우, 모든 차분은 제로이다. 방향성 데이터 Pv(1)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(a)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(b)와 동일하게도, 도 6(b)는 저휘도 화소가 수평으로 배열된 보간 패턴을 나타낸다. 따라서, 도 6(b)의 보간 패턴은 균일성을 갖지 않고 그 구배성은 수평적이다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(2)는 다음과 같이 계산된다:

Pv(2)=(｜P33-P13｜+｜P33-P53｜)/2.

방향성 데이터 Pv(2)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(b)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(c)와 동일하게도, 도 6(c)는 저휘도 화소가 우하방향으로 경사진 라인 상에 배열된 보간 패턴을 나타낸다. 따라서, 도 6(c)의 보간 패턴은 균일성을 갖지 않고 좌에서 우로 하강하는 구배성을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(3)는 다음과 같이 계산된다:

Pv(3)=(｜P33-P11｜+｜P33-P55｜)/2.

방향성 데이터 Pv(3)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(c)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(d)와 동일하게도, 도 6(d)는 저휘도 화소가 수직으로 배열된 보간 패턴을 나타낸다. 따라서, 도 6(d)의 보간 패턴은 균일성을 갖지 않고 그 구배성은 수직적이다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(4)는 다음과 같이 계산된다:

Pv(4)=(｜P33-P31｜+｜P33-P35｜)/2.

방향성 데이터 Pv(4)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(d)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(e)와 동일하게도, 도 6(e)는 저휘도 화소가 패턴의 좌상부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 6(e)의 보간 패턴은 균일성(좌상부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(5)는 다음과 같이 계산된다:

Pv(5)=(｜P33-P11｜+｜P33-P31｜+｜P33-P13｜)/3.

방향성 데이터 Pv(5)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(e)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(f)와 동일하게도, 도 6(f)는 저휘도 화소가 패턴의 우상부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 6(f)의 보간 패턴은 균일성(우상부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(6)는 다음과 같이 계산된다:

Pv(6)=(｜P33-P31｜+｜P33-P51｜+｜P33-P53｜)/3.

방향성 데이터 Pv(6)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(f)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(g)와 동일하게도, 도 6(g)는 저휘도 화소가 패턴의 좌하부에 함께 배열된 보간 패턴을 나타낸다. 따라서, 도 6(g)의 보간 패턴은 균일성(좌하부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(7)는 다음과 같이 계산된다:

Pv(7)=(｜P33-P13｜+｜P33-P15｜+｜P33-P35｜)/3.

방향성 데이터 Pv(7)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(g)의 보간 패턴 사이의 유사도는 더 커진다.

도 4(h)와 동일하게도, 도 6(h)는 저휘도 화소가 패턴의 우하부에 함께 배열 된 보간 패턴을 나타낸다. 따라서, 도 6(h)의 보간 패턴은 균일성(우하부)과 구배성(각부)을 갖는다. 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 보간 패턴 사이의 유사도의 수치를 나타내는 방향성 데이터 Pv(8)는 다음과 같이 계산된다:

Pv(8)=(｜P33-P35｜+｜P33-P53｜+｜P33-P55｜)/3.

방향성 데이터 Pv(8)의 값이 작을수록, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과, 도 6(h)의 보간 패턴 사이의 유사도는 더 커진다.

방향성 데이터를 계산하는 상기에 언급된 공식에 있어서, 화상신호의 2 또는 3개의 데이터가 사용된다. 어느 경우에 있어서도, 전체 P 화소의 수에 대응하는 데이터의 개수가 보간 패턴상에 존재한다.

방향성 데이터 값 Pv(1) 내지 Pv(8) 중 최소값을 갖는, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴은 보간 패턴 기억 메모리(9)에 기억된 보간 패턴과 가장 유사하다. 방향성 데이터의 ()내의 수치는 보간 패턴 번호로서 언급된다. 이 경우에 있어서, 보간 패턴은 Pn33으로서 언급된다.

도 2의 스텝(S10)에 있어서, 상기 언급된 방향성 데이터 Pv(1) 내지 Pv(8)는 보간될 화소와 그 주변 화소의 화상신호에 대한 최소인 방향성 데이터 값을 갖는 보간 패턴을 구하기 위해 사용된다.

다음, 도 2의 스텝(S11)에 있어서, 하나의 보간 패턴만이 최소인 방향성 데이터 값을 제공하는지의 여부가 판단된다. 하나의 보간 패턴만이 있는 경우(Yes), 스텝(S12)으로 처리가 진행된다. 두개 이상의 보간 패턴이 있는 경우(No), 스텝(S13)으로 처리가 진행된다.

도 2의 스텝(S12)에 있어서, 스텝(S11)에서 최소값을 갖는 하나의 보간 패턴이 존재하는 것으로 판단되기 때문에, 보간 패턴 기억 메모리(9)에 보간 된 화소의 보간 패턴 번호 Pn33으로서 보간 패턴 번호가 기억된다.

도 2의 스텝(S12)에 있어서, 최소인 방향성 데이터 값을 갖는 2개 이상의 보간 패턴이 존재하는 경우, 이미 최적의 보간 패턴으로 판정된, 주변화소의 보간 패턴과의 상관은 스텝(S13)에서 고려된다. 지금, 보간이 상방향의 좌 화소로부터 우 화소로 행해진 후 하방향으로 순차 행해지는 것으로 한다. 또한, 보간될 현재의 화소가 P33인 것으로 한다. 또한, 화소 G23과 G32가 이미 보간되었고 그들 각각의 보간 패턴 번호 Gn23과 Gn32(식별정보)는 보간 패턴 기억 메모리(9)에 기억되는 것으로 한다. 보간 패턴 번호 Gn23과 Gn32가 최소인 방향성 데이터 값 Pv(x)를 갖는 2개 이상의 보간 패턴 중 하나와 일치하는 경우, 보간 패턴 기억 메모리(9)에 Pn33으로서 보간 패턴 번호가 기억된다. P와 Q 화소 대신에 G 화소가 고려되는 이유는 G 화소가 P와 Q 화소보다 패턴 검출에 더 적합하기 때문이다.

최소인 방향성 데이터 값을 갖는 2개 이상의 보간 패턴 중 어느 것도 주변 화소의 임의의 보간 패턴과 일치하지 않는 경우, 스텝(S13)에서 보간 패턴을 판정하는 것이 불가능한 것으로 판단된다. 이 경우에 있어서, 보간은, 이미 보간 패턴 기억 메모리(9)에 기억되고 '판정 불가능'에 대응하는 보간 공식을 사용하여 행해진다.

도 2의 스텝(S15)에 있어서, 각 보간 패턴에 대응하는 보간이 행해진다. 보 간에 의해 구해진 색 데이터는 Go, Po 또는 Qo로 표시된다. 색 데이터의 보간 패턴에 대응하고 보간 패턴 기억 메모리(9)에 미리 제공된 보간 공식에 의해 색 데이터는 계산될 수 있다.

이하, Pv(1) 내지 Pv(8)에 대응하는 각각의 보간 패턴에 적합한 예시적인 보간 공식이 설명된다.

보간 패턴 번호 1:[Pv(1)가 최소]

Go=(G14+G25+G23×2+G34×2+G32×2+G43×2+G41+G52)/12

Po=(P15+P33×2+P51)/4

Qo=(Q42+Q24)/2

보간 패턴 번호 2:[Pv(2)가 최소]

Go=(G23+G43)/2

Po=(P13+P33×2+P53)/4

Qo=(Q22+Q24+Q42+Q44)/4

보간 패턴 번호 3:[Pv(3)가 최소]

Go=(G12+G21+G23×2+G32×2+G34×2+G43×2+G45+G54)/12

Po=(P11+P33×2+P55)/4

Qo=(Q22+Q44)/2

보간 패턴 번호 4:[Pv(4)가 최소]

Go=(G32+G34)/2

Po=(P31+P33×2+P35)/4

Qo=(Q22+Q24+Q42+Q44)/4

보간 패턴 번호 5:[Pv(5)가 최소]

Go=(G12+G21+G23×2+G32×2)/6

Po=(P11+P13+P31+P33×3)/6

Qo=Q22

보간 패턴 번호 6:[Pv(6)가 최소]

Go=(G41+G52+G32×2+G43×2)/6

Po=(P31+P51+P53+P33×3)/6

Qo=Q42

보간 패턴 번호 7:[Pv(7)가 최소]

Go=(G14+G25+G23×2+G34×2)/6

Po=(P15+P35+P13+P33×3)/6

Qo=Q24

보간 패턴 번호 8:[Pv(8)가 최소]

Go=(G54+G45+G34×2+G43×2)/6

Po=(P55+P35+P53+P33×3)/6

Qo=Q44

'판정 불가능'의 경우:

Go=(G23+G32+G34+G43)/4

Po=P33

Qo=(Q22+Q24+Q42+Q44)/4

보간을 행하기 위해 상기 언급된 공식을 이용함으로써, 색 데이터는 계산될 수 있다.

상기 언급된 바와 같이, 최적의 보간은, 휘도에 주로 기여하는 화상신호인 G 화소와, 휘도에 주로 기여하지 않는 화상신호인 R 및 B 신호에 대해 실현될 수 있다.

이렇게 구해진 보간 패턴 번호 또는 '판정 불가능'을 표시하는 번호는 보간 패턴 기억 메모리(9)에 기억된다. 보간 후, 디지털 화상신호가 화상신호처리부(10)에 의해 처리된 경우, 각각의 보간 패턴에 따라 신호를 처리함으로써 신호처리가 행해질 수 있다.

이하, 예시적인 화상신호처리가 간략하게 설명되며, 여기서 보간 패턴 기억 메모리(9)에 기억된 보간 패턴 번호가 도 7(a)에 도시된 바와 같이 화상 패턴과 관려된 에지강조처리를 행하기 위해 사용된다.

도 7(b)는 도 7(a)에 도시된 화상의 화상신호의 값을 나타내는 도면이고, 여기서 화이트부는 각각 100의 값을 갖지만 블랙부는 각각 4의 값을 갖는다. 예시적인 에지강조처리에 있어서, 화상신호는 도 7(c)에 도시된 바와 같이 소위 라플라시안 필터를 통과한 후, 원신호에 결과값이 더해진다.

도 7(d)는 에지강조처리의 결과를 나타내는 도면이다. 특히, 도 7(b)의 화상(데이터)은 도 7(c)의 필터를 통과한다. 각 결과값은 1/8에 의해 곱해져서 원화상에 더해진다.

도 7(e)는 도 7(d)에 수평으로 배열된 화소 G13, Q13, G33, Q43, 및 G53의 수치를 나타내는 그래프이다. 도 7(f)는 도 7(d)에서 좌상부로부터 경사져 배열된 화소 G11, G22, G33, G44, 및 G55의 수치를 나타내는 그래프이다.

도 7(e)에 따르면, 신호의 에지는 상기 언급된 방법에 의해 강조된다. 그러나, 도 7(f)에 따르면, 화소 G33의 신호는 마이너스측이 더 강조되는 반면에, 화소 G22의 신호는 강조되지 않는다.

이 실시예에 있어서, 각 화소의 보간 패턴 번호는 보간 패턴 기억 메모리(9)에 기억된다. 예컨대, 도 7(a)의 화상의 경우에 있어서, 도 4(a)에 도시된 바와 같이 보간 패턴 번호는 보간 패턴 기억 메모리(9)에 기억된다.

도 4(a)의 보간 패턴에 대응하는 필터로서, 도 7(g)에 도시된 필터가 사용된다. 화소 G22의 데이터는 도 7(g)의 필터를 통과한다. 각 결과값은 1/4에 의해 곱해지고, 원화상에 더해진다. 따라서, 에지강조처리가 행해진다. 결과 수치는 도 7(h)에 도시된다. 도 7(h)로부터 명백하게 알 수 있는 바와 같이, 에지강조처리는 보간 패턴을 이용하여 행해진다. 마찬가지로, 보간 패턴에 대응하는 필터는, 위색처리 등과 같은, 보간 패턴에 대응하는 다른 디지털신호처리에 대해 사용될 수 있다.

이 실시예에 따르면, 복수의 보간 패턴은 보간 패턴 기억 메모리(9)에 제공된다. 보간부(8)는, 보간될 화소와 그 주변 화소의 화상신호의 균일성과 구배성에 따라, 보간될 화소와 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사한 보간 패턴을 취득한다. 보간될 화소가 취득된 보간 패턴에 위치한다면, 보간 패턴에 대 응하는 공식은 보간을 행하기 위해 사용된다. 결과로서, 화상신호의 균일성과 구배성을 고려하여 보간이 행해진다. 따라서, 노이즈의 영향에 관계없이 종래의 보간 기술에서 발생하는 화상 왜곡을 방지하는 것이 가능하다.

이 실시예에 있어서, 8개의 보간 패턴('판정 불가능'을 포함하면 9개)이 사용된다. 그러나, 예컨대, 보간 패턴 기억 메모리(9)의 회로 사이즈를 줄이기 위해서 패턴의 수를 변화시키는 것이 가능하다. 예컨대, 본 발명자는 실험을 행하였다. 결과로서, 상기 언급된 8개의 보간 패턴 중, 도 4(a) 및 도 6(a)의 수평 패턴, 도 4(b) 및 도 6(b)의 수직 패턴, 도 4(c) 및 도 6(c)의 우하방경사 패턴, 및 도 4(d) 및 도 6(d)의 우상방경사 패턴이 대부분의 경우(약 90%)에 사용된다. 비용대 성능이라는 관점에서는, 단지 이들 4개의 보간 패턴이 화상신호의 균일성과 구배성을 나타내기 위해 사용될 수 있다. 예컨대, 바코드 판독기와 같은 1차원 화상을 사용하는 시스템에 있어서, 도 4(d) 및 도 6(d)의 보간 패턴만이 사용될 수 있다. 대안으로서, 충분한 회로 사이즈 또는 연산성능을 갖는 시스템에 있어서, 라인 메모리(7)는 보간 패턴의 수를 증가시키기 위해 증가될 필요가 있다. 이 경우에 있어서, 패턴이 더욱 정밀함으로써 향상된 보간이 행해질 수 있다.

이 실시예에 있어서, 보간은 보간 패턴에 따라 행해진다. 따라서, 간단한 공식이 사용되었다. 본 발명에 있어서, 보간될 화소와 그 주변 화소의 패턴과 유사한 보간 패턴은 화상신호의 균일성과 구배성에 따라 구해진다. 보간 패턴에 대응하는 보간이 행해진다. 각 보간 패턴에 대해, 보간을 계산하기 위한 최적의 방법이 적절하게 제공될 수 있다.

본 발명에 있어서, 최적의 보간 패턴은 보간될 화소와 그 주변 화소의 균일성과 구배성에 기초하여 구해진다. 그 보간 패턴과 그 주변 화소의 보간 패턴은 보간 방법을 결정하기 위해 사용된다. 따라서, 보간 패턴, 보간 패턴의 수, 보간 패턴 번호, 보간 계산방법, 보간될 화소에 대한 보간 패턴을 이용하는 방법, 주변 화소의 보간 패턴을 이용하는 방법, 및 보간 패턴을 사용한 보간 후의 디지털 화상신호처리는 본 발명의 범위내에서 적절하게 수정될 수 있다.

상기 언급된 바와 같이, 본 발명에 따른 데이터처리장치는 복수종류의 컬러필터(RGB 등)가 이산적으로 배열된 고체촬상소자로부터 취득된 화상신호를 처리한다. 이 장치에 의해 보간이 행해지는 경우, 보간될 화소와 그 주변 화소의 패턴과 유사한 보간 패턴은 보간될 화소와 그 주변 화소의 화상신호의 균일성과 구배성에 따라 구해진다. 보간 패턴에 대응하는 보간이 행해진다. 따라서, 보간이 화상신호의 균일성과 구배성을 고려하여 행해지기 때문에, 종래의 보간 기술에 발생하는 화상 왜곡을 방지하는 것이 가능하다. 이 외에도, 노이즈 등과 같은, 화상 외의 신호가 존재하는 경우에도, 일본 특허공개 평7-59098에서 발생한 화상신호의 변동을 방지하는 만족할만한 에지가 나타남으로써, 해상도의 저하를 방지하는 것이 가능하다.

또한, 보간 후, 에지강조처리, 위색억압처리 등과 같은 디지털 화상신호처리는 보간될 화소와 그 주변 화소의 화상신호의 균일성과 구배성에 따라 구해진 보간 패턴에 기초하여 행해질 수 있다. 따라서, 만족스러운 화상신호가 생성될 수 있다.

본 발명의 범위와 정신내에서 다양한 다른 변경이 당업자에게 명백할 뿐만 아니라 당업자에 의해 구현될 수 있다.

Claims

복수종류의 컬러필터가 화소 상에 이산적으로 제공되고, 보간될 화소 및 그 주변 화소가 화상신호를 갖는 고체촬상소자로부터 획득한 상기 화상신호를 처리하는 데이터처리장치에 있어서,

상기 보간될 화소 및 그 주변 화소의 화상신호 중 적어도 상기 주변 화소의 화상신호를 이용한 보간에 의해 각 화소의 상기 화상신호에서 누락된 색신호를 생성시키는 보간부, 및

상기 화상신호의 균일성 및 구배성을 나타내는 복수의 보간 패턴을 기억하는 보간 패턴 기억부를 구비하며,

상기 보간부는, 상기 보간될 화소 및 그 주변 화소의 화상신호의 균일성 및 구배성에 따라, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴으로부터 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴과 유사한 하나 이상의 보간 패턴을 획득하고, 상기 하나 이상의 보간 패턴에 따라 보간을 행하고,

상기 보간부는, 각각의 상기 하나 이상의 보간 패턴과 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴 사이의 유사성을 표시하는 방향성 데이터를 계산하고, 상기 방향성 데이터가 최소인 보간 패턴을 선택하는 것을 특징으로 하는 데이터처리장치.
삭제
제1항에 있어서, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 각각에 식별정보가 주어지고,

상기 보간부는 상기 보간 패턴 기억부에 상기 선택된 보간 패턴의 식별정보는 기억시키는 것을 특징으로 하는 데이터처리장치.
삭제
제1항에 있어서, 상기 보간부는, 상기 보간될 화소가 휘도에 주로 기여하는 화소인지 또는 휘도에 주로 기여하지 않는 화소인지의 여부에 기초하여 상기 하나 이상의 보간 패턴 중 하나를 선택하고, 상기 선택된 보간 패턴에 따라 보간을 행하는 것을 특징으로 하는 데이터처리장치.
제1항에 있어서, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 하나 이상이 상기 보간될 화소가 휘도에 주로 기여하는 화소인 경우에 사용되고, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 하나 이상이 상기 보간될 화소가 휘도에 주로 기여하지 않는 화소인 경우에 사용되는 것을 특징으로 하는 데이터처리장치.
제1항에 있어서, 상기 보간 패턴 기억부는, 상기 복수의 보간 패턴으로서, 기설정된 값을 갖는 화소가 수평으로 배열된 패턴; 기설정된 값을 갖는 화소가 수직으로 배열된 패턴; 기설정된 값을 갖는 화소가 우상방향으로 경사져 배열된 패턴; 기설정된 값을 갖는 화소가 우하방향으로 경사져 배열된 패턴; 기설정된 값을 갖는 화소가 좌상각부에 모여 배열된 패턴; 기설정된 값을 갖는 화소가 우상각부에 모여 배열된 패턴; 기설정된 값을 갖는 화소가 좌하각부에 모여 배열된 패턴; 및 기설정된 값을 갖는 화소가 우하각부에 모여 배열된 패턴을 기억하는 것을 특징으로 하는 데이터처리장치.
제1항에 있어서, 상기 보간부는, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 어느 것도 상기 보간될 화소 및 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사하지 않는 경우 기설정된 공식에 기초하여 보간을 행하는 것을 특징으로 하는 데이터처리장치.
제1항에 있어서, 상기 보간 패턴 기억부에 기억된 복수의 보간 패턴 중 2개 이상이 상기 보간될 화소 및 그 주변 화소의 화상신호의 데이터 값의 패턴과 유사한 경우, 상기 보간부는 상기 하나 이상의 주변 화소에 대해 선택된 보간 패턴에 따라 상기 2개 이상의 보간 패턴 중 하나를 선택하는 것을 특징으로 하는 데이터처리장치.
제1항에 있어서, 상기 보간부는 상기 획득된 보간 패턴에 대응하는 공식에 기초하여 보간을 행하는 것을 특징으로 하는 데이터처리장치.
제1항에 따른 데이터처리장치; 및

상기 데이터처리장치에 의해 획득된 상기 보간 패턴에 따라 화상처리를 행하는 화상처리부를 구비하는 것을 특징으로 하는 화상처리장치.
제11항에 따른 화상처리장치를 구비하는 카메라에 있어서, 고체촬상소자로부터 화상신호를 수신하고 보간과 화상처리를 행하여 상기 카메라용 화상 데이터를 획득하는 것을 특징으로 하는 카메라.
복수종류의 컬러필터가 화소 상에 이산적으로 제공되고, 보간될 화소 및 그 주변 화소가 화상신호를 갖는 고체촬상소자로부터 획득한 상기 화상신호를 처리하는 데이터처리방법에 있어서,

상기 보간될 화소 및 그 주변 화소의 화상신호의 균일성 및 구배성에 따라, 보간 패턴 기억부에 미리 기억된 상기 화상신호의 균일성 및 구배성을 나타내는 복수의 보간패턴으로부터 상기 보간될 화소 및 그 주변 화소의 데이터 값의 패턴과 유사한 보간 패턴을 획득하는 스텝; 및

보간 패턴에 따라 보간을 행하여 상기 보간될 화소의 화상신호에서 누락된 색신호를 생성시키는 스텝을 구비하고,

상기 보간 패턴은, 상기 보간 패턴 기억부에 기억된 각각의 하나 이상의 보간 패턴과 상기 보간될 화소 및 그 주변화소의 데이터 값의 패턴 사이의 유사성을 표시하는 방향성 데이터를 계산하고, 상기 방향성 데이터가 최소인 보간 패턴을 선택함에 의해 획득되는 것을 특징으로 하는 데이터처리방법.