KR20100061352A - 신호처리장치, 촬상장치, 촬상 시스템 및 신호처리방법 - Google Patents

Abstract

신호처리장치는, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열을 갖는 촬상 센서로부터 출력되는 화상신호에 소정의 신호처리를 실시한다. 이 신호처리장치는, 상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보를 기억하는 기억부; 및 상기 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 보정용 화소의 인접 화소의 출력 화상신호와 이 산출된 보정계수에 의거하여 상기 보정용 화소의 출력 화상신호를 보정하는 보정부를 구비한다.

신호 처리장치, 촬상장치, 화소, 보정.

Description

신호처리장치, 촬상장치, 촬상 시스템 및 신호처리방법{SIGNAL PROCESSING APPARATUS, IMAGE SENSING APPARATUS, IMAGE SENSING SYSTEM, AND SIGNAL PROCESSING METHOD}

본 발명은, 신호처리장치, 촬상장치, 촬상 시스템 및 신호처리방법에 관한 것이다.

종래의 디지털 카메라나 디지털 비디오카메라 등의 촬상장치에서는, CCD이미지 센서나 CMOS이미지 센서등이 촬상 센서로서 이용되고 있다.

도 13에 나타낸 촬상 센서IS는, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열PA를 구비한다. 화소배열PA에 있어서의 각 화소Pl∼P5는, 광전변환부PD, 칼라필터CF, 및 마이크로렌즈ML을 포함한다. 각 화소Pl∼P5에서는, 칼라필터CF 및 마이크로렌즈ML과 광전변환부PD와의 사이의 개구 영역OA가, 배선층WL에 의해 규정되어 있다. 인접한 화소의 광전변환부PD는, 소자분리 영역IR에 의해, 서로 전기적으로 분리되어 있다. 광전변환부PD 및 소자분리 영역IR은, 반도체 기판SB내에 배치되어 있다.

도 13에 있어서, 화소Pl의 칼라필터CF가 제1의 색의 광을 투과하고, 화소P2의 칼라필터CF가 제2의 색의 광을 투과하는 경우를 생각한다. 화소Pl에 대한 기울기 입사광ILl 중 제1의 색의 광ILl'은, 화소Pl의 개구 영역OA를 통과한 후, 제1의 색의 광ILl'의 일부ILl"가 소자분리 영역IR를 투과해서 인접한 화소P2의 광전변환부PD에 도달하는 경우가 있다. 이 경우, 비록 화소P2의 광전변환부PD가 원래 제2의 색의 광을 받아야 할지라도, 그 광전변환부PD는, 또한, 인접한 화소로부터 혼입한 제1의 색의 광ILl"을 수신하여서 제1의 색의 광ILl"에 대응한 신호를 발생시킨다. 즉, 인접한 화소들의 신호가 서로 간섭하는, 소위 혼색 현상이 발생하기도 한다.

이 혼색이 쉽게 발생하는 것은, 도 14a 및 도 14b에 나타나 있는 바와 같이, 촬상장치에 있어서의 촬영 렌즈의 F값(조리개의 개구경)에 따라 다르다. 도 14b에 나타낸 것처럼 조리개의 개구경이 작을 경우와 비교하여, 도 14a에 나타낸 것처럼 조리개의 개구경이 큰 경우쪽이, 기울기 입사광이 인접화소에 보다 쉽게 혼입한다. 즉, 촬영 렌즈의 F값이 작아짐에 따라서 조리개의 개구경은 커지고, 기울기 입사광의 인접화소에의 혼입량은 증대하는 경향에 있다.

또한, 혼색이 쉽게 발생하는 것은, 도 15a 및 도 15b에 나타나 있는 바와 같이, 촬상장치에 있어서의 촬영 렌즈의 사출 동공거리(상면(image plane)에서 그 촬영 렌즈의 사출 동공위치까지의 거리)에 따라 다르다. 도 15a에 나타낸 사출 동공거리가 긴 경우와 비교하여, 도 15b에 나타내는 사출 동공거리가 짧은 경우쪽이, 기울기 입사광이 인접화소에 보다 혼입하기 쉽다. 즉, 사출 동공거리가 짧아짐에 따라서, 기울기 입사광의 인접화소에의 혼입량은 증대하는 경향에 있다.

도 16에 나타나 있는 바와 같이, 화소P2의 광전변환부PD는, 화소P2에의 입사광IL2 중 화소P2의 칼라필터CF를 투과한 제2의 색의 광IL2'을 수신하고, 수신한 제2의 색의 광IL2'에 따른 전하(신호)를 발생시킨다. 또한, 도 14a, 도 14b, 도 15a 및 도 15b에 나타낸 이유로 상기 인접한 화소Pl으로부터 제1의 색의 광ILl"을 수신한 화소P2의 광전변환부PD는, 도 16에 나타나 있는 바와 같이, 제1의 색의 광ILl"에 따른 전하(신호)를 발생시켜버린다. 이에 따라 화소P2의 광전변환부PD가 제2의 색의 광IL2'에 따른 신호와 아울러 제1의 색의 광ILl"에 따른 신호를 발생시켜서, 혼색이 발생한다.

또한, 혼색이 쉽게 발생하는 것은, 도 16 및 도 17에 나타나 있는 바와 같이, 광전변환부PD에 입사하는 광의 색에 따라 다르다. 이것은, 광전변환부PD에 있어서의 광이 전하로 변환되는 위치의 반도체 기판SB의 표면으로부터의 깊이가, 그 광의 파장에 따라 다르기 때문이다. 즉, 이것은, 파장이 짧은 광에 비교하고, 파장이 긴 광의 쪽이 광전변환부PD에 있어서의 보다 깊은 위치에서 광전변환되기 때문이다.

여기에서, 도 16에 나타낸 화소Pl의 칼라필터CF가 적색(R)의 광을 투과시키고, 화소P2의 칼라필터CF가 녹색(G)의 광을 투과시키고, 도 17에 나타낸 화소P6의 칼라필터CF가 청색(B)의 광을 투과시킨다.

도 16에 나타나 있는 바와 같이, 적색(R)의 광의 칼라필터CF를 통과한 광은, 다른 색(G, B)의 칼라필터CF를 통과한 광과 비교하여, 광전변환부PD에 있어서의 보다 깊은 위치에서 광전변환된다. 이 때문에, 적색(R)의 광ILl'은, 입사해야 할 화 소Pl의 광전변환부PD를 통과하고, 그 광의 일부ILl"은 인접한 화소P2의 광전변환부PD에 입사해버리기 쉽다. 인접한 화소P2의 광전변환부PD에 입사한 광ILl"은, 거기에서 광전변환되어서, 광이 입사해야 할 화소Pl의 전하(신호)를 생성하지 않고, 인접화소P2의 신호에 대한 혼색성분을 발생시킨다.

한편, 도 17에 나타나 있는 바와 같이, 청색(B)의 칼라필터CF를 통과한 광IL6'은, 다른 색(R, G)의 칼라필터CF를 통과한 광ILl'와 IL2'와 비교하여, 광전변환부PD에 있어서의 보다 얕은 위치에서 광전변환된다. 이 때문에, 화소P6에 광선IL6이 비스듬히 입사하는 경우에도, 인접한 화소P7의 광전변환부PD에 도달하기 전에, 화소P6의 광전변환부PD에서 광전변환되는 경향에 있다. 즉, 청색(B)의 광IL6'은, 이 광이 입사해야 할 화소P6의 광전변환부PD를 통과해서 인접화소P7에 도달할 가능성이 없기 때문에, 인접화소P7의 신호에 대한 혼색성분을 발생시킬 가능성이 없다.

또한, 도 18에 나타나 있는 바와 같이, 반도체 기판SB에 있어서의 깊은 위치에서는, 인접한 화소의 광전변환부들PD의 사이에서, 소자분리 영역IR에 의한 전기적인 분리가 불충분하다. 이 때문에, 화소Pl의 광전변환부PD에 있어서의 깊은 위치에 축적되어 있는 전하(신호)는, 반도체 기판SB에 있어서의 깊은 위치에서, 인접화소P2, P4의 광전변환부PD에 확산해서 혼입한다. 이 반도체 기판SB 내부에서의 크로스토크(crosstalk)도 혼색의 원인이 된다.

이 크로스토크에 의한 혼색이 발생하기 쉬운 것은, 도 19 및 도 20에 나타나 있는 바와 같이, 광전변환부PD에 입사하는 광의 색에 따라 다르다.

도 19에 나타나 있는 바와 같이, 적색(R)의 칼라필터CF를 통과한 광ILl'은, 다른 색(G, B)의 칼라필터CF를 통과한 광과 비교하여, 광전변환부PD에 있어서의 보다 깊은 위치에서 광전변환되어 축적된다. 이 때문에, 적색(R)의 광ILl'에 따라 화소Pl의 광전변환부PD에 축적된 전하(신호)는, 반도체 기판SB에 있어서의 깊은 위치에서 소자분리 영역IR보다 깊은 영역을 통과하여, 인접화소P2, P4의 광전변환부PD에 확산하기 쉽다. 소자분리 영역IR보다 깊은 영역에서는, 인접한 화소의 광전변환부의 사이에서의 전기적인 분리가 불충분하다고 생각된다. 인접한 화소P2, P4의 광전변환부PD에 확산된 전하(신호)는, 그 확산된 전하(신호)가 축적되어 있어야 할 화소Pl의 전하(신호)가 되지 않고, 인접화소P2, P4의 신호에 대한 혼색성분을 발생시키기 쉽다.

한편, 도 20에 나타나 있는 바와 같이, 청색(B)의 칼라필터CF를 통과한 광IL6'은, 다른 색(R, G)의 칼라필터CF를 통과한 광에 비교하여, 광전변환부PD에 있어서의 보다 얕은 위치에서 광전변환된다. 이 때문에, 청색(B)의 광IL6'에 따라 화소P6의 광전변환부PD에 축적된 전하(신호)는, 반도체 기판SB에 있어서의 얕은 위치에서, 소자분리 영역IR에 의해 차단되어서, 인접화소P8의 광전변환부PD에 확산하기 어렵다. 청색(B)의 광IL6'에 따라 화소P6의 광전변환부PD에 축적된 전하(신호)는, 인접화소P8의 신호에 대한 혼색성분을 발생시키기 어렵다.

이와 같이 발생하는 혼색에 의해, 촬상 센서로부터 출력되는 화상신호가 열화함으로써, 색 재현성이 악화한다.

일본국 공개특허공보 특개2004-135206호에는, 베이어(Bayer) 배열에 따른 칼 라필터 배열을 갖는 CCD촬상소자에 있어서, 특정 색화소의 신호로부터, 그 특정 색화소의 신호와 그 특정 색 이외의 색의 인접한 화소의 신호로부터 산출한 일정 비율을 감산하는 혼색보정을 행하는 것이 기재되어 있다.

이 보정처리에서는, 주목 화소에 대하여 해당 주목 화소에 인접하는 복수의 주위화소로부터 등방적으로 혼색이 발생하는, 즉 복수의 주위화소로부터 같은 비율로 신호 성분이 혼입하는 것을 전제로서, 등방적으로 일정 비율의 신호 성분을 감산하는 것으로 가정한다.

한편, 일본국 공개특허공보 특개2007-142697호에는, 실제의 고체촬상소자에 있어서, 화소내 또는 화소주변의 배선 패턴과 전극의 배치에 의존하여, 광전변환부의 수광면이 화소내에 있어서의 치우친 위치에 배치되는 것이 기재되어 있다. 이에 따라 화소의 물리적인 중심과 화소의 광학적인 중심이 일치하지 않아서, 주목 화소에 대한 주변화소로부터의 혼색이 방향성을 갖고서 발생할 수 있다.

이러한 과제를 해결하기 위해서, 일본국 공개특허공보 특개2007-142697호에서는, 좌상, 우상, 좌하 및 우하 각각의 주변화소로부터의 혼색을 보정하기 위한 보정 파라미터Ka, Kb, Kc, Kd를 서로 독립적으로 변경하는 것을 제안하고 있다. 이와 같이, 일본국 공개특허공보 특개2007-142697호에 의하면, 주변화소로부터의 혼색량에 따라 방향성을 갖게 한 혼색보정처리를 실현할 수 있다.

일본국 공개특허공보 특개2007-142697호에서는, 혼색보정처리를 행하기 위한 보정회로가, 통신I/F를 거쳐서 외부로부터 공급된 방향성 선택의 제어신호를 수신하고, 수신된 방향성 선택의 제어신호에 따라 보정 파라미터Ka, Kb, Kc, Kd를 서로 독립적으로 변경한다. 구체적으로는, 통신I/F을 거쳐서 외부에서 공급된 방향성 선택의 제어신호가 0일 경우, Ka=Kb=Kl, Kc=Kd=K2로 설정한다. 방향성 선택의 제어신호가 1일 경우, Ka=Kc=Kl, Kb=Kd=K2로 설정하고, 방향성 선택의 제어신호가 2일 경우, Ka=Kd=Kl, Kb=Kc=K2로 설정한다. 일본국 공개특허공보 특개2007-142697호에 기재된 보정회로에 있어서, 고체촬상소자에 배치된 복수의 화소의 각각의 신호에 대하여 사용하는 보정 파라미터Ka, Kb, Kc, Kd는, 각 화소에 대하여 공통인 값을 갖는다. 그렇지만, 실제의 촬상장치에 있어서는, 센서 면내의 화소배치에 따라, 화소에의 입사광선의 각도는, 엄밀하게 말하면 다르다. 광선의 입사각에 따라, 주목 화소에 대한 인접한 화소로부터의 혼색량은 다르다, 즉, 각 화소에 있어서의 혼색량은, 센서 면내에 있어서의 각각의 화소의 화소배치에 따라 다르다. 이러한, 센서 면내에서 불균일하게 발생하는 혼색의 경우에, 일본국 공개특허공보 특개2007-142697호에 기재된 보정회로에서는, 센서면(화소배열)에 있어서의 화소의 위치에 따라서, 혼색보정처리의 정밀도가 악화할 가능성이 높다.

본 발명의 목적은, 화소배열에 있어서의 각 화소에 대한 혼색보정처리의 정밀도를 향상하는 데에 있다.

본 발명의 제1국면에 의하면, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열을 갖는 촬상 센서로부터 출력되는 화상신호에 소정의 신호처리를 실시하는 신호처리장치는, 상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특 성정보를 기억하는 기억부; 및 상기 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 보정용 화소의 인접 화소의 출력 화상신호와 이 산출된 보정계수에 의거하여 상기 보정용 화소의 출력 화상신호를 보정하는 보정부를 구비한다.

본 발명의 제2국면에 의하면, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열과, 상기 화소배열로부터 신호를 판독하는 판독부를 갖는 촬상 센서; 상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보를 기억하는 기억부; 및 상기 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 판독부에 의해 상기 보정용 화소의 인접 화소로부터 판독된 출력 화상신호와 상기 산출된 보정계수에 의거하여 상기 판독부에 의해 상기 보정용 화소로부터 판독된 출력 화상 신호를 보정하는 보정부를 구비한 촬상장치를 제공한다.

본 발명의 제3국면에 의하면, 피사체를 촬상하여서 화상 데이터를 생성하는 촬상장치; 및 상기 촬상장치로부터 상기 화상 데이터를 수신하고, 수신한 상기 화상 데이터를 처리하는 처리장치를 구비한 촬상 시스템을 제공하고, 상기 촬상장치는, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열과, 상기 화소배열로부터 신호를 판독하는 판독부를 갖는 촬상 센서; 상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보를 기억하는 기억부; 및 상기 판독부에 의해 판 독된 화상신호에 대하여 상기 특성정보를 첨부하여서 상기 화상 데이터를 생성하는 생성부를 포함하고, 상기 처리장치는, 상기 화상 데이터에 포함된 상기 특성정보로부터 상기 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 화상 데이터에 있어서의 상기 보정용 화소의 인접 화소의 출력 화상신호와 이 산출된 보정계수에 의거하여 상기 화상 데이터에 있어서의 상기 보정용 화소의 출력 화상 신호를 보정하는 보정부를 포함한다.

본 발명의 제4국면에 의하면, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 촬상 센서로부터 출력되는 화상신호의 신호처리방법은, 미리 기억된 상기 촬상 센서의 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하는 제1의 단계와, 상기 보정용 화소의 인접 화소의 출력 화상 신호와 상기 산출된 보정계수에 의거하여 상기 보정용 화소의 출력 화상신호를 보정하는 제2의 단계를 포함한다.

본 발명에 의하면, 화소배열에 있어서의 각 화소에 대한 혼색보정처리의 정밀도를 향상할 수 있다.

본 발명의 또 다른 특징들은, (첨부된 도면들을 참조하여) 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.

본 명세서에 있어서, 광의 입사각이란, 광의 중심이 광의 입사면의 법선과 이루는 각도를 가리킨다.

본 발명자는, 도 21에 나타나 있는 바와 같이, 촬상 센서ISlOO의 각 화소에 조리개 ST의 개구부를 거쳐서 입사하는 광선PL의 입사각이, 화소배열PAlOO의 광학중심PC와 화소배열PAlOO에 있어서의 화소와의 위치 관계에 따라 다른 사실에 착안했다. 본 발명자는, 혼색이 발생하기 쉬운 것이, 이 각 화소에의 광선의 입사각의 차이, 즉 화소배열PAlOO에 있어서의 각 화소의 위치의 차이에 의존한다고 생각했다.

그렇지만, 도 21에 나타나 있는 바와 같이, 화소의 사이즈(피치)가 큰 촬상 센서ISlOO에서는, 화소배열PAlOO의 광학중심PC에 위치하는 화소Pl과, 광학중심PC로부터 쉬프트한 위치에 있는 화소P3 사이에서 큰 혼색의 차이가 보여지지 않았다.

여기에서, 화소Pl은, 작은 입사각(≒0°)을 이루는 중심CGl을 갖는 광을 수신하고, 화소P3는, 큰 입사각을 이루는 중심CG3을 갖는 광을 수신한다. 화소의 사이즈(피치)가 크다면, 광학중심PC로부터 쉬프트한 위치에 있는 화소P3에 비스듬히 입사한 광선(중심CG3)이여도, 인접화소P8까지 도달하기 어렵다. 즉, 화소배열PAlOO에 있어서의 각 화소의 위치의 차이에 의한 혼색의 차이는, 각 화소에 있어서의 혼색의 절대량에 대하여 충분히 작기 때문에, 문제가 될 정도로 크게 되지 않는 경향에 있다.

한편, 도 22에 나타나 있는 바와 같이, 화소의 사이즈(피치)가 작은 촬상 센서IS200에서는, 화소배열PA200의 광학중심PC에 위치하는 화소Pl과, 광학중심PC로부터 쉬프트한 위치에 있는 화소P13의 사이에서 큰 혼색의 차이가 보여졌다.

여기에서, 화소Pl은, 작은 입사각을 이루는 중심CGl을 갖는 광을 수신하고, 화소P13은, 큰 입사각을 이루는 중심CG3을 갖는 광을 수신한다. 화소의 사이즈(피치)가 작으면, 광학중심PC로부터 쉬프트한 위치에 있는 화소P13에 비스듬히 (큰 입사각에서) 입사한 광선(중심CG3)은, 인접화소P18까지 도달하기 쉽다. 즉, 화소배열PA200에 있어서의 각 화소의 위치의 차이에 의한 혼색의 차이는, 각 화소에 있어서의 혼색의 절대량에 대하여 크기 때문에, 그 혼색의 차이는, 그 혼색의 차이가 무시될 수 없도록 문제가 될 정도로 크게 되는 경향에 있다.

특히, 최근은 화소 축소화가 진행하고 있고, 화소의 사이즈가 더욱 축소화함으로써, 도 22에 나타나 있는 바와 같이, 화소배열PA200에 있어서의 각 화소의 위치의 차이에 의한 혼색의 차이가 더욱 커진다고 생각할 수 있다. 이 때문에, 화소배열PA200에 있어서의 각 화소의 위치의 차이에 의한 혼색의 차이는, 무시할 수 없는 문제가 되고, 색 재현성에 주는 영향이 커질 것이라고 생각할 수 있다.

다음에, 본 발명의 제1실시예에 따른 촬상장치(100)를 도 1을 참조하여 설명한다. 도 1은, 본 발명의 제1실시예에 따른 촬상장치(100)의 구성을 도시한다.

촬상장치(100)는, 예를 들면 디지털 카메라, 혹은 디지털 비디오카메라다. 촬상장치(100)는, 다음의 구성요소를 구비한다.

광학계(1)는, 렌즈1a 및 조리개1b를 포함한다. 렌즈1a는, 입사한 광을 굴절시켜서, 촬상 센서(3)의 화소배열(촬상면)에 피사체의 상을 형성한다. 조리개1b는, 광로에 있어서 렌즈1a와 촬상 센서(3)와의 사이에 설치되어, 렌즈1a를 통과 후에 촬상 센서(3)에 인도되는 광의 양을 조절한다.

기계적 셔터(2)는, 광로에 있어서 광학계(1)와 촬상 센서(3)와의 사이에 설치되고, 촬상 센서(3)의 노광을 제어한다.

촬상 센서(3)는, 화소배열PA300에 형성된 피사체의 상을 화상신호로 변환한다. 즉, 촬상 센서(3)는, 피사체를 촬상한다. 촬상 센서(3)는, 그 화상신호를 화소배열PA300로부터 판독해서 출력한다. 촬상 센서(3)는, 예를 들면, CMOS이미지 센서 혹은 CCD이미지 센서다.

구체적으로는, 도 2에 나타나 있는 바와 같이, 촬상 센서(3)는, 화소배열PA300, 판독부(31), 및 앰프(amplifier;32)를 포함한다. 도 2는, 본 발명의 제1실시예에 있어서의 촬상 센서(3)의 구성을 도시한 도면이다.

화소배열PA300에서는, 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열되어 있다. 각 화소는, 광전변환부PD(도 13 참조)를 포함한다. 광전변환부PD는, 광에 따라 전하(신호)를 발생시켜서 축적한다.

판독부(31)는, 화소배열PA300로부터 신호를 판독한다. 즉, 판독부(31)는, 화소배열PA300의 각 화소의 광전변환부PD가 축적한 전하(신호)를, 또는 전하에 대응한 신호를, 각 화소로부터 판독한다. 판독부(31)는, 판독한 신호를 앰프(32)에 공급한다. 판독부(31)는, 예를 들면, CMOS이미지 센서에 있어서의 각 화소로부터 수직신호선을 거쳐서 신호를 판독하는 회로 또는, CCD이미지 센서에 있어서의 수직전송CCD/수평전송CCD다.

앰프(32)는, 공급된 신호를 증폭함으로써 화상신호를 생성하여 출력한다. 앰프(32)는, 예를 들면, CMOS이미지 센서에 있어서의 판독부(31)로부터 수평신호선을 거쳐서 수신한 신호를 증폭하는 출력 앰프 또는, CCD이미지 센서에 있어서의 플로팅 디퓨전(floating diffusion) 앰프다.

A/D변환기(4)는, 촬상 센서(3)로부터 출력된 화상신호(아날로그 신호)를 수신한다. A/D변환기(4)는, 수신한 화상신호(아날로그 신호)를 화상신호(디지털 신호)로 변환해서 출력한다.

타이밍 신호 발생회로(5)는, 기준이 되는 타이밍 신호를 발생시켜서 구동회로(6)에 공급한다.

구동회로(6)는, 그 공급된 타이밍 신호에 동기하여, 광학계(1), 기계적 셔터(2), 촬상 센서(3), 및 A/D변환기(4)를 각각 구동한다.

전원 스위치(전원SW)(16)는, 유저로부터 전원 투입의 지시를 수신한다. 전원 스위치(16)는, 수신한 전원투입의 지시를 시스템 제어부(13)에 공급한다.

제1스위치(SWl)(17)는, 유저로부터 제1의 지시를 수신한다. 제1의 지시는, 예를 들면 초점 조절 처리, 노출 제어 처리, 및 화이트 밸런스 처리를 행하게 하기 위한 지시다. 제1스위치(17)는, 수신한 제1의 지시를 시스템 제어부(13)에 공급한다.

제2스위치(SW2)(18)는, 유저로부터 제2의 지시를 수신한다. 제2의 지시는, 예를 들면 촬상 처리를 행하게 하기 위한 지시다. 제2스위치(18)는, 수신한 제2의 지시를 시스템 제어부(13)에 공급한다.

시스템 제어부(13)는, 촬상장치(100)의 각 부를 전체적으로 제어한다.

예를 들면, 시스템 제어부(13)는, 전원 스위치(16)로부터 수신한 전원투입의 지시에 따라, 각 부를 기동한다.

예를 들면, 시스템 제어부(13)는, 제1스위치(17)로부터 수신한 제1의 지시에 따라, 초점 조절 처리, 노출 제어 처리, 및 화이트 밸런스 처리를 하도록, 각 부를 제어한다.

예를 들면, 시스템 제어부(13)는, 제2스위치(18)로부터 수신한 제2의 지시에 따라, 촬상 처리를 하도록, 각 부를 제어한다.

휘발성 메모리(RAM)(15)는, 소정의 데이터를 일시적으로 기억하고 있다. 예를 들면, 휘발성 메모리(15)는, 시스템 제어부(13)의 작업 영역으로서 사용된다. 즉, 시스템 제어부(13)는, 불휘발성 메모리(14)에 기억된 프로그램, 제어 데이터 및 보정 데이터를 휘발성 메모리(15)에 전송해서 일시적으로 기억시켜 두고, 각 부를 제어할 때에 적당하게 참조한다.

불휘발성 메모리(ROM)(14)는, 시스템 제어부(13)에서 실행되는 제어 방법을 기재한 프로그램, 그 프로그램을 실행할 때에 사용되는 파라미터와 테이블 등의 제어 데이터를 기억하고 있다.

또한, 불휘발성 메모리(14)는, 혼색보정처리에 사용하는 정보, 즉, 제1의 혼색특성정보와 제2의 혼색특성정보를 기억하고 있다.

제1의 혼색특성정보는, 화소배열PA300(도 2참조)에 있어서의 위치에 대응한 화소에의 인접 화소로부터 혼입하는 신호 성분에 관한 특성을 나타내는 정보다. 제1의 혼색특성정보는, 제1의 계수 테이블을 포함한다. 제1의 계수 테이블은, 화소배열PA300에 있어서의 위치와, 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하 도록 미리 결정된 제1의 보정계수가, 화소마다 관련시킨 테이블이다.

제2의 혼색특성정보는, 화소배열PA300(도 2참조)에 있어서의 위치에 대응한 화소로부터의 인접 화소에 누설되는 신호 성분에 관한 특성을 나타내는 정보다. 제2의 혼색특성정보는, 제2의 계수 테이블을 포함한다. 제2의 계수 테이블은, 화소배열PA300에 있어서의 위치와, 화소로부터 인접 화소에 누설되는 신호 성분을 보정하도록 미리 결정된 제2의 보정계수가, 화소마다 관련시킨 테이블이다.

신호처리회로(7)는, A/D변환기(4)로부터 출력된 화상신호(디지털 신호)를 수신한다. 신호처리회로(7)는, 수신한 화상신호(디지털 신호)에 대하여, 소정의 신호처리를 행한다.

예를 들면, 신호처리회로(보정부)(7)는, 판독부(31)(도 2 참조)에 의해 화소배열PA300에 있어서의 보정용 화소로부터 판독된 신호를 보정하는 혼색보정처리를 행한다.

구체적으로는, 신호처리회로(7)는, 화소배열PA300에 있어서의 보정용 화소의 위치와 제1의 혼색특성정보에 포함되는 제1의 계수 테이블에 따라 보정용 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하기 위한 제1의 보정계수를 산출한다.

신호처리회로(7)는, 화소배열PA300에 있어서의 보정용 화소의 위치와 제2의 혼색특성정보에 포함되는 제2의 계수 테이블에 따라 보정용 화소로부터 인접 화소에 누설되는 신호 성분을 보정하기 위한 제2의 보정계수를 산출한다(제1의 단계).

신호처리회로(7)는, 판독부(31)(도 2 참조)에 의해 상기 보정용 화소의 인접 화소로부터 판독된 신호, 제1의 보정계수 및 제2의 보정계수를 사용하여, 판독 부(31)에 의해 상기 보정용 화소로부터 판독된 신호를 보정한다(제2의 단계).

신호처리회로(7)는, 이 신호처리를 함으로써, 화상 데이터를 생성한다. 신호처리회로(7)는, 그 생성한 화상 데이터를 화상 메모리(8) 또는 시스템 제어부(13)에 공급한다. 또는, 신호처리회로(7)는, 그 생성한 화상 데이터를 기록용의 압축 화상 데이터로 변환하고, 그 변환한 압축 화상 데이터를 기록 회로(10)에 공급한다. 이와는 달리, 신호처리회로(7)는, 그 생성한 화상 데이터를 표시용의 화상신호로 변환하고, 그 변환한 표시용의 화상신호를 표시 회로(12)에 공급한다.

화상 메모리(8)는, 신호처리회로(7)로부터 공급된 화상 데이터를 일시적으로 기억하고 있다.

기록 회로(10)는, 기록 매체(9)에 착탈 가능하게 접속된다. 기록 회로(10)는, 신호처리회로(7)로부터 공급된 기록용의 상기 압축 화상 데이터를, 그 접속된 기록 매체(9)에 기록한다.

표시 회로(12)는, 신호처리회로(7)로부터 공급된 표시용의 화상신호에 대응한 화상을 화상표시장치(11)에 표시한다.

이와 같이, 신호처리회로(7)가 화소배열PA300(도 2참조)에 있어서의 상기 보정용 화소의 위치에 따라 제1의 보정계수와 제2의 보정계수를 각각 산출하므로, 제1의 보정계수와 제2의 보정계수 각각을 상기 보정용 화소의 위치에 따라 적절하게 설정하는 것이 가능하다.

또한, 신호처리회로(7)가 상기 보정용 화소의 인접 화소들로부터 판독된 신호와, 제1의 보정계수와, 제2의 보정계수를 사용하여, 상기 보정용 화소로부터 판 독된 신호를 보정한다. 이에 따라, 화소배열PA300(도 2 참조)에 있어서의 보정용 화소의 위치에 따라 적절한 보정을 행할 수 있다.

이에 따라서, 화소배열PA300에 있어서의 각 화소의 위치의 차이에 의한 혼색의 차이가 화상신호에 대응한 화상의 색 재현성에 주는 영향을 저감할 수 있으므로, 화소배열에 있어서의 각 화소에 대한 혼색보정처리의 정밀도를 향상할 수 있다.

다음에, 촬상장치(100)에 있어서의 기계적 셔터(2)를 사용하여 촬영 처리에 있어서의 동작에 관하여 설명한다. 이 촬영 처리는, 후술하는 것처럼, 노광 처리, 현상 처리 및 기록 처리를 포함한다.

촬영 처리에 있어서의 동작(처리)에 앞서, 촬상장치(100)의 전원투입시 등의, 시스템 제어부(13)의 동작 개시시에, 불휘발성 메모리(14)로부터 필요한 프로그램, 제어 데이터 및 보정 데이터를 휘발성 메모리(15)에 전송해서 거기에 기억해둔다.

그 후, 촬영 처리를 시작한다. 그 촬영 처리의 시작에 의해, 시스템 제어부(13)는, 필요한 경우, 각종의 프로그램과 데이터를, 불휘발성 메모리(14)로부터 휘발성 메모리(15)에 전송하거나, 또는, 직접 불휘발성 메모리(14)로부터 판독해서 사용한다.

시스템 제어부(13)는, 촬영 처리에 있어서의 노광 처리를 제어한다. 광학계(1)는, 시스템 제어부(13)로부터의 제어신호에 의해, 조리개1b와 렌즈1a를 구동하고, 적절한 밝기로 설정된 피사체의 상을 촬상 센서(3) 위에 형성한다.

기계적 셔터(2)는, 시스템 제어부(13)로부터의 제어신호에 의해, 필요한 노광시간동안 촬상 센서(3)의 동작에 따라 촬상 센서(3)를 노광하도록 구동된다. 여기서, 촬상 센서(3)가 전자셔터 기능을 갖는 경우에, 이 기능은 기계적 셔터(2)와 병용하여, 필요한 노광 시간을 확보해도 좋다.

촬상 센서(3)는, 시스템 제어부(13)에 의해 제어되는 타이밍 신호 발생회로(5)가 발생하는 동작 펄스에 의거하여 구동회로(6)가 발생하는 구동 펄스로 구동되고, 피사체상을 전기신호로 광전변환해서, 그 신호를 아날로그 화상신호로서 출력한다.

촬상 센서(3)로부터 출력된 아날로그의 화상신호는, 시스템 제어부(13)에 의해 제어된 타이밍 신호 발생회로(5)가 발생하는 동작 펄스에 의거하여 구동회로(6)가 발생하는 구동 펄스에 의해, A/D변환기(4)에서 디지털 화상신호로 변환된다.

시스템 제어부(13)는, 촬영 처리에 있어서의 현상 처리를 제어한다. 이에 따라 신호처리회로(7)는, 디지털 화상신호에 대하여, 혼색보정을 포함하는 각종 보정, 색 변환, 화이트 밸런스 및 감마 보정등의 화상처리와, 해상도 변환 처리, 화상압축처리 등을 함으로써, 화상 데이터를 생성한다.

화상 메모리(8)는, 신호처리동안의 디지털 화상신호를 일시적으로 기억하고, 신호처리된 디지털 화상신호인 화상 데이터를 기억하도록 사용된다.

시스템 제어부(13)는, 촬영 처리에 있어서의 기록 처리를 제어한다. 이에 따라 신호처리회로(7)에서 신호처리된 화상 데이터와 화상 메모리(8)에 기억되어 있는 화상 데이터는, 기록 회로(10)에 있어서 기록 매체(9)에 적합한 압축 화상 데이 터(예를 들면, 계층구조를 갖는 파일 시스템의 압축된 데이터)로 변환되어, 기록 매체(9)에 기록된다.

또한, A/D변환기(4)에서 디지털 화상신호로 변환된 화상 데이터는, 신호처리회로(7)에서 해상도 변환 처리 후, 표시 회로(12)에 있어서 화상표시장치(11)에 적합한 신호(예를 들면, NTSC방식의 아날로그 신호 등)로 변환된다. 그리고, 그 변환된 신호는, 화상표시장치(11)에 표시된다.

여기에서, 신호처리회로(7)에 있어서는, 시스템 제어부(13)로부터의 제어신호에 의해 신호처리를 하지 않고, 디지털 화상신호를 그대로 화상 데이터로서, 화상 메모리(8)나 기록 회로(10)에 출력해도 된다.

또한, 신호처리회로(7)는, 시스템 제어부(13)로부터 요구가 있었을 경우에, 신호처리의 과정에서 생긴 디지털 화상신호나 화상 데이터의 정보,또는, 그 디지털 화상신호나 화상 데이터로부터 추출된 정보를 시스템 제어부(13)에 출력한다. 디지털 화상신호나 화상 데이터의 정보로서는, 예를 들면, 화상의 공간주파수, 지정 영역의 평균치, 압축 화상의 데이터량 등의 정보가 있다.

기록 회로(10)는, 시스템 제어부(13)로부터 요구가 있었을 경우에, 기록 매체(9)의 종류와 빈 용량등의 정보를 시스템 제어부(13)에 출력한다.

다음에 촬상장치(100)에 있어서의 기록 매체(9)에 화상 데이터가 기록되어 있을 경우의 재생동작에 관하여 설명한다.

시스템 제어부(13)는, 제1스위치(17) 및/또는 제2스위치(18)로부터,또는, 다른 스위치(도시 생략)로부터, 기록 매체(9)에 기록된 화상 데이터의 재생 지시를 수신한다. 시스템 제어부(13)는, 수신한 재생 지시에 따라, 기록 회로(10)를 제어한다.

시스템 제어부(13)로부터의 제어신호에 의해, 기록 회로(10)는, 기록 매체(9)로부터 화상 데이터를 판독한다.

시스템 제어부(13)로부터의 제어신호에 의해, 신호처리회로(7)는, 화상 데이터가 압축 화상이었을 경우에는, 화상 신장 처리를 행하고, 화상 메모리(8)에 기억시킨다. 화상 메모리(8)에 기억되어 있는 화상 데이터는, 신호처리회로(7)에서 해상도 변환 처리 후, 표시 회로(12)에 있어서 화상표시장치(11)에 적합한 신호로 변환되어서 화상표시장치(11)에 표시된다.

다음에 보정용 화소와 그 화소에 인접한 화소와의 사이에서 일어나는 혼색을, 도 3을 참조하여 설명한다. 도 3은, 보정용 화소와 그 화소에 인접한 화소와의 사이에서 일어나는 혼색을 모식적으로 도시한 것이다.

특정의 1화소(화소Ⅹ라고 한다)에 착안했을 경우를 생각한다. 화소Ⅹ로부터 판독되는 신호SigX의 레벨은, 이상적인 신호SigX'와 비교하여, 인접 화소에 누설되는 신호 성분SCll∼SC14만큼 감소되고, 그 신호SigX의 레벨은 인접 화소로부터 혼입하는 신호 성분SCl∼SC4만큼 증가된다.

여기에서, 신호 성분SCll은, 화소Ⅹ에 대한 제1의 방향(예를 들면, 왼쪽)에 인접한 화소L에, 화소Ⅹ로부터 누설된 신호 성분이다. 신호 성분SC12는, 화소Ⅹ에 대한 제2의 방향(예를 들면, 오른쪽)에 인접한 화소R에, 화소Ⅹ로부터 누설된 신호 성분이다. 신호 성분SC13은, 화소Ⅹ에 대한 제3의 방향(예를 들면, 위)에 인접한 화소U에, 화소Ⅹ로부터 누설된 신호 성분이다. 신호 성분SC14는, 화소Ⅹ에 대한 제4의 방향(예를 들면, 아래)에 인접한 화소D에, 화소Ⅹ로부터 누설된 신호 성분이다.

신호 성분SCl은, 화소Ⅹ에 대한 제1의 방향(예를 들면, 왼쪽)에 인접한 화소L로부터, 화소Ⅹ에 혼입한 신호 성분이다. 신호 성분SC2는, 화소Ⅹ에 대한 제2의 방향(예를 들면, 오른쪽)에 인접한 화소R로부터, 화소Ⅹ에 혼입한 신호 성분이다. 신호 성분SC3은, 화소Ⅹ에 대한 제3의 방향(예를 들면, 위)에 인접한 화소U로부터, 화소Ⅹ에 혼입한 신호 성분이다. 신호 성분SC4는, 화소Ⅹ에 대한 제4의 방향(예를 들면, 아래)에 인접한 화소D로부터, 화소Ⅹ에 혼입한 신호 성분이다.

화소Ⅹ로부터 소정의 방향으로 누설된 신호의 양은, 이상적인 신호SigX'에 대하여 일정한 비율을 갖고 있지만, 여기서는 간략화를 위해, 신호SigX에 대하여 일정한 비율을 가지고 있다고 생각한다. 화소Ⅹ로부터 각 방향에 인접한 화소에 누설되는 신호의, 화소Ⅹ로부터 판독된 신호SigX에 대한 비율을 의미하는 계수와, SigX를 승산함으로써, 화소Ⅹ로부터 인접 화소에 누설된 성분의 신호량을 산출할 수 있다.

마찬가지로, 인접 화소로부터 화소Ⅹ에 혼입하는 성분의 신호량도, 각 인접 화소로부터 화소Ⅹ에 혼입하는 신호의, 각 인접 화소로부터 판독된 신호에 대한 비율을 의미하는 계수와, 각 인접 화소로부터 판독된 신호를 승산함으로써, 산출할 수 있다.

여기에서, 화소Ⅹ로부터 판독된 신호를 SigX라고 하고, 화소Ⅹ에 대한 제1의 방향(예를 들면, 왼쪽)에 인접한 화소L로부터 판독된 신호를 SigL이라고 한다. 화소Ⅹ에 대한 제2의 방향(예를 들면, 오른쪽)에 인접한 화소R로부터 판독된 신호를 SigR이라고 하고 화소Ⅹ에 대한 제3의 방향(예를 들면, 위)에 인접한 화소U로부터 판독된 신호를 SigU라고 한다. 화소Ⅹ에 대한 제4의 방향(예를 들면, 아래)에 인접한 화소D로부터 판독된 신호를 SigD라고 한다.

또한, 화소Ⅹ로부터 화소L에 누설되는 신호 성분을 보정하기 위한 계수를 [x1]이라고 하고, 화소L로부터 화소Ⅹ에 혼입하는 신호 성분을 보정하기 위한 계수를 [l2]라고 한다. 화소Ⅹ로부터 화소R에 누설되는 신호 성분을 보정하기 위한 계수를 [x2]라고 하고, 화소R로부터 화소Ⅹ에 혼입하는 신호 성분을 보정하기 위한 계수를 [rl]이라고 한다. 화소Ⅹ로부터 화소U에 누설되는 신호 성분을 보정하기 위한 계수를 [x3]이라고 하고, 화소U로부터 화소Ⅹ에 혼입하는 신호 성분을 보정하기 위한 계수를 [u4]라고 한다. 화소Ⅹ로부터 화소D에 누설되는 신호 성분을 보정하기 위한 계수를 [x4]라고 하고, 화소D로부터 화소Ⅹ에 혼입하는 신호 성분을 보정하기 위한 계수를 [d3]라고 한다.

여기서, 화소Ⅹ의 신호SigX에 포함되는 혼색성분이 보정된 이상적인 신호SigX'은, 다음 수식1로 산출된다.

SigX'＝SigX+SigX＊([x1]+[x2]+[x3]+[x4])-SigL＊[l2]-SigR＊［rl]-SigU＊[u4]-SigD＊[d3] ···수식1

수식1에 나타나 있는 바와 같이, 화소의 혼색을 보정하기 위해서는, 각 화소의 위치(좌표)에 대하여 [l2], [rl], [u4], 및 [d3]의 4개의 혼색보정계수를 관련 시켜서 제1의 혼색특성정보로 하여도 된다. 또한, 각 화소의 위치(좌표)에 대하여 [x1], [x2], [x3], [x4]의 4개의 혼색보정계수를 관련시켜서 제2의 혼색특성정보로 하여도 된다.

이와는 달리, 수식1로부터, 화소Ⅹ로부터 누설되는 신호 성분을 보정하기 위한 계수를 정리할 수 있다. 이 때문에,

[x]= [x1]+ [x2]+ [x3]+ [x4] ···수식2

를 채택하여도 되고, 각 화소의 위치에 대하여, [x]의 1개의 혼색보정계수를 관련시켜서 제2의 혼색특성정보로 하여도 된다.

또는, 화소Ⅹ로부터 보면, 제1의 방향으로 인접한 화소L에 누설되는 신호 성분인 SigX＊［x1]은, 화소L로부터 보면, 화소Ⅹ로부터 혼입하는 신호 성분이다. 양쪽의 신호 성분은, 이론상 등가다. 따라서, 각 화소의 위치에 대하여, [x1], [x2], [x3], 및 [x4]의 4개의 혼색보정계수를 관련시켜서 제2의 혼색특성정보를 설정하여도 되고, 제1의 혼색특성정보는 그 제2의 혼색특성정보로부터 추출되어도 된다. 신호처리회로(7)는, 혼색보정처리시에, 각 화소의 위치에 대하여, 4개의 인접 화소의 [x1], [x2], [x3], 및 [x4]의 4개의 혼색보정계수 중 그 화소에 관련되는 4개의 혼색보정계수를 [l2], [rl], [u4], 및 [d3]와 연관시켜서 제1의 혼색특성정보에 사용하게 된다. 즉, 각 화소의 위치에 대하여, [x1], [x2], [x3], 및 [x4]의 4개의 혼색보정계수를 연관시킨 계수 테이블을, 상기의 제2의 계수 테이블로서 사용하여도 되고, 그 제2의 계수 테이블로부터 상기의 제1의 계수 테이블을 추출하여도 된다.

또는, 반대로, 각 화소의 위치에 대하여, [l2], [rl], [u4], 및 [d3]의 4개 의 혼색보정계수를 연관시켜서, 제1의 혼색특성정보를 설정하여도 되고, 상기의 제1의 혼색특성정보로부터 제2의 혼색특성정보를 도출하여도 된다. 신호처리회로(7)는, 혼색보정처리시에, 각 화소의 위치에 대하여, 4개의 인접 화소의 [l2], [rl], [u4], 및 [d3]의 4개의 혼색보정계수 중 그 화소에 관련되는 4개의 혼색보정계수를 [x1], [x2], [x3], 및 [x4]로서 대응시켜서 제2의 혼색특성정보에 사용하게 된다. 즉, 각 화소의 위치에 대하여, [l2], [rl], [u4], 및 [d3]의 4개의 혼색보정계수를 관련시킨 계수 테이블을, 상기의 제1의 계수 테이블로서 사용하여도 되고, 상기의 제2의 계수 테이블을 상기의 제1의 계수 테이블로부터 추출하여도 된다.

이 혼색보정계수는, 조사각이 대단히 제한된(작은) 광원을 사용하여, 촬상 센서의 주목 화소 하나의 화소에 광을 조사하고, 주목 화소와 그 화소에 인접한 화소의 신호 출력을 미리 측정함으로써 산출될 수 있다. 여기에서, 화소Ⅹ나 그 화소에 인접한 화소로부터의 신호의 누출의 비율은, 각 화소에의 광선의 입사각의 성분에 따라 변화되기 때문에, 측정시는, 주목 화소 하나의 화소에 대하여, 조사하는 광의 각도를 변화시키면서, 복수의 조사각에서 측정을 행할 필요가 있다.

화소Ⅹ에 대한 광의 입사각과 화소Ⅹ와 그 화소에 인접한 화소의 각각의 신호량과의 관계와 아울러, 촬상장치의 광학계로부터 촬상 센서에 입사하는 광선의 각도와 촬상 센서상의 각 화소와 촬상장치의 광학중심과의 위치 관계를 바탕으로, 혼색보정계수를 산출한다. 즉, 화소배열에 있어서의 각 화소의 위치와, [x1], [x2], [x3], [x4], [l2], [rl], [u4], 및 [d3]의 8개의 혼색보정계수를 관련시킨 계수 테이블을 작성할 수 있다.

혹은, 혼색보정계수는, 시뮬레이션에 의거하여 산출된 이론값을 기초로 결정해도 좋다. 촬상 센서상의 각 화소와 촬상장치의 광학중심과의 위치 관계, 각 화소에의 광선의 입사각, 화소의 셀 사이즈, 화소 피치, 칼라필터의 높이, 촬상 센서의 내부구조등으로부터, 혼색보정계수를 시뮬레이션에 의거하여 이론적으로 산출해도 좋다.

다음에, 화소배열에 있어서의 화소의 위치와 혼색보정계수와의 관계를, 도 2 및 도 4를 참조하여 설명한다. 도 2는, 화소배열에 있어서의 화소Xc와 화소Ⅹ1∼Ⅹ4 및 그 인접 화소를 포함하는 각 화소의 위치를 보이고 있다. 도 4는, 화소Ⅹ1, Ⅹ2 및 그 행에 따른 방향의 인접 화소의 각각에 입사하는 광을 보이고 있다.

도 2 및 도 4에 나타나 있는 바와 같이, 화소배열PA300에 있어서의 광학중심PC에 대한 좌측에 배치된 화소Ⅹ1에서는, 광학중심PC에 위치하는 화소Ⅹc와 비교하여, 계수 [x1]과 계수 [rl]이 크고, 반대로 계수 [x2]과 계수 [l2]가 작다. 한편, 화소X1에서는, 계수 [x3], [x4], [u4] 및 [d3]은, 광학중심PC에 위치하는 화소Ⅹc와 같다.

도 2 및 도 4에 나타나 있는 바와 같이, 화소배열PA300에 있어서의 광학중심PC에 대한 우측에 배치된 화소Ⅹ2에서는, 광학중심PC에 위치하는 화소Ⅹc와 비교하여, 계수 [x2]과 계수 [l2]가 크고, 반대로 계수 [x1]과 계수 [rl]이 작다. 한편, 화소Ⅹ2에서는, 계수 [x3], [x4], [u4], 및 [d3]은, 광학중심PC에 위치하는 화소Ⅹc와 같다.

도 2에 나타나 있는 바와 같이, 화소배열PA300에 있어서의 광학중심PC에 대 한 상측에 배치된 화소Ⅹ3에서는, 광학중심PC에 위치하는 화소Ⅹc와 비교하여, 계수 [x3]과 계수 [d3]가 크고, 반대로 계수 [x4]과 계수 [u4]가 작다. 한편, 화소Ⅹ3에서는, 계수 [x1], [x2], [l2] 및 [rl]은, 광학중심PC에 위치하는 화소Ⅹc와 같다.

도 2에 나타나 있는 바와 같이, 화소배열PA300에 있어서의 광학중심PC에 대한 하측에 배치된 화소Ⅹ4에서는, 광학중심PC에 위치하는 화소Ⅹc와 비교하여, 계수 [x4]과 계수 [u4]가 크고, 반대로 계수 [x3]과 계수 [d3]가 작다. 한편, 화소Ⅹ4에서는, 계수 [x1], [x2], [l2] 및 [rl]은, 광학중심PC에 위치하는 화소Ⅹc와 같다.

이와 같이, 혼색보정계수는, 화소배열PA300에 있어서의 각 화소의 광학중심PC에 대한 위치 관계에 의존하고, 화소마다 다른 값을 갖는다. 그 때문에, 전체 화면에 걸쳐 화상신호의 혼색보정의 정밀도를 높이기 위해서는, 전체 화소에 대해서, [x1], [x2], [x3], [x4], [l2], [rl], [u4] 및 [d3]의 8개의 계수를, 각 화소의 위치와 연관시킨 계수 테이블을 채택할 수 있다. 또는, [x], [l2], [rl], [u4] 및 [d3]의 5개의 계수를, 각 화소의 위치와 연관시켜서 계수 테이블을 채택해도 된다. 또는, 계수 [x1], [x2], [x3] 및 [x4]의 4개의 계수를, 각 화소의 위치와 연관시켜서 계수 테이블을 채택해도 된다. 또는, 계수 [l2], [rl], [u4] 및 [d3]의 4개의 계수를, 각 화소의 위치와 연관시켜서 계수 테이블을 채택해도 된다.

본 실시예에서는, 베이어 배열을 이용하는 촬상 센서에 관해서 서술했지만, 본 발명을 실시할 때, 화소들에 있어서의 칼라필터의 배열은 베이어 배열에 한정하 지 않는다. 또한, 본 실시예에서는 각 화소에 대해서 상, 하, 좌 및 우의 방향으로 인접한 화소와의 사이에 발생하는 혼색에 대해서 각각의 보정계수를 갖게 하도록 했지만, 경사 방향으로 인접한 화소에 대해서 보정계수를 갖게 하도록 하여도 된다. 한층 더, 각 화소와 인접 화소간에 발생하는 혼색을 보정할뿐만 아니라, 각 화소와 주목 화소로부터 소정의 화소수만큼 떨어진 화소들간에 발생하는 혼색을 보정하기 위한 보정계수를 각 화소가 갖게 하도록 하여도 된다.

다음에, 본 발명의 제2실시예에 따른 촬상장치(100i)에 관하여 설명한다. 이하에서는, 제1실시예와 다른 부분을 주로 설명한다.

촬상장치(100i)의 불휘발성 메모리(14i)는, 도 5에 나타나 있는 바와 같이, 제1의 혼색특성정보로서, 제1의 계수 테이블 대신에, 제1의 행 보정 데이터RDl 및 제1의 열 보정 데이터CDl을 기억하고 있다. 제1의 행 보정 데이터RDl은, 화소배열PA300에 있어서의 행에 따른 방향(수평방향)의 위치와, 화소배열PA300의 광학중심PC를 포함하는 행의 화소에 인접 화소(열에 따른 방향으로 인접한 화소)로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수가 연관된 데이터다. 제1의 열 보정 데이터CDl은, 화소배열PA300에 있어서의 열에 따른 방향(수직방향)의 위치와, 화소배열PA300의 광학중심PC를 포함하는 열의 화소에 인접 화소(행에 따른 방향으로 인접한 화소)로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수가 연관된 데이터다. 또한, 도 5는, 본 발명의 제2실시예에 있어서의 제1의 혼색특성정보 및 제2의 혼색특성정보를 도시한 도면이다.

또한, 불휘발성 메모리(14i)는, 도 5에 나타나 있는 바와 같이, 제2의 혼색 특성정보로서, 제2의 계수 테이블 대신에, 제2의 행 보정 데이터RD2 및 제2의 열 보정 데이터CD2을 기억하고 있다. 제2의 행 보정 데이터RD2은, 화소배열PA300에 있어서의 행에 따른 방향(수평방향)의 위치와, 화소배열PA300의 광학중심PC를 포함하는 행의 화소로부터 인접 화소(열에 따른 방향으로 인접한 화소)에 누설되는 신호 성분을 보정하도록 미리 결정된 계수가 연관된 데이터다. 제2의 열 보정 데이터CD2는, 화소배열PA300에 있어서의 열에 따른 방향(수직방향)의 위치와, 화소배열PA300의 광학중심PC를 포함하는 열의 화소로부터 인접 화소(행에 따른 방향으로 인접한 화소)에 누설되는 신호 성분을 보정하도록 미리 결정된 계수가 연관된 데이터다.

촬상장치(100i)의 신호처리회로(7i)는, 화소배열PA300에 있어서의 보정용 화소의 행에 따른 방향의 위치와 제1의 행 보정 데이터RDl에 따라, 행에 따른 방향의 제1의 보정계수 [rl] 및 [l2]을 산출한다. 신호처리회로(7i)는, 화소배열PA300에 있어서의 보정용 화소의 열에 따른 방향의 위치와 제1의 열 보정 데이터CDl에 따라, 열에 따른 방향의 제1의 보정계수 [u4] 및 [d3]을 산출한다.

또한, 촬상장치(100i)의 신호처리회로(7i)는, 화소배열PA300에 있어서의 보정용 화소의 행에 따른 방향의 위치와 제2의 행 보정 데이터RD2에 따라, 행에 따른 방향의 제2의 보정계수 [x1] 및 [x2]을 산출한다. 신호처리회로(7i)는, 화소배열PA300에 있어서의 보정용 화소의 열에 따른 방향의 위치와 제2의 열 보정 데이터CD2에 따라, 열에 따른 방향의 제2의 보정계수 [x4] 및 [x3]을 산출한다.

이와 같이, 불휘발성 메모리(14i)는, 제1의 혼색특성정보로서, 2차원적 데이터인 제1의 계수 테이블 대신에, 각각 1차원적 데이터인 제1의 행 보정 데이터RDl 및 제1의 열 보정 데이터CDl을 기억하고 있다. 또한, 불휘발성 메모리(14i)는, 제2의 혼색특성정보로서, 2차원적 데이터인 제2의 계수 테이블 대신에, 각각 1차원적 데이터인 제2의 행 보정 데이터RD2 및 제2의 열 보정 데이터CD2을 기억하고 있다. 이에 따라, 제1의 혼색특성정보의 데이터량 및 제2의 혼색특성정보의 데이터량을 저감할 수 있다.

예를 들면, 혼색보정계수를 결정할 때에, 촬상장치의 광학계로부터 촬상 센서에 입사하는 광선의 각도에 영향을 미치는 요인으로서, 촬상장치의 광학계에 있어서의 렌즈의 조리개의 개구경이 있다. 그 때문에, 광학계가 변화되어도 화상신호의 혼색보정의 정밀도를 향상하기 위해서는, 렌즈의 조리개의 F값마다 혼색보정계수를 변하게 할 필요가 있다. 여기서, 촬상장치는, 렌즈의 조리개의 F값마다, 촬상 센서의 전체 화소에 대해서, 화소마다 다른 복수의 혼색보정계수를 포함하는 혼색특성정보를 기억하고 있어, 혼색특성정보의 데이터량이 방대해져버린다.

그것에 대하여, 본 실시예에서는 혼색량이 화소배열에 있어서의 광학중심으로부터의 거리로 결정되는 것에 착안한다. 전체 화소에 관한 혼색보정계수를 바탕으로, 화소배열에 있어서의 광학 중심으로 배치된 화소가 속하는 화소행에 있는 각 화소의 [x1], [x2], [l2] 및 [rl]의 각 혼색보정계수를, [x1], [x2], [l2] 및 [rl]에 대응하는 수평방향으로 일차원 데이터로 변환된다. 또한, 촬상장치의 광학 중심에 배치된 화소가 속하는 화소열에 있는 각 화소의 [x3], [x4], [u4] 및 [d3]의 각각의 혼색보정계수를, [x3], [x4], [u4] 및 [d3]에 대응하는 수직방향으로 일차원 데이터로 변환된다. 불휘발성 메모리(14i)가 혼색 보정 데이터(일차원 데이터)를 혼색보정계수 대신에 기억해 두고, 신호처리회로(7i)는, 그 데이터를 바탕으로 각 화소에 대응하는 혼색보정계수를 도출해서 보정을 행해도 된다.

불휘발성 메모리(14i)는, 도 6에 나타나 있는 바와 같이, 일차원 데이터와 조리개의 F값과의 테이블을 기억하고 있다. 이 테이블로부터, 신호처리회로(7i)는, 촬영 조건에 일치하는 F값에 대응하는 혼색보정 데이터(일차원 데이터)를 선택하고, 보정용 화소에 대응하는 혼색보정계수를 얻어, 신호의 보정을 행할 수 있다. 또한, 도 6은, 본 발명의 제2실시예에 있어서의 일차원 데이터와 조리개의 F값과의 테이블을 도시한 도면이다.

이와는 달리, 예를 들면, 혼색보정계수를 결정할 때에, 촬상장치의 광학계로부터 촬상 센서에 입사하는 광선의 각도에 영향을 미치는 요인으로서, 렌즈의 사출 동공거리가 있다. 그 때문에, 광학계가 변화되어도 화상신호의 혼색을 적합하게 보정하기 위해서는, 렌즈의 사출 동공거리마다 혼색보정계수를 변하게 할 필요가 있다. 여기서, 촬상장치는, 렌즈의 사출 동공거리마다, 촬상 센서의 전체 화소에 대해서, 화소마다 다른 복수의 혼색보정계수를 가져, 혼색특성정보의 데이터량이 방대해져버린다.

그것에 대하여, 본 실시예에서는, 도 7에 나타나 있는 바와 같이, 불휘발성 메모리(14i)가, 일차원 데이터와 사출 동공거리와의 테이블을 기억하고 있다. 이 테이블로부터, 신호처리회로(7i)는, 촬영 조건에 일치하는 사출 동공거리에 대응하는 혼색보정 데이터(일차원 데이터)를 선택하고, 보정용 화소에 대응하는 혼색보정계수를 얻어, 신호의 보정을 행할 수 있다. 도 7은, 본 발명의 제2실시예에 있어서 의 일차원 데이터와 사출 동공거리와의 테이블을 도시한 도면이다.

이와는 달리, 예를 들면, 혼색보정계수를 결정할 때에, 촬상장치의 광학계로부터 촬상 센서에 입사하는 광선의 각도에 영향을 주는 요인으로서, 광학계가 렌즈(1a)(도 1 참조)와 아울러 줌렌즈를 더 포함할 경우, 줌렌즈의 줌 위치가 있다. 이 줌렌즈의 줌 위치를 바꿈으로써 렌즈(1a)(도 1참조)의 조리개나 사출 동공거리는 변화한다. 그 때문에, 광학계의 동작 상태가 변화되어도 화상신호의 혼색보정의 정밀도를 향상하기 위해서는, 렌즈의 줌 위치마다 혼색보정계수를 변화시킬 필요가 있다. 여기서, 촬상장치는, 렌즈의 줌 위치마다, 촬상 센서의 전체 화소에 대해서, 화소마다 다른 복수의 혼색보정계수를 가져, 혼색특성정보의 데이터량이 방대해져버린다.

그것에 대하여, 본 실시예에서는, 신호처리회로(7i)가, 렌즈의 줌 위치에 일치하는 조리개의 F값과 사출 동공거리를 산출한다. 신호처리회로(7i)는, 산출한 F값에 대응하는 혼색보정 데이터(일차원 데이터)를 도 6에 나타낸 테이블로부터 선택하고, 산출한 사출 동공거리에 대응하는 혼색보정 데이터(일차원 데이터)를 도 7에 나타낸 테이블로부터 선택한다. 신호처리회로(7i)는, 상기 조리개에 있어서의 보정계수와, 사출 동공거리에 있어서의 보정계수를 가산한 후에, 보정용 화소의 신호의 보정을 행할 수 있다.

또한, 불휘발성 메모리(14i)는, 일차원 데이터와 줌 위치와의 테이블(도시 생략)을 기억하여도 된다. 이 경우, 이 테이블로부터, 신호처리회로(7i)는, 촬영 조건에 일치하는 줌 위치에 대응하는 혼색보정 데이터(일차원 데이터)를 선택하고, 보정용 화소에 대응하는 혼색보정계수를 얻어, 신호의 보정을 행할 수 있다.

이와는 달리, 예를 들면, 혼색보정계수를 결정할 때에, 촬상장치의 광학계로부터 촬상 센서에 입사하는 광선의 각도에 영향을 주는 요인으로서, 렌즈 교환식의 촬상장치 등에 본 발명을 적용할 경우, 장착될 수 있는 렌즈의 종류가 있다. 이 장착되는 렌즈의 종류를 바꿈으로써 렌즈(1a)(도 1참조)의 조리개나 사출 동공거리가 변화되어버린다. 그 때문에, 광학계가 변화되어도 화상신호의 혼색보정의 정밀도를 향상하기 위해서는, 장착되는 렌즈의 종류마다 혼색보정계수를 변하게 할 필요가 있다. 여기서, 촬상장치는, 장착되는 렌즈의 종류마다, 촬상 센서의 전체 화소에 대해서, 화소마다 다른 복수의 혼색보정계수를 가져, 혼색특성정보의 데이터량이 방대해져버린다.

그것에 대하여, 본 실시예에서는 신호처리회로(7i)가, 실제로 장착된 렌즈의 종류에 일치하는 조리개의 F값과 사출 동공거리를 산출한다. 신호처리회로(7i)는, 산출한 F값에 대응하는 혼색보정 데이터(일차원 데이터)를 도 6에 나타낸 테이블로부터 선택하고, 산출한 사출 동공거리에 대응하는 혼색보정 데이터(일차원 데이터)를 도 7에 나타낸 테이블로부터 선택한다. 신호처리회로(7i)는, 해당 조리개에 있어서의 보정계수와, 사출 동공거리에 있어서의 보정계수를 가산한 후에, 보정용 화소의 신호의 보정을 행할 수 있다.

또한, 불휘발성 메모리(14i)는, 일차원 데이터와 렌즈의 종류와의 테이블(도시 생략)을 기억하여도 된다. 이 경우, 이 테이블로부터, 신호처리회로(7i)는, 실제로 장착된 렌즈의 종류에 대응하는 혼색보정 데이터(일차원 데이터)를 선택하고, 보정용 화소에 대응하는 혼색보정계수를 얻어, 신호의 보정을 행할 수 있다.

혹은, 예를 들면, 혼색보정계수를 결정할 때에, 촬상장치의 광학계로부터 촬상 센서에 입사하는 광선의 각도에 영향을 주는 요인으로서, 광전변환부에 입사하는 광의 색이 있다. 그 때문에, 광학계가 변화되어도 화상신호의 혼색보정의 정밀도를 향상하기 위해서는, 광전변환부에 입사하는 광의 색마다 혼색보정계수를 변하게 할 필요가 있다. 여기서, 촬상장치는, 광전변환부에 입사하는 광의 색마다, 촬상 센서의 전체 화소에 대해서, 화소마다 다른 복수의 혼색보정계수를 가져, 혼색특성정보의 데이터량이 방대해져버린다.

그것에 대하여, 본 실시예에서는, 불휘발성 메모리(14i)가, 일차원 데이터와 광의 색의 테이블을 기억하고 있다. 이 테이블로부터, 신호처리회로(7i)는, 보정용 화소의 칼라필터의 색에 대응하는 도 8에 나타나 있는 바와 같은 보정 데이터(일차원 데이터인 행 보정 데이터 또는 열 보정 데이터)를 선택한다. 예를 들면, 신호처리회로(7i)는, 보정용 화소가 R화소(칼라필터의 색이 빨강)이면, 도 8에 나타낸 보정 데이터 'i'를 선택한다. 예를 들면, 신호처리회로(7i)는, 보정용 화소가 G화소(칼라필터의 색이 초록)이면, 도 8에 나타낸 보정 데이터 'ii'를 선택한다. 예를 들면, 신호처리회로(7i)는, 보정용 화소가 B화소(칼라필터의 색이 파랑)이면, 도 8에 나타낸 보정 데이터 'iii'를 선택한다. 이에 따라, 신호처리회로7i는, 보정용 화소에 대응하는 혼색보정계수를 얻고, 신호의 보정을 행할 수 있다. 도 8은, 본 발명의 제2실시예에 있어서의 색마다의 보정 데이터를 도시한 도면이다.

다음에, 본 발명의 제3실시예에 따른 촬상장치에 관하여 설명한다. 이하에서 는, 제1실시예와 다른 부분을 주로 설명한다.

본 실시예에 따른 촬상장치의 불휘발성 메모리는, 도면에는 나타내지 않았지만, 제1의 혼색특성정보로서, 제1의 계수 테이블 대신에, 제1의 관계식을 기억하고 있다. 제1의 관계식은, 화소배열에 있어서의 위치와, 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 제1의 보정계수와의 관계를 나타낸 식이다.

또한, 불휘발성 메모리는, 도면에는 나타내지 않았지만, 제2의 혼색특성정보로서, 제2의 계수 테이블 대신에, 제2의 관계식을 기억하고 있다. 제2의 관계식은, 화소배열에 있어서의 위치와, 화소로부터 인접 화소에 누설되는 신호 성분을 보정하도록 미리 결정된 제2의 보정계수와의 관계를 나타낸 식이다.

촬상장치의 신호처리회로는, 화소배열에 있어서의 보정용 화소의 위치와 제1의 관계식에 따라, 제1의 보정계수 [rl], [l2], [u4] 및 [d3]을 산출한다.

또한, 촬상장치의 신호처리회로는, 화소배열에 있어서의 보정용 화소의 위치와 제2의 관계식에 따라, 제2의 보정계수 [x1], [x2], [x3] 및 [x4]을 산출한다.

이와 같이, 불휘발성 메모리는, 제1의 혼색특성정보로서, 2차원적 데이터인 제1의 계수 테이블 대신에, 0차원적 데이터인 제1의 관계식을 기억하고 있다. 또한, 불휘발성 메모리는, 제2의 혼색특성정보로서, 2차원적 데이터인 제2의 계수 테이블 대신에, 0차원적 데이터인 제2의 관계식을 기억하고 있다. 이에 따라 제1의 혼색특성정보의 데이터량 및 제2의 혼색특성정보의 데이터량을 한층 더 저감할 수 있다.

또한, 촬상장치의 불휘발성 메모리는, 제1의 혼색특성정보로서, 제1의 관계식 대신에, 제1의 행 관계식 및 제1의 열 관계식을 기억하고 있어도 된다. 제1의 행 관계식은, 화소배열에 있어서의 행에 따른 방향(수평방향)의 위치에 대한, 화소배열의 광학중심을 포함하는 행의 화소에 인접 화소(열에 따른 방향으로 인접한 화소)로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수의 관계를 나타낸 식이다. 제1의 열 관계식은, 화소배열에 있어서의 열에 따른 방향(수직방향)의 위치에 대한, 화소배열의 광학중심을 포함하는 열의 화소에 인접 화소(행에 따른 방향으로 인접한 화소)로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수의 관계를 나타낸 식이다.

또한, 불휘발성 메모리는, 제2의 혼색특성정보로서, 제2의 관계식 대신에, 제2의 행 관계식 및 제2의 열 관계식을 기억하고 있다. 제2의 행 관계식은, 화소배열에 있어서의 행에 따른 방향(수평방향)의 위치에 대한, 화소배열의 광학중심을 포함하는 행의 화소로부터 인접 화소(보정용 화소에 열에 따른 방향으로 인접한 화소)에 누설되는 신호 성분을 보정하도록 미리 결정된 계수의 관계를 나타낸 식이다. 제2의 열 관계식은, 화소배열에 있어서의 열에 따른 방향(수직방향)의 위치에 대한, 화소배열의 광학중심을 포함하는 열의 화소로부터 인접 화소(보정용 화소에 행에 따른 방향으로 인접한 화소)에 누설되는 신호 성분을 보정하도록 미리 결정된 계수의 관계를 나타낸 식이다.

촬상장치의 신호처리회로는, 화소배열에 있어서의 보정용 화소의 행에 따른 방향의 위치와 제1의 행 관계식에 따라, 행에 따른 방향의 제1의 보정계수 [rl] 및 [l2]을 산출한다. 신호처리회로는, 화소배열에 있어서의 보정용 화소의 열에 따른 방향의 위치와 제1의 열 관계식에 따라, 열에 따른 방향의 제1의 보정계수 [u4] 및 [d3]을 산출한다.

또한, 촬상장치의 신호처리회로는, 화소배열에 있어서의 보정용 화소의 행에 따른 방향의 위치와 제2의 행 관계식에 따라, 행에 따른 방향의 제2의 보정계수 [x1] 및 [x2]를 산출한다. 신호처리회로는, 화소배열에 있어서의 보정용 화소의 열에 따른 방향의 위치와 제2의 열 관계식에 따라, 열에 따른 방향의 제2의 보정계수 [x3] 및 [x4]을 산출한다.

다음에, 본 발명의 제4실시예에 따른 촬상장치(100j)에 관하여 설명한다. 이하에서는, 제1실시예와 다른 부분을 주로 설명한다.

촬상장치(100j)는, 촬상 센서(3j) 및 신호처리회로(7j)를 구비한다.

촬상 센서(3j)는, 도 9에 나타나 있는 바와 같이, 판독부(31j)를 포함한다. 판독부(31j)는, 제1의 모드(전체 화면 모드)에 있어서, 화소배열PA300에 있어서의 전부의 화소로부터 신호를 판독하고, 제2의 모드(서브샘플링 모드)에 있어서, 화소배열PA300에 있어서의 일부의 화소로부터 신호를 판독한다. 예를 들면, 판독부(31j)는, 제2의 모드(서브샘플링 모드)에 있어서, 도 9에 있어서의 흑색으로 나타낸 화소들로부터 신호를 판독한다. 도 9는, 본 발명의 제4실시예에 있어서의 촬상 센서(3j)의 구성을 도시한 도면이다.

이와 같이 화소배열PA300로부터 화소를 서브샘플링하고, 필요한 소정의 화소로부터 화상신호만을 판독하는 서브샘플링 모드에 있어서는, 화소배열PA300에서 인 접한 화소로부터의 신호가 판독되지 않아서, 인접한 화소의 신호를 보정할 수 없다. 이 때문에, 제2의 모드(서브샘플링 모드)에서는, 판독된 화상신호상에서 인접하는 신호의 출력레벨은, 판독되지 않은 인접화소의 신호의 출력 레벨과 거의 같다고 생각하고, 다음과 같은 보정을 행한다.

신호처리회로(7j)는, 제2의 모드에 있어서, 판독부(31j)에 의해 판독된 1프레임의 화상신호에 있어서의 보정용 화소에 인접한 화소를, 화소배열PA300에 있어서의 보정용 화소의 인접 화소로서 사용하여, 보정용 화소로부터 판독된 신호를 보정한다. 예를 들면, 신호처리회로(7j)는, 화소Ⅹ의 혼색보정처리를 행할 때에, 화소LL, RR, UU 및 DD를 화소Ⅹ의 인접 화소로서, 화소Ⅹ의 신호를 보정한다.

구체적으로는, 다음과 같은 보정을 행한다. 화소Ⅹ로부터 판독되는 신호를 SigX라고 하고, 화소LL로부터 판독되는 신호를 SigLL이라고 한다. 화소RR로부터 판독되는 신호를 SigRR이고 하고, 화소UU로부터 판독되는 신호를 SigUU라고 한다. 화소DD로부터 판독되는 신호를 SigDD라고 한다. 제1실시예에서 서술한 것처럼, 화소Ⅹ에 대응하는 혼색보정계수로서, 화소Ⅹ로부터 누설되는 성분을 보정하는 계수 [x1], [x2], [x3] 및 [x4], 화소Ⅹ에 인접한 화소로부터 누설된 성분을 보정하는 계수 [l2], [rl], [u4] 및 [d3]을 사용한다. 신호처리회로(7j)는, 수식3에 나타낸 산출에 의해 보정을 행하여, 보정후의 신호SigX'을 얻는다.

SigX'＝SigX+SigX＊(［x1]+ [x2]+ [x3]+ [x4])-SigLL＊［l2]-SigRR＊［rl]-SigUU＊［u4]-SigDD＊［d3] ···수식3

다음에, 본 발명의 제5실시예에 따른 촬상장치(100k)에 관하여 설명한다. 이 하에서는, 제1실시예와 다른 부분을 주로 설명한다.

촬상장치(100k)는, 촬상 센서(3k) 및 신호처리회로(7k)를 구비한다.

촬상 센서(3k)는, 도 10a에 나타나 있는 바와 같이, 판독부(31k)를 포함한다. 판독부(31k)는, 제1의 모드(전체 화면 모드)에 있어서, 화소배열PA300에 있어서의 전부의 화소로부터 신호를 판독하고, 제3의 모드(가산 모드)에 있어서, 화소배열PA300에 있어서의 서로 근방에 위치하는 2이상의 같은 색 화소마다 신호를 가산해서 판독한다. 예를 들면, 판독부(31k)는, 제3의 모드(가산 모드)에 있어서, 도 10a에 있어서의 흑색으로 나타낸 같은 색의 화소로부터 신호를 가산해서 판독한다. 또한, 도 10a는, 본 발명의 제5실시예에 있어서의 촬상 센서(3k)의 구성 및 동작을 도시한 도면이다.

이와 같이 혼색보정을 행하기 이전에, 촬상 센서의 각 화소에 의해 발생된 화소신호를, 소정의 화소수씩 가산한 뒤에 화상신호를 생성하는 가산 모드에 있어서는, 촬상 센서상에서 같은 색의 소정수의 화소의 신호가 가산되어서 그 결과는 판독된다. 이 때문에, 혼색보정용 화소에 인접한 화소의 신호를 그대로 보정에 사용할 수 없다. 그래서, 제3의 모드(가산 모드)에서는, 가산되는 화소로부터 각각의 인접화소에의 신호의 누설량은, 가산되는 화소의 중심에 위치하는 화소로부터 인접화소에의 누설량과 거의 같다고 생각하고, 다음과 같은 보정을 행한다.

신호처리회로(7k)는, 제3의 모드에 있어서, 가산되는 2이상의 화소의 중심위치를, 화소배열PA300에 있어서의 보정용 화소의 위치로서 사용하여, 보정용 화소로부터 판독부(31k)에 의해 판독된 신호를 보정한다. 예를 들면, 신호처리회로(7k) 가, 도 10a에 있어서의 흑색으로 나타낸 화소의 신호를 가산 평균하여 도 10b에 나타낸 신호 SigXX를 얻을 경우, 흑색으로 나타낸 화소의 중심위치인 화소Ⅹ의 위치를 보정용 화소의 위치로서 사용하여, 보정용 화소의 신호SigXX를 보정한다.

구체적으로는, 다음과 같은 보정을 행한다. 도 10a의 화소Ⅹ을 포함한, 흑색으로 나타낸 화소의 신호를 가산 평균하여, 도 10b의 신호SigXX를 얻는다. 도 10a의 화소L을 포함한, 굵은 사선 패턴으로 나타낸 화소의 신호를 가산 평균하여, 도 10b의 sigLL을 얻는다. 도 10a의 화소R을 포함한, 사선 패턴으로 나타낸 화소의 신호를 가산 평균하여, 도 10b의 sigRR를 얻는다. 도 10a의 화소U를 포함한, 수평 선 패턴으로 화소의 신호를 가산 평균하여, 도 10b의 신호SigUU를 얻는다. 도 10a의 화소D를 포함한, 격자 패턴으로 나타낸 화소의 신호를 가산 평균하여, 도 10b의 신호SigDD를 얻는다. 제1실시예에서 서술한 것처럼, 화소Ⅹ에 대응하는 혼색보정계수로서, 화소Ⅹ로부터 누설되는 성분의 보정을 행하는 계수 [x1], [x2], [x3] 및 [x4]와, 화소Ⅹ에 인접한 화소로부터 누입(leak in)되는 성분의 보정을 행하는 계수 [l2], [rl], [u4] 및 [d3]을 사용한다. 신호처리회로(7k)는, 수식4에 나타낸 산출에 의해 보정을 행하고, 보정후의 신호SigXX'을 얻는다.

SigXX'＝SigXX+SigXX＊(［x1]+[x2]+[x3]+[x4])-SigLL＊［l2]-SigRR＊［rl]-SigUU＊［u4]-SigDD＊［d3] ···수식4

다음에, 본 발명의 제6실시예에 따른 촬상장치(100p)를 포함하는 촬상 시스템(400)을, 도 11을 참조하여 설명한다. 도 11은, 본 발명의 제6실시예에 따른 촬상장치(100p)를 포함하는 촬상 시스템(400)의 구성을 도시한 도면이다. 이하에서 는, 제1실시예와 다른 부분을 주로 설명한다.

촬상 시스템(400)은, 촬상장치(100p) 및 처리장치(200)를 구비한다. 촬상장치(100p)는, 통신회선(300)을 거쳐서 처리장치(200)에 통신 가능하게 접속되어 있다. 통신회선(300)은, 예를 들면 직렬 케이블등의 직렬 통신가능한 유선통신회선, 블루투쓰 등을 사용하는 무선통신회선이다. 처리장치(200)는, 예를 들면 퍼스널 컴퓨터이다. 촬상장치(100p)는, 통신회선(300)을 거쳐서 화상 데이터를 처리장치(200)에 공급한다. 처리장치(200)는, 촬상장치(100p)로부터 화상 데이터를 수신하고, 수신한 화상 데이터를 처리한다.

촬상장치(100p)는, 신호처리회로(생성부)(7p) 및 통신 인터페이스(I/F)(19p)를 구비한다.

본 실시예에 있어서는, 혼색보정처리를 촬상장치 내부가 아니고 외부에서 행한다. 외부에서 혼색보정처리를 행할 경우에는, 보정을 행하기 위해서 필요한 정보를, 화상 데이터와 함께 출력할 필요가 있다.

이 때문에, 신호처리회로(7p)는, 판독 회로에 의해 판독된 1프레임 분의 화상신호에 대하여, 화소배열에 있어서의 위치를 연관시키고, 제1의 혼색특성정보 및 제2의 혼색특성정보를 첨부시킴으로써, 화상 데이터를 생성한다(도 12 참조). 신호처리회로(7p)는, 생성한 화상 데이터를 통신 인터페이스(19p)에 공급한다.

또한, 신호처리회로(7p)는, 화상신호(화상정보)에 대하여, 렌즈의 F값, 사출 동공거리 또는 줌 위치 등의 촬영 조건에 일치한 혼색보정계수(또는, 혼색보정 데이터, 혼색보정식)을 첨부하여도 된다. 이와는 달리, 신호처리회로(7p)는, 렌즈의 F값, 사출 동공거리 또는 줌 위치 등의 촬영 조건에 관한 정보를 화상신호(화상정보)에 첨부하여도 된다.

통신 인터페이스(19p)는, 공급된 화상 데이터를 통신회선(300)을 거쳐 처리장치(200)에 송신한다.

처리장치(200)는, 통신 인터페이스(I/F)(202) 및 보정부(201)를 구비한다.

통신 인터페이스(202)는, 통신회선(300)을 거쳐서 촬상장치(100p)로부터 화상 데이터를 수신한다. 통신 인터페이스(202)는, 수신한 화상 데이터를 보정부(201)에 공급한다.

보정부(201)는, 도 12에 나타나 있는 바와 같이, 화상 데이터를 통신 인터페이스(202)로부터 수신한다. 보정부(201)는, 화상 데이터에 의해 나타낸 화소배열에 있어서의 보정용 화소의 위치와 제1의 혼색특성정보에 따라 보정용 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하기 위한 제1의 보정계수를 산출한다. 보정부(201)는, 화상 데이터에 의해 나타낸 화소배열에 있어서의 보정용 화소의 위치와 제2의 혼색특성정보에 따라 보정용 화소로부터 인접 화소에 누설되는 신호 성분을 보정하기 위한 제2의 보정계수를 산출한다. 보정부(201)는, 화상 데이터에 있어서의 보정용 화소의 인접 화소의 신호, 제1의 보정계수 및 제2의 보정계수를 사용함으로써, 화상 데이터에 있어서의 보정용 화소의 신호를 보정한다. 보정부(201)는, 도 12에 나타나 있는 바와 같이, 보정 후의 화상신호를 후단(예를 들면, 하드 디스크나 메모리카드 등의 기억매체)에 출력한다. 도 12는, 본 발명의 제6실시예에 있어서의 보정부(201)에 관한 데이터 흐름도이다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

도 1은 본 발명의 제1실시예에 따른 촬상장치(100)의 구성을 도시한 다.

도 2는 본 발명의 제1실시예에 있어서의 촬상 센서(3)의 구성을 도시한다.

도 3은 보정용 화소와 그 화소에 인접한 화소와의 사이에서 일어나는 혼색을 모식적으로 도시한다.

도 4는 화소x1, Ⅹ2 및 그 행에 따른 방향의 인접 화소의 각각에 입사하는 광을 도시한다.

도 5는 본 발명의 제2실시예에 있어서의 제1의 혼색특성정보 및 제2의 혼색특성정보를 도시한다.

도 6은 본 발명의 제2실시예에 있어서의 일차원 데이터와 조리개의 F값과의 테이블을 도시한다.

도 7은 본 발명의 제2실시예에 있어서의 일차원 데이터와 동공거리와의 테이블을 도시한다.

도 8은 본 발명의 제2실시예에 있어서의 색마다의 보정 데이터를 도시한다.

도 9는 본 발명의 제4실시예에 있어서의 촬상 센서(3j)의 구성을 도시한다.

도 10a 및 10b는 본 발명의 제5실시예에 있어서의 촬상 센서(3k)의 구성 및 동작을 나타낸다.

도 11은 본 발명의 제6실시예에 따른 촬상장치(100p)를 포함하는 촬상 시스템(400)의 구성을 도시한 도면.

도 12는 본 발명의 제6실시예에 있어서의 보정부(201)에 관한 데이터 흐름도이다.

도 13은 배경기술을 설명하기 위한 도면.

도 14a 및 도 14b는 배경기술을 설명하기 위한 도면.

도 15a 및 도 15b는 배경기술을 설명하기 위한 도면.

도 16은 배경기술을 설명하기 위한 도면.

도 17은 배경기술을 설명하기 위한 도면.

도 18은 배경기술을 설명하기 위한 도면.

도 19는 배경기술을 설명하기 위한 도면.

도 20은 배경기술을 설명하기 위한 도면.

도 21은 본 발명에 의해 해결되는 과제를 설명하기 위한 도면.

도 22는 본 발명에 의해 해결되는 과제를 설명하기 위한 도면.

Claims (11)

1. 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열을 갖는 촬상 센서로부터 출력되는 화상신호에 소정의 신호처리를 실시하는 신호처리장치로서,

   상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보를 기억하는 기억부와,

   상기 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 보정용 화소의 인접 화소의 출력 화상신호와 이 산출된 보정계수에 의거하여 상기 보정용 화소의 출력 화상신호를 보정하는 보정부를 구비한, 신호처리장치.
2. 제 1 항에 있어서,

   상기 특성정보는, 상기 화소배열에 있어서의 화소위치와, 각 화소에의 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 보정계수가, 화소마다 연관된 계수 테이블을 포함하고,

   상기 보정부는, 상기 화소배열에 있어서의 상기 보정용 화소의 위치와 상기 계수 테이블에 따라 상기 보정계수를 산출하는, 신호처리장치.
3. 제 1 항에 있어서,

   상기 특성정보는,

   상기 화소배열에 있어서의 행에 따른 방향의 화소위치와, 상기 화소배열의 광학중심을 포함하는 행의 상기 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수가 연관된 행 보정 데이터와,

   상기 화소배열에 있어서의 열에 따른 방향의 화소위치와, 상기 화소배열의 광학중심을 포함하는 열의 상기 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수가 연관된 열 보정 데이터를 포함하고,

   상기 보정부는, 상기 화소배열에 있어서의 상기 보정용 화소의 행에 따른 방향의 위치 및 상기 행 보정 데이터에 따라, 행에 따른 방향의 상기보정계수를 산출하고, 상기 화소배열에 있어서의 상기 보정용 화소의 열에 따른 방향의 위치 및 상기 열 보정 데이터에 따라, 열에 따른 방향의 상기 보정계수를 산출하는, 신호처리장치.
4. 제 1 항에 있어서,

   상기 특성정보는, 상기 화소배열에 있어서의 화소위치에 대한, 상기 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 상기 보정계수의 관계를 나타낸 관계식을 포함하고,

   상기 보정부는, 상기 화소배열에 있어서의 상기 보정용 화소의 위치와 상기 관계식에 따라 상기 보정계수를 산출하는, 신호처리장치.
5. 제 1 항에 있어서,

   상기 특성정보는,

   상기 화소배열에 있어서의 행에 따른 방향의 화소위치에 대한, 상기 화소배열의 광학중심을 포함하는 행의 상기 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수의 관계를 나타낸 행 관계식과,

   상기 화소배열에 있어서의 열에 따른 방향의 화소위치에 대한, 상기 화소배열의 광학중심을 포함하는 열의 상기 화소에 인접 화소로부터 혼입하는 신호 성분을 보정하도록 미리 결정된 계수의 관계를 나타낸 열 관계식을 포함하고,

   상기 보정부는, 상기 화소배열에 있어서의 상기 보정용 화소의 행에 따른 방향의 위치 및 상기 행 관계식에 따라, 행에 따른 방향의 상기 보정계수를 산출하고, 상기 화소배열에 있어서의 상기 보정용 화소의 열에 따른 방향의 위치 및 상기 열 관계식에 따라, 열에 따른 방향의 상기 보정계수를 산출하는, 신호처리장치.
6. 제 1 항에 있어서,

   상기 보정부는, 1프레임의 화상신호에 있어서의 상기 보정용 화소에 인접한 화소를, 상기 화소배열에 있어서의 상기 보정용 화소의 인접 화소로서 사용하여, 상기 보정용 화소의 출력 화상 신호를 보정하는, 신호처리장치.
7. 제 1 항에 있어서,

   상기 촬상 센서의 상기 화소배열에 있어서의 2이상의 같은 색의 화소의 신호가 함께 가산되고,

   상기 보정부는, 상기 함께 가산된 상기 2이상의 화소의 중심위치를, 상기 화소배열에 있어서의 상기 보정용 화소의 위치로서 사용하여, 상기 보정용 화소로부터의 상기 출력 화상 신호를 보정하는, 신호처리장치.
8. 제 1 항에 있어서,

   상기 기억부에 기억된 상기 특성정보는, 상기 화소배열에 있어서의 화소위치에 따른 각 화소로부터 인접 화소에의 신호 성분 혼입 특성에 관한 특성을 나타낸 정보를 포함하는, 신호처리장치.
9. 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열과, 상기 화소배열로부터 신호를 판독하는 판독부를 갖는 촬상 센서와,

   상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보를 기억하는 기억부와,

   상기 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 판독부에 의해 상기 보정용 화소의 인접 화소로부터 판독된 출력 화상신호와 상기 산출된 보정계수에 의거하여 상기 판독부에 의해 상기 보정용 화소로부터 판독된 출력 화상 신호를 보정하는 보정부를 구비한, 촬상장치.
10. 피사체를 촬상하여서 화상 데이터를 생성하는 촬상장치와,

    상기 촬상장치로부터 상기 화상 데이터를 수신하고, 수신한 상기 화상 데이터를 처리하는 처리장치를 구비한 촬상 시스템으로서,

    상기 촬상장치는,

    복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 화소배열과, 상기 화소배열로부터 신호를 판독하는 판독부를 갖는 촬상 센서;

    상기 촬상 센서의 상기 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보를 기억하는 기억부; 및

    상기 판독부에 의해 판독된 화상신호에 대하여 상기 특성정보를 첨부하여서 상기 화상 데이터를 생성하는 생성부를 포함하고,

    상기 처리장치는, 상기 화상 데이터에 포함된 상기 특성정보로부터 상기 보정용 화소의 위치에 따른 보정계수를 산출하고, 상기 화상 데이터에 있어서의 상기 보정용 화소의 인접 화소의 출력 화상신호와 이 산출된 보정계수에 의거하여 상기 화상 데이터에 있어서의 상기 보정용 화소의 출력 화상 신호를 보정하는 보정부를 포함하는, 촬상 시스템.
11. 복수의 화소가 행에 따른 방향 및 열에 따른 방향으로 배열된 촬상 센서로부터 출력되는 화상신호의 신호처리방법으로서,

    미리 기억된 상기 촬상 센서의 화소배열에 있어서의 화소위치에 따른 각 화소에의 인접 화소로부터의 신호 성분 혼입 특성을 나타낸 특성정보로부터 상기 화소배열에 있어서의 보정용 화소의 위치에 따른 보정계수를 산출하는 제1의 단계와,

    상기 보정용 화소의 인접 화소의 출력 화상 신호와 상기 산출된 보정계수에 의거하여 상기 보정용 화소의 출력 화상신호를 보정하는 제2의 단계를 포함한, 신호처리방법.

Images