KR101081000B1 - 화상 처리 장치 및 화상 처리 방법과 기록 매체 - Google Patents

화상 처리 장치 및 화상 처리 방법과 기록 매체 Download PDF

Info

Publication number
KR101081000B1
KR101081000B1 KR1020040084721A KR20040084721A KR101081000B1 KR 101081000 B1 KR101081000 B1 KR 101081000B1 KR 1020040084721 A KR1020040084721 A KR 1020040084721A KR 20040084721 A KR20040084721 A KR 20040084721A KR 101081000 B1 KR101081000 B1 KR 101081000B1
Authority
KR
South Korea
Prior art keywords
color
pixel
intensity
interest
value
Prior art date
Application number
KR1020040084721A
Other languages
English (en)
Other versions
KR20050039637A (ko
Inventor
미츠나가토모오
노무라요시쿠니
Original Assignee
소니 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시키가이샤 filed Critical 소니 가부시키가이샤
Publication of KR20050039637A publication Critical patent/KR20050039637A/ko
Application granted granted Critical
Publication of KR101081000B1 publication Critical patent/KR101081000B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

재그니스{jagginess}나 노이즈의 발생을 억제한다.
G 강도 추정부(291)는 국소 영역의 화소를 이용하여 주목 화소 위치의 G 강도의 추정값을 산출한다. E 강도 추정부(292)는 국소 영역의 화소를 이용하여 주목 화소 위치의 E 강도의 추정값을 산출한다. 가산 처리부(293)는 산출된 G 강도 추정값과 E 강도 추정값을 가산하여, 주목 화소 위치의 (G+E)강도 추정값을 산출한다. G와 E가 1 화소 걸러서의 간격으로밖에 신호가 존재하지 않는 원색 4색 배열의 컬러필터에 의한 모자이크 화상에 있어서의 G 또는 E 만의 보간 처리에서는, 고주파 화상 신호를 재현할 수 없지만, 서로 수평 및 수직으로 1 화소 어긋난 위치에 배치되어 있는 G와 E의 신호를 가산한 바와 같은 신호를 모든 화소 위치에 재현하는 것에 의해, 각각의 한계보다도 높은 고역의 화상 신호를 재현하는 것이 가능하게 되고, 출력 화상에서 재그니스나 노이즈의 발생을 억제할 수가 있다. 본 발명은 디지털카메라에 적용할 수가 있다.

Description

화상 처리 장치 및 화상 처리 방법과 기록 매체 {IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
도 1은, 베이어 배열에 대해서 설명하기 위한 도면.
도 2는, 본 발명을 적용한 디지털 스틸 카메라의 구성을 도시하는 블록도.
도 3은, 도 2의 CCD 이미지 센서에 이용되고 있는 컬러필터에 대해서 설명하기 위한 도면.
도 4는, 도 3의 컬러필터의 분광 특성의 예를 도시하는 도면.
도 5는, 도 2의 DSP 블록의 구성을 도시하는 블록도.
도 6은, 도 5의 디모자이크 처리부의 구성을 도시하는 블록도.
도 7은, 도 6의 G+E 강도 추정 처리부의 구성을 도시하는 블록도.
도 8은, 도 7의 G 강도 추정부 및 E 강도 추정부의 구성을 도시하는 블록도.
도 9는, 도 8의 스위치의 처리에 대해서 설명하기 위한 도면.
도 10은, 도 8의 제 1 내지 제 4 강도 추정부의 구성을 도시하는 블록도.
도 11은, 도 10의 조 보간{粗補間; rough interpolation} 처리부가 선택하는 제 1 색 및 제 2 색에 대해서 설명하기 위한 도면.
도 12는, 도 10의 조 보간 처리부가 선택하는 제 1 색 및 제 2 색에 대해서 설명하기 위한 도면.
도 13은, 도 10의 조 보간 처리부가 선택하는 제 1 색 및 제 2 색에 대해서 설명하기 위한 도면.
도 14는, 도 10의 조 보간 처리부가 선택하는 제 1 색 및 제 2 색에 대해서 설명하기 위한 도면.
도 15는, 도 10의 통계량 산출부의 구성을 도시하는 블록도.
도 16은, 도 10의 회귀 연산 처리부의 구성을 도시하는 블록도.
도 17은, 도 6의 RGBE 강도 추정부의 구성을 도시하는 블록도.
도 18은, 도 17의 신뢰도 산출부의 구성을 도시하는 블록도.
도 19는, 신뢰도 산출부에 있어서의 화소 강도의 추출 위치에 대해서 설명하기 위한 도면.
도 20은, 신뢰도 산출부에 있어서 고주파 성분을 추출하기 위한 화소 강도의 조(組)에 대해서 설명하기 위한 도면.
도 21은, 도 17의 조 보간 처리부의 처리에 대해서 설명하기 위한 도면.
도 22는, 도 17의 회귀 연산 처리부의 구성을 도시하는 블록도.
도 23은, 도 5의 DSP 블록이 실행하는 화상 처리에 대해서 설명하기 위한 플로우차트.
도 24는, 디모자이크 처리 1에 대해서 설명하기 위한 플로우차트.
도 25는, G+E 강도 추정 처리에 대해서 설명하기 위한 플로우차트.
도 26은, 주목 화소 위치의 G(E) 강도 추정값 산출 처리에 대해서 설명하기 위한 플로우차트.
도 27은, 조 보간 처리 1에 대해서 설명하기 위한 플로우차트.
도 28은, 2색 분포 형상의 통계량 산출 처리에 대해서 설명하기 위한 플로우차트.
도 29는, 평균값 계산 처리 1에 대해서 설명하기 위한 플로우차트.
도 30은, 평균값 계산 처리 2에 대해서 설명하기 위한 플로우차트.
도 31은, 가중값에 대해서 설명하기 위한 도면.
도 32는, 가중값에 대해서 설명하기 위한 도면.
도 33은, 가중값에 대해서 설명하기 위한 도면.
도 34는, 가중값에 대해서 설명하기 위한 도면.
도 35는, 분산 계산 처리 1에 대해서 설명하기 위한 플로우차트.
도 36은, 분산 계산 처리 2에 대해서 설명하기 위한 플로우차트.
도 37은, 공분산{共分散; covariance} 계산 처리에 대해서 설명하기 위한 플로우차트.
도 38은, 곱셈{積算; multiplication} 처리 1에 대해서 설명하기 위한 플로우차트.
도 39는, 곱셈 처리 2에 대해서 설명하기 위한 플로우차트.
도 40은, 곱셈 근사 처리 1에 대해서 설명하기 위한 플로우차트.
도 41은, 곱셈 근사 처리 2에 대해서 설명하기 위한 플로우차트.
도 42는, 보간 화소 추정 처리 1에 대해서 설명하기 위한 플로우차트.
도 43은, 텍스처 방향 판정 처리에 대해서 설명하기 위한 플로우차트.
도 44는, 제 2 처리 블록의 처리에 대해서 설명하기 위한 플로우차트.
도 45는, 제 3 처리 블록의 처리에 대해서 설명하기 위한 플로우차트.
도 46은, G+E 강도 추정 처리부의 다른 구성을 도시하는 블록도.
도 47은, 도 46의 스위치의 처리에 대해서 설명하기 위한 도면.
도 48은, G+E 강도 추정 처리부의 다른 구성을 도시하는 블록도.
도 49는, 조 보간 처리 2에 대해서 설명하기 위한 플로우차트.
도 50은, 색 강도 추정 처리 1에 대해서 설명하기 위한 플로우차트.
도 51은, 신뢰도값 산출 처리에 대해서 설명하기 위한 플로우차트.
도 52는, 보간 화소 추정 처리 2에 대해서 설명하기 위한 플로우차트.
도 53은, 도 2의 CCD 이미지 센서에 이용되고 있는 컬러필터의 다른 예에 대해서 설명하기 위한 도면.
도 54는, 도 5의 디모자이크 처리부의 다른 구성예를 도시하는 블록도.
도 55는, 도 54의 디모자이크 처리부를 이용한 경우에 도 2의 CCD 이미지 센서에 이용되는 컬러필터의 예에 대해서 설명하기 위한 도면.
도 56은, 도 54의 휘도 추정 처리부의 구성을 도시하는 블록도.
도 57은, 도 56의 제 1 및 제 2 강도 추정부의 구성을 도시하는 블록도.
도 58은, 도 57의 조 보간 처리부가 선택하는 제 1 색 및 제 2 색에 대해서 설명하기 위한 도면.
도 59는, 도 57의 조 보간 처리부가 선택하는 제 1 색 및 제 2 색에 대해서 설명하기 위한 도면.
도 60은, 가중값에 대해서 설명하기 위한 도면.
도 61은, 도 54의 RGBE 강도 추정부의 구성을 도시하는 블록도.
도 62는, 디모자이크 처리 2에 대해서 설명하기 위한 플로우차트.
도 63은, 휘도 추정 처리에 대해서 설명하기 위한 플로우차트.
도 64는, 조 보간 처리 3에 대해서 설명하기 위한 플로우차트.
도 65는, 조 보간 처리 4에 대해서 설명하기 위한 플로우차트.
도 66은, 색 강도 추정 처리 2에 대해서 설명하기 위한 플로우차트.
도 67은, 조 보간 처리 5에 대해서 설명하기 위한 플로우차트.
도 68은, 도 54의 디모자이크 처리부를 이용한 경우에 도 2의 CCD 이미지 센서에 이용되는 컬러필터의 다른 예에 대해서 설명하기 위한 도면.
도 69는, 퍼스널컴퓨터의 구성을 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
201 : 디지털 스틸 카메라 216 : DSP 블록
242 : 신호 처리용 프로세서 253 : 디모자이크 처리부
281 : 국소 영역 추출부 282 : G+E 강도 추정 처리부
283 : RGBE 강도 추정부 291 : G 강도 추정부
292 : E 강도 추정부 293 : 가산 처리부
301 : 주목 화소 선택부 305 : 텍스처 방향 판정부
306 : 스위치 311 : 제 1 강도 추정부
321 : 제 2 강도 추정부 322 : 제 3 강도 추정부
323 : 제 4 강도 추정부 324 : 스위치
341 : 조 보간 처리부 342 : 통계량 산출부
343 : 회귀 연산 처리부 361 : 평균값 산출부
362 : 분산값 산출부 363 : 평균값 산출부
364 : 공분산 산출부 381 : 기울기 산출부
382 : 화소 강도 추정부 471 : 신뢰도 산출부
472 : 조 보간 처리부 473 : 회귀 연산 처리부
481 : 고주파 추출부 482 : 가산 처리부
483 : 클립 처리부 501,502 : 기울기 산출부
503 : 기울기 합성부 504 : 화소 강도 추정부
551 : G+E 강도 추정 처리부 562 : 스위치
571 : G+E 강도 추정 처리부 581 : 스위치
601 : 디모자이크 처리부 611 : 휘도 추정 처리부
612 : RGBE 강도 추정부 621 : 제 1 강도 추정부
622 : 제 2 강도 추정부 623 : 스위치
624 : 스위치 631 : 조 보간 처리부
641 : 조 보간 처리부
본 발명은 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것으로, 특히 컬러 고체 촬상 소자를 이용하여 얻어진 모자이크 화상 신호로부터, 전(全) 화 소에 복수색을 보간(補間)하여 컬러 화상 신호를 획득하는 디모자이크 처리(색 보간 처리 또는 동시화 처리)가 실행되는 경우에 이용하여 적합한, 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.
CCD 이미지 센서나 CMOS 이미지 센서 등의 고체 촬상 소자는, 통상, 수광(受光) 소자가 격자 형상으로 배치되고, 각 수광 소자의 광전 변환에 의해 생긴 전하량을 순차 판독출력할 수가 있는 구조를 가지고 있다. 통상, 이들 수광 소자는 단일의 분광 특성을 가지고 있기 때문에, 고체 촬상 소자로부터 얻어지는 화상 신호는 색에 관하여 1채널(단색)이다. 따라서, 하나의 고체 촬상 소자에서 컬러 화상(예를 들면 RGB 등의 3채널 화상)을 얻고 싶은 경우, 수광 소자마다 분광 특성(색)이 다른 필터를 장착한 고체 촬상 소자를 이용하도록 되어 있다. 이와 같은 하나의 컬러 고체 촬상 소자를 이용한 촬상 장치는, 일반적으로 단판(單板) 컬러 촬상 장치라 불리운다.
컬러 고체 촬상 소자로부터 얻어지는 화상 신호는 1채널 화상이기 때문에, 1화소마다 얻어지는 것은, 대응하는 수광 소자의 필터의 색의 강도뿐이다. 즉, 컬러 고체 촬상 소자로부터 얻어지는 화상 신호는, 색에 관하여 모자이크 형상의 화상으로 된다. 단판 컬러 촬상 장치의 컬러 고체 촬상 소자의 출력 화상인 모자이크 화상으로부터 다채널 화상을 얻기 위해서는, 적당한 화상 처리에 의해 모자이크 화상의 각 화소의 색 정보를, 그 주위의 화소 위치에 보간하는 것이 필요하다. 이와 같은 화상 처리는, 일반적으로 색 보간 처리, 디모자이크 처리 또는 동시화 처리 등 으로 불리운다. 이와 같이, 디모자이크 처리는, 컬러 고체 촬상 소자를 사용한 단 판 컬러 촬상 장치에는 필수의 처리이며, 종래부터 다양한 기술이 개발되어 왔다.
이러한 디모자이크 처리에 있어서 문제가 되는 것이 고주파 화상 신호의 재현 특성이다. 고체 촬상 소자에 있어서는, 2차원 격자 형상으로 배치된 수광 소자에 각각 다른 온 칩(on-chip) 컬러필터가 부착{貼; stick}되어 있기 때문에, 동일한 색, 즉 동일한 분광 감도를 가지는 화소는, 본래의 수광 소자의 배열 피치보다도 큰 피치로밖에 배열되어 있지 않다. 그 때문에, 컬러 고체 촬상 소자는 온 칩 컬러필터가 없는 흑백의 고체 촬상 소자와 비교하면, 촬상한 화상에 에일리어싱{aliasing}이 발생하기 쉽다. 화상의 휘도 성분에 에일리어싱이 발생한 경우, 그것은 종종 피사체 윤곽부에 있어서의 재그니스{jagginess}로서 관찰된다. 디모자이크 처리에 있어서는, 재그니스를 어떻게 억제하는가가 중요한 과제이다.
현재 가장 널리 이용되고 있는 색 배열인 원색계 베이어(Bayer) 배열을 도 1에 도시한다. 베이어 배열에서는 R, G, B의 3개의 원색계 색 필터를 이용하고, G를 체크 무늬 형상{市松狀; checkered manner}으로, R과 B를 선 순차{線順次; line-sequential}로 배치하도록 되어 있다(이후, 원색계 베이어 배열을 간단히 베이어 배열이라 칭한다). 베이어 배열에 있어서는, G는 체크 무늬 형상으로 배치되기 때문에, G신호는 수평, 수직의 전{全} 위상에서 존재하지만, R 및 B는 선 순차이기 때문에, 각각에 대응하는 신호는 수평, 수직으로 각각 1라인 걸러서밖에 존재하지 않는다.
베이어 배열에서는 RGB 중, 사람의 시{視}감도 특성에 가장 가까운 분광 특성을 가지는 G가 가장 조밀{密}하게 존재하기 때문에, 종래 이용되고 있는 기술에 의하면, 오로지 G의 화소 정보로부터 휘도 성분을 만들어 내는 방법이 주류이다. 이 방법의 경우, 재현되는 휘도 성분의 한계 주파수는 베이어 배열의 G의 샘플링 주파수로 정해지고, 수평 및 수직 방향으로는 O.5cycle/pixel, 기울기 45도 방향으로는 1/{2×sqrt(2)} cycle/pixel로 된다. 이론적으로는 수평 또는 수직으로 가장 한계가 높지만, 실제로는 수평ㆍ수직 방향으로는 1화소 걸러서만 G가 존재하기 때문에, O.5cycle/pixel의 수평 또는 수직의 파{波}를 재현하려면, 수평 또는 수직 각각의 파에 최적의 보간 필터를 적용할 필요가 있다. 이 문제에 대하여, 수평 방향 및 수직 방향 각각의 파에 최적의 보간 필터를 준비하고, 화상 위의 각 국소 영역에서의 파의 방향을 판별하고, 판별한 결과에 따라 수평 방향의 보간 필터의 결과와 수직 방향의 보간 필터의 결과를 합성한 값을 보간값으로 하는 기술이 있다(예를 들면, 특허문헌 1 및 비특허문헌 1). 이들 기술을 이용하는 것에 의해, 베이어 배열의 G의 화소 정보를 이용하여 수평 및 수직 방향으로, 이론적 한계인 O.5cycle/pixel에 가까운 고주파의 재현이 가능해진다.
특허문헌 1 : 일본 특개평7-236147
비특허문헌 1 : 무라타, 모리, 마에나카, 오카다 및 치하라, “PS-CCD에 있어서의 상관(相關) 판별색 분리 방식", 영상정보미디어 학회 잡지, Vol.55, No.1, pp.120-132. 2001
한편 컬러 고체 촬상 소자에 이용되는 온 칩 컬러필터의 분광 특성을 사람의 시각의 등색(等色) 함수에 일치시키는 것이 원리적으로 불가능한 것이므로, 예를 들면 베이어 배열의 3원색에 대하여, 1색 더 추가한 4색의 강도를 얻도록 한 촬상 소자를 이용하고, 더욱이 이와 같은 촬상 소자에 의해 취득된 4색의 강도값에 리니 어 매트릭스를 적용하는 것에 의해 3원색의 강도값을 얻어, 촬상 장치의 색 재현을 향상시키는 방법이 있다. 예를 들면 4색의 강도를 얻기 위해서 종래의 3원색에 황색의 온 칩 필터를 추가한 4색 배열을 가지는 컬러 고체 촬상 소자를 이용하여, 색 재현성을 향상시킬 수 있는 기술이 있다(예를 들면 특허문헌 2).
특허문헌 2 : 일본 특개2002-271804
그러나, 4색 배열의 컬러필터를 이용한 종래 기술에 있어서는, 어떠한 디모자이크 처리를 실행하는 것에 의해 4색 배열로부터 각 화소로 동시화된 4색 강도를 얻을 수 있는지에 대해서는 구체적으로 나타나 있지 않았다.
보색계(시안, 마젠타, 옐로우, 그린)의 4색 배열은, 종래부터 비디오카메라 등의 촬상 소자에 이용되고 있지만, 이것과 마찬가지로 원색계 4색의 색 배열을 가지는 컬러필터도 실용화되어 있다. 종래의 원색계 4색의 색 배열에서는, 베이어 배열과 같이 전 화소의 절반을 G에 할당할 수가 없기 때문에, 체크 무늬 형상의 G배열을 이용하여 휘도 성분의 고주파를 재현하는 종래 기술은 이용할 수 없게 된다. 그 때문에, 종래의 원색계 4색 배열을 이용하면, 색 재현은 향상되지만 휘도의 고주파 성분이 재현되지 않고 재그니스가 현저하게 나타나거나, 또는 평활화된 것과 같은 정채(精彩)가 없는 화상으로 되어 버리는 문제가 있었다.
본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 원색계의 4색 이상의 색으로 구성되어 있는 배열을 이용하는 단판 컬러 촬상 장치에 있어서, 휘도의 고역(高域) 성분의 재현을 향상시켜 재그니스를 저감시킴과 동시에, 해상도감(感) 의 향상을 가능하게 하는 것이다.
본 발명의 화상 처리 장치는, 분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 화상 취득 수단과, 화상 취득 수단에 의해 취득된 모자이크 화상으로부터, 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 수단을 구비하고, 화상 취득 수단의 화상 센서의 색 필터 배열은, 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성(예를 들면 비시감도{比視感度; relative luminosity} 곡선}에 강한 상관을 가지는 분광 특성을 가지는 것으로서, 화상 처리 수단은 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 것을 특징으로 한다.
화상 취득 수단의 화상 센서의 색 필터 배열은, 복수 종류의 필터 중의 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 제 1 색에 대응하는 제 1 필터가, 수평 및 수직으로 1라인 걸러서 배치되고, 제 1 색과는 다른, 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 제 2 색에 대응하는 제 2 필터가, 수평 및 수직으로 1라인 걸러서, 또한 제 1 필터와는 다른 라인에 배치되며, 화상 처리 수단은 모자이크 화상 중의 주목 화소 위치에 있어서의 제 1 색의 강도 추정값인 제 1 강도 추정값을 산출하는 제 1 산출 수단과, 주목 화소 위치에 있어서의 제 2 색의 강도 추정값인 제 2 강도 추정값을 산출하는 제 2 산출 수단과, 제 1 산출 수단에 의해 산출된 제 1 강도 추정값과, 제 2 산출 수단에 의해 산출된 제 2 강도 추정값을 합성하는 합성 수단을 구비하는 것으로 할 수가 있다.
제 1 산출 수단에는, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색(旣知色)에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 포함하고, 주목 화소가 제 1 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 1 강도 추정값을 산출시키도록 할 수가 있다.
제 3 산출 수단에는, 주목 화소 근방에 있어서의 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조(組)를 복수 생성하는 생성 수단과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심{重心} 및 기울기를 산출하는 제 4 산출 수단과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와, 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을 구비시키도록 할 수가 있다.
제 5 산출 수단에는, 회귀 연산을 이용하여 주목 화소 위치에 있어서의 목표 색에 대응하는 강도 추정값을 산출시키도록 할 수가 있다.
제 2 산출 수단에는, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 포함시키도록 할 수가 있고, 주목 화소가 제 2 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 2 강도 추정값을 산출시키도록 할 수가 있다.
제 3 산출 수단에는, 주목 화소 근방에 있어서의 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을 구비시키도록 할 수가 있다.
제 5 산출 수단에는, 회귀 연산을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출시키도록 할 수가 있다.
제 1 산출 수단에는, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶 은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 2 이상 포함시키도록 할 수가 있고, 주목 화소가 제 1 색이 아닌 경우, 제 1의 제 3 산출 수단에는 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 주목 화소 위치에 있어서의 제 2 색에 대응하는 강도값을 산출시키도록 할 수가 있고, 제 2의 제 3 산출 수단에는 제 2 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 1 강도 추정값을 산출시키도록 할 수가 있다.
제 3 산출 수단에는, 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을 구비시키도록 할 수가 있다.
제 5 산출 수단에는, 회귀 연산을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출시키도록 할 수가 있다.
제 2 산출 수단에는, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대 응하는 강도 추정값을 산출하는 제 3 산출 수단을 2 이상 포함시키도록 할 수가 있고, 주목 화소가 제 2 색이 아닌 경우, 제 1의 제 3 산출 수단에는 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 주목 화소 위치에 있어서의 제 1 색에 대응하는 강도값을 산출시키도록 할 수가 있으며, 제 2의 제 3 산출 수단에는 제 1 색을 기지색으로 하고 제 2 색을 목표색으로 하여 제 2 강도 추정값을 산출시키도록 할 수가 있다.
제 3 산출 수단에는, 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을 구비시키도록 할 수가 있다.
제 5 산출 수단에는, 회귀 연산을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출시키도록 할 수가 있다.
제 1 산출 수단에는, 제 1 강도 추정값의 제 1 추정값을 산출하는 제 1 강도 추정 수단과, 제 1 강도 추정값의 제 2 추정값을 산출하는 제 2 강도 추정 수단과, 주목 화소 근방에 있어서의 텍스처 방향을 판별하는 판별 수단과, 판별 수단에 의한 판별 결과에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과, 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택하는 선택 수단을 구비시키도록 할 수가 있고, 제 1 강도 추정 수단에는, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 포함시키도록 할 수가 있으며, 주목 화소가 제 1 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 1 강도 추정값의 제 1 추정값을 산출시키도록 할 수가 있고, 제 2 강도 추정 수단에는 2 이상의 제 3 산출 수단을 포함시키도록 할 수가 있으며, 주목 화소가 제 1 색이 아닌 경우, 제 1의 제 3 산출 수단에는 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여 주목 화소 위치에 있어서의 제 2 색에 대응하는 강도값을 산출시키도록 할 수가 있고, 제 2의 제 3 산출 수단에는 제 2 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 1 강도 추정값의 제 2 추정값을 산출시키도록 할 수가 있으며, 선택 수단에는 판별 수단에 의한 판별 결과 및 주목 화소 위치에 대하여, 제 1 색에 대응하는 필터가 수평 방향에 위치해 있느냐, 수직 방향에 위치해 있느냐에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과, 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택시키도록 할 수가 있다.
제 2 산출 수단에는, 제 2 강도 추정값의 제 1 추정값을 산출하는 제 1 강도 추정 수단과, 제 2 강도 추정값의 제 2 추정값을 산출하는 제 2 강도 추정 수단과, 주목 화소 근방에 있어서의 텍스처 방향을 판별하는 판별 수단과, 판별 수단에 의한 판별 결과에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과, 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택하는 선택 수단을 구비시키도록 할 수가 있고, 제 1 강도 추정 수단에는, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 포함시키도록 할 수가 있으며, 주목 화소가 제 2 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 2 강도 추정값의 제 1 추정값을 산출시키도록 할 수가 있고, 제 2 강도 추정 수단에는 2 이상의 제 3 산출 수단을 포함시키도록 할 수가 있으며, 주목 화소가 제 2 색이 아닌 경우, 제 1의 제 3 산출 수단에는 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여 주목 화소 위치에 있어서의 제 1 색에 대응하는 강도값을 산출시키도록 할 수가 있고, 제 2의 제 3 산출 수단에는 제 1 색을 기지색으로 하고 제 2 색을 목표색으로 하여 제 2 강도 추정값의 제 2 추정값을 산출시키도록 할 수가 있으며, 선택 수단에는 판별 수단에 의한 판별 결과 및 주목 화소 위치에 대하여, 제 2 색에 대응하는 필터가 수평 방향에 위치해 있느냐, 수직 방향에 위치해 있느냐에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과, 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택시키도록 할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색 및 제 2 색 중의 어느 것과도 다른 제 3 색의 필터가, 수평 및 수직으로 1라인 걸러서, 또한 제 1 필터와는 다른 수평 라인에 배치되고, 필터 중의 제 1 색, 제 2 색 및 제 3 색 중의 어느 것과도 다른 제 4 색의 필터가, 수평 및 수직으로 1라인 걸러서, 또한 제 2 필터와는 다른 수평 라인에 배치되는 것으로 할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색 및 제 2 색 중의 어느 것과도 다른 제 3 색 및 제 4 색의 필터가, 수평 및 수직으로 1라인 걸러서, 또한 제 1 필터와는 다른 수평 라인에 번갈아{交互; alternately} 배치되는 것으로 할 수가 있고, 필터 중의 제 1 색, 제 2 색, 제 3 색 및 제 4 색 중의 어느 것과도 다른 제 5 색 및 제 6 색의 필터가, 수평 및 수직으로 1라인 걸러서, 또한 제 2 필터와는 다른 수평 라인에 번갈아 배치되는 것으로 할 수가 있다.
제 3 색 및 제 4 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것으로 할 수가 있고, 제 5 색 및 제 6 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것으로 할 수가 있다.
제 3 색 및 제 4 색은 동일한 색인 것으로 할 수가 있다.
제 5 색 및 제 6 색은 동일한 색인 것으로 할 수가 있다.
화상 취득 수단의 화상 센서의 색 필터 배열은, 복수 종류의 필터 중의 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 제 1 색에 대응하는 제 1 필터가 체크 무늬 형상으로 배치되는 것으로 할 수가 있고, 화상 처리 수단에는 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 1 산출 수단을 포함시키도록 할 수가 있고, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 1 산출 수단에 의해 제 1 강도 추정값을 산출시키도록 할 수가 있다.
제 1 산출 수단에는, 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 2 산출 수단과, 제 2 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와, 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 포함시키도록 할 수가 있다.
제 3 산출 수단에는, 회귀 연산을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출시키도록 할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색과는 다른 제 2 색의 필터가 수평 및 수직으로 1라인 걸러서 배치되는 것으로 할 수가 있고, 필터 중의 제 1 색 및 제 2 색의 필터가 배치되어 있지 않은 필터 위치에는, 필터 중의 제 1 색 및 제 2 색 중의 어느 것과도 다른 제 3 색과 제 4 색의 필터가 기울기 방향으로 1화소 걸러서의 기울어진 격자 형상{oblique lattice}이 되도록 배치되는 것으로 할 수가 있다.
제 2 색은 제 1 색보다 장파장 측에 감도를 가지는 바와 같은 분광 특성의 필터색인 것으로 할 수가 있고, 제 3 색 및 제 2 색 중의 적어도 한 쪽은, 제 1 색보다 단파장 측에 감도를 가지는 바와 같은 분광 특성의 필터색인 것으로 할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색과는 다른 제 2 색, 제 3 색, 제 4 색, 제 5 색의 필터가, 수평 및 수직으로 3라인 걸러서, 또한 기울기 방향으로 1화소 걸러서의 기울어진 격자 형상으로 되고, 제 2 색 및 제 3 색과, 제 4 색 및 제 5 색은 서로 다른 수평 및 수직의 라인 상에 위치하도록 배치되게 할 수가 있다.
제 2 색 및 제 3 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것으로 할 수가 있고, 제 4 색 및 제 5 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것으로 할 수가 있다.
제 2 색 및 제 3 색은 동일한 색인 것으로 할 수가 있다.
제 4 색 및 제 5 색은 동일한 색인 것으로 할 수가 있다.
본 발명의 화상 처리 방법은 분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 모자이크 화상으로부터, 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 스텝을 포함하고, 취득 스텝의 처리에서는 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 바와 같은 색 배열을 가지는 모자이크 화상이 취득되며, 화상 처리 스텝은 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 산출 스텝을 포함하는 것을 특징으로 한다.
본 발명의 프로그램은 분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 모자이크 화상으로부터 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치 마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 스텝을 포함하고, 취득 스텝의 처리에서는 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 바와 같은 색 배열을 가지는 모자이크 화상이 취득되며, 화상 처리 스텝은 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 산출 스텝을 포함하는 것을 특징으로 하는 처리를 컴퓨터에 실행시킨다.
본 발명의 화상 처리 장치, 화상 처리 방법 및 프로그램에 있어서는, 분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상이 취득되고, 취득된 모자이크 화상으로부터, 모자이크 화상 중의 체크 무늬 형상으로 배치된 휘도의 분광 특성(예를 들면, 비 시감도 곡선)에 강한 상관을 가지는 필터의 색에 대응하는 강도 추정값이 산출되며, 산출된 강도 추정값을 기초로 휘도값이 산출되고, 더욱이, 휘도값에 의거한 연산에 의해 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치 마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상이 생성된다.
(실시의 형태)
이하에 본 발명의 실시의 형태를 설명하지만, 본 명세서에 기재된 발명과 발명의 실시의 형태와의 대응 관계를 예시하면 다음과 같이 된다. 이 기재는 본 명세서에 기재되어 있는 발명을 뒷받침하는 실시의 형태가, 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시의 형태 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되지 않은 실시의 형태가 있다고 하더라도, 그것은 그 실시의 형태가 그 발명에 대응하는 것이 아님을 의미하는 것은 아니다. 반대로, 실시의 형태가 발명에 대응하는 것으로서 여기에 기재되었다고 하더라도, 그것은 그 실시의 형태가 그 발명 이외의 발명에는 대응하지 않는 것임을 의미하는 것도 아니다.
더욱이, 이 기재는 본 명세서에 기재되어 있는 발명의 모든 것을 의미하는 것도 아니다. 바꾸어 말하자면, 이 기재는 본 명세서에 기재되어 있는 발명으로서, 본 출원에서는 청구되어 있지 않은 발명의 존재, 즉 장래에 분할 출원되거나 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것은 아니다.
본 발명에 의하면 화상 처리 장치를 제공할 수가 있다. 이 화상 처리 장치{예를 들면 도 2의 디지털카메라(201)}는 분광 감도가 다른 적어도 4종류의 필터(예를 들면, RGBE의 각 색에 대응하는 컬러필터)를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 화상 취득 수단{예를 들면, 도 2의 CCD 이미지 센서(213)}과 화상 취득 수단에 의해 취득된 모자이크 화상으로부터, 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 수단{예를 들면, 도 5의 디모자이크 처리부(253)}을 포함하고, 화상 취득 수단의 화상 센서의 색 필터 배열은 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 것으로서, 화상 처리 수단은 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하며, 그 휘도 정보를 이용하여 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성할 수가 있다.
화상 취득 수단의 화상 센서의 색 필터 배열은, 복수 종류의 필터 중의 휘도의 분광 특성에 강한 상관을 가지는 분광 특성(예를 들면, 비 시감도 곡선)을 가지는 제 1 색(예를 들면 G)에 대응하는 제 1 필터가 수평 및 수직으로 1라인 걸러서 배치되고, 제 1 색과는 다른, 휘도의 분광 특성에 강한 상관을 가지는 분광 특성(예를 들면 비 시 감도 곡선)을 가지는 제 2 색(예를 들면 E)에 대응하는 제 2 필터가 수평 및 수직으로 1라인 걸러서, 또한 제 1 필터와는 다른 라인에 배치되며, 화상 처리 수단은 모자이크 화상 중의 주목 화소 위치에 있어서의 제 1 색의 강도 추정값인 제 1 강도 추정값을 산출하는 제 1 산출 수단{예를 들면, 도 7의 G 강도 추정부(291)}과, 주목 화소 위치에 있어서의 제 2 색의 강도 추정값인 제 2 강도 추정값을 산출하는 제 2 산출 수단{예를 들면, 도 7의 E 강도 추정부(292)}과, 제 1 산출 수단에 의해 산출된 제 1 강도 추정값과, 제 2 산출 수단에 의해 산출된 제 2 강도 추정값을 합성하는 합성 수단{예를 들면, 도 7의 가산 처리부(293)}을 구비할 수가 있다.
제 1 산출 수단은, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단{예를 들면, 도 8의 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부(322)}을 포함할 수가 있고, 주목 화소가 제 1 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 1 강도 추정값을 산출시킬 수가 있다.
제 3 산출 수단은, 주목 화소 근방에 있어서의 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단 {예를 들면, 도 10의 조 보간{粗補間; rough interpolation} 처리부(341)}과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단{예를 들면, 도 10의 통계량 산출부(342) 및 도 16의 기울기 산출부(381)}과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와, 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단{예를 들면, 도 16의 화소 강도 추정부(382)}을 구비할 수가 있다.
제 5 산출 수단은, 회귀 연산(예를 들면, 수학식 10, 수학식 11 또는 수학식 12에 의한 연산)을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출할 수가 있다.
제 2 산출 수단은, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단{예를 들면, 제 1 강도 추정부 (311), 도 8의 제 2 강도 추정부(321), 제 3 강도 추정부(322)}을 포함하고, 주목 화소가 제 2 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 2 강도 추정값을 산출할 수가 있다.
제 3 산출 수단은, 주목 화소 근방에 있어서의 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단 {예를 들면, 도 10의 조 보간 처리부(341)}과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단{예를 들면, 도 10의 통계량 산출부(342) 및 도 16의 기울기 산출부(381)}과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와, 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단{예를 들면, 도 16의 화소 강도 추정부(382)}을 구비할 수가 있다.
제 5 산출 수단은, 회귀 연산(예를 들면, 수학식 10, 수학식 11 또는 수학식 12에 의한 연산)을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출할 수가 있다.
제 1 산출 수단은, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 2 이상 포함하고, 주목 화소가 제 1 색이 아닌 경우, 제 1의 제 3 산출 수단{예를 들면, 도 8의 제 2 강도 추정부 (321), 제 3 강도 추정부(322)}은 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 주목 화소 위치에 있어서의 제 2 색에 대응 하는 강도값을 산출하고, 제 2의 제 3 산출 수단{예를 들면, 도 8의 제 4 강도 추정부(323)}은 제 2 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 1 강도 추정값을 산출할 수가 있다.
제 3 산출 수단은, 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단{예를 들면, 도 10의 조 보간 처리부(341)}과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단{예를 들면, 도 10의 통계량 산출부(342) 및 도 16의 기울기 산출부(381)}과, 제 4 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와, 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단{예를 들면, 도 16의 화소 강도 추정부(382)}을 구비할 수가 있다.
제 5 산출 수단은, 회귀 연산(예를 들면, 수학식 10, 수학식 11 또는 수학식 12에 의한 연산)을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출할 수가 있다.
제 2 산출 수단은, 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을 2 이상 포함하고, 주목 화소가 제 2 색이 아닌 경우, 제 1의 제 3 산출 수단{예를 들면, 도 8의 제 2 강도 추정부 (321), 제 3 강도 추정부(322)}은 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 주목 화소 위치에 있어서의 제 1 색에 대응하는 강도값을 산출하고, 제 2의 제 3 산출 수단{예를 들면, 도 8의 제 4 강도 추정부(323)}은 제 1 색을 기지색으로 하고 제 2 색을 목표색으로 하여 제 2 강도 추정값을 산출할 수가 있다.
제 3 산출 수단은, 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단{예를 들면, 도 10의 조 보간 처리부(341)}과, 상기 생성 수단에 의해 생성된 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 상기 기지색과 상기 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단{예를 들면, 도 10의 통계량 산출부(342) 및 도 16의 기울기 산출부 (381)}과, 상기 제 4 산출 수단에 의해 산출된 상기 색 분포의 무게중심 및 기울기와, 상기 주목 화소 위치에 있어서의 상기 기지색에 대응하는 강도값에 의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단{예를 들면, 도 16의 화소 강도 추정부(382)}을 구비할 수가 있다.
제 5 산출 수단은, 회귀 연산(예를 들면, 수학식 10, 수학식 11 또는 수학식 12에 의한 연산)을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출할 수가 있다.
제 1 산출 수단은, 제 1 강도 추정값의 제 1 추정값을 산출하는 제 1 강도 추정 수단{예를 들면, 도 8의 제 2 처리 블록(303)에 있어서의 제 2 강도 추정부 (321) 또는 제 3 처리 블록(304)에 있어서의 제 3 강도 추정부(322)}과, 제 1 강도 추정값의 제 2 추정값을 산출하는 제 2 강도 추정 수단{예를 들면, 도 8의 제 2 처리 블록(303)에 있어서의 제 3 강도 추정부(322) 및 제 4 강도 추정부(323) 또는 제 3 처리 블록(304)에 있어서의 제 2 강도 추정부(321) 및 제 4 강도 추정부 (323)}과, 주목 화소 근방에 있어서의 텍스처 방향을 판별하는 판별 수단{예를 들면, 도 8의 텍스처 방향 판정부(305)}과, 판별 수단에 의한 판별 결과에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과, 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택하는 선택 수단{예를 들면, 도 8의 스위치(324)}을 구비할 수가 있고, 제 1 강도 추정 수단은 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단{예를 들면, 도 8의 제 2 강도 추정부(321), 제 3 강도 추정부(322)}을 포함할 수가 있으며, 주목 화소가 제 1 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 1 강도 추정값의 제 1 추정값을 산출하고, 제 2 강도 추정 수단은 2 이상의 제 3 산출 수단을 포함하며, 주목 화소가 제 1 색이 아닌 경우, 제 1의 제 3 산출 수단{예를 들면, 도 8의 제 2 강도 추정부(321), 제 3 강도 추정부(322)}은 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 주목 화소 위치에 있어서의 제 2 색에 대응하는 강도값을 산출하고, 제 2의 제 3 산출 수단{예를 들면, 도 8의 제 4 강도 추정부(323)}은 제 2 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 1 강도 추정값의 제 2 추정값을 산출하고, 선택 수단은 판별 수단에 의한 판별 결과 및 주목 화소 위치에 대하여, 제 1 색에 대응하는 필터가 수평 방향에 위치해 있느냐, 수직 방향에 위치해 있느냐에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과, 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택할 수가 있다.
제 2 산출 수단은, 제 2 강도 추정값의 제 1 추정값을 산출하는 제 1 강도 추정 수단{예를 들면, 도 8의 제 2 처리 블록(303)에 있어서의 제 2 강도 추정부 (321) 또는 제 3 처리 블록(304)에 있어서의 제 3 강도 추정부(322)}과, 제 2 강도 추정값의 제 2 추정값을 산출하는 제 2 강도 추정 수단{예를 들면, 도 8의 제 2 처리 블록(303)에 있어서의 제 3 강도 추정부(322) 및 제 4 강도 추정부(323) 또는 제 3 처리 블록(304)에 있어서의 제 2 강도 추정부(321) 및 제 4 강도 추정부 (323)}과, 주목 화소 근방에 있어서의 텍스처 방향을 판별하는 판별 수단{예를 들면, 도 8의 텍스처 방향 판정부(305)}과, 판별 수단에 의한 판별 결과에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택하는 선택 수단{예를 들면, 도 8의 스위치(324)}을 구비할 수가 있고, 제 1 강도 추정 수단은 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과, 주목 화소 근방의 화소로부터 산출되는 기지색과 추정하고 싶은 목표색 사이의 상관 관계에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단{예를 들면, 도 8의 제 2 강도 추정부(321), 제 3 강도 추정부(322)}을 포함할 수가 있으며, 주목 화소가 제 2 색이 아닌 경우, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 2 강도 추정값의 제 1 추정값을 산출하고, 제 2 강도 추정 수단은 2 이상의 상기 제 3 산출 수단을 포함하며, 주목 화소가 제 2 색이 아닌 경우, 제 1의 제 3 산출 수단{예를 들면, 도 8의 제 2 강도 추정부(321), 제 3 강도 추정부(322)}은 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여 주목 화소 위치에 있어서의 제 1 색에 대응하는 강도값을 산출하고, 제 2의 제 3 산출 수단{예를 들면, 도 8의 제 4 강도 추정부(323)}은 제 1 색을 기지색으로 하고 제 2 색을 목표색으로 하여, 제 2 강도 추정값의 제 2 추정값을 산출하고, 선택 수단은 판별 수단에 의한 판별 결과 및 주목 화소 위치에 대하여, 제 2 색에 대응하는 필터가 수평 방향에 위치해 있느냐, 수직 방향에 위치하고 있느냐에 의거하여, 제 1 강도 추정 수단에 의해 추정된 제 1 추정값과 제 2 강도 추정 수단에 의해 추정된 제 2 추정값 중, 적합한 추정값을 선택할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색 및 제 2 색 중의 어느 것과도 다른 제 3 색(예를 들면 R)의 필터가 수평 및 수직으로 1라인 걸러서, 또한 제 1 필터와는 다른 수평 라인에 배치되고, 필터 중의 제 1 색, 제 2 색 및 제 3 색 중의 어느 것과도 다른 제 4 색(예를 들면 B)의 필터가 수평 및 수직으로 1라인 걸러서, 또한 제 2 필터와는 다른 수평 라인에 배치될 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색 및 제 2 색 중의 어느 것과도 다른 제 3 색(예를 들면, 도 53의 R1) 및 제 4 색(예를 들면, 도 53의 R2)의 필터가 수평 및 수직으로 1라인 걸러서, 또한 제 1 필터와는 다른 수평 라인에 번갈아 배치되고, 필터 중의 제 1 색, 제 2 색, 제 3 색 및 제 4 색 중의 어느 것과도 다른 제 5 색(예를 들면, 도 53의 B1) 및 제 6 색 (예를 들면, 도 53의 B2)의 필터가 수평 및 수직으로 1라인 걸러서, 또한 제 2 필터와는 다른 수평 라인에 번갈아 배치될 수가 있다.
제 3 색 및 제 4 색은 서로 높은 상관을 가지는 분광 특성을 가질 수가 있고, 제 5 색 및 제 6 색은 서로 높은 상관을 가지는 분광 특성을 가질 수가 있다.
제 3 색 및 제 4 색은 동일한 색이도록 할 수가 있다.
제 5 색 및 제 6 색은 동일한 색이도록 할 수가 있다.
화상 취득 수단의 화상 센서의 색 필터 배열은, 복수 종류의 필터 중의 휘도의 분광 특성(예를 들면, 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 제 1 색(예를 들면 G)에 대응하는 제 1 필터가 체크 무늬 형상으로 배치되어 화상 처리 수단에는, 제 1 산출 수단{예를 들면, 도 56의 제 1 강도 추정부(621), 제 2 강도 추정부(622)}을 포함하고, 주목 화소 위치에 있어서의 필터의 색을 기지색으로 하고 제 1 색을 목표색으로 하여, 제 3 산출 수단에 의해 제 1 강도 추정값을 산출시키도록 할 수가 있다.
제 1 산출 수단에는, 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단{예를 들면, 도 57의 조 보간 처리부(631)}과, 생성 수단에 의해 생성된 기지색에 대응하는 화소의 화소 강도와 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 기지색과 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 2 산출 수단{예를 들면, 도 57의 통계량 산출부(342) 및 도 16의 기울기 산출부(381)}과, 제 2 산출 수단에 의해 산출된 색 분포의 무게중심 및 기울기와, 주목 화소 위치에 있어서의 기지색에 대응하는 강도값에 의거하여, 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단{예를 들면, 도 16의 화소 강도 추정부(382)}을 구비시키도록 할 수가 있다.
제 2 산출 수단은, 회귀 연산{예를 들면, 수학식 10, 수학식 11 또는 수학식 12에 의한 연산)을 이용하여 주목 화소 위치에 있어서의 목표색에 대응하는 강도 추정값을 산출할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색과는 다른 제 2 색(예를 들면 R)의 필터가 수평 및 수직으로 1라인 걸러서 배치되고, 필터 중의 제 1 색 및 제 2 색의 필터가 배치되어 있지 않은 필터 위치에는, 필터 중의 제 1 색 및 제 2 색 중의 어느 것과도 다른 제 3 색(예를 들면 B)과 제 4 색(예를 들면 E)의 필터가 기울기 방향으로 1화소 걸러서의 기울어진 격자 형상이 되도록 배치되는 것으로 할 수가 있다.
제 2 색은 제 1 색보다 장파장 측에 감도를 가지는 바와 같은 분광 특성의 필터색이고, 제 3 색 및 제 4 색 중의 적어도 한 쪽은 제 1 색보다 단파장 측에 감 도를 가지는 바와 같은 분광 특성의 필터색인 것으로 할 수가 있다.
화상 취득 수단의 화상 센서의 복수 종류의 필터의 필터 배열은, 필터 중의 제 1 색과는 다른 제 2 색(예를 들면, 도 68의 R1), 제 3 색(예를 들면, 도 68의 R2), 제 4 색(예를 들면, 도 68의 B1), 제 5 색(예를 들면, 도 68의 B2)의 필터가 각각 수평 및 수직으로 3라인 걸러서, 또한 기울기 방향으로 1화소 걸러서의 기울어진 격자 형상으로 되고, 제 2 색 및 제 3 색과, 제 4 색 및 제 5 색은 서로 다른 수평 및 수직의 라인 상에 위치하도록 배치되게 할 수가 있다.
제 2 색 및 제 3 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것으로 할 수가 있고, 제 4 색 및 제 5 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것으로 할 수가 있다.
제 2 색 및 제 3 색은 동일한 색인 것으로 할 수가 있다.
제 4 색 및 제 5 색은 동일한 색인 것으로 할 수가 있다.
또한, 본 발명에 의하면 화상 처리 방법이 제공된다. 이 화상 처리 방법은 분광 감도가 다른 적어도 4종류의 필터(예를 들면, RGBE의 각 색에 대응하는 컬러필터)를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 취득 스텝(예를 들면, 도 23의 스텝 S1의 처리)과, 취득 스텝의 처리에 의해 취득된 모자이크 화상으로부터, 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 스텝(예를 들면, 도 23의 스텝 S4의 처리)을 포함하고, 취득 스텝의 처리에서는 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성(예를 들면, 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 바와 같은 색 배열을 가지는 모자이크 화상이 취득되고, 화상 처리 스텝은 상기 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하며, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 산출 스텝(예를 들면, 도 24의 스텝 S23 또는 도 62의 스텝 S453의 처리)을 포함한다.
또한, 본 발명에 의하면 프로그램이 제공된다. 이 프로그램은, 분광 감도가 다른 적어도 4종류의 필터(예를 들면, RGBE의 각 색에 대응하는 컬러필터)를 가지고, 복수 종류의 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 취득 스텝(예를 들면, 도 23의 스텝 S1의 처리)과, 취득 스텝의 처리에 의해 취득된 모자이크 화상으로부터, 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 스텝(예를 들면, 도 23의 스텝 S4의 처리)을 포함하며, 취득 스텝의 처리에서는, 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성(예를 들면, 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가지는 바와 같은 색 배열을 가지는 모자이크 화상이 취득되고, 화상 처리 스텝은 상기 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 산출 스텝(예를 들면, 도 24의 스텝 S23 또는 도 62의 스텝 S453의 처리)을 포함하는 것을 특징으로 하는 처리를 컴퓨터에 실행시킨다.
이하, 도면을 참조하여 본 발명의 실시의 형태에 대해서 설명한다.
도 2는, 본 발명을 적용한 연산 처리를 실행하는 디지털 스틸 카메라(201)의 구성을 도시하는 블록도이다.
도 2에 도시하는 바와 같이, 디지털카메라(201)는 렌즈(211), 조리개(212), CCD(Charge Coupled Devices) 이미지센서(213), 상관 2중 샘플링(CDS: Correlated Double Sampling) 회로(214), A/D 컨버터(215), DSP(Digital Signal Processor) 블록(216), 타이밍 제너레이터(217), D/A 컨버터(218), 비디오 인코더(219), 표시부 (220), 코덱(CODEC: COmpression/DECompression) 처리부(221), 메모리(222), CPU (223) 및 조작 입력부(224)로 구성된다.
CCD 란 광 정보를 전기신호로 변환하는(광전 변환) 반도체 소자이며, CCD 이미지센서(213)는 광을 전기로 변환하는 수광 소자(화소)를 복수 개 늘어놓고, 광의 변화를 화소마다 독립해서 전기신호로 변환하는 것이다. 상관 2중 샘플링 회로 (214)는 CCD 이미지센서(213)의 출력 신호에 포함되는 노이즈 중의 주된 성분인 리셋 노이즈를 출력의 각 화소 신호 중, 영상 신호 기간을 샘플링한 신호를 기준 기간을 샘플링한 신호에서 뺄셈하는 것에 의해 제거하는 회로이다. A/D 컨버터(215)는 공급된 노이즈 제거 후의 아날로그 신호를 디지털 신호로 변환한다.
DSP 블록(216)은 신호 처리용 프로세서와 화상용 RAM을 가지는 블록이며, 신호 처리용 프로세서가 화상용 RAM에 저장{格納; store}된 화상 데이터에 대하여, 미리 프로그램 된 화상 처리, 또는 하드웨어에 의한 연산 처리로서 구성된 화상 처리를 행하는 것이다. 타이밍 제너레이터(217)는 CCD를 구동하기 위해 필요한 수평 및 수직의 각종 구동 펄스, 및 아날로그 프런트 처리에서 이용하는 펄스를, 기준 클럭에 동기하여 발생시키는 로직(논리) 회로이다. 또한, 타이밍 제너레이터(217)에 의해 발생되는 타이밍 클럭은 버스(225)를 거쳐서 코덱 처리부(221), 메모리(222) 및 CPU(223)에도 공급되고 있다.
D/A 컨버터(218)는 공급된 디지털 신호를 아날로그 신호로 변환하여 출력한다. 비디오 인코더(219)는 공급된 아날로그 신호를 표시부(220)에서 표시 가능한 형식의 비디오데이터로 인코드한다. 표시부(220)는, 예를 들면 LCD(Liquid Crystal Display) 등으로 구성되며, 비디오 인코더(219)로부터 공급된 비디오 신호를 표시한다.
코덱 처리부(221)는, 예를 들면 JPEG(Joint Picture Experts Group) 등의 디지털 화상 데이터의 압축 또는 신장 알고리즘에 의한 처리를 실행한다. 메모리 (222)는, 예를 들면 반도체 메모리, 자기 디스크, 광자기 디스크, 또는 광디스크 등에 의해 구성되며, CPU(223)의 제어에 의거하여 공급된 데이터를 기억하거나 또는 기억하고 있는 데이터를 출력한다. 또, 메모리(222)는 디지털 스틸 카메라(201)에 대해서 착탈 가능하도록 되어 있어도 좋다.
CPU(223)는 버스(225)를 거쳐서 조작 입력부(224)로부터 공급된 유저의 조작 입력을 기초로 디지털카메라(201)의 각 부를 제어한다. 조작 입력부(224)는 녹화를 지령하는 경우의 버튼을 비롯해서, 예를 들면 조그 다이얼, 키, 레버, 버튼 또는 터치 패널 등에 의해 구성되며, 유저에 의한 조작 입력을 받는다.
렌즈(211) 및 조리개(212)를 거쳐서 입력된 광은 CCD 이미지 센서(213)에 입사되고, 수광 소자에서의 광전 변환에 의해 전기신호로 변환되어, 상관 2중 샘플링 회로(214)로 공급된다. 상관 2중 샘플링 회로(214)는 CCD 이미지 센서(213)의 출력의 각 화소 신호 중, 영상 신호 기간을 샘플링한 것과, 기준 기간을 샘플링한 것을 뺄셈하는 것에 의해 노이즈를 제거하고, A/D 컨버터(215)에 공급한다. A/D 컨버터 (215)는 공급된 노이즈 제거 후의 아날로그 신호를 디지털 신호로 변환하고, DSP 블록(216)의 화상용 RAM에 일시 저장한다.
타이밍 제너레이터(217)는 촬상 중의 상태에 있어서, 일정한 프레임 레이트에 의한 화상 캡쳐{畵像讀入; image capture}를 유지하도록 CCD 이미지 센서(213), 상관 2중 샘플링 회로 (214), A/D 컨버터(215) 및 DSP 블록(216)을 제어한다.
DSP 블록(216)은 일정한 레이트로 화소의 스트림 데이터의 공급을 받아 화상용 RAM에 일시 저장하고, 신호 처리용 프로세서에 있어서, 일시 저장된 화상 데이터에 대해 후술하는 화상 처리를 실행한다. DSP 블록(216)은 화상 처리의 종료 후, CPU(223)의 제어에 의거하여, 그 화상 데이터를 표시부(220)에 표시시키는 경우에는, D/A 컨버터(218)에, 메모리(222)에 기억시키는 경우에는 코덱 처리부(221)에 화상 데이터를 공급한다.
D/A 컨버터(218)는 DSP 블록(216)으로부터 공급된 디지털의 화상 데이터를 아날로그 신호로 변환하고, 비디오 인코더(219)에 공급한다. 비디오 인코더(219)는 공급된 아날로그의 화상 신호를 비디오 신호로 변환하고, 표시부(220)에 출력하여 표시시킨다. 즉, 표시부(220)는 디지털카메라(201)에 있어서, 카메라의 파인더의 역할을 담당하고 있다. 코덱 처리부(221)는 DSP 블록(216)으로부터 공급된 화상 데이터에 대하여, 소정 방식의 부호화를 행하고, 부호화된 화상 데이터를 메모리 (222)에 공급하여 기억시킨다.
또한, 코덱 처리부(221)는 조작 입력부(224)로부터 유저의 조작 입력을 받은 CPU(223)의 제어에 의거하여, 메모리(222)에 기억되어 있는 데이터 중, 유저에 의해 지정된 데이터를 판독{讀入; read}하고, 소정의 복호 방법으로 복호하며, 복호한 신호를 DSP 블록(216)에 출력한다. 이것에 의해, 복호된 신호가 DSP 블록(216)을 거쳐서 D/A 컨버터(218)에 공급되고, 아날로그 변환된 후, 비디오 인코더(219)에 의해 인코드되어 표시부(220)에 표시된다.
그런데, 도 2의 CCD 이미지 센서(213)의 온 칩 컬러필터에는 통상 3종류 또는 4종류의 색이 이용되고 있으며, 이들 온 칩 컬러필터는 수광 소자마다 번갈아 다른 색이 되도록 모자이크 형상으로 배열되어 있다. 예를 들면, RGB(Red, Green, Blue: 적, 녹, 청)의 3색에 대해서 제 4 색(이하, E라 칭한다)을 더한 원색 4색의 배열의 예를 도 3에 도시한다.
도 3에 도시하는 배열에 있어서는, 베이어 배열 중의 녹색(G)의 광만을 투과하는 G의 필터 중의 한쪽을 E의 광만을 투과하는 필터로 하고, 적(R)의 광만을 투과하는 R의 필터가 1개, 청(B)의 광만을 투과하는 B의 필터가 1개인 합계 4개를 최소 단위로 하여 구성되어 있다. RGB 중 G는 사람의 시감도 특성에 가장 가까운 분광 특성을 가지고 있다. 도 3에 도시하는 배열의 G와 E는, 휘도의 분광 특성 (예를 들면, 비 시감도 곡선)에 강한 상관을 가지는 분광 특성을 가진다.
여기서, CCD 이미지 센서(213)의 온 칩 컬러필터의 4색 배열에 대하여 더 설명한다. CCD 이미지 센서(213)의 온 칩 컬러필터에 의해서 얻어지는 모자이크 화상의 각 화소의 강도는, 대응하는 온 칩 필터의 분광 특성과 입사광의 분광 특성의 곱에 비례한다. 도 3에 도시되는 원색계 4색 배열의 각 색의 분광 특성의 하나의 예를 도 4에 도시한다. 필터의 분광 특성은 센서 자체의 분광 특성 및 노이즈 특성, 후술하는 리니어 매트릭스의 계수, 필터에 이용하는 재질의 물리적 제약 등을 고려하면서 주의 깊게 설계할 필요가 있다. 본 발명을 적용하는 경우, 이들 필터의 분광 감도 특성에, 효과가 특별히 좌우되는 일은 없기 때문에, 상술한 색 재현성과 노이즈의 특성을 배려하여 분광 감도를 설계하도록 하면 좋다. 예를 들면, 도 4에서는, 제 4 색(E)의 분광 특성을 G보다도 단파장 측에 피크를 가지는 바와 같은 예를 도시하였지만, E는 G보다도 장파장 측에 피크를 가지는(약간 황색 쪽{yellow side}의 색으로 보인다) 바와 같은 분광 특성이어도 상관없다.
이와 같이, CCD 이미지 센서(213)의 온 칩 컬러필터에, 도 3에 도시되는 색 배열의 컬러필터가 이용되고 있는 경우, DSP 블록(216)의 화상용 RAM에 일시 저장되어 있는 화상은, 각 화소 모두 R, G, B, E 중의 어느 것인가 하나의 색 밖에 가지지 않는다. 그래서, DSP 블록(216)의 신호 처리용 프로세서는, 미리 내장된 화상 처리 프로그램 또는 하드웨어에 의해, 이 화상을 처리하고, 전 화소에 있어서 모든 색의 데이터를 가지는 화상 데이터를 생성한다.
도 5는, 도 2의 DSP 블록(216)의 더욱 상세한 구성을 도시하는 블록도이다.
DSP 블록(216)은, 상술한 바와 같이 화상용 RAM(241) 및 신호 처리용 프로세 서(242)로 구성되고, 신호 처리용 프로세서(242)는 화이트 밸런스 조정부(251), 감마 보정부(252), 디모자이크 처리부(253), 감마 역보정부(254), 매트릭스 처리부 (255), 감마 보정부(256) 및 YC 변환부(257)로 구성된다.
A/D 컨버터(215)에 의해 디지털 신호로 변환된 모자이크 화상은, 화상용 RAM (241)에 일시 보존된다. 모자이크 화상은 각 화소에 R, G, B 또는 E의 어느 것인가의 색에 대응하는 강도 신호, 즉 CCD 이미지 센서(213)에 이용되고 있는 컬러필터에 의해 정해지는 배열(예를 들면, 도 3을 이용하여 설명한 원색 4색 배열)의 주기적인 패턴의 강도 신호에 의해 구성되어 있다.
화이트 밸런스 조정부(251)는 모자이크 화상에 대하여, 무채색의 피사체 영역의 색 밸런스가 무채색이 되도록, 각 화소 강도가 가지는 색에 따라 적절한 계수를 곱하는 처리(화이트 밸런스의 조정 처리)를 실행한다. 감마 보정부(252)는 화이트 밸런스가 조정된 모자이크 화상의 각 화소 강도에 대하여, 감마 보정을 행한다. 화상의 계조의 응답 특성을 나타내기 위해 「감마(γ)」라는 수치가 사용된다. 감마 보정이란, 표시부(220)에 표시되는 화상의 밝기나 색의 채도를 올바르게 표시하기 위한 보정 처리를 말한다. 표시부(220)에 출력되는 신호는, 화소마다 특정한 전압을 가하는 것으로 화상의 밝기나 색이 재현되도록 되어 있다. 그러나, 실제로 표시되는 화상의 밝기나 색은, 표시부(220)가 가지는 특성(감마값)에 의해, 입력 전압을 배(倍)로 하더라도 브라운관의 밝기가 배로 되는 것은 아니기(비선형성을 가진다) 때문에, 감마 보정부(252)에 있어서, 표시부(220)에 표시되는 화상의 밝기나 색의 채도가 올바르게 표시되도록 보정하는 처리가 실시된다.
디모자이크 처리부(253)는 색 분포 형상을 통계적으로 산출하는 것에 의해, 감마 보정이 된 모자이크 화상의 각 화소 위치에 R, G, B, E의 모든 강도(강도 정보)를 갖추는 디모자이크 처리를 실행한다. 따라서, 디모자이크 처리부(253)로부터의 출력 신호는 R, G, B, E의 4개의 색에 대응하는 4개의 화상 신호로 된다. 감마 역보정부(254)는 후단의 매트릭스 처리부(255)에 있어서 매트릭스 처리를 실시하기 위해, 디모자이크 후의 4 채널 화상에 적용한 감마 특성의 역을 적용하고, 리니어 특성으로 고치는 처리를 행한다.
매트릭스 처리부(255)는 미리 설정된 계수에 의한 3행 4열의 리니어 매트릭스를, 공급된 각 화소[R, G, B, E]에 적용하는 것에 의해, 3원색의 강도값[Rm, Gm, Bm]으로 변환한다. 이 매트릭스 처리는, 리니어 특성의 화상 강도에 대하여 적용할 필요가 있다. 리니어 매트릭스의 계수는, 최적의 색 재현을 발휘하기 위해 중요한 설계 항목이지만, 매트릭스 처리는 디모자이크 처리 후에 적용되기 때문에, 리니어 매트릭스 계수의 구체값은 디모자이크 처리와는 관계없이 설계할 수가 있다. 매트릭스 처리부(255)의 출력은, 색보정된 Rm, Gm, Bm의 3개의 색에 대응하는 3개의 화상으로 된다.
매트릭스 처리 후, 감마 보정부(256)는 색보정된 3 채널 화상에 대하여 재차 감마 보정을 행한다. YC 변환부(257)는 R, G, B의 3 채널 화상에 매트릭스 처리 및 크로마 성분에 대한 대역 제한을 행하는 것으로, Y화상 및 C화상(YCbCr 화상 신호)을 생성하고, 출력한다.
DSP 블록(216)의 신호 처리용 프로세서(242)에 있어서는, 디모자이크 처리부 (253)에 의한 디모자이크 처리 전에, 감마 보정부(252)에 의해 감마 보정을 행하는 것으로 하고 있다. 이것은, 감마 보정된 비선형인 화소 강도 공간에 있어서 디모자이크 연산을 실행하는 것에 의해, 디모자이크 처리부(253)의 디모자이크 처리의 신뢰성을 보다 높일 수가 있기 때문이다.
예를 들면, 입력되는 화상이 고(高) 콘트라스트의 윤곽 영역인 경우, 그 색 분포는 매우 밝은 강도역(强度域)과 매우 어두운 강도역에 걸쳐{퍼져} 버린다. 물리적으로 물체 반사광은 물체 표면의 분산도{variation; 변화분}에 조명으로부터의 입사광 강도가 곱해진 것으로 되기 때문에, 카메라에의 입사광 강도에 비례하는 선형인 화소 강도 공간에 있어서는, 밝은 강도역에 있는 물체색의 분포는 스파스하게{sparsely}(드문드문하게) 퍼지고, 어두운 화소 강도역에 있는 물체색의 분포는 그다지 퍼지지 않고 컴팩트하게 줄어드는 경향에 있다.
디모자이크 처리부(253)에 있어서는, 색 분포 형상을 통계적으로 산출하는 것에 의해 디모자이크 처리를 실행한다. 그러나, 고 콘트라스트인 윤곽 영역에서는, 밝은 영역에서의 화소 강도의 흩어짐과 어두운 영역에서의 화소 강도의 흩어짐이 크게 달라서 통계적인 선형 회귀가 적용되기 어려워진다. 따라서, 입력된 데이터에 대하여, 디모자이크 처리부(253)에 있어서의 디모자이크 처리에 앞서서 감마 보정과 같은 비선형의 화소 강도 변환을 실시하고, 어두운 화소 강도역을 들어 올리고(밝은 화소 강도 영역으로 가까이 하고), 화소 강도의 분산을 어느 정도 억제하도록 하는 것에 의해, 디모자이크 처리부(253)에 있어서 실행되는 선형 회귀 처리의 신뢰성을 향상시킬 수가 있다.
이와 같은 목적으로 적용하는 비선형 변환은, 감마 보정과 같이 1 보다 작은 지수에 의한 거듭제곱{exponentiation} 변환이 바람직하지만, 통상 컬러 프로파일 등에서 이용되고 있는 sRGB 감마와 같이, 거듭제곱부와 선형부를 조합한 바와 같은 변환이어도, 대략 거듭제곱 함수와 동일하다고 간주할 수 있는 것이라면, 어느 비선형 변환이어도 좋다. 또한, 비선형 변환을 생략하도록 하더라도, 디모자이크 처리 후에, 감마 보정 등의 비선형 변환 처리를 행하도록 해도 좋음은 말할 필요도 없다.
또한, 디모자이크 처리 전에 적용하는 감마 보정부(252)의 감마 특성과, YC 변환 전에 적용하는 감마 보정부(256)의 감마 특성은 동일할 필요는 없다. 또한, 물론 본 발명을 적용하는데 있어서, 디모자이크 처리 전의 감마 보정이 필수라는 것은 아니다.
다음에, 도 6은 전 화소 위치에서 RGBE의 모든 색이 존재하도록, 화소 위치 마다 순차적으로, 거기에 없는 색의 강도를 보간 또는 추정해 나가는 처리인 디모자이크 처리를 실행하는, 도 5의 디모자이크 처리부(253)의 더 상세한 구성을 도시하는 블록도이다.
디모자이크 처리부(253)는 국소 영역 추출부(281), G+E 강도 추정 처리부 (282), R 강도 추정부(283-1), G 강도 추정부(283-2), B강도 추정부(283-3) 및 E 강도 추정부(283-4)로 구성된다.
국소 영역 추출부(281)는 감마 보정된 모자이크 화상으로부터, 주목 화소 위치 주위의 정해진 크기의 국소 영역의 화소를 잘라낸다. 여기에서는, 잘라내는 국소 영역을 주목 화소 위치를 중심으로 한 9×9화소의 직사각형 영역으로 한다. G+E 강도 추정 처리부(282)는 국소 영역 내에 존재하는 화소를 이용하여, 주목 화소 위치에 있어서의 G+E 강도를 산출한다. R 강도 추정부(283-1), G 강도 추정부(283-2), B강도 추정부(283-3) 및 E 강도 추정부(283-4)는, 국소 영역 내에 존재하는 화소와, G+E 강도 추정 처리부(282)가 산출한 주목 화소 위치의 G+E 강도를 이용하여, RGBE의 각각의 강도의 추정값을 연산한다. R 강도 추정부(283-1), G 강도 추정부(283-2), B강도 추정부(283-3) 및 E 강도 추정부(283-4)는 기본적으로 마찬가지 구성을 가지고 있기 때문에, 이하 R 강도 추정부(283-1), G 강도 추정부(283-2), B강도 추정부(283-3) 및 E 강도 추정부(283-4)를 개별적으로 구별할 필요가 없는 경우에, R(G, B, 또는 E) 강도 추정부(283)라고 칭하거나, 또는 R 강도 추정부(283-1), G 강도 추정부(283-2), B강도 추정부(283-3) 및 E 강도 추정부(283-4) 모두를, RGBE 강도 추정부(283)로 칭하는 것으로 한다.
도 7은, 도 6의 G+E 강도 추정 처리부(282)의 구성을 도시하는 블록도이다.
G+E 강도 추정 처리부(282)는 G 강도 추정부(291), E 강도 추정부(292) 및 가산 처리부(293)에 의해 구성된다.
G 강도 추정부(291)는 국소 영역의 화소를 이용하여 주목 화소 위치의 G 강도의 추정값을 산출한다. E 강도 추정부(292)는 국소 영역의 화소를 이용하여 주목 화소 위치의 E 강도의 추정값을 산출한다. 가산 처리부(293)는 산출된 G 강도 추정값과 E 강도 추정값을 가산(加算)하는 것에 의해, 주목 화소 위치의 (G+E)강도 추정값을 산출한다. 도 3을 이용하여 설명한 원색 4색 배열의 컬러필터에 의해 얻어지는 모자이크 화상에 있어서는, G와 E는 어느쪽이나 1 화소 걸러서의 간격으로밖에 신호가 존재하지 않기 때문에, G만 또는 E만의 보간 처리만으로는 고주파 화상 신호를 재현할 수 없어 재그니스나 지퍼{zipper} 노이즈를 발생시키기 쉽다. 그러나, 서로 수평 및 수직으로 1 화소 어긋난{displaced} 위치에 배치되어 있는 것을 이용하여, G와 E의 신호를 가산한 바와 같은 신호를 전 화소 위치에 재현하는 것에 의해, 각각의 한계보다도 높은 고역의 화상 신호를 재현하는 것이 가능하게 되어, 출력 화상에서 재그니스나 노이즈가 발생하는 것을 억제할 수가 있다.
도 8은 G 강도 추정부(291) 및 E 강도 추정부(292)의 구성을 도시하는 블록도이다. 우선, G 강도 추정부(291)와 E 강도 추정부(292)의 공통점에 대해서 설명하고, 그 후 G 강도 추정부(291)와 E 강도 추정부(292)의 차이에 대해서 설명한다.
G 강도 추정부(291) 및 E 강도 추정부(292)는 각각, 주목 화소 선택부(301), 제 1 처리 블록(302), 제 2 처리 블록(303), 제 3 처리 블록(304), 텍스처 방향 판정부(305) 및 스위치(306)로 구성되어 있다. 또한, 제 1 처리 블록(302)은 제 1 강도 추정부(311)로 구성되고, 제 2 처리 블록(303) 및 제 3 처리 블록(304)은 제 2 강도 추정부(321), 제 3 강도 추정부(322), 제 4 강도 추정부(323), 스위치(324)로 구성된다.
주목 화소 선택부(301)는 9×9화소의 국소 영역으로부터 주목 화소 위치, 즉 중심의 화소를 선택하고 그 화소 강도를 출력한다. 텍스처 방향 판정부(305)는 국소 영역에 있어서의 화상의 텍스처를 조사하고, 그것이 주로 세로 줄무늬인지 가로 줄무늬인지를 판정한 결과를 출력한다. 제 1 강도 추정부(311), 제 2 강도 추정부 (321), 제 3 강도 추정부(322), 제 4 강도 추정부(323)는 국소 영역의 화소와 주목 화소 위치에 있어서의 소정의 색의 강도 추정값에 의거하여 추정해야 할 색의 강도를 산출하는 것이다. 여기서, 추정해야 할 색이란, G 강도 추정부(291)이면 G, E 강도 추정부(292)이면 E를 가리킨다. 강도 추정부가 4종류 존재하는 것은, 주어진 주목 화소 위치의 색이 4색 중의 어느 것이라고 하는 것과, 국소 영역의 색의 배치에 따라 처리 종류가 4종류 있다고 하는 이유에 의해서이다. 스위치(324)는 텍스처 방향 판정부(305)가 출력하는 텍스처 방향의 판정 결과에 의거하여, 입력된 2개의 강도 추정값의 어느 것을 사용해야 할 것인가를 선택하여 출력한다. 스위치(306)는 본래의 모자이크 화상에 있어서 주목 화소 위치의 색이 무슨 색이냐에 의거하여, 입력된 4개의 강도 추정값의 어느 것을 사용해야 할 것인가를 선택하여 출력한다. 스위치(306)의 출력이 G 강도 추정부(291) 및 E 강도 추정부(292)의 출력으로 된다.
전술한 바와 같이, G 강도 추정부(291) 및 E 강도 추정부(292)의 동작은 주목 화소 위치의 색이 본래 무슨 색인가에 의해 변하지 않으면 안된다. 도 8에 도시되는 구성에서는, 주목 화소의 색에 의거한 4종류의 동작에 대하여, 선택된 주목 화소를 그대로 출력하거나, 또는 제 1 처리 블록(302), 제 2 처리 블록(303), 제 3 처리 블록(304)에 있어서 추정값을 산출하고, 마지막으로 스위치(306)에 의해 어느 값을 출력할 것인가가 선택되어 출력되도록 되어 있다.
4종류의 동작에 대해서 설명한다. 첫째로, 모자이크 화상의 주목 화소 위치가 보간해야 할 색 그 자체이면 특별한 추정 처리는 필요가 없고, 주목 화소 선택부(301)에 의해 선택된 모자이크 화상의 주목 화소의 강도가 그대로 출력되면 되기 때문에, 주목 화소 선택부(301)의 출력이 스위치(306)로부터 출력되도록(도면 중의 입력 a가 출력되도록) 되어 있다. 둘째로, 모자이크 화상의 주목 화소 위치가 G 혹은 E이지만 보간해야 할 색이 아닌 경우에는, 제 1 처리 블록(302)의 제 1 강도 추정부(311)에 의해 국소 영역의 G와 E의 화소 정보에 의거하여 산출된 강도 추정값이, 스위치(306)로부터 출력되도록(도면 중의 입력 b가 출력되도록) 되어 있다.
셋째로, 모자이크 화상의 주목 화소 위치가 보간 해야 할 색의 화소와 수평으로 1 화소 어긋난 상태인 경우, 즉, 보간 해야 할 색이 G이면 주목 화소 위치가 B이고, 보간해야 할 색이 E이면 주목 화소 위치가 R일 때인 경우, 제 2 처리 블록 (303)의 제 2 강도 추정부(321), 제 3 강도 추정부(322), 제 4 강도 추정부(323) 및 스위치(324)의 처리에 의해 산출된 강도 추정값이, 스위치(306)로부터 출력되도록(도면 중의 입력 c가 출력되도록) 된다. 넷째로, 모자이크 화상의 주목 화소 위치가 보간해야 할 색의 화소와 수직으로 1 화소 어긋난 상태일 때, 즉, 보간해야 할 색이 G이면 주목 화소 위치가 R이고, 보간해야 할 색이 E라면 주목 화소 위치가 B일 때인 경우, 제 3 처리 블록(304)의 제 3 강도 추정부(322), 제 2 강도 추정부 (321), 제 4 강도 추정부(323) 및 스위치(324)에 의해 산출된 강도 추정값이, 스위치(306)로부터 출력되도록(도면 중의 입력 d가 출력되도록) 된다.
여기서 제 2 처리 블록(303)의 동작에 대해서 설명한다. 제 2 강도 추정부 (321)는 주목 화소 위치의 색 강도와 국소 영역의 화소 정보를 이용하여 보간해야 할 색의 강도 추정값을 산출한다. 제 3 강도 추정부(322)는 주목 화소 위치의 색 강도와 국소 영역의 화소 정보를 이용하여 G 혹은 E 중 보간해야 할 색과는 반대 색의 강도 추정값을 산출한다. 그리고, 제 3 강도 추정부(322)에 의한 강도 추정값에 의거하여, 제 4 강도 추정부(323)가 보간해야 할 색의 강도 추정값을 산출하도록 되어 있다. 이와 같이 해서 2개의 강도 추정값이 산출되고 있지만, 그것들은 스위치(324)에 있어서, 텍스처 방향 판정부(305)가 판정한 텍스처 방향에 의거하여, 어느 것인가 한 쪽이 선택되어 출력된다.
상술한 바와 같이, 제 2 처리 블록(303)의 출력이 스위치(306)에서 선택되는 것은, 모자이크 화상의 주목 화소 위치가 보간해야 할 색의 화소와 수평으로 1 화소 어긋난 상태인 경우이다. 이 때, 화상이 가로 줄무늬와 같은 수평 방향으로 상관이 높은 텍스처를 가지고 있으면, 주목 화소 위치의 색은 보간해야 할 색과 강한 상관을 가지고 있다는 것을 기대할 수 있다. 한편, 화상이 세로 줄무늬와 같은 수직 방향으로 상관이 높은 텍스처를 가지고 있으면, 주목 화소 위치의 색은 보간해야 할 색과 강한 상관을 가지고 있다는 것을 기대할 수 없다. 그래서, 텍스처가 가로 줄무늬에 가까운 경우에는, 제 2 강도 추정부(321)에 의해 주목 화소 위치의 색으로부터 직접 보간해야 할 색의 강도를 추정하도록 하고, 반대로, 텍스처가 세로 줄무늬에 가까운 경우에는, 제 3 강도 추정부(322)에 의해 주목 화소 위치의 색으로부터 보간해야 할 색과는 다른 색(G에 대한 E 또는 E에 대한 G)의 강도를 추정하고, 그 후 제 4 강도 추정부(323)에 의해서 산출된, 보간해야 할 색의 강도 추정값이 선택되도록 되어 있다.
다음에, 제 3 처리 블록(304)의 동작에 대해서 설명한다. 제 3 강도 추정부 (322)는 주목 화소 위치의 색 강도와 국소 영역의 화소 정보를 이용하여 보간해야 할 색의 강도 추정값을 산출한다. 제 2 강도 추정부(321)는 주목 화소 위치의 색 강도와 국소 영역의 화소 정보를 이용하여 G 혹은 E 중 보간해야 할 색과는 반대 색의 강도 추정값을 산출한다. 그리고, 제 2 강도 추정부(321)에 의한 강도 추정값에 의거하여, 제 4 강도 추정부(323)가 보간해야 할 색의 강도 추정값을 산출하도록 되어 있다. 이와 같이 해서 2개의 강도 추정값이 산출되고 있지만, 그것들은 스위치(324)에 있어서 텍스처 방향 판정부(305)가 판정한 텍스처 방향에 의거하여, 어느 것인가 한 쪽이 선택되어 출력된다.
상술한 바와 같이, 제 3 처리 블록(304)의 출력이 스위치(306)에서 선택되는 것은, 모자이크 화상의 주목 화소 위치가 보간해야 할 색의 화소와 수직으로 1 화소 어긋난 상태인 경우이다. 이 때, 화상이 세로 줄무늬와 같은 수직 방향으로 상관이 높은 텍스처를 가지고 있으며, 주목 화소 위치의 색은 보간해야 할 색과 강한 상관을 가지고 있다는 것을 기대할 수 있다. 한편, 화상이 가로 줄무늬와 같은 수평 방향으로 상관이 높은 텍스처를 가지고 있으면, 주목 화소 위치의 색은 보간해야 할 색과 강한 상관을 가지고 있다는 것을 기대할 수 없다. 그래서, 텍스처가 세로 줄무늬에 가까운 경우에는, 제 3 강도 추정부(322)에 의해 주목 화소 위치의 색으로부터 직접 보간해야 할 색의 강도를 추정하도록 하고, 반대로 텍스처가 가로 줄무늬에 가까운 경우에는, 제 2 강도 추정부(321)에 의해 주목 화소 위치의 색으로부터 보간해야 할 색과는 다른 색(G에 대한 E 또는 E에 대한 G)의 강도를 추정하고, 그 후 제 4 강도 추정부(323)에 의해서 산출된, 보간해야 할 색의 강도 추정값이 선택되도록 되어 있다.
이와 같이 하는 것에 의해, 가는 줄무늬 모양{縞模樣; stripe pattern}과 같이 고주파 성분이 큰 화상 신호에 대한 재현성을 향상시킬 수가 있다.
이상, G 강도 추정부(291) 및 E 강도 추정부(292)의 동작의 공통 부분에 대해서 설명하였지만, G 강도 추정부(291)와 E 강도 추정부(292)의 차이는, 보간해야 할 색이 G 이냐 E이냐의 차이, 또한 그것에 의해 수평으로 인접하는 색 및 수직으로 인접하는 색이 R 이냐 B 이냐의 차이로서, 그것에 의해 스위치(306)의 거동이 다르다는 점 뿐이다. 도 9를 이용하여, 주목 화소의 색에 대하여, G 강도 추정부(291)와 E 강도 추정부(292)의 각각의 스위치(306)의 출력에 대해서 설명한다.
도 9에 도시하는 바와 같이, G 강도 추정부(291)의 스위치(306)는 주목 화소가 R 일 때, 제 3 처리 블록(304)에서 산출된 강도 추정값을 스위치(306)로부터 출력(도면 중의 입력 d를 출력)하고, 주목 화소가 G 일 때, 주목 화소 선택부(301)의 출력을 스위치(306)로부터 출력(도면 중의 입력 a를 출력)하고, 주목 화소가 B 일 때, 제 2 처리 블록(303)에서 산출된 강도 추정값을 스위치(306)로부터 출력(도면 중의 입력 c를 출력)하며, 주목 화소가 E 일 때, 제 1 처리 블록(302)에서 산출된 강도 추정값을 스위치(306)로부터 출력(도면 중의 입력 b를 출력)한다. 또한, 도 9에 도시하는 바와 같이, E 강도 추정부(292)의 스위치(306)는 주목 화소가 R 일 때, 제 2 처리 블록(303)에서 산출된 강도 추정값을 스위치(306)로부터 출력(도면 중의 입력 c를 출력)하고, 주목 화소가 G 일 때, 제 1 처리 블록(302)에서 산출된 강도 추정값을 스위치(306)로부터 출력(도면 중의 입력 b를 출력)하고, 주목 화소가 B 일 때, 제 3 처리 블록(304)에서 산출된 강도 추정값을 스위치(306)로부터 출 력(도면 중의 입력 d를 출력)하며, 주목 화소가 E 일 때, 주목 화소 선택부(301)의 출력을 스위치(306)로부터 출력(도면 중의 입력 a를 출력)한다.
도 10은, 도 8의 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부(322) 또는 제 4 강도 추정부(323)의 구성을 도시하는 블록도이다. 도 8의 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부(322) 및 제 4 강도 추정부(323)는 조 보간 처리부(341)에 있어서 조 보간을 실행하는 경우에 취득되는 제 2 색의 선택 방법이 다른 것 외에는, 기본적으로 마찬가지 구성을 가지는 것이다.
조 보간 처리부(341)는 소정의 화소 위치와 그 주변의 8 화소를 이용하여, 국소 영역 내의 복수의 화소 위치에 있어서 제 1 색(Cr)과 제 2 색(Ce)과의 강도의 조(組)가 만들어지도록{생성되도록}, 간단한 연산에 의해서 제 1 색과 제 2 색의 화소 강도의 추정값{이하, 러프(rough)한 추정값이라 칭한다}을 후술하는 보간 방법을 이용하여 산출한다. 본 발명에 있어서 색 분포 형상을 추정하기 위해서, 2차의 통계량, 또는 그것에 상당하는 값을 계산하는 것이 필요하고, 그 때문에, 동일 화소 위치에 있어서의 각 색의 강도가 조로 되어서 얻어져 있을 필요가 있다. 이러한 강도의 조를 생성하기 위해서, 조 보간 처리부(341)는 국소 영역 내의 복수의 화소{여기에서는, n×n화소의 국소 영역에 대해, 주목 화소를 중심{中心}으로 한 (n-2)×(n-2) 화소}에 있어서의 제 1 색과 제 2 색의 러프한 추정값을 산출한다.
통계량 산출부(342)는 조 보간 처리부(341)에 의해 산출된 국소 영역 내의 각 화소에 있어서의 제 1 색과 제 2 색의 강도의 조를 이용하여, 2색 사이의 통계 량을 산출한다. 구체적으로는 통계량 산출부(342)는 제 1 색의 평균값, 제 2 색의 평균값, 제 1 색의 분산값 및 제 1 색과 제 2 색의 공분산값을 연산하여 출력한다.
회귀 연산 처리부(343)는 주목 화소의 화소 강도와 통계량 산출부(342)가 산출한 통계량에 의거하여, 색 분포 형상의 선형 회귀 계산을 행하고, 주목 화소 위치에 있어서의 강도 추정값을 산출한다.
도 8의 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부 (322) 및 제 4 강도 추정부(323)는, 이상에서 설명한 바와 같이 2개 색의 통계적 관계에 의거하여, 제 1 색의 강도 추정값으로부터 제 2 색의 강도 추정값을 산출하는 것이다. 4종류의 강도 추정부의 차이는, 이 2개의 색을 어떠한 식으로 선택할 것인가에 대한 차이로서, 그것은 조 보간 처리부(341)가 제 1 색(Cr)과 제 2 색(Ce)으로서 2개의 색을 선택하는 방법의 차이이고, 통계량 산출부(342) 및 회귀 연산 처리부(343)의 처리는 공통이다. 제 1 강도 추정부(311), 제 2 강도 추정부 (321), 제 3 강도 추정부(322) 및 제 4 강도 추정부(323)의 각각의 조 보간 처리부 (341)의 처리에 대해, 도 11 내지 도 14를 이용하여 설명한다.
제 1 강도 추정부(311)의 조 보간 처리부(341)는 2개의 색으로서, 주목 화소 위치에 있는 색과 그것에 비스듬하게 인접하는 색을 선택한다. 도 11에 주목 화소가 E인 경우의 국소 영역을 도시한다. 주목 화소가 E인 경우, 비스듬하게 존재하는 것은 G이므로, 제 1 강도 추정부(311)의 조 보간 처리부(341)는 G와 E의 보간값의 쌍을 구한다.
제 2 강도 추정부(321)의 조 보간 처리부(341)는 2개의 색으로서 주목 화소 위치에 있는 색과 그 좌우에 인접하는 색을 선택한다. 도 12에 주목 화소가 B인 경우의 국소 영역을 도시한다. 주목 화소가 B인 경우, 좌우에 존재하는 것은 G이므로, 제 2 강도 추정부(321)의 조 보간 처리부(341)는 G와 B의 보간값의 쌍을 구한다.
제 3 강도 추정부(322)의 조 보간 처리부(341)는 2개의 색으로서 주목 화소 위치에 있는 색과 그 상하에 인접하는 색을 선택한다. 도 13에 주목 화소가 R인 경우의 국소 영역을 도시한다. 주목 화소가 R인 경우, 상하에 존재하는 것은 G이므로, 제 3 강도 추정부(322)의 조 보간 처리부(341)는 G와 R의 보간값의 쌍을 구한다.
제 4 강도 추정부(323)의 조 보간 처리부(341)는 2개의 색으로서 주목 화소 위치의 좌우에 인접하는 색과 상하에 인접하는 색 2개를 선택한다. 도 14에 주목 화소가 R인 경우의 국소 영역을 도시한다. 주목 화소가 R인 경우에는 좌우 및 상하에 존재하는 것은 E와 G이므로, 제 4 강도 추정부(323)의 조 보간 처리부(341)는 G와 E의 보간값의 쌍을 구한다.
도 15는, 도 10의 통계량 산출부(342)의 구성을 도시하는 블록도이다.
통계량 산출부(342)는 평균값 산출부(361), 평균값 산출부(363), 분산 산출부(362) 및 공분산 산출부(364)에 의해 구성되어 있다. 평균값 산출부(361)는 조 보간 처리부(341)가 산출한, 국소 영역에 있어서의 러프한 2색의 보간값 중의 제 1 색의 값의 평균값을 산출한다. 마찬가지로, 평균값 산출부(363)는 조 보간 처리부 (341)가 산출한, 국소 영역에 있어서의 러프한 2색의 보간값 중의 제 2 색의 값의 평균값을 산출한다. 분산 산출부(362)는 평균값 산출부(361)가 산출한 제 1 색의 평균값과, 국소 영역에 있어서의 제 1 색의 러프한 보간값으로부터, 제 1 색의 분산값을 산출한다. 공분산 산출부(364)는 평균값 산출부(361)가 산출한 제 1 색의 평균값과 제 1 색의 러프한 보간값 및 평균값 산출부(363)가 산출한 제 2 색의 평균값과 제 2 색의 러프한 보간값으로부터, 제 1 색과 제 2 색의 공분산값을 산출한다.
평균값 산출부(361) 및 평균값 산출부(363)는 예를 들면, 다음의 수학식 1 을 이용하여 평균값 Mc를 계산한다.
수학식 1
Figure 112004048216863-pat00001
수학식 1에 있어서, Croughi는 공급된 색 C(R, G, B 또는 E)의 러프한 강도 보간값의 i(i=1 내지 N)번째의 데이터이다. 색 C는 평균값 산출부(361)에 있어서 는 G이고, 평균값 산출부(363)에 있어서는 R이다. 또한, wi는 i번째의 데이터에 대한 가중값{重値; weight value}(가중 계수{重付係數; weighting coefficient})이다.
가중값(wi)은 i번째의 데이터의 위치로부터 주목 화소 위치에의 거리 등을 지표로 하여 미리 설정되어 있는 값이다. 가중값(wi)은 주목 화소 위치에 가까울수록 가중값이 커지도록 설정되는 편이 매우 바람직하다.
분산 산출부(362)는 예를 들면 다음의 수학식 2 로 표현되는 계산식에 의해 제 1 색 강도의 분산값 VC1C1 를 계산한다.
수학식 2
Figure 112004048216863-pat00002
이 식에 있어서, C1roughi 는 색 C1의 러프한 강도 보간값의 i번째의 데이터, MC1 은 색 C1의 평균값, wi는 i번째의 데이터에 대한 가중값이다. 가중값 wi는 평균값 산출부(361) 및 평균값 산출부(363)가 이용한 것과 동일한 것을 이용하면 좋다.
공분산 산출부(364)는 예를 들면 다음의 수학식 3 으로 표현되는 계산식에 의해서, 제 1 신호(여기에서는 G)와 제 2 신호(여기에서는 R)의 공분산값 VC1C2 를 계산한다.
이 식에 있어서, C2roughi 는 색 C2(여기에서는 R)의 러프한 강도 보간값의 i번째의 데이터, MC2 는 색 C2 의 평균값이다.
수학식 3
Figure 112004048216863-pat00003
수학식 2 를 이용하여 설명한 분산값의 계산 및 수학식 3 을 이용하여 설명한 공분산의 계산이 실행된 경우, 정의한 대로의 정확한 통계량이 얻어진다. 그러나, 수학식 2 및 수학식 3 의 계산이 실행된 경우, 곱셈이 많이 출현하기 때문에 계산 시간이 길어지고, 이 연산을 하드웨어로 실현하였을 때의 회로 규모가 증가해 버린다. 그래서, 보다 간이한 계산으로, 분산 및 공분산을 산출하도록 해도 좋다.
예를 들면, 공분산의 연산에 다음의 수학식 4 를 이용하도록 해도 좋다.
수학식 4
Figure 112004048216863-pat00004
여기서, 함수 sgn(a, b)은 2변수 a와 b의 부호의 일치를 조사하는 것이다. sgn(a, b)의 출력은{1, 0, -1} 중 어느 하나이기 때문에, sgn{a, b}의 연산은, 실제로는 곱셈을 필요로 하지 않는다. 수학식 4 의 계산은, 수학식 3 의 계산의 각 i번째의 G와 R의 편차의 곱셈을 G와 R의 절대편차의 덧셈으로 바꾼 것이다. 수학식 4를 이용하여 곱셈을 덧셈으로 치환하더라도 본 발명의 목적으로 하는 국소 영역의 색 분포 형상 추정에는 충분한 정밀도를 가지는 근사값을 산출할 수가 있다.
또한, 예를 들면 공분산의 연산에 다음의 수학식 5를 이용하도록 해도 좋다.
수학식 5
Figure 112004048216863-pat00005
여기서, 수학식 5의 계산은 수학식 3의 계산의 각 i번째의 G와 R과의 편차의 곱셈을 G와 R과의 최소값의 선택 처리로 치환한 것이다. 또, 수학식 4의 계산보다 수학식 5의 계산 쪽이, 수학식 3에 있어서의 공분산 연산에의 근사 정밀도가 좋다.
수학식 4 또는 수학식 5를 이용하여, 수학식 3에 도시되는 공분산의 연산에 대한 근사 연산이 가능한 것에 대해서 설명하였지만, 수학식 2를 이용하여 설명한 분산 연산은 2개의 입력이 동일한 경우의 공분산과 동등하기 때문에, 수학식 2를 이용하여 설명한 분산 연산도 수학식 4 또는 수학식 5를 이용하여 마찬가지로 해서 근사 연산하는 것이 가능함을 말할 필요도 없다. 구체적으로는, 분산 연산을 근사한 경우에는 수학식 4 또는 수학식 5의 어느 것인가를 이용하더라도 (C1roughi -MC1 )2이 (C1roughi -MC1 )에 근사된다.
다음에, 도 16은 회귀 연산 처리부(343)의 구성을 도시하는 블록도이다. 회귀 연산 처리부(343)는 다음의 수학식 6에 도시하는 회귀 직선을 구하는 것에 의 해, 소정의 화소 강도를 추정한다.
수학식 6
Figure 112004048216863-pat00006
회귀 연산 처리부(343)는 기울기 산출부(381) 및 화소 강도 추정부(382)로 구성되어 있다.
기울기 산출부(381)는 R의 평균값(MR)과 G의 평균값(MG)에 의거한 G-R색 분포의 기울기(Km)를 산출한다. 구체적으로는, 회귀 연산 처리부(343)는 수학식 7의 수식에 도시되는 바와 같이 2개의 평균값의 비율을 계산한다. 여기에서는, C1은 G, C2는 R이다.
수학식 7
Figure 112004048216863-pat00007
Mthreshold는 0 으로 나눗셈하는 것에 의해 값이 발산하는 것을 회피하기 위한 정수(定數)이며, 충분히 작은 정(正)의 값이 미리 설정되어 있다.
또는, 기울기 산출부(381)는 C1과 C2의 공분산값(VC1, C2)과 C1의 분산값(VC1, C1)에 의거한 C1-C2의 색 분포의 기울기(Ks)를 산출한다. 여기서, C1은 G, C2는 R이다. 구체적으로는, 기울기 산출부(381)는 수학식 8에 도시하는 바와 같이 분산, 공 분산값의 비율을 계산한다.
수학식 8
Figure 112004048216863-pat00008
Vthreshold는 0 으로 나눗셈하는 것에 의해 값이 발산하는 것을 회피하기 위한 정수이며, 충분히 작은 정의 값이 미리 설정된다. 수학식 8에 있어서의 Vthreshold를 이용하여 분모의 C1의 분산을 클립 하는 것에 의해 0 에 의한 나눗셈을 회피할 수 있가 있지만, Vthreshold를 이용한 클립핑은 더욱이 화상의 평탄 부분에 있어서의 노이즈를 저감하기 위해 활용할 수가 있다.
즉, 분모인 C1의 분산은 그 국소 영역의 휘도의 분산도를 반영한 값이며, 그 값이 작다는 것은 그 국소 영역이 평탄하다는 것과 마찬가지이다. 고체 촬상 소자의 노이즈는 화상이 평탄할수록 눈에 잘 띄기 때문에, 화상의 평탄한 부분에 한해서 노이즈 저감 처리를 하도록 하면, 전체 화상의 품질을 내리는 일 없이, 눈에 띄는 노이즈를 효과적으로 저감시킬 수가 있어서 매우 적합하다. 또한, 색 분포의 기울기(Ks)의 분모를 클립하고, 그 이상 분모가 작게 되지 않도록 하는 것에 의해 Ks의 절대값이 원래의 값보다 작은 값이 되도록 억제할 수가 있다. 기울기(Ks)의 절대값이 작게 억제되는 것에 의해 C1에 대한 C2의 변화율이 작아지고, 결과적으로 그 국소 영역에서의 C2의 진폭을 억제할 수가 있다는 효과가 생긴다.
이상과 같이, 기울기(Ks)의 분모에 대한 클립핑 처리에 의해, 화상이 평탄한지 여부의 판정과 출력 진폭 억제의 양쪽 처리를 실행한 경우와 마찬가지로, 노이즈 저감의 작용이 있다. 이와 같이, 본 발명의 색 추정 방법을 이용하면, 별도 노이즈 저감 처리를 추가하지 않아도 화상의 평탄한 부분에서 눈에 띄는 노이즈를 억제할 수가 있다.
즉, 기울기 산출부(381)는 Ks 또는 Km의 어느 것인가 한쪽을 회귀 직선의 기울기(K)로서 화소 강도 추정부(382)에 공급한다. 여기서, Ks보다도 Km 쪽이 계산이 간이한 반면, 제 1 색과 제 2 색 사이에 강한 상관을 그다지 기대할 수 없는 경우, Ks를 이용하는 편이 보다 올바른 추정값이 얻어진다. 반대로, 제 1 색과 제 2 색 사이에 강한 상관을 기대해도 좋은 경우, Km을 이용해도 충분한 추정값을 얻을 수 있다. 즉, 도 4를 이용해서 설명한 바와 같이, G와 E의 분광 특성에 강한 상관이 있는 경우에는, 얻어지는 G와 E의 화상 신호에도 강한 상관을 기대해도 좋기 때문에, G와 E를 제 1 색과 제 2 색으로서 이용하는 제 1 강도 추정부(311) 및 제 4 강도 추정부(323)에서는, 기울기(K)에 Km을 이용하여 보다 간이한 계산으로 강도 추정을 행하는 것이 가능하다. 반대로 R 혹은 B의 어느 것인가를 반드시 이용하는 제 2 강도 추정부(321) 및 제 3 강도 추정부(322)에서는, 기울기(K)에 Ks를 이용하는 편이 좋다.
도 17은 도 6의 R 강도 추정부(283-1) 내지 E 강도 추정부(283-4)의 구성을 도시하는 블록도이다. 도 17에 있어서는 신뢰도 산출부(471), 조 보간 처리부(472) 및 합성 처리부(473)를 각각 하나씩 도시하고, RGBE 강도 추정부(283)로 하여 도시 하고 있지만, R 강도 추정부(283-1) 내지 E 강도 추정부(283-4)의 각각에, 신뢰도 산출부(471), 조 보간 처리부(472) 및 합성 처리부(473)를 설치하도록 해도 좋음은 말할 필요도 없다.
신뢰도 산출부(471)는 국소 영역 추출부(281)에 의해 추출된 n×n(예를 들면 9×9) 화소의 직사각형 국소 영역의 화소와, G+E 강도 추정 처리부(282)가 산출한 주목 화소 위치의 G+E 강도를 이용하여, 주목 화소 위치에 있어서의 색 분포 형상 추정의 신뢰도를 산출한다. 본 발명을 적용한 디모자이크 처리에 있어서의 색 분포 형상 추정에서는, 추출된 국소 영역 내에 2종류의 다른 색의 영역이 있는 것을 상정하고 있다. 통상의 물체 윤곽 영역에 관해서는, 이 가정이 들어맞는 경우가 많기 때문에, 이 가정으로 충분히 정확한 윤곽의 색 재현이 가능하다. 그러나, 화상 중에는 그 가정이 들어맞지 않고, 국소 영역 내에 다른 3색이 존재하는 바와 같은 경우도 있을 수 있다. 전형적으로는, 가는 줄무늬 모양 형상의 텍스처에 있어서의 경우이며, 이러한 텍스처에 있어서 국소 영역 내에 많은 색이 포함되기 쉽다. 그래서, 신뢰도 산출부(471)는 이와 같은 가는 줄무늬 모양 형상의 텍스처를 검출하고, 그 텍스처의 강도에 의거하여 이 국소 영역에 있어서의 색 분포 형상의 추정의 정확함을 예상하는 값인 신뢰도 값을 출력한다. 신뢰도를 어떻게 산출하는지에 대해서는 후술한다.
조 보간 처리부(472)는 국소 영역 내의 복수의 화소 위치에 있어서 R, G, B, E 각 색의 강도의 조가 만들어지도록, 간단한 연산에 의해서, R, G, B, E의 화소 강도의 추정값(이하, 러프한 추정값이라 칭한다)을 후술하는 보간 방법을 이용하여 산출한다. 본 발명에 있어서는 색 분포 형상을 추정하기 위해서, 2차의 통계량 또는 그것에 상당하는 값을 계산하는 것이 필요하고, 그 때문에, 동일 화소 위치에 있어서의 각 색의 강도가 조가 되어 얻어질 필요가 있다. 이 강도의 조를 생성하기 위해서, 조 보간 처리부(472)는 국소 영역 내의 복수의 화소{여기에서는, n×n 화소의 국소 영역에 대하여, 주목 화소를 중심으로 한 (n-2) ×(n-2) 화소}에 있어서의 R, G, B, E의 러프한 추정값을 산출한다.
합성 처리부(473)는 조 보간 처리부(472)에 의해 산출된 R, G, B, E의 러프한 추정값 중, G와 E의 러프한 추정값을 합성하고, GE의 합성된 러프한 추정값을 산출한다.
통계량 산출부(342-1) 내지 통계량 산출부(342-4)는, 도 15를 이용하여 설명한 통계량 산출부(342)와 기본적으로 마찬가지의 구성을 가지고 있다. 통계량 산출부(342-1)는 합성 처리부(473)로부터 공급된 GE의 합성된 러프한 추정값과, 조 보간 처리부(472)에 의해 산출된 R의 러프한 추정값을 기초로 통계량을 산출하고, 회귀 연산 처리부(474-1)에 공급한다. 통계량 산출부(342-2)는 합성 처리부(473)로부터 공급된 GE의 합성된 러프한 추정값과, 조 보간 처리부(472)에 의해 산출된 G의 러프한 추정값을 기초로 통계량을 산출하고, 회귀 연산 처리부(474-2)에 공급한다. 통계량 산출부(342-3)는 합성 처리부(473)로부터 공급된 GE의 합성된 러프한 추정값과, 조 보간 처리부(472)에 의해 산출된 B의 러프한 추정값을 기초로 통계량을 산출하고, 회귀 연산 처리부(474-3)에 공급한다. 통계량 산출부(342-4)는 합성 처리부(473)로부터 공급된 GE의 합성된 러프한 추정값과, 조 보간 처리부(472)에 의 해 산출된 E의 러프한 추정값을 기초로 통계량을 산출하고, 회귀 연산 처리부(474-4)에 공급한다.
회귀 연산 처리부(474-1 내지 474-4)는 G+E 강도 추정 처리부(282)가 산출한 주목 화소 위치의 G+E 강도, 신뢰도 산출부(471)가 산출한 신뢰도 정보 및 통계량 산출부(342-1) 내지 통계량 산출부(342-4) 중 어느 것인가에 대응하는 것이 산출한 통계량을 기초로 회귀 연산을 행하고, 회귀 연산 처리부(474-1)는 R의 추정값을, 회귀 연산 처리부(474-2)는 G의 추정값을, 회귀 연산 처리부(474-3)는 B의 추정값을, 회귀 연산 처리부(474-4)는 E의 추정값을 각각 산출하여 출력한다.
도 18은 신뢰도 산출부(471)의 구성을 도시하는 블록도이다. 신뢰도 산출부(471)는, 구체적으로는 가는 줄무늬 모양 형상의 텍스처를 검출하기 위해서, 주목 화소 위치 주위의 (G+E) 강도에 대한 방향별의 저주파 필터를 산출하고, 주목 화소 위치의 (G+E) 강도와의 차분(差分) 연산 처리를 실행하는 것에 의해 고주파 추출을 행하고, 주목 화소 위치 주위에 있어서 「명-암-명」 또는 「암-명-암」과 같은 휘도 변화가 있는 경우, 이것을 방향별로 검출하고, 방향별 검출 결과를 통합하는 것에 의해서 신뢰도를 산출한다. 신뢰도 산출부(471)는 고주파 추출부(481-1 내지 481-6), 가산 처리부(482) 및 클립 처리부(483)로 구성된다. 6개의 고주파 추출부 (481-1 내지 481-6)는 주목 화소를 중심으로 해서 각각 다른 6개 방향의 고주파 추출을 행하고, 그 강도를 출력한다.
신뢰도 산출부(471)의 고주파 추출부(481-1 내지 481-6)에 의한 방향별 고주파 추출의 구체예에 대하여, 도 19를 이용하여 설명한다. 도 19는 국소 영역 추출 부(281)에 의해 추출된 9×9 화소의 국소 영역을 도시한 것이다. 설명을 위해, 도면 중, 화소의 행 및 열에 1 내지 9의 번호가 할당되어 있다. 도 19의 A는 주목 화소(도면 중, 5행 5열 째의 위치에 있는 화소)가 E인 경우, 도 19의 B는 주목 화소가 R인 경우를 도시한다. 또, 신뢰도의 산출에 관해서는 G 및 E의 화소 만을 이용하기 때문에, 주목 화소가 G인 경우에는 E인 경우와 마찬가지의 처리가 실행되고, 주목 화소가 B인 경우에는 R인 경우와 마찬가지의 처리가 실행된다.
우선, 화소로부터 수평 및 수직으로 정확히 화소 피치의 1/2 만큼 어긋난 (즉, 4개의 화소로 둘러싸이는) 위치로서, 주목 화소에 가까운 위치로부터 12개소의 위치(도면 중, 동그라미 표시로 도시된 부분)의 (G+E) 강도가 산출된다. 구체적으로는, 도 19에 도시한 12개소의 위치 모두에 있어서, 비스듬하게 G의 화소와 E의 화소가 인접해 있으므로, 그 2개의 화소의 강도의 평균값을 이용하여 12개소 각각의 (G+E) 강도로 한다. 여기서, 주목 화소가 G 또는 E인 경우와, 주목 화소가 R 또는 B인 경우에서는 인접하는 G의 방향이 다르지만, 어느 경우에 있어서도 각각의 위치에서 G 및 E가 존재하는 방향은, 주목 화소가 G 혹은 E이거나, 또는 R 혹은 B의 어느 것인가를 기초로 판별할 수가 있다.
이와 같이 해서, 12개소에 있어서 (G+E) 강도가 산출된 후, 그들을 이용하여 6 방향의 저주파 필터를 계산한다. 도 20을 이용하여 필터의 방향에 대해서 설명한다. 도 20에 있어서는, 국소 영역 중, 특히 주목 화소 부근의 5×5 화소만이 도시되어 있다.
12개소의 (G+E) 강도의 산출 위치는 주목 화소 위치(도 20에 있어서의 도면 중 3행 3열 째)를 중심으로 점 대칭의 배치로 되고 있고, 서로 대칭의 위치에 있는 (G+E) 강도의 쌍이 도면 중, A로 표현되는 (G+E) 강도의 조, D로 표현되는 (G+E) 강도의 조, VA로 표현되는 (G+E) 강도의 조, VD로 표현되는 (G+E) 강도의 조, HA로 표현되는 (G+E) 강도의 조, 및 HD로 표현되는 (G+E) 강도의 조의 합계 6개가 생긴다. 이들 6개의 (G+E) 강도의 쌍에 있어서, 각각 평균값을 산출하는 바와 같은 필터를 이용하면, 6방향의 저주파 필터가 산출된다. 더욱이, 그들 저주파 필터의 출력과 주목 화소 위치의 (G+E) 강도의 차분을 취하면, 방향별의 고주파 추출을 할 수 있다.
그리고, 가산 처리부(482)는 6개의 고주파 추출 결과를 적당한 밸런스로 가산한 값을 출력한다. 클립 처리부(483)는 가산 처리부(482)에 의한 가산 처리 결과에 클립핑 처리를 행하고, 클립된 고주파 추출의 가산값을 신뢰도 값으로서 출력한다.
산출되는 신뢰도 값은 가는 줄무늬 모양 형상의 텍스처의 강도가 클수록 신뢰도 값이 커지므로, 신뢰도 값이 작은 편이 통계량에 의한 색 분포 형상의 추정이 확실할 가능성이 높은 것으로 된다.
다음에, 조 보간 처리부(472)는 국소 영역 내의 복수의 위치에 있어서 R, G, B, E 각 색의 강도의 조가 만들어지도록, 복잡한 계산방법이 아닌 방법으로 R, G, B, E의 추정값(러프한 추정값)을 보간에 의해 산출한다. 도 21을 이용하여 조 보간 처리부(472)에 의한 조 보간 처리에 대해서 설명한다.
도 21은 국소 영역 추출부(281)에 의해 추출된, 9×9 화소의 국소 영역의 화 소를 도시한 것이다. 조 보간 처리부(472)는 이 9×9의 화소 영역 중, 2행 째 내지 8행 째 및 2열 째 내지 8열 째의 7×7의 화소 위치 상에, 러프한 보간을 이용하여 R, G, B, E 강도를 갖추도록 한다. 예를 들면, E에 주목하면, 도면 중 2행 2열 째의 화소에 도시되는 바와 같이, 주위의 비스듬한 4방향의 화소로부터 G의 보간값을 계산할 수가 있고, 2행 4열 째의 화소에 도시되는 바와 같이, 상하 2 화소로부터 R의 보간값을 계산할 수가 있고, 또한 2행 6열 째의 화소에 도시되는 바와 같이, 좌우 2화소로부터 B의 보간값을 계산할 수가 있다. 컬러필터의 색 배열이 베이어 배열인 경우, 이와 같은 비스듬히 있는 4화소, 상하 2화소, 좌우 2화소로부터의 보간은 어느 화소 위치에서도 가능하고, 자기 자신의 화소값을 포함하면, 각각 R, G, B, E의 어느 것인가의 보간값으로 된다. 즉, 각 화소 위치의 신호의 색(보정 전의 색)을 포함하면, 각 화소에서 반드시 R의 보간값이 1개, G의 보간값이 1개, B의 보간값이 1개, E의 보간값이 1개 얻어진다. 이와 같이 해서, 조 보간 처리부(284)는 R, G, B, E의 러프한 추정값을 각 화소 위치에서 산출할 수가 있다.
여기서, 조 보간 처리부(472)에서 얻어지는 R, G, B, E의 추정값은 동일한 위치에 있어서의 R, G, B, E의 추정값의 조가 얻어지면 좋은 것으로서, 반드시 본래의 센서의 화소 위치 상이 아니더라도 상관없다.
다음에, 도 22는 회귀 연산 처리부(474)의 구성을 도시하는 블록도이다. 도 22에 있어서는, R에 관한 회귀 연산 처리부(474){즉, 회귀 연산 처리부(474-1)}를 도시하고 있지만, G, B 및 E에 관한 동작은 R을 G, B 또는 E로 치환하면 좋을 뿐이고, 기본적으로 동일한 처리가 실행된다.
회귀 연산 처리부(474)는 기울기 산출부(501), 기울기 산출부(502), 기울기 합성부(503) 및 화소 강도 추정부(504)로 구성되어 있다.
기울기 산출부(501)는 R의 평균값(MR)과 G의 평균값(MG)에 의거한 G-R색 분포의 기울기(Km)를 산출한다. 구체적으로는, 회귀 연산 처리부(474)는 상술한 수학식 7을 이용하여 2개의 평균값의 비율을 계산한다. 여기에서는, C1은 G, C2는 R이다.
Mthreshold는 0 으로 나눗셈하는 것에 의해 값이 발산하는 것을 회피하기 위한 정수이고, 충분히 작은 정의 값이 미리 설정되어 있다.
기울기 산출부(502)는 C1과 C2의 공분산값(VC1, C2)과 C1의 분산값(VC1, C1)에 의거한 C1-C2의 색 분포의 기울기(Ks)를 산출한다. 여기서, C1은 G, C2는 R이다. 구체적으로는, 기울기 산출부(502)는 상술한 수학식 8을 이용하여, 분산, 공분산값의 비율을 계산한다.
Vthreshold는 0 으로 나눗셈하는 것에 의해 값이 발산하는 것을 회피하기 위한 정수이고, 충분히 작은 정의 값이 미리 설정된다. 수학식 8에 있어서의 Vthreshold를 이용하여 분모의 C1의 분산을 클립하는 것에 의해, 0 에 의한 나눗셈을 회피할 수가 있지만, Vthreshold를 이용한 클립핑은 더욱이, 화상의 평탄 부분에 있어서의 노이즈를 저감하기 위해서 활용할 수가 있다.
즉, 분모인 C1의 분산은 그 국소 영역의 휘도의 분산도를 반영한 값이며, 그 값이 작다는 것은 그 국소 영역이 평탄한 것과 동일한 의미이다. 고체 촬상 소자의 노이즈는 화상이 평탄할수록 눈에 잘 띄기 때문에, 화상의 평탄한 부분에 한해서 노이즈 저감 처리를 행하도록 하면, 전체의 화상의 품질을 떨어뜨리는 일 없이, 눈에 띄는 노이즈를 효과적으로 저감시킬 수가 있어서 매우 적합하다. 또한, 색 분포의 기울기(Ks)의 분모를 클립하고, 그 이상 분모가 작게 되지 않도록 하는 것에 의해, Ks의 절대값이 원래의 값보다 작은 값이 되도록 억제할 수가 있다. 기울기(Ks)의 절대값이 작게 억제되는 것에 의해, C1에 대한 C2의 변화율이 작아지고, 결과적으로 그 국소 영역에서의 C2의 진폭을 억제할 수가 있다는 효과가 생긴다.
이상과 같이, 기울기 Ks의 분모에 대한 클리핑 처리에 의해, 화상이 평탄한지 여부의 판정과 출력 진폭 억제의 양쪽 처리를 실행한 경우와 마찬가지로, 노이즈 저감의 작용이 있다. 이와 같이, 본 발명의 색 추정 방법을 이용하면, 별도 노이즈 저감 처리를 추가하지 않더라도 화상의 평탄한 부분에서 눈에 띄는 노이즈를 억제할 수가 있다.
기울기 합성부(503)는 2개의 기울기 추정값(Km), (Ks)을 신뢰도(h)에 의거하여 합성하여 기울기 추정값(K)을 산출한다. 상술한 바와 같이, 분산, 공분산에 의거한 기울기 추정값(Ks)은 가는 줄무늬 모양 형상의 텍스처가 있는 영역에서는 올바른 추정을 할 수 있다고는 할 수 없다. 그래서, 기울기 합성부(503)는 가는 줄무늬 모양 형상의 텍스처의 강도를 반영한 신뢰도(h)를 이용하여, 예를 들면 수학식 9를 이용하여 평균값에 의거한 기울기 추정값(Km)과 합성하여, 기울기 추정값(K)를 산출하도록 한다.
수학식 9
Figure 112004048216863-pat00009
그리고, 화소 강도 추정부(504)은, 얻어진 기울기 추정값(K), 2개의 평균값 (MG), (MR) 및 주목 화소 위치의 G 강도를, 다음의 수학식 10의 선형 회귀식에 적용시키는 것에 의해, 주목 화소 위치의 R 강도의 추정값을 산출한다.
수학식 10
Figure 112004048216863-pat00010
여기서, C1center 및 C2center는 각각, 주목 화소 위치의 제 1 신호에 대응하는 색(C1)(즉, G)의 강도 및 주목 화소 위치의 제 2 신호에 대응하는 색(C2)(즉, R)의 강도 추정값이다.
또한, 화소 강도 추정부(504)는, 수학식 10과는 다른 회귀식을 이용하여 강도 추정값을 산출하도록 해도 좋다. 예를 들면 수학식 11에 도시하는 바와 같이, 적당한 정수 u 를 기울기 추정값(K)에 곱셈시키고, 선형 회귀 계산을 행하도록 해도 좋다.
수학식 11
Figure 112004048216863-pat00011
수학식 11에 있어서, 제 1항은 제 2 신호에 대응하는 색(C2)(즉, R) 강도의 고주파 성분, 제 2항은 저주파 성분이라고 생각할 수가 있다. 그리고, 수학식 11에 있어서는, 그 고주파 성분을 적당한 정수 u 로 조금 증강하는 것에 의해, R에 대한 적절한 고역 보정을 실행했을 경우와 마찬가지의 효과를 얻을 수 있다. 이와 같이 하는 것에 의해, 별도 고역 보정 처리를 추가하지 않아도 고역이 보정된 화상을 얻을 수가 있다.
이상에 있어서는, 통계량 산출부(342)에 있어서 산출되는 평균값, 분산값 및 공분산값을 기초로, 회귀 연산 처리부(474)에 있어서, 회귀 직선의 기울기(K)가 산출되는 경우에 대해서 설명하였지만, 회귀 직선의 기울기는 그 이외의 방법을 이용하여 산출하도록 해도 좋다.
예를 들면, 표준 편차 및 상관계수를 이용하여 회귀 직선의 기울기를 계산하는 정의식(定義式)은 이하의 수학식 12로 표현된다.
수학식 12
Figure 112004048216863-pat00012
표준 편차(Sx), (Sy)는 데이터값이 평균의 주위에 얼마만큼의 폭으로 분포하고 있는지를 나타내는 통계량이며, 2변수의 xy방향의 변화분{變分; variation})을 나타내는 dx, dy에 가까운 값이라고 생각된다. 회귀 직선은, 이 수학식 12를 이용하여 구하도록 해도 좋다.
또한, 특히 정(正)의 기울기의 직선 상에 데이터가 분포하고, Rxy가 1이 되 는 경우, Sx, Sy는 dx, dy와 등가로 된다. 즉, 계산이 복잡한 표준편차를 이용하는 대신에, 데이터 분포폭을 나타내고, 연산이 보다 간단한 다른 통계량이 있으면 Sx, Sy를 데이터 분포폭을 나타내는 다른 통계량으로 치환할 지라도, 회귀 직선의 기울기는 가까운 거동을 나타낸다는 것을 기대할 수 있다.
그래서, 데이터 분포폭을 나타내는 다른 통계량으로서, 표준편차와 나란히{표준편차 외에} 데이터의 분포폭을 나타내기 위해 이용되는 평균편차를 대체로 이용한다. x의 평균 편차(Ax)의 정의는, 다음의 수학식 13으로 표현된다.
수학식 13
Figure 112004048216863-pat00013
마찬가지로 하여, y의 평균 편차(Ay)도 다음의 수학식 14로 표현된다.
수학식 14
Figure 112004048216863-pat00014
평균 편차(Ax), (Ay)를 이용하여 Rxy를 고쳐 쓰면, 다음의 수학식 15가 얻어진다.
수학식 15
Figure 112004048216863-pat00015
표준 편차를 이용한 연산에 평방근이나 곱셈이 필요한 것과 비교하여, 평균 편차는 적은 계산량으로 산출할 수가 있다. 그리고, 더욱이 Vxy의 산출에 이용되는 곱셈이나, Ax, Ay의 곱셈을 근사 연산하는 것으로, Rxy의 근사를 고속으로 산출할 수가 있다.
이와 같이, 통계량 산출부(342)에 있어서 산출되는 평균값, 분산값 및 공분산값을 기초로, 회귀 연산 처리부(474)에 있어서 회귀 직선의 기울기(K)를 산출하는 처리 대신에, 표준 편차 및 상관 함수를 이용하여 2계통의 데이터의 2차원 분포에 있어서의 회귀 직선의 기울기를 계산하거나, 또는 편차와 상관에 관하여 각각 근사 연산한 후, 2계통의 데이터의 2차원 분포에 있어서의 회귀 직선의 기울기를 계산하도록 해도 좋다.
다음에, 도 23의 플로우차트를 참조하여, 도 5의 DSP 블록(216)의 처리에 대해서 설명한다.
스텝 S1에 있어서, 화상용 RAM(241)은 CCD 이미지 센서(213)에 이용되고 있는 컬러필터에 의해 정해지는 배열(예를 들면, 도 3을 이용하여 설명한 4색 배열)의 주기적인 패턴의 강도 신호에 의해 구성되는 모자이크 화상을 취득하고, 일시 보존한다.
스텝 S2에 있어서, 신호 처리용 프로세서(242)의 화이트 밸런스 조정부(251)는, 모자이크 화상에 대하여, 무채색의 피사체 영역의 색 밸런스가 무채색으로 되도록, 각 화소 강도가 가지는 색에 따라 적절한 계수를 곱하는 처리인 화이트 밸런스 조정 처리를 행한다.
스텝 S3에 있어서, 감마 보정부(252)는 화이트 밸런스가 취해진 모자이크 화상의 각 화소 강도에 대하여, 표시부(220)에 표시되는 화상의 밝기나 색의 채도가 올바르게 표시되도록, 제 1 감마 보정을 행한다.
스텝 S4에 있어서, 디모자이크 처리부(253)에 의해 도 24를 이용하여 후술 하는 디모자이크 처리가 실행된다.
스텝 S5에 있어서, 감마 역보정부(254)는 디모자이크 처리부(253)로부터의 출력인 Rγ, Gγ, Bγ, Eγ의 4 채널 화상에 적용한 감마 특성의 역(逆)을 적용하여 감마 역보정 처리를 행하여, 감마 특성을 리니어 특성으로 고치는 처리를 행한다.
스텝 S6에 있어서, 매트릭스 처리부(255)는 계수가 미리 설정된 3행 4열의 리니어 매트릭스를 감마 역보정부(254)로부터 공급된 R, G, B, E의 4채널 화상에 적용하고, 3원색의 강도값[Rm, Gm, Bm]으로 변환한다. 이 매트릭스 처리는 리니어 특성의 화상 강도에 대해서 적용할 필요가 있으므로, 그 처리의 전단에 있어서 감마 역보정부(254)에 의해 감마 역보정이 행해질 필요가 있다. 리니어 매트릭스의 계수는, 최적의 색 재현을 발휘하기 위해 중요한 설계 항목이며, 매트릭스 처리는 디모자이크 처리 후에 적용되므로, 매트릭스 처리부(255)에 의해 이용되는 리니어 매트릭스 계수는 적절히 설계되는 값이어도 좋다. 매트릭스 처리부(255)의 출력은 색 보정된 Rm, Gm, Bm의 3개의 색에 대응하는 3개의 화상으로 된다.
스텝 S7에 있어서, 감마 보정부(256)는 색 보정된 3채널 화상에 대하여 제 2 감마 보정을 행한다.
YC 변환부(257)는 스텝 S8에 있어서, 감마 보정부(256)로부터 공급되는 R, G, B의 3채널 화상에, YC 매트릭스 처리 및 크로마 성분에 대한 대역 제한을 행하는 것으로 YC 변환을 행하여 Y 화상 및 C 화상을 생성하고, 스텝 S9에 있어서 생성한 Y 화상 및 C 화상을 출력하여 처리가 종료된다.
이와 같은 처리에 의해, DSP 블록(216)은 공급된 모자이크 화상 신호에 대해서 각종 처리를 행하여 Y 화상 및 C 화상을 생성하고, CPU(223)의 제어에 의거하여, 그 화상 데이터를 표시부(220)에 표시시키는 경우에는 D/A 컨버터(218)에, 메모리(222)에 기억시키는 경우에는 코덱 처리부(221)에 공급한다.
다음에, 도 24의 플로우차트를 참조하여, 도 23의 스텝 S4에 있어서 실행되는 디모자이크 처리 1 에 대해서 설명한다.
국소 영역 추출부(281)는 스텝 S21에 있어서, 미처리의 화소 중 어느 것인가를 주목 화소로 하고, 스텝 S22에 있어서 주목 화소 위치의 주변의 소정 수(n×n)의 화소를 국소 영역으로서 추출하고, G+E 강도 추정 처리부(282) 및 RGBE 강도 추정부(283)에 공급한다.
스텝 S23에 있어서, 도 25의 플로우차트를 이용하여 후술하는 G+E 강도 추정 처리가 실행된다.
스텝 S24에 있어서, 도 50의 플로우차트를 이용하여 후술하는, 색 강도 추정 처리 1 이, 도 6의 RGBE 강도 추정부(283)의 각각에 있어서 병행하여 실행된다.
스텝 S25에 있어서, 국소 영역 추출부(281)는 모든 화소에 있어서 처리가 종료되었는지 여부를 판단한다. 스텝 S25에 있어서, 모든 화소에 대해 처리가 종료되지 않았다고 판단된 경우, 처리는 스텝 S21로 되돌아오고, 그 이후의 처리가 반복된다. 스텝 S25에 있어서, 모든 화소에 있어서 처리가 종료되었다고 판단된 경우, 처리는 도 23의 스텝 S5로 진행된다.
바꾸어 말하자면, 디모자이크 처리부(253)를 구성하는 각 부는, 어떤 주목 화소 위치가 결정되었을 때에 그 주목 화소 위치에 있어서 각각의 처리를 실행하고, 모든 화소에 있어서, 스텝 S21 내지 스텝 S25의 처리가 종료된 경우, 처리가 종료된다.
이와 같은 처리에 의해, CCD 이미지 센서(213)가 가지는 컬러필터의 배열에 의거하여 얻어지는 모자이크 화상을 디모자이크(색 보간 또는 동시화)하여, 각 화소에 있어서, 컬러필터를 구성하는 각 색이 보간된 화상 데이터를 얻을 수 있다.
다음에, 도 25의 플로우차트를 참조하여 도 24의 스텝 S23에 있어서 실행되는 G+E 강도 추정 처리에 대해서 설명한다.
스텝 S41에 있어서 G 강도 추정부(291)는, 도 26을 이용하여 후술하는 주목 화소 위치의 G 강도 추정값 산출 처리를 실행한다.
스텝 S42에 있어서 E 강도 추정부(292)는, 도 26을 이용하여 후술하는 주목 화소 위치의 E 강도 추정값 산출 처리를 실행한다.
가산 처리부(293)는 스텝 S43에 있어서, 스텝 S41에서 산출된 G 강도 추정값과 스텝 S42에서 산출된 E 강도 추정값을 가산하여 G+E 강도 추정값을 산출하고, 스텝 S44에서 G+E 강도 추정값을 출력하여, 처리는 도 24의 스텝 S24로 되돌아온다.
이와 같은 처리에 의해, 체크 무늬 형상으로 배치된 G와 E로 이루어지는 새로운 강도 추정값인 G+E 강도 추정값을 산출할 수가 있으므로, 후술하는 RGBE의 각 색의 강도의 추정 연산에 이용하는 것이 가능해진다.
또, 스텝 S41의 처리와 스텝 S42의 처리는 병행하여 실행되어도 좋고, 그 처리의 순번을 반대로 해도 좋다.
다음에, 도 26의 플로우차트를 참조하여 도 25의 G+E 강도 추정 처리의 스텝 S41 및 스텝 S42에 있어서 실행되는 주목 화소 위치의 G 강도 추정값 산출 처리 및 주목 화소 위치의 E 강도 추정값 산출 처리에 대해서 설명한다.
즉, G 강도 추정부(291)가 실행하는 주목 화소 위치의 G 강도 추정값 산출 처리와, E 강도 추정부(292)가 실행하는 주목 화소 위치의 E 강도 추정값 산출 처리는, 보간해야 할 색이 G 이냐 E 이냐가 다를 뿐, 기본적으로 같은 처리가 실행된다.
또한, 도 8의 G 강도 추정부(291) 또는 E 강도 추정부(292)의 블록도의 설명에 있어서는, 주목 화소 위치가 무슨 색이냐에 의거하여 다른 4종류의 동작 모두에 대해서 추정값을 미리 산출하고, 마지막으로 스위치(306)에 의해 어느 것을 출력하는지를 선택하도록 하였다. 그러나 마찬가지의 처리를 소프트웨어로 실현하는 경우에는, 우선 주목 화소가 무슨색인지를 판별하고, 그것에 따라서 실행해야 할 동작을 선택하는 바와 같은 동작 순서 쪽이 효율이 좋다.
스텝 S61에 있어서, G 강도 추정부(291) 또는 E 강도 추정부(292)는, 주목 화소의 색이 보간해야 할 색{G 강도 추정부(291)의 처리에 있어서 G, E 강도 추정부(292)의 처리에 있어서 E)인지 여부를 판단한다.
스텝 S61에 있어서, 주목 화소의 색이 보간해야 할 색이라고 판단된 경우, 스텝 S62에 있어서 G 강도 추정부(291) 또는 E 강도 추정부(292)는, 주목 화소 위치의 화소 강도를 출력하고, 처리는 도 25의 스텝 S42 또는 스텝 S43으로 진행된다.
스텝 S61에 있어서, 주목 화소의 색이 보간해야 할 색이 아니라고 판단된 경우, 스텝 S63에 있어서 G 강도 추정부(291) 또는 E 강도 추정부(292)는, 주목 화소의 색이 보간해야 할 색이 아닌 G 또는 E의 어느 것{G 강도 추정부(291)의 처리에 있어서 E, E 강도 추정부(292)의 처리에 있어서 G} 인지 여부를 판단한다.
스텝 S63에 있어서, 주목 화소의 색이 보간해야 할 색이 아닌 G 또는 E의 어느 것이라고 판단된 경우, 스텝 S64에 있어서 G 강도 추정부(291) 또는 E 강도 추정부(292)는, 제 1 처리 블록(302)에 의해 보간해야 할 강도 추정값을 산출하여 출력하고, 처리는 도 25의 스텝 S42 또는 스텝 S43으로 진행된다.
스텝 S63에 있어서, 주목 화소의 색이 보간해야 할 색이 아니고, 또한 G 또는 E의 어느 것인가가 아니라고 판단된 경우, 스텝 S65에 있어서, G 강도 추정부 (291) 또는 E 강도 추정부(292)는, 주목 화소의 색이 보간해야 할 색의 좌우에 배치된 색{예를 들면, 도 3의 4색 배열이 컬러필터로서 이용되고 있었을 경우, G 강도 추정부(291)의 처리에 있어서는 B, E 강도 추정부(292)의 처리에 있어서는 R} 인지 여부를 판단한다.
스텝 S65에 있어서, 주목 화소의 색이 보간해야 할 색의 좌우에 배치된 색이라고 판단된 경우, 스텝 S66에 있어서 G 강도 추정부(291) 또는 E 강도 추정부 (292)는, 제 2 처리 블록(303)에 의해 보간해야 할 강도 추정값을 산출하여 출력하고, 처리는 도 25의 스텝 S42 또는 스텝 S43으로 진행된다.
스텝 S65에 있어서, 주목 화소의 색이 보간해야 할 색의 좌우에 배치된 색이 아니라고 판단된 경우, 스텝 S67에 있어서 G 강도 추정부(291) 또는 E 강도 추정부 (292)는, 제 3 처리 블록(304)에 의해 보간해야 할 강도 추정값을 산출하여 출력하고, 처리는, 도 25의 스텝 S42 또는 스텝 S43으로 진행된다.
이와 같은 처리에 의해, G 강도 추정부(291) 또는 E 강도 추정부(292)는 주목 화소 위치에 있어서의 G 또는 E의 강도를 추정할 수가 있다.
도 26의 스텝 S64, 스텝 S66 또는 스텝 S67의 처리, 즉, 제 1 처리 블록 (302) 내지 제 3 처리 블록(304)이 각각 실행하는 처리에 있어서는, 도 10을 이용하여 설명한 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부 (322) 또는 제 4 강도 추정부(323)에 있어서, 조 보간 처리부(341)에 의한 조 보간 처리 1, 통계량 산출부(342)에 의한 2색 분포 형상의 통계량 산출 처리 및 회귀 연산 처리부(343)에 의한 보간 화소 추정 처리 1 이 실행된다.
도 27 내지 도 34를 이용하여, 조 보간 처리부(341)에 의한 조 보간 처리 1, 통계량 산출부(342)에 의한 2색 분포 형상의 통계량 산출 처리 및 회귀 연산 처리부(343)에 의한 보간 화소 추정 처리 1에 대해서 설명한다.
우선, 도 27의 플로우차트를 참조하여 조 보간 처리 1 에 대해서 설명한다.
여기서, 제 1 강도 추정부(311)의 조 보간 처리부(341)는 주목 화소 위치에 있는 색을 제 1 색으로 하고, 그것에 비스듬하게 인접하는 색을 제 2 색으로서 선택하는 것으로 한다. 또한, 제 2 강도 추정부(321)의 조 보간 처리부(341)는 주목 화소 위치에 있는 색을 제 1 색으로 하고, 그 좌우에 인접하는 색을 제 2 색으로서 선택하는 것으로 한다. 제 3 강도 추정부(322)의 조 보간 처리부(341)는 주목 화소 위치에 있는 색을 제 1 색으로 하고, 그 상하에 인접하는 색을 제 2 색으로서 선택하는 것으로 한다. 제 4 강도 추정부(323)의 조 보간 처리부(341)는 주목 화소 위치의 좌우에 인접하는 색과 상하에 인접하는 색의 2개를 제 1 색 및 제 2 색으로서 선택한다.
조 보간 처리부(341)는 스텝 S71에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s)을 초기화하여 s=2로 하고, 스텝 S72에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t)을 초기화하여 t=2로 한다.
스텝 S73에 있어서 조 보간 처리부(341)는 화소(s, t)와, 그 주변 8 화소로부터, 제 1 색의 화소값을 추출하고, 그 평균값을 제 1 화소의 보간값으로서 산출한다.
스텝 S74에 있어서 조 보간 처리부(341)는 화소(s, t)와 그 주변 8 화소로부터, 제 2 색의 화소값을 추출하고, 그 평균값을 제 2 화소의 보간값으로서 산출한다.
스텝 S75에 있어서 조 보간 처리부(341)는 제 2 레지스터의 값(t)을 참조하여 t=n-1 인지 여부를 판단한다.
스텝 S75에 있어서 t=n-1 이 아니라고 판단된 경우, 스텝 S76에 있어서 조보 간 처리부(341)는 제 2 레지스터의 값(t)을 t=t+1 으로 하며, 처리는 스텝 S73으로 되돌아와서, 그 이후의 처리가 반복된다.
스텝 S75에 있어서 t=n-1 이라고 판단된 경우, 스텝 S77에 있어서 조 보간 처리부(341)는 제 1 레지스터의 값(s)을 참조하여 s=n-1 인지 여부를 판단한다.
스텝 S77에 있어서 s=n-1 이 아니라고 판단된 경우, 스텝 S78에 있어서 조 보간 처리부(341)는 제 1 레지스터의 값(s)을 s=s+1으로 하고, 처리는 스텝 S72로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S77에 있어서 s=n-1 이라고 판단된 경우, 스텝 S79에 있어서 조 보간 처리부(341)는 주목 화소 부근의 (n-2)×(n-2) 화소의 제 1 색 및 제 2 색의 보간값의 조를 출력하여 처리가 종료된다.
이러한 처리에 의해, 조 보간 처리부(341)는 주목 화소 부근의 화소로부터 제 1 색의 러프한 보간값과 제 2 색의 러프한 보간값을 산출할 수가 있다.
다음에, 도 28의 플로우차트를 참조하여 통계량 산출부(342)에 있어서 실행되는 2색 분포 형상의 통계량 산출 처리에 대해서 설명한다.
스텝 S91에 있어서, 통계량 산출부(342)의 평균값 산출부(361)는 조 보간값 처리부(341)로부터 공급된 조 보간값 중 제 1 신호를 취득한다.
스텝 S92에 있어서, 평균값 산출부(361)는 도 29 또는 도 30의 플로우차트를 이용하여 후술하는 평균값 계산 처리를 실행한다.
스텝 S93에 있어서, 평균값 산출부(363)는 조 보간값 처리부(341)로부터 공급된 조 보간값 중 제 2 신호를 취득한다.
스텝 S94에 있어서, 평균값 산출부(363)는 도 29 또는 도 30의 플로우차트를 이용하여 후술하는 평균값 계산 처리를 실행한다.
스텝 S95에 있어서, 분산 산출부(362)는 도 35 또는 도 36의 플로우차트를 이용하여 후술하는 분산 계산 처리를 실행한다.
스텝 S96에 있어서, 공분산 산출부(364)는 도 37의 플로우차트를 이용하여 후술하는 공분산 근사 계산 처리를 실행한다.
다음에, 도 29의 플로우차트를 참조하여 도 28의 스텝 S92 또는 스텝 S94에 있어서 실행되는 평균값 계산 처리 1 에 대해서 설명한다.
스텝 S111에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 연산 결과인 평균값(Mx){평균값(Mx)의 첨자 x는 제 1 색(Cr)의 평균값이 산출되는 경우 Cr로, 제 2 색(Ce)의 평균값이 산출되는 경우 Ce로 각각 치환된다}을 초기화한다.
스텝 S112에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 취득한 보간값{여기에서는, (n-2)의 2승(乘) 개의 보간값}을 합계한다.
스텝 S113에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 스텝 S112에서 산출된 합계값을, 취득한 값의 수{여기에서는 (n-2)의 2승 개}로 나눗셈한다.
스텝 S114에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 스텝 S113의 처리에 의해 산출된 나눗셈 결과를 출력한다.
또한, 평균값을 구하는 경우, 조 보간된 제 1 색 및 제 2 색의 각각의 강도에 주목 화소로부터의 거리에 따라 가중{重付; weighting}을 실시하고, 가중된 RGB 강도를 기초로 평균값을 구하도록 해도 좋다.
도 30의 플로우차트를 참조하여, 도 28의 스텝 S92 또는 스텝 S94에 대해 실행되는 평균값 계산 처리 2 에 대해서 설명한다.
스텝 S121에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 연산 결과인 평균값(Mx){평균값(Mx)의 첨자 x는 제 1 색(Cr)의 평균값이 산출되는 경우 Cr로, 제 2 색(Ce)의 평균값이 산출되는 경우 Ce로 각각 치환된다}를 초기화한다.
스텝 S122에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 취득한 보간값{여기에서는 (n-2)의 2승 개의 보간값}에, 예를 들면 도 31 내지 도 34에 도시되는 바와 같은 가중을 실시하고, 가중된 값을 합계한다.
가중값{重値; weight value)(wi)은 i번 째의 데이터의 위치로부터 주목 화소 위치에의 거리 등을 지표로 미리 설정되고, 또한 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부(322) 및 제 4 강도 추정부(323)의 각각에서 다른 가중값이 설정되도록 해도 좋다. 도 31 내지 도 34에 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부(322) 및 제 4 강도 추정부(323)의 각각에서 이용되는 가중값의 예를 나타낸다. 도면 중의 사각형은 9×9의 국소 영역에 있어서의 화소 위치를 나타내고, 사각형 내의 숫자가 해당하는 위치의 데이터의 가중값을 나타낸다.
스텝 S123에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 가중의 총합을 연산한다.
스텝 S124에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 상술한 수학식 1을 연산한다. 즉, 스텝 S124에 있어서 평균값 산출부(361) 또는 평균값 산출부(363)는 스텝 S122에서 산출된 합계값을 취득한 값의 수{여기에서는, (n-2)의 2승 개}와, 스텝 S123에서 산출된 가중의 총합의 곱으로 나눗셈한다.
스텝 S125에 있어서, 평균값 산출부(361) 또는 평균값 산출부(363)는 스텝 S124의 처리에 의해 산출된 나눗셈 결과를 출력한다.
이와 같은 처리에 의해, 수학식 1을 이용하여 설명한 가중 평균의 연산이 실행된다.
다음에, 도 35의 플로우차트를 참조하여 도 28의 스텝 S95에서 실행되는 분산 계산 처리 1 에 대해서 설명한다.
스텝 S141에 있어서 통계량 산출부(342)의 분산 산출부(362)는, 연산 결과인 것으로서 출력하는 분산값(Vxx){여기에서는, 제 1 색(Cr)의 분산값이므로 VCrCr 로 치환된다. 이하, 생략한다}를 초기화한다.
스텝 S142에 있어서, 분산 산출부(362)는 평균값 산출부(361)에 의해 산출된 제 1 신호의 평균값(Mx)(여기에서는, Mx의 첨자 x는 Cr로 치환된다. 이하, 생략한다)을 취득한다.
분산 산출부(362)는 스텝 S143에 있어서, 국소 영역 중 일부{주목 화소를 중심으로 한 (n-2)×(n-2)의 범위}의 화소의 조 보간값의 공급을 받아서, 그 중, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s′)을 초기화하여 s′=1로 하며, 스텝 S144에 있어서 국소 영역 중 일부{주목 화소를 중심으로 한 (n-2)×(n-2)의 범위}의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t′)을 초기화하여 t′=1로 한다.
스텝 S145에 있어서, 분산 산출부(362)는 화소(s′, t′)의 강도(X)(즉, C Crroughi, 이하, 생략한다}로부터 스텝 S142에서 취득된 평균값(MCr)을 뺄셈{減算}하고, 뺄셈 결과를 2승하여, 현재의 분산값(VCrCr)에 더한 값을 분산값(VCrCr)으로 하여 갱신한다. 즉, 분산 산출부(362)는 VCrCr=VCrCr+(｜화소(s′, t′)의 강도(X)-평균값(MCr)｜ )2을 연산한다. 분산 산출부(362)는, 이 연산에 있어서 화소(s′, t′)의 강도 X에 대하여, 예를 들면 도 11 또는 도 12를 이용하여 설명한 바와 같은 가중을 실시하도록 해도 좋다.
스텝 S146에서, 분산 산출부(362)는 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t′)을 참조하여, t′=n-2인지 여부를 판단한다.
스텝 S146에서 t′=n-2 가 아니라고 판단된 경우, 스텝 S147에서 분산 산출부(362)는 제 2 레지스터의 값(t′)을 t′=t′+1 로 갱신하고, 처리는 스텝 S145로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S146에서 t′=n-2 라고 판단된 경우, 스텝 S148에서 분산 산출부(362)는 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s′)을 참조하여, s′=n-2인지 여부를 판단한다.
스텝 S148에서 s′=n-2 가 아니라고 판단된 경우, 스텝 S149에서 분산 산출부(362)는 제 1 레지스터의 값(s′)을 s′=s′+1 로 갱신하고, 처리는 스텝 S144로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S148에서 s′=n-2 라고 판단된 경우, 스텝 S150에서 분산 산출부(362)는 국소 영역 중 일부{주목 화소를 중심으로 한 (n-2)×(n-2)의 범위}의 조 보간값의 분산값(VCrCr)을 출력하고, 처리는 도 28의 스텝 S96으로 되돌아온다.
분산값의 산출은, 정의상(定義上)으로는 {｜화소(s′, t′)의 강도(X)-평균값(MCr)｜}2 를 분산값의 연산에 이용한 화소의 수로 나눗셈할 필요가 있지만, 분산값의 산출 결과는 후술하는 처리에 의해, 공분산값의 산출 결과의 나눗셈에 이용되기 때문에, 공분산값의 산출에 있어서도 동일한 수로 나눗셈되는 경우에는, 나눗셈 처리를 분산값의 연산 및 공분산값의 연산의 양쪽에서 생략하는 것이 가능하다.
또, 분산값의 산출에 있어서 가중이 실시된 경우, 수학식 2를 이용하여 설명한 분산값의 정의에 나타내어지는 바와 같이 (｜화소(s′, t′)의 강도(X)-평균값(MCr)｜)2 를 가중 계수의 총합으로 나눗셈하는 것에 의해 분산값을 산출할 수가 있다. 그러나, 분산값의 산출 결과는 후술하는 처리에 의해 공분산값의 산출 결과의 나눗셈에 이용되기 때문에, 공분산값의 산출에 있어서도 가중이 실시되어 있을 때에는, 가중 계수의 총합으로의 나눗셈 처리를, 분산값의 연산 및 공분산값의 연산의 양쪽에서 생략하는 것이 가능하다.
또한, 도 35를 이용하여 설명한 분산 계산 처리 1 에서는 2승의 계산이 있기 때문에, 연산 처리에 시간이 걸리거나 하드웨어의 규모가 커진다는 문제가 발생한다. 그래서, 근사 계산에 의해 2승의 계산을 생략하도록 해도 좋다.
다음에, 도 36의 플로우차트를 참조하여 근사 계산에 의해 2승의 계산을 생략하는 경우에, 도 28의 스텝 S95에서 실행되는 분산 계산 처리 2 에 대해서 설명한다.
스텝 S171 내지 스텝 S174에 있어서는, 도 35를 이용하여 설명한 스텝 S141 내지 스텝 S144와 마찬가지의 처리가 실행된다.
스텝 S175에 있어서, 분산 산출부(362)는 화소(s′, t′)의 강도(X)로부터 스텝 S172에서 취득된 평균값(MCr)을 뺄셈하고, 현재의 분산값(VCrCr)에 더한 값을 분산값(VCrCr)로서 갱신한다. 즉, 분산 산출부(362)는 VCrCr=VCrCr+(｜화소(s′, t′)의 강도(X)-평균값(MCr)｜)를 연산한다. 분산 산출부(362)는 이 연산에 있어서, 화소(s′, t′)의 강도(X)에 대하여 예를 들면 도 31 내지 도 34에 도시되는 바와 같이, 평균값의 연산과 마찬가지의 가중을 실시하도록 해도 좋다.
값 ｜p｜가 정규화되고, O≤｜p｜< 1 이 성립되어 있을 때, p2은 ｜p｜로 근사하는 것이 가능하다. 이것은 수학식 4 또는 수학식 5를 이용하여, 수학식 3에 도시되는 공분산의 연산에 대한 근사 연산이 가능한 것과 마찬가지이다.
그리고, 스텝 S176 내지 스텝 S180에 있어서는, 도 35를 이용하여 설명한 스텝 S146 내지 스텝 S150과 마찬가지의 처리가 실행되고, 처리는 도 28의 스텝 S96으로 되돌아간다.
이와 같이 수학식 4 또는 수학식 5를 이용하여, 수학식 3에 도시되는 공분산 의 연산에 대한 근사 연산을 행하는 경우와 마찬가지의 근사 연산 처리에 의해, 분산값의 연산에 필요한 2승의 계산을 생략한 근사 연산에 의해, 분산값의 근사값을 구하는 것이 가능해진다.
다음에, 도 37의 플로우차트를 참조하여 도 28의 스텝 S96에서 실행되는 공분산 계산 처리에 대해서 설명한다.
스텝 S201에 있어서 공분산 산출부(364)는, 출력되는 값인 공분산값(Vxy){여기에서는, 제 1 색(Cr)과 제 2 색(Ce)의 공분산값이므로 VCrCe 로 치환된다. 이하, 생략한다}을 초기화한다.
스텝 S202에 있어서 공분산 산출부(364)는, 평균값 산출부(361)에 의한 도 28의 스텝 S92의 처리에 의해 산출된 제 1 신호의 평균값(MCr) 및 평균값 산출부(363)에 의한 도 28의 스텝 S94의 처리에 의해 산출된 제 2 평균값(MCe)을 취득한다.
스텝 S203에 있어서 공분산 산출부(364)는, 국소 영역 중 일부{주목 화소를 중심으로 한 (n-2)×(n-2)의 범위}의 화소의 조 보간값의 공급을 받고, 그 중, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s′)을 초기화하여 s′=1 로 한다.
스텝 S204에 있어서 공분산 산출부(364)는, 국소 영역 중 일부{주목 화소를 중심으로 한 (n-2)×(n-2)의 범위}의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t′)을 초기화하여 t′=1로 한다.
스텝 S205에 있어서, 도 39 또는 도 40을 이용하여 후술 하는 곱셈 처리가 실행된다.
스텝 S206에 있어서 공분산 산출부(364)는, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t′)을 참조하여, t′=n-2인지 여부를 판단한다.
스텝 S206에 있어서, t′=n-2 이 아니라고 판단된 경우, 스텝 S207에 있어서 공분산 산출부(364)는 제 2 레지스터의 값(t′)을 t′=t′+1 로 갱신하고, 처리는 스텝 S205로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S206에 있어서 t′=n-2 라고 판단된 경우, 스텝 S208에 있어서 공분산 산출부(364)는, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s′)을 참조하여, s′=n-2 인지 여부를 판단한다.
스텝 S208에 있어서 s′=n-2 이 아니라고 판단된 경우, 스텝 S209에 있어서 공분산 산출부(364)는, 제 1 레지스터의 값(s′)을 s′=s′+1 로 갱신하고, 처리는 스텝 S204로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S208에 있어서 s′=n-2 라고 판단된 경우, 스텝 S210에 있어서 공분산 산출부(364)는 공분산값(VCrCe)을 출력하고, 처리는 종료된다.
공분산값의 산출은, 정의상으로는 {｜화소(s′, t′)의 강도(X)-평균값(MCr)｜} {｜화소(s′, t′)의 강도(y)-평균값(MCe)｜}를 공분산값의 연산에 이용한 화소의 수로 나눗셈할 필요가 있지만, 공분산값의 산출 결과는 후술하는 처리에 의해 분산값의 산출 결과로 나눗셈되기 때문에, 분산값의 산출에 있어서도 동일한 수로 나눗셈되는 경우에는, 나눗셈 처리를 분산값의 연산 및 공분산값의 연산의 양쪽에서 생략하는 것이 가능하다.
또, 공분산값의 산출에 있어서 가중이 실시된 경우, 수학식 3을 이용하여 설명한 공분산값의 정의에 나타내어지는 바와 같이, (｜화소(s′, t′)의 강도(X)-평균값(MCr)｜)(｜화소(s′, t′)의 강도(y)-평균값(MCe)｜)의 가중 계수의 총합으로 나눗셈하는 것에 의해, 공분산값을 산출할 수가 있다. 그러나, 공분산값의 산출 결과는 후술하는 처리에 의해, 분산값의 산출 결과로 나눗셈되기 때문에, 분산값의 산출에 있어서도 가중이 실시되어 있을 때에는, 가중 계수의 총합으로의 나눗셈 처리를 분산값의 연산 및 공분산값의 연산의 양쪽에서 생략하는 것이 가능하다.
상술한 도 37의 공분산 계산 처리의 스텝 S205에서 실행되는 곱셈 처리에는, 상술한 수학식 3을 이용하여 정의한 대로, 공분산값이 산출되는 경우에 실행되는 곱셈 처리 1과, 근사 연산을 이용하여 공분산값이 산출되는 경우에 실행되는 곱셈 처리 2의 2종류의 처리가 있다.
다음에, 도 38의 플로우차트를 참조하여 도 37의 스텝 S205에서 실행되는 곱셈 처리 1에 대해서 설명한다. 곱셈 처리 1은 상술한 수학식 3을 이용하여 정의한 대로, 공분산값이 산출되는 경우에 실행되는 처리이다.
스텝 S221에 있어서 공분산 산출부(364)는, {제 1 신호의 화소(s′, t′)의 강도(X)-제 1 신호의 평균값(MCr)}과, {제 2 신호의 화소(s′, t′)의 강도(Y)(즉, Ceroughi. 이하, 생략한다) - 제 2 신호의 평균값(MCe)}의 곱을 연산한다.
스텝 S222에 있어서, 공분산 산출부(364)는 VCrCe=VCrCe+wi(곱셈 결과)로 하고, 처리는 도 37의 스텝 S206으로 진행된다. 여기서, wi는 화소(s′, t′)에 있어서의 가중값이다.
이와 같은 곱셈 처리가 실행되는 것에 의해, 상술한 수학식 3을 이용하여 정의한 대로 공분산값이 산출된다. 곱셈 처리 1이 실행된 경우, 정의한 대로의 연산이기 때문에 그 연산 결과는 매우 정밀도가 높은 것이지만, 그 대신, 연산에 시간이 걸리거나, 하드웨어 실장에 있어서의 게이트 수의 증가를 초래하고 만다.
다음에, 도 39의 플로우차트를 참조하여, 도 37의 스텝 S205에서 실행되는 곱셈 처리 2에 대해서 설명한다. 곱셈 처리 2는 상술한 수학식 4 또는 수학식 5를 이용하여, 근사된 공분산값이 산출되는 경우에 실행되는 처리이다.
스텝 S241에 있어서, 공분산 산출부(364)는 {제 1 신호의 화소(s′, t′)의 강도(X) - 제 1 신호의 평균값(MCr)} 을 p로 한다.
스텝 S242에 있어서, 공분산 산출부(364)는 {제 2 신호의 화소(s′, t′)의 강도(Y)-제 2 신호의 평균값(MCe)}를 q로 한다.
스텝 S243에 있어서, 도 40 또는 도 41을 이용하여 후술하는 곱셈 근사 처리가 실행된다.
스텝 S244에 있어서, 공분산 산출부(364)는 VCrCe=VCrCe + (pq의 근사값)으로 하고, 처리는 도 37의 스텝 S206으로 진행된다.
다음에, 도 40의 플로우차트를 참조하여 도 39의 스텝 S243에서 실행되는 곱셈 근사 처리 1 에 대해서 설명한다. 곱셈 근사 처리 1은 상술한 수학식 4를 이용하여 근사된 공분산값이 산출되는 경우에 실행되는 처리이다.
스텝 S261에 있어서 공분산 산출부(364)는, 도 39의 스텝 S241 및 스텝 S242에서 치환된 값 p 및 q를 이용하여 ｜p｜≥｜q｜인지 여부를 판단한다.
스텝 S261에 있어서 ｜p｜≥｜q｜라고 판단된 경우, 스텝 S262에 있어서 공분산 산출부(364)는 p≥0 인지 여부를 판단한다.
스텝 S262에 있어서 p≥0 이라고 판단된 경우, 스텝 S263에 있어서 공분산 산출부(364)는 pq의 근사값=+q로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
스텝 S262에 있어서 p≥0 이 아니라고 판단된 경우, 스텝 S264에 있어서 공분산 산출부(364)는 pq의 근사값=-q로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
스텝 S261에 있어서, ｜p｜≥｜q｜이 아니라고 판단된 경우, 스텝 S265에 있어서 공분산 산출부(364)는 q≥0 인지 여부를 판단한다.
스텝 S265에 있어서 q≥0 이라고 판단된 경우, 스텝 S266에 있어서 공분산 산출부(364)는 pq의 근사값=+p로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
스텝 S265에 있어서 q≥0 이 아니라고 판단된 경우, 스텝 S267에 있어서 공분산 산출부(364)는 pq의 근사값=-p로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
이 처리에 있어서 q 또는 p가 O인 경우, pq의 근사값은 반드시 O 이 된다. 구체적으로는 q가 0일 때 ｜p｜≥｜q｜는 반드시 성립하므로, p의 값에 관계없이 pq의 근사값은 O 이 된다. 또한, p가 O일 때 ｜p｜≥｜q｜는 반드시 성립하지 않기 때문에, q의 값에 관계없이 pq의 근사값은 O 이 된다.
도 40을 이용하여 설명한 처리에 의해, 상술한 수학식 4를 이용하여 공분산값을 근사하는 것이 가능하다.
다음에, 도 41의 플로우차트를 참조하여, 도 39의 스텝 S243에 있어서 실행되는 곱셈 근사 처리 2에 대해서 설명한다. 곱셈 근사 처리 2는 상술한 수학식 5를 이용하여 근사된 공분산값이 산출되는 경우에 실행되는 처리이다.
스텝 S281에 있어서 공분산 산출부(364)는, 도 39의 스텝 S241 및 스텝 S242에서 치환된 값 p 및 q를 이용하여, p 또는 q가 0인지 여부를 판단한다.
스텝 S281에 있어서 p 또는 q가 0이라고 판단된 경우, 스텝 S282에 있어서 공분산 산출부(364)는 pq의 근사값을 0으로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
스텝 S281에 있어서 p 및 q가 모두 O이 아니라고 판단된 경우, 스텝 S283에 있어서 공분산 산출부(364)는, p 및 q의 관계는 p>O 또한 q>O, 또는 p<O 또한 q<0 중 어느 것인가 한쪽인지 여부를 판단한다.
스텝 S283에 있어서 p 및 q의 관계는, p>O 또한 q>O, 또는 p<O 또한 q<0 중 어느 것인가 한쪽이라고 판단된 경우, 스텝 S284에 있어서 공분산 산출부(364)는 pq의 근사값을 (｜p｜+｜q｜)/2 로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
스텝 S283에 있어서 p 및 q의 관계는 p>O 또한 q>O, 또는 p<0 또한 q<0 중 어느 것도 아니라고 판단된 경우, 스텝 S285에 있어서 공분산 산출부(364)는, pq의 근사값을 (-｜p｜-｜q｜)/2 로 하고, 처리는 도 39의 스텝 S244로 되돌아간다.
또, 도 39의 스텝 S241 및 스텝 S242에 있어서 치환된 값 p 또는 q가 O의 값을 취하는 것은, 신호의 종류에 따라서는 드문 경우가 있다. 그래서, 스텝 S281 및 스텝 S282의 처리를 생략하도록 해도 좋다. 이와 같이 하는 것에 의해, 연산 처리 속도를 고속화하거나, 하드웨어의 실장 규모를 축소하도록 하는 것이 가능하다.
도 41을 이용하여 설명한 처리에 의해, 상술한 수학식 5를 이용하여 공분산값을 근사하는 것이 가능하다.
도 39 내지 도 41을 이용하여 설명한 곱셈 처리가 실행되는 것에 의해, 상술한 수학식 4 또는 수학식 5를 이용하여 공분산값을 근사하는 것이 가능하다. 이와 같이 한 경우, 수학식 3에 도시되는 정의 대로의 공분산값의 연산이 실행된 경우와 비교하여, 계산 속도가 고속화되거나 계산을 위해 실장되는 하드웨어의 게이트 수를 적게 할 수 있는 등의 이점이 발생한다.
다음에, 도 42의 플로우차트를 참조하여 도 16의 회귀 연산 처리부(343)에서 실행되는 보간 화소 추정 처리 1 에 대해서 설명한다.
스텝 S291에 있어서 기울기 산출부(381)는 상술한 수학식 7 또는 수학식 8을 이용하여, 분산값 및 공분산값에 의거한 기울기(K)를 산출한다.
여기서, 기울기 산출부(381)는 상술한 수학식 8에 도시되는 바와 같이 기울기(K)를 Ks에 의해 구할 경우 Ks의 분모에 대한 클립핑 처리를 행한다. 이 클립핑 처리는 화상이 평탄한지 여부의 판정과 출력 진폭 억제의 양쪽 처리를 실행한 경우와 마찬가지로, 노이즈 저감의 작용이 있다. 이 처리가 실행되는 것에 의해, 별도 노이즈 저감 처리를 추가하지 않아도 화상의 평탄한 부분에서 눈에 띄는 노이즈를 억제할 수가 있다.
스텝 S292에 있어서 화소 강도 추정부(382)는, 스텝 S291에서 산출된 기울기 (K), 2개의 평균값(MCr), (MCe) 및 주목 화소의 화소 강도를 기초로, 상술한 수학식 6의 선형 회귀식을 이용하여 주목 화소 위치의 강도 추정값을 산출하고, 처리가 종료된다.
이와 같은 처리에 의해, 주목 화소 위치의 각 색의 추정 강도를 산출할 수가 있다. 특히 추정 강도를 산출하는 경우의 선형 회귀식에, 상술한 수학식 11과 마찬가지로 하여 기울기(K)에, 1보다 큰 적당한 정수 u를 곱셈하는 것에 의해, 그 고주파 성분을 조금 증강하여, 적절한 고역 보정을 실행한 경우와 마찬가지의 효과를 얻을 수가 있다. 이와 같이 하는 것에 의해, 별도 고역 보정 처리를 추가하지 않아도 고역이 보정된 화상을 얻을 수가 있다.
다음에, 도 43의 플로우차트를 참조하여, 도 8의 텍스처 방향 판정부(305)가 실행하는 텍스처 방향 판정 처리에 대해서 설명한다.
스텝 S301에 있어서 텍스처 방향 판정부(305)는, 다음의 수학식 16을 이용하 여 주목 화소(j, k)에 있어서의 가로 방향의 그래디언트값(dH)을 산출함과 동시에, 수학식 17을 이용하여 세로 방향의 그래디언트값(dV)을 산출한다. 즉, 텍스처 강도 산출 처리부(334)는 주목 화소(j′, k′)로부터 좌우(수평 방향)로 2개 떨어진 화소 위치의 모자이크 화상 신호(M)와 주목 화소의 모자이크 화상 신호(M)의 차의 절대값의 평균에, 주목 화소의 좌우(수평 방향)로 1개 떨어진 화소 위치의 모자이크 화상 신호(M)와 주목 화소의 모자이크 신호(M)의 차의 절대값의 평균을 가산한 것을 dH로서 산출함과 동시에, 주목 화소의 상하(수직 방향)로 2개 떨어진 화소 위치의 모자이크 화상 신호(M)와 주목 화소의 모자이크 화상 신호(M)의 차의 절대값의 평균에, 주목 화소의 상하(수직 방향)로 1개 떨어진 화소 위치의 모자이크 화상 신호(M)와 주목 화소의 모자이크 신호(M)의 차의 절대값의 평균을 가산한 것을 dV로서 산출한다.
수학식 16
Figure 112004048216863-pat00016
수학식 17
Figure 112004048216863-pat00017
스텝 S302에 있어서 텍스처 방향 판정부(305)는, 텍스처 강도(dH)>텍스처 강도(dV) 인지 여부를 판정하고, dH>dV 라고 판정된 경우, 스텝 S303에 있어서 텍스처 강도 산출 처리부(334)는 주목 화소(j′, k′)의 텍스처 강도(TH)를 0으로 하고, 주목 화소(j′, k′)의 텍스처 강도(TV)를 1로 한다.
스텝 S302에 있어서 dH>dV 가 아니라고 판정된 경우, 스텝 S304에 있어서 텍스처 방향 판정부(305)는, 주목 화소(j′, k′)의 텍스처 강도(TH)를 1로 하고, 주목 화소(j′, k′)의 텍스처 강도(TV)를 O으로 한다.
스텝 S303 또는 스텝 S304의 처리 후에, 스텝 S305에 있어서 텍스처 방향 판정부(305)는, 주목 화소의 텍스처 강도(TH), (TV)의 조로부터 텍스처 방향을 판정하고 출력하여, 처리가 종료된다.
이와 같은 처리에 의해, 주목 화소 위치에 있어서의 텍스처가 가로 줄무늬에 가까운 것인지, 세로의 줄무늬에 가까운 것인지의 판정 결과가 얻어지고, 스위치 (324)에 공급된다.
다음에, 도 44의 플로우차트를 참조하여 도 8의 제 2 처리 블록(303)의 처리에 대해서 설명한다.
스텝 S311에 있어서 제 2 처리 블록(303)의 제 2 강도 추정부(321)는, 주목 화소와 그 좌우에 있는 화소를 이용하여 주목 화소의 강도 추정을 행하여, 제 1 추정값을 산출한다.
스텝 S312에 있어서 제 2 처리 블록(303)의 제 3 강도 추정부(322)는, 주목 화소와 그 상하에 있는 화소를 이용하여 주목 화소의 강도 추정을 행한다.
스텝 S313에 있어서, 제 2 처리 블록(303)의 제 4 강도 추정부(323)는, 스텝 S312에서 산출된 주목 화소와 그 상하에 있는 화소를 이용한 주목 화소의 강도 추 정 결과와, 주목 화소의 상하 좌우의 화소를 이용하여 강도 추정을 행하여, 제 2 추정값을 산출한다.
스텝 S314에 있어서 제 2 처리 블록(303)의 스위치(324)는, 텍스처 방향 판정부(305)로부터 공급되는 텍스처 방향의 정보를 취득한다.
스텝 S315에 있어서 제 2 처리 블록(303)의 스위치(324)는, 텍스처 방향은 가로 방향에 가까운지 여부를 판단한다.
스텝 S315에 있어서 텍스처 방향은 가로 방향에 가깝다고 판단된 경우, 스텝 S316에 있어서 제 2 처리 블록(303)의 스위치(324)는, 주목 화소와 그 좌우에 있는 화소를 이용한 주목 화소의 강도 추정 결과인 제 1 추정값을 출력하고, 처리가 종료된다.
스텝 S315에 있어서 텍스처 방향은, 가로 방향에 가깝지 않다, 즉, 세로 방향에 가깝다고 판단된 경우, 스텝 S317에 있어서 제 2 처리 블록(303)의 스위치 (324)는, 주목 화소의 상하 좌우의 화소를 이용한 주목 화소의 강도 추정 결과인 제 2 추정값을 출력하고, 처리가 종료된다.
이와 같은 처리에 의해, 텍스처 방향에 대응하여 신뢰도가 높은 추정값이 선택되고, 스위치(306)에 공급된다.
다음에, 도 45의 플로우차트를 참조하여 도 8의 제 3 처리 블록(304)의 처리에 대해서 설명한다.
스텝 S331에 있어서 제 3 처리 블록(304)의 제 3 강도 추정부(322)는, 주목 화소와 그 상하에 있는 화소를 이용하여 주목 화소의 강도 추정을 행하여, 제 1 추 정값을 산출한다.
스텝 S332에 있어서 제 3 처리 블록(304)의 제 2 강도 추정부(321)은, 주목 화소와 그 좌우에 있는 화소를 이용하여 주목 화소의 강도 추정을 행한다.
스텝 S333에 있어서 제 3 처리 블록(304)의 제 4 강도 추정부(323)는, 스텝 S332에서 산출된 주목 화소와 그 좌우에 있는 화소를 이용한 주목 화소의 강도 추정 결과와, 주목 화소의 상하 좌우의 화소를 이용하여 강도 추정을 행하여, 제 2 추정값을 산출한다.
스텝 S334에 있어서 제 3 처리 블록(304)의 스위치(324)는, 텍스처 방향 판정부(305)로부터 공급되는 텍스처 방향의 정보를 취득한다.
스텝 S335에 있어서 제 3 처리 블록(304)의 스위치(324)는, 텍스처 방향은 세로 방향에 근사한지 여부를 판단한다.
스텝 S335에 있어서 텍스처 방향은 세로 방향에 가깝다고 판단된 경우, 스텝 S336에 있어서 제 3 처리 블록(304)의 스위치(324)는, 주목 화소와 그 상하에 있는 화소를 이용한 주목 화소의 강도 추정 결과인 제 1 추정값을 출력하고, 처리가 종료된다.
스텝 S335에 있어서 텍스처 방향은, 세로 방향에 가깝지 않다, 즉 가로 방향에 가깝다고 판단된 경우, 스텝 S337에 있어서 제 3 처리 블록(304)의 스위치(324)는, 주목 화소의 상하 좌우의 화소를 이용한 주목 화소의 강도 추정 결과인 제 2 추정값을 출력하고, 처리가 종료된다.
이와 같은 처리에 의해, 텍스처 방향에 대응하여 신뢰도가 높은 추정값이 선 택되고, 스위치(306)에 공급된다.
도 7을 이용하여 설명한 G+E 강도 추정부(282)의 구성은, 도 8을 이용하여 설명한 바와 같이, G 강도 추정부(291)와 E 강도 추정부(292)가 각각 주목 화소 위치의 G 강도와 E 강도를 추정하는 것이었다. 더욱이, 도 8을 이용하여 설명한 바와 같이, G 강도 추정부(291)와 E 강도 추정부(292)는 동일한 구성을 가지는 것이었다. 여기서, 도 9에 도시된 스위치(306)의 동작과, 도 8을 이용하여 설명한 G 강도 추정부(291)와 E 강도 추정부(292)의 구성으로부터, G 강도 추정부(291)와 E 강도 추정부(292)에서 구성을 공유할 수 있는 부분이 있다. 즉, 주목 화소 위치의 색이 G 또는 E인 경우에는, G 강도 추정부(291)와 E 강도 추정부(292)의 스위치(306)의 출력은 a 또는 b이고, R 또는 B인 경우에는 스위치(306)의 출력은 c 또는 d이다. 그리고, G 강도 추정부(291)와 E 강도 추정부(292)의 출력은 가산기(加算器)에 의해 가산되기 때문에, 주목 화소 위치의 색이 G 또는 E인 경우에는 (a+b)를, R 또는 B인 경우에는(c+d)를 출력하도록 하면, G 강도 추정부(291)와 E 강도 추정부(292)의 공통 부분을 정리하여 심플한 구성으로 할 수가 있다.
그와 같이 구성을 변경한 G+E 강도 추정부(551)의 구성을 도시하는 블록도를 도 46에 도시한다. 주목 화소 선택부(301), 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부(322), 제 4 강도 추정부(323) 및 스위치(324)의 구성은, 도 8을 이용하여 설명한 G 강도 추정부(291)와 E 강도 추정부(292)의 구성과 동일하다.
그리고, 주목 화소 선택부(301)에 의해 선택된 주목 화소와 제 1 강도 추정 부(311)에 의해 추정된 강도 추정값이 가산 처리부(561-1)에 의해 가산 처리되고, 입력 (a+b)로서 스위치(562)에 공급된다. 그리고, 제 2 강도 추정부(321) 및 제 4 강도 추정부(323)의 처리에 의해 텍스처 방향이 가로 방향에 가까운 경우에 신뢰도가 높은 2개의 추정값이 가산 처리부(561-2)에 의해 가산 처리되며, 그리고, 제 3 강도 추정부(322) 및 제 4 강도 추정부(323)의 처리에 의해 텍스처 방향이 세로 방향에 가까운 경우에 신뢰도가 높은 2개의 추정값이 가산 처리부(561-3)에 의해 가산 처리되고, 텍스처 방향 판정부(305)에 의한 텍스처 방향의 판정 결과에 의거하여 스위치(324)에 의해 선택된 추정값의 합이, 입력 (c+d)로서 스위치(562)에 공급된다.
이 때의 스위치(562)의 동작은 도 47과 같이 된다. 즉, 주목 화소의 색이 R일 때 스위치(562)의 출력은(c+d)이고, 주목 화소의 색이 G일 때 스위치(562)의 출력은 (a+b)이고, 주목 화소의 색이 B일 때 스위치(562)의 출력은 (c+d)이며, 주목 화소의 색이 E일 때 스위치(562)의 출력은(a+b)이다.
또한, 제 1 강도 추정부(311), 제 2 강도 추정부(321), 제 3 강도 추정부 (322) 및 제 4 강도 추정부(323)는 모두, 그 내부에 도 10을 이용하여 설명한 조 보간 처리부(341), 통계량 산출부(342) 및 회귀 연산 처리부(343)를 가지고 있다. 따라서, 도 46을 이용하여 설명한 G+E 강도 추정부(551)에 대하여, 조 보간 처리부 (341), 통계량 산출부(342) 및 회귀 연산 처리부(343)의 처리가 공통되는 부분을 정리하는 것에 의해, 도 48에 도시되는 G+E 강도 추정부(571)를 구성하는 것이 가능해진다. G+E 강도 추정부(571)는, 물론 G+E 강도 추정부(551)와 마찬가지의 처리 를 실행하는 것이 가능한 것이다.
즉, G+E 강도 추정부(551)에 있어서의 제 1 강도 추정부(311)와 제 4 강도 추정부(323)의 통계량의 계산은 공통의 것이기 때문에, G+E 강도 추정부(571)에 있어서는, 통계량 산출부(342-1)로서 1개의 통계량 산출부에 의해 실행되는 바와 같은 구성으로 되어 있다. 또한, G+E 강도 추정부(551)에 있어서의 제 2 강도 추정부 (321)와 제 3 강도 추정부(322)의 출력은, 주목 화소의 색이 R 또는 B 일 때에 이용되는 것이기 때문에, G+E 강도 추정부(571)에 있어서는 스위치(581)가 조 보간 처리부(472)로부터 공급된 R의 러프한 보간값과 B의 러프한 보간값 중, 주목 화소와 일치하는 색의 보간값을 선택하고, 통계량 산출부(342-2) 및 통계량 산출부(342-3)에 공급하도록 되어 있다.
조 보간 처리부(472)는 도 49의 플로우차트를 이용하여 후술하는 처리에 의해, RGBE 4색의 러프한 보간값을 산출한다. 또한, 스위치(562)의 동작은 도 47을 이용하여 설명한 경우와 마찬가지이다.
다음에, 도 49의 플로우차트를 참조하여, 도 48의 조 보간 처리부(472)에 있어서 실행되는 조 보간 처리{이 처리는, 도 17을 이용하여 설명한 조 보간 처리부 (472)에 있어서도, 후술하는 도 50의 스텝 S371에서 실행된다}에 대해서 설명한다.
조 보간 처리부(472)는 스텝 S351에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s)을 초기화하여 s=2로 하고, 스텝 S352에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t)을 초기화하여 t=2로 한다.
스텝 S353에 있어서 조 보간 처리부(472)는, 화소(s, t)의 화소 강도를 보간 값 α1 으로 한다.
스텝 S354에 있어서 조 보간 처리부(472)는, 화소(s, t)의 이웃 화소인 화소 (s-1, t)와 화소(s, t)에 대해서 화소(s-1, t)와 역방향의 이웃 화소인 화소(s+1, t)의 평균 강도를 보간값 α2 로 한다.
스텝 S355에 있어서 조 보간 처리부(472)는, 화소(s, t)에 대해서 화소(s-1, t) 및 화소(s+1, t)의 방향과 수직인 방향의 이웃 화소인 화소(s, t-1)와 화소(s, t)에 대하여 화소(s, t-1)와 역방향의 이웃 화소인 화소(s, t+1)의 평균 강도를 보간값 α3 로 한다.
예를 들면, 화소(s, t)가 도 8에 있어서의 화소(2,2)인 경우, 그 화소는 G 강도를 나타내고, 화소(s-1, t)와 화소(s+1, t)는 R 강도를 나타내며, 화소(s, t-1)와 화소(s, t+1)는 B 강도를 나타낸다.
스텝 S356에 있어서 조 보간 처리부(472)는, 주목 화소에 대하여 오른쪽 비스듬한 위, 오른쪽 비스듬한 아래, 왼쪽 비스듬한 위, 및 왼쪽 비스듬한 아래 방향인 화소(s-1, t-1), 화소(s-1, t+1), 화소(s+1, t-1) 및 화소(s+1, t+1)의 평균 강도를 보간값 α4 로 한다.
예를 들면, 화소(s, t)가 도 8에 있어서의 화소(2,2)인 경우, 그 화소는 G 강도를 나타고, 화소(s-1, t-1), 화소(s-1, t+1), 화소(s+1, t-1) 및 화소(s+1, t+1)도 각각 G 강도를 나타낸다. 또한, 화소(s, t)가 도 8에 있어서의 화소(2,3)일 경우, 그 화소는 B 강도를 나타내고, 화소(s-1, t-1), 화소(s-1, t+1), 화소(s+1, t-1) 및 화소(s+1, t+1)는 각각 R 강도를 나타낸다. 그리고, 화소(s, t)가 도 8에 있어서의 화소(3,2)일 경우, 그 화소는 R 강도를 나타내고, 화소(s-1, t-1), 화소 (s-1, t+1), 화소(s+1, t-1) 및 화소(s+1, t+1)는 각각 B 강도를 나타낸다.
스텝 S357에 있어서 조 보간 처리부(472)는, 스텝 S353 내지 스텝 S356의 처리에 의해 산출된 보간값 α1 내지 α4 가 각각 RGBE 의 어느 것에 대응하는지를 판정한다.
컬러필터의 배열이 도 3을 이용하여 설명한 바와 같은 배열이었을 경우, 화소(s, t)가 G의 화소일 때, 보간값 α1 은 G에 대한 보간값이고, 보간값 α2 는 B에 대한 보간값이고, 보간값 α3 는 R에 대한 보간값이며, 보간값 α4는 E에 대한 보간값이다. 또한, 화소(s, t)가 R의 화소일 때, 보간값 α1은 R에 대한 보간값이고, 보간값 α2는 E에 대한 보간값이고, 보간값 α3는 G에 대한 보간값이며, 보간값 α4는 B에 대한 보간값이 된다. 또한, (s, t)가 B의 화소일 때, 보간값 α1은 B에 대한 보간값이고, 보간값 α2는 G에 대한 보간값이고, 보간값 α3는 E에 대한 보간값이며, 보간값 α4는 R에 대한 보간값이 된다. 그리고, (s, t)가 E의 화소일 때, 보간값 α1 은 E에 대한 보간값이고, 보간값 α2는 R에 대한 보간값이고, 보간값 α3은 B에 대한 보간값이며, 보간값 α4는 G에 대한 보간값이 된다.
스텝 S358에 있어서 조 보간 처리부(472)는, G에 대응하는 2개의 보간값의 평균값을 화소(s, t)의 G보간값으로 한다.
스텝 S359에 있어서 조 보간 처리부(472)는, R에 대응하는 보간값을 화소(s, t)의 R 보간값으로 한다.
스텝 S360에 있어서 조 보간 처리부(472)는, B에 대응하는 보간값을 화소(s, t)의 B 보간값으로 한다.
스텝 S361에 있어서 조 보간 처리부(472)는, E에 대응하는 보간값을 화소(s, t)의 E 보간값으로 한다.
스텝 S362에 있어서 조 보간 처리부(472)는, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t)을 참조하여, t=n-1인지 여부를 판단한다.
스텝 S362에 있어서 t=n-1 이 아니라고 판단된 경우, 스텝 S363에 있어서 조 보간 처리부(472)는, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t)을 t=t+1로 하고, 처리는 스텝 S353으로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S364에 있어서 조 보간 처리부(472)는, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s)을 참조하여, s=n-1인지 여부를 판단한다.
스텝 S364에 있어서 s=n-1 이 아니라고 판단된 경우, 스텝 S365에 있어서 조 보간 처리부(472)는, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s)을 s=s+1 로 하고, 처리는 스텝 S352로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S364에 있어서 s=n-1 이라고 판단된 경우, 스텝 S366에 있어서 조보간 처리부(472)는, 주목 화소 부근의 (n-2)의 2승 개의 화소의 RGBE 의 보간값의 조를 출력하고, 처리가 종료된다.
이와 같은 처리에 의해, 국소 영역으로서 추출된 n×n의 화소에 대하여, 주 목 화소를 중심으로 한 (n-2)×(n-2) 개소의 화소 위치의 각각에 있어서의 RGBE 의 보간값이 산출된다.
단, 도 49를 이용하여 설명한 조 보간 처리에 있어서, 스텝 S353 내지 스텝 S356의 처리는 서로 순서를 바꾸어도 상관없고, 더욱이 스텝 S358 내지 스텝 S361의 처리도 서로 순서를 바꾸어도 상관없다.
도 46을 이용하여 설명한 G+E 강도 추정부(551) 및 G+E 강도 추정부(571)가 도 6의 G+E 강도 추정부(282)와 치환된 경우에 있어서도, 그 후단의 R(GB 또는 E) 강도 추정부(283){또는 RGBE 강도 추정부(283)}가 실행하는 처리는 동일하다.
다음에, 도 50의 플로우차트를 참조하여, 도 17을 이용하여 설명한 RGBE 강도 추정부(283)가 도 24의 스텝 S24에서 실행하는 색 강도 추정 처리 1 에 대해서 설명한다.
스텝 S371에 있어서 조 보간 처리부(472)는, 도 49를 이용하여 설명한 조 보간 처리 2를 실행한다.
스텝 S372에 있어서 신뢰도 산출부(471)는, G+E 강도 추정 처리부(282)에서 산출된 G+E 강도를 취득한다.
스텝 S373에 있어서 신뢰도 산출부(471)는, 도 51의 플로우차트를 이용하여 후술하는 신뢰도값 산출 처리를 실행한다.
스텝 S374에 있어서 통계량 산출부(342-1 내지 342-4)는, 도 28을 이용하여 설명한 2색 분포 형상의 통계량 산출 처리를 실행한다.
스텝 S375에 있어서 회귀 연산 처리부(474-1 내지 474-4)는, 도 52를 이용하 여 설명하는 보간 화소 추정 처리 2를 실행하고, 처리는 도 24의 스텝 S25로 진행된다.
다음에, 도 51의 플로우차트를 참조하여 도 50의 스텝 S373에 있어서 실행되는 신뢰도값 산출 처리에 대해서 설명한다.
스텝 S401에 있어서, 신뢰도 산출부(471)의 고주파 추출부(481-1 내지 481-6)는 도 19를 이용하여 설명한, 주목 화소 부근의 소정의 12 위치의 G+E 보간값 중, 자기 자신이 추출하는 고주파를 구하기 위해서 필요한 화소 위치의 G+E 보간값, 즉, 비스듬하게 접해 있는 G와 E의 화소값의 평균값을 산출한다.
스텝 S402에 있어서, 고주파 추출부(481-1 내지 481-6)는, 스텝 S401의 처리에서 산출된 G+E 보간값을 기초로, 주목 화소를 중심으로 한, 6 방향의 고주파 성분을 각각 추출하고, 가산 처리부(482)에 공급한다.
스텝 S403에 있어서 가산 처리부(482)는, 고주파 추출부(481-1 내지 481-6)로부터 공급된 6개의 고주파 성분을 가산하고, 클립핑 처리부(483)에 출력한다.
스텝 S404에 있어서 클립핑 처리부(483)는, 가산 처리부(482)로부터 공급된 가산 결과를 클립핑하고, 그 값을 신뢰도값으로서 회귀 연산 처리부(474-1 내지 474-4)에 출력하고, 처리는 도 50의 스텝 S374로 진행된다.
이와 같은 처리에 의해, 주목 화소 부근에 고주파 성분이 존재하는지 여부를 나타내는 신뢰도값이 산출되고, 회귀 연산 처리부(474-1 내지 474-4)에 출력된다. 산출되는 신뢰도값은 가는 줄무늬 모양 형상의 텍스처의 강도가 클수록 신뢰도값이 커지기 때문에, 신뢰도값이 작은 편이 통계량에 의한 색 분포 형상의 추정이 확실할 가능성이 높다.
다음에, 도 52의 플로우차트를 참조하여 도 50의 스텝 S375에서 실행되는 보간 화소 추정 처리 2에 대해서 설명한다.
스텝 S421에 있어서 기울기 산출부(501)는, 상술한 수학식 7을 이용하여 평균값에 의거한 기울기 추정값(Km)을 산출하고, 기울기 합성부(503)에 출력한다.
스텝 S422에 있어서 기울기 산출부(502)는, 상술한 수학식 8을 이용하여 분산값 및 공분산값에 의거한 기울기 추정값(Ks)을 산출하고, 기울기 합성부(503)에 출력한다.
여기서 기울기 산출부(502)는, 상술한 수학식 8에 나타내는 바와 같이 기울기(Ks)의 분모에 대한 클립핑 처리를 행한다. 이 클리핑 처리는 화상이 평탄한지 여부의 판정과 출력 진폭 억제의 양쪽의 처리를 실행한 경우와 마찬가지로, 노이즈 저감의 작용이 있다. 이 처리가 실행되는 것에 의해, 별도 노이즈 저감 처리를 추가하지 않아도 화상의 평탄한 부분에서 눈에 띄는 노이즈를 억제할 수가 있다.
스텝 S423에 있어서 기울기 합성부(503)는, 스텝 S421에서 산출된 기울기 추정값(Km)과, 스텝 S422에서 산출된 기울기 추정값(Ks)을, 상술한 수학식 9를 이용하여 신뢰도(h)에 의거하여 합성하고, 기울기 추정값(K)을 산출하여, 화소 강도 추정부)(504)에 출력한다.
스텝 S424에 있어서 화소 강도 추정부(504)는, 스텝 S423에서 산출된 기울기 추정값(K), 2개의 평균값(MG), (MR)(또는 MB) 및 주목 화소 위치의 G 강도를 기초 로, 상술한 수학식 10 또는 수학식 11의 선형 회귀식을 이용하여, 주목 화소 위치의 R 강도(또는 B 강도)의 추정값을 산출하고, 처리가 종료된다.
이와 같은 처리에 의해, 주목 화소 위치의 각 색의 추정 강도를 산출할 수가 있다. 특히, 추정 강도를 산출하는 경우의 선형 회귀식에, 상술한 수학식 11을 이용하여 기울기(K)에 1보다 큰 적당한 정수 u를 곱셈하는 것에 의해, 그 고주파 성분을 조금 증강하고, R에 대한 적절한 고역 보정을 실행한 경우와 마찬가지의 효과를 얻을 수가 있다. 이와 같이 하는 것에 의해, 별도 고역 보정 처리를 추가하지 않아도 고역이 보정된 화상을 얻을 수가 있다.
상술한 처리는, 컬러필터에 이용되는 모자이크 패턴이 도 53에 도시하는 바와 같은 6색 배열인 경우에도 적용 가능하다. 도 53에 도시되는 6색 배열은 도 3의 4색 배열의 R 및 B의 화소 중 절반을 각각 R과 B로부터 약간 분광 특성이 다른 것으로 치환한 배열로 되어 있다(바꿔 말하자면, R1과 R2, B1과 B2의 분광 특성은, 높은 상관을 가지고 있다). 즉, 도 53에 도시하는 컬러필터는, 휘도값의 추정에 이용되는 G와 E가 각각 수평 방향 및 수직 방향으로 동일한 라인으로 되지 않도록 체크 무늬 형상으로 배열되고, 이 G와 E와는 다른 색(R1, R2)이 E와 동일 라인(즉, G와는 다른 라인)에 위치하고, G, E, R1, R2와는 다른 색(B1, B2)이 G와 동일한 라인(즉, E와는 다른 라인)에 위치하도록 되어 있는 컬러필터이다.
이 6색 배열에 있어서 G와 E의 배열은, 도 3의 4색 배열과 동일하기 때문에, G+E 강도의 추정값을 이용한 휘도 성분의 산출 방법을 그대로 적용할 수가 있음은 분명하다. 또한, 도 53에 도시한 6색 배열은 R와 B 양쪽을 2개의 분광 특성의 가까 운 색으로 분할하였지만, 어느 한 쪽만이 분할된 5색 배열을 구성해도, 본 발명은 변함없게 적용 가능하다는 것은 말할 필요도 없다. 이와 같은 6색 배열을 가지는 컬러필터를 이용하는 것에 의해, 멀티 스펙트럼 촬상에 의해 보다 색 재현에 유리한 화상 신호를 얻는 것이 가능해진다. 더욱이, 디모자이크 처리는 상관이 높은 G와 E를 이용하여 G+E를 전 화소에 보간하기 때문에, 휘도의 고역 성분까지 정확하게 산출할 수 있다.
도 6 내지 도 53을 이용하여 설명한 디모자이크 처리부(253)의 처리에 있어서는, 도 3을 이용하여 설명한 4색의 컬러필터, 또는 도 53에 도시되는 6색의 컬러필터를 이용하여 얻어진 모자이크 화상에 대하여, G+E 강도 추정 수단(282), G+E 강도 추정 수단(551), 또는 G+E 강도 추정 수단(571)에 있어서 G+E 강도를 추정하고, 이것을 기초로 RGBE의 4색의 화상을 얻도록 되어 있었다. 이것에 대해, 어느 색이 체크 무늬 형상으로 배치되어 있는 컬러필터가 이용되고 있는 경우, G+E 강도 대신에, 체크 무늬 형상으로 배치되어 있는 색의 정보를 이용하여 주목 화소의 휘도값을 추정하고, 이것을 기초로 RGBE의 4색의 화상을 얻도록 해도 좋다.
G+E 강도 대신에 주목 화소의 휘도값을 추정하는 경우, 도 5를 이용하여 설명한 DSP 블록(216)의 디모자이크 처리부(253) 대신에, 도 54에 도시되는 디모자이크 처리부(601)가 이용된다.
도 54의 디모자이크 처리부(601)는 G+E 강도 추정 수단(282) 대신에, 휘도 추정 처리부(611)가 구비되고, R 강도 추정부(283-1) 내지 E 강도 추정부(283-4) 대신에, R 강도 추정부(612-1) 내지 E 강도 추정부(612-4)가 구비되어 있는 것 외 에는, 도 6을 이용하여 설명한 디모자이크 처리부(253)와 마찬가지의 구성을 가지는 것이다.
도 54의 디모자이크 처리부(601)는, 도 1에 도시되는 베이어 배열 뿐만 아니라, 예를 들면 도 55에 도시되는 바와 같이, 도 1에 도시되는 베이어 배열의 B의 절반을 E로 치환하고, E의 배치가 세로 방향, 가로 방향 모두 1열 걸러서 배치되도록 되어 있는 4색의 컬러필터가 이용되고 있는 경우에, 매우 적합한 디모자이크 처리를 행할 수가 있다.
휘도 추정 처리부(611)는 국소 영역 추출부(281)가 추출한 n×n(예를 들면 9×9 등)의 국소 영역의 화소의 직사각형 영역의 화소를 이용하여, 주목 화소 위치의 휘도 추정값을 산출하는 처리를 행한다.
R 강도 추정부(612-1) 내지 E 강도 추정부(612-4)는, 휘도 추정 처리부(611)가 산출한 휘도의 추정값과, 국소 영역 추출부(281)가 추출한 직사각형 영역의 화소를 이용하여, RGBE의 각각의 강도의 추정값을 연산한다. R 강도 추정부(612-1), G 강도 추정부(612-2), B 강도 추정부(612-3) 및 E 강도 추정부(612-4)는, 기본적으로 마찬가지의 구성을 가지고 있기 때문에, 이하, R 강도 추정부(612-1), G 강도 추정부(612-2), B 강도 추정부(612-3) 및 E 강도 추정부(612-4)를 개별적으로 구별할 필요가 없는 경우, R(G, B 또는 E) 강도 추정부(612)로 칭하거나, 또는 R 강도 추정부(612-1), G 강도 추정부(612-2), B강도 추정부(612-3) 및 E 강도 추정부 (612-4) 모두를 RGBE 강도 추정부(612)로 칭하는 것으로 한다.
도 56은 휘도 추정 처리부(611)의 구성을 도시하는 블록도이다.
휘도 추정 처리부(611)는 주목 화소 선택부(301), 텍스처 방향 판정부(305), 제 1 강도 추정부(621), 제 2 강도 추정부(622), 스위치(623) 및 스위치(624)로 구성되어 있다. 주목 화소 선택부(301) 및 텍스처 방향 판정부(305)는 각각, 도 8을 이용하여 설명한 경우와 마찬가지의 기능을 가지는 것이다. 제 1 강도 추정부(621) 및 제 2 강도 추정부(622)는 국소 영역의 화소와 주목 화소 위치에 있는 색의 강도 추정값에 의거하여, 추정해야 할 색의 강도를 산출하는 것이다. 여기서 추정해야 할 색이란, 도 55를 이용하여 설명한 컬러필터에 있어서 체크 무늬 형상으로 배치되어 있는 G이다. 휘도 추정 처리부(611)는 G가 체크 무늬 형상으로 존재하는 것을 이용하여 G 강도를 휘도 성분으로서 산출한다. 즉, 휘도 추정 처리부(611)가 실행하는 휘도 추정 처리는 G 강도를 추정하는 것이지만, 디모자이크 수단의 출력 결과로서의 G 강도는 이것과는 별도로 산출되기 때문에, 그것과는 구별하여 휘도 추정 처리부(611)가 추정하는 G 강도를 휘도라고 칭하는 것으로 한다. 제 1 강도 추정부 (621)는 주목 화소의 좌우의 화소의 화소값을 이용하여 휘도를 산출하고, 제 2 강도 추정부(622)는 주목 화소의 상하의 화소의 화소값을 이용하여 휘도를 산출한다.
스위치(623)는 텍스처 방향 판정부(305)가 출력하는 텍스처 방향의 판정 결과에 의거하여, 입력된 2개의 강도 추정값의 어느 쪽을 사용해야 할 것인가를 선택한다. 만약 텍스처의 방향이 보다 가로 줄무늬에 가깝다고 판정된 경우, 제 1 강도 추정부(621)에 의해 산출된 강도 추정값이 스위치(623)로부터 출력되고, 세로 줄무늬에 가깝다고 판정된 경우, 제 2 강도 추정부(622)에 의해 산출된 강도 추정값이 스위치(623)로부터 출력되도록 되어 있다. 스위치(624)는 본래의 모자이크 화상에 있어서 주목 화소 위치의 색이 무슨 색이냐에 의거하여, 입력된 2개의 강도 추정값의 어느 쪽을 사용해야 할 것인가를 선택한다. 모자이크 화상의 주목 화소 위치가 G 그 자체이면, 특별한 추정 처리의 필요가 없고 그대로 모자이크 화상의 주목 화소의 강도를 출력하면 되기 때문에, 주목 화소 선택부(301)의 출력이 스위치(624)의 출력으로 되도록, 모자이크 화상의 주목 화소 위치가 G가 아닌 경우에는, 스위치(623)의 출력이 스위치(624)의 출력으로 되도록, 스위치(624)로부터의 출력 신호가 선택된다.
도 57은, 도 56의 제 1 강도 추정부(621) 또는 제 2 강도 추정부(622)의 구성을 도시하는 블록도이다. 조 보간 처리부(631)는 모자이크 화상을 기초로 제 1 색과 제 2 색의 러프한 보간값을 구하는 처리를 실행한다. 조 보간 처리부(631)의 상세한 처리에 대해서는, 도 64 및 도 65의 플로우차트를 참조하여 후술한다. 통계량 산출부(342) 및 회귀 연산 처리부(343)는 도 10을 이용하여 설명한 경우와 마찬가지의 기능을 가지는 것이다.
제 1 강도 추정부(621)와 제 2 강도 추정부(622)의 차이는, 조 보간 처리부 (631)가 실행하는 조 보간 처리에 있어서의 제 1 색과 제 2 색의 선택의 방법이다. 그들 차이에 대해서 도 58 및 도 59를 이용하여 설명한다. 도 58 및 도 59에 있어서는 주목 화소가 R인 경우에 대해서 설명하지만, 주목 화소가 B나 E인 경우도 마찬가지이다.
제 1 강도 추정부(621)는 도 58에 도시되는 바와 같이, 제 1 색(Cr)으로서 주목 화소 위치에 있는 색(도 58에서는 R), 제 2 색(Ce)으로서 Cr의 좌우에 인접하 는 색, 즉 G를 선택한다. 도면 중, 빗금이 쳐져 있는 부분의 화소인 R과 G의 화소가, 제 1 강도 추정부(621)의 조 보간 처리부(631)에서 사용되는 화소이다. 한편, 제 2 강도 추정부(622)는 도 59에 도시되는 바와 같이, 제 1 색(Cr)으로서 주목 화소 위치에 있는 색(도 59에서는 R), 제 2 색(Ce)으로서 Cr의 상하에 인접하는 색, 즉 G를 선택한다. 도면 중, 빗금이 쳐져 있는 부분의 화소인 R과 G의 화소가, 제 2 강도 추정부(622)의 조 보간 처리부(631)에서 사용되는 화소이다.
또한, 통계량 산출부(342)에 있어서 실행되는 평균값, 분산값, 공분산값의 산출은 상술한 경우와 마찬가지이며, 예를 들면 그 가중 계수로서는, 도 60에 도시되는 바와 같이, 주목 화소 위치에 있어서 가장 가중 계수가 크고, 주목 화소 위치로부터 멀어짐에 따라 가중 계수가 작게 되도록 결정되어 있는 것이 이용된다.
도 61은 도 54의 R 강도 추정부(612-1) 내지 E 강도 추정부(612-4)의 구성을 도시하는 블록도이다. 도 61에 있어서는 신뢰도 산출부(471) 및 조 보간 처리부 (641)를 각각 1개씩 도시하고, RGBE 강도 추정부(612)로서 도시하고 있지만, R 강도 추정부(612-1) 내지 E 강도 추정부(612-4)의 각각에, 신뢰도 산출부(471) 및 조 보간 처리부(641)를 설치하도록 해도 좋음은 말할 필요도 없다. 또, 도 17을 이용하여 설명한 RGBE 강도 추정부(283)와 대응하는 부분에는 동일한 부호를 붙였다. 즉, 도 61의 RGBE 강도 추정부(612)는 합성 처리부(473)가 생략되고, 조 보간 처리부(472) 대신에 조 보간 처리부(641)가 설치되어 있는 것 외에는, 도 17의 RGBE 강도 추정부(283)와 기본적으로 마찬가지의 구성을 가지는 것이다.
조 보간 처리부(641)는 n×n 화소의 국소 영역 내에 있는 화소를 이용하여, 동일 위치에 있어서의 다른 2개의 색(제 1 색을 Cr, 제 2 색을 Ce으로 한다)의 러프한 보간값의 조를 복수 개 생성한다. 조 보간 처리부(641)가 실행하는 처리의 상세는, 도 67의 플로우차트를 이용하여 후술한다.
다음에, 도 62의 플로우차트를 참조하여, 도 23의 스텝 S4에 있어서, 도 54의 디모자이크 처리부(601)가 실행하는 디모자이크 처리 2에 대해서 설명한다.
국소 영역 추출부(281)는 스텝 S451에 있어서, 미처리의 화소 중 어느 것인가를 주목 화소로 하고, 스텝 S452에 있어서 주목 화소 위치의 주변의 소정 수(n×n)의 화소를 국소 영역으로서 추출하여, 휘도 추정 처리부(611) 및 R(G, B 또는 E) 강도 추정부(612)에 공급한다.
스텝 S453에 있어서, 도 62의 플로우차트를 이용하여 후술하는 휘도 추정 처리가 실행된다.
스텝 S454에 있어서, 도 63의 플로우차트를 이용하여 후술하는 색 강도 추정 처리 2가, 도 61의 R(G, B 또는 E) 강도 추정부(612)의 각각에 있어서 병행하여 실행된다.
스텝 S455에 있어서, 국소 영역 추출부(281)는 전 화소에 있어서 처리가 종료되었는지 여부를 판단한다. 스텝 S455에 있어서, 전 화소에 있어서 처리가 종료되지 않았다고 판단된 경우, 처리는 스텝 S451으로 되돌아가서 그 이후의 처리가 반복된다. 스텝 S455에 있어서 전 화소에 있어서 처리가 종료되었다고 판단된 경우, 처리는 도 23의 스텝 S5로 진행된다.
바꿔 말하자면, 디모자이크 처리부(601)를 구성하는 각 부는, 어느 주목 화 소 위치가 결정되었을 때에 그 주목 화소 위치에 있어서 각각의 처리를 실행하고, 전 화소에 있어서 스텝 S451 내지 스텝 S455의 처리가 종료된 경우, 처리가 종료된다.
이와 같은 처리에 의해, CCD 이미지 센서(213)가 가지는 컬러필터의 배열에 의거하여 얻어지는 모자이크 화상을 디모자이크(색 보간, 또는 동시화)하고, 각 화소에 있어서 컬러필터를 구성하는 각 색이 보간된 화상 데이터를 얻을 수가 있다.
다음에, 도 63의 플로우차트를 참조하여, 도 62의 스텝 S453에서 실행되는 휘도 추정 처리에 대해서 설명한다.
또, 도 56을 이용하여 설명한 처리에서는, 주목 화소의 색이 G인지 여부 및 텍스처의 방향에 의거하여, 3개의 추정값을 미리 구하고, 스위치(623) 및 스위치(624)에 의해, 주목 화소의 색과 텍스처 방향에 대응하는 휘도값의 추정값을 출력하는 것으로서 설명하였지만, 소프트웨어에 의해 마찬가지의 처리가 실행되는 경우에는, 주목 화소의 색이 G인지 여부 및 텍스처의 방향을 검출하고 나서, 적합한 강도 추정값의 산출 방법을 이용하도록 하는 편이 매우 적합하다.
스텝 S471에 있어서 스위치(624)는, 주목 화소의 색이 G인지 여부를 판단한다.
스텝 S471에 있어서, 주목 화소의 색이 G라고 판단된 경우, 스텝 S473에 있어서 스위치(624)는, 주목 화소 선택부(301)에 의해 선택된 주목 화소 위치의 화소 강도를 출력하고, 처리는 도 62의 스텝 S454로 진행된다.
스텝 S471에 있어서, 주목 화소의 색이 G가 아니라고 판단된 경우, 스텝 S472에 있어서 스위치(623)는, 국소 영역의 텍스처 방향은 가로 줄무늬에 가까운지 여부를 판단한다.
스텝 S472에 있어서, 국소 영역의 텍스처 방향은 가로 줄무늬에 가깝다고 판단된 경우, 스텝 S474에 있어서, 스위치(623)는 제 1 강도 추정부(621)에 의해 보간해야 할 강도 추정값을 산출하여 출력하고, 처리는 도 62의 스텝 S454로 진행된다.
스텝 S472에 있어서, 국소 영역의 텍스처 방향은 가로 줄무늬에 가깝지 않다, 즉 세로 줄무늬에 가깝다고 판단된 경우, 스텝 S475에 있어서 스위치(623)는 제 2 강도 추정부(622)에 의해 보간해야 할 강도 추정값을 산출하여 출력하고, 처리는 도 62의 스텝 S454로 진행된다.
이와 같은 처리에 의해, 주목 화소의 색이 G인지 여부 및 텍스처의 방향에 대응한 휘도값의 추정값이 산출되어 출력된다.
다음에, 도 64의 플로우차트를 참조하여 도 57의 제 1 강도 추정부(621)의 조 보간 처리부(631)가 실행하는 조 보간 처리 3에 대해서 설명한다.
조 보간 처리부(631)는 스텝 S481에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s)을 초기화하여 s=2로 하고, 스텝 S482에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t)을 초기화하여 t=2로 한다.
스텝 S483에 있어서 조 보간 처리부(631)는, 화소(s, t)는 주목 화소와 동일한 색인지 여부를 판단한다. 스텝 S483에 있어서 화소(s, t)는, 주목 화소와 동일 한 색이 아니라고 판단된 경우, 처리는 스텝 S486으로 진행된다.
스텝 S483에 있어서 화소(s, t)는, 주목 화소와 동일한 색이라고 판단된 경우, 스텝 S484에 있어서 조 보간 처리부(631)는, 제 1 색인 화소(s, t)와 화소(s, t)의 좌측에 위치하는 제 2 색인 화소의 강도의 조를 작성한다.
스텝 S485에 있어서 조 보간 처리부(631)는, 제 1 색인 화소(s, t)와 화소(s, t)의 우측에 위치하는 제 2 색인 화소의 강도의 조를 작성한다.
스텝 S486에 있어서 조 보간 처리부(631)는, 제 2 레지스터의 값(t)을 참조하고, t=n-1 인지 여부를 판단한다.
스텝 S486에 있어서 t=n-1이 아니라고 판단된 경우, 스텝 S487에 있어서 조 보간 처리부(631)는 제 2 레지스터의 값(t)을 t=t+1으로 하고, 처리는 스텝 S483으로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S486에 있어서 t=n-1이라고 판단된 경우, 스텝 S488에 있어서 조 보간 처리부(631)는 제 1 레지스터의 값(s)을 참조하고, s=n-1인지 여부를 판단한다.
스텝 S488에 있어서 s=n-1이 아니라고 판단된 경우, 스텝 S489에 있어서 조 보간 처리부(631)는 제 1 레지스터의 값(s)을 s=s+1로 하고, 처리는 스텝 S482로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S488에 있어서 s=n-1이라고 판단된 경우, 스텝 S490에 있어서 조 보간 처리부(631)는 제 1 색 및 제 2 색의 조를 출력하여 처리가 종료된다.
이와 같은 처리에 의해, 가로 방향의 텍스처에 있어서 신뢰도가 높은 휘도 추정값이 산출된다.
다음에, 도 65의 플로우차트를 참조하여 도 57의 제 2 강도 추정부(622)의 조 보간 처리부(631)가 실행하는 조 보간 처리 4에 대해서 설명한다.
조 보간 처리부(631)는 스텝 S491에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 1 레지스터의 값(s)을 초기화하여 s=2로 하고, 스텝 S492에 있어서, 공급된 국소 영역의 화소 중, 처리를 실행할 화소 위치를 나타내는 제 2 레지스터의 값(t)을 초기화하여 t=2로 한다.
스텝 S493에 있어서 조 보간 처리부(631)는, 화소(s, t)는 주목 화소와 동일한 색인지 여부를 판단한다. 스텝 S493에 있어서, 화소(s, t)는 주목 화소와 동일한 색이 아니라고 판단된 경우, 처리는 스텝 S496으로 진행된다.
스텝 S493에 있어서, 화소(s, t)는 주목 화소와 동일한 색이라고 판단된 경우, 스텝 S494에 있어서 조 보간 처리부(631)는 제 1 색인 화소(s, t)와 화소(s, t)의 위쪽에 위치하는 제 2 색인 화소의 강도의 조를 작성한다.
스텝 S495에 있어서 조 보간 처리부(631)는, 제 1 색인 화소(s, t)와 화소(s, t)의 아래쪽에 위치하는 제 2 색인 화소의 강도의 조를 작성한다.
스텝 S496에 있어서 조 보간 처리부(631)는, 제 2 레지스터의 값(t)을 참조하고, t=n-1인지 여부를 판단한다.
스텝 S496에 있어서 t=n-1이 아니라고 판단된 경우, 스텝 S497에 있어서 조 보간 처리부(631)는, 제 2 레지스터의 값(t)을 t=t+1으로 하고, 처리는 스텝 S493으로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S496에 있어서 t=n-1이라고 판단된 경우, 스텝 S498에 있어서 조 보간 처리부(631)는, 제 1 레지스터의 값(s)을 참조하고, s=n-1인지 여부를 판단한다.
스텝 S498에 있어서 s=n-1이 아니라고 판단된 경우, 스텝 S499에 있어서 조 보간 처리부(631)는, 제 1 레지스터의 값(s)을 s=s+1로 하고, 처리는 스텝 S492로 되돌아와서 그 이후의 처리가 반복된다.
스텝 S498에 있어서 s=n-1이라고 판단된 경우, 스텝 S500에 있어서 조 보간 처리부(631)는 제 1 색 및 제 2 색의 조를 출력하여 처리가 종료된다.
이와 같은 처리에 의해, 세로 방향의 텍스처에 있어서 신뢰도가 높은 휘도 추정값이 산출된다.
다음에, 도 66의 플로우차트를 참조하여, 도 61을 이용하여 설명한 RGBE 강도 추정부(612)가 도 62의 스텝 S454에서 실행하는 색 강도 추정 처리 2에 대해서 설명한다.
스텝 S511에 있어서 조 보간 처리부(641)는, 도 67을 이용하여 후술하는 조 보간 처리 5를 실행한다.
스텝 S512에 있어서 신뢰도 산출부(471)는, 휘도 추정 처리부(611)에서 산출된 휘도의 추정값을 취득한다.
스텝 S513에 있어서 신뢰도 산출부(471)는, 도 51의 플로우차트를 이용하여 설명한 신뢰도값 산출 처리를 실행한다.
스텝 S514에 있어서 통계량 산출부(342-1 내지 342-4)는, 도 28을 이용하여 설명한 2색 분포 형상의 통계량 산출 처리를 실행한다.
스텝 S515에 있어서 회귀 연산 처리부(474-1 내지 474-4)는, 도 52를 이용하 여 설명한 보간 화소 추정 처리 2를 실행하고, 처리는 도 62의 스텝 S455로 진행된다.
다음에, 도 67의 플로우차트를 참조하여, 도 61의 조 보간 처리부(641)가 도 66의 스텝 S511에서 실행하는 조 보간 처리 5에 대해서 설명한다.
스텝 S531에 있어서 조 보간 처리부(641)는, 공급된 국소 영역 중 주목 화소를 중심으로 한 (n-2)×(n-2)의 영역 중, 소정의 화소 위치의 화소의 색이 G인지 여부를 판단한다.
스텝 S531에 있어서, 소정의 화소 위치의 화소의 색이 G라고 판단된 경우, 스텝 S532에 있어서,조 보간 처리부(641)는, 주목 화소의 강도(Ce)와 주목 화소의 강도(Ce)와의 조(Ce, Ce)를 만든다.
스텝 S533에 있어서 조 보간 처리부(641)는, (Ce, Ce)를 Lg와 G의 조로서 추가하고, 처리는 도 62의 스텝 S455로 진행된다.
스텝 S531에 있어서, 소정의 화소 위치의 화소의 색이 G가 아니라고 판단된 경우, 스텝 S534에 있어서 조 보간 처리부(641)는, 소정의 화소의 4 근방, 즉, 그 화소의 상하 좌우의 화소로부터 G 강도의 값을 2개 추출한다.
스텝 S535에 있어서 조 보간 처리부(641)는, 추출한 G 강도를 L1 및 L2로 하고, 소정의 화소의 강도(Ce)와의 조(L1, Ce) 및 (L2, Ce)를 만든다.
스텝 S536에 있어서 조 보간 처리부(641)는, 소정의 화소의 색이 R인지 여부를 판단한다.
스텝 S536에 있어서 소정의 화소의 색이 R이라고 판단된 경우, 스텝 S537에 있어서 조 보간 처리부(641)는, (L1, Ce) 및 (L2, Ce)를 Lr과 R의 조로서 추가하고, 처리는 도 62의 스텝 S455로 진행된다.
스텝 S536에 있어서 소정의 화소의 색이 R이 아니라고 판단된 경우, 스텝 S538에 있어서 조 보간 처리부(641)는, 소정의 화소의 색이 B인지 여부를 판단한다.
스텝 S538에 있어서 소정의 화소의 색이 B라고 판단된 경우, 스텝 S539에 있어서 조 보간 처리부(641)는, (L1, Ce) 및 (L2, Ce)를 Lb와 B의 조로서 추가하고, 처리는 도 62의 스텝 S455로 진행된다.
스텝 S538에 있어서 소정의 화소의 색이 B가 아닌, 즉 E라고 판단된 경우, 스텝 S540에 있어서 조 보간 처리부(641)는, (L1, Ce) 및 (L2, Ce)를 Le와 E의 조로서 추가하고, 처리는 도 62의 스텝 S455로 진행된다.
조 보간 처리부(641)는 이러한 처리에 의해 러프한 보간값의 조를, 국소 영역 중 주목 화소를 중심으로 한 (n-2)×(n-2)의 영역에서 모두 산출하고, (n-2)×(n-2)의 영역에서 산출된 모든 러프한 보간값의 조를 통계량 산출부(342-1 내지 342-4)에 출력한다.
도 67의 처리에 있어서는, 스텝 S534에 있어서 조 보간 처리부(641)는, 소정의 화소의 4 근방, 즉 그 화소의 상하 좌우의 화소로부터 G 강도의 값을 2개 추출하도록 되어 있지만, 2개의 G 강도를 선택하는 방법으로서는 다른 방법을 이용하도록 해도 좋다. 예를 들면, 구체적으로는 상하의 G 강도와 좌우의 G 강도의 각각으로 차분(差分)값을 산출하고, 상하 혹은 좌우의 2개 중 차분값이 작은 쪽을 선택한 다. 이와 같이 하는 것에 의해, 소정의 화소의 화소 위치가 물체 윤곽상(上) 등 색변화가 큰 곳에 있을 때, 가능한 한 변화가 작은 방향의 G를 선택할 수가 있다. 또한, 마찬가지로 해서 가능한 한 색 변화가 작은 방향을 선택하기 위한 제 2 방법으로서 상하 좌우의 G 강도 중 최대값, 최소값을 제외한 2개를 선택하는 방법도 있다. 제 3 방법으로서는, 휘도 추정 처리부(611) 중 텍스처 방향 판정부(305)에 의한 텍스처 방향의 판정 결과를 유용(流用)하여, 가로 줄무늬이면 좌우의 G 강도, 세로 줄무늬이면 상하의 G 강도를 선택하도록 해도 좋다. 또한, 소정의 화소 위치로서 국소 영역 모두의 n×n의 화소를 선택하도록 한 경우, 화소 위치가 국소 영역의 모서리일 때에는, 인접하는 G는 2개 밖에 없기 때문에 그것을 선택하도록 하면 좋다.
또한, 도 54의 디모자이크 처리부(601)는 도 1에 도시되는 베이어 배열이나 도 55에 도시되는 원색 4색의 컬러필터의 배열 뿐만 아니라, 예를 들면 도 68에 도시되는 바와 같은 5색의 컬러필터가 이용되고 있는 경우에도, 매우 적합한 디모자이크 처리를 행할 수가 있다. 이 5색 배열은 3색의 베이어 배열의 R 및 B의 화소 위치의 절반을 각각 약간 분광 특성이 다른 것으로 치환한 배열로 되어 있다(바꿔 말하자면, R1과 R2, B1과 B2의 분광 특성은 높은 상관을 가지고 있다). 이 5색 배열에 있어서 G의 배열은 도 55의 4색 배열과 동일하기 때문에, 도 54의 디모자이크 처리부(601)에 의한 G를 이용한 휘도 성분의 산출 방법을 그대로 적용할 수가 있다.
또, 도 68에 도시되는 컬러필터 배열에 대해서, 예를 들면 3색 베이어 배열 의 R 화소 위치의 절반을 각각 약간 분광 특성이 다른 것으로 치환한 4색 배열이나, 3색의 베이어 배열의 B화소 위치의 절반을 각각 약간 분광 특성이 다른 것으로 치환한 4색 배열에 있어서도 본 발명은 적용 가능함은 말할 필요도 없다.
이와 같이, 본 발명은 4색 이상의 색 배열에 대해서도 적용되며, 마찬가지로 재그니스의 저감 및 해상도감의 향상을 가능하게 한다.
이상에서는, 디지털카메라(201)에 있어서의 화상 처리에 대해서 설명하였지만, 동화상을 촬상하는 것이 가능한 디지털 비디오 카메라에 대해서도 본 발명은 적용 가능하다. 디지털 비디오 카메라에 본 발명이 적용되는 경우, 코덱 처리부 (221)는, 예를 들면 MPEG(Moving Picture Coding Experts Group/Moving Picture Experts Group) 등의 디지털 화상 데이터의 압축 또는 신장 알고리즘에 의한 처리를 실행한다.
상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다.
이 경우, 소프트웨어를 DSP 블록(216)이 실행하는 것에 의해, 상술한 기능이 실현된다. 또한, 예를 들면 디지털카메라(201)의 처리의 일부는, 도 69에 도시되는 바와 같은 퍼스널컴퓨터(701)에 의해 실행하는 것이 가능해진다.
도 69에 있어서 CPU(Central Processing Unit)(711)는 ROM(Read Only Memory)(712)에 기억되어 있는 프로그램, 또는 기억부(718)로부터 RAM(Random Access Memory)(713)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(713)에는 또한 CPU(711)가 각종 처리를 실행하는데 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(711), ROM(712) 및 RAM(713)은, 버스(714)를 거쳐서 서로 접속되어 있다. 이 버스(714)에는 또한 입출력 인터페이스(715)도 접속되어 있다.
입출력 인터페이스(715)에는 키보드, 마우스 등으로 이루어지는 입력부 (716), 디스플레이나 스피커 등으로 이루어지는 출력부(717), 하드 디스크 등으로 구성되는 기억부(718), 모뎀, 터미널 어댑터 등으로 구성되는 통신부(719)가 접속되어 있다. 통신부(719)는 인터넷을 포함하는 네트워크를 거친 통신 처리를 행한다.
입출력 인터페이스(715)에는 또한, 필요에 따라서 드라이브(720)가 접속되고, 자기 디스크(731), 광 디스크(732), 광자기 디스크(733) 혹은 반도체 메모리(734) 등이 적절히 장착되며, 그들로부터 판독출력{讀出; read}된 컴퓨터프로그램이 필요에 따라서 기억부(718)에 인스톨된다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어{예를 들면, DSP 블록(216)이나, 그 중에 포함되어 있는 디모자이크 처리부(253) 또는 디모자이크 처리부(601)}에 내장되어 있는 컴퓨터 또는 각종 프로그램을 인스톨 하는 것으로, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널컴퓨터 등에 네트워크나 기록 매체로부터 인스톨 된다.
이 기록 매체는 도 69에 도시되는 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 공급하기 위해 배포되는, 프로그램이 기억되어 있는 자기 디스크 (731)(플로피디스크를 포함한다), 광 디스크(732){CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함한다}, 광자기 디스크(733){MD(Mini-Disk)(상표)를 포함한다}, 혹은 반도체 메모리(734) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태로 유저에게 공급되는, 프로그램이 기억되어 있는 ROM(712)이나, 기억부(718)에 포함되는 하드디스크 등으로 구성된다.
또, 본 명세서에 있어서 기록 매체에 기억되는 프로그램을 기술하는 스텝은, 포함하는 순서에 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.
본 발명에 의하면, 모자이크 화상이 취득되고, 모자이크 화상이 처리되어 컬러 화상이 생성된다. 특히, 취득된 모자이크 화상으로부터 모자이크 화상 중 체크 무늬 형상으로 배치된 휘도의 분광 특성(예를 들면 비 시감도 곡선)에 강한 상관을 가지는 필터의 색에 대응하는 강도 추정값이 산출되고, 산출된 강도 추정값을 기초로 휘도값이 산출되며, 더욱이 휘도값에 의거한 연산에 의해, 필터의 분광 감도에 의해 정해지는 복수의 색에 대응하는 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상이 생성되기 때문에, 원색계의 4색 이상의 색으로 구성되어 있는 배열을 이용하는 단판 컬러 촬상 장치에 있어서, 휘도의 고역 성분의 재현을 향상시키고 재그니스를 저감시킴과 동시에, 해상도감의 향상을 가능하게 할 수가 있다.

Claims (32)

  1. 화상을 촬상하여 처리하는 화상 처리 장치에 있어서,
    분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 상기 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 화상 취득 수단과,
    상기 화상 취득 수단에 의해 취득된 상기 모자이크 화상으로부터, 상기 필터의 상기 분광 감도에 의해 정해지는 복수의 색에 대응하는 상기 화소 위치 마다의 강도 정보가 전(全) 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 수단을
    구비하고,
    상기 화상 취득 수단의 상기 화상 센서의 색 필터 배열은, 전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성에 강한 상관(相關)을 가지는 분광 특성을 가지는 것이며,
    상기 화상 처리 수단은,
    상기 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 상기 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 화상 취득 수단의 상기 화상 센서의 색 필터 배열은,
    복수 종류의 상기 필터 중의 휘도의 분광 특성에 강한 상관을 가지는 분광 특성을 가지는 제 1 색에 대응하는 제 1 필터가, 수평 및 수직으로 1 라인 걸러서 배치되고,
    상기 제 1 색과는 다른, 휘도의 분광 특성에 강한 상관을 가지는 분광 특성을 가지는 제 2 색에 대응하는 제 2 필터가, 수평 및 수직으로 1 라인 걸러서, 또한 상기 제 1 필터와는 다른 라인에 배치되며,
    상기 화상 처리 수단은,
    상기 모자이크 화상 중의 주목 화소 위치에 있어서의 상기 제 1 색의 강도 추정값인 제 1 강도 추정값을 산출하는 제 1 산출 수단과,
    상기 주목 화소 위치에 있어서의 상기 제 2 색의 강도 추정값인 제 2 강도 추정값을 산출하는 제 2 산출 수단과,
    상기 제 1 산출 수단에 의해 산출된 상기 제 1 강도 추정값과, 상기 제 2 산출 수단에 의해 산출된 상기 제 2 강도 추정값을 합성하는 합성 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 2항에 있어서,
    상기 제 1 산출 수단은,
    상기 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색(旣知色)에 대응하는 강도값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    포함하고,
    상기 주목 화소가 상기 제 1 색이 아닌 경우, 상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고, 상기 제 1 색을 상기 목표색으로 하여, 상기 제 3 산출 수단에 의해 상기 제 1 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  4. 제 3항에 있어서,
    상기 제 3 산출 수단은,
    상기 주목 화소 근방에 있어서의, 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도와의 조(組)를 복수 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 상기 기지색과 상기 목표색 사이의 색 분포의 무게중심{重心} 및 기울기를 산출하는 제 4 산출 수단과,
    상기 제 4 산출 수단에 의해 산출된 상기 색 분포의 무게중심 및 기울기와, 상기 주목 화소 위치에 있어서의 상기 기지색에 대응하는 강도값에 의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을
    구비하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 4항에 있어서,
    상기 제 5 산출 수단은 회귀(回歸) 연산을 이용하여 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  6. 제 2항에 있어서,
    상기 제 2 산출 수단은,
    상기 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    포함하고,
    상기 주목 화소가 상기 제 2 색이 아닌 경우,
    상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 2 색을 상기 목표색으로 하여, 상기 제 3 산출 수단에 의해 상기 제 2 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  7. 제 6항에 있어서,
    상기 제 3 산출 수단은,
    상기 주목 화소 근방에 있어서의, 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 상기 기지색과 상기 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단과,
    상기 제 4 산출 수단에 의해 산출된 상기 색 분포의 무게중심 및 기울기와, 상기 주목 화소 위치에 있어서의 상기 기지색에 대응하는 강도값에 의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을
    구비하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 7항에 있어서,
    상기 제 5 산출 수단은 회귀 연산을 이용하여 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  9. 제 2항에 있어서,
    상기 제 1 산출 수단은,
    상기 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    2 이상 포함하고,
    상기 주목 화소가 상기 제 1 색이 아닌 경우,
    제 1의 상기 제 3 산출 수단은,
    상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 2 색을 상기 목표색으로 하여, 상기 주목 화소 위치에 있어서의 상기 제 2 색에 대응하는 강도값을 산출하고,
    제 2의 상기 제 3 산출 수단은,
    상기 제 2 색을 상기 기지색으로 하고 상기 제 1 색을 상기 목표색으 로 하여, 상기 제 1 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  10. 제 9항에 있어서,
    상기 제 3 산출 수단은,
    상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 상기 기지색과 상기 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단과,
    상기 제 4 산출 수단에 의해 산출된 상기 색 분포의 무게중심 및 기울기와, 상기 주목 화소 위치에 있어서의 상기 기지색에 대응하는 강도값에 의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을
    구비하는 것을 특징으로 하는 화상 처리 장치.
  11. 제 10항에 있어서,
    상기 제 5 산출 수단은 회귀 연산을 이용하여 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  12. 제 2항에 있어서,
    상기 제 2 산출 수단은,
    상기 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    2 이상 포함하고,
    상기 주목 화소가 상기 제 2 색이 아닌 경우,
    제 1의 상기 제 3 산출 수단은,
    상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 1 색을 상기 목표색으로 하여, 상기 주목 화소 위치에 있어서의 상기 제 1 색에 대응하는 강도값을 산출하고,
    제 2의 상기 제 3 산출 수단은,
    상기 제 1 색을 상기 기지색으로 하고 상기 제 2 색을 상기 목표색으로 하여, 상기 제 2 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  13. 제 12항에 있어서,
    상기 제 3 산출 수단은,
    상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 상기 기지색과 상기 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 4 산출 수단과,
    상기 제 4 산출 수단에 의해 산출된 상기 색 분포의 무게중심 및 기울기와, 상기 주목 화소 위치에 있어서의 상기 기지색에 대응하는 강도값에 의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 5 산출 수단을
    구비하는 것을 특징으로 하는 화상 처리 장치.
  14. 제 13항에 있어서,
    상기 제 5 산출 수단은 회귀 연산을 이용하여 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  15. 제 2항에 있어서,
    상기 제 1 산출 수단은,
    상기 제 1 강도 추정값의 제 1 추정값을 산출하는 제 1 강도 추정 수단과,
    상기 제 1 강도 추정값의 제 2 추정값을 산출하는 제 2 강도 추정 수단과,
    상기 주목 화소 근방에 있어서의 텍스처 방향을 판별하는 판별 수단과,
    상기 판별 수단에 의한 판별 결과에 의거하여, 상기 제 1 강도 추정 수단에 의해 추정된 상기 제 1 추정값과, 상기 제 2 강도 추정 수단에 의해 추정된 상기 제 2 추정값 중, 어느 것인가 한쪽의 추정값을 선택하는 선택 수단을
    구비하고,
    상기 제 1 강도 추정 수단은,
    상기 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    포함하고,
    상기 주목 화소가 상기 제 1 색이 아닌 경우, 상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 1 색을 상기 목표색으로 하여, 상기 제 3 산출 수단에 의해 상기 제 1 강도 추정값의 상기 제 1 추정값을 산출하며,
    상기 제 2 강도 추정 수단은,
    2 이상의 상기 제 3 산출 수단을 포함하고,
    상기 주목 화소가 상기 제 1 색이 아닌 경우,
    제 1의 상기 제 3 산출 수단은, 상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 2 색을 상기 목표색으로 하여, 상기 주목 화소 위치에 있어서의 상기 제 2 색에 대응하는 강도값을 산출하고,
    제 2의 상기 제 3 산출 수단은, 상기 제 2 색을 상기 기지색으로 하고 상기 제 1 색을 상기 목표색으로 하여, 상기 제 1 강도 추정값의 상기 제 2 추정값을 산출하며,
    상기 선택 수단은, 상기 판별 수단에 의한 판별 결과 및 상기 주목 화소 위치에 대하여, 상기 제 1 색에 대응하는 필터가 수평 방향에 위치해 있는지 수직 방향에 위치해 있는지에 의거하여, 상기 제 1 강도 추정 수단에 의해 추정된 상기 제 1 추정값과 상기 제 2 강도 추정 수단에 의해 추정된 상기 제 2 추정값 중, 어느 것인가 한쪽의 추정값을 선택하는
    것을 특징으로 하는 화상 처리 장치.
  16. 제 2항에 있어서,
    상기 제 2 산출 수단은,
    상기 제 2 강도 추정값의 제 1 추정값을 산출하는 제 1 강도 추정 수단과,
    상기 제 2 강도 추정값의 제 2 추정값을 산출하는 제 2 강도 추정 수단과,
    상기 주목 화소 근방에 있어서의 텍스처 방향을 판별하는 판별 수단과,
    상기 판별 수단에 의한 판별 결과에 의거하여, 상기 제 1 강도 추정 수단에 의해 추정된 상기 제 1 추정값과 상기 제 2 강도 추정 수단에 의해 추정된 상기 제 2 추정값 중, 어느 것인가 한쪽의 추정값을 선택하는 선택 수단을
    구비하고,
    상기 제 1 강도 추정 수단은,
    상기 주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    포함하고,
    상기 주목 화소가 상기 제 2 색이 아닌 경우, 상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 2 색을 상기 목표색으로 하여, 상기 제 3 산출 수단에 의해 상기 제 2 강도 추정값의 상기 제 1 추정값을 산출하고,
    상기 제 2 강도 추정 수단은,
    2 이상의 상기 제 3 산출 수단을 포함하고,
    상기 주목 화소가 상기 제 2 색이 아닌 경우,
    제 1의 상기 제 3 산출 수단은, 상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 1 색을 상기 목표색으로 하여, 상기 주목 화소 위치에 있어서의 상기 제 1 색에 대응하는 강도값을 산출하고,
    제 2의 상기 제 3 산출 수단은, 상기 제 1 색을 상기 기지색으로 하고 상기 제 2 색을 상기 목표색으로 하여, 상기 제 2 강도 추정값의 상기 제 2 추정값을 산출하고,
    상기 선택 수단은, 상기 판별 수단에 의한 판별 결과 및 상기 주목 화소 위치에 대하여, 상기 제 2 색에 대응하는 필터가 수평 방향에 위치해 있는지 수직 방향에 위치해 있는지에 의거하여, 상기 제 1 강도 추정 수단에 의해 추정된 상기 제 1 추정값과, 상기 제 2 강도 추정 수단에 의해 추정된 상기 제 2 추정값 중, 어느 것인가 한쪽의 추정값을 선택하는
    것을 특징으로 하는 화상 처리 장치.
  17. 제 2항에 있어서,
    상기 화상 취득 수단의 상기 화상 센서의 복수 종류의 상기 필터의 필터 배열은,
    상기 필터 중의 상기 제 1 색 및 상기 제 2 색 중의 어느 것과도 다른 제 3 색의 필터가 수평 및 수직으로 1 라인 걸러서, 또한 상기 제 1 필터와는 다른 수평 라인에 배치되고,
    상기 필터 중의 상기 제 1 색, 상기 제 2 색 및 상기 제 3 색 중의 어느 것과도 다른 제 4 색의 필터가 수평 및 수직으로 1 라인 걸러서, 또한 상기 제 2 필터와는 다른 수평 라인에 배치되는
    것을 특징으로 하는 화상 처리 장치.
  18. 제 2항에 있어서,
    상기 화상 취득 수단의 상기 화상 센서의 복수 종류의 상기 필터의 필터 배열은,
    상기 필터 중의 상기 제 1 색 및 상기 제 2 색 중의 어느 것과도 다른 제 3 색 및 제 4 색의 필터가 수평 및 수직으로 1 라인 걸러서, 또한 상기 제 1 필터와는 다른 수평 라인에 번갈아{交互} 배치되고,
    상기 필터 중의 상기 제 1 색, 상기 제 2 색, 상기 제 3 색 및 제 4 색 중의 어느 것과도 다른 제 5 색 및 제 6 색의 필터가 수평 및 수직으로 1 라인 걸러서, 또한 상기 제 2 필터와는 다른 수평 라인에 번갈아 배치되는
    것을 특징으로 하는 화상 처리 장치.
  19. 제 18항에 있어서,
    상기 제 3 색 및 상기 제 4 색은 서로 높은 상관을 가지는 분광 특성을 가지고,
    상기 제 5 색 및 상기 제 6 색은 서로 높은 상관을 가지는 분광 특성을 가지는 것을 특징으로 하는 화상 처리 장치.
  20. 제 18항에 있어서,
    상기 제 3 색 및 상기 제 4 색은 동일한 색인 것을 특징으로 하는 화상 처리 장치.
  21. 제 18항에 있어서,
    상기 제 5 색 및 상기 제 6 색은 동일한 색인 것을 특징으로 하는 화상 처리 장치.
  22. 제 1항에 있어서,
    상기 화상 취득 수단의 상기 화상 센서의 색 필터 배열은,
    복수 종류의 상기 필터 중 휘도의 분광 특성에 강한 상관을 가지는 분광 특성을 가지는 제 1 색에 대응하는 제 1 필터가 체크 무늬 형상으로 배치되고,
    상기 화상 처리 수단은,
    주목 화소 위치에 있어서의 이미 얻어져 있는 기지색에 대응하는 강도 값과,
    상기 주목 화소 근방의 화소로부터 산출되는 상기 기지색과 추정하고 싶은 목표색 사이의 상관 관계에
    의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 1 산출 수단을
    포함하고,
    상기 주목 화소 위치에 있어서의 필터의 색을 상기 기지색으로 하고 상기 제 1 색을 상기 목표색으로 하여, 상기 제 1 산출 수단에 의해 제 1 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  23. 제 22항에 있어서,
    상기 제 1 산출 수단은,
    상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도와의 조를 복수 생성하는 생성 수단과,
    상기 생성 수단에 의해 생성된 상기 기지색에 대응하는 화소의 화소 강도와 상기 목표색에 대응하는 화소의 화소 강도의 복수의 조로부터, 상기 기지색과 상기 목표색 사이의 색 분포의 무게중심 및 기울기를 산출하는 제 2 산출 수단과,
    상기 제 2 산출 수단에 의해 산출된 상기 색 분포의 무게중심 및 기울기와, 상기 주목 화소 위치에 있어서의 상기 기지색에 대응하는 강도값에 의거하여, 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는 제 3 산출 수단을
    구비하는 것을 특징으로 하는 화상 처리 장치.
  24. 제 23항에 있어서,
    상기 제 3 산출 수단은 회귀 연산을 이용하여 상기 주목 화소 위치에 있어서의 상기 목표색에 대응하는 강도 추정값을 산출하는
    것을 특징으로 하는 화상 처리 장치.
  25. 제 22항에 있어서,
    상기 화상 취득 수단의 상기 화상 센서의 복수 종류의 상기 필터의 필터 배열은,
    상기 필터 중의 상기 제 1 색과는 다른 제 2 색의 필터가 수평 및 수직으로 1 라인 걸러서 배치되고,
    상기 필터 중의 상기 제 1 색 및 제 2 색의 필터가 배치되어 있지 않은 필터 위치에는, 상기 필터 중의 상기 제 1 색 및 상기 제 2 색 중의 어느 것과도 다른 제 3 색과 제 4 색의 필터가 기울기 방향으로 1 화소 걸러서의 기울어진 격자 형상으로 되도록 배치되는
    것을 특징으로 하는 화상 처리 장치.
  26. 제 25항에 있어서,
    상기 제 2 색은 상기 제 1 색보다 장파장 측에 감도를 가지는 바와 같은 분광 특성의 필터 색이고,
    상기 제 3 색 및 상기 제 2 색 중 적어도 한 쪽은 상기 제 1 색보다 단파장 측에 감도를 가지는 바와 같은 분광 특성의 필터색인
    것을 특징으로 하는 화상 처리 장치.
  27. 제 22항에 있어서,
    상기 화상 취득 수단의 상기 화상 센서의 복수 종류의 상기 필터의 필터 배열은,
    상기 필터 중의 상기 제 1 색과는 다른 제 2 색, 제 3 색, 제 4 색, 제 5 색의 필터가, 수평 및 수직으로 3 라인 걸러서, 또한 기울기 방향으로 1 화소 걸러서의 기울어진 격자 형상으로 되고, 제 2 색 및 제 3 색과 제 4 색 및 제 5 색은, 서로 다른 수평 및 수직 라인 위에 위치하도록 배치되는
    것을 특징으로 하는 화상 처리 장치.
  28. 제 27항에 있어서,
    상기 제 2 색 및 상기 제 3 색은 서로 높은 상관을 가지는 분광 특성을 가지고,
    상기 제 4 색 및 상기 제 5 색은 서로 높은 상관을 가지는 분광 특성을 가지 는 것을 특징으로 하는 화상 처리 장치.
  29. 제 27항에 있어서,
    상기 제 2 색 및 상기 제 3 색은 동일한 색인 것을 특징으로 하는 화상 처리 장치.
  30. 제 27항에 있어서,
    상기 제 4 색 및 상기 제 5 색은 동일한 색인 것을 특징으로 하는 화상 처리 장치.
  31. 화상을 촬상하여 처리하는 화상 처리 장치의 화상 처리 방법에 있어서,
    분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 상기 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 모자이크 화상으로부터, 상기 필터의 상기 분광 감도에 의해 정해지는 복수의 색에 대응하는 상기 화소 위치 마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 스텝을
    포함하고,
    상기 취득 스텝의 처리에서는,
    전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성에 강한 상관을 가지는 분광 특성을 가지는 바와 같은 색 배열을 가지는 모자이크 화상이 취득되고,
    상기 화상 처리 스텝은,
    상기 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 산출 스텝을
    포함하는 것을 특징으로 하는 화상 처리 방법.
  32. 화상을 촬상하고, 촬상한 화상의 처리를 실행하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독가능{可讀}한 기록 매체로서,
    분광 감도가 다른 적어도 4종류의 필터를 가지고, 복수 종류의 상기 필터 중의 어느 것인가가 화소마다 이용되고 있는 화상 센서에 의해 모자이크 화상을 취득하는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 모자이크 화상으로부터, 상기 필터의 상기 분광 감도에 의해 정해지는 복수의 색에 대응하는 상기 화소 위치마다의 강도 정보가 전 화소에서 갖추어지는 바와 같은 컬러 화상을 생성하는 화상 처리 스텝을
    포함하고,
    상기 취득 스텝의 처리에서는,
    전 화소의 절반에 체크 무늬 형상으로 배치되어 있는 화소가 가지는 필터가, 휘도의 분광 특성에 강한 상관을 가지는 분광 특성을 가지는 바와 같은 색 배열을 가지는 모자이크 화상이 취득되며,
    상기 화상 처리 스텝은,
    상기 체크 무늬 형상으로 배치되어 있는 화소가 가지는 색의 강도 추정값을 각 화소에서 산출하고, 그들 강도 추정값에 의거하여 각 화소의 휘도값을 산출하는 산출 스텝
    을 포함하는 것을 특징으로 하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독가능한 기록 매체.
KR1020040084721A 2003-10-23 2004-10-22 화상 처리 장치 및 화상 처리 방법과 기록 매체 KR101081000B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00363714 2003-10-23
JP2003363714 2003-10-23

Publications (2)

Publication Number Publication Date
KR20050039637A KR20050039637A (ko) 2005-04-29
KR101081000B1 true KR101081000B1 (ko) 2011-11-09

Family

ID=34510064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040084721A KR101081000B1 (ko) 2003-10-23 2004-10-22 화상 처리 장치 및 화상 처리 방법과 기록 매체

Country Status (3)

Country Link
US (1) US7548264B2 (ko)
KR (1) KR101081000B1 (ko)
CN (1) CN1610412B (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3719590B2 (ja) * 2001-05-24 2005-11-24 松下電器産業株式会社 表示方法及び表示装置ならびに画像処理方法
KR100811965B1 (ko) * 2003-12-22 2008-03-10 미쓰비시덴키 가부시키가이샤 화소 신호 처리 장치 및 화소 신호 처리 방법
JP2007208413A (ja) * 2006-01-31 2007-08-16 Olympus Corp 色補正装置および色補正方法ならびに色補正プログラム
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
JP4680166B2 (ja) * 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
CN101236646B (zh) * 2007-01-30 2011-09-14 宝利微***控股公司 在频率域检测与估计图像显著的强相关方向的方法和***
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
JP4894594B2 (ja) * 2007-04-05 2012-03-14 ソニー株式会社 画像処理装置
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
JP4507265B2 (ja) 2008-06-30 2010-07-21 ルネサスエレクトロニクス株式会社 画像処理回路、及びそれを搭載する表示パネルドライバ並びに表示装置
US8477247B2 (en) 2008-09-30 2013-07-02 Intel Corporation Joint enhancement of lightness, color and contrast of images and video
KR100905269B1 (ko) * 2008-11-27 2009-06-29 크라제비전(주) 적외선 보정 기능을 구비한 이미지센서
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
JP5670456B2 (ja) * 2009-08-25 2015-02-18 アイピーリンク・リミテッド カラー画像のノイズを低減すること
CN104010174B (zh) * 2009-10-13 2016-08-31 佳能株式会社 图像处理设备和图像处理方法
BR112012008515B1 (pt) * 2009-10-13 2021-04-27 Canon Kabushiki Kaisha Aparelho e método de processamento de imagem, e meios de gravação
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012004787A (ja) * 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8508621B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image sensor data formats and memory addressing techniques for image signal processing
JP5664255B2 (ja) * 2011-01-14 2015-02-04 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2012114992A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
KR20140133272A (ko) * 2013-05-10 2014-11-19 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법
CN103327220B (zh) * 2013-05-29 2016-09-07 湖南源信光电科技有限公司 低照度Bayer图像上以绿色通道为导向的去噪方法
CN103324946B (zh) * 2013-07-11 2016-08-17 广州广电运通金融电子股份有限公司 一种纸币识别分类的方法及***
US10139531B2 (en) * 2014-09-13 2018-11-27 The United States Of America, As Represented By The Secretary Of The Navy Multiple band short wave infrared mosaic array filter
JP6588043B2 (ja) * 2015-02-10 2019-10-09 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
KR102409389B1 (ko) * 2015-10-06 2022-06-15 삼성전자주식회사 색분리 소자를 포함하는 이미지 센서
CN105430357B (zh) * 2015-11-26 2017-07-18 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN112087559B (zh) * 2019-06-13 2021-11-30 华为技术有限公司 图像传感器、图像拍摄装置和方法
JP7476523B2 (ja) * 2019-11-25 2024-05-01 株式会社リコー 信号処理装置、撮像装置、読取装置、画像形成装置および信号処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163583A1 (en) 2001-05-02 2002-11-07 Jones Robert W. System and method for capturing color images that extends the dynamic range of an image sensor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253046A (en) * 1991-03-07 1993-10-12 Canon Kabushiki Kaisha Color image pickup apparatus for object image conversion
KR0146260B1 (ko) * 1993-06-16 1998-09-15 모리시타 요이찌 고체촬상장치
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JP4377976B2 (ja) * 1997-12-26 2009-12-02 キヤノン株式会社 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体
WO1999059345A1 (fr) * 1998-05-08 1999-11-18 Matsushita Electric Industrial Co., Ltd. Imageur couleur transistorise
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
JP2002209223A (ja) * 2001-01-09 2002-07-26 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002271804A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd カラー画像撮像装置
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
US7079705B2 (en) * 2002-10-30 2006-07-18 Agilent Technologies, Inc. Color interpolation for image sensors using a local linear regression method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163583A1 (en) 2001-05-02 2002-11-07 Jones Robert W. System and method for capturing color images that extends the dynamic range of an image sensor

Also Published As

Publication number Publication date
CN1610412A (zh) 2005-04-27
KR20050039637A (ko) 2005-04-29
US20050088550A1 (en) 2005-04-28
US7548264B2 (en) 2009-06-16
CN1610412B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
KR101081000B1 (ko) 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP4385282B2 (ja) 画像処理装置および画像処理方法
JP5007767B2 (ja) 画像処理装置および方法
JP4228699B2 (ja) 撮像装置、および撮像素子
WO2002056602A1 (fr) Dispositif de traitement d&#39;image
WO1994018801A1 (en) Color wide dynamic range camera using a charge coupled device with mosaic filter
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
JP5131567B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4501070B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
KR100810155B1 (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
JP2000197067A (ja) 固体撮像装置および画像デ―タ作成方法
JP2005117540A (ja) 画像処理装置および画像処理方法、並びに、プログラム
JP2003134523A (ja) 撮像装置及び撮像方法
JP2004172859A (ja) 撮像装置および撮像方法
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP4197821B2 (ja) 画像処理装置
JP3965556B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2004172858A (ja) 撮像装置および撮像方法
JP4352328B2 (ja) 情報処理装置および情報処理方法、並びに、プログラム
JP4495355B2 (ja) 画像補間装置
JP2003348608A (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP2002125240A (ja) カラー撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee