KR20200120608A - 화상 처리 장치, 화상 처리 방법, 및 촬상 장치 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 촬상 장치 Download PDF

Info

Publication number
KR20200120608A
KR20200120608A KR1020207019007A KR20207019007A KR20200120608A KR 20200120608 A KR20200120608 A KR 20200120608A KR 1020207019007 A KR1020207019007 A KR 1020207019007A KR 20207019007 A KR20207019007 A KR 20207019007A KR 20200120608 A KR20200120608 A KR 20200120608A
Authority
KR
South Korea
Prior art keywords
map data
image
pixel values
processing
processing unit
Prior art date
Application number
KR1020207019007A
Other languages
English (en)
Other versions
KR102666651B1 (ko
Inventor
후미히코 코가
테츠지 야마구치
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200120608A publication Critical patent/KR20200120608A/ko
Application granted granted Critical
Publication of KR102666651B1 publication Critical patent/KR102666651B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N5/369—
    • H04N9/07—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 개시의 화상 처리 장치는, 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성 가능한 화상 분할 처리부와, 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락(缺落)된 위치에서의 화소치를 구함에 의해, 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성 가능한 보간 처리부와, 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성 가능한 합성 처리부를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 및 촬상 장치
본 개시는, 화상 처리를 행하는 화상 처리 장치, 화상 처리 방법, 및 그와 같은 화상 처리 장치를 구비한 촬상 장치에 관한 것이다.
촬상 장치에서는, 적색, 녹색, 및 청색의 광전변환 소자에 의해 변환된 전기 신호에 의거하여 촬상 화상이 생성된다. 예를 들면, 특허문헌 1에는, 적색, 녹색, 및 청색의 광전변환 소자를 하나의 화소 영역에 적층한 것이 개시되어 있다.
일본 특개2011-138927호 공보
그런데, 촬상 장치에서는, 촬상 화상의 화질이 높은 것이 요망되고 있고, 더한층의 화질의 향상이 기대되고 있다.
촬상 화상의 화질을 높일 수 있는 화상 처리 장치, 화상 처리 방법, 및 촬상 장치를 제공하는 것이 바람직하다.
본 개시의 한 실시의 형태에서의 화상 처리 장치는, 화상 분할 처리부와, 보간 처리부와, 합성 처리부를 구비한다. 화상 분할 처리부는, 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성 가능한 것이다. 보간 처리부는, 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락(缺落)된 위치에서의 화소치를 구함에 의해, 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성 가능한 것이다. 합성 처리부는, 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성 가능한 것이다.
본 개시의 한 실시의 형태에서의 화상 처리 방법은, 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하는 화상 분할 처리와, 기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성하는 보간 처리와, 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하는 합성 처리를 포함하는 것이다.
본 개시의 한 실시의 형태에서의 촬상 장치는, 촬상부와, 화상 분할 처리부와, 보간 처리부와, 합성 처리부를 구비하고 있다. 촬상부는, 복수의 화소치를 포함하는 제1의 화상 맵 데이터를 생성하는 것이다. 화상 분할 처리부는, 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하는 것이 가능한 것이다. 보간 처리부는, 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성하는 것이 가능한 것이다. 합성 처리부는, 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하는 것이 가능한 것이다.
여기서, 「촬상 장치」란, 이른바 이미지 센서 단체(單體)로 한정되는 것이 아니고, 디지털 카메라나 스마트 폰 등, 촬상 기능을 갖는 전자 기기를 포함하는 것이다.
본 개시의 한 실시의 형태에서의 화상 처리 장치, 화상 처리 방법, 및 촬상 장치에서는, 화상 분할 처리에 의해, 제1의 화상 맵 데이터에 의거하여, 복수의 제1의 맵 데이터가 생성된다. 이 복수의 제1의 맵 데이터는, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 것이다. 그리고, 보간 처리에 의해, 이들 복수의 제1의 맵 데이터의 각각에 의거하여, 복수의 제2의 맵 데이터가 생성된다. 이들 복수의 제2의 맵 데이터는, 복수의 제1의 맵 데이터에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해 생성된다. 그리고, 합성 처리에 의해, 이들 복수의 제2의 맵 데이터에 의거하여, 제3의 맵 데이터가 생성된다. 이 제3의 맵 데이터는, 이들 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 생성된다.
본 개시의 한 실시의 형태에서의 화상 처리 장치, 화상 처리 방법, 및 촬상 장치에 의하면, 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하고, 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 복수의 제2의 맵 데이터를 생성하고, 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하도록 하였기 때문에, 촬상 화상의 화질을 높일 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과가 있어도 좋다.
도 1은 본 개시의 제1의 실시의 형태에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 2는 도 1에 도시한 촬상부의 한 구성례를 도시하는 블록도.
도 3은 도 2에 도시한 촬상 화소의 한 구성례를 도시하는 설명도.
도 4는 도 2에 도시한 촬상 화소의 한 구성례를 도시하는 모식도.
도 5는 도 1에 도시한 화상 처리부의 한 동작례를 도시하는 플로우 차트.
도 6은 도 1에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 7은 도 6에 도시한 화상 맵 데이터의 한 예를 도시하는 설명도.
도 8a는 도 6에 도시한 맵 데이터의 한 예를 도시하는 설명도.
도 8b는 도 6에 도시한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 9a는 도 6에 도시한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 9b는 도 6에 도시한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 10은 도 6에 도시한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 11은 변형례에 관한 화상 처리부의 한 동작례를 도시하는 설명도.
도 12a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 12b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 13a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 13b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 14a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 14b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 15a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 15b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 16a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 16b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 17A는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 17b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 18a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 18b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 18c는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 19a는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 19b는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 19c는 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 20은 다른 변형례에 관한 맵 데이터의 한 예를 도시하는 다른 설명도.
도 21은 다른 변형례에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 22는 도 21에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 23a는 도 21에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 23b는 도 21에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 23c는 도 21에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 24는 다른 변형례에 관한 화상 처리부의 한 동작례를 도시하는 설명도.
도 25는 다른 변형례에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 26은 도 25에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 27은 제2의 실시의 형태에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 28은 도 27에 도시한 촬상부에서의 촬상 화소의 한 구성례를 도시하는 설명도.
도 29는 도 27에 도시한 촬상부에서의 촬상 화소의 한 구성례를 도시하는 모식도.
도 30은 도 27에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 31은 제3의 실시의 형태에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 32는 도 31에 도시한 촬상부에서의 촬상 화소의 한 구성례를 도시하는 설명도.
도 33은 도 31에 도시한 촬상부에서의 촬상 화소의 한 구성례를 도시하는 모식도.
도 34는 도 31에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 35는 변형례에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 36은 도 35에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 37은 제4의 실시의 형태에 관한 촬상 장치의 한 구성례를 도시하는 블록도.
도 38은 도 37에 도시한 촬상부에서의 촬상 화소의 한 구성례를 도시하는 설명도.
도 39는 도 37에 도시한 촬상부에서의 촬상 화소의 한 구성례를 도시하는 모식도.
도 40은 도 37에 도시한 화상 처리부의 한 동작례를 도시하는 설명도.
도 41은 촬상 장치의 사용례를 도시하는 설명도.
도 42는 체내 정보 취득 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 43은 내시경 수술 시스템의 개략적인 구성의 한 예를 도시하는 도면.
도 44는 카메라 헤드 및 CCU의 기능 구성의 한 예를 도시하는 블록도.
도 45는 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도.
도 46은 촬상부의 설치 위치의 한 예를 도시하는 설명도.
이하, 본 개시의 실시의 형태에 관해, 도면을 참조하여 상세히 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1의 실시의 형태
2. 제2의 실시의 형태
3. 제3의 실시의 형태
4. 제4의 실시의 형태
5. 촬상 장치의 사용례
6. 응용례
<1.제1의 실시의 형태>
[구성례]
도 1은, 제1의 실시의 형태에 관한 화상 처리 장치를 구비한 촬상 장치(1)의 한 구성례를 도시하는 것이다. 또한, 본 개시의 실시의 형태에 관한 화상 처리 방법은, 본 실시의 형태에 의해 구현화되기 때문에, 아울러서 설명한다. 촬상 장치(1)는, 광학계(9)와, 촬상부(10)와, 화상 처리부(20)를 구비하고 있다.
광학계(9)는, 예를 들면, 촬상부(10)의 촬상면(S)에서 상을 결상시키는 렌즈를 포함하여 구성되는 것이다.
촬상부(10)는, 피사체를 촬상함에 의해, 화상 신호(DT) 및 게인 신호(SGAIN)를 생성하는 것이다. 촬상부(10)는, 예를 들면, CMOS(complementary metal oxide semiconductor) 이미지 센서를 이용하여 구성된다.
도 2는, 촬상부(10)의 한 구성례를 도시하는 것이다. 촬상부(10)는, 화소 어레이(11)과, 주사부(12)와, 판독부(13)와, 촬상 제어부(14)를 갖고 있다.
화소 어레이(11)는, 복수의 촬상 화소(P)가 매트릭스형상으로 배치된 것이다. 촬상 화소(P)는, 적색(R)의 광을 수광 가능한 광전변환 소자, 녹색(G)의 광을 수광 가능한 광전변환 소자, 및 청색(B)의 광을 수광 가능한 광전변환 소자를 포함하여 구성된 것이다.
도 3은, 촬상 화소(P)의 단면 구조를 모식적으로 도시하는 것이다. 이 도 3은, 도 2에 도시한 영역(X)에 배치된 4개의 촬상 화소(P)중의 2개의 촬상 화소(P)의 단면 구조를 모식적으로 도시하고 있다.
반도체 기판(100)에는, 하나의 촬상 화소(P)에 대응하는 화소 영역에서, 2개의 포토 다이오드(PDR, PDB)가 형성된다. 포토 다이오드(PDR)는, 적색(R)의 광을 수광 가능한 광전변환 소자이고, 포토 다이오드(PDB)는, 청색(B)의 광을 수광 가능한 광전변환 소자이다. 포토 다이오드(PDR) 및 포토 다이오드(PDB)는, 반도체 기판(100)에서, 포토 다이오드(PDB)가 촬상면(S)의 측이 되도록 적층되어 형성된다. 포토 다이오드(PDR) 및 포토 다이오드(PDB)는, 반도체 기판(100)에서의 광의 흡수 계수가 광의 파장에 따라 다른 것을 이용하여, 적색의 광 및 청색의 광에 의거하여 각각 광전변환을 행하도록 되어 있다.
반도체 기판(100)의 촬상면(S)측의 표면에는 절연막(101)이 형성된다. 이 절연막(101)은, 예를 들면 이산화규소(SiO2)를 이용하여 구성된다. 그리고, 이 절연막(101)의 위에는, 투명 전극(102), 광전변환막(103G), 및 투명 전극(104)이, 이 순서로 형성된다. 투명 전극(102, 104)은, 적색의 광, 녹색의 광, 및 청색의 광을 투과 가능한 전극이다. 광전변환막(103G)은, 녹색(G)의 광을 수광 가능한 광전변환막이고, 적색의 광 및 청색의 광을 투과 가능하게 구성되어 있다. 이 광전변환막(103G) 및 투명 전극(102, 104)은, 녹색(G)의 광을 수광 가능한 광전변환 소자를 구성한다. 투명 전극(104)의 위에는, 온 칩 렌즈(105)가 형성된다.
도 4는, 도 2에 도시한 영역(X)에 배치된 4개의 촬상 화소(P)에서의 광전변환 소자의 배치를 모식적으로 도시하는 것이다. 이와 같이, 촬상부(10)에서는, 하나의 촬상 화소(P)에 대응하는 화소 영역에, 녹색(G)에 관한 광전변환 소자, 청색(B)에 관한 광전변환 소자, 적색(R)에 관한 광전변환 소자가 적층되어 형성된다. 이에 의해, 촬상부(10)에서는, 각 촬상 화소(P)의 각각이, 적색에 관한 화소 신호, 녹색에 관한 화소 신호, 청색에 관한 화소 신호를 생성할 수 있도록 되어 있다.
주사부(12)는, 촬상 제어부(14)로부터의 지시에 의거하여, 화소 어레이(11)에서의 복수의 촬상 화소(P)를, 예를 들면 화소 라인 단위로 순차적으로 구동하는 것이고, 예를 들면 어드레스 디코더를 포함하여 구성된 것이다.
판독부(13)는, 촬상 제어부(14)로부터의 지시에 의거하여, 각 촬상 화소(P)로부터 공급된 화소 신호에 의거하여 AD 변환을 행함에 의해, 화상 신호(DT)를 생성하는 것이다. 화상 신호(DT)는, 3개의 화상 맵 데이터(MPG, MPB, MPR)를 포함하고 있다. 화상 맵 데이터(MPG)는, 녹색(G)에 관한 1프레임 화상분의 화소치를 포함하고, 화상 맵 데이터(MPB)는, 청색(B)에 관한 1프레임 화상분의 화소치를 포함하고, 화상 맵 데이터(MPR)는, 적색(R)에 관한 1프레임 화상분의 화소치를 포함한다. 각 화소치는, 복수 비트의 디지털 코드로 나타내지는 것이다.
촬상 제어부(14)는, 주사부(12) 및 판독부(13)에 제어 신호를 공급하여, 이들 회로의 동작을 제어함에 의해, 촬상부(10)의 동작을 제어하는 것이다. 또한, 촬상 제어부(14)는, 판독부(13)가 AD 변환을 행할 때의 변환 게인(GC)을 설정하는 기능도 갖고 있다. 구체적으로는, 촬상 제어부(14)는, 촬상부(10)가 어두운 피사체를 촬상하는 경우에는, AD 변환을 행할 때의 변환 게인(GC)을 높게 하고, 촬상부(10)가 밝은 피사체를 촬상하는 경우에는, AD 변환을 행할 때의 변환 게인(GC)을 낮게 한다. 이에 의해, 촬상 장치(1)는, 다양한 밝기의 피사체를 촬상할 수 있다. 또한, 촬상 제어부(14)는, 이 변환 게인(GC)에 관한 정보를, 게인 신호(SGAIN)로서 출력하는 기능도 갖고 있다.
화상 처리부(20)(도 1)는, 화상 신호(DT) 및 게인 신호(SGAIN)에 의거하여 화상 처리를 행하는 것이다. 화상 처리부(20)는, 전환부(21)와, 화상 분할 처리부(22)와, 보간 처리부(23)와, 합성 처리부(24)와, 신호 처리부(25)를 갖고 있다.
전환부(21)는, 게인 신호(SGAIN)가 나타내는 변환 게인(GC)에 의거하여, 화상 신호(DT)를, 화상 분할 처리부(22) 또는 신호 처리부(25)에 선택적으로 공급하는 것이다. 구체적으로는, 전환부(21)는, 예를 들면, 변환 게인(GC)이 소정의 임계치(Gth)보다도 높은 경우에는, 화상 신호(DT)를 화상 분할 처리부(22)에 공급하고, 변환 게인(GC)이 소정의 임계치(Gth)보다도 낮은 경우에는, 화상 신호(DT)를 신호 처리부(25)에 공급한다. 이에 의해, 화상 처리부(20)에서는, 변환 게인(GC)이 소정의 임계치(Gth)보다도 높은 경우에는, 화상 분할 처리부(22), 보간 처리부(23), 및 합성 처리부(24)가 처리를 행하고, 변환 게인(GC)이 소정의 임계치(Gth)보다도 낮은 경우에는, 화상 분할 처리부(22), 보간 처리부(23), 및 합성 처리부(24)가 처리를 행하지 않도록 할 수 있다.
화상 분할 처리부(22)는, 촬상부(10)로부터 전환부(21)를 통하여 공급된 화상 신호(DT)에 포함되는 3개의 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)를 생성하는 것이다. 구체적으로는, 화상 분할 처리부(22)는, 후술하는 바와 같이, 화상 신호(DT)에 포함되는, 녹색(G)에 관한 화상 맵 데이터(MPG)에 의거하여, 화소치의 배치 패턴(PAT)이 서로 다르고, 서로 다른 위치에 화소치가 배치된 2개의 맵 데이터(MG11, MG12)를 생성한다. 마찬가지로, 화상 분할 처리부(22)는, 화상 신호(DT)에 포함되는, 청색(B)에 관한 화상 맵 데이터(MPB)에 의거하여, 2개의 맵 데이터(MB11, MB12)를 생성하고, 화상 신호(DT)에 포함되는, 적색(R)에 관한 화상 맵 데이터(MPR)에 의거하여, 2개의 맵 데이터(MR11, MR12)를 생성한다. 이와 같이 하여, 화상 분할 처리부(22)는, 화상 신호(DT)에 의거하여, 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)를 생성하도록 되어 있다.
보간 처리부(23)는, 화상 분할 처리부(22)로부터 공급된 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성하는 것이다. 구체적으로는, 보간 처리부(23)는, 후술하는 바와 같이, 녹색(G)에 관한 맵 데이터(MG11)에서, 보간 처리(A2)를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 맵 데이터(MG21)를 생성함과 함께, 녹색(G)에 관한 맵 데이터(MG12)에서, 보간 처리(A2)를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 맵 데이터(MG22)를 생성한다. 마찬가지로, 보간 처리부(23)는, 청색(B)에 관한 맵 데이터(MB11)에서의 보간 처리(A2)를 행함에 의해 맵 데이터(MB21)를 생성함과 함께, 청색(B)에 관한 맵 데이터(MB12)에서의 보간 처리(A2)를 행함에 의해 맵 데이터(MB22)를 생성한다. 또한, 보간 처리부(23)는, 적색(R)에 관한 맵 데이터(MR11)에서의 보간 처리(A2)를 행함에 의해 맵 데이터(MR21)를 생성함과 함께, 적색(R)에 관한 맵 데이터(MR12)에서의 보간 처리(A2)를 행함에 의해 맵 데이터(MR22)를 생성하도록 되어 있다.
합성 처리부(24)는, 보간 처리부(23)로부터 공급된 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)에 의거하여 합성 처리(A3)를 행함에 의해, 3개의 맵 데이터(MG3, MB3, MR3)를 생성하는 것이다. 구체적으로는, 합성 처리부(24)는, 후술하는 바와 같이, 녹색(G)에 관한 2개의 맵 데이터(MG21, MG22)에 의거하여 맵 데이터(MG3)를 생성한다. 마찬가지로, 합성 처리부(24)는, 청색(B)에 관한 2개의 맵 데이터(MB21, MB22)에 의거하여 맵 데이터(MB3)를 생성하고, 적색(R)에 관한 2개의 맵 데이터(MR21, MR22)에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 맵 데이터(MR3)를 생성한다. 그리고, 합성 처리부(24)는, 3개의 맵 데이터(MG3, MB3, MR3)를, 화상 신호(DT2)로서 신호 처리부(25)에 공급하도록 되어 있다.
신호 처리부(25)는, 합성 처리부(24)로부터 공급된 화상 신호(DT2), 또는 촬상부(10)로부터 전환부(21)를 통하여 공급된 화상 신호(DT)에 의거하여, 소정의 신호 처리를 행하는 것이다. 소정의 신호 처리는, 예를 들면, 화이트 밸런스 조정, 비선형 변환, 윤곽 강조 처리, 화상 사이즈 변환 등을 포함한다. 그리고, 신호 처리부(25)는, 이들 소정의 신호 처리의 처리 결과를, 화상 신호(DT3)로서 출력하도록 되어 있다.
이 구성에 의해, 촬상 장치(1)에서는, 어두운 피사체를 촬상하는 경우에는, 변환 게인(GC)이 높아지기 때문에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행한다. 이에 의해, 촬상 장치(1)에서는, 촬상 화상에 신호 잡음비(S/N비)를 높일 수 있다. 또한, 촬상 장치(1)에서는, 촬상 장치(1)가 밝은 피사체를 촬상하는 경우에는, 변환 게인(GC)이 낮아지기 때문에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 한다. 이에 의해, 촬상 장치(1)에서는, 촬상 화상에서의 해상도를 높일 수 있도록 되어 있다.
여기서, 화상 처리부(20)는, 본 개시에서의 「화상 처리 장치」의 한 구체례에 대응한다. 화상 분할 처리부(22)는, 본 개시에서의 「화상 분할 처리부」의 한 구체례에 대응한다. 보간 처리부(23)는, 본 개시에서의 「보간 처리부」의 한 구체례에 대응한다. 합성 처리부(24)는, 본 개시에서의 「합성 처리부」의 한 구체례에 대응한다. 신호 처리부(25)는, 본 개시에서의 「처리부」의 한 구체례에 대응한다. 전환부(21)는, 본 개시에서의 「처리 제어부」의 한 구체례에 대응한다.
[동작 및 작용]
계속해서, 본 실시의 형태의 촬상 장치(1)의 동작 및 작용에 관해 설명한다.
(전체 동작 개요)
우선, 도 1을 참조하여, 촬상 장치(1)의 전체 동작 개요를 설명한다. 촬상부(10)는, 피사체를 촬상함에 의해 화상 신호(DT) 및 게인 신호(SGAIN)를 생성한다. 화상 처리부(20)의 전환부(21)는, 게인 신호(SGAIN)가 나타내는 변환 게인(GC)에 의거하여, 화상 신호(DT)를, 화상 분할 처리부(22) 또는 신호 처리부(25)에 선택적으로 공급한다. 화상 분할 처리부(22)는, 촬상부(10)로부터 전환부(21)를 통하여 공급된 화상 신호(DT)에 포함되는 3개의 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)를 생성한다. 보간 처리부(23)는, 화상 분할 처리부(22)로부터 공급된 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성한다. 합성 처리부(24)는, 보간 처리부(23)로부터 공급된 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)에 의거하여 합성 처리(A3)를 행함에 의해, 3개의 맵 데이터(MG3, MB3, MR3)를 생성한다. 그리고, 합성 처리부(24)는, 이들 3개의 맵 데이터(MG3, MB3, MR3)를, 화상 신호(DT2)로서 신호 처리부(25)에 공급한다. 신호 처리부(25)는, 합성 처리부(24)로부터 공급된 화상 신호(DT2), 또는 촬상부(10)로부터 전환부(21)를 통하여 공급된 화상 신호(DT)에 의거하여, 소정의 신호 처리를 행함에 의해 화상 신호(DT3)를 생성한다.
(상세 동작)
도 5는, 화상 처리부(20)의 한 동작례를 도시하는 것이다. 화상 처리부(20)는, 게인 신호(SGAIN)가 나타내는 변환 게인(GC)에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하는지의 여부를 결정한다. 이하에, 이 동작에 관해 상세히 설명한다.
우선, 전환부(21)는, 게인 신호(SGAIN)가 나타내는 변환 게인(GC)과, 소정의 임계치(Gth)를 비교한다(스텝 S101). 변환 게인(GC)이 소정의 임계치(Gth)보다 낮은 경우(스텝 S101에서 "N")에는, 스텝 S105로 진행한다.
변환 게인(GC)이 소정의 임계치(Gth) 이상(G≥Gth)인 경우(스텝 S101에서 "Y")에는, 화상 분할 처리부(22)는 화상 분할 처리(A1)를 행하고(스텝 S102), 보간 처리부(23)는 보간 처리(A2)를 행하고(스텝 S103), 합성 처리부(24)는 합성 처리(A3)를 행한다(스텝 S104).
그리고, 신호 처리부(25)는, 소정의 신호 처리를 행한다(스텝 S105). 즉, 신호 처리부(25)는, 변환 게인(GC)이 소정의 임계치(Gth) 이상인 경우(스텝 S101에서 "Y")에는, 합성 처리(A3)에 의해 생성된 화상 신호(DT2)에 의거하여 소정의 신호 처리를 행하고, 변환 게인(GC)이 소정의 임계치(Gth)보다 낮은 경우(스텝 S101에서 "N")에는, 촬상부(10)에 의해 생성된 화상 신호(DT)에 의거하여 소정의 신호 처리를 행한다.
이상으로, 이 플로우는 종료한다.
이와 같이, 화상 처리부(20)에서는, 변환 게인(GC)이 높은 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행한다. 또한, 촬상 장치(1)에서는, 변환 게인(GC)이 낮은 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 한다. 이에 의해, 촬상 장치(1)에서는, 이하에 설명하는 바와 같이, 촬상 화상의 화질을 높일 수 있다.
다음에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)에 관해, 구체적인 동작례를 들어 상세히 설명한다.
도 6은, 화상 처리부(20)에서의, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
(화상 분할 처리(A1))
화상 분할 처리부(22)는, 촬상부(10)로부터 공급된 화상 신호(DT)에 포함되는 3개의 화상 맵 데이터(MPG, MPB, MPR)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)를 생성한다. 이하에, 녹색(G)에 관한 화상 맵 데이터(MPG)에 대한 화상 분할 처리(A1)를 예로 들어, 상세히 설명한다.
도 7은, 녹색(G)에 관한 화상 맵 데이터(MPG)를 모식적으로 도시하는 것이다. 도 8a, 8b는, 녹색(G)에 관한 맵 데이터(MG11, MG12)를 각각 모식적으로 도시하는 것이다. 도 8a, 8b에서, 망점을 넣은 부분은, 화소치가 존재하는 위치를 나타내고, 망점을 넣지 않은 부분은, 화소치가 존재하지 않는(결락된) 위치를 나타낸다.
화상 신호(DT)에 포함되는 화상 맵 데이터(MPG)(도 7)는, 녹색(G)에 관한 1프레임 화상분의 화소치를 포함하고 있다. 도 6에 도시한 화상 맵 데이터(MPG)의 한 예는, 도 7에 도시한 영역(X)에서의 2행2열로 배치된 4개의 화소치를 모식적으로 도시하고 있다.
화상 분할 처리부(22)는, 이와 같은 화상 맵 데이터(MPG)에 의거하여, 화소치의 배치 패턴(PAT)이 서로 다르고, 서로 다른 위치에 화소치가 배치된 2개의 맵 데이터(MG11, MG12)(도 8a, 8b)를 생성한다. 맵 데이터(MG11, MG12)에서의 화소치의 배치 패턴(PAT)은, 서로 수평 방향(횡방향) 및 수직 방향(종방향)으로 1화소분 어긋난 체크무늬 패턴(Checkered Pattern)이다. 환언하면, 맵 데이터(MG11, MG12)에서의 체크무늬 패턴은, 화소치가 존재하는 위치와, 화소치가 존재하지 않는 위치가, 서로 반전한 것이고, 서로 다른 위치에 화소치가 배치되어 있다. 구체적으로는, 예를 들면, 맵 데이터(MG11)에서는, 도 8a에 도시한 바와 같이, 영역(X)에서, 좌상 및 우하에서 화소치가 존재함과 함께, 좌하 및 우상에어서 화소치가 결락되어 있다. 한편, 맵 데이터(MG12)에서는, 도 8b에 도시한 바와 같이, 영역(X)에서, 좌하 및 우상에서 화소치가 존재함과 함께, 좌상 및 우하에서 화소치가 결락되어 있다. 도 6에 도시한 맵 데이터(MG11, MG12)의 한 예는, 이 영역(X)에서의 4개의 화소치를 모식적으로 도시하고 있다. 맵 데이터(MG11)에서, 각 위치에서의 화소치는, 화상 맵 데이터(MPG)에서의 대응하는 위치에서의 화소치와 같다. 마찬가지로, 맵 데이터(MG12)에서의, 각 위치에서의 화소치는, 화상 맵 데이터(MPG)에서의 대응하는 위치에서의 화소치와 같다.
화상 분할 처리부(22)는, 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 이와 같은 맵 데이터(MG11, MG12)를 생성한다. 마찬가지로, 화상 분할 처리부(22)는, 화상 맵 데이터(MPB)에 의거하여 화상 분할 처리(A1)를 행함에 의해 맵 데이터(MB11, MB12)를 생성하고, 화상 맵 데이터(MPR)에 의거하여 화상 분할 처리(A1)를 행함에 의해 맵 데이터(MR11, MR12)를 생성한다. 도 6에 도시한 바와 같이, 맵 데이터(MG11, MB11, MR11)는, 서로 같은 배치 패턴(PAT)을 가지며. 맵 데이터(MG12, MB12, MR12)는, 서로 같은 배치 패턴(PAT)을 갖는다.
(보간 처리(A2))
다음에, 보간 처리부(23)는, 화상 분할 처리(A1)에 의해 생성된 6개의 맵 데이터(MG11, MR12, MB11, MB12, MR11, MR12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성한다. 이하에, 녹색(G)에 관한 맵 데이터(MG11, MG12)(도 8a, 8b)에 대한 보간 처리(A2)를 예로 들어, 상세히 설명한다.
도 9a, 9b는, 녹색(G)에 관한 맵 데이터(MG21, MG22)를 각각 모식적으로 도시하는 것이다. 도 9a, 9b에서, 망점을 넣은 부분은, 보간 처리(A2)의 처리 전의 맵 데이터(MG11, MG12)에서의 화소치가 존재하는 위치를 나타내고, 망점을 넣지 않은 부분은, 보간 처리(A2)의 처리 전의 맵 데이터(MG11, MG12)에서의 화소치가 존재하지 않는 위치이고, 이 보간 처리(A2)에 의해 화소치가 생성된 위치를 나타낸다.
보간 처리부(23)는, 도 8a에 도시한 맵 데이터(MG11)에서, 보간 처리(A2)를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 도 9a에 도시한 맵 데이터(MG21)를 생성함과 함께, 도 8b에 도시한 맵 데이터(MG12)에서, 보간 처리(A2)를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 도 9b에 도시한 맵 데이터(MG22)를 생성한다. 구체적으로는, 보간 처리부(23)는, 화소치가 결락된 위치의 하나 위에 배치된 화소치, 하나 왼쪽에 배치된 화소치, 하나 아래에 배치된 화소치, 및 하나 오른쪽에 배치된 화소치에 의거하여, 보간 처리(A2)를 행함에 의해, 화소치가 결락된 위치에서의 화소치를 구한다. 즉, 보간 처리(A2)의 보간 방법은, 이 예에서는, 화소치가 결락된 위치의 상하 좌우에서의 화소치를 이용하는 것이다. 보간 처리부(23)는, 이들 4개의 화소치를 이용하여, 예를 들면 바이리니어 보간을 행함에 의해, 보간 처리(A2)를 행할 수가 있다. 또한, 이것으로 한정되는 것이 아니고, 바이큐빅 보간, 스플라인 보간 등, 공지의 다양한 보간 방법을 이용할 수 있다. 예를 들면, 맵 데이터(MG21)에서는, 도 9a에 도시한 바와 같이, 보간 처리부(23)는, 영역(X)에서의 좌하의 위치에서, 보간 처리(A2)에 의해 화소치를 생성함과 함께, 영역(X)에서의 우상의 위치에서, 보간 처리(A2)에 의해 화소치를 생성한다. 마찬가지로, 맵 데이터(MG22)에서는, 도 9b에 도시한 바와 같이, 보간 처리부(23)는, 영역(X)에서의 좌상의 위치에서, 보간 처리(A2)에 의해 화소치를 생성함과 함께, 영역(X)에서의 우하의 위치에서, 보간 처리(A2)에 의해 화소치를 생성한다. 이 도 9a, 9b에서, "G'"는, 보간 처리(A2)에 의해 화소치가 생성된 것을 나타낸다. 도 6에 도시한 맵 데이터(MG21, MG22)의 한 예는, 이 영역(X)에서의 4개의 화소치를 모식적으로 도시하고 있다.
보간 처리부(23)는, 맵 데이터(MG11)에 대해 보간 처리(A2)를 행함에 의해 이와 같은 맵 데이터(MG21)를 생성함과 함께, 맵 데이터(MG12)에 대해 보간 처리(A2)를 행함에 의해 이와 같은 맵 데이터(MG22)를 생성한다. 마찬가지로, 보간 처리부(23)는, 맵 데이터(MB11)에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MB21)를 생성함과 함께, 맵 데이터(MB12)에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MB22)를 생성한다. 또한, 보간 처리부(23)는, 맵 데이터(MR11)에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MR21)를 생성함과 함께, 맵 데이터(MR12)에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MR22)를 생성한다. 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 각각 생성할 때의 보간 방법은, 서로 같다.
(합성 처리(A3))
다음에, 합성 처리부(24)는, 보간 처리(A2)에 의해 생성된 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)에 의거하여 합성 처리(A3)를 행함에 의해, 3개의 맵 데이터(MG3, MB3, MR3)를 생성한다. 이하에, 녹색(G)에 관한 맵 데이터(MG21, MG22)(도 9a, 도 9b)에 대한 합성 처리(A3)를 예로 들어, 상세히 설명한다.
도 10은, 녹색(G)에 관한 맵 데이터(MG3)를 모식적으로 도시하는 것이다. 합성 처리부(24)는, 2개의 맵 데이터(MG21, MG22)에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 맵 데이터(MG3)를 생성한다. 구체적으로는, 합성 처리부(24)는, 2개의 맵 데이터(MG21, MG22)에서의 서로 대응하는 위치의 화소치를 서로 더함에 의해, 맵 데이터(MG3)에서의 그 위치에서의 화소치를 생성할 수 있다. 예를 들면, 합성 처리부(24)는, 도 9a에 도시한 맵 데이터(MG21)의 영역(X)에서의 좌상의 화소치와, 도 9b에 도시한 맵 데이터(MG22)의 영역(X)에서의 좌상의 화소치를 서로 더함에 의해, 도 10에 도시한 맵 데이터(MG3)의 영역(X)에서의 좌상의 화소치를 생성한다. 마찬가지로, 합성 처리부(24)는, 맵 데이터(MG21, MG22)의 영역(X)에서의 좌하의 화소치를 서로 더함에 의해, 맵 데이터(MG3)의 영역(X)에서의 좌하의 화소치를 생성하고, 맵 데이터(MG21, MG22)의 영역(X)에서의 우상의 화소치를 서로 더함에 의해, 맵 데이터(MG3)의 영역(X)에서의 우상의 화소치를 생성하고, 맵 데이터(MG21, MG22)의 영역(X)에서의 우하의 화소치를 서로 더함에 의해, 맵 데이터(MG3)의 영역(X)에서의 우하의 화소치를 생성한다. 이 도 10에서, "2G"는, 합성 처리(A3)에 의해, 화소치가, 화상 맵 데이터(MPG)에서의 화소치의 약 2배가 된 것을 나타낸다. 도 6에 도시한 맵 데이터(MG3)의 한 예는, 이 영역(X)에서의 화소치를 모식적으로 도시하고 있다.
합성 처리부(24)는, 맵 데이터(MG21, MG22)에 의거하여 합성 처리(A3)를 행함에 의해 이와 같은 맵 데이터(MG3)를 생성한다. 마찬가지로, 합성 처리부(24)는, 맵 데이터(MB21, MB22)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MB3)를 생성하고, 맵 데이터(MR21, MR22)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MR3)를 생성한다. 맵 데이터(MB3)에서의 화소치는, 화상 맵 데이터(MPB)에서의 화소치의 약 2배이고, 맵 데이터(MR3)에서의 화소치는, 화상 맵 데이터(MPR)에서의 화소치의 약 2배이다.
이와 같이 하여, 합성 처리부(24)는, 3개의 맵 데이터(MG3, MB3, MR3)를 생성한다. 그리고, 합성 처리부(24)는, 이들 3개의 맵 데이터(MG3, MB3, MR3)를, 화상 신호(DT2)로서 신호 처리부(25)에 공급한다.
여기서, 화상 맵 데이터(MPG, MPB, MPR)는, 본 개시에서의 「제1의 화상 맵 데이터」, 「제2의 화상 맵 데이터」, 및 「제3의 화상 맵 데이터」의 한 구체례에 각각 대응한다. 맵 데이터(MG11, MG12)는, 본 개시에서의 「복수의 제1의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MG21, MG22)는, 본 개시에서의 「복수의 제2의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MG3)는, 본 개시에서의 「제3의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MB11, MB12)는, 본 개시에서의 「복수의 제4의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MB21, MB22)는, 본 개시에서의 「복수의 제5의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MB3)는, 본 개시에서의 「제6의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MR11, MR12)는, 본 개시에서의 「복수의 제7의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MR21, MR22)는, 본 개시에서의 「복수의 제8의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MR3)는, 본 개시에서의 「제9의 맵 데이터」의 한 구체례에 대응한다.
이상과 같이, 촬상 장치(1)에서는, 예를 들면, 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해 맵 데이터(MG11, MG12)를 생성하고, 이들의 맵 데이터(MG11, MG12)에 각각에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MG21, MG22)를 생성하고, 이들의 맵 데이터(MG21, MG22)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MG3)를 생성하도록 하였다. 화상 맵 데이터(MPB, MPR)에 대해서도 마찬가지이다. 이에 의해, 촬상 장치(1)에서는, 맵 데이터(MG3, MB3, MR3)에서의 신호 잡음비(S/N비)를 높일 수 있다.
즉, 합성 처리부(24)는, 예를 들면, 맵 데이터(MG21)의 영역(X)에서의 좌상의 화소치와, 맵 데이터(MG22)의 영역(X)에서의 좌상의 화소치를 서로 더함에 의해, 맵 데이터(MG3)의 영역(X)에서의 좌상의 화소치를 구한다. 각 화소치는, 신호 성분과, 랜덤 노이즈인 노이즈 성분을 갖고 있다. 따라서, 합성 처리부(24)가, 맵 데이터(MG21)의 영역(X)에서의 좌상의 화소치와, 맵 데이터(MG22)의 영역(X)에서의 좌상의 화소치를 서로 더함에 의해, 신호 성분이 약 2배가 되고, 노이즈 성분은 약 1.4배가 된다. 즉, 노이즈 성분은, 상술한 바와 같이 랜덤 노이즈이고, 맵 데이터(MG21)의 영역(X)에서의 좌상의 화소치에 포함되는 노이즈 성분과, 맵 데이터(MG22)의 영역(X)에서의 좌상의 화소치에 포함되는 노이즈 성분은, 서로 독립한 노이즈 성분이기 때문에, 약 2배로는 되지 않고, 약 1.4배(2의 제곱근)가 된다. 이와 같이, 촬상 장치(1)에서는, 신호 성분을 약 2배로 함과 함께, 노이즈 성분을 약 1.4배로 하기 때문에, 맵 데이터(MG3)에서의 신호 잡음비(S/N비)를 높일 수 있다. 맵 데이터(MB3, MR3)에 대해서도 마찬가지이다. 그 결과, 촬상 장치(1)에서는, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(1)에서는, 화상 분할 처리(A1)에서, 화소치의 배치 패턴(PAT)을 체크무늬 패턴으로 하였다. 이에 의해, 도 8a, 8b에 도시한 바와 같이, 화소치가 결락된 위치의 상하 좌우에는 화소치가 각각 존재하기 때문에, 보간 처리(A2)를 행함에 의해, 이들 4개의 화소치에 의거하여, 화소치가 결락된 위치에서의 화소치를 구할 수 있다. 이와 같이, 촬상 장치(1)에서는, 상하 좌우의 화소치에 의거하여 보간 처리(A2)를 행할 수가 있기 때문에, 수평 방향의 해상도의 저하와 수직 방향의 해상도의 저하를 서로 같은 정도로 할 수가 있어서, 해상도의 저하를 억제할 수 있다. 그 결과, 촬상 장치(1)에서는, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(1)에서는, 화상 분할 처리(A1)에서, 맵 데이터(MG11, MB11, MR11)에서의 화소치의 배치 패턴(PAT)을 서로 같게 함과 함께, 맵 데이터(MG12, MB12, MR12)에서의 화소치의 배치 패턴(PAT)을 서로 같게 하였다. 이에 의해, 화상 분할 처리부(22)는, 3개의 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 같은 방법으로 화상 분할 처리(A1)를 행할 수가 있기 때문에, 3개의 화상 맵 데이터(MPG, MPB, MPR)에 의거하여 각각 다른 방법으로 화상 분할 처리(A1)를 행하는 경우에 비하여, 화상 분할 처리부(22)의 회로 구성을 심플하게 할 수 있다.
또한, 촬상 장치(1)에서는, 보간 처리(A2)에서, 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성할 때의 보간 방법을 서로 같게 하였다. 이에 의해, 보간 처리부(23)는, 서로 같은 보간 방법을 이용하여 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성할 수 있기 때문에, 서로 다른 보간 방법을 이용하여 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성하는 경우에 비하여, 보간 처리부(23)의 회로 구성을 심플하게 할 수 있다.
또한, 촬상 장치(1)에서는, 화상 분할 처리(A1)에서, 맵 데이터(MG11, MB11, MR11)에서의 화소치의 배치 패턴(PAT)을 서로 같게 함과 함께, 맵 데이터(MG12, MB12, MR12)에서의 화소치의 배치 패턴(PAT)을 서로 같게 하였다. 그리고, 보간 처리(A2)에서, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성할 때의 보간 방법을 서로 같게 하였다. 이에 의해, 촬상 장치(1)에서는, 촬상 화상에서의 위색(僞色)을 억제할 수 있다. 즉, 예를 들면, 보간 처리(A2)에서, 녹색(G)에 관한 맵 데이터(MG21, MG22)를 생성할 때에, 화소치가 결락된 위치의 하나 위 및 하나 아래에 배치된 화소치에 의거하여 보간 처리(A2)를 행하고, 청색(B)에 관한 맵 데이터(MB21, MB22)를 생성할 때에, 화소치가 결락된 위치의 하나 왼쪽 및 하나 오른쪽에 배치된 화소치에 의거하여 보간 처리(A2)를 행하는 경우에는, 색에 따라 보간 방법이 다르기 때문에, 국소적으로 위색이 생길 우려가 있다. 한편, 본 실시의 형태에 관한 촬상 장치(1)에서는, 화상 분할 처리(A1)에서, 맵 데이터(MG11, MB11, MR11)에서의 화소치의 배치 패턴(PAT)을 서로 같게 함과 함께, 맵 데이터(MG12, MB12, MR12)에서의 화소치의 배치 패턴(PAT)을 서로 같게 하였다. 그리고, 보간 처리(A2)에서, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성할 때의 보간 방법을 서로 같게 하였다. 이에 의해, 촬상 장치(1)에서는, 이와 같은 위색이 생길 우려를 저감할 수 있다. 그 결과, 촬상 장치(1)에서는, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(1)에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였기 때문에, 촬상 화상의 화질을 높일 수 있다. 특히, 촬상 장치(1)에서는, 촬상부(10)에서의 변환 게인(GC)에 의거하여, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어하도록 하였다. 구체적으로는, 게인 신호(SGAIN)가 나타내는 변환 게인(GC)이 소정의 임계치(Gth)보다도 높은 경우에는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하고, 변환 게인(GC)이 소정의 임계치(Gth)보다도 낮은 경우에는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하지 않도록 하였다. 이에 의해, 예를 들면, 촬상 장치(1)가 어두운 피사체를 촬상하는 경우에는, 변환 게인(GC)이 높아지기 때문에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행한다. 이에 의해, 촬상 장치(1)에서는, 촬상 화상에서의 신호 잡음비(S/N비)를 높일 수 있다. 즉, 어두운 피사체를 촬상하는 경우에는, 노이즈가 많아질 우려가 있기 때문에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행함에 의해, 촬상 화상에서 신호 잡음비(S/N비)를 높일 수 있다. 또한, 촬상 장치(1)가 밝은 피사체를 촬상하는 경우에는, 변환 게인(GC)이 낮아지기 때문에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 한다. 이에 의해, 촬상 장치(1)에서는, 촬상 화상에서의 해상도를 높일 수 있다. 즉, 밝은 피사체를 촬상하는 경우에는, 노이즈가 적기 때문에, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 함에 의해, 해상도를 높일 수 있다. 그 결과, 촬상 장치(1)에서는, 촬상 화상의 화질을 높일 수 있다.
[효과]
이상과 같이 본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하도록 하였기 때문에, 촬상 화상에서의 신호 잡음비를 높일 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 화상 분할 처리에서, 화소치의 배치 패턴을 체크무늬 패턴으로 하였기 때문에, 수평 방향의 해상도의 저하와 수직 방향의 해상도의 저하를 서로 같은 정도로 할 수 있고, 해상도의 저하를 억제할 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 화상 분할 처리에서, 맵 데이터(MG11, MB11, MR11)에서의 화소치의 배치 패턴을 서로 같게 함과 함께, 맵 데이터(MG12, MB12, MR12)에서의 화소치의 배치 패턴을 서로 같게 하였기 때문에, 화상 분할 처리부의 회로 구성을 심플하게 할 수 있다.
본 실시의 형태에서는, 보간 처리에서, 6개의 맵 데이터를 생성할 때의 보간 방법을 서로 같게 하였기 때문에, 보간 처리부의 회로 구성을 심플하게 할 수 있다.
본 실시의 형태에서는, 화상 분할 처리에서, 맵 데이터(MG11, MB11, MR11)에서의 화소치의 배치 패턴을 서로 같게 함과 함께, 맵 데이터(MG12, MB12, MR12)에서의 화소치의 배치 패턴을 서로 같게 하였다. 그리고, 보간 처리에서, 6개의 맵 데이터를 생성할 때의 보간 방법을 서로 같게 하였다. 이에 의해, 위색이 생길 우려를 저감할 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였기 때문에, 촬상 화상의 화질을 높일 수 있다.
[변형례 1-1]
상기 실시의 형태에서는, 합성 처리부(24)는, 예를 들면, 2개의 맵 데이터(MG21, MG22)에서의 서로 대응하는 위치의 화소치를 서로 더함에 의해, 맵 데이터(MG3)에서의 그 위치에서의 화소치를 생성하였지만, 이것으로 한정되는 것이 아니다. 이에 대신하여, 예를 들면 도 11에 도시하는 촬상 장치(1A)와 같이, 2개의 맵 데이터(MG21, MG22)에서의 서로 대응하는 위치의 화소치를 서로 더하고, 서로 더하여진 화소치를 반분으로 함에 의해, 맵 데이터(MG3)에서의 그 위치에서의 화소치를 생성하여도 좋다. 이에 의해, 맵 데이터(MG3)에서의 화소치를, 화상 맵 데이터(MPG)에서의 화소치와 같은 정도로 할 수 있다. 맵 데이터(MB3, MR3)에 대해서도 마찬가지이다. 이에 의해, 신호 잡음비를 유지한 채로, 맵 데이터(MG3, MB3, MR3)에서의 화소치를 나타내는 디지털 코드의 비트수를 억제할 수 있다. 그 결과, 신호 처리부(25)에서의 다이내믹 레인지의 설계를 용이하게 할 수 있다.
[변형례 1-2]
상기한 실시의 형태에서는, 화상 분할 처리(A1)에서의 화소치의 배치 패턴(PAT)을, 하나의 화소치를 단위로 한 체크무늬 패턴으로 하였지만, 이것으로 한정되는 것이 아니다. 이하에, 본 변형례에 관해, 몇가지의 예를 들어 상세히 기재한다. 또한, 이하에서는, 녹색(G)에 관한 맵 데이터를 예로 설명하지만, 청색(B)에 관한 맵 데이터, 및 적색(R)에 관한 맵 데이터에 대해서도 마찬가지이다.
(다른 체크무늬 패턴)
도 12a, 12b는, 화소치의 배치 패턴(PAT)을, 2행2열로 배치된 4개의 화소치를 단위로 한 체크무늬 패턴으로 한 경우에 있어서의, 맵 데이터(MG11, MG12)의 한 예를 도시하는 것이다. 이 도 12a, 12b에 도시한 배치 패턴(PAT)에서의 수평 방향(횡방향)의 피치는, 도 8a, 8b에 도시한 배치 패턴(PAT)에서의 수직 방향의 피치의 2배이다. 마찬가지로, 도 12a, 12b에 도시한 배치 패턴(PAT)에서의 수직 방향(종방향)의 피치는, 도 8a, 8b에 도시한 배치 패턴(PAT)에서의 수직 방향의 피치의 2배이다. 맵 데이터(MG11, MG12)에서의 화소치의 배치 패턴(PAT)은, 서로 수평 방향(횡방향) 및 수직 방향(종방향)으로 2화소분 어긋나 있다.
도 13a, 13b는, 도 12a, 12b에 도시한 맵 데이터(MG11, MG12)에 의거하여 보간 처리(A2)를 행함에 의해 생성된 맵 데이터(MG21, MG22)의 한 예를 도시하는 것이다. 보간 처리부(23)는, 예를 들면, 화소치가 결락된 위치의 2개 오른쪽에 배치된 화소치, 2개 왼쪽에 배치된 화소치, 2개 아래에 배치된 화소치, 및 2개 오른쪽에 배치된 화소치에 의거하여, 보간 처리(A2)를 행함에 의해, 화소치가 결락된 위치에서의 화소치를 구할 수 있다.
(줄무늬모양(縞模樣) 패턴)
도 14a, 14b는, 화소치의 배치 패턴(PAT)을, 화소치가 존재하는 위치와 화소치가 결락된 위치가 수평 방향(횡방향)으로 교대로 나열하는 줄무늬모양 패턴으로 한 경우에 있어서의, 맵 데이터(MG11, MG12)의 한 예를 도시하는 것이다. 맵 데이터(MG11, MG12)에서의 화소치의 배치 패턴(PAT)은, 서로 수평 방향으로 1화소분 어긋나 있다.
도 15a, 15b는, 도 14a, 14b에 도시한 맵 데이터(MG11, MG12)에 의거하여 보간 처리(A2)를 행함에 의해 생성된 맵 데이터(MG21, MG22)의 한 예를 도시하는 것이다. 보간 처리부(23)는, 화소치가 결락된 위치의 하나 왼쪽에 배치된 화소치, 및 하나 오른쪽에 배치된 화소치에 의거하여, 보간 처리(A2)를 행함에 의해, 화소치가 결락된 위치에서의 화소치를 구할 수 있다.
도 16a, 16b는, 화소치의 배치 패턴(PAT)을, 화소치가 존재하는 위치와 화소치가 결락된 위치가 수직 방향(종방향)으로 교대로 나열하는 줄무늬모양 패턴으로 한 경우에 있어서의, 맵 데이터(MG11, MG12)의 한 예를 도시하는 것이다. 맵 데이터(MG11, MG12)에서의 화소치의 배치 패턴(PAT)은, 서로 수직 방향으로 1화소분 어긋나 있다.
도 17A, 17b는, 도 16a, 16b에 도시한 맵 데이터(MG11, MG12)에 의거하여 보간 처리(A2)를 행함에 의해 생성된 맵 데이터(MG21, MG22)의 한 예를 도시하는 것이다. 보간 처리부(23)는, 화소치가 결락된 위치의 하나 위에 배치된 화소치, 및 하나 아래에 배치된 화소치에 의거하여, 보간 처리(A2)를 행함에 의해, 화소치가 결락된 위치에서의 화소치를 구할 수 있다.
(기타의 패턴)
이상의 예에서는, 화상 분할 처리부(22)는, 예를 들면, 하나의 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해 2개의 맵 데이터(MG11, MG12)를 생성하고, 보간 처리부(23)는, 이 2개의 맵 데이터(MG11, MG12)에 대해 보간 처리(A2)를 행함에 의해 2개의 맵 데이터(MG21, MG22)를 생성하고, 합성 처리부(24)는, 이 2개의 맵 데이터(MG21, MG22)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MG3)를 생성하였지만, 이것으로 한정되는 것이 아니다. 이에 대신하여, 예를 들면, 화상 분할 처리부(22)는, 예를 들면 하나의 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해 3개의 맵 데이터(MG11, MG12, MG13)를 생성하고, 보간 처리부(23)는, 이 3개의 맵 데이터(MG11, MG12, MG13)에 대해 보간 처리(A2)를 행함에 의해 3개의 맵 데이터(MG21, MG22, MG23)를 생성하고, 합성 처리부(24)는, 이 3개의 맵 데이터(MG21, MG22, MG23)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MG3)를 생성하여도 좋다.
도 18a, 18c, 18c는, 화소치의 배치 패턴(PAT)을, 이른바 베이어 배열과 같은 패턴으로 한 경우에 있어서의, 맵 데이터(MG11, MG12, MG13)의 한 예를 도시하는 것이다. 구체적으로는, 예를 들면, 맵 데이터(MG11)에서는, 도 8a에 도시한 바와 같이, 영역(X)에서, 좌상에서 화소치가 존재함과 함께, 좌하, 우상, 및 우하에서 화소치가 결락되어 있다. 맵 데이터(MG12)에서는, 도 8b에 도시한 바와 같이, 영역(X)에서, 좌하 및 우상에서 화소치가 존재함과 함께, 좌상 및 우하에서 화소치가 결락되어 있다. 또한, 맵 데이터(MG13)에서, 도 18c에 도시한 바와 같이, 영역(X)에서, 우하에서 화소치가 존재함과 함께, 좌상, 좌하, 및 우상에서 화소치가 결락되어 있다. 맵 데이터(MG11)에서의 각 위치에서의 화소치는, 화상 맵 데이터(MPG)에서의 대응하는 위치에서의 화소치와 같고, 맵 데이터(MG12)에서의 각 위치에서의 화소치는, 화상 맵 데이터(MPG)에서의 대응하는 위치에서의 화소치와 같고, 맵 데이터(MG13)에서의 각 위치에서의 화소치는, 화상 맵 데이터(MPG)에서의 대응하는 위치에서의 화소치와 같다.
도 19a, 19b, 19c는, 도 18a, 18c, 18c에 도시한 맵 데이터(MG11, MG12, MG13)에 의거하여 보간 처리(A2)를 행함에 의해 생성된 맵 데이터(MG21, MG22, MG23)의 한 예를 도시하는 것이다. 보간 처리부(23)는, 맵 데이터(MG11, MG13)(도 18a, 18c)에 대해, 화소치가 결락된 위치의 상하에 화소치가 배치되어 있는 경우에는, 이들 2개의 화소치에 의거하여 보간 처리(A2)를 행하고, 화소치가 결락된 위치의 좌우에 화소치가 배치되어 있는 경우에는, 이들 2개의 화소치에 의거하여 보간 처리(A2)를 행하고, 화소치가 결락된 위치의 좌상, 좌하, 우상, 및 우하에 화소치가 배치되어 있는 경우에는, 이들 4개의 화소치에 의거하여 보간 처리(A2)를 행함에 의해, 맵 데이터(MG21, MG23)를 생성한다. 또한, 보간 처리부(23)는, 맵 데이터(MG12)(도 18b)에 대해, 화소치가 결락된 위치의 상하 좌우에 배치된 4개의 화소치에 의거하여 보간 처리(A2)를 행함에 의해, 맵 데이터(MG22)를 생성한다.
도 20은, 도 19a, 19b, 19c에 도시한 맵 데이터(MG21, MG22, MG23)에 의거하여 합성 처리(A3)를 행함에 의해 생성된 맵 데이터(MG3)의 한 예를 도시하는 것이다. 합성 처리부(24)는, 3개의 맵 데이터(MG21, MG22, MG23)에서의 서로 대응하는 위치의 화소치를 서로 더함에 의해, 맵 데이터(MG3)에서의 그 위치에서의 화소치를 생성한다. 도 20에서, "3G"는, 합성 처리(A3)에 의해, 화소치가, 화상 맵 데이터(MPG)에서의 화소치의 약 3배가 된 것을 나타낸다.
[변형례 1-3]
상기한 실시의 형태에서는, 보간 처리부(23)가 보간 처리(A2)를 행하도록 하였지만, 이 보간 처리(A2)에서의 보간 방법을 변경 가능하게 하여도 좋다. 이하에, 본 변형례에 관해 상세히 설명한다.
도 21은, 본 변형례에 관한 촬상 장치(2)의 한 구성례를 도시하는 것이다. 촬상 장치(2)는, 화상 처리부(30)를 구비하고 있다. 화상 처리부(30)는, 보간 제어부(36)와, 보간 처리부(33)를 갖고 있다.
보간 제어부(36)는, 화상 신호(DT)에 포함되는 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 보간 제어 처리(B1)를 행함에 의해, 보간 처리부(33)에서의 보간 처리(A2)의 보간 방법을 결정하는 것이다. 보간 제어부(36)는, 본 개시에서의 「보간 제어부」의 한 구체례에 대응한다.
보간 처리부(33)는, 화상 분할 처리부(22)로부터 공급된 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)의 각각에 대해, 보간 제어부(36)로부터 지시된 보간 방법을 이용하여 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성하는 것이다.
도 22는, 화상 처리부(30)에서의, 화상 분할 처리(A1), 보간 제어 처리(B1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
보간 제어부(36)는, 우선, 화상 신호(DT)에 포함되는 화상 맵 데이터(MPG, MPB, MPR)에 의거하여 합성 처리(B2)를 행함에 의해, 맵 데이터(MW)를 생성한다. 이 합성 처리(B2)에서는, 보간 제어부(36)는, 3개의 화상 맵 데이터(MPR, MPB, MPR)에서의 서로 대응하는 위치의 화소치를 서로 더함에 의해, 맵 데이터(MW)에서의 그 위치에서의 화소치를 생성할 수 있다.
다음에, 보간 제어부(36)는, 이 맵 데이터(MW)에 의거하여, 공간 주파수 검출 처리(B3)를 행함에 의해, 공간 주파수를 검출한다. 이 공간 주파수 검출 처리(B3)에서, 보간 제어부(36)는, 1프레임 화상을 복수의 화상 영역으로 구분하고, 각 화상 영역에서, 맵 데이터(MW)에 의거하여 공간 주파수를 구한다.
다음에, 보간 제어부(36)는, 공간 주파수 검출 처리(B3)에 의해 구한 공간 주파수에 의거하여, 보간 방법 결정 처리(B4)를 행함에 의해, 보간 처리(A2)의 보간 방법을 결정한다.
도 23a, 23b, 23c는, 보간 처리(A2)의 보간 방법의 예를 도시하는 것이다. 이들의 도면에서는, 보간 처리(A2)를 행함에 의해 생성된 맵 데이터(MG21)를 나타내고 있다. 도 23a에 도시한 보간 방법에서는, 화소치가 결락된 위치의 하나 위에 배치된 화소치, 및 하나 아래에 배치된 화소치에 의거하여, 화소치가 결락된 위치에서의 화소치를 구한다. 즉, 도 23a의 예에서는, 보간 처리를 행하는 방향(보간 방향)은, 수직 방향(종방향)이다. 도 23b에 도시한 보간 방법에서는, 화소치가 결락된 위치의 하나 왼쪽에 배치된 화소치, 및 하나 오른쪽에 배치된 화소치에 의거하여, 화소치가 결락된 위치에서의 화소치를 구한다. 즉, 도 23b의 예에서는, 보간 처리를 행하는 방향(보간 방향)은, 수평 방향(횡방향)이다. 또한, 도 23c에 도시한 보간 방법에서는, 화소치가 결락된 위치의 하나 위에 배치된 화소치, 하나 왼쪽에 배치된 화소치, 하나 아래에 배치된 화소치, 및 하나 오른쪽에 배치된 화소치에 의거하여, 화소치가 결락된 위치에서의 화소치를 구한다. 즉, 도 23c의 예에서는, 보간 처리를 행하는 방향(보간 방향)은, 수직 방향 및 수평 방향이다. 또한, 도 23a∼23c에서는, 3개의 예를 들어 설명하였지만, 이것으로 한정되는 것이 아니다.
보간 제어부(36)는, 보간 방법 결정 처리(B4)에서, 화상 영역마다, 공간 주파수에 의거하여 보간 처리(A2)의 보간 방법을 결정한다. 구체적으로는, 보간 제어부(36)는, 어느 화상 영역에서의 공간 주파수에 의거하여, 그 화상 영역에서의 화상이 세로줄무늬모양(縱縞模樣)이라고 판단한 경우에는, 보간 방향이 수직 방향인 보간 방법(도 23a)을 선택한다. 또한, 예를 들면, 보간 제어부(36)는, 어느 화상 영역에서의 공간 주파수에 의거하여, 그 화상 영역에서의 화상이 가로줄무늬모양이라고 판단한 경우에는, 보간 방향이 수평 방향인 보간 방법(도 23b)을 선택한다. 그리고, 보간 제어부(36)는, 보간 처리부(33)에 대해, 화상 영역마다, 보간 방법을 지시한다.
보간 처리부(33)는, 화상 분할 처리부(22)로부터 공급된 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)의 각각에 대해, 화상 영역마다, 보간 제어부(36)로부터 지시된 보간 방법을 이용하여 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성한다. 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 각각 생성할 때의 보간 방법은, 서로 같다.
이상과 같이, 촬상 장치(2)에서는, 보간 처리(A2)에서의 보간 방법을 변경 가능하게 구성하였기 때문에, 촬상 화소에 응하여 최적의 보간 방법을 이용할 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
특히, 촬상 장치(2)에서는, 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 합성 처리(B2)를 행함에 의해 맵 데이터(MW)를 생성하고, 이 맵 데이터(MW)에 의거하여 공간 주파수를 검출하도록 하였다. 이에 의해, 촬상 장치(2)에서는, 공간 주파수를 높은 정밀도로 검출할 수 있고, 이와 같이 하여 얻어진 공간 주파수에 의거하여 보간 처리(A2)를 행하기 때문에, 보간 처리(A2)의 정밀도를 높일 수 있다. 그 결과, 촬상 장치(2)에서는, 보다 높은 복원 효과를 얻을 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
또한, 이 예에서는, 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 합성 처리(B2)를 행함에 의해 맵 데이터(MW)를 생성하고, 이 맵 데이터(MW)에 의거하여 공간 주파수를 검출하였지만, 이것으로 한정되는 것이 아니다. 이에 대신하여, 예를 들면 도 24에 도시하는 화상 처리부(30A)와 같이, 녹색(G)에 관한 화상 맵 데이터(MPG)에 의거하여 공간 주파수 검출 처리(B3)를 행하고, 이 공간 주파수 검출 처리(B3)에 의해 얻어진 화상 영역마다의 공간 주파수에 의거하여, 화상 영역마다, 녹색(G)의 맵 데이터(MG21, MG22)를 생성하는 보간 처리(A2)에서의 보간 방법을 결정하여도 좋다. 화상 맵 데이터(MPB, MPR)에 대해서도 마찬가지이다. 또한, 이것으로 한정되는 것이 아니고, 예를 들면, 녹색(G)에 관한 화상 맵 데이터(MPG)에 의거하여 공간 주파수 검출 처리(B3)를 행하고, 청색(B)에 관한 화상 맵 데이터(MPB)에 의거하여 공간 주파수 검출 처리(B3)를 행하고, 적색(R)에 관한 화상 맵 데이터(MPR)에 의거하여 공간 주파수 검출 처리(B3)를 행하고, 이들의 공간 주파수 검출 처리(B3)에 의해 얻어진 화상 영역마다의 공간 주파수에 의거하여, 화상 영역마다, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성하는 보간 처리(A2)에서의 보간 방법을 정리하여 결정하여도 좋다. 이 경우에는, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성할 때의 보간 방법을 서로 같게 할 수 있다.
[변형례 1-4]
상기 실시의 형태에서는, 화상 처리부(20)는, 적색(R)에 관한 화상 맵 데이터(MPR), 녹색(G)에 관한 화상 맵 데이터(MPG), 및 청색(B)에 관한 화상 맵 데이터(MPB)에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하도록 하였지만, 이것으로 한정되는 것이 아니고, 이에 대신하여, 예를 들면, 휘도 신호에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하도록 하여도 좋다. 이하에, 본 변형례에 관해 상세히 설명한다.
도 25는, 본 변형례에 관한 촬상 장치(1D)의 한 구성례를 도시하는 것이다. 이 촬상 장치(1D)는, 화상 처리부(20D)를 구비하고 있다. 화상 처리부(20D)는, Y/C 분리부(29D)와, 화상 분할 처리부(22D)와, 보간 처리부(23D)와, 합성 처리부(24D)와, 신호 처리부(25D)를 갖고 있다.
Y/C 분리부(29D)는, Y/C 분리 처리(C1)를 행함에 의해, 화상 신호(DT)에 포함되는 RGB 신호를, 휘도(Y) 신호 및 색(C) 신호로 분리하고, 이들의 휘도 신호 및 색 신호를, 화상 신호(DT11)로서 출력하는 것이다. 화상 신호(DT11)는, 맵 데이터(MY, MCr, MCb)를 포함하고 있다. 맵 데이터(MY)는, 휘도(Y)에 관한 1프레임 화상분의 화소치를 포함하고, 맵 데이터(MCr)는, R-Y 색차(Cr)에 관한 1프레임 화상분의 화소치를 포함하고, 맵 데이터(MCb)는, B-Y 색차(Cb)에 관한 1프레임 화상분의 화소치를 포함한다. 각 화소치는, 복수 비트의 디지털 코드로 나타내지는 것이다. Y/C 분리부(29D)는, 본 개시에서의 「생성부」의 한 구체례에 각각 대응한다.
화상 분할 처리부(22D)는, Y/C 분리부(29D)로부터 전환부(21)를 통하여 공급된 화상 신호(DT11)에 포함되는 맵 데이터(MY)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 2개의 맵 데이터(MY11, MY12)를 생성하는 것이다. 또한, 화상 분할 처리부(22D)는, 화상 신호(DT11)에 포함되는 맵 데이터(MCr, MCb)를, 그대로 출력하도록 되어 있다.
보간 처리부(23D)는, 화상 분할 처리부(22D)로부터 공급된 2개의 맵 데이터(MY11, MY12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 2개의 맵 데이터(MY21, MY22)를 생성하는 것이다. 또한, 보간 처리부(23D)는, 화상 분할 처리부(22D)로부터 공급된 맵 데이터(MCr, MCb)를, 그대로 출력하도록 되어 있다.
합성 처리부(24D)는, 보간 처리부(23D)로부터 공급된 2개의 맵 데이터(MY21, MY22)에 의거하여, 합성 처리(A3)를 행함에 의해, 하나의 맵 데이터(MY3)를 생성하는 것이다. 그리고, 합성 처리부(24D)는, 합성 처리(A3)에 의해 생성한 맵 데이터(MY3), 및 보간 처리부(23D)로부터 공급된 맵 데이터(MCr, MCb)를, 화상 신호(DT12)로서 신호 처리부(25D)에 공급하도록 되어 있다.
신호 처리부(25D)는, 합성 처리부(24D)로부터 공급된 화상 신호(DT12), 또는 Y/C 분리부(29D)로부터 전환부(21)를 통하여 공급된 화상 신호(DT11)에 의거하여, 소정의 신호 처리를 행하는 것이다. 그리고, 신호 처리부(25D)는, 이들 소정의 신호 처리의 처리 결과를, 화상 신호(DT13)로서 출력하도록 되어 있다.
도 26은, 화상 처리부(20D)에서의, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
Y/C 분리부(29D)는, Y/C 분리 처리(C1)를 행함에 의해, 화상 신호(DT)에 포함되는 RGB 신호를, 휘도(Y) 신호 및 색(C) 신호로 분리한다. 구체적으로는, Y/C 분리부(29D)는, 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 맵 데이터(MY, MCb, MCr)를 생성한다. Y/C 분리부(29D)는, 3개의 화상 맵 데이터(MPG, MPB, MPR)에서의 서로 대응하는 위치의 화소치에 의거하여, 예를 들면 이하의 식을 이용하여, 휘도(Y)에 관한 화소치를 생성한다.
VY=VG×0.59+VB×0.11+VR×0.3
이 식에서, "VY"는 휘도(Y)에 관한 화소치이고, "VG"는 녹색(G)에 관한 화소치이고, "VB"는 청색(B)에 관한 화소치이고, "VR"는 적색(R)에 관한 화소치이다.
화상 분할 처리부(22D)는, 이와 같이 하여 생성된 맵 데이터(MY)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 2개의 맵 데이터(MY11, MY12)를 생성한다. 보간 처리부(23D)는, 이들 2개의 맵 데이터(MY11, MY12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 2개의 맵 데이터(MY21, MY22)를 생성한다. 합성 처리부(24D)는, 2개의 맵 데이터(MY21, MY22)에 의거하여 합성 처리(A3)를 행함에 의해, 하나의 맵 데이터(MY3)를 생성한다. 구체적으로는, 합성 처리부(24D)는, 2개의 맵 데이터(MY21, MY22)에서의 서로 대응하는 위치의 화소치를 서로 더하고, 그 서로 더하여진 화소치를 반분으로 함에 의해, 맵 데이터(MY3)에서의 그 위치에서의 화소치를 생성한다. 맵 데이터(MY)는, 본 개시에서의 「제1의 화상 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MY11, MY12)는, 본 개시에서의 「복수의 제1의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MY21, MY22)는, 본 개시에서의 「복수의 제2의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MY3)는, 본 개시에서의 「제3의 맵 데이터」의 한 구체례에 대응한다.
이에 의해, 촬상 장치(1D)에서는, 휘도 신호에 관한 신호 잡음비(S/N비)를 높일 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다. 또한, 이 예에서는, 휘도(Y)에 관한 맵 데이터(MY)에 대해서만, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하도록 하였기 때문에, 처리량을 억제할 수 있다. 그 결과, 촬상 장치(1D)에서는, 예를 들면 소비 전력을 저감할 수 있다.
[기타의 변형례]
또한, 이들의 변형례 중의 2 이상을 조합시켜도 좋다.
<2. 제2의 실시의 형태>
다음에, 제2의 실시의 형태에 관한 촬상 장치(3)에 관해 설명한다. 본 실시의 형태는, 촬상부에서의 청색 및 적색의 광전변환 소자의 구성이, 상기 제1의 실시의 형태의 경우와 다른 것이다. 또한, 상기 제1의 실시의 형태에 관한 촬상 장치(1)와 실질적으로 동일한 구성 부분에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
도 27은, 본 실시의 형태에 관한 촬상 장치(3)의 한 구성례를 도시하는 것이다. 촬상 장치(3)는, 촬상부(40)와, 화상 처리부(50)를 구비하고 있다.
도 28은, 촬상부(40)에 관한 촬상 화소(P)의 단면 구조를 모식적으로 도시하는 것이다. 반도체 기판(100)에는, 하나의 촬상 화소(P)에 대응하는 화소 영역에서, 하나의 포토 다이오드(PD)가 형성된다. 이 포토 다이오드(PD)는, 상기 제1의 실시의 형태에 관한 포토 다이오드(PDB, PDR)와는 달리, 가시광에 대응하는 다양한 파장의 광을 수광 가능한 것이다. 반도체 기판(100)의 촬상면(S)측의 표면에는 절연막(101)이 형성되고, 이 절연막(101)의 위에는, 컬러 필터(111)가 형성된다. 구체적으로는, 절연막(101)의 위에는, 컬러 필터(111B) 또는 컬러 필터(111R)가 선택적으로 형성된다. 컬러 필터(111B)는, 청색(B)의 광을 투과함과 함께 적색(R) 및 녹색(G)의 광을 차단하는 것이다. 컬러 필터(111R)는, 적색(R)의 광을 투과함과 함께 청색(B) 및 녹색(G)의 광을 차단하는 것이다. 컬러 필터(111B) 및 포토 다이오드(PD)는, 청색(B)의 광을 수광 가능한 광전변환 소자를 구성하고, 컬러 필터(111R) 및 포토 다이오드(PD)는, 적색(R)의 광을 수광 가능한 광전변환 소자를 구성한다. 컬러 필터(111)의 위에는, 절연막(112)이 형성된다. 이 절연막(112)은, 예를 들면 이산화규소(SiO2)를 이용하여 구성된다. 그리고, 이 절연막(112)의 위에는, 투명 전극(102), 광전변환막(103G), 투명 전극(104), 및 온 칩 렌즈(105)가, 이 순서로 형성된다.
도 29는, 4개의 촬상 화소(P)가 배치된 영역(X)에서의 광전변환 소자의 배치를 모식적으로 도시하는 것이다. 이와 같이, 촬상부(40)에서는, 하나의 촬상 화소(P)에 대응하는 화소 영역에서, 상층에 녹색(G)에 관한 광전변환 소자가 배치되고, 하층에 청색(B) 또는 적색(R)에 관한 광전변환 소자가 배치된다. 청색(B) 및 적색(R)에 관한 광전변환 소자는, 체크무늬형상으로 배치되어 있다. 즉, 촬상부(40)에서는, 컬러 필터(111B) 및 컬러 필터(111R)는, 체크무늬형상으로 배치되어 있다. 이에 의해, 촬상부(40)에서는, 각 촬상 화소(P)의 각각이, 녹색에 관한 화소 신호와, 청색 또는 적색에 관한 화소 신호를 생성할 수 있도록 되어 있다.
이와 같은 구성에 의해, 촬상부(40)는, 화상 신호(DT21) 및 게인 신호(SGAIN)를 생성한다. 화상 신호(DT21)는, 2개의 화상 맵 데이터(MPG, MPBR)를 포함하고 있다. 화상 맵 데이터(MPG)는, 녹색(G)에 관한 1프레임 화상분의 화소치를 포함하고, 화상 맵 데이터(MPBR)는, 청색(B) 및 적색(R)에 관한 1프레임 화상분의 화소치를 포함한다. 화상 맵 데이터(MPBR)에서, 청색(B)에 관한 화소치 및 적색(R)에 관한 화소치는, 컬러 필터(111B, 111R)의 배치에 대응하여, 체크무늬형상으로 배치된다.
화상 처리부(50)(도 27)는, 화상 분할 처리부(52)와, 보간 제어부(56)와, 보간 처리부(53)와, 합성 처리부(54)와, 신호 처리부(55)를 갖고 있다.
화상 분할 처리부(52)는, 촬상부(40)로부터 전환부(21)를 통하여 공급된 화상 신호(DT21)에 포함되는 화상 맵 데이터(MPG, MPBR)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 4개의 맵 데이터(MG11, MG12, MR11, MB12)를 생성하는 것이다.
보간 제어부(56)는, 화상 신호(DT21)에 포함되는 화상 맵 데이터(MPG)에 의거하여 보간 제어 처리(B1)를 행함에 의해, 보간 처리부(53)에서의 보간 처리(A2)의 보간 방법을 결정하는 것이다.
보간 처리부(53)는, 화상 분할 처리부(52)로부터 공급된 4개의 맵 데이터(MG11, MG12, MR11, MB12)의 각각에 대해, 보간 제어부(56)로부터 지시된 보간 방법을 이용하여 보간 처리(A2)를 행함에 의해, 4개의 맵 데이터(MG21, MG22, MR21, MB22)를 생성하는 것이다.
합성 처리부(54)는, 보간 처리부(53)로부터 공급된 2개의 맵 데이터(MG21, MG22)에 의거하여 합성 처리(A3)를 행함에 의해, 하나의 맵 데이터(MG3)를 생성하는 것이다. 그리고, 합성 처리부(54)는, 합성 처리(A3)에 의해 생성한 맵 데이터(MG3), 및 보간 처리부(53)로부터 공급된 맵 데이터(MR21, MB22)를, 화상 신호(DT22)로서 신호 처리부(55)에 공급하도록 되어 있다.
신호 처리부(55)는, 합성 처리부(54)로부터 공급된 화상 신호(DT22), 또는 촬상부(40)로부터 전환부(21)를 통하여 공급된 화상 신호(DT21)에 의거하여, 소정의 신호 처리를 행하는 것이다. 그리고, 신호 처리부(55)는, 이들의 소정의 신호 처리의 처리 결과를, 화상 신호(DT23)로서 출력하도록 되어 있다.
도 30은, 화상 처리부(50)에서의, 화상 분할 처리(A1), 보간 제어 처리(B1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
화상 분할 처리부(52)는, 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 2개의 맵 데이터(MG11, MG12)를 생성한다. 또한, 화상 분할 처리부(52)는, 화상 맵 데이터(MPBR)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 2개의 맵 데이터(MR11, MB12)를 생성한다. 도 30에 도시한 바와 같이, 맵 데이터(MR11)에서는, 영역(X)에서, 좌상 및 우하에서 적색(R)에 관한 화소치가 존재함과 함께, 좌하 및 우상에서 화소치가 결락되어 있다. 또한, 맵 데이터(MB12)에서는, 영역(X)에서, 좌하 및 우상에서 청색(B)에 관한 화소치가 존재함과 함께, 좌상 및 우하에서 화소치가 결락되어 있다. 즉, 이 예에서는, 화상 분할 처리(A1)에서의 화소치의 배치 패턴(PAT)을, 촬상부(40)에서의 컬러 필터(111B, 111R)의 체크무늬형상의 배치에 대응하도록, 체크무늬 패턴으로 하였다. 이에 의해, 화상 맵 데이터(MPBR)에 포함되는 적색(R)의 화소치는, 맵 데이터(MR11)에만 포함되게 되고, 화상 맵 데이터(MPBR)에 포함되는 청색(B)의 화소치는, 맵 데이터(MB12)에만 포함되게 된다. 도 30에 도시한 바와 같이, 맵 데이터(MG11, MR11)는, 서로 같은 배치 패턴(PAT)을 가지며. 맵 데이터(MG12, MB12)는, 서로 같은 배치 패턴(PAT)을 갖는다.
보간 제어부(56)는, 녹색(G)에 관한 화상 맵 데이터(MPG)에 의거하여, 공간 주파수 검출 처리(B3)를 행함에 의해, 공간 주파수를 검출한다. 그리고, 보간 제어부(56)는, 보간 방법 결정 처리(B4)를 행함에 의해, 공간 주파수 검출 처리(B3)에 의해 구한 공간 주파수에 의거하여, 화상 영역마다, 보간 처리(A2)의 보간 방법을 결정한다. 그리고, 보간 제어부(56)는, 보간 처리부(53)에 대해, 화상 영역마다, 보간 방법을 지시한다.
보간 처리부(53)는, 화상 분할 처리부(52)로부터 공급된 4개의 맵 데이터(MG11, MG12, MR11, MB12)의 각각에 대해, 화상 영역마다, 보간 제어부(56)로부터 지시된 보간 방법을 이용하여 보간 처리(A2)를 행함에 의해, 4개의 맵 데이터(MG21, MG22, MR21, MB22)를 생성한다. 4개의 맵 데이터(MG21, MG22, MR21, MB22)를 각각 생성할 때의 보간 방법은, 서로 같다.
합성 처리부(54)는, 2개의 맵 데이터(MG21, MG22)에 의거하여, 합성 처리(A3)를 행함에 의해, 하나의 맵 데이터(MG3)를 생성한다. 구체적으로는, 합성 처리부(54)는, 2개의 맵 데이터(MG21, MG22)에서의 서로 대응하는 위치의 화소치를 서로 더하고, 그 서로 더하여진 화소치를 반분으로 함에 의해, 맵 데이터(MG3)에서의 그 위치에서의 화소치를 생성한다.
화상 맵 데이터(MPG, MPBR)는, 본 개시에서의 「제1의 화상 맵 데이터」 및 「제2의 화상 맵 데이터」의 한 구체례에 각각 대응한다. 맵 데이터(MR11, MB12)는, 본 개시에서의 「복수의 제4의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MR21, MB22)는, 본 개시에서의 「복수의 제5의 맵 데이터」의 한 구체례에 대응한다.
이상과 같이, 촬상 장치(3)에서, 예를 들면, 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해 맵 데이터(MG11, MG12)를 생성하고, 이들의 맵 데이터(MG11, MG12)에 각각에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MG21, MG22)를 생성하고, 이들의 맵 데이터(MG21, MG22)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MG3)를 생성하도록 하였다. 이에 의해, 촬상 장치(3)에서, 상기 제1의 실시의 형태의 경우와 마찬가지로, 맵 데이터(MG3)에서의 신호 잡음비(S/N비)를 높일 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(3)에서, 촬상부(40)에서의 컬러 필터(111B, 111R)의 체크무늬형상의 배치에 대응하도록, 화상 분할 처리(A1)에서의 화소치의 배치 패턴(PAT)을 체크무늬 패턴으로 하였다. 그리고, 맵 데이터(MG11, MR11)에서의 화소치의 배치 패턴(PAT)을 서로 같게 함과 함께, 맵 데이터(MG12, MB12)에서의 화소치의 배치 패턴(PAT)을 서로 같게 하였다. 이에 의해, 화상 분할 처리부(52)는, 2개의 화상 맵 데이터(MPG, MPBR)에 의거하여, 같은 방법으로 화상 분할 처리(A1)를 행할 수가 있기 때문에, 화상 분할 처리부(52)의 회로 구성을 심플하게 할 수 있다. 또한, 촬상 장치(1)의 경우와 마찬가지로, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(3)에서, 보간 처리(A2)에서, 맵 데이터(MG21, MG22, MR21, MB22)를 생성할 때의 보간 방법을 서로 같게 하였다. 이에 의해, 보간 처리부(53)는, 서로 같은 보간 방법을 이용하여 4개의 맵 데이터(MG21, MG22, MR21, MB22)를 생성할 수 있기 때문에, 보간 처리부(53)의 회로 구성을 심플하게 할 수 있다. 또한, 촬상 장치(1)의 경우와 마찬가지로, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(3)에서, 녹색(G)에 관한 화소치가 전면에 배치된 화상 맵 데이터(MPG)에 의거하여 공간 주파수를 검출하고, 이 검출된 공간 주파수에 의거하여, 보간 처리(A2)에서의 보간 방법을 결정하도록 하였다. 이에 의해, 촬상 장치(3)에서, 공간 주파수를 높은 정밀도로 검출할 수 있기 때문에, 보간 처리(A2)의 정밀도를 높일 수 있다. 그 결과, 촬상 장치(3)에서, 보다 높은 복원 효과를 얻을 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(3)에서는, 상기 제1의 실시의 형태에 관한 촬상 장치(1)와 마찬가지로, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였다. 이에 의해, 촬상 장치(3)에서, 예를 들면, 어두운 피사체를 촬상하는 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행함에 의해, 촬상 화상에서의 신호 잡음비(S/N비)를 높일 수 있고, 예를 들면, 밝은 피사체를 촬상하는 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 함에 의해, 촬상 화상에서의 해상도를 높일 수 있다. 그 결과, 촬상 장치(3)에서는, 촬상 화상의 화질을 높일 수 있다.
이상과 같이 본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하도록 하였기 때문에, 촬상 화상에서의 신호 잡음비를 높일 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 촬상부에서의 컬러 필터의 체크무늬형상의 배치에 대응하도록, 화상 분할 처리에서의 화소치의 배치 패턴을 체크무늬 패턴으로 하였기 때문에, 화상 분할 처리부의 회로 구성을 심플하게 할 수 있음과 함께, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 보간 처리에서, 4개의 맵 데이터를 생성할 때의 보간 방법을 서로 같게 하였기 때문에, 보간 처리부의 회로 구성을 심플하게 할 수 있음과 함께, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 녹색(G)에 관한 화소치가 전면에 배치된 화상 맵 데이터(MPG)에 의거하여 공간 주파수를 검출하고, 이 검출된 공간 주파수에 의거하여, 보간 처리에서의 보간 방법을 결정하도록 하였기 때문에, 공간 주파수를 높은 정밀도로 검출할 수 있고, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였기 때문에, 촬상 화상의 화질을 높일 수 있다.
<3. 제3의 실시의 형태>
다음에, 제3의 실시의 형태에 관한 촬상 장치(4)에 관해 설명한다. 본 실시의 형태는, 촬상부에서의, 청색(B) 및 적색(R)의 광을 수광 가능한 광전변환 소자의 배치 밀도(密度)가, 상기 제1의 실시의 형태의 경우와 다른 것이다. 또한, 상기 제1의 실시의 형태에 관한 촬상 장치(1)와 실질적으로 동일한 구성 부분에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
도 31은, 본 실시의 형태에 관한 촬상 장치(4)의 한 구성례를 도시하는 것이다. 촬상 장치(4)는, 촬상부(60)와, 화상 처리부(70)를 구비하고 있다.
도 32는, 촬상부(60)에 관한 촬상 화소(P)의 단면 구조를 모식적으로 도시하는 것이다. 도 33은, 4개의 촬상 화소(P)가 배치된 영역(X)에서의 광전변환 소자의 배치를 모식적으로 도시하는 것이다. 반도체 기판(100)에는, 4개의 촬상 화소(P)에 대응하는 영역(X)에서, 포토 다이오드(PDR2, PDB2)가 형성된다. 포토 다이오드(PDR2)는, 포토 다이오드(PDR)와 마찬가지로, 적색(R)의 광을 수광 가능한 광전변환 소자이고, 포토 다이오드(PDB2)는, 포토 다이오드(PDB)와 마찬가지로, 청색(B)의 광을 수광 가능한 광전변환 소자이다. 포토 다이오드(PDR2) 및 포토 다이오드(PDB2)는, 반도체 기판(100)에서, 4개의 촬상 화소(P)에 대응하는 영역(X)에서, 포토 다이오드(PDB2)가 촬상면(S)의 측이 되도록 적층되어 형성된다. 즉, 제1의 실시의 형태에 관한 촬상부(10)에서는, 하나의 촬상 화소(P)에 대응하는 화소 영역에서, 포토 다이오드(PDB, PDR)를 적층하여 형성하였지만, 본 실시의 형태에 관한 촬상부(60)에서는, 4개의 촬상 화소(P)에 대응하는 영역(X)에서, 포토 다이오드(PDB2, PDR2)를 적층하여 형성하고 있다. 이에 의해, 촬상부(60)에서는, 4개의 촬상 화소(P)에 대응하는 영역(X)에서, 녹색(G)에 관한 4개의 광전변환 소자, 청색(B)에 관한 하나의 광전변환 소자, 적색(R)에 관한 하나의 광전변환 소자가 적층되어 형성된다. 환언하면, 촬상부(60)에서는, 청색(B)에 관한 광전변환 소자의 배치 밀도는, 녹색(G)에 관한 광전변환 소자의 배치 밀도의 1/4이고, 적색(R)에 관한 광전변환 소자의 배치 밀도는, 녹색(G)에 관한 광전변환 소자의 배치 밀도의 1/4이다. 컬러 필터(111)의 위에는, 절연막(112)이 형성된다. 이 절연막(112)은, 예를 들면 이산화규소(SiO2)를 이용하여 구성된다. 반도체 기판(100)의 위에는 절연막(101)이 형성되고, 이 절연막(101)의 위에는, 투명 전극(102), 광전변환막(103G), 투명 전극(104), 및 온 칩 렌즈(105)가, 이 순서로 형성된다.
이와 같은 구성에 의해, 촬상부(60)는, 화상 신호(DT31) 및 게인 신호(SGAIN)를 생성한다. 화상 신호(DT31)는, 3개의 화상 맵 데이터(MPG, MPB, MPR)를 포함하고 있다. 화상 맵 데이터(MPG)는, 녹색(G)에 관한 1프레임 화상분의 화소치를 포함하고, 화상 맵 데이터(MPB)는, 청색(B)에 관한 1프레임 화상분의 화소치를 포함하고, 화상 맵 데이터(MPR)는, 적색(R)에 관한 1프레임 화상분의 화소치를 포함한다. 화상 맵 데이터(MPB)에서의 화소치의 수는, 화상 맵 데이터(MPG)에서의 화소치의 수의 1/4이고, 화상 맵 데이터(MPR)에서의 화소치의 수는, 화상 맵 데이터(MPG)에서의 화소치의 수의 1/4이다. 화상 맵 데이터(MPG)에서의 4개의 화소치는, 화상 맵 데이터(MPB)에서의 하나의 화소치에 대응되어 있음과 함께, 화상 맵 데이터(MPR)에서의 하나의 화소치에 대응되어 있다.
화상 처리부(70)(도 31)는, 화상 분할 처리부(72)와, 보간 처리부(73)와, 합성 처리부(74)와, 신호 처리부(75)를 갖고 있다.
화상 분할 처리부(72)는, 촬상부(60)로부터 전환부(21)를 통하여 공급된 화상 신호(DT31)에 포함되는 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MB12)를 생성하는 것이다.
보간 처리부(73)는, 화상 분할 처리부(72)로부터 공급된 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MB22)를 생성하는 것이다.
합성 처리부(74)는, 보간 처리부(73)로부터 공급된 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)에 의거하여 합성 처리(A3)를 행함에 의해, 3개의 맵 데이터(MG3, MB3, MR3)를 생성하는 것이다. 그리고, 합성 처리부(74)는, 합성 처리(A3)에 의해 생성한 맵 데이터(MG3, MB3, MR3)를, 화상 신호(DT32)로서 신호 처리부(75)에 공급하도록 되어 있다.
신호 처리부(75)는, 합성 처리부(74)로부터 공급된 화상 신호(DT32), 또는 촬상부(60)로부터 전환부(21)를 통하여 공급된 화상 신호(DT31)에 의거하여, 소정의 신호 처리를 행하는 것이다. 그리고, 신호 처리부(75)는, 이들 소정의 신호 처리의 처리 결과를, 화상 신호(DT33)로서 출력하도록 되어 있다.
도 34는, 화상 처리부(70)에서의, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
화상 분할 처리부(72)는, 화상 맵 데이터(MPG, MPB, MPR)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)를 생성한다. 도 34에 도시한 바와 같이, 맵 데이터(MG11, MG12)에서의 화소치의 배치 패턴(PAT)은, 4개의 화소치를 단위로 한 체크무늬 패턴(도 12a, 12b)이다. 한편, 맵 데이터(MB11, MB12, MR11, MR12)에서의 화소치의 배치 패턴(PAT)은, 하나의 화소치를 단위로 한 체크무늬 패턴(도 8a, 8b)이다. 즉, 촬상부(60)에서, 녹색(G), 청색(B), 및 적색(R)에 관한 광전변환 소자의 배치 밀도에 대응하여, 맵 데이터(MG11, MG12)에서의 체크무늬 패턴에서의 단위를, 맵 데이터(MB11, MB12, MR11, MR12)에서의 체크무늬 패턴에서의 단위의 4배로 하고 있다.
보간 처리부(73)는, 화상 분할 처리부(22)로부터 공급된 6개의 맵 데이터(MG11, MG12, MB11, MB12, MR11, MR12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)를 생성한다. 맵 데이터(MG11, MG12)에 대해 보간 처리(A2)를 행하는 경우에는, 보간 처리부(73)는, 도 13a, 13b에 도시한 보간 방법을 이용할 수 있다. 맵 데이터(MB21, MB22, MR21, MR22)를 각각 생성할 때의 보간 방법은, 서로 같다. 또한, 맵 데이터(MG21, MG22)를 각각 생성할 때의 보간 방법을, 맵 데이터(MB21, MB22, MR21, MR22)를 각각 생성할 때의 보간 방법과 같은 방법으로 할 수 있다. 구체적으로는, 예를 들면, 이들 2개의 보간 방법에서의 보간 방향을 같게 할 수 있다.
합성 처리부(74)는, 6개의 맵 데이터(MG21, MG22, MB21, MB22, MR21, MR22)에 의거하여, 합성 처리(A3)를 행함에 의해, 3개의 맵 데이터(MG3, MB3, MR3)를 생성한다.
이상과 같이, 촬상 장치(4)에서는, 예를 들면, 화상 맵 데이터(MPG)에 의거하여 화상 분할 처리(A1)를 행함에 의해 맵 데이터(MG11, MG12)를 생성하고, 이들의 맵 데이터(MG11, MG12)에 각각에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MG21, MG22)를 생성하고, 이들의 맵 데이터(MG21, MG22)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MG3)를 생성하도록 하였다. 화상 맵 데이터(MPB, MPR)에 대해서도 마찬가지이다. 이에 의해, 촬상 장치(4)에서는, 상기 제1의 실시의 형태의 경우와 마찬가지로, 맵 데이터(MG3, MB3, MR3)에서의 신호 잡음비(S/N비)를 높일 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(4)에서는, 촬상부(60)에서의, 녹색(G), 청색(B), 및 적색(R)에 관한 광전변환 소자의 배치 밀도에 대응하도록, 맵 데이터(MG11, MG12)에서의 체크무늬 패턴에서 단위를, 맵 데이터(MB11, MB12, MR11, MR12)에서의 체크무늬 패턴에서의 단위의 4배로 하였다. 이에 의해, 화상 분할 처리부(72)는, 3개의 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 같은 방법으로 화상 분할 처리(A1)를 행할 수가 있기 때문에, 화상 분할 처리부(72)의 회로 구성을 심플하게 할 수 있다. 또한, 촬상 장치(1)의 경우와 마찬가지로, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(4)에서는, 보간 처리(A2)에서, 맵 데이터(MB21, MB22, MR21, MR22)를 생성할 때의 보간 방법을 서로 같게 하였다. 이에 의해, 보간 처리부(73)는, 서로 같은 보간 방법을 이용하여 4개의 맵 데이터(MB21, MB22, MR21, MR22)를 생성할 수 있기 때문에, 보간 처리부(73)의 회로 구성을 심플하게 할 수 있다. 또한, 보간 처리(A2)에서, 맵 데이터(MG21, MG22)를 각각 생성할 때의 보간 방법을, 맵 데이터(MB21, MB22, MR21, MR22)를 각각 생성할 때의 보간 방법과 같은 방법으로 하였기 때문에, 촬상 장치(1)의 경우와 마찬가지로, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(4)에서는, 상기 제1의 실시의 형태에 관한 촬상 장치(1)와 마찬가지로, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였다. 이에 의해, 촬상 장치(4)에서는, 예를 들면, 어두운 피사체를 촬상하는 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행함에 의해, 촬상 화상에서의 신호 잡음비(S/N비)를 높일 수 있고, 예를 들면, 밝은 피사체를 촬상하는 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 함에 의해, 촬상 화상에서의 해상도를 높일 수 있다. 그 결과, 촬상 장치(4)에서는, 촬상 화상의 화질을 높일 수 있다.
이상과 같이 본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하도록 하였기 때문에, 촬상 화상에서의 신호 잡음비를 높일 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 촬상부에서의, 녹색, 청색, 및 적색에 관한 광전변환 소자의 배치 밀도에 대응하도록, 맵 데이터(MG11, MG12)에서의 체크무늬 패턴에서의 단위를, 맵 데이터(MB11, MB12, MR11, MR12)에서의 체크무늬 패턴에서의 단위의 4배로 하였기 때문에, 화상 분할 처리부의 회로 구성을 심플하게 할 수 있음과 함께, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 보간 처리에서, 맵 데이터(MB21, MB22, MR21, MR22)를 생성할 때의 보간 방법을 서로 같게 하였기 때문에, 보간 처리부의 회로 구성을 심플하게 할 수 있음과 함께, 위색이 생길 우려를 저감할 수 있다.
본 실시의 형태에서는, 보간 처리에서, 맵 데이터(MG21, MG22)를 각각 생성할 때의 보간 방법을, 맵 데이터(MB21, MB22, MR21, MR22)를 각각 생성할 때의 보간 방법과 같은 방법으로 하였기 때문에, 위색이 생길 우려를 저감할 수 있고, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였기 때문에, 촬상 화상의 화질을 높일 수 있다.
[변형례 3-1]
상기 실시의 형태에서는, 화상 처리부(70)는, 적색(R)에 관한 화상 맵 데이터(MPR), 녹색(G)에 관한 화상 맵 데이터(MPG), 및 청색(B)에 관한 화상 맵 데이터(MPB)에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하도록 하였지만, 이것으로 한정되는 것이 아니다. 이에 대신하여, 예를 들면, 제1의 실시의 형태의 변형례에 관한 촬상 장치(1D)의 경우(도 25)와 마찬가지로, 휘도 신호에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하도록 하여도 좋다. 이하에, 본 변형례에 관해 상세히 설명한다.
도 35는, 본 변형례에 관한 촬상 장치(4A)의 한 구성례를 도시하는 것이다. 이 촬상 장치(4A)는, 화상 처리부(70A)를 구비하고 있다. 화상 처리부(70A)는, Y/C 분리부(79A)와, 화상 분할 처리부(72A)와, 보간 처리부(73A)와, 합성 처리부(74A)와, 신호 처리부(75A)를 갖고 있다.
Y/C 분리부(79A)는, Y/C 분리 처리(C1)를 행함에 의해, 화상 신호(DT31)에 포함되는 RGB 신호를, 휘도(Y) 신호 및 색(C) 신호로 분리하고, 이들의 휘도 신호 및 색 신호를, 화상 신호(DT41)로서 출력하는 것이다. 화상 신호(DT41)는, 맵 데이터(MY, MCr, MCb)를 포함하고 있다. 맵 데이터(MY)는, 휘도(Y)에 관한 1프레임 화상분의 화소치를 포함하고, 맵 데이터(MCr)는, R-Y 색차(Cr)에 관한 1프레임 화상분의 화소치를 포함하고, 맵 데이터(MCb)는, B-Y 색차(Cb)에 관한 1프레임 화상분의 화소치를 포함한다. 맵 데이터(MCr)에서의 화소치의 수는, 맵 데이터(MY)에서의 화소치의 수의 1/4이다. 마찬가지로, 맵 데이터(MCb)에서의 화소치의 수는, 맵 데이터(MY)에서의 화소치의 수의 1/4이다.
화상 분할 처리부(72A)는, Y/C 분리부(79A)로부터 전환부(21)를 통하여 공급된 화상 신호(DT41)에 포함되는 맵 데이터(MY)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 2개의 맵 데이터(MY11, MY12)를 생성하는 것이다. 또한, 화상 분할 처리부(72A)는, 화상 신호(DT41)에 포함되는 맵 데이터(MCr, MCb)를, 그대로 출력하도록 되어 있다.
보간 처리부(73A)는, 화상 분할 처리부(72A)로부터 공급된 2개의 맵 데이터(MY11, MY12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 2개의 맵 데이터(MY21, MY22)를 생성하는 것이다. 또한, 보간 처리부(73A)는, 화상 분할 처리부(72A)로부터 공급된 맵 데이터(MCr, MCb)를, 그대로 출력하도록 되어 있다.
합성 처리부(74A)는, 보간 처리부(73A)로부터 공급된 2개의 맵 데이터(MY21, MY22)에 의거하여 합성 처리(A3)를 행함에 의해, 하나의 맵 데이터(MY3)를 생성하는 것이다. 그리고, 합성 처리부(74A)는, 합성 처리(A3)에 의해 생성한 맵 데이터(MY3), 및 보간 처리부(73A)로부터 공급된 맵 데이터(MCr, MCb)를, 화상 신호(DT42)로서 신호 처리부(75A)에 공급하도록 되어 있다.
신호 처리부(75A)는, 합성 처리부(74A)로부터 공급된 화상 신호(DT42), 또는 Y/C 분리부(79A)로부터 전환부(21)를 통하여 공급된 화상 신호(DT41)에 의거하여, 소정의 신호 처리를 행하는 것이다. 그리고, 신호 처리부(75A)는, 이들 소정의 신호 처리의 처리 결과를, 화상 신호(DT43)로서 출력하도록 되어 있다.
도 36은, 화상 처리부(70A)에서의, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
Y/C 분리부(79A)는, Y/C 분리 처리(C1)를 행함에 의해, 화상 신호(DT31)에 포함되는 RGB 신호를, 휘도(Y) 신호 및 색(C) 신호로 분리한다. 구체적으로는, Y/C 분리부(79A)는, 화상 맵 데이터(MPG, MPB, MPR)에 의거하여, 맵 데이터(MY, MCb, MCr)를 생성한다. Y/C 분리부(79A)는, 3개의 화상 맵 데이터(MPG, MPB, MPR)에서의 서로 대응하는 위치의 화소치에 의거하여, 예를 들면 이하의 식을 이용하여, 휘도(Y)에 관한 화소치를 생성한다.
VY1=VG1×0.59+VB/4×0.11+VR/4×0.3
VY2=VG2×0.59+VB/4×0.11+VR/4×0.3
VY3=VG3×0.59+VB/4×0.11+VR/4×0.3
VY4=VG4×0.59+VB/4×0.11+VR/4×0.3
이 식에서, "VY1"∼"VY4"는 휘도(Y)에 관한 화소치이고, "VG1"∼"VG4"는 녹색(G)에 관한 화소치이고, "VB"는 청색(B)에 관한 화소치이고, "VR"는 적색(R)에 관한 화소치이다. "VY1", "VG1"는, 영역(X)에서의 좌상의 화소치를 나타내고, "VY2", "VG2"는, 영역(X)에서의 우상의 화소치를 나타내고, "VY3", "VG3"는, 영역(X)에서의 좌하의 화소치를 나타내고, "VY4", "VG4"는, 영역(X)에서의 우하의 화소치를 나타낸다.
화상 분할 처리부(72A)는, 이와 같이 하여 생성된 맵 데이터(MY)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 2개의 맵 데이터(MY11, MY12)를 생성한다. 보간 처리부(73A)는, 이들 2개의 맵 데이터(MY11, MY12)의 각각에 대해 보간 처리(A2)를 행함에 의해, 2개의 맵 데이터(MY21, MY22)를 생성한다. 합성 처리부(74A)는, 2개의 맵 데이터(MY21, MY22)에 의거하여 합성 처리(A3)를 행함에 의해, 하나의 맵 데이터(MY3)를 생성한다.
이에 의해, 촬상 장치(4A)에서는, 휘도 신호에 관한 신호 잡음비(S/N비)를 높일 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다. 또한, 이 예에서는, 휘도(Y)에 관한 데이터(MY)에 대해서만, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하도록 하였기 때문에, 처리량을 억제할 수 있다. 그 결과, 촬상 장치(4A)에서는, 예를 들면 소비 전력을 저감할 수 있다.
[변형례 3-2]
상기 실시의 형태에 관한 촬상 장치(4)에, 상기 제1의 실시의 형태의 각 변형례를 적용하여도 좋다. 구체적으로는, 예를 들면, 상기 제1의 실시의 형태의 변형례에 관한 촬상 장치(2)(도 21)와 마찬가지로, 화상 신호(DT31)에 포함되는 화상 맵 데이터(MPG, MPB, MPR)에 의거하여 보간 제어 처리(B1)를 행함에 의해, 보간 처리부(73)에서의 보간 처리(A2)의 보간 방법을 제어하여도 좋다.
<4. 제4의 실시의 형태>
다음에, 제4의 실시의 형태에 관한 촬상 장치(5)에 관해 설명한다. 본 실시의 형태는, 촬상부에, 녹색(G), 청색(B), 및 적색(R)의 광을 수광 가능한 광전변환 소자에 더하여, 적외(IR)의 광을 수광 가능한 광전변환 소자를 마련한 것이다. 또한, 상기 제1의 실시의 형태에 관한 촬상 장치(1)와 실질적으로 동일한 구성 부분에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
도 37은, 본 실시의 형태에 관한 촬상 장치(5)의 한 구성례를 도시하는 것이다. 촬상 장치(5)는, 촬상부(80)와, 화상 처리부(90)를 구비하고 있다.
도 38은, 촬상부(80)에 관한 촬상 화소(P)의 단면 구조를 모식적으로 도시하는 것이다. 도 39는, 4개의 촬상 화소(P)가 배치된 영역(X)에서의 광전변환 소자의 배치를 모식적으로 도시하는 것이다. 반도체 기판(100)에는, 하나의 촬상 화소(P)에 대응하는 화소 영역에서, 포토 다이오드(PD)가 형성된다. 이 포토 다이오드(PD)는, 가시광에 대응하는 다양한 파장의 광을 수광 가능한 것이다. 반도체 기판(100)의 촬상면(S)측의 표면에는 절연막(101)이 형성되고, 이 절연막(101)의 위에는, 컬러 필터(111)가 형성된다. 구체적으로는, 절연막(101)의 위에는, 4개의 촬상 화소(P)에 대응하는 영역(X)에서, 이 예에서는, 좌상에 적색(R)의 컬러 필터(111R)가 형성되고, 좌하 및 우상에 녹색(G)의 컬러 필터(111G)가 형성되고, 우하에 청색(B)의 컬러 필터(111B)가 형성된다. 컬러 필터(111R)는, 적색(R)의 광을 투과함과 함께 청색(B) 및 녹색(G)의 광을 차단하는 것이다. 컬러 필터(111G)는, 녹색(G)의 광을 투과함과 함께 적색(R) 및 청색(B)의 광을 차단하는 것이다. 컬러 필터(111B)는, 청색(B)의 광을 투과함과 함께 적색(R) 및 녹색(G)의 광을 차단하는 것이다. 컬러 필터(111R) 및 포토 다이오드(PD)는, 적색(R)의 광을 수광 가능한 광전변환 소자를 구성하고, 컬러 필터(111G) 및 포토 다이오드(PD)는, 녹색(G)의 광을 수광 가능한 광전변환 소자를 구성하고, 컬러 필터(111B) 및 포토 다이오드(PD)는, 청색(B)의 광을 수광 가능한 광전변환 소자를 구성한다. 컬러 필터(111R, 111G, 111B)의 배열은, 이른바 베이어 배열이다.
컬러 필터(111)의 위에는, 절연막(112)이 형성된다. 그리고, 이 절연막(112)의 위에는, 투명 전극(102), 광전변환막(103IR), 및 투명 전극(104)이, 이 순서로 형성된다. 투명 전극(102, 104)은, 적색의 광, 녹색의 광, 청색의 광, 및 적외광을 투과 가능한 전극이다. 광전변환막(103IR)은, 녹색(G)의 광을 수광 가능한 광전변환막이고, 적색의 광, 녹색의 광, 및 청색의 광을 투과 가능하게 구성되어 있다. 이 광전변환막(103IR) 및 투명 전극(102, 104)은, 적외(IR)의 광을 수광 가능한 광전변환 소자를 구성한다. 투명 전극(104)의 위에는, 온 칩 렌즈(105)가 형성된다.
이와 같이, 촬상부(80)에서는, 도 39에 도시한 바와 같이, 하나의 촬상 화소(P)에 대응하는 화소 영역에서, 상층에 적외(IR)에 관한 광전변환 소자가 배치되고, 하층에, 적색(R), 녹색(G), 또는 청색(B)에 관한 광전변환 소자가 배치된다. 적색(R), 녹색(G), 및 청색(B)에 관한 광전변환 소자는, 베이어 배열로 배치되어 있다. 이에 의해, 촬상부(80)에서는, 각 촬상 화소(P)의 각각이, 적외에 관한 화소 신호와, 적색, 녹색, 또는 청색에 관한 화소 신호를 생성할 수 있도록 되어 있다.
이와 같은 구성에 의해, 촬상부(80)는, 화상 신호(DT51) 및 게인 신호(SGAIN)를 생성한다. 화상 신호(DT51)는, 2개의 화상 맵 데이터(MPIR, MPRGB)를 포함하고 있다. 화상 맵 데이터(MPIR)는, 적외(IR)에 관한 1프레임 화상분의 화소치를 포함하고, 화상 맵 데이터(MPRGB)는, 적색(R), 녹색(G), 및 청색(B)에 관한 1프레임 화상분의 화소치를 포함한다.
화상 처리부(90)(도 37)는, 화상 분할 처리부(92)와, 보간 처리부(93)와, 합성 처리부(94)와, 신호 처리부(95)를 갖고 있다.
화상 분할 처리부(92)는, 촬상부(80)로부터 전환부(21)를 통하여 공급된 화상 신호(DT51)에 포함되는 화상 맵 데이터(MPIR)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 3개의 맵 데이터(MIR12, MIR11, MIR13)를 생성함과 함께, 화상 신호(DT51)에 포함되는 화상 맵 데이터(MPRGB)에 의거하여, 화상 분할 처리(A1)를 행함에 의해, 3개의 맵 데이터(MG12, MR11, MB13))를 생성하는 것이다.
보간 처리부(93)는, 화상 분할 처리부(92)로부터 공급된 6개의 맵 데이터(MIR12, MIR11, MIR13, MG12, MR11, MB13)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MIR22, MIR21, MIR23, MG22, MR21, MB23)를 생성하는 것이다.
합성 처리부(94)는, 보간 처리부(93)로부터 공급된 3개의 맵 데이터(MIR22, MIR21, MIR23)에 의거하여 합성 처리(A3)를 행함에 의해, 맵 데이터(MIR3)를 생성하는 것이다. 그리고, 합성 처리부(94)는, 합성 처리(A3)에 의해 생성한 맵 데이터(MIR3), 및 보간 처리부(93)로부터 공급된 맵 데이터(MG22, MR21, MB23))를, 화상 신호(DT52)로서 신호 처리부(95)에 공급하도록 되어 있다.
신호 처리부(95)는, 합성 처리부(94)로부터 공급된 화상 신호(DT52), 또는 촬상부(60)로부터 전환부(21)를 통하여 공급된 화상 신호(DT51)에 의거하여, 소정의 신호 처리를 행하는 것이다. 그리고, 신호 처리부(95)는, 이들 소정의 신호 처리의 처리 결과를, 화상 신호(DT53)로서 출력하도록 되어 있다.
도 40은, 화상 처리부(90)에서의, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)의 한 예를 모식적으로 도시하는 것이다.
화상 분할 처리부(92)는, 화상 맵 데이터(MPIR)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 3개의 맵 데이터(MIR12, MIR11, MIR13)를 생성함과 함께, 화상 맵 데이터(MPRGB)에 의거하여 화상 분할 처리(A1)를 행함에 의해, 3개의 맵 데이터(MG12, MR11, MB13))를 생성한다. 도 40에 도시한 바와 같이, 맵 데이터(MIR12, MIR11, MIR13)에서의 화소치의 배치 패턴(PAT)은, 베이어 배열에 대응하는 패턴(도 18a∼18c)이다. 맵 데이터(MG12, MR11, MB13))에서의 화소치의 배치 패턴(PAT)에 대해서도 마찬가지이다. 즉, 이 예에서는, 화상 분할 처리(A1)에서의 화소치의 배치 패턴(PAT)을, 촬상부(80)에서의 컬러 필터(111R, 111G, 111B)의 배치를 나타내는 베이어 배열에 대응하는 패턴으로 하였다. 이에 의해, 화상 맵 데이터(MPRGB)에 포함되는 적색(R)의 화소치는, 맵 데이터(MR11)에만 포함되게 되고, 화상 맵 데이터(MPRGB)에 포함되는 녹색(G)의 화소치는, 맵 데이터(MG12)에만 포함되게 되고, 화상 맵 데이터(MPRGB)에 포함되는 청색(B)의 화소치는, 맵 데이터(MB13)에만 포함되게 된다. 도 40에 도시한 바와 같이, 맵 데이터(MIR12, MG12)는, 서로 같은 배치 패턴(PAT)을 가지며. 맵 데이터(MIR11, MR11)는, 서로 같은 배치 패턴(PAT)을 가지며. 맵 데이터(MIR13, MB13))는, 서로 같은 배치 패턴(PAT)을 갖는다.
보간 처리부(93)는, 화상 분할 처리부(92)로부터 공급된 6개의 맵 데이터(MIR12, MIR11, MIR13, MG12, MR11, MB13)의 각각에 대해 보간 처리(A2)를 행함에 의해, 6개의 맵 데이터(MIR22, MIR21, MIR23, MG22, MR21, MB23)를 생성한다. 맵 데이터(MIR12, MIR11, MIR13)에 대해 보간 처리(A2)를 행하는 경우에는, 보간 처리부(93)는, 예를 들면 도 19a∼19c에 도시한 보간 방법을 이용할 수 있다. 맵 데이터(MG12, MR11, MB13))에 대한 보간 처리(A2)에 대해서도 마찬가지이다. 맵 데이터(MIR22, MG22)를 각각 생성할 때의 보간 방법은 서로 같고, 맵 데이터(MIR21, MR21)를 각각 생성할 때의 보간 방법은 서로 같고, 맵 데이터(MIR23, MB23))를 각각 생성할 때의 보간 방법은 서로 같다.
합성 처리부(94)는, 3개의 맵 데이터(MIR22, MIR21, MIR23)에 의거하여 합성 처리(A3)를 행함에 의해, 맵 데이터(MIR3)를 생성한다.
화상 맵 데이터(MPIR, MPRGB)는, 본 개시에서의 「제1의 화상 맵 데이터」 및 「제2의 화상 맵 데이터」의 한 구체례에 각각 대응한다. 맵 데이터(MIR12, MIR11, MIR13)는, 본 개시에서의 「복수의 제1의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MIR22, MIR21, MIR23)는, 본 개시에서의 「복수의 제2의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MIR3)는, 본 개시에서의 「제3의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MG12, MR11, MB13))는, 본 개시에서의 「복수의 제4의 맵 데이터」의 한 구체례에 대응한다. 맵 데이터(MG22, MR21, MB23))는, 본 개시에서의 「복수의 제5의 맵 데이터」의 한 구체례에 대응한다.
이상과 같이, 촬상 장치(5)에서는, 예를 들면, 화상 맵 데이터(MPIR)에 의거하여 화상 분할 처리(A1)를 행함에 의해 맵 데이터(MIR12, MIR11, MIR13)를 생성하고, 이들의 맵 데이터(MIR12, MIR11, MIR13)에 각각에 대해 보간 처리(A2)를 행함에 의해 맵 데이터(MIR22, MIR21, MIR23)를 생성하고, 이들의 맵 데이터(MIR22, MIR21, MIR23)에 의거하여 합성 처리(A3)를 행함에 의해 맵 데이터(MIR3)를 생성하도록 하였다. 이에 의해, 촬상 장치(5)에서는, 상기 제1의 실시의 형태의 경우와 마찬가지로, 맵 데이터(MIR3)에서의 신호 잡음비(S/N비)를 높일 수 있고, 촬상 화상의 화질을 높일 수 있다.
또한, 촬상 장치(5)에서는, 촬상부(80)에서의 컬러 필터(111R, 111G, 111B)의 배치에 대응하도록, 화상 분할 처리(A1)에서의 화소치의 배치 패턴(PAT)을 베이어 배열에 대응하는 패턴으로 하였다. 그리고, 맵 데이터(MIR12, MG12)에서의 화소치의 배치 패턴(PAT)을 서로 같게 하고, 맵 데이터(MIR11, MR11)에서의 화소치의 배치 패턴(PAT)을 서로 같게 하고, 맵 데이터(MIR13, MB13))에서의 화소치의 배치 패턴(PAT)을 서로 같게 하였다. 그 결과, 화상 분할 처리부(92)는, 2개의 화상 맵 데이터(MPIR, MPRGB)에 의거하여, 같은 방법으로 화상 분할 처리(A1)를 행할 수가 있기 때문에, 화상 분할 처리부(92)의 회로 구성을 심플하게 할 수 있다.
또한, 촬상 장치(5)에서는, 보간 처리(A2)에서, 맵 데이터(MIR22, MG22)를 생성할 때의 보간 방법을 서로 같게 하고, 맵 데이터(MIR21, MR21)를 생성할 때의 보간 방법을 서로 같게 하고, 맵 데이터(MIR23, MB23))를 생성할 때의 보간 방법을 서로 같게 하였기 때문에, 보간 처리부(93)의 회로 구성을 심플하게 할 수 있다.
또한, 촬상 장치(5)에서는, 상기 제1의 실시의 형태에 관한 촬상 장치(1)와 마찬가지로, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였다. 이에 의해, 촬상 장치(3)에서, 예를 들면, 어두운 피사체를 촬상하는 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행함에 의해, 촬상 화상에서의 신호 잡음비(S/N비)를 높일 수 있고, 예를 들면, 밝은 피사체를 촬상하는 경우에는, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하지 않도록 함에 의해, 촬상 화상에서의 해상도를 높일 수 있다. 그 결과, 촬상 장치(5)에서는, 촬상 화상의 화질을 높일 수 있다.
이상과 같이 본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하도록 하였기 때문에, 촬상 화상에서의 신호 잡음비를 높일 수 있기 때문에, 촬상 화상의 화질을 높일 수 있다.
본 실시의 형태에서는, 촬상부에서의 컬러 필터의 배치에 대응하도록, 화상 분할 처리에서의 화소치의 배치 패턴을 베이어 배열에 대응하는 패턴으로 하였기 때문에, 화상 분할 처리부의 회로 구성을 심플하게 할 수 있다.
본 실시의 형태에서는, 보간 처리에서, 맵 데이터(MIR22, MG22)를 생성할 때의 보간 방법을 서로 같게 하고, 맵 데이터(MIR21, MR21)를 생성할 때의 보간 방법을 서로 같게 하고, 맵 데이터(MIR23, MB23))를 생성할 때의 보간 방법을 서로 같게 하였기 때문에, 보간 처리부(93)의 회로 구성을 심플하게 할 수 있다.
본 실시의 형태에서는, 화상 분할 처리, 보간 처리, 및 합성 처리를 행하는지의 여부를 제어할 수 있도록 하였기 때문에, 촬상 화상의 화질을 높일 수 있다.
[변형례 4-1]
상기 실시의 형태에 관한 촬상 장치(5)에, 상기 제1의 실시의 형태의 각 변형례를 적용하여도 좋다. 구체적으로는, 예를 들면, 상기 제1의 실시의 형태의 변형례에 관한 촬상 장치(2)(도 21)와 마찬가지로, 화상 신호(DT51)에 포함되는 화상 맵 데이터(MPRGB)에 의거하여 보간 제어 처리(B1)를 행함에 의해, 보간 처리부(93)에서의 보간 처리(A2)의 보간 방법을 제어하여도 좋다.
<5. 촬상 장치의 사용례>
도 41은, 상기 실시의 형태에 관한 촬상 장치(1) 등의 사용례를 도시하는 것이다. 상술한 촬상 장치(1) 등은, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 케이스에 사용할 수 있다.
·디지털 카메라나, 카메라 기능 부착의 휴대 기기 등의, 감상용으로 제공되는 화상을 촬영하는 장치
·자동 정지 등의 안전운전이나, 운전자의 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차량탑재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 거리측정을 행하는 거리측정 센서 등의, 교통용으로 제공되는 장치
·유저의 제스처를 촬영하여, 그 제스처에 따른 기기 조작을 행하기 위해, 텔레비전이나, 냉장고, 에어 컨디셔너 등의 가전에 제공되는 장치
·내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치
·방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 시큐리티용으로 제공되는 장치
·피부를 촬영하는 피부 측정기나, 두피를 촬영하는 마이크로스코프 등의, 미용용으로 제공되는 장치
·스포츠 용도 등 용의 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치
·밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치
<6. 응용례>
<체내 정보 취득 시스템에의 응용례>
더욱, 본 개시에 관한 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 내시경 수술 시스템에 적용되어도 좋다.
도 42는, 본 개시에 관한 기술(본 기술)이 적용될 수 있는, 캡슐형 내시경을 이용한 환자의 체내 정보 취득 시스템의 개략적인 구성의 한 예를 도시하는 블록도이다.
체내 정보 취득 시스템(10001)은, 캡슐형 내시경(10100)과, 외부 제어 장치(10200)로 구성된다.
캡슐형 내시경(10100)은, 검사시에, 환자에 의해 삼켜진다. 캡슐형 내시경(10100)은, 촬상 기능 및 무선 통신 기능을 가지며. 환자로부터 자연 배출될 때까지의 사이, 위나 장 등의 장기의 내부를 연동 운동 등에 의해 이동하면서, 당해 장기의 내부의 화상(이하, 체내 화상이라고도 한다)을 소정의 간격으로 순차적으로 촬상하고, 그 체내 화상에 관한 정보를 체외의 외부 제어 장치(10200)에 순차적으로 무선 송신한다.
외부 제어 장치(10200)는, 체내 정보 취득 시스템(10001)의 동작을 통괄적으로 제어한다. 또한, 외부 제어 장치(10200)는, 캡슐형 내시경(10100)부터 송신되어 오는 체내 화상에 관한 정보를 수신하고, 수신한 체내 화상에 관한 정보에 의거하여, 표시 장치(도시 생략)에 당해 체내 화상을 표시하기 위한 화상 데이터를 생성한다.
체내 정보 취득 시스템(10001)에서는, 이와 같이 하여, 캡슐형 내시경(10100)이 삼켜지고나서 배출될 때까지의 사이, 환자의 체내의 양상을 촬상한 체내 화상을 수시로 얻을 수 있다.
캡슐형 내시경(10100)과 외부 제어 장치(10200)의 구성 및 기능에 관해 보다 상세히 설명한다.
캡슐형 내시경(10100)은, 캡슐형의 몸체(10101)를 가지며. 그 몸체(10101) 내에는, 광원부(10111), 촬상부(10112), 화상 처리부(10113), 무선 통신부(10114), 급전부(10115), 전원부(10116), 및 제어부(10117)가 수납되어 있다.
광원부(10111)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 촬상부(10112)의 촬상 시야에 대해 광을 조사한다.
촬상부(10112)는, 촬상 소자, 및 당해 촬상 소자의 전단에 마련되는 복수의 렌즈로 이루어지는 광학계로 구성된다. 관찰 대상인 체조직에 조사된 광의 반사광(이하, 관찰광이라고 한다)는, 당해 광학계에 의해 집광되고, 당해 촬상 소자에 입사한다. 촬상부(10112)에서는, 촬상 소자에서, 거기에 입사한 관찰광이 광전변환되어, 그 관찰광에 대응하는 화상 신호가 생성된다. 촬상부(10112)에 의해 생성된 화상 신호는, 화상 처리부(10113)에 제공된다.
화상 처리부(10113)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등의 프로세서에 의해 구성되고, 촬상부(10112)에 의해 생성된 화상 신호에 대해 각종의 신호 처리를 행한다. 화상 처리부(10113)는, 신호 처리를 시행한 화상 신호를, RAW 데이터로서 무선 통신부(10114)에 제공한다.
무선 통신부(10114)는, 화상 처리부(10113)에 의해 신호 처리가 시행된 화상 신호에 대해 변조 처리 등의 소정의 처리를 행하고, 그 화상 신호를, 안테나(10114A)를 통하여 외부 제어 장치(10200)에 송신한다. 또한, 무선 통신부(10114)는, 외부 제어 장치(10200)로부터, 캡슐형 내시경(10100)의 구동 제어에 관한 제어 신호를, 안테나(10114A)를 통하여 수신한다. 무선 통신부(10114)는, 외부 제어 장치(10200)로부터 수신한 제어 신호를 제어부(10117)에 제공한다.
급전부(10115)는, 수전용의 안테나 코일, 당해 안테나 코일에 발생한 전류로부터 전력을 재생하는 전력 재생 회로, 및 승압 회로 등으로 구성된다. 급전부(10115)에서는, 이른바 비접촉 충전의 원리를 이용하여 전력이 생성된다.
전원부(10116)는, 2차 전지에 의해 구성되고, 급전부(10115)에 의해 생성된 전력을 축전한다. 도 42에서는, 도면이 복잡해지는 것을 피하기 위해, 전원부(10116)로부터의 전력의 공급처를 나타내는 화살표 등의 도시를 생략하고 있지만, 전원부(10116)에 축전된 전력은, 광원부(10111), 촬상부(10112), 화상 처리부(10113), 무선 통신부(10114), 및 제어부(10117)에 공급되어, 이들의 구동에 이용될 수 있다.
제어부(10117)는, CPU 등의 프로세서에 의해 구성되고, 광원부(10111), 촬상부(10112), 화상 처리부(10113), 무선 통신부(10114), 및, 급전부(10115)의 구동을, 외부 제어 장치(10200)로부터 송신된 제어 신호에 따라 적절히 제어한다.
외부 제어 장치(10200)는, CPU, GPU 등의 프로세서, 또는 프로세서와 메모리 등의 기억 소자가 혼재된 마이크로 컴퓨터 또는 제어 기판 등으로 구성된다. 외부 제어 장치(10200)는, 캡슐형 내시경(10100)의 제어부(10117)에 대해 제어 신호를, 안테나(10200A)를 통하여 송신함에 의해, 캡슐형 내시경(10100)의 동작을 제어한다. 캡슐형 내시경(10100)에서는, 예를 들면, 외부 제어 장치(10200)로부터의 제어 신호에 의해, 광원부(10111)에서의 관찰 대상에 대한 광의 조사 조건이 변경될 수 있다. 또한, 외부 제어 장치(10200)로부터의 제어 신호에 의해, 촬상 조건(예를 들면, 촬상부(10112)에서의 프레임 레이트, 노출치 등)가 변경될 수 있다. 또한, 외부 제어 장치(10200)로부터의 제어 신호에 의해, 화상 처리부(10113)에서의 처리의 내용이나, 무선 통신부(10114)가 화상 신호를 송신한 조건(예를 들면, 송신 간격, 송신 화상수 등)이 변경되어도 좋다.
또한, 외부 제어 장치(10200)는, 캡슐형 내시경(10100)부터 송신된 화상 신호에 대해, 각종의 화상 처리를 시행하여, 촬상된 체내 화상을 표시 장치에 표시하기 위한 화상 데이터를 생성한다. 당해 화상 처리로서는, 예를 들면 현상 처리(디모자이크 처리), 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise reduction) 처리 및/또는 손떨림 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 신호 처리를 할 수가 있다. 외부 제어 장치(10200)는, 표시 장치의 구동을 제어하여, 생성한 화상 데이터에 의거하여 촬상된 체내 화상을 표시시킨다. 또는, 외부 제어 장치(10200)는, 생성한 화상 데이터를 기록 장치(도시 생략)에 기록시키거나, 인쇄 장치(도시 생략)에 인쇄 출력시켜도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는 체내 정보 취득 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 예를 들면, 촬상부(10112) 및 화상 처리부(10113)에 적용될 수 있다. 이에 의해, 촬상 화상의 화질을 높일 수 있기 때문에, 의사는, 환자의 체내의 양상을 보다 정확하게 파악할 수 있다.
<4. 내시경 수술 시스템에의 응용례>
본 개시에 관한 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 내시경 수술 시스템에 적용되어도 좋다.
도 43은, 본 개시에 관한 기술(본 기술)이 적용될 수 있는 내시경 수술 시스템의 개략적인 구성의 한 예를 도시하는 도면이다.
도 43에서, 수술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 베드(11133)상의 환자(11132)에게 수술을 행하고 있는 양상이 도시되어 있다. 도시하는 바와 같이, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의, 기타의 수술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경하 수술을 위한 각종의 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단부터 소정 길이의 영역이 환자(11132)의 체강 내에 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속된 카메라 헤드(11102)로 구성된다. 도시한 예에서는, 경성의 경통(11101)을 갖는 이른바 경성경으로서 구성된 내시경(11100)을 도시하고 있지만, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로서 구성되어도 좋다.
경통(11101)의 선단에는, 대물 렌즈가 감입된 개구부가 마련되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 당해 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부에 연설된 라이트 가이드에 의해 당해 경통의 선단까지 도광되고, 대물 렌즈를 통하여 환자(11132)의 체강 내의 관찰 대상을 향하여 조사된다. 또한, 내시경(11100)은, 직시경이라도 좋고, 사시경 또는 측시경이라도 좋다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 마련되어 있고, 관찰 대상부터의 반사광(관찰광)은 당해 광학계에 의해 당해 촬상 소자에 집광된다. 당해 촬상 소자에 의해 관찰광이 광전변환되어, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 당해 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU: Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되고, 내시경(11100) 및 표시 장치(11202)의 동작을 통괄적으로 제어한다. 또한, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의, 당해 화상 신호에 의거한 화상을 표시하기 위한 각종의 화상 처리를 시행한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 당해 CCU(11201)에 의해 화상 처리가 시행된 화상 신호에 의거한 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 수술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력 장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력 장치(11204)를 이용하여, 내시경 수술 시스템(11000)에 대해 각종의 정보의 입력이나 지시 입력을 할 수가 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작(燒灼), 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 수술자의 작업 공간의 확보의 목적으로, 환자(11132)의 체강을 부풀리기 위해, 기복 튜브(11111)를 통하여 당해 체강 내에 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
또한, 내시경(11100)으로 수술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성된 백색광원으로 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에서의 촬상 화상의 화이트 밸런스의 조정을 행할 수가 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어함에 의해, RGB 각각에 대응하는 화상을 시분할로 촬상하는 것도 가능하다. 당해 방법에 의하면, 당해 촬상 소자에 컬러 필터를 마련하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력한 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 좋다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함에 의해, 이른바 흑바램(underexposed blocked up shadows) 및 백바램(*overexposed highlights)이 없는 고다이내믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응하는 소정의 파장 대역의 광을 공급 가능하게 구성되어도 좋다. 특수광 관찰에서는, 예를 들면, 체조직에서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰시에 있어서의 조사광(즉, 백색광)에 비하여 협대역의 광을 조사함에 의해, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역광 관찰(Narrow Band Imaging)이 행하여진다. 또는, 특수광 관찰에서는, 여기광을 조사함에 의해 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행하여져도 좋다. 형광 관찰에서는, 체조직에 여기광을 조사하고 당해 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도시아닌그린(ICG) 등의 시약을 체조직에 국주(局注)함과 함께 당해 체조직에 그 시약의 형광 파장에 대응하는 여기광을 조사하여 형광상을 얻는 것 등을 행할 수가 있다. 광원 장치(11203)는, 이와 같은 특수광 관찰에 대응하는 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있다.
도 44는, 도 43에 도시하는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 한 예를 도시하는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 서로 통신 가능하게 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 마련되는 광학계이다. 경통(11101)의 선단부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되고, 당해 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)를 구성하는 촬상 소자는, 하나(이른바 단판식)라도 좋고, 복수(이른바 다판식)라도 좋다. 촬상부(11402)가 다판식으로 구성되는 경우에는, 예를 들면 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 그것들이 합성됨에 의해 컬러 화상이 얻어져도 좋다. 또는, 촬상부(11402)는, 3D(dimensional) 표시에 대응하는 우안용 및 좌안용의 화상 신호를 각각 취득하기 위한 한 쌍의 촬상 소자를 갖도록 구성되어도 좋다. 3D 표시가 행하여짐에 의해, 수술자(11131)는 수술부에서의 생체조직의 깊이를 보다 정확하게 파악하는 것이 가능해진다. 또한, 촬상부(11402)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 마련될 수 있다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 마련되지 않아도 좋다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 직후에 마련되어도 좋다.
구동부(11403)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌렌즈 및 포커스 렌즈를 광축에 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 통하여 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하고, 카메라 헤드 제어부(11405)에 공급한다. 당해 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상시의 노출치를 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기한 프레임 레이트나 노출치, 배율, 초점 등의 촬상 조건은, 유저에 의해 적절히 지정되어도 좋고, 취득된 화상 신호에 의거하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 좋다. 후자인 경우에는, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재되어 있게 된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 통하여 수신한 CCU(11201)로부터의 제어 신호에 의거하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 통하여 송신된 화상 신호를 수신한다.
또한, 통신부(11411)는, 카메라 헤드(11102)에 대해, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기통신이나 광통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해 각종의 화상 처리를 시행한다.
제어부(11413)는, 내시경(11100)에 의한 수술부 등의 촬상, 및, 수술부 등의 촬상에 의해 얻어지는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 시행된 화상 신호에 의거하여, 수술부 등이 찍혀진 촬상 화상을 표시 장치(11202)에 표시시킨다. 이때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에서의 각종의 물체를 인식하여도 좋다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함에 의해, 겸자(鉗子) 등의 수술구, 특정한 생체 부위, 출혈, 에너지 처치구(11112)의 사용시의 미스트 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 당해 수술부의 화상에 중첩 표시시켜도 좋다. 수술 지원 정보가 중첩 표시되고, 수술자(11131)에게 제시됨에 의해, 수술자(11131)의 부담을 경감하는 것이나, 수술자(11131)가 확실하게 수술을 진행하는 것이 가능해진다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응하는 전기 신호 케이블, 광통신에 대응하는 광파이버, 또는 이들의 복합 케이블이다.
여기서, 나타낸 예에서는, 전송 케이블(11400)을 이용하여 유선으로 통신이 행하여지고 있지만, 카메라 헤드(11102)와 CCU(11201) 사이의 통신은 무선으로 행하여져도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는 내시경 수술 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(11402) 및 화상 처리부(11412)에 적용될 수 있다. 이에 의해, 촬상 화상의 화질을 높일 수 있기 때문에, 의사는, 환자의 체내의 양상을 보다 정확하게 파악할 수 있다.
또한, 여기서는, 한 예로서 내시경 수술 시스템에 관해 설명하였지만, 본 개시에 관한 기술은, 그 밖에, 예를 들면, 현미경 수술 시스템 등에 적용되어도 좋다.
<이동체에의 응용례>
본 개시에 관한 기술은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등의 어느 한 종류의 이동체에 탑재된 장치로서 실현되어도 좋다.
도 45는, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 한 예인 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 45에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 바디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차량탑재 네트워크 I/F(interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
바디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 바디계 제어 유닛(12020)은, 키레스 엔트리 시스템, 스마트키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하여, 차량의 도어 로크 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 의거하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 좋다.
촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 응한 전기 신호를 출력하는 광센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 거리측정의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광한 광은, 가시광이라도 좋고, 적외선 등의 비가시광이라도 좋다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력된 검출 정보에 의거하여, 운전자의 피로 정도 또는 집중 정도를 산출하여도 좋고, 운전자가 앉아서 졸고 있지 않는지를 판별하여도 좋다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차내외의 정보에 의거하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차량의 주위의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해, 운전자의 조작에 근거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득된 차외의 정보에 의거하여, 바디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 응하여 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수가 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 45의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다.
도 46은, 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.
도 46에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노우즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실내의 프론트글라스의 상부 등의 위치에 마련된다. 프런트 노우즈에 구비되는 촬상부(12101) 및 차실내의 프론트글라스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실내의 프론트글라스의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 46에는, 촬상부(12101 내지 12104)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(12111)는, 프런트 노우즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 중합시켜짐에 의해, 차량(12100)을 상방에서 본 부감(俯瞰) 화상을 얻을 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 좋다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라라도 좋고, 위상차 검출용의 화소를 갖는 촬상 소자라도 좋다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함에 의해, 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물로, 차량(12100)과 개략 같은 방향으로 소정의 속도(예를 들면, 0㎞/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와 내차와의 사이에 미리 확보하여야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함한다)나 자동 가속 제어(추종 발진 제어도 포함한다) 등을 행할 수가 있다. 이와 같이 운전자의 조작에 근거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 기타의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황인 때에는, 오디오 스피커(12061)나 표시부(12062)를 통하여 드라이버에게 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 통하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수가 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라라도 좋다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하고 보행자인지의 여부를 판별하는 순서에 의해 행하여진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어하여도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(12031)에 적용될 수 있다. 이에 의해, 촬상 화상의 화질을 높일 수 있기 때문에, 차량 제어 시스템(12000)은, 예를 들면, 차외 환경을 보다 정확하게 파악할 수 있기 때문에, 예를 들면, 보다 정확한 운전 지원 등을 행할 수가 있다.
이상, 몇 가지의 실시의 형태 및 변형례, 및 그러한 구체적인 응용례를 들어 본 기술을 설명하였지만, 본 기술은 이들의 실시의 형태 등으로는 한정되지 않고, 여러 가지의 변형이 가능하다.
예를 들면, 상기한 각 실시의 형태에서는, 촬상부(10) 및 화상 처리부(20)를 이용하여 촬상 장치(1)를 구성하였지만, 이것으로 한정되는 것이 아니다. 이에 대신하여, 예를 들면, 촬상 장치(1)와는 다른 연산 장치가, 화상 처리부(20)의 기능을 갖고 있어도 좋다. 이 경우, 연산 장치에는, 예를 들면, 화상 맵 데이터(MPR, MPG, MPB) 및 변환 게인(GC)에 관한 정보를 포함하는 화상 데이터 파일이 공급된다. 그리고, 이 연산 장치는, 이 화상 데이터 파일에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행할 수가 있다. 이 연산 장치는, 화상 처리 프로그램을 실행하는 퍼스널 컴퓨터라도 좋다.
또한, 상기한 각 실시의 형태에서는, 예를 들면, 화상 처리부(20)는, 게인 신호(SGAIN)가 나타내는 변환 게인(GC)에 의거하여, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하는지의 여부를 제어하였지만, 이것으로 한정되는 것이 아니다. 이에 대신하여, 예를 들면, 촬상부(10)가, 화상 분할 처리(A1), 보간 처리(A2), 및 합성 처리(A3)를 행하는지의 여부를 결정하고, 이 결정 결과를 나타내는 모드 신호를 생성하여도 좋다. 이 경우에는, 화상 처리부(20)는, 이 모드 신호에 응하여 동작을 행할 수가 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것이 아니고, 또한 다른 효과가 있어도 좋다.
또한, 본 기술은 이하와 같은 구성으로 할 수 있다.
(1) 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성 가능한 화상 분할 처리부와,
상기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성 가능한 보간 처리부와,
상기 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성 가능한 합성 처리부를 구비한 화상 처리 장치.
(2) 상기 배치 패턴은, 체크무늬 패턴인 상기 (1)에 기재된 화상 처리 장치.
(3) 상기 제1의 화상 맵 데이터에 의거하여 상기 보간 처리의 처리 방법을 결정 가능한 보간 제어부를 또한 구비한 상기 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 보간 제어부는, 상기 제1의 화상 맵 데이터에 의거하여, 상기 보간 처리에서의 보간 방향을 결정함에 의해, 상기 처리 방법을 결정 가능한 상기 (3)에 기재된 화상 처리 장치.
(5) 상기 보간 제어부는, 상기 제1의 화상 맵 데이터에 의거하여 공간 주파수 정보를 구하고, 이 공간 주파수 정보에 의거하여 상기 처리 방법을 결정하는 것이 가능한 상기 (3) 또는 (4)에 기재된 화상 처리 장치.
(6) 상기 보간 제어부는, 상기 제1의 화상 맵 데이터, 제2의 화상 맵 데이터, 및 제3의 화상 맵 데이터에 의거하여 합성 맵 데이터를 생성하고, 상기 합성 맵 데이터에 의거하여 상기 보간 처리의 처리 방법을 결정 가능한 것이 가능한 상기 (3)부터 (5)의 어느 하나에 기재된 화상 처리 장치.
(7) 상기 화상 분할 처리부는, 또한, 복수의 화소치를 포함하는 제2의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제4의 맵 데이터를 생성 가능하고,
상기 보간 처리부는, 상기 복수의 제4의 맵 데이터의 각각에서, 상기 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제4의 맵 데이터에 대응하는 복수의 제5의 맵 데이터를 생성 가능하고,
상기 복수의 제1의 맵 데이터에서의 화소치의 상기 배치 패턴은, 제1의 배치 패턴 및 제2의 배치 패턴을 포함하고,
상기 복수의 제4의 맵 데이터에서의 화소치의 상기 배치 패턴은, 상기 제1의 배치 패턴 및 상기 제2의 배치 패턴을 포함하는 상기 (1)부터 (6)의 어느 하나에 기재된 화상 처리 장치.
(8) 상기 복수의 제1의 맵 데이터에 대한 상기 보간 처리의 보간 방법은, 상기 복수의 제4의 맵 데이터에 대한 상기 보간 처리의 보간 방법과 같은 상기 (7)에 기재된 화상 처리 장치.
(9) 상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 제1의 색의 복수의 화소치를 포함하고,
상기 제2의 화상 맵 데이터의 상기 복수의 화소치는, 제2의 색의 복수의 화소치 및 제3의 색의 복수의 화소치를 포함하는 상기 (7) 또는 (8)에 기재된 화상 처리 장치.
(10) 상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 제1의 색의 복수의 화소치를 포함하고,
상기 제2의 화상 맵 데이터의 상기 복수의 화소치는, 제2의 색의 복수의 화소치, 제3의 색의 복수의 화소치, 및 제4의 색의 복수의 화소치를 포함하는 상기 (7) 또는 (8)에 기재된 화상 처리 장치.
(11) 상기 합성 처리부는, 상기 복수의 제5의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제6의 맵 데이터를 생성 가능하고,
상기 화상 분할 처리부는, 또한, 복수의 화소치를 포함하는 제3의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제7의 맵 데이터를 생성 가능하고,
상기 보간 처리부는, 상기 복수의 제7의 맵 데이터의 각각에서, 상기 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제7의 맵 데이터에 대응하는 복수의 제8의 맵 데이터를 생성 가능하고,
상기 합성 처리부는, 상기 복수의 제8의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제9의 맵 데이터를 생성 가능하고,
상기 복수의 제7의 맵 데이터에서의 화소치의 상기 배치 패턴은, 상기 제1의 배치 패턴 및 상기 제2의 배치 패턴을 포함하는 상기 (7)에 기재된 화상 처리 장치.
(12) 상기 복수의 제1의 맵 데이터에 대한 상기 보간 처리의 보간 방법은, 상기 복수의 제4의 맵 데이터에 대한 상기 보간 처리의 보간 방법, 및 상기 복수의 제7의 맵 데이터에 대한 상기 보간 처리의 보간 방법과 같은 상기 (11)에 기재된 화상 처리 장치.
(13) 상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 제1의 색의 복수의 화소치를 포함하고,
상기 제2의 화상 맵 데이터의 상기 복수의 화소치는, 제2의 색의 복수의 화소치를 포함하고,
상기 제3의 화상 맵 데이터의 상기 복수의 화소치는, 제3의 색의 복수의 화소치를 포함하는 상기 (11) 또는 (12)에 기재된 화상 처리 장치.
(14) 상기 제1의 화상 맵 데이터에서의 상기 복수의 화소치의 수는, 상기 제2의 화상 맵 데이터에서의 상기 복수의 화소치의 수와 다른 상기 (11)부터 (13)의 어느 하나에 기재된 화상 처리 장치.
(15) 상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 녹색의 복수의 화소치를 포함하고,
상기 제1의 화상 맵 데이터에서의 2 이상의 화소치는, 상기 제2의 화상 맵 데이터에서의 하나의 화소치와 대응되어 있는 상기 (14)에 기재된 화상 처리 장치.
(16) 화상 신호에 의거하여 상기 제1의 화상 맵 데이터를 생성하는 생성부를 또한 구비하고,
상기 제1의 화상 맵 데이터는, 휘도 맵 데이터인 상기 (1)부터 (5)에 기재된 화상 처리 장치.
(17) 상기 화상 분할 처리부, 상기 보간 처리부, 및 상기 합성 처리부가 처리를 행하는지의 여부를 제어 가능한 처리 제어부를 또한 구비한 상기 (1)부터 (16)에 기재된 화상 처리 장치.
(18) 상기 제1의 화상 맵 데이터 또는 상기 제3의 맵 데이터에 의거하여 소정의 신호 처리를 행하는 것이 가능한 처리부를 또한 구비하고,
상기 처리 제어부는, 제1의 동작 모드에서, 상기 제1의 화상 맵 데이터에 의거하여 상기 처리부에 상기 소정의 신호 처리를 행하게 하고, 제2의 동작 모드에서, 상기 제3의 맵 데이터에 의거하여 상기 처리부에 상기 소정의 신호 처리를 행하게 하는 것이 가능한 상기 (17)에 기재된 화상 처리 장치.
(19) 상기 처리 제어부는, 파라미터에 의거하여, 상기 화상 분할 처리부, 상기 보간 처리부, 및 상기 합성 처리부가 처리를 행하는지의 여부를 제어 가능한 상기 (18)에 기재된 화상 처리 장치.
(20) 상기 제1의 화상 맵 데이터는, 촬상부로부터 공급되고,
상기 파라미터는, 상기 촬상부에서의 게인값이고,
상기 처리 제어부는, 상기 게인값이 소정의 게인값보다도 높은 경우에, 상기 화상 분할 처리부, 상기 보간 처리부, 및 상기 합성 처리부가 처리를 행하도록 제어하는 상기 (19)에 기재된 화상 처리 장치.
(21) 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하는 화상 분할 처리와,
상기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성하는 보간 처리와,
상기 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하는 합성 처리를 포함하는 화상 처리 방법.
(22) 복수의 화소치를 포함하는 제1의 화상 맵 데이터를 생성하는 촬상부와,
상기 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하는 것이 가능한 화상 분할 처리부와,
상기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성하는 것이 가능한 보간 처리부와,
상기 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하는 것이 가능한 합성 처리부를 구비한 촬상 장치.
(23) 상기 촬상부는, 소정의 색 배열로 배열된 복수의 화소를 가지며.
상기 배치 패턴은, 상기 색 배열에 대응하는 패턴을 갖는 상기 (22)에 기재된 촬상 장치.
본 출원은, 일본 특허청에서 2018년 2월 9일에 출원된 일본 특허출원 번호 2018-022143호를 기초로 하여 우선권을 주장하는 것이고, 이 출원의 모든 내용을 참조에 의해 본 출원에 원용한다.
당업자라면, 설계상의 요건이나 다른 요인에 응하여, 여러 가지의 수정, 콤비네이션, 서브콤비네이션, 및 변경을 상도할 수 있는데, 그것들은 첨부한 청구의 범위나 그 균등물의 범위에 포함되는 것으로 이해된다.

Claims (20)

  1. 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성 가능한 화상 분할 처리부와,
    상기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성 가능한 보간 처리부와,
    상기 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성 가능한 합성 처리부를 구비한 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 배치 패턴은, 체크무늬 패턴인 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 제1의 화상 맵 데이터에 의거하여 상기 보간 처리의 처리 방법을 결정 가능한 보간 제어부를 또한 구비한 것을 특징으로 하는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 보간 제어부는, 상기 제1의 화상 맵 데이터에 의거하여, 상기 보간 처리에서의 보간 방향을 결정함에 의해, 상기 처리 방법을 결정 가능한 것을 특징으로 하는 화상 처리 장치.
  5. 제3항에 있어서,
    상기 보간 제어부는, 상기 제1의 화상 맵 데이터에 의거하여 공간 주파수 정보를 구하고, 이 공간 주파수 정보에 의거하여 상기 처리 방법을 결정하는 것이 가능한 것을 특징으로 하는 화상 처리 장치.
  6. 제3항에 있어서,
    상기 보간 제어부는, 상기 제1의 화상 맵 데이터, 제2의 화상 맵 데이터, 및 제3의 화상 맵 데이터에 의거하여 합성 맵 데이터를 생성하고, 상기 합성 맵 데이터에 의거하여 상기 보간 처리의 처리 방법을 결정 가능한 것이 가능한 것을 특징으로 하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 화상 분할 처리부는, 또한, 복수의 화소치를 포함하는 제2의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제4의 맵 데이터를 생성 가능하고,
    상기 보간 처리부는, 상기 복수의 제4의 맵 데이터의 각각에서, 상기 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제4의 맵 데이터에 대응하는 복수의 제5의 맵 데이터를 생성 가능하고,
    상기 복수의 제1의 맵 데이터에서의 화소치의 상기 배치 패턴은, 제1의 배치 패턴 및 제2의 배치 패턴을 포함하고,
    상기 복수의 제4의 맵 데이터에서의 화소치의 상기 배치 패턴은, 상기 제1의 배치 패턴 및 상기 제2의 배치 패턴을 포함하는 것을 특징으로 하는 화상 처리 장치.
  8. 제7항에 있어서,
    상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 제1의 색의 복수의 화소치를 포함하고,
    상기 제2의 화상 맵 데이터의 상기 복수의 화소치는, 제2의 색의 복수의 화소치 및 제3의 색의 복수의 화소치를 포함하는 것을 특징으로 하는 화상 처리 장치.
  9. 제7항에 있어서,
    상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 제1의 색의 복수의 화소치를 포함하고,
    상기 제2의 화상 맵 데이터의 상기 복수의 화소치는, 제2의 색의 복수의 화소치, 제3의 색의 복수의 화소치, 및 제4의 색의 복수의 화소치를 포함하는 것을 특징으로 하는 화상 처리 장치.
  10. 제7항에 있어서,
    상기 합성 처리부는, 상기 복수의 제5의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제6의 맵 데이터를 생성 가능하고,
    상기 화상 분할 처리부는, 또한, 복수의 화소치를 포함하는 제3의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제7의 맵 데이터를 생성 가능하고,
    상기 보간 처리부는, 상기 복수의 제7의 맵 데이터의 각각에서, 상기 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제7의 맵 데이터에 대응하는 복수의 제8의 맵 데이터를 생성 가능하고,
    상기 합성 처리부는, 상기 복수의 제8의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제9의 맵 데이터를 생성 가능하고,
    상기 복수의 제7의 맵 데이터에서의 화소치의 상기 배치 패턴은, 상기 제1의 배치 패턴 및 상기 제2의 배치 패턴을 포함하는 것을 특징으로 하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 제1의 색의 복수의 화소치를 포함하고,
    상기 제2의 화상 맵 데이터의 상기 복수의 화소치는, 제2의 색의 복수의 화소치를 포함하고,
    상기 제3의 화상 맵 데이터의 상기 복수의 화소치는, 제3의 색의 복수의 화소치를 포함하는 것을 특징으로 하는 화상 처리 장치.
  12. 제10항에 있어서,
    상기 제1의 화상 맵 데이터에서의 상기 복수의 화소치의 수는, 상기 제2의 화상 맵 데이터에서의 상기 복수의 화소치의 수와 다른 것을 특징으로 하는 화상 처리 장치.
  13. 제12항에 있어서,
    상기 제1의 화상 맵 데이터의 상기 복수의 화소치는, 녹색의 복수의 화소치를 포함하고,
    상기 제1의 화상 맵 데이터에서의 2 이상의 화소치는, 상기 제2의 화상 맵 데이터에서의 하나의 화소치와 대응시켜져 있는 것을 특징으로 하는 화상 처리 장치.
  14. 제1항에 있어서,
    화상 신호에 의거하여 상기 제1의 화상 맵 데이터를 생성하는 생성부를 또한 구비하고,
    상기 제1의 화상 맵 데이터는, 휘도 맵 데이터인 것을 특징으로 하는 화상 처리 장치.
  15. 제1항에 있어서,
    상기 화상 분할 처리부, 상기 보간 처리부, 및 상기 합성 처리부가 처리를 행하는지의 여부를 제어 가능한 처리 제어부를 또한 구비한 것을 특징으로 하는 화상 처리 장치.
  16. 제15항에 있어서,
    상기 제1의 화상 맵 데이터 또는 상기 제3의 맵 데이터에 의거하여 소정의 신호 처리를 행하는 것이 가능한 처리부를 또한 구비하고,
    상기 처리 제어부는, 제1의 동작 모드에서, 상기 제1의 화상 맵 데이터에 의거하여 상기 처리부에 상기 소정의 신호 처리를 행하게 하고, 제2의 동작 모드에서, 상기 제3의 맵 데이터에 의거하여 상기 처리부에 상기 소정의 신호 처리를 행하게 하는 것이 가능한 것을 특징으로 하는 화상 처리 장치.
  17. 제16항에 있어서,
    상기 처리 제어부는, 파라미터에 의거하여, 상기 화상 분할 처리부, 상기 보간 처리부, 및 상기 합성 처리부가 처리를 행하는지의 여부를 제어 가능한 것을 특징으로 하는 화상 처리 장치.
  18. 제17항에 있어서,
    상기 제1의 화상 맵 데이터는, 촬상부로부터 공급되고,
    상기 파라미터는, 상기 촬상부에서의 게인값이고,
    상기 처리 제어부는, 상기 게인값이 소정의 게인값보다도 높은 경우에, 상기 화상 분할 처리부, 상기 보간 처리부, 및 상기 합성 처리부가 처리를 행하도록 제어하는 것을 특징으로 하는 화상 처리 장치.
  19. 복수의 화소치를 포함하는 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하는 화상 분할 처리와,
    상기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성하는 보간 처리와,
    상기 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하는 합성 처리를 포함하는 것을 특징으로 하는 화상 처리 방법.
  20. 복수의 화소치를 포함하는 제1의 화상 맵 데이터를 생성하는 촬상부와,
    상기 제1의 화상 맵 데이터에 의거하여, 화소치의 배치 패턴이 서로 다르고, 서로 다른 위치에 화소치가 배치된 복수의 제1의 맵 데이터를 생성하는 것이 가능한 화상 분할 처리부와,
    상기 복수의 제1의 맵 데이터의 각각에서, 보간 처리를 이용하여, 화소치가 결락된 위치에서의 화소치를 구함에 의해, 상기 복수의 제1의 맵 데이터에 대응하는 복수의 제2의 맵 데이터를 생성하는 것이 가능한 보간 처리부와,
    상기 복수의 제2의 맵 데이터에서의 서로 대응하는 위치의 화소치에 의거하여, 그 위치에서의 화소치를 생성함에 의해 제3의 맵 데이터를 생성하는 것이 가능한 합성 처리부를 구비한 것을 특징으로 하는 촬상 장치.
KR1020207019007A 2018-02-09 2019-01-29 화상 처리 장치, 화상 처리 방법, 및 촬상 장치 KR102666651B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018022143 2018-02-09
JPJP-P-2018-022143 2018-02-09
PCT/JP2019/002984 WO2019155944A1 (ja) 2018-02-09 2019-01-29 画像処理装置、画像処理方法、および撮像装置

Publications (2)

Publication Number Publication Date
KR20200120608A true KR20200120608A (ko) 2020-10-21
KR102666651B1 KR102666651B1 (ko) 2024-05-20

Family

ID=67549406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019007A KR102666651B1 (ko) 2018-02-09 2019-01-29 화상 처리 장치, 화상 처리 방법, 및 촬상 장치

Country Status (7)

Country Link
US (2) US11665440B2 (ko)
JP (1) JP7225131B2 (ko)
KR (1) KR102666651B1 (ko)
CN (4) CN115460385A (ko)
DE (1) DE112019000735T5 (ko)
TW (1) TWI785193B (ko)
WO (1) WO2019155944A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI785193B (zh) * 2018-02-09 2022-12-01 日商索尼半導體解決方案公司 圖像處理裝置、圖像處理方法、及攝像裝置
JP7437957B2 (ja) 2020-02-06 2024-02-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011138927A (ja) 2009-12-28 2011-07-14 Sony Corp 固体撮像装置とその製造方法、及び電子機器
US20130242133A1 (en) * 2012-03-08 2013-09-19 Aptina Imaging Corporation Systems and methods for generating interpolated high-dynamic-range images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111586A (ja) * 1993-10-08 1995-04-25 Fuji Xerox Co Ltd 画像処理装置
JP4638361B2 (ja) * 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
JP2009182733A (ja) * 2008-01-30 2009-08-13 Kyocera Corp 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置
CN101369308B (zh) * 2008-10-09 2011-06-22 上海交通大学 基于视觉选择注意和像素依赖的无监督变化检测方法
JP5591261B2 (ja) * 2009-12-04 2014-09-17 キヤノン株式会社 画像処理装置
CN102663719B (zh) * 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN104620572B (zh) * 2012-09-19 2016-06-29 富士胶片株式会社 摄像装置及其控制方法
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
CN103793904B (zh) * 2012-10-29 2016-12-21 深圳先进技术研究院 图像配准装置及其图像配准的方法
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
CN105744256B (zh) * 2016-03-31 2017-12-05 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
JP6421992B2 (ja) * 2016-05-01 2018-11-14 株式会社コンフォートビジョン研究所 高解像度立体撮像装置
TWI785193B (zh) * 2018-02-09 2022-12-01 日商索尼半導體解決方案公司 圖像處理裝置、圖像處理方法、及攝像裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011138927A (ja) 2009-12-28 2011-07-14 Sony Corp 固体撮像装置とその製造方法、及び電子機器
US20130242133A1 (en) * 2012-03-08 2013-09-19 Aptina Imaging Corporation Systems and methods for generating interpolated high-dynamic-range images

Also Published As

Publication number Publication date
US20230254596A1 (en) 2023-08-10
CN115460384A (zh) 2022-12-09
US20210029331A1 (en) 2021-01-28
JP2023061999A (ja) 2023-05-02
CN115460387A (zh) 2022-12-09
TW202310606A (zh) 2023-03-01
TW201937916A (zh) 2019-09-16
US11665440B2 (en) 2023-05-30
CN115460385A (zh) 2022-12-09
CN115460387B (zh) 2024-04-19
JPWO2019155944A1 (ja) 2021-01-28
TWI785193B (zh) 2022-12-01
WO2019155944A1 (ja) 2019-08-15
KR102666651B1 (ko) 2024-05-20
JP7225131B2 (ja) 2023-02-20
CN111543053A (zh) 2020-08-14
DE112019000735T5 (de) 2020-10-22
CN111543053B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US20230254596A1 (en) Image processor, image processing method, and imaging device
US11930287B2 (en) Imaging element and electronic device
US11936979B2 (en) Imaging device
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
US11843883B2 (en) Solid-state imaging device and electronic device
CN114208158A (zh) 信息处理装置、信息处理方法和信息处理程序
US10893224B2 (en) Imaging element and electronic device
JP7034925B2 (ja) 固体撮像装置および撮像方法
TWI847334B (zh) 圖像處理裝置、圖像處理方法、及攝像裝置
JP7513023B2 (ja) 撮像装置、電子機器、情報処理方法及びプログラム
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
CN114556906A (zh) 摄像装置和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant