KR101099401B1 - 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 - Google Patents

화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101099401B1
KR101099401B1 KR1020100064797A KR20100064797A KR101099401B1 KR 101099401 B1 KR101099401 B1 KR 101099401B1 KR 1020100064797 A KR1020100064797 A KR 1020100064797A KR 20100064797 A KR20100064797 A KR 20100064797A KR 101099401 B1 KR101099401 B1 KR 101099401B1
Authority
KR
South Korea
Prior art keywords
brightness
pixel
correction
target image
image
Prior art date
Application number
KR1020100064797A
Other languages
English (en)
Other versions
KR20110004791A (ko
Inventor
요시쓰구 마나베
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20110004791A publication Critical patent/KR20110004791A/ko
Application granted granted Critical
Publication of KR101099401B1 publication Critical patent/KR101099401B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체에 관한 것으로서, 본 발명에 따르면, 고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하도록 구성된 밝기 정보 취득 수단(unit)과, 상기 밝기 정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하도록 구성된 보정 배율 설정 수단(unit)과, 상기 각 화소의 밝기를 상기 보정 배율에 기초하여 보정하도록 구성된 계조 보정 수단(unit)을 구비한 화상 처리 장치가 제공된다.

Description

화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체{IMAGE PROCESSING APPARATUS AND COMPUTER-READABLE MEDIUM}
본 발명은 화상 처리 기술에 관한 것이며, 특히 화상의 계조 보정 처리에 관한 것으로서, 2009년 7월 8일자로 출원된 일본 특허 출원 제2009―161305호의 전체 내용은 인용에 의해 본 발명에 원용된다.
일본 특허출원 공개번호 2003-116049호의 공보에는 촬상 장치에 있어서의 노광 제어 기술로서, 휘도 레벨이 낮은 영역의 휘도 레벨과 다른 영역의 휘도 레벨을 사용하여 역광 정도를 나타내는 역광도를 검출하고, 이 역광도에 대응하여 휘도 레벨이 낮은 영역의 휘도 레벨을 올리도록 계조 보정용 제어 파라미터(게인)를 설정하는 기술이 제안되어 있다.
상기 일본 특허에 의하면, 역광의 경우에도 적절하게 노광을 제어할 수 있고, 그 결과 촬상된 화상에 양호한 계조를 확보할 수 있다.
그러나, 상기 일본 특허에 의하면, 화상 내에서 휘도 레벨이 같이 복수의 영역에 대하여, 각 영역 내에서의 피사체의 상황과는 무관하게 동일한 값의 제어 파라미터(게인)가 무조건 적용된다. 이로 인하여, 계조 보정 처리 후의 화상에 있어서, 밝기가 급격히 변화하는 국소 영역에 있어서의 콘트라스트가 훼손되는 문제점이 있었다.
일본 특허출원 공개번호 2003-116049호의 공보
본 발명의 실시예는, 전술한 문제점 및 언급되지 않은 다른 문제점을 감안한 것이다. 그러나, 본 발명은 전술한 문제점을 반드시 극복할 필요는 없으며, 따라서 본 발명의 하나의 실시예는 전술한 문제점을 극복하지 않을 수도 있다.
따라서, 본 발명의 구체적인 형태는, 촬영 화상등의 화상에 있어서 계조 보조 처리시에 밝기가 급격히 변화하는 국소 영역의 콘트라스트를 유지하는 것을 목적으로 한다.
본 발명의 하나 이상의 구체적인 실시예에 의하면, 고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하도록 구성된 밝기 정보 취득 수단(unit)과; 상기 밝기 정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하도록 구성된 보정 배율 설정 수단(unit)과; 상기 각 화소의 밝기를 상기 보정 배율에 기초하여 보정하도록 구성된 계조 보정 수단(unit)을 구비한 화상 처리 장치가 제공된다.
본 발명의 하나 이상의 구체적인 실시예에 의하면, (a) 고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하고, (b) 상기 밝기정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하고, (c) 상기 각 화소의 밝기를 상기 보정 배율에 기초하여 보정하는 동작을 컴퓨터에 실행시키기 위한 프로그램을 기억하는 컴퓨터가 판독 가능한 기록 매체가 제공된다.
도 1은 본 발명을 적용한 디지털 스틸 카메라의 하드웨어 구성의 일례를 나타낸 블록도이다.
도 2는 본 발명을 적용한 디지털 스틸 카메라의 기능 블록도이다.
도 3은 화상처리부의 주요부를 나타낸 기능 블록도이다.
도 4는 콘트라스트 조정부의 구성을 나타낸 기능 블록도이다.
도 5는 ε필터의 기능을 나타낸 개념도이다.
도 6의 (A)는 밝기 정보 화상의 예, 도 6의 (B)는ε필터 처리 후의 화상의 예, 도 6의 C는 저역통과필터(low pass filter) 처리 후의 화상의 예이다.
도 7의 (A) 및 (B)는 역광 레벨에 대한 콘트라스트 조정 레벨의 변화를 나타낸 특성도이다.
도 8의 (A) 및 (B)는 제1 밝기 성분값과, 제3 밝기 성분값에 대한 제1 밝기 성분값의 합성 비율과의 관계를 나타낸 도면이다.
도 9의 (A) 내지 (C)는 제4 밝기 성분값에 대한 각 화소의 게인의 변화를 나타낸 특성도이다.
도 10은 화상 처리부의 처리 내용을 나타낸 흐름도이다.
도 11의 (A) 및 (B)는 대상 화상의 각 화소에 설정되는 게인에 대한 설명도이다.
도 12의 (A) 및 (B)는 화상 처리부의 계조 보정 처리의 효과를 나타낸 도면이다.
이하, 본 발명을 적용한 실시예에 대하여 도면을 참조하면서 설명한다. 도 1은, 본 발명의 실시예로서 예시하는 디지털 스틸 카메라(이하, 디지털 카메라라고 함)(1)의 하드웨어 구성을 개략적으로 나타낸 블록도이다.
도 1에 나타낸 바와 같이 디지털 카메라(1)는, 피사체를 촬상하기 위한 CCD(Charge Coupled Device)(2)를 가지고 있다. CCD(2)는, 도시하지 않은 광학계에 의해 피사체의 광학상이 결상되는 감광면에, 베이어 배열 등의 특정한 색 배열을 가지는 컬러 필터가 설치된 구조를 구비하고 있다. CCD(2)는, 수평/수직 드라이버(3)로부터 공급되는 수평 및 수직 전송용의 구동 신호에 의해 구동됨으로써, 피사체의 광학상을 전술한 신호로 변환하여, 변환 후의 상기 신호를 촬상 신호로서 CDS(Correlated Double Sampling) 회로, 및 A/D 컨버터(Analog-to-Digital converter)로 구성된 CDS/AD 회로(4)에 공급한다.
수평/수직 드라이버(3)는, TG(Timing Generator)(5)가 생성한 타이밍 신호에 기초하여 동작함으로써 전술한 수평 및 수직 전송용의 구동 신호를 생성하여 CCD(2)를 구동한다. 또한, TG(5)가 생성한 타이밍 신호는 CDS/AD 회로(4)에도 공급된다. CDS/AD 회로(4)는, TG(5)로부터 공급된 타이밍 신호에 기초하여 동작함으로써, CCD(2)가 출력한 촬상 신호에 포함되는 노이즈를 제거하고, 노이즈 제거 후의 촬상 신호를 디지털 신호로 변환하고, 변환 후의 디지털 신호를 DSP(Digital Signal Processor)(6)에 공급한다.
DSP(6)는, CDS/AD 회로(4)로부터 공급된 디지털 신호, 즉 단일의 색 정보만을 가지는 각 화소의 데이터를 포함하는 화상 데이터를 처리하기 위한 버퍼용 메모리(6a)를 구비하여, 이하의 처리를 행한다. 즉 DSP(6)는, CDS/AD 회로(4)로부터 공급된 화상 데이터에 대하여, 각 화소의 부족한 색 정보를 각 화소의 주변 화소로부터 보간함으로써, 화소마다 R(Red), G(Green), B(Blue)의 색 성분 정보를 가지는 화상 데이터, 즉 RGB 데이터를 생성하는 디모자이크(de-mosaic) 처리를 행한다.
또한, DSP(6)는, 디모자이크 처리에 의해 생성한 RGB 데이터에 대한 계조 보정 처리나, 계조 보정 처리 후의 RGB 데이터에 대한 화이트 밸런스 조정 처리, 감마 보정 처리, 각종 필터 처리, RGB 데이터를 각 화소의 휘도 성분(Y), 및 2개의 색차 성분(Cb, Cr)에 의해 표현되는 화상 데이터, 즉 YUV 데이터로 변환하는 YUV 변환 처리 등의 디지털 신호 처리를 행한다. 그리고, 상기 계조 보정 처리의 상세한 점에 대해서는 후술한다.
또한, DSP(6)는, 전술한 디지털 신호 처리를 행한 후의 YUV 데이터를 순차적으로 SDRAM(Synchronous dynamic random-access memory)(7)에 공급한다. SDRAM(7)은, DSP(6)로부터 공급된 YUV 데이터를 일시적으로 기억한다.
또한, DSP(6)는, 디지털 카메라(1)에 동작 모드로서 기록 모드가 설정되어 있는 상태에는, SDRAM(7)에 1 프레임분의 YUV 데이터(화상 데이터)가 축적될 때마다, SDRAM(7)에 축적되어 있는 화상 데이터를 판독하고, 판독된 화상 데이터를 LCD(Liquid Crystal Display)(8)에 공급한다.
LCD(8)는, 도시하지 않은 액정 표시기와, 액정 표시기를 구동하는 구동 회로 등으로 구성되며, DSP(6)로부터 공급된 화상 데이터에 기초한 화상을 액정 표시기의 화면 상에 라이브 뷰 화상으로서 표시한다.
한편, 전술한 TG(5) 및 DSP(6)는 버스(13)를 통하여 CPU(Central Processing Unit)(9)와 접속되어 있으며, TG(5) 및 DSP(6)의 동작은 CPU(9)에 의해 제어된다.
CPU(9)는, 기억 내용을 재기록 가능한 EEPROM(Electric Erasable Programmable Read Only Memory)인 플래시 메모리(10)에 기억되어 있는 프로그램에 따라 동작함으로써 디지털 카메라(1)의 전체 동작을 제어한다.
또한, CPU(9)는, 디지털 카메라(1)에 동작 모드로서 기록 모드가 설정되어 있는 상태에서 촬영할 때는, SDRAM(7)에 일시적으로 기억된 화상 데이터를 JPEG(Joint Photographic Expert Group) 방식 등의 소정의 압축 방식에 의해 압축하고, 압축 후의 화상 데이터를 화상 파일로서 외부 메모리(11)에 기록한다. 외부 메모리(11)는, 도시하지 않은 카드 인터페이스를 통하여 버스(13)에 접속된 카메라 본체에 착탈 가능한 메모리 카드이다.
또한, CPU(9)는, 디지털 카메라(1)에 동작 모드로서 재생 모드가 설정되어 있는 경우에는, 필요에 따라 외부 메모리(11)로부터 소정의 화상 파일(압축 상태의 화상 데이터)을 판독하고, 또한 판독한 데이터를 신장하여 SDRAM(7)에 전개한다. 또한, CPU(9)는, SDRAM(7)에 전개한 데이터(YUV 데이터)를, DSP(6)를 통하여 LCD(8)에 공급함으로써 LCD(8)에 기록 화상을 표시하게 한다.
버스(13)에는 키 입력부(12)가 접속되어 있다. 키 입력부(12)는, 사용자가 디지털 카메라(1)의 조작에 필요한 각종 조작키, 예를 들면, 전원 키나 셔터 키, 기록 모드나 재생 모드를 설정하기 위한 모드설정 키 등에 의해 구성되어 있다. 그리고, CPU(9)는, 키 입력부(12)에서의 각각의 조작키의 조작 상태를 축차(逐次) 검출하고, 검출한 조작 상태에 기초하여 판단한 사용자의 요구에 따라 각종 처리를 프로그램에 따라 실행한다.
도 2는, 디지털 카메라(1)의 구성을 기능 별도로 나타낸 기능 블록도이다. 도 2에 나타낸 바와 같이 디지털 카메라(1)는, 주로 촬상부(51), 화상 처리부(52), 제어부(53), 작업용 메모리(54), 프로그램 메모리(55), 화상 기록부(56), 표시부(57), 및 조작부(58)에 의해 구성되어있다.
각각의 기능 블록은, 후술하는 바와 같이 도 1에 나타낸 하나 또는 복수의 하드웨어에 의해 실현된다. 즉 촬상부(51)는 CCD(2), 수평/수직 드라이버(3), CDS/AD 회로(4), 및 TG(5)에 의해 실현되고, 피사체를 촬상하여 촬상 화상을 취득하는 기능 부분이다. 또한, 화상 처리부(52)는 DSP(6)에 의해 실현되고, 촬상 화상에 전술한 각종 화상 처리를 행하는 기능 부분이다. 제어부(53)는 CPU(9)에 의해 실현된다. 또한, 작업용 메모리(54)는 SDRAM(7)에 의해 실현되고, 프로그램 메모리(55)는 플래시 메모리(10)에 의해 실현된다. 또한, 화상 기록부(56)는 외부 메모리(11)에 의해 실현되고, 표시부(57)는 LCD(8)에 의해 실현되고, 조작부(58)는 전술한 키입력부(12)에 의해 실현된다.
도 3은, 화상 처리부(52)의 주요부로서, 디모자이크 처리에 의해 생성한 RGB 데이터에 대하여 계조 보정 처리를 행하기 위한 기능 부분을 상세하게 나타낸 기능 블록도이다. 도 3에 나타낸 바와 같이 화상 처리부(52)는, 화상 버퍼(101), RGBmax 연산부(102), ε필터(103), 게인 설정 처리부(104), 및 계조 보정부(105)로 구성되어 있다. 또한, 게인 설정 처리부(104)는, 역광 레벨 연산부(111), 콘트라스트 조정 레벨 산출부(112), 콘트라스트 조정부(113), 합성 처리부(114), 및 보정 게인 산출부(115)로 구성되어 있다. 또한, 콘트라스트 조정부(113)는, 도 4에 나타낸 바와 같이, 감산기(121), 승산기(122), 및 가산기(123)로 구성되어 있다.
이하, 도 3 및 도 4에 나타낸 화상 처리부(52)의 각 부에 대하여 설명한다. 화상 버퍼(101)는 전술한 메모리(6a)(도 1 참조)에 의해 실현되는 기능 부분이다. 화상 버퍼(101)는, 계조 보정 처리의 대상이 되는 화상을 나타내는 데이터로서, 디모자이크 처리에 의해 생성된 RGB 데이터(RGB_in)를 기억한다. 이하의 설명에서는, RGB 데이터가 나타내는 화상을 대상 화상이라고 한다. 그리고, RGB 데이터에서의 R, G, B의 각 색 성분의 화소값은 「0∼255」의 범위의 값이다.
RGBmax 연산부(102)는 밝기 성분 추출 수단으로서 기능하고, 화상 버퍼(101)에 기억된 RGB 데이터를 판독하고, 각 화소에 대하여 화소값이 최대인 R, G, B 중 어느 하나의 색 성분을 선택하고, 그 선택된 색 성분의 화소값을 대상 화상의 밝기 성분으로서 취득한다. 그리고, RGBmax 연산부(102)는, 취득한 각 화소의 색 성분의 최대 화소값인 제1 밝기 성분값(max)을 ε필터(103), 콘트라스트 조정부(113), 및 합성 처리부(114)에 각각 공급한다.
ε필터(103)는, 주로 밝기의 급격한 변화를 수반하는 화상에 중첩된 소폭 진폭 잡음(고주파 성분)의 제거, 즉 화상의 밝기의 평활화(smoothing)를 목적으로 하여 사용되는 화상 필터로서, 보다 상세하게는 원 화상에서의 에지의 유지 성능을 가지는 평활화 필터이다. ε필터(103)는 평활화 수단으로서 기능하고, RGBmax 연산부(102)로부터 공급된 각 화소의 제1 밝기 성분값(max)을 후술하는 필터 처리에 의해 제2 밝기 성분값(max_ε)으로 변환한다. 그리고, ε필터(103)는, 변환 후의 제2 밝기 성분값(max_ε)을 게인 설정 처리부(104)의 콘트라스트 조정부(113)에 공급한다.
그리고, RGBmax 연산부(102)와 ε필터(103)가 밝기 정보 취득 수단으로서 기능한다.
여기서, ε필터(103)에서의 필터 처리에 대하여 설명한다. ε필터(103)에 있어서는, 각 화소를 주목 화소로서 가로세로 3화소분으로 이루어지는 화소 영역(각 주목 화소를 중심으로 하는 합계 9개의 화소 영역)에 착목한다. 즉, 주목 화소와 그 주변에 위치하는 8개의 주변 화소에 착목한다. 그리고, 주목 화소의 화소값(제1 밝기 성분값)과 각 주변 화소의 화소값(제1 밝기 성분값)과의 각 차이값이, 임계값 T(T=20) 이하로 되도록, 각 주변 화소의 화소값을 조정한다. 또한, 주목 화소의 원래의 화소값과 조정된 각 주변 화소의 화소값에 각각 소정의 계수로서 1/9을 곱함으로써 얻어지는 각 화소값의 총계를 산출하고, 산출된 화소값을 주목 화소의 새로운 화소값(제2 밝기 성분값)으로 한다.
전술한 필터 처리에서는, 주목 화소의 화소값(제1 밝기 성분값)을 주변 화소의 화소값(제1 밝기 성분값)에 따라 증감시킴으로써, 화상 내에서 근접하는 화소끼리의 화소값이 평균화된다. 또한, 필터 처리 과정에서는, 주변 화소의 화소값을, 주목 화소의 화소값의 차이값이 임계값 T 이하로 되도록 조정하고, 조정 후의 주변 화소의 화소값을 사용하여 주목 화소의 화소값을 증감(평균화)시킨다.
그러므로, 전술한 필터 처리에서는, 화상 내에서의 명암의 경계 부분(예를 들면, 인물이나 건물 등의 피사체의 경계 부분)에 있어서 어두운 영역측에 위치하는 주목 화소의 화소값에 대한, 밝은 영역측에 위치하는 주변 화소의 화소값의 영향을 작게 할 수 있다. 마찬가지로, 전술한 필터 처리에서는, 화상 내에서의 명암의 경계 부분에 있어서 밝은 영역측에 위치하는 주목 화소의 화소값에 대한, 어두운 영역측에 위치하는 주변 화소의 화소값의 영향을 작게 할 수 있다.
이에 따라, ε필터(103)에서의 필터 처리에서는, 원 화상에서의 에지를 유지한 상태로, 원 화상의 각 부의 밝기를 평활화시킬 수 있다. 그리고, 전술한 필터 처리 시에, 착목하는 화소 영역의 범위, 임계값 T의 값, 각 화소의 화소값에 곱하는 계수는, 적절하게 변경할 수 있다.
도 5는 ε필터(103)의 기능을 나타낸 개념도이다. 즉, 도 5는, 어떤 화상 내에서 밝기가 급격히 변화하는 명암의 경계 부분(피사체의 경계 부분 등)에서의 화소 위치에 대한 각 화소의 밝기의 변화를 편의상 나타낸 도면이다. 또한, 도 5에 있어서는, 가로 방향이 수평 방향(또는 수직 방향)의 화소 위치이며, 세로 방향이 각 화소 위치의 화소의 밝기이다. 그리고, 도 5에 실선으로 나타낸 밝기의 변화가, 전술한 필터 처리가 행해지기 전의 제1 밝기 성분값(max)의 변화이며, 도 5에 파선으로 나타낸 밝기의 변화는, 전술한 필터 처리가 행해진 후의 제2 밝기 성분값(max_ε)의 변화이다.
또한, 도 6의 (A) 내지 (C)는, ε필터(103)에 의한 필터 처리의 효과의 구체예를 나타낸 도면이다. 도 6의 (A)는, 전술한 필터 처리 전의 제1 밝기 성분값(max)을 화소값으로 하는 화소에 의해 구성되는 밝기 성분 화상의 예이다. 또한, 도 6의 (B)는, 전술한 필터 처리 후의 제2 밝기 성분값(max_ε)을 화소값으로 하는 화소에 의해 구성되는 대국 휘도 화상(global luminancen image), 즉 밝기 성분 화상으로부터 고주파 성분이 제거된 후의 화상의 예이다. 또한, 도 6의 (C)는, 도 6의 (A)의 밝기 성분 화상에, 만약 일시적으로 일반적인 LPF(저역통과필터)에 의한 필터 처리(평활화 처리)를 행한 경우에서의 처리 후의 화상의 예이다.
도 6의 (A) 내지 (C)에서 명백하게 알 수 있는 바와 같이, ε필터(103)에 의한 필터 처리 후의 대국 휘도 화상은, 일반적인 LPF에 의한 평활화가 이루어지는 경우에 비하여, 처리 이전의 밝기 성분 화상에 포함되어 있던 저주파 성분이 더욱 정확하게 반영된(에지가 유지된) 화상이 된다.
게인 설정 처리부(104)는, ε필터(103)로부터 공급된 제2 밝기 성분값(max_ε)에 기초하여, 대상 화상의 각 화소에 대한 계조 보정용에 기초한 보정 배율인 게인(g_lev)을 개별적으로 취득하여, 계조 보정부(105)에 공급(설정)하고, 보정 배율 설정 수단으로서 기능한다. 이하, 게인 설정 처리부(104)를 구성하는 전술한 각 기능 블록의 상세한 내용, 및 계조 보정용 게인(g_lev)의 구체적인 취득 방법에 대하여 설명한다.
역광 레벨 연산부(111)는 역광 정도 취득 수단으로서 기능하고, 화상 버퍼(101)에 기억된 RGB 데이터를 판독하고, 판독한 RGB 데이터에 기초하여 대상 화상에서의 역광의 정도를 나타내는 역광 레벨(gk_lev)을 취득한다. 역광 레벨 연산부(111)는, 취득한 역광 레벨(gk_lev)을 콘트라스트 조정 레벨 산출부(112)에 공급한다. 역광 레벨 연산부(111)에서의 역광 레벨(gk_lev)의 취득 방법은 다음과 같다.
즉, 역광 레벨 연산부(111)는, 대상 화상을 n×m의 복수 영역으로 분할하여, 복수 영역마다 RGB 데이터에 기초하여 휘도 레벨(예를 들면, 각 영역 내의 각 화소의 휘도값의 평균, 또는 총계)을 취득한다. 다음으로, 역광 레벨 연산부(111)는, 전술한 휘도 레벨이 가장 낮은 특정 영역의 휘도 레벨과, 특정 영역 이외의 다른 복수 영역의 휘도 레벨의 평균값과의 차이를 연산하고, 연산한 휘도 레벨의 차이(0∼255의 범위의 값)를 역광 레벨(gk_lev)로서 취득한다. 그리고, 대상 화상에서의 역광 레벨의 구체적인 취득 방법에 대해서는, 전술한 방법으로 한정되는 것이 아니고 임의의 방법을 사용할 수 있다.
콘트라스트 조정 레벨 산출부(112)는 조정값 취득 수단으로서 기능하고, 대상 화상의 역광의 정도에 따른 콘트라스트 조정 레벨(adj_lev)을 취득하여, 콘트라스트 조정 레벨 산출부(112)에 공급한다. 구체적으로 설명하면, 콘트라스트 조정 레벨 산출부(112)는, 콘트라스트 조정 레벨(adj_lev)을, 역광 레벨 연산부(111)로부터 공급된 역광 레벨(gk_lev)을 파라미터로 하는, 미리 결정되어 있는 소정의 콘트라스트 조정 레벨 연산 함수를 사용하여 산출한다.
콘트라스트 조정 레벨 산출부(112)가 콘트라스트 조정 레벨(adj_lev)의 산출에 사용하는 상기 조정 레벨 연산 함수는, 역광 레벨(gk_lev)에 비례해 콘트라스트 조정 레벨(adj_lev)이 증대하는 특성을 가지는 함수이다. 콘트라스트 조정 레벨 연산 함수는, 보다 구체적으로는, 역광 레벨(gk_lev)의 변화에 대하여 콘트라스트 조정 레벨(adj_lev)이, 예를 들면, 도 7의 (A)나 도 7의 (B)에 나타낸 바와 같이 변화하는 함수이다. 또한, 콘트라스트 조정 레벨 산출부(112)가 산출하는 콘트라스트 조정 레벨(adj_lev)은 0∼4의 범위의 값이다.
콘트라스트 조정부(113)는, 전술한 역광 레벨 연산부(111), 콘트라스트 조정 레벨 산출부(112), 및 합성 처리부(114)와 함께 보정 수단으로서 기능하고, ε필터(103)로부터 공급된 제2 밝기 성분값(max_ε)을 대상 화상에서의 역광의 정도에 따라 보정한다. 그리고, 콘트라스트 조정부(113)는 보정 후의 제3 밝기 성분값(adj)을 합성 처리부(114)에 공급한다.
구체적으로 설명하면, 콘트라스트 조정부(113)는, 앞서 설명한 각 부, 즉 감산 수단으로서 기능하는 감산기(121), 승산 수단으로서 기능하는 승산기(122), 및 가산 수단으로서 기능하는 가산기(123)로 구성되어 있다(도 4 참조). 콘트라스트 조정부(113)에 있어서는, 감산기(121)가 각 화소의 제2 밝기 성분값(max_ε)으로부터 제1 밝기 성분값(max)을 감산하고, 감산 결과에 승산기(122)가 콘트라스트 조정 레벨 (adj_lev)을 승산하고, 승산 결과에 가산기(123)가 제1 밝기 성분값(max)을 가산함으로써, 각 화소에 대하여 전술한 제3 밝기 성분값(adj)을 생성한다.
여기서, 콘트라스트 조정부(113)가 생성하는 제3 밝기 성분값(adj)은, 하기의 계산식 (1)로 나타낼 수 있다.
adj = adj_lev × (max_ε- max) + max …(1)
즉, 콘트라스트 조정부(113)는, 제1 밝기 성분값(max)에, 제2 밝기 성분값(max_ε)과 제1 밝기 성분값(max)과의 차분(max_ε -max)을 adj_lev배(0배∼4배)한 값을 가산함으로써 제3 밝기 성분값(adj)을 생성한다.
또, 합성 처리부(114)는, 콘트라스트 조정부(113)로부터 공급된 각 화소의 제3 밝기 성분값(adj)과, RGBmax 연산부(102)로부터 공급된 각 화소의 제1 밝기 성분값(max)을 후술하는 소정의 합성 비율로 합성한다. 그리고, 합성 처리부(114)는 합성 후의 제4 밝기 성분값(mix)을 보정 게인 산출부(115)에 공급한다.
구체적으로 설명하면, 합성 처리부(114)는, 먼저 합성 비율 결정 수단으로서 기능하고, 각 화소의 제1 밝기 성분값(max)을 파라미터로 하는, 미리 결정되어 있는 소정의 합성비 연산 함수에 기초하여, 제3 밝기 성분값(adj)에 대한 제1 밝기 성분값(max)의 합성 비율을 산출한다. 상기 합성비 연산 함수는, 도 8의 (A)에 나타낸 바와 같이, 제1 밝기 성분값(max)에 비례하여, 제1 밝기 성분값(max)의 합성 비율(α)이 증가하는 특성을 가지는 함수이다.
그리고, 합성 처리부(114)는 합성 수단으로서 기능하고, 상기 합성비 연산 함수에 기초하여 산출한 합성 비율(α)을 사용한 하기의 계산식 (2)
mix = α×max + (1-α)×adj …(2)
에 따라, 각 화소의 제3 밝기 성분값(adj)과, 제1 밝기 성분값(max)을 합성하고, 합성 후의 제4 밝기 성분값(mix)을 보정 게인 산출부(115)에 공급한다.
또한, 보정 게인 산출부(115)는, 합성 처리부(114)로부터 공급된 각 화소의 제4 밝기 성분값(mix)을 파라미터로 하는, 미리 결정되어 있는 하기 식에 의해 나타내어지는 소정의 게인 연산 함수
f_gain(mix)
를 사용하여, 대상 화상의 각 화소의 밝기의 보정에 사용하는 게인(g_lev)을 화소마다 연산하고, 연산 결과를 계조 보정부(105)에 공급한다.
보정 게인 산출부(115)가 각 화소의 게인(g_lev)의 연산에 사용하는 상기 게인 연산 함수는, 도 9의 (A)에 나타낸 바와 같이, 제4 밝기 성분값(mix)이 작을수록 게인(g_lev)이 커지고, 또한 제4 밝기 성분값(mix)이 클수록 게인(g_lev)이 작아지는 보정 특성, 즉 게인(g_lev)이 제4 밝기 성분값(mix)에 반비례하는 보정 특성을 가지는 함수이다.
계조 보정부(105)는, 화상 버퍼(101)에 기억된 RGB 데이터를 화소마다 판독하고, 판독한 대상 화상의 각 화소의 RGB 데이터에서의 색성분의 화소값(R값, G값, B값)에, 게인 설정 처리부(104)로부터 공급된 화소마다의 게인(g_lev)을 각각 곱하는 보정을 행한다. 또한, 계조 보정부(105)는 화상 버퍼(101)에 기억된 각 화소의 RGB 데이터를 보정 후의 RGB 데이터에 재기록한다. 즉, 화상 처리부(52)에 있어서는, 계조 보정부(105)가 계조 보정 수단으로서 기능하고, 화상 버퍼(101)에 기억된 RGB 데이터(RGB_in)를 보정 후의 RGB 데이터에 재기록함으로써 대상 화상의 계조를 보정한다.
그리고, 화상 처리부(52)는, 화상 버퍼(101)에 기억한 보정 후의 RGB 데이터 (RGB_out)를 판독하고, 판독된 보정 후의 RGB 데이터, 즉 계조 보정 처리 후의 화상을 처리 대상으로 하여 화이트 밸런스 조정 처리 등의 다른 디지털 신호 처리를 행한다.
도 10은, 화상 처리부(52)의 도 3에 나타낸 각 부에 의한 계조 보정 처리의 내용을 흐름도로서 나타낸 것이다. 그리고, 각 단계의 처리의 상세한 것에 대하여는 이미 설명하였으므로, 설명을 생략한다.
도 10에 나타낸 바와 같이, 화상 처리부(52)에서의 계조 보정 처리에 있어서는, RGBmax 연산부(102)가, 대상 화상을 나타내는 RGB 데이터로부터, 대상 화상의 각 화소에 대하여 제1 밝기 성분값(max)을 취득한다(단계 S1). 다음으로, ε필터(103)가, 필터 처리에 의해 제1 밝기 성분값(max)을 제2 밝기 성분값(max_ε)으로 변환한다(단계 S2).
또한, 역광 레벨 연산부(111)가, 대상 화상을 나타내는 RGB 데이터로부터 역광 레벨(gk_lev)을 취득한다(단계 S3). 또한, 콘트라스트 조정 레벨 산출부(112)가, 역광 레벨(gk_lev)에 비례하는 콘트라스트 조정 레벨(adj_lev)을 산출한다(단계 S4). 다음으로, 콘트라스트 조정부(113)가, 제1 밝기 성분값(max), 제2 밝기 성분값(max_ε), 및 콘트라스트 조정 레벨(adj_lev)에 기초하여, 제3 밝기 성분값(adj)을 화소마다 생성한다(단계 S5).
이어서, 합성 처리부(114)가, 제3 밝기 성분값(adj)을, 크기에 비례한 합성 비율로 제1 밝기 성분값에 합성함으로써 제4 밝기 성분값(mix)을 생성한다(단계 S6). 다음으로, 보정 게인 산출부(115)가, 제4 밝기 성분값(mix)에 따른 각 화소의 게인(g_lev)을 산출한다(단계 S7). 그후, 계조 보정부(105)가, 각 화소의 RGB 데이터를, 각 색 성분의 화소값에 각 화소의 게인(g_lev)을 각각 곱함으로써 보정한다(단계 S8). 또한, 계조 보정부(105)가, 화상 버퍼(101)에 기억되어 있는 RGB 데이터(RGB_in)를, 보정 후의 각 화소의 RGB 데이터로 재기록하고 화상 버퍼(101)에 기억시킨다(단계 S9).
이상 설명한 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 보정 게인 산출부(115)에 공급되는 각 화소의 제4 밝기 성분값(mix)이, RGBmax 연산부(102)에 의해 취득한 제1 밝기 성분값(max)과, ε필터(103)에 의해 취득한 제2 밝기 성분값(max_ε)에 기초한 밝기 정보이다. 즉, 제4 밝기 성분값(mix)이, 대상 화상에서의 각 화소의 밝기 정보가 아닌, 대상 화상에서의 고주파 성분이 제거된 상태에서의 각 화소의 밝기 정보에 기초한 것이다. 또한, 보정 게인 산출부(115)가 각 화소의 게인(g_lev)으로서 각 화소의 제4 밝기 성분값(mix)에 반비례하는 게인을 설정한다.
이로써, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 대상 화상의 대국적인 계조를 보정할 수 있고, 또한 계조 보정 처리 후의 화상에서는, 대상 화상에 있어서 밝기의 변화가 급격한 국소 영역에 대해도 대상 화상과 동일한 콘트라스트를 확보할 수 있다.
전술한 효과가 얻어지는 이유를 구체적으로 설명한다. 먼저, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 전술한 바와 같이 각 화소에 설정되는 게인(g_lev)이 각 화소의 제4 밝기 성분값(mix)에 반비례하므로, 대상 화상에서의 어두운 부분의 화소일수록 게인(g_lev)이 커지고, 또한 대상 화상에서의 밝은 부분의 화소일수록 게인(g_lev)이 작아진다. 그러므로, 계조 보정 처리가 행해진 후의 화상에서는, 대상 화상에 있어서 어두웠던 부분일수록 밝기가 크게 상승한다.
따라서, 화상 처리부(52)에 의한 계조 보정 처리에서는, 기본적으로는 다음과 같은 효과를 얻을 수 있다. 즉, 대상 화상에 있어서 밝은 부분에서의 「백시(whiteout)」현상의 발생을 억제하면서, 어두웠던 부분에 양호한 계조를 확보할 수 있고, 대상 화상의 대국적인 계조 보정 처리를 행할 수 있다. 그 결과, 예를 들면 대상 화상이 역광하에서 인물을 촬영한 화상이며, 인물의 얼굴 부분이 어두운 화상인 경우에는, 화상 처리부(52)에 의한 계조 보정 처리에 의해, 인물의 얼굴 부분이 밝고 다채롭게 표현된 화상을 얻을 수 있다.
한편, 계조 보정 처리시에 대상 화상에서의 어두운 부분의 화소의 밝기를 올리면, 그에 따라 대상 화상에 있어서 밝기가 급격히 변화하는 국소 영역에 있어서는, 어두운 영역측의 화소와 밝은 영역측의 화소에서의 명암의 차이가 작아진다. 그 결과, 대상 화상에 있어서, 예를 들면 밝은 부분(공백 등)을 배경으로 하여 비교적 작은 면적의 어두운 피사체가 존재하고 있는 부분에 있어서는 콘트라스트가 훼손된다.
이에 대하여, 화상 처리부(52)에 의한 계조 보정 처리에서는, 보정 게인 산출부(115)에 공급되는 각 화소의 제4 밝기 성분값(mix)이, 제2 밝기 성분값(max_ε)에 기초하여 생성된 밝기 정보이다. 보다 구체적으로는, 제4 밝기 성분값(mix)은, 제2 밝기 성분값(max_ε)이 콘트라스트 조정부(113) 및 합성 처리부(114)를 거쳐 보정된 후의 밝기 정보이다. 그리고, 제2 밝기 성분값(max_ε)은, 앞서 설명한 바와 같이 제1 밝기 성분값(max)을 화소값으로 하는 화소에 의해 구성되는 밝기 성분 화상으로부터 고주파 성분을 제거한 대국 휘도 화상, 즉, 저주파 성분만으로 이루어지는 대국 휘도 화상을 구성하는 화소의 화소값이다.
그러므로, 계조 보정 처리시에 보정 게인 산출부(115)가 산출하는 각 화소의 게인(g_lev), 즉 대상 화상의 각 화소에 설정되는 게인은, 보정 게인 산출부(115)에 제1 밝기 성분값(max)을 그대로 공급하는 경우와 비교하면, 이하에서 설명하는 게인이 된다. 그리고, 여기서는 설명의 편의상, 보정 게인 산출부(115)에 제1 밝기 성분값(max)을 공급한 경우와, 전술한 보정을 거치지 않은 제2 밝기 성분값(max_ε)을 공급한 경우를 비교함으로써, 대상 화상의 각 화소에 설정되는 게인에 대하여 상세히 설명한다.
도 11의 (A) 및 (B)는, 보정 게인 산출부(115)에 제1 밝기 성분값(max)을 공급한 경우와, 전술한 보정을 거치지 않은 제2 밝기 성분값(max_ε)을 공급한 경우에 있어서, 대상 화상의 각 화소에 설정되는 게인의 차이를 나타낸 도면이다.
즉, 도 11의 (A)는, 대상 화상에 있어서 주변 화소보다 어두운 화소에 설정되는 게인의 예를 나타낸 도면이다. 주변 화소보다 어두운 화소의 경우, 주변 화소보다 어두운 화소의 제2 밝기 성분값(max_ε)은, 원래의 제1 밝기 성분값(max)이 주변 화소의 제1 밝기 성분값(max)과 평활화됨으로써, 원래의 제1 밝기 성분값(max)보다 커지게 된다. 그러므로, 보정 게인 산출부(115)에 제2 밝기 성분값(max_ε)을 공급했을 때의 게인은, 보정 게인 산출부(115)에 제1 밝기 성분값(max)을 공급했을 때의 게인보다 작아진다. 따라서, 주변 화소보다 어두운 화소에 대해서는 계조 보정 처리에 따른 밝기의 증가가 억제된다. 그 결과, 대상 화상에 있어서 밝기가 급격히 변화하는 국소 영역에서는, 어두운 부분의 밝기가, 계조 보정 처리 후에는 다른 어두운 부분에 비해 계조 보정 처리 전의 밝기에 가까운 밝기로 억제된다.
또한, 도 11의 (B)는, 대상 화상에 있어서 주변 화소보다 밝은 화소에 설정되는 게인의 예를 나타낸 도면이다. 주변 화소보다 밝은 화소의 경우, 주변 화소보다 밝은 화소의 제2 밝기 성분값(max_ε)은, 원래의 제1 밝기 성분값(max)이 주변 화소의 제1 밝기 성분값(max)과 평활화됨으로써, 원래의 제1 밝기 성분값(max)보다 작아진다. 그러므로, 보정 게인 산출부(115)에 제2 밝기 성분값(max_ε)을 공급했을 때의 게인은, 보정 게인 산출부(115)에 제1 밝기 성분값(max)을 공급했을 때의 게인보다 커지게 된다. 따라서, 주변 화소보다 밝은 화소에 대해서는 계조 보정 처리에 따른 밝기의 증가가 현저하게 된다. 그 결과, 대상 화상에 있어서 밝기가 급격히 변화하는 국소 영역에서는, 밝은 부분의 밝기가, 계조 보정 처리 후에는 다른 밝은 부분에 비해 강조된다.
그리고, 대상 화상에서의 어두운 화소, 및 밝은 화소의 어느쪽에 대해서도, 각각의 화소의 밝기가 인접하는 주변 화소의 밝기와 같은 경우에는, 각각의 화소에서의 제1 밝기 성분값(max)과 제2 밝기 성분값(max_ε)이 같은 크기로 된다. 그러므로, 밝기가 급격히 변화하는 국소 영역 이외의 영역에 대하여 콘트라스트가 훼손되지 않는다.
그리고, 전술한 대상 화상의 각 화소에 설정되는 게인의 상세한 것에 대해서는, 보정 게인 산출부(115)에 제4 밝기 성분값(mix)을 공급하는 구성에 있어서도, 보정 게인 산출부(115)에 제2 밝기 성분값(max_ε)을 공급한 경우와 기본적으로는 동일하다.
따라서, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 계조 보정 처리 시에 대상 화상에서의 어두운 부분의 화소의 밝기를 증가시켜도, 계조 보정 처리가 행해진 후의 화상에 양호한 콘트라스트 상태를 얻을 수 있다. 즉, 대상 화상에 있어서 밝기가 급격하게 변화하는 국소 영역에는, 계조 보정 처리가 행하여지기 전과 동일한 콘트라스트를, 계조 보정 처리가 행해진 후의 화상에 확보할 수 있다.
도 12의 (A) 및 (B)는, 전술한 계조 보정 처리에서의 효과를 구체적으로 나타낸 도면이다. 즉, 도 12의 (A)는, 대상 화상이, 제1 밝기 성분값(max)에 의해 표시되는 화상이 도 6의 (A)에 나타낸 것일 경우에 있어서의 계조 보정 처리 후의 화상의 일부를 나타낸 도면이다. 보다 구체적으로는, 계조 보정 처리 후의 화상을 상하 좌우로 4등분했을 때의 우상(右上)측 부분을 나타낸 도면이다. 또한, 도 12의 (B)는, 비교예로서 나타낸 도면이며, 대상 화상에 대하여 단지 휘도 레벨이 낮은 영역의 휘도 레벨을 올리는 종래의 계조 보정 처리를 실시한 경우의 화상의 일부를 나타내는, 도 12의 (A)에 대응하는 도면이다.
도 12의 (B)에 나타낸 바와 같이, 종래의 계조 보정 처리에 있어서는, 단지 휘도 레벨이 낮은 영역의 휘도 레벨을 올리면, 결과적으로는, 도 12의 (B)에 나타낸 것과 같은 밝은 하늘에 가늘고 어두운 가지나 잎이 뒤섞여 있는 영역, 즉 밝기가 급격히 변화하는 국소 영역의 콘트라스트가 저하된다. 이에 비해, 도 12의 (A)에 나타낸 바와 같이, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 앞서 설명한 이유에 의해, 밝은 하늘에 가늘고 어두운 가지나 잎이 뒤섞여 있는 영역에서도 콘트라스트가 저하되지 않고, 대상 화상과 동일한 콘트라스트를 확보할 수 있다.
이상 설명한 바와 같이, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 계조 보정 처리가 행해지기 전의 대상 화상의 대국적인 계조를 보정하면서, 계조 보정 처리가 행해진 후의 화상에는, 계조 보정 처리가 행해지기 전의 대상 화상에 있어서 밝기의 변화가 급격한 국소 영역에 대해서도, 대상 화상과 동일한 콘트라스트를 확보할 수 있다.
또한, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 처리 대상의 화상 데이터를 디모자이크 처리에 의해 생성한 RGB 데이터로 하고, 각 화소의 색 성분의 화소값(R값, G값, B값)을, 각 화소에 설정한 보정용 게인(g_lev)에 따라 개별적으로 보정함으로써 각 화소의 밝기를 보정한다. 그러므로, 다음과 같은 효과를 얻을 수 있다.
즉, 대상 화상의 각 화소에 설정한 게인(g_lev)을 각각의 색 성분의 화소값(R값, G값, B값)에 곱하여 각 색 성분의 화소값을 각각 크게 하면, 계조 보정 처리 후의 화상의 채도가 높아진다. 이는, 각 화소의 채도 S가, 색 성분마다의 화소값(R값, G값, B값)에 있어서 최대가 되는 색 성분의 값(MAX)과 최소로 되는 색 성분의 값(MIN)과의 차이에 비례하기 때문이다(S=(MAX-MIN)/MAX).
한편, 만일 계조 보정 처리에서의 처리 대상의 화상 데이터를 YUV 변환 처리 후의 YUV 데이터로 하고, 각 화소의 휘도 성분값(Y값)에 보정용 게인을 곱함으로써 휘도를 크게 했다 하더라도, 계조 보정 처리 후의 화상의 채도는 커지지 않는다. 이는, 휘도 성분값(Y값)의 증감이 채도의 증감에 영향을 주지 않기 때문이다.
이상과 같이, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 계조 보정 처리가 행해진 후의 화상에 높은 채도를 확보할 수 있으므로, 계조 보정 처리가 행해진 후의 화상 상에서 복수 색이 쉽게 구별된다. 따라서, 계조 보정 처리가 행해진 후의 화상을 선명하게 할 수 있다. 또한, 계조 보정 처리 시에 큰 게인(g_lev)이 설정되는 어두운 화소, 즉 밝기의 보정 강도가 큰 화소라고 하더라도, 계조 보정 처리 후의 화상에 있어서 원래의 색을 정밀하게 재현할 수 있다.
한편, 화상 처리부(52)에 있어서는, 대상 화상의 각 화소에 설정하는 게인(g_lev)을 결정하는 제4 밝기 성분값(mix)의 소스(source)가 되는 제2 밝기 성분값(max_ε), 즉 대상 화상에서의 고주파 성분이 제거된 상태의 각 화소의 밝기 정보(이하, 편의상 저주파 성분 정보라고 함)를 다음과 같이 하여 취득한다. 즉, 앞서 설명한 바와 같이 화상 처리부(52)에 있어서는, 대상 화상을 나타내는 RGB 데이터로부터 일단 제1 밝기 성분값(max)을 취득하고, 취득한 제1 밝기 성분값(max)을 화소값으로 하는 밝기 성분 화상에 대하여 ε필터(103)에 의한 평활화 처리를 행함으로써 제2 밝기 성분값(max_ε)을 취득한다.
그러므로, 화상 처리부(52)에 있어서는, 대상 화상의 저주파 성분 정보를 효율적으로 취득할 수 있다. 즉, 대상 화상의 저주파 성분 정보는, 예를 들면 RGB 데이터에 대하여 ε필터(103)에 의한 평활화 처리를 실시하고, 처리 후의 RGB 데이터로부터 각 화소의 밝기 성분 값을 추출함으로써도 얻을 수 있다. 그러나, RGB 데이터에 대하여 ε필터(103)에 의한 평활화 처리를 행하는 경우에는, 평활화 처리에서의 데이터 처리량이 많다. 이에 비해, RGB 데이터로부터 제1 밝기 성분값(max)을 취득하고, 취득한 제1 밝기 성분값(max)을 대상으로 하여 ε필터(103)에 의한 평활화 처리를 행하는 경우에는, 평활화 처리에서의 데이터 처리량이 매우 적다. 따라서, 화상 처리부(52)에 있어서는, 대상 화상의 저주파 성분 정보를 효율적으로 취득할 수 있다.
또한, 화상 처리부(52)에 있어서는, ε필터(103)가 에지의 유지 성능을 가지는 평활화 필터이다. 그러므로, 계조 보정 처리 후의 화상에는, 대상 화상에 있어서 인물이나 건물 등의 화상 내에서 비교적 큰 피사체의 윤곽에 상당하는 명암의 차이가 큰 명암의 경계 부분에 대해서도, 대상 화상과 동일한 콘트라스트를 정밀하게 재현할 수 있다. 이러한 효과가 얻어지는 이유를 이하에서 설명한다. 그리고, 여기서는 화상 처리부(52)에 ε필터(103)를 사용한 것에 의한 효과를, 화상 처리부(52)에, 에지의 유지 성능을 가지고 있지 않은 일반적인 저역통과필터를 사용한 경우와 비교하여 설명한다.
먼저, 화상 처리부(52)에 일반적인 저역통과필터를 사용한 경우, 필터 처리 후(평활화 처리 후)의 대국 휘도 화상에 있어서는, 전술한 명암의 경계 부분에 생기는 흐릿함(blurring)의 정도가, 도 6의 (C)에 나타낸 바와 같이 ε필터(103)를 사용하는 경우에 비해 커지게 된다. 즉, 대국 휘도 화상이, 필터 처리 전의 명암의 경계 부분에서의 밝은 영역측의 경계 부근의 밝기가, 명암의 경계로부터 이격되는 밝은 영역의 밝기보다 어둡고(화소값이 작고), 또한 필터 처리 전의 명암의 경계 부분에서의 어두운 영역측의 경계 부근의 밝기가, 명암의 경계로부터 이격되는 어두운 영역의 밝기보다 밝게(화소값이 크게) 변화된 화상이 된다.
한편, 전술한 바와 같이 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 각 화소에 설정되는 게인(g_lev)이, 보정 게인 산출부(115)에 공급되는 각 화소의 제4 밝기 성분값(mix)에 반비례한다. 그러므로, 화상 처리부(52)에 일반적인 저역통과필터를 사용한 경우, 대상 화상에 있어서 명암의 경계 부분을 구성하는 화소에는 다음과 같은 게인이 설정된다. 즉, 명암의 경계 부분의 밝은 영역측에서는, 명암의 경계 부근을 구성하는 화소에, 명암의 경계로부터 이격되는 영역의 화소보다 큰 게인이 설정된다. 또한 명암의 경계 부분의 어두운 영역측에서는, 명암의 경계 부근을 구성하는 화소에, 명암의 경계로부터 이격되는 영역의 화소보다 작은 게인이 설정된다.
따라서, 대상 화상에 있어서 피사체의 윤곽에 상당하는 명암의 경계 부분을 구성하는 밝은 영역측의 영역, 또는 어두운 영역측의 영역에서의 각 화소의 밝기의 변화가 적은 경우에는, 명암의 경계 부분의 밝기가 계조 보정 처리 후에는 다음과 같이 된다. 즉, 대상 화상에 있어서는 밝기의 변화가 적었던, 명암의 경계 부분에서의 명암의 경계에 근접하는 영역의 화소의 밝기와, 명암의 경계로부터 이격되는 영역의 화소의 밝기와의 사이에 큰 차이가 생긴다. 또한, 이러한 밝기의 차이는, 명암의 경계 부분의 밝은 영역측과 어두운 영역측과의 밝기의 차이가 클수록 현저하게 된다.
이상의 이유에 의해, 화상 처리부(52)에 일반적인 저역통과필터를 사용하는 경우에는, 계조 보정 처리 후의 화상에, 대상 화상에 있어서 인물이나 건물 등의 화상 내에서 비교적 큰 피사체의 윤곽에 상당하는, 명암의 차이가 큰 명암의 경계 부분에 대해서는, 대상 화상과 동일한 콘트라스트를 정밀하게 확보할 수 없다.
이에 비해, 본 실시예와 같이 화상 처리부(52)에 ε필터(103)를 사용하는 구성에서는, 필터 처리 후(평활화 처리 후)의 대국 휘도 화상에 있어서는, 도 6의 (B)에 나타낸 바와 같이, 명암의 경계 부분에 생기는 흐릿함의 정도가 일반적인 저역통과필터를 사용하는 경우보다 작아진다. 즉, 대국 휘도 화상으로서, 필터 처리가 행해지기 전의 명암의 경계 부분에서의 밝은 영역측의 경계 부근이 밝게(화소값이 크게), 그리고 어두운 영역측의 경계 부근이 어두운(화소값이 작은) 상태가 유지된 화상을 얻을 수 있다.
그러므로, 화상 처리부(52)에 ε필터(103)를 사용하는 구성에서는, 화상 처리부(52)에 의한 계조 보정 처리 시에, 대상 화상에서의 명암의 경계 부분을 구성하는 화소에는 다음과 같은 게인이 설정된다. 즉, 명암의 경계 부분의 밝은 영역측에서의 경계 부근을 구성하는 화소와, 경계로부터 이격되는 영역의 화소에 실질적으로 동일한 게인이 설정된다. 또한, 명암의 경계 부분의 어두운 영역측에서의 경계 부근을 구성하는 화소와, 경계로부터 이격되는 영역의 화소에 실질적으로 동일한 게인이 설정된다.
따라서, 대상 화상에 있어서 피사체의 윤곽에 상당하는 명암의 경계 부분을 구성하는 밝은 영역측의 영역, 또는 어두운 영역측의 영역에서의 각 화소의 밝기의 변화가 적은 경우에도, 계조 보정 처리 후의 화상에는, 밝기의 변화가 적었던 밝은 영역측 또는 어두운 영역측에 있어서, 명암의 경계에 근접하는 영역의 화소와 명암의 경계로부터 이격되는 영역의 화소에서, 동일한 밝기를 유지할 수 있다.
이상의 이유에 의해, 화상 처리부(52)에 있어서는 ε필터(103)를 사용함으로써, 계조 보정 처리 후의 화상에, 대상 화상에 있어서 인물이나 건물 등의 화상 내에서 비교적 큰 피사체의 윤곽에 상당하는, 명암의 차이가 큰 명암의 경계 부분에 대해서도, 대상 화상과 동일한 콘트라스트를 정밀하게 재현할 수 있다.
또한, 화상 처리부(52)에서의 계조 보정 처리에 있어서는, 전술한 효과에 더하여 다음과 같은 효과를 얻을 수 있다. 즉, 계조 보정 처리에 있어서는, ε필터(103)에 있어서 생성된 제2 밝기 성분값(max_ε)이, 콘트라스트 조정부(113)에 있어서 제1 밝기 성분값(max)에 따라 화소마다 보정된다. 그리고, 보정 후에서의 제3 밝기 성분값 (adj)에 기초하여, 대상 화소의 각 화소의 게인(g_lev)이 결정된다. 이로써, 계조 보정 처리 후의 화상의 대국적인 계조에, 계조 보정 처리가 행해지기 전의 대상 화상에서의 각 화소 사이의 명암 밸런스를 반영시킬 수 있다. 따라서, 계조 보정 처리 후의 화상에 의해 자연스러운 계조 상태를 확보할 수 있다.
또한, 화상 처리부(52)에서의 계조 보정 처리에 있어서는, 전술한 효과에 더하여 다음과 같은 효과를 얻을 수 있다. 즉 계조 보정 처리에 있어서는, 보정 게인 산출부(115)에 공급되는 각 화소의 제4 밝기 성분값(mix)이, 제2 밝기 성분값(max_ε)의 보정 후의 밝기 정보인 제3 밝기 성분값(adj)에, 제1 밝기 성분값(max)이 소정의 합성 비율로 합성된 밝기 정보이다.
이로써, 계조 보정 처리에 있어서는, 대상 화상에 있어서 주변 화소보다 밝았던 화소가 계조 보정 처리에 따라 「백시」로 될 확률을 저감시킬 수 있다. 이러한 효과가 얻어지는 이유를 이하에 설명한다. 그리고, 여기서는, 설명의 편의상, 콘트라스트 조정부(113)에 의한 제2 밝기 성분값(max_ε)의 보정 시에 전술한 콘트라스트 조정 레벨(adj_lev)이 「1」이며, 제3 밝기 성분값(adj)과 제2 밝기 성분값(max_ε)이 동일한 경우를 상정하여 설명한다.
앞서 설명한 바와 같이 대상 화상에 있어서 주변 화소보다 밝았던 화소의 제2 밝기 성분값(max_ε)은, 제1 밝기 성분값(max)보다 작아진다. 그러므로, 보정 게인 산출부(115)에 제2 밝기 성분값(max_ε)을 그대로 공급하면, 대상 화상에 있어서 주변 화소보다 밝았던 화소에 설정되는 게인(g_lev)이 큰 값이 된다. 이는, 보정 게인 산출부(115)가, 제2 밝기 성분값(max_ε)에 반비례하는 게인을 설정하기 때문이다.
따라서, 보정 게인 산출부(115)에 제2 밝기 성분값(max_ε)을 그대로 공급하면, 대상 화상에 있어서 주변 화소로부터 밝았던 화소에 「백시」 현상이 쉽게 발생하게 된다. 즉, 대상 화상에 있어서 밝기가 급격하게 변화된 국소 영역에 계조 보정 처리 전과 동일한 콘트라스트를 확보하는 댓가로서, 계조 보정 처리 후의 화상에, 대상 화상에 있어서 주변 화소보다 밝았던 화소의 「백시」 현상이 발생하는 확률이 불가피하게 높아진다.
이에 대하여, 계조 보정 처리에 있어서는, 보정 게인 산출부(115)에 제4 밝기 성분값(mix)이 공급된다. 여기서, 제4 밝기 성분값(mix)은, 제2 밝기 성분값(max_ε)에 제1 밝기 성분값(max)이 소정의 합성 비율(α)로 합성된 것이다. 즉, 제4 밝기 성분값(mix)은, 제2 밝기 성분값(max_ε)보다, 제1 밝기 성분값(max)이 소정의 합성 비율(α)로 합성된 분만큼 큰 값이 된다. 그러므로, 보정 게인 산출부(115)에 제4 밝기 성분값(mix)을 공급하면, 대상 화상에 있어서 주변 화소보다 밝았던 화소에 설정되는 게인(g_lev)은, 보정 게인 산출부(115)에 제2 밝기 성분값(max_ε)을 그대로 공급하는 경우에 비해 작은 값이 된다.
따라서, 계조 보정 처리에 있어서는, 대상 화상에 있어서 밝기가 급격하게 변화되어 있던 국소 영역에 계조 보정 처리 전과 동일한 콘트라스트를 확보함과 동시에, 보정 게인 산출부(115)에 제4 밝기 성분값(mix)을 공급함으로써, 계조 보정 처리 후의 화상에, 대상 화상에 있어서 주변 화소보다 밝았던 화소의 「백시」 현상이 발생할 확률을 저하시킬 수 있다.
또한, 계조 보정 처리에 있어서는, 합성 처리부(114)가, 제1 밝기 성분값(max)을 제3 밝기 성분값(adj)에 합성할 때의 합성 비율을 제1 밝기 성분값(max)에 비례한 합성 비율(α)로 한다. 따라서, 제3 밝기 성분값(adj)에 대한 제1 밝기 성분값(max)의 합성 비율을 적절한 비율로 조정할 수 있다. 그 결과, 계조 보정 처리 후의 화상에, 대상 화상에 있어서 주변 화소보다 밝았던 화소의 「백시」 현상이 발생하는 확률을 확실하게 저하시킬 수 있다.
또한, 화상 처리부(52)에서의 계조 보정 처리에 있어서는, 전술한 효과에 더하여, 이하에 설명하는 효과를 더 얻을 수 있다. 즉, 화상 처리부(52)에 있어서는, 콘트라스트 조정부(113)가 제2 밝기 성분값(max_ε)을 보정하여 제3 밝기 성분값(adj)을 생성한다. 즉, 앞서 설명한 바와 같이 콘트라스트 조정부(113)는, 제1 밝기 성분값(max)에, 제2 밝기 성분값(max_ε)과 제1 밝기 성분값(max)과의 차분(max_ε - max)을 adj_lev배한 값을 가산함으로써 제3 밝기 성분값(adj)을 생성한다.
여기서 콘트라스트 조정부(113)가 생성하는 제3 밝기 성분값(adj)과 콘트라스트 조정 레벨(adj_lev)과의 관계는 다음과 같다. 먼저, 대상 화상에 있어서 주변 화소보다 밝은, 즉 제1 밝기 성분값(max)이 큰 화소에 대하여, 제3 밝기 성분값(adj)과 콘트라스트 조정 레벨(adj_lev)과의 관계를 설명한다. 즉, 주변 화소보다 밝은 화소는, 앞서 설명한 도 5에 실선으로 나타낸 제1 밝기 성분값(max)이, 도 5에 파선으로 나타낸 제2 밝기 성분값(max_ε)보다 큰 화소이다. 따라서, 주변 화소보다 밝은 화소에 있어서는, 제2 밝기 성분값(max_ε)과 제1 밝기 성분값(max)과의 차분(max_ε - max)이 마이너스 값이 된다. 따라서, 제3 밝기 성분값(adj)은, 콘트라스트 조정 레벨(adj_lev)의 값이 커질수록, 제2 밝기 성분값(max_ε)을 기준으로 하여 감소한다.
다음으로, 대상 화상에 있어서 주변 화소보다 어두운, 즉 제1 밝기 성분값(max)이 작은 화소에 대하여, 제3 밝기 성분값(adj)과 콘트라스트 조정 레벨(adj_lev)과의 관계를 설명한다. 즉, 주변 화소보다 어두운 화소는, 도 5에 실선으로 나타낸 제1 밝기 성분값(max)이, 도 5에 파선으로 나타낸 제2 밝기 성분값(max_ε)보다 작은 화소이다. 따라서, 주변 화소보다 어두운 화소에 있어서는, 제2 밝기 성분값(max_ε)과 제1 밝기 성분값(max)과의 차분(max_ε - max)이 플러스 값이 된다. 따라서, 제3 밝기 성분값(adj)은, 콘트라스트 조정 레벨(adj_lev)의 값이 커질수록, 제2 밝기 성분값(max_ε)을 기준으로 하여 증대한다.
한편, 화상 처리부(52)에 있어서는, 보정 게인 산출부(115)가 각 화소의 게인(g_lev)으로서 각 화소의 제4 밝기 성분값(mix)에 반비례하는 게인을 설정한다.그러므로, 화상 처리부(52)에서의 계조 보정 처리에 있어서는, 콘트라스트 조정 레벨(adj_lev)의 값이 클수록, 대상 화상에 있어서 주변 화소보다 밝았던 화소가 계조 보정 처리 후에는 더욱 밝아지고, 또한 주변 화소보다 어두웠던 화소가 계조 보정 처리 후에는 더욱 어두워진다.
따라서, 화상 처리부(52)에서의 계조 보정 처리에 있어서는, 콘트라스트 조정 레벨(adj_lev)이 클수록, 계조 보정 처리가 행해진 후의 화상에서의 콘트라스트가 증대한다. 즉, 화상 처리부(52)에 있어서는, 콘트라스트 조정 레벨(adj_lev)을 조정함으로써, 계조 보정 처리가 행해진 후의 화상에서의 콘트라스트를 조정할 수 있다.
또한, 화상 처리부(52)에 있어서는, 콘트라스트 조정 레벨 산출부(112)가 산출하는 콘트라스트 조정 레벨(adj_lev)이 역광 레벨(gk_lev)에 비례하여 증대하는 값이다. 즉, 대상 화상에서의 역광의 정도가 클수록 콘트라스트 조정 레벨(adj_lev)이 큰 값이다. 따라서, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 대상 화상에서의 역광의 정도가 클수록, 계조 보정 처리 후의 화상에서의 콘트라스트를 높게 할 수 있다. 그 결과, 대상 화상이 역광하에서 촬영된 화상인 경우에는, 계조 보정 처리가 행해진 후의 화상 전체에, 보다 적절한 콘트라스트를 확보할 수 있다.
다음으로, 이상 설명한 본 실시예의 변형 등에 대하여 설명한다. 먼저, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 처리 대상의 화상 데이터를 디모자이크 처리에 의해 생성한 RGB 데이터로 하였다. 그러나, 계조 보정 처리의 처리 대상의 화상 데이터를 YUV 변환 처리 후의 YUV 데이터로 한 경우에도, 계조 보정 처리를 실시한 후의 화상에는, 계조 보정 처리를 행하기 전의 대상 화상에 있어서 밝기가 급격히 변화하는 국소 영역에 대하여 대상 화상과 동일한 콘트라스트를 확보할 수 있다. 다만, 계조 보정 처리의 처리 대상의 화상 데이터를 YUV 변환 처리 후의 YUV 데이터로 하는 경우에는, 화상 처리부(52)의 구성을, 전술한 ε필터(103)에 대상 화상의 각 화소의 휘도 성분(Y) 값을 공급하는 구성으로 변경할 필요가 있다.
또한, ε필터(103)를 사용함으로써 얻어지는 효과는, 에지의 유지 성능을 가지는 평활화 필터라면, 다른 평활화 필터를 ε필터(103) 대신 사용하는 경우에도 얻을 수 있다. 다른 평활화 필터로서는, 예를 들면 양방향 필터(bilateral filter) 등의 다른 가중 평균 필터를 사용할 수 있다. 양방향 필터 등을 사용하는 경우에도, ε필터(103)를 사용하는 경우와 동일한 효과를 얻을 수 있다.
또한, 화상 처리부(52)에 의한 계조 보정 처리에 의해 얻어지는 앞서 설명한 효과 중, 대상 화상에 있어서 밝기가 급격하게 변화된 국소 영역에 대하여, 계조 보정 처리가 행해진 후의 화상에 있어서도 계조 보정 처리 전과 동일한 콘트라스트를 확보하는 효과에 대해서는, 화상 처리부(52)가 이하의 조건을 만족하는 구성이라면 얻을 수 있다. 즉, 전술한 효과를 얻기 위해서는, 기본적으로는, 각 화소의 게인(g_lev)을 산출하는 보정 게인 산출부(115)에 공급하는 각 화소의 밝기 정보에, 각 화소의 밝기가 평활화된 후의 밝기 정보가 포함되어 있으면 된다.
따라서, 화상 처리부(52)를 구성하는 ε필터(103)는, 예를 들면 일반적인 저역통과필터로 대체할 수 있다. 즉, 화상 처리부(52)는, 제1 밝기 성분값(max)을 각 화소의 화소값으로 하는 밝기 성분 화상의 평활화 처리를 일반적인 저역통과필터로 행하고, 밝기 성분 화상의 저주파수 성분으로 이루어지는 대국 휘도 화상의 각 화소의 밝기 정보, 즉 제2 밝기 성분값(max_ε)에 대응하는 밝기 정보를 취득하는 구성으로 해도 된다. 전술한 바와 같이 일반적인 저역통과필터로 대체한 구성이라도, 계조 보정 처리가 행해진 후의 화상에는, 대상 화상에 있어서 밝기가 급격하게 변화되어 있던 국소 영역에 대하여, 계조 보정 처리 전과 동일한 콘트라스트를 확보하는 효과는 얻을 수 있다.
또한, 화상 처리부(52)에 있어서는, ε필터(103)가, RGBmax 연산부(102)에 의해 취득한 대상 화상에서의 모든 화소의 제1 밝기 성분값(max)에 필터 처리를 행하여 모든 화소의 제2 밝기 성분값(max_ε)을 생성한다. 그러나, 제2 밝기 성분값(max_ε)은 대상 화상의 대국적인 밝기 상태를 나타내는 밝기 정보이면 되며, 필터(103)에는 대상 화상에서의 모든 화소의 제1 밝기 성분값(max)을 공급할 필요는 없다.
따라서, 화상 처리부(52)는, 예를 들면 다음과 같은 구성으로 해도 된다. 예를 들면, 화상 처리부(52)는, 대상 화상을 일단 축소한 상태에서 제1 밝기 성분값(max)을 취득하고, 축소 화상에서의 제2 밝기 성분값(max_ε)을 생성한 후, 생성한 제2 밝기 성분값(max_ε)으로부터, 원래의 화상 사이즈에 따른 화소수분의 제2 밝기 성분값(max_ε)을 새롭게 생성하는 구성으로 해도 된다. 이와 같은 구성을 화상 처리부(52)에 채용하면, ε필터(103)의 필터 처리에 필요한 시간을 단축할 수 있다.
한편, 화상 처리부(52)에 의한 계조 보정 처리에 의해 얻어지는 앞서 설명한 효과 중, 대상 화상에 있어서 밝아진 부분에서의 「백시」 현상의 발생을 억제하면서, 어두웠던 부분에 양호한 계조를 확보하는 효과는, 각 화소의 게인(g_lev)이 제4 밝기 성분값(mix)과 완전히 반비례하지 않아도 개략적으로 반비례하는 것이면 얻을 수 있다. 따라서, 상기 게인 연산 함수에는, 도 9의 (A)에 나타낸 특성을 가지는 것으로 한정되지 않고, 예를 들면, 도 9의 (B)에 나타낸 특성, 나아가서는 도 9의 (C)에 나타낸 특성을 가지는 것을 사용할 수 있다.
또한, 화상 처리부(52)에 의한 계조 보정 처리에 의해 얻어지는 앞서 설명한 효과 중, 대상 화상에 있어서 주변 화소보다 밝았던 화소의 「백시」 현상이 발생하는 확률을 저하시키는 효과를 얻기 위해서는, 합성 처리부(114)의 구성을 다음과 같이 변경할 수 있다. 즉, 합성 처리부(114)의 구성은, 제3 밝기 성분값(adj)에 제1 밝기 성분값(max)을 합성하는 처리를, 대상 화상 내의 어느 정도 이상 밝은 측의 화소만을 대상으로 하여 행하는 구성으로 변경할 수 있다.
따라서, 합성 처리부(114)가 제4 밝기 성분값(mix)의 산출에 사용하는 합성비 연산 함수는, 예를 들면 도 8의 (B)에 나타낸 특성을 가질 수 있다. 즉, 합성 처리부(114)가 사용하는 합성비 연산 함수는, 제1 밝기 성분값(max)이 미리 결정된 합성 임계값(도면의 예에서는 「127」)을 초과하면, 제3 밝기 성분값(adj)에 대한 제1 밝기 성분값(max)의 합성 비율(α)이 제1 밝기 성분값(max)에 비례하여 증가하는 특성을 가지는 것일 수도 있다.
또한, 대상 화상에 있어서 주변 화소보다 밝았던 화소의 「백시」 현상이 발생할 확률을 저하시키는 효과를 얻기 위해서는, 합성 처리부(114)의 구성은 다음과 같이 변경할 수 있다. 예를 들면, 합성 처리부(114)의 구성은, 제3 밝기 성분값(adj)에, 제1 밝기 성분값(max)을 미리 결정된 소정의 합성 비율로 일률적으로 합성하는 처리에 의해 제4 밝기 성분값(mix)을 생성하는 구성으로 변경할 수 있다. 또한, 예를 들면 합성 처리부(114)의 구성은, 제3 밝기 성분값(adj)에, 제1 밝기 성분값(max)을, 제1 밝기 성분값(max)의 크기에 따라 단계적으로 크게 변화하는 소정의 합성 비율로 합성하는 처리에 의해 제4 밝기 성분값(mix)을 생성하는 구성으로 변경할 수 있다.
또한, 화상 처리부(52)의 역광 레벨 연산부(111)에는, 대상 화상을 축소한 화상의 RGB 데이터를 사용하여 역광 레벨(gk_lev)을 연산시켜도 된다. 또한, 역광 레벨 연산부(111)에서의 역광 레벨(gk_lev)의 연산 방법은 임의이며, 역광 레벨 연산부 (111)에는 전술한 방법 이외의 방법에 의해 역광 레벨(gk_lev)을 연산해도 된다.
또한, 화상 처리부(52)에 있어서는, 콘트라스트 조정부(113)가 전술한 바와 같이 대상 화상에서의 역광의 정도에 따라 제2 밝기 성분값(max_ε)을 제3 밝기 성분값(adj)으로 보정함으로써, 계조 보정 처리 후의 화상에서의 콘트라스트를 자동적으로 조정하도록 했다. 그러나, 계조 보정 처리 후의 화상에서의 콘트라스트는, 대상 화상에서의 역광의 정도로 한정되지 않고, 예를 들면, 대상 화상에서의 밝기의 분포 상태에 따라 자동적으로 변화시켜도 된다. 보다 구체적으로는, 화상 처리부(52)에, 역광 레벨 연산부(111) 대신, 대상 화상에서의 밝기의 분포 상태를 나타낸 히스토그램을 취득하는 기능 부분을 설치하고, 또한 콘트라스트 조정 레벨 산출부(112) 대신, 전술한 히스토그램에 따라 미리 결정된 소정의 설정 기준에 기초하여, 콘트라스트 조정 레벨(adj_lev)을 결정하는 기능 부분을 설치해도 된다.
또한, 화상 처리부(52)에 있어서는, 콘트라스트 조정 레벨(adj_lev)을 조정함으로써, 계조 보정 처리가 행해진 후의 화상에서의 콘트라스트를 조정할 수 있다. 따라서, 화상 처리부(52)는, 예를 들면 역광 레벨 연산부(111)와, 콘트라스트 조정 레벨 산출부(112) 대신, 콘트라스트 조정부(113)에, CPU(9)가 디지털 카메라(1)의 사용자로부터의 요구 등에 따라 결정한 소정의 콘트라스트 조정 레벨(adj_lev)을 공급하는 구성으로 할 수 있다.
또한, 화상 처리부(52)에 의한 계조 보정 처리에 있어서는, 콘트라스트 조정부 (113)가 하기 계산식 (1)
adj = adj_lev × (max_ε- max) + max …(1)
에 의해 모든 화소의 제3 밝기 성분값(adj)을 산출한다. 즉, 콘트라스트 조정부(113)는, 동일한 계산식을 이용하여 모든 화소에서의 제2 밝기 성분값(max_ε)을 보정한다. 그러나, 콘트라스트 조정부(113)는, 대상 화상에 있어서 주변 화소보다 밝은 화소, 즉 「(max_ε- max) > 0」인 화소와, 어두운 화소, 즉 「(max_ε- max) < 0」인 화소에서 상이한 계산식을 이용하여 제3 밝기 성분값(adj)을 산출하는 구성으로 해도 된다.
예를 들면, 콘트라스트 조정부(113)는, 밝은 화소에 대해서는 하기 계산식 (1-a)
adj = adj_lev×(max_ε - max) + max×ks …(1-a)
를 사용하여 제3 밝기 성분값(adj)을 산출하고, 어두운 화소에 대해서는, 하기 계산식(1-b)
adj = adj_lev×(max_ε - max) + max×kt …(1-b)
를 사용하여 제3 밝기 성분값(adj)을 산출하는 구성이라도 된다.
즉, 콘트라스트 조정부(113)는, 주변 화소보다 밝은 화소와 어두운 화소에서, 계수 ks와 계수 kt 만이 상이한 계산식을 이용하여 제3 밝기 성분값(adj)을 산출하는 구성이라도 된다. 그리고, 제3 밝기 성분값(adj)을, 주변 화소보다 밝은 화소와 어두운 화소로 나누어 산출하는 경우, 계산식 (1-a)의 계수 ks는, 계산식 (1-b)의 계수 kt보다 큰 값을 설정하는 것이 계조 보정 처리 후에서의 화상의 콘트라스트가 양호해지는 경우가 많다.
또한, 본 실시예에서는, 게인 설정 처리부(104)가, 역광 레벨 연산부(111), 콘트라스트 조정 레벨 산출부(112), 콘트라스트 조정부(113), 합성 처리부(114), 및 보정 게인 산출부(115)로 이루어지는 구성으로 하였다. 그러나, 계조 보정 처리 시에, 대상 화상의 밝기가 급격히 변화하는 국소 영역에 대상 화상과 동일한 콘트라스트를 확보하기 위해서는, 게인 설정 처리부(104)를 다음과 같이 구성해도 된다.
예를 들면, 게인 설정 처리부(104)는, 합성 처리부(114)를 폐지하고, 제3 밝기 성분값(adj)을 보정 게인 산출부(115)에 그대로 공급하는 구성으로 할 수 있다. 또한, 게인 설정 처리부(104)는, 역광 레벨 연산부(111), 콘트라스트 조정 레벨 산출부(112), 및 콘트라스트 조정부(113)를 폐지하고, 제2 밝기 성분값(max_ε)을 합성 처리부(114)에 그대로 공급하는 구성으로 할 수 있다. 또한, 게인 설정 처리부 (104)는, 보정 게인 산출부(115) 이외의 각 부를 폐지하고, 제2 밝기 성분값(max_ε)을 보정 게인 산출부(115)에 그대로 공급하는 구성으로 할 수 있다.
또한, 여기서는 본 발명의 실시예로서 본 발명의 화상 처리 장치를 포함하는 디지털 카메라(1)에 대하여 설명하였으나, 본 발명은, 디지털 카메라(1) 외에도, 예를 들면 동화상의 기록이 가능한 구성을 구비한 다른 촬상 장치에도 적용할 수 있다. 본 발명이 적용 가능한 촬상 장치에는, 전술한 CCD 이외에도, 예를 들면, CMOS(Complementary Metal 0xide Semiconductor)형의 고체 촬상 소자를 구비한 디지털 카메라나, 정지 화상 이외에도 동화상을 촬영할 수 있는 디지털 카메라, 또한 동화상의 촬영을 주기능으로 하는 디지털 비디오 카메라 등의 각종 촬상 장치가 포함된다.
또한, 본 발명은, 촬상 장치에 한정되지 않고 임의의 기억 매체에 화상 데이터로서 기억되어 있는 화상을 처리 대상으로 하여 화상 처리를 행하는 화상 처리 장치에도 적용할 수 있다. 화상 처리 장치에는, 예를 들면 화상 데이터에 기초한 화상을 인쇄하는 프린터도 포함된다.
본 발명은, 도 2에 나타낸 화상 처리부(52)는 ASIC(Application Specified Integrated Circuit), 또는 임의의 컴퓨터의 CPU, 메모리, 및 메모리에 로드된 프로그램 등에 의해서도 실현할 수 있다. 또한, 상기 실시예에서 설명한 동작을 행하게 하는 프로그램을 보존하는 컴퓨터 기억 매체를 사용해도 된다.
이상, 구체적인 실시예를 참조에 의해 나타내고, 또한 설명했으나, 다양한 형태와 상세한 설명에 따른 실시예는 첨부된 청구항에 의해 정의된 본 발명의 정신과 범위로부터 일탈하지 않는 범위 내에서 이루어진 것으로 이해되어야 할 것이다. 따라서, 본 발명의 정신과 범위를 일탈하지 않는 이러한 모든 변경과 개량은, 첨부된 청구항에서 커버한다.

Claims (13)

  1. 고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하도록 구성된 밝기 정보 취득 수단(unit);
    상기 밝기 정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하도록 구성된 보정 배율 설정 수단(unit); 및
    상기 각 화소가 가지는 복수의 색 성분 정보를, 상기 보정 배율에 기초하여 보정함으로써, 상기 각 화소의 밝기를 보정하도록 구성된 계조 보정 수단(unit)
    을 포함하고,
    상기 보정 배율 설정 수단은, 상기 밝기 정보에 의해 나타내는 각 화소의 밝기를 상기 대상 화상의 각 화소의 밝기에 따라 보정하는 보정 수단(unit)을 포함하고, 상기 보정 수단에 의해 보정된 각 화소의 밝기에 반비례하는 보정 배율을 화소마다 설정하고,
    상기 보정 수단은, 상기 밝기 정보에 의해 나타내어지는 각 화소의 밝기와, 상기 대상 화상에서의 각 화소의 밝기를 소정의 합성 비율로 합성하여, 상기 밝기 정보에 의해 나타내어지는 각 화소의 밝기를 보정하는 합성 수단을 포함하고, 상기 보정 수단은, 상기 합성 수단에 의해 구해진 각 화소의 밝기를 보정 후의 밝기로서 취득하고,
    상기 보정 수단은, 상기 소정의 합성 비율을, 상기 대상 화상의 각 화소의 밝기에 비례하여 결정하는 합성 비율 결정 수단을 더 포함하는,
    화상 처리 장치.
  2. 제1항에 있어서,
    상기 밝기 정보 취득 수단은,
    상기 대상 화상으로부터 밝기 성분을 추출하도록 구성된 밝기 성분 추출 수단(unit); 및
    상기 밝기 성분으로 이루어지는 밝기 성분 화상을 평활화하도록 구성된 평활화 수단(unit)
    을 포함하는, 화상 처리 장치.
  3. 제2항에 있어서,
    상기 평활화 수단은, 상기 밝기 성분 화상에서의 에지의 유지 성능을 가지는 소정의 평활화 필터인, 화상 처리 장치.
  4. 제3항에 있어서,
    상기 소정의 평활화 필터는, 주목 화소의 화소값과 상기 주목 화소의 주변의 주변 화소의 화소값의 차분값이 소정값 이하로 되도록 각각의 상기 주변 화소의 화소값을 조정하여, 상기 주목 화소의 화소값과 상기 주변 화소의 화소값의 평균값을 주목 화소의 새로운 화소값으로 설정하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 보정 배율은 상기 화소의 밝기와 반비례하는, 화상 처리 장치.
  6. 고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하도록 구성된 밝기 정보 취득 수단(unit);
    상기 밝기 정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하도록 구성된 보정 배율 설정 수단(unit); 및
    상기 각 화소가 가지는 복수의 색 성분 정보를, 상기 보정 배율에 기초하여 보정함으로써, 상기 각 화소의 밝기를 보정하도록 구성된 계조 보정 수단(unit)
    을 포함하고,
    상기 보정 배율 설정 수단은, 상기 밝기 정보에 의해 나타내는 각 화소의 밝기를 상기 대상 화상의 각 화소의 밝기에 따라 보정하는 보정 수단(unit)을 포함하고, 상기 보정 수단에 의해 보정된 각 화소의 밝기에 반비례하는 보정 배율을 화소마다 설정하고,
    상기 보정 수단은,
    상기 밝기 정보에 의해 나타내어지는 각 화소의 밝기로부터, 상기 대상 화상의 각 화소의 밝기를 감산하도록 구성된 감산 수단(unit);
    상기 감산 수단에 의해 감산된 각 화소의 밝기에, 소정의 콘트라스트 조정값을 승산하도록 구성된 승산 수단(unit);
    상기 승산 수단에 의해 승산된 각 화소의 밝기에, 상기 대상 화상의 각 화소의 밝기를 가산하도록 구성된 가산 수단(unit);
    상기 대상 화상의 역광 정도를 취득하도록 구성된 역광 정도 취득 수단(unit); 및
    상기 역광 정도에 비례하는 조정값을 상기 소정의 콘트라스트 조정값으로서 취득하도록 구성된 조정값 취득 수단(unit)
    을 포함하고,
    상기 보정 수단은 상기 가산 수단에 의해 구해진 각 화소의 밝기를 보정 후의 밝기로서 취득하는, 화상 처리 장치.
  7. 프로그램이 기록된 컴퓨터로 판독 가능한 매체에 있어서,
    상기 프로그램은, 실행 시에, 상기 컴퓨터로 하여금,
    고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하는 밝기 정보 취득 단계,
    상기 밝기 정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하는 보정 배율 설정 단계, 및
    상기 각 화소가 가지는 복수의 색 성분 정보를, 상기 보정 배율에 기초하여 보정함으로써, 상기 각 화소의 밝기를 보정하는 계조 보정 단계
    를 포함하고,
    상기 보정 배율 설정 단계는, 상기 밝기 정보에 의해 나타내는 각 화소의 밝기를 상기 대상 화상의 각 화소의 밝기에 따라 보정하는 밝기 보정 단계를 포함하고, 상기 밝기 보정 단계에서 보정된 각 화소의 밝기에 반비례하는 보정 배율을 화소마다 설정하고,
    상기 밝기 보정 단계는, 상기 밝기 정보에 의해 나타내어지는 각 화소의 밝기와, 상기 대상 화상에서의 각 화소의 밝기를 소정의 합성 비율로 합성하여, 상기 밝기 정보에 의해 나타내어지는 각 화소의 밝기를 보정하는 합성 단계를 포함하고, 상기 합성 단계에서 구해진 각 화소의 밝기가 보정 후의 밝기로서 취득되고,
    상기 밝기 보정 단계는, 상기 소정의 합성 비율을, 상기 대상 화상의 각 화소의 밝기에 비례하여 결정하는 합성 비율 결정 단계를 더 포함하는,
    방법을 실행시키는, 컴퓨터로 판독 가능한 매체.
  8. 프로그램이 기록된 컴퓨터로 판독 가능한 매체에 있어서,
    상기 프로그램은, 실행 시에, 상기 컴퓨터로 하여금,
    고주파 성분이 제거된 대상 화상의 각 화소의 밝기를 나타내는 밝기 정보를 취득하도록 구성된 밝기 정보 취득 단계,
    상기 밝기 정보에 기초하여, 상기 화소의 밝기와 실질적으로 반비례하는 보정 배율을 상기 대상 화상의 각 화소에 설정하도록 구성된 보정 배율 설정 단계, 및
    상기 각 화소가 가지는 복수의 색 성분 정보를, 상기 보정 배율에 기초하여 보정함으로써, 상기 각 화소의 밝기를 보정하도록 구성된 계조 보정 단계
    를 포함하고,
    상기 보정 배율 설정 단계는, 상기 밝기 정보에 의해 나타내는 각 화소의 밝기를 상기 대상 화상의 각 화소의 밝기에 따라 보정하는 밝기 보정 단계를 포함하고, 상기 밝기 보정 단계에서 보정된 각 화소의 밝기에 반비례하는 보정 배율을 화소마다 설정하고,
    상기 밝기 보정 단계는,
    상기 밝기 정보에 의해 나타내어지는 각 화소의 밝기로부터, 상기 대상 화상의 각 화소의 밝기를 감산하는 감산 단계,
    상기 감산 단계에서 감산된 각 화소의 밝기에, 소정의 콘트라스트 조정값을 승산하는 승산 단계,
    상기 승산 단계에서 승산된 각 화소의 밝기에, 상기 대상 화상의 각 화소의 밝기를 가산하도록 구성된 가산 단계,
    상기 대상 화상의 역광 정도를 취득하는 역광 정도 취득 단계, 및
    상기 역광 정도에 비례하는 조정값을 상기 소정의 콘트라스트 조정값으로서 취득는 조정값 취득 단계
    를 포함하고, 상기 가산 단계에서의 각 화소의 밝기가 보정 후의 밝기로서 취득되는,
    방법을 실행시키는 컴퓨터로 판독 가능한 매체.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020100064797A 2009-07-08 2010-07-06 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 KR101099401B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009161305A JP4803284B2 (ja) 2009-07-08 2009-07-08 画像処理装置、及び画像処理プログラム
JPJP-P-2009-161305 2009-07-08

Publications (2)

Publication Number Publication Date
KR20110004791A KR20110004791A (ko) 2011-01-14
KR101099401B1 true KR101099401B1 (ko) 2011-12-27

Family

ID=42711783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100064797A KR101099401B1 (ko) 2009-07-08 2010-07-06 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US8208039B2 (ko)
EP (1) EP2282292B1 (ko)
JP (1) JP4803284B2 (ko)
KR (1) KR101099401B1 (ko)
CN (1) CN101951457B (ko)
TW (1) TWI416940B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5882644B2 (ja) * 2011-09-13 2016-03-09 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
WO2014027559A1 (ja) * 2012-08-16 2014-02-20 富士フイルム株式会社 画像ファイル生成装置及び表示装置
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP5745482B2 (ja) * 2012-09-20 2015-07-08 シャープ株式会社 画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラム
JP5975819B2 (ja) * 2012-09-25 2016-08-23 シャープ株式会社 画像処理装置
KR20150015229A (ko) * 2013-07-31 2015-02-10 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102051538B1 (ko) * 2013-09-13 2020-01-08 에스케이하이닉스 주식회사 신호 처리 장치 및 그의 동작 방법
JP6478367B2 (ja) * 2013-11-26 2019-03-06 住友電気工業株式会社 情報管理装置、ローカルネットワークシステム、情報管理方法および情報管理プログラム
JP6324090B2 (ja) * 2014-01-31 2018-05-16 株式会社 日立産業制御ソリューションズ 撮像装置
WO2015198554A1 (ja) * 2014-06-23 2015-12-30 パナソニックIpマネジメント株式会社 変換方法および変換装置
WO2018062062A1 (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 再生方法、生成方法、再生装置、生成装置、および記録媒体
CN106454014B (zh) * 2016-11-04 2019-03-08 安徽超远信息技术有限公司 一种提高逆光场景车辆抓拍图像质量的方法及装置
JP2019041392A (ja) * 2018-10-01 2019-03-14 ルネサスエレクトロニクス株式会社 撮像素子及びレンズモジュールの制御方法
EP3709628B1 (en) * 2019-03-14 2020-12-23 Axis AB Control of an illuminator
CN110120021B (zh) 2019-05-05 2021-04-09 腾讯科技(深圳)有限公司 图像亮度的调整方法、装置、存储介质及电子装置
JP7248042B2 (ja) * 2021-01-27 2023-03-29 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN113376439B (zh) * 2021-07-08 2022-04-29 广西电网有限责任公司电力科学研究院 一种智能化防雷接地电阻在线监测***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001275015A (ja) * 2000-03-23 2001-10-05 Sony Corp 画像処理回路及び画像処理方法
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2003116049A (ja) * 2001-10-04 2003-04-18 Sony Corp 撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3505115B2 (ja) * 1999-04-28 2004-03-08 富士通株式会社 画像加工装置及びプログラム記録媒体
US6097836A (en) * 1996-07-22 2000-08-01 Nec Corporation Image processing system and its smoothing method for correcting color fog and backlight of a digital image
KR100297714B1 (ko) * 1998-09-01 2001-08-07 윤종용 넓은동적범위를갖는영상장치및이의영상신호처리방법
US6724943B2 (en) * 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
US7409083B2 (en) * 2003-07-18 2008-08-05 Canon Kabushiki Kaisha Image processing method and apparatus
JP4285290B2 (ja) * 2004-03-22 2009-06-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、およびプログラム
JP4082393B2 (ja) * 2004-07-09 2008-04-30 セイコーエプソン株式会社 画像の特徴に応じた階調特性制御
JP4466261B2 (ja) * 2004-07-30 2010-05-26 カシオ計算機株式会社 撮像装置、明るさ補正方法及びプログラム
US7599578B2 (en) * 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
JP4127262B2 (ja) * 2004-11-29 2008-07-30 ソニー株式会社 画像処理装置及び画像処理方法
TWI273507B (en) * 2005-03-15 2007-02-11 Sunplus Technology Co Ltd Method and apparatus for image processing
TWI296394B (en) * 2005-03-15 2008-05-01 Sunplus Technology Co Ltd Method and apparatus of image dynamic response re-mapping and digital camera using the same
JP4830652B2 (ja) * 2006-06-12 2011-12-07 日産自動車株式会社 画像処理装置及び画像処理方法
US8154628B2 (en) * 2006-09-14 2012-04-10 Mitsubishi Electric Corporation Image processing apparatus and imaging apparatus and method
JP4111980B2 (ja) * 2006-09-14 2008-07-02 三菱電機株式会社 画像処理装置及び画像処理方法
JP5103984B2 (ja) * 2007-03-29 2012-12-19 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
JP4406443B2 (ja) * 2007-05-09 2010-01-27 株式会社東芝 画像補正装置
JP5078446B2 (ja) * 2007-06-05 2012-11-21 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP5076716B2 (ja) * 2007-08-06 2012-11-21 株式会社ニコン 撮像装置
JP5157753B2 (ja) * 2008-08-27 2013-03-06 カシオ計算機株式会社 画像処理装置、画像処理方法、画像処理プログラム
TW201011691A (en) * 2008-09-05 2010-03-16 Primax Electronics Ltd Method for adjusting brightness of images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2001275015A (ja) * 2000-03-23 2001-10-05 Sony Corp 画像処理回路及び画像処理方法
JP2003116049A (ja) * 2001-10-04 2003-04-18 Sony Corp 撮像装置

Also Published As

Publication number Publication date
EP2282292A1 (en) 2011-02-09
EP2282292B1 (en) 2016-02-10
JP2011018141A (ja) 2011-01-27
KR20110004791A (ko) 2011-01-14
CN101951457B (zh) 2013-05-08
TW201108719A (en) 2011-03-01
JP4803284B2 (ja) 2011-10-26
US20110007188A1 (en) 2011-01-13
US8208039B2 (en) 2012-06-26
CN101951457A (zh) 2011-01-19
TWI416940B (zh) 2013-11-21

Similar Documents

Publication Publication Date Title
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
JP5157753B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
JP6019964B2 (ja) 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
US20060215908A1 (en) Image pickup apparatus and image processing method
JP4900419B2 (ja) 画像処理装置、及び画像処理プログラム
JP5701640B2 (ja) 画像処理装置
WO2016111020A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
KR20140013891A (ko) 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치
US8345121B2 (en) Image processing apparatus, method, and program
JP5589660B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2006333113A (ja) 撮像装置
JP2008172566A (ja) 撮像装置及び撮像方法
JP2009081526A (ja) 撮像装置
JP4954658B2 (ja) 画像処理装置
JP4496931B2 (ja) 映像信号処理装置及び方法
JP5088272B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2010193112A (ja) 画像処理装置およびディジタルスチルカメラ
JP2006148791A (ja) 撮像装置
JP2010055187A (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2010187050A (ja) 画像処理装置、撮像装置並びに画像処理方法
JP2011044849A (ja) 画像処理装置、電子カメラ、および画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151211

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 9