KR20100036995A - 촬영시의 광원의 영향을 보정하는 화상 보정 장치, 및 그 화상 보정 프로그램 - Google Patents

촬영시의 광원의 영향을 보정하는 화상 보정 장치, 및 그 화상 보정 프로그램 Download PDF

Info

Publication number
KR20100036995A
KR20100036995A KR1020090092372A KR20090092372A KR20100036995A KR 20100036995 A KR20100036995 A KR 20100036995A KR 1020090092372 A KR1020090092372 A KR 1020090092372A KR 20090092372 A KR20090092372 A KR 20090092372A KR 20100036995 A KR20100036995 A KR 20100036995A
Authority
KR
South Korea
Prior art keywords
image
light source
correction
spatial frequency
data
Prior art date
Application number
KR1020090092372A
Other languages
English (en)
Other versions
KR101029742B1 (ko
Inventor
다카시 야하타
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20100036995A publication Critical patent/KR20100036995A/ko
Application granted granted Critical
Publication of KR101029742B1 publication Critical patent/KR101029742B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은 화상 보정 장치, 및 그 화상 보정 프로그램에 관한 것으로서, 휘도 데이터와 색차 데이터로 분리하는 처리와, 분리된 색차 데이터를 공간 주파수에 있어서의 진폭값의 집합으로 변환하는 처리와, 상기 화상을 촬상에 의해 취득한 때의 광원 상황을 취득하는 처리와, 상기 광원 상황 정보에 기초하여, 변환된 진폭값의 집합으로부터 소정의 진폭값에 대하여, 그 값을 감소시키는 보정을 행하는 처리와, 보정된 후의 공간 주파수에 있어서의 진폭값의 집합을 색차 데이터로 역변환하는 처리와, 상기 휘도 데이터와 역변환된 색차 데이터를 사용하여, 보정 후의 촬영 화상을 생성하는 처리를 실행함으로써, 광원 상황이 촬영 화상에게 주는 화상 상의 위화감을 경감시킬 수 있는 화상 보정 장치 등을 제공한다.

Description

촬영시의 광원의 영향을 보정하는 화상 보정 장치, 및 그 화상 보정 프로그램{IMAGE CORRECTION APPARATUS, AND IMAGE CORRECTION PROGRAM}
본 발명은, 촬상 장치에 의해 촬상된 촬영 화상에 대하여 보정을 행하는 화상 보정 장치, 및 그 화상 보정 방법에 관한 것이다.
종래부터, 일본 특허출원 공개번호 2008-052428호 공보에 기재된 기술과 같이, 태양광이나 조명광 등 복수의 광원이 존재하는 촬영 환경 하에서 촬영된 촬영 화상을 위한 화상 보정 장치가 알려져 있다. 이 화상 보정 장치는, 촬영 화상을 복수의 영역으로 분할하고, 영역마다 상이한 화상 보정 처리를 실시하고 있다. 이로써, 이 화상 보정 장치는, 촬영 시에 있어서 복수의 광원이 존재함으로써 촬영 화상에 미치는 영향을 경감하여, 바람직한 보정 화상을 얻을 수 있도록 하고 있다.
그러나, 전술한 화상 보정 장치는, 촬영 화상을 영역마다 보정하는 처리를 행하고 있으므로, 보정 후의 촬영 화상에 있어서의 각각의 보정 영역의 경계선에 있는 화상 상에서의 위화감이 생기는 문제가 있었다.
따라서, 본 발명은, 전술한 실정을 감안하여 제안된 것으로서, 다양한 광원 상황에서 촬영된 촬영 화상에 대하여 화상 보정 처리를 행함으로써, 광원 상황이 촬영 화상에 주는 화상 상의 위화감을 경감시킬 수 있는 화상 보정 장치 및 화상 보정 방법을 제공하는 것을 목적으로 한다.
본 발명의 일태양에서는, 화상을 취득하는 화상 취득 수단과; 상기 화상 취득 수단에 의해 취득된 화상을, 휘도 데이터와 색차 데이터로 분리하는 분리 수단과; 상기 분리 수단에 의해 분리된 색차 데이터를 공간 주파수에 있어서의 진폭값의 집합으로 변환하는 변환 수단과; 상기 화상을 촬상에 의해 취득할 때의 광원 상황을 취득하는 광원 상황 취득 수단과, 상기 광원 상황 취득 수단에 의해 취득된 광원 상황 정보에 기초하여, 상기 변환 수단에 의해 변환된 진폭값의 집합으로부터 소정의 진폭값에 대하여, 그 값을 감소시키는 보정을 행하는 보정 수단과; 상기 보정 수단에 의해 보정된 후의 공간 주파수에 있어서의 진폭값의 집합을, 색차 데이터로 역변환하는 역변환 수단과; 상기 휘도 데이터와 상기 역변환 수단에 의해 역변환된 색차 데이터를 사용하여, 보정 후의 촬영 화상을 생성하는 보정 화상 생성 수단을 구비한 것을 특징으로 하는 화상 보정 장치를 제공한다.
또한, 다른 태양에서는, 화상 보정 방법으로서, 취득된 화상을, 휘도 데이터와 색차 데이터로 분리하는 분리 단계와; 상기 분리 단계에서 분리된 색차 데이터를, 공간 주파수에 있어서의 진폭값의 집합으로 변환하는 변환 단계와; 상기 화상을 촬상에 의해 취득할 때의 광원 상황을 취득하는 광원 상황 취득 단계와; 상기 광원 상황 취득 단계에서 취득된 광원 상황 정보에 기초하여, 상기 변환 단계에서 변환된 진폭값의 집합으로부터 소정의 진폭값에 대하여, 그 값을 감소시키는 보정을 행하는 보정 단계와; 상기 보정 단계에서 보정된 후의 공간 주파수에 있어서의 진폭값의 집합을, 색차 데이터로 역변환하는 역변환 단계와; 상기 휘도 데이터와 상기 역변환 단계에서 역변환된 색차 데이터를 사용하여, 보정 후의 촬영 화상을 생성하는 보정 화상 생성 단계로 이루어지는 것을 특징으로 하는 화상 보정 방법을 제공한다.
이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.
먼저, 도 1을 사용하여, 본 발명의 실시예로서 나타내는 촬상 장치(1)의 기능적인 구성에 대하여 설명한다. 이 촬상 장치(1)는, 피사체를 촬상하여 얻은 촬영 화상을 보정하는 화상 보정 기능을 구비한다. 따라서, 이하에 설명하는 화상 보정 장치로서의 기능은, 반드시 촬상 장치(1)에 탑재되어 있는 실시예로 한정되는 것은 아니며, 예를 들면 퍼스널 컴퓨터에 화상 보정 장치로서의 기능을 실현시킬 수도 있다.
도 1에 나타낸 바와 같이, 촬상 장치(1)는, 촬상 광학계(11), 촬상부(12), 촬상 처리부(13), 메모리 카드 처리부(14), 제어부(15), 키 입력부(16), 프로그램 메모리(17), 데이터 메모리(18), 발광량 산출부(19), 화상 압축부(20), 메인 표시 처리부(21), 메인 표시부(22), 발광 제어부(23), 내장 발광 구동부(24), 및 내장 발광부(25)를 구비한다. 이와 같은 촬상 장치(1)에 있어서, 화상 처리 장치 및 화상 보정 장치로서 기능하는 부위는, 촬상 처리부(13) 및 제어부(15)가 있다.
촬상 광학계(11)는, 주로, 모터, 렌즈 유닛 등으로 이루어진다. 이 렌즈 유닛은, 외광을 입사하기 위한 복수의 렌즈군으로 이루어진다. 렌즈 유닛은, 소정 범위의 촬상 영역의 외광을 CMOS 촬상 소자 등의 촬상 소자에 결상시키기 위한 광학계이다. 렌즈 유닛은, 도시하지 않은 셔터 유닛 및 조리개 유닛을 구비하고 있다. 이들 셔터 유닛 및 조리개 유닛은, 모터의 구동에 의해 초점 위치나 조리개 위치로 이동한다. 이 렌즈 유닛은, 제어부(15)의 제어에 따라 줌 아웃 및 줌 인 가능하도록 실행하고, 촬영 범위를 변화시킬 수 있는 렌즈도 구비하고 있다.
촬상부(12)는, CMOS(Complementary Metal 0xide Semiconductor) 촬상 소자 등의 촬상 소자를 포함한다. CMOS 촬상 소자는, 예를 들면 RGB의 원색계의 컬러 필터를 형성하고 있다. CMOS 촬상 소자는, 도시하지 않은 타이밍 발생기 및 수직 드라이버에 의해 주사 구동된다. CM0S 촬상 소자는, 일정 주기마다 결상된 광상에 대응하는 광전 변환 출력을 1화면분 출력한다.
그리고 촬상부(12)는, 제어부(15)에 의한 제어에 따라서 동작하는 컨트롤러와, A/D 변환 처리 회로 등을 포함한다. 이 촬상부(12)에 있어서의 컨트롤러와, 후술하는 제어부(15)의 제어에 따라, 촬상 광학계(11)에 있어서의 렌즈 유닛의 동작을 제어한다. A/D 변환 처리 회로는, 샘플 홀드 회로 및 A/D 변환기를 포함한다. A/D변환 처리 회로는, CMOS 촬상 소자로부터 출력된 광전 변환 출력에 원하는 처리를 실시한다. 구체적으로는, CM0S 촬상 소자로부터의 광전 변환 출력에 대해서, 아날로그 값의 신호 상태에서 RGB의 각각의 원색 성분마다 적절하게 게인 조정한다. 그 후, 샘플 홀드 회로에 의해 샘플 홀드하고, A/D 변환기에 의해 디지털 촬영 화상 데이터로 변환하고, 촬상 처리부(13)에 출력한다. 이와 같은 촬상부(12)는 촬영 화상을 취득하는 촬영 화상 취득 수단으로서 기능한다.
촬상 처리부(13)는, 촬상부(12)로부터 공급된 촬영 화상 데이터에 대하여 소정의 화상 처리를 행한다. 이 촬상 처리부(13)는, RGB 데이터로서 공급된 촬영 화상 데이터를, 휘도 데이터(Y)와 색차 데이터(Cr, Cb)로 분리한다. 이 때, 촬상 처리부(13)는, RGB 데이터에 포함되는 R 데이터, G 데이터, B 데이터를 소정의 비율로 가산 및 감산하여 휘도 데이터(Y), 색차 데이터(Cr), 색차 데이터(Cb)를 생성한다. 그리고, 이 휘도 데이터(Y), 색차 데이터(Cr), 색차 데이터(Cb)는, 촬상 처리부(13)에 의해 데이터 메모리(18)에 출력되어, 데이터 메모리(18)에 저장된다. 그리고, 촬상 처리부(13)는, 전술한 처리에 더하여, 필요에 따라 화소 보간 처리, 보정 처리 및 매트릭스 연산을 행할 수도 있다.
메모리 카드 처리부(14)는, 촬상 장치(1)에 구비된 메모리 카드의 기록 재생 기구를 포함한다. 이 메모리 카드 처리부(14)는, 제어부(15)의 제어에 따라서, 촬상 장치(1)에 의해 촬상된 촬영 화상 데이터, 및 후술하는 보정이 행해진 촬영 화 상 데이터를 메모리 카드에 기록한다. 또한, 메모리 카드 처리부(14)는, 제어부(15)의 제어에 따라, 메모리 카드에 기록된 촬영 화상 데이터를 재생하여 출력한다.
제어부(15)는, 촬상 장치(1)를 통괄적으로 제어한다. 제어부(15)는, 프로그램 메모리(17)에 기억된 프로그램에 따라 동작함으로써, 촬상 장치(1)에 필요한 각종 제어를 행한다.
특히, 제어부(15)는, 프로그램 메모리(17)에 기억된 화상 보정 프로그램에 따른 처리를 행한다. 이 화상 보정 프로그램에 따라 처리를 실행함으로써, 제어부(15)는, 다양한 광원 상황에서 촬영된 촬영 화상 데이터에 대해서 화상 보정 처리를 행한다. 광원 상황은, 촬영 화상을 촬상한 시각, 사용자의 선택 조작, 플래시의 유무, 또는 플래시의 강도 중 적어도 하나에 의해 결정된다. 이로써, 제어부(15)는, 광원 상황이 촬영 화상 데이터에 주는 화상 상의 위화감을 경감하는 보정 처리(이후로는 필터 처리라고도 함)를 행한다. 이 광원 상황이 주는 화상 상의 위화감은, 예를 들면, 태양광과 플래시, 실내 조명과 태양광, 실내 조명과 플래시 등과 같이 복수의 광원이 혼재함으로써 나타난다. 이 위화감은, 촬영 화상 상에 있어서 저공간 주파수 성분을 가지는 색변화(불균일)로서 나타난다.
구체적으로는, 화상 보정 프로그램에 따라 제어부(15)가 실행하는 처리는, 촬상 광학계(11) 및 촬상부(12)에 의해 촬영 화상 데이터를 촬상했을 때의 광원 상황을 나타내는 광원 상황 정보를 취득하는 광원 상황 정보 취득 처리, 촬상 처리부(13)에 의해 데이터 메모리(18)에 저장된 색차 데이터(Cr, Cb)를 사용하여 주파 수 해석 데이터를 생성하는 2차원 푸리에 변환 처리, 2차원 푸리에 변환 처리에 의해 얻어진 주파수 해석 데이터를 보정하는 화상 보정 처리, 상기 화상 보정 처리에 의해 보정된 주파수 해석 데이터에 대하여 2차원 푸리에 역변환 처리를 행하여 보정 후의 색차 데이터(Cr, Cb)를 생성하는 처리가 포함된다. 여기서, 화상 보정 처리는, 광원 상황 정보에 기초하여 주파수 해석 데이터를 보정하여, 광원 상황에 의해 촬영 화상 상에 발생하는 색변화(불균일)를 경감시킨다.
이 주파수 해석 데이터의 보정 처리는, 상기 주파수 해석 데이터에 포함되는 직류 성분 및 이산 성분의 공간 주파수 정보의 일부를 저감시킨다. 제어부(15)는, 2차원 푸리에 변환 처리에 의해 얻어진 공간 주파수마다의 진폭값을 나타내는 공간 주파수 정보 중에서, 광원 상황에 기초하여 촬영 화상 데이터에 나타나는 색변화(불균일)에 상당하는 저공간 주파수 성분에 속하는 공간 주파수 정보를, 주파수 해석 데이터로부터 저감시킨다. 구체적으로는, 복수의 광원이 존재하는 경우라도 화상 내에 나타나는 색변화에 상당하는 저공간 주파수 성분의 공간 주파수 정보를 주파수 해석 데이터로부터 저감시킨다.
예를 들면, 도 2에 나타낸 바와 같이, 도 2의 (A)와 같은 촬영 화상에 대해서 2차원 푸리에 변환 처리를 행하면, 상기 촬영 화상을 직류 성분 및 공간 주파수 성분(U, V)마다 분리한 n차(n은 임의의 수)의 공간 주파수 정보로 이루어지는 주파수 해석 데이터를 생성할 수 있다. 그리고, 이 주파수 해석 데이터 중에서, 저공간 주파수 성분으로부터 3차[(u, v) = (3, 3)]까지의 공간 주파수 정보를 합성한 경우에는, 도 2의 (B)와 같은 저공간 주파수 성분으로 이루어지는 촬영 화상이 된 다. 그리고, 저공간 주파수 성분으로부터 6차[(u, v) = (6, 6)]까지의 공간 주파수 정보를 합성한 경우에는, 도 2의 (C)와 같은 저공간 주파수 성분으로 이루어지는 촬영 화상이 되고, 저공간 주파수 성분으로부터 10차[(u, v) = (10, 1O)]까지의 공간 주파수 정보를 합성한 경우에는, 도 2의 (D)와 같은 저공간 주파수 성분으로 이루어지는 촬영 화상이 된다. 또한, (u, v)는 공간 주파수 성분을 나타내고, u는 x 방향의 공간 주파수 성분이며, v는 y 방향의 공간 주파수 성분이다. 그리고, 이와 같은 주파수 해석 데이터의 보정 처리의 상세한 것에 대해서는 후술하기로 한다.
키 입력부(16)는, 촬상 장치(1)의 사용자에 의해 조작된다. 이 키 입력부(16)는, 셔터 버튼(16a), 메뉴 버튼(16b), 십자 키 등의 이동 버튼(16c), 결정 버튼(16d) 등을 포함하는 키 군이다. 이 키 입력부(16)는 제어부(15)에 접속되어 있고, 각 버튼의 조작 내용을 나타내는 조작 명령 신호가 제어부(15)에 의해 판독된다.
화상 압축부(20)는, 제어부(15)의 제어에 따라, 데이터 메모리(18)에 저장된 촬영 화상 데이터에 대하여 JPEG(Joint Photograph coding Experts Group) 규격에 따른 ADCT(Adaptive Discrete Cosine Transform: 적응 이산 코사인 변환) 처리를 행하여, 데이터를 압축한다.
메인 표시 처리부(21)는, 촬영 화상 데이터에 포함되는 휘도 데이터(Y) 및 색차 데이터(Cr, Cb)를 정기적으로 판독하고, 이들 데이터를 원 데이터로 하여 비디오 신호를 발생하여 메인 표시부(22)에 출력한다.
메인 표시부(22)는, 도시하지 않지만, 촬상 장치(1)의 상자체의 배면 측에 설치되어 있다. 메인 표시부(22)는, 촬영 모드 시에는 모니터 표시부(전자 파인더)로서 기능한다. 이 촬영 모드 시에 있어서, 메인 표시부(22)는, 메인 표시 처리부(21)로부터의 비디오 신호에 기초한 표시를 행한다. 이로써, 촬상 장치(1)는, 그 시점에서 메인 표시 처리부(21)로부터 판독하고 있는 화상을 실시간으로 표시한다.
이와 같이, 메인 표시부(22)에, 그 시점에서의 촬영 화상이 모니터 화상으로서 실시간으로 표시되고 있는, 이른바 스루 화상의 표시 상태에서 촬상 장치(1)는 촬상 가능한 상태로 된다. 그리고, 촬영을 행하고자 하는 타이밍에서, 키 입력부(16) 중 하나인 셔터 버튼(16a)이 조작되면, 제어부(15) 대하여 트리거 신호가 발생된다. 제어부(15)는, 이 트리거 신호에 따라, 그 시점에서 촬상부(12)로부터 받아들이고 있는 1화면분의 RGB 데이터를, 휘도 데이터(Y) 및 색차 데이터(Cb, Cr)에 의해 변환(분리)시키고, 데이터 메모리(18)에 저장시킨다.
발광 제어부(23)는, 제어부(15)의 제어에 따라, 내장 발광 구동부(24)에 의해 내장 발광부(25)의 발광 동작을 행하게 한다.
내장 발광 구동부(24)는, 정지 화상 촬영 시에 도시하지 않은 스트로보용 대용량 컨덴서를 충전한 후, 발광 제어부(23)를 통한 제어부(15)로부터의 제어에 따라 내장 발광부(25)를 섬광 구동시킨다. 또한, 동화상의 촬영 시에는, 1회째의 셔터 키가 조작된 시점에서, 전술한 정지 화상의 촬영 화상 데이터를 화상 압축부(20)에서 데이터 압축하여 데이터 메모리(18)에 기록을 개시한다. 이후, 소정의 프레임 레이트, 예를 들면 30 (프레임/초)로 이 처리를 연속하여 실행하고, 2회째에 셔터 키가 조작되었는가, 또한 소정의 제한 시간, 예를 들면 30초가 경과한 시점에서 이들 일련의 정지 화상 데이터 파일을 일괄적으로 모션 JPEG의 데이터 파일(AVI 파일)로서 다시 설정한다.
또한, 발광 제어부(23)는, 촬상 장치(1)에 대하여 외장 발광부(26)가 착탈 되었는지를 검지하는 접속 검지부(23a)를 구비하고 있다. 접속 검지부(23a)는, 외장 발광부(26)가 접속되었는지를 나타내는 신호를 발광량 산출부(19)에 출력한다.
발광량 산출부(19)는, 발광 제어부(23)의 제어에 따라 발광(플래시) 촬영 시의 발광량을 산출한다. 여기서, 발광량 산출부(19)는, 발광 제어부(23)의 판단에 의해 자동적으로 내장 발광부(25)를 발광시키는 경우에는, 발광 제어부(23)로부터의 동작 신호에 기초하여 발광량을 산출한다. 또한, 발광량 산출부(19)는, 발광 제어부(23)에 외장 발광부(26)가 접속되어 있는 것을 나타내는 신호가, 접속 검지부(23a)로부터 공급되고 있는 경우에는, 내장 발광부(25)로부터의 발광량과 외장 발광부(26)로부터의 발광량을 합성한 발광량을 산출한다. 그리고, 미리 키 입력부(16)가 조작됨으로써 발광량이 조정되어 있는 경우에는, 설정된 발광량에 기초하여 내장 발광부(25)의 발광량을 산출한다. 이 산출된 발광량은, 제어부(15)에 의해 판독된다.
이와 같이 구성된 촬상 장치(1)는, 촬상 장치(1)를 사용자가 잡고 피사체를 촬상하는 조작이 행해질 때, 도 3 내지 도 7에 나타내는 처리를 행함으로써, 촬영 화상 데이터의 보정을 실행한다.
도 3에 나타낸 흐름도는, 본 발명을 적용한 촬상 장치(1)의 개략적인 처리를 나타내고 있다. 촬상 장치(1)는, 먼저 단계 S1에 있어서, 촬상 광학계(11) 및 촬상부(12)에 의해, RGB 데이터를 포함하는 촬영 화상 데이터를 취득한다.
다음 단계 S2에 있어서, 촬상 처리부(13)는, 단계 S1에서 취득한 RGB 데이터를 포함하는 촬영 화상 데이터를, 휘도 데이터(Y) 및 색차 데이터(Cr, Cb)로 변환(분리)한다. 그리고, 이 휘도 데이터(Y) 및 색차 데이터(Cr, Cb)는, 데이터 메모리(18)에 저장된다.
다음 단계 S3∼단계 S8에 있어서, 제어부(15)는, 프로그램 메모리(17)로부터 화상 보정 프로그램을 판독하고, 화상 보정 처리를 실행한다. 먼저 단계 S3에 있어서, 제어부(15)는, 단계 S2에서 데이터 메모리(18)에 저장된 색차 데이터(Cr) 및 색차 데이터(Cb) 각각에 대하여 2차원 푸리에 순서 변환 처리를 행한다. 이로써, 제어부(15)는, 색차 데이터를, 이산된 공간 주파수 정보로 이루어지는 주파수 해석 데이터로 변환한다.
제어부(15)는, 색차 데이터(Cr)에 대해서 2차원 푸리에 순변환 처리를 행함으로써, 하기 식 1에서 나타내는 CrF(u, v)로 나타내는 주파수 해석 데이터를 만든다. 마찬가지로, 제어부(15)는, 색차 데이터(Cb)에 대해서 2차원 푸리에 순변환 처리를 행함으로써, 하기 식 1에서 나타내는 CbF(u, v)로 나타내는 주파수 해석 데이터를 만든다.
[식 1]
Figure 112009059867851-PAT00001
전술한 식에서 N은, 촬영 화상의 세로 방향 및 가로 방향에 있어서의 화소수를 나타낸다. 그리고, 통상의 촬상 장치(1)에서는 세로 방향 및 가로 방향에 있어서의 화소수가 상이한 경우가 많지만, 편의상 동일한 화소수 N으로서 설명한다. 또한, 전술한 식에서의 (x, y)는 촬영 화상에 있어서의 화소 좌표이며, (u, v)는 공간 주파수 성분을 나타내고, u가 x 방향의 공간 주파수 성분이며, v가 y 방향의 공간 주파수 성분이다. 그리고, Crf(x, y)는 좌표(x, y)에 있어서의 Cr 성분이며, Cbf(x, y)는 좌표(x, y)에 있어서의 Cb 성분이며, CrF(u, v)는 공간 주파수 성분(u, v)에 있어서의 Cr 성분이며, CbF(u, v)는 공간 주파수 성분(u, v)에 있어서의 Cb 성분이다.
다음 단계 S4에 있어서, 제어부(15)는, 단계 S3에서 2차원 푸리에 변환 처리가 행해져서 생성된 주파수 해석 데이터에 포함되는 직류 성분 정보 및 저주파수 정보를 취득한다. 여기서, 제어부(15)는, 후술하지만, 현재 촬상 장치(1)가 촬상하는 피사체 부근에 있어서의 광원 상황에 기초하여 촬영 화상에 나타나는 색변화(불균일)에 상당하는 공간 주파수 정보를, 주파수 해석 데이터로부터 저감시킨다.
이는, 촬영 화상 내에서의 광원 상황이 상이하면, 상기 광원 상황에 따른 색조 변화(불균일)가 화상 내에 나타난다. 이 화상 내에서의 색조 변화는, 사용자에 게 화상 내의 노이즈로서 인식될 우려가 있다. 그러므로, 제어부(15)는, 이 색조 변화를 촬영 화상으로부터 제거할 수 있도록, 직류 성분 및 저공간 주파수 성분의 공간 주파수 정보를 취득한다. 특히, 촬상 장치(1)는, 복수의 광원의 존재에 의한 색변화를 제거할 경우에는, 전술한 색변화에 상당하는 저공간 주파수 성분의 공간 주파수 정보를 취득하게 된다.
다음 단계 S5에 있어서, 제어부(15)는, 단계 S4에서 취득한 저공간 주파수 성분의 진폭이 임계값보다 작은지의 여부를 판정한다. 저공간 주파수 성분의 진폭이 임계값보다 작은 경우에는 단계 S6으로 처리를 진행시키고, 그렇지 않은 경우에는 처리를 종료한다.
단계 S6에 있어서, 제어부(15)는, 원래 촬영 화상 데이터로부터 직류 성분 및 저공간 주파수 성분을 감산한다. 구체적으로는, 전술한 식에 있어서, 직류 성분[(u, v) = (O, O)] 및 소정의 공간 주파수 성분 (u, v)에 있어서의 Cr 성분인 CrF(u, v)를 삭감 또는 진폭 감산, 직류 성분[(u, v) = (O, O)] 및 소정의 공간 주파수 성분 (u, v)에 있어서의 Cb 성분인 CbF(u, v)를 삭감 또는 진폭 감산을 행한다.
여기서, 제어부(15)는, 광원 상황에 기초하여 촬영 화상에 나타나는 색변화에 상당하는 공간 주파수 정보는, 미리 설정된 주파수 해석 데이터 중에서 저공간 주파수에 속하는 공간 주파수 정보인 경우, 전술한 미리 설정된 공간 주파수 정보를 주파수 해석 데이터로부터 삭제한다. 즉, 미리 설정된 공간 주파수 성분을 모두 제거한다. 보다 구체적으로는, 도 2의 (B)에 나타낸 바와 같이, 광원 상황에 기초한 색조 변화가 있는 경우에는, 도 2의 (B)에 나타낸 저공간 주파수 성분을 촬영 화상 데이터로부터 제거하는 처리를 행한다.
또한, 제어부(15)는, 단계 S6에서, 미리 설정된 공간 주파수 성분의 진폭값이 소정의 임계값보다 작다고 판정한 경우에는, 전술한 미리 설정된 공간 주파수 정보의 진폭을 주파수 해석 데이터로부터 감산할 수도 있다. 이 진폭의 감산 정도는, 예를 들면 임계값 이하가 되도록 할 수도 있고, 미리 설정된 진폭분을 감소시킬 수도 있다.
임계값은, 촬영 화상을 촬상할 때의 광원 상황에 따라 설정되어 있는 것이 바람직하다. 이 광원 상황이, 촬영 화상 내에 나타나는 색변화에 영향을 미치기 때문이다. 촬상 장치(1)의 설계자는, 촬영 화상 내의 광원 상황에 기인하는 색조 변화가, 어느 공간 주파수 성분에, 어느 정도의 진폭으로 나타날지를 구할 수 있다. 그리고, 단계 S4에서 취득된 저공간 주파수 성분에 있어서의 진폭과 비교되는 임계값은, 사전에 설계 단계에서 구해진 값이나 촬영하기 전에 설정된 값으로 설정된다. 광원 상황으로서는, 촬영 화상을 촬상한 시각, 사용자의 선택 조작, 플래시의 유무 또는 플래시의 강도를 예로 들 수 있다. 따라서, 임계값은, 이들 광원 상황에 의해 생기는 색변화를 경감하는 값이 설정된다.
다음 단계 S7에 있어서, 제어부(15)는, 단계 S6에서 보정된 주파수 해석 데이터를 사용하여 2차원 푸리에 역변환 처리를 행한다. 즉, 제어부(15)는, 단계 S3에 있어서의 2차원 푸리에 순변환 처리와는 역의 처리 내용이 되는 2차원 푸리에 역변환 처리를 행한다.
제어부(15)는, Cr 성분의 주파수 해석 데이터에 대하여 2차원 푸리에 역변환 처리를 행함으로써, 하기 식 2에서 나타내는 HCrf(x, y)로 나타내는 좌표(x, y)에 있어서의 색차 데이터(Cr)를 만든다. 마찬가지로, 제어부(15)는, Cb 성분의 주파수 해석 데이터에 대하여 2차원 푸리에 역변환 처리를 행함으로써, 하기 식 2에서 나타내는 HCbf(x, y)로 나타내는 좌표(x, y)에 있어서의 색차 데이터(Cb)를 만든다.
[식 2]
Figure 112009059867851-PAT00002
전술한 식에 있어서, HCrf(x, y)는 좌표(x, y)에 있어서의 Cr 성분이며, HCbf(x, y)는 좌표(x, y)에 있어서의 Cb 성분이며, HCrF(u, v)는 단계 S6에서 보정된 공간 주파수 성분(u, v)에 있어서의 Cr 성분이며, HCbF(u, v)는 단계 S6에서 보정된 공간 주파수 성분(u, v)에 있어서의 Cb 성분이다.
이와 같이 제어부(15)는, 촬영 화상의 각각의 좌표(x, y)에 대하여, 보정 후의 색차 데이터 HCrf(x, y) 및 HCbf(x, y)를 얻을 수 있다. 이 보정 후의 색차 데이터 HCrf(x, y) 및 HCbf(x, y)는, 전술한 주파수 해석 데이터 중 직류 성분 및 소정의 공간 주파수 성분을 제거한 값으로 되어 있다.
다음 단계 S8에 있어서, 제어부(15)는, 단계 S7에서 취득한 보정 후의 색차 데이터(Cr, Cb)와, 단계 S2에서 변환되어 취득한 휘도 데이터(Y)를 사용하여, 보정 후의 촬영 화상을 생성한다.
이와 같이, 촬상 장치(1)는, 촬영 화상에 포함되는 공간 주파수 성분 중, 촬영 화상을 촬상한 때에 있어서의 광원 상황에 의해 촬영 화상 내에 나타나는 색변화를 나타내는 공간 주파수 성분을 제외한 보정 처리를 행한다. 이로써, 촬상 장치(1)는, 보정 후의 촬영 화상으로부터, 촬영 화상을 촬상한 때에 있어서의 광원 상황에 따라 촬영 화상 내에 나타나는 색변화를 제거할 수 있다.
다음으로, 전술한 바와 같이 구성된 촬상 장치(1)의 구체적인 처리로서, 도 4 내지 도 7의 흐름도, 도 8 내지 도 12의 임계값 테이블을 참조하면서 설명한다.
촬상 장치(1)는, 먼저, 셔터 버튼(16a)이 완전 누름 상태까지 조작됨에 따라 촬영 동작을 개시하여, 단계 S11 이후의 처리를 개시한다.
단계 S11에 있어서, 촬상 광학계(11) 및 촬상부(12)는, 소정의 촬상 범위로부터 수광된 광에 기초하여 촬영 화상 데이터를 취득한다.
다음 단계 S12에 있어서, 촬상 처리부(13)는, 단계 S11에서 취득한 RGB 데이터로 이루어지는 색성분 데이터를 촬상부(12)로부터 취득한다.
다음 단계 S13은, 제어부(15)가 프로그램 메모리(17)에 기억된 화상 보정 프로그램에 의해 실행되는 화상 보정 처리이다.
이 단계 S13의 화상 보정 처리의 단계 S13a에 있어서는, 제어부(15)의 제어에 따라, 촬상 처리부(13)가, 단계 S12에서 취득한 색성분 데이터(RGB 데이터)로부터, 휘도 데이터(Y) 및 색차 데이터(Cr, Cb)로 분리한다. 그리고, 휘도 데이터(Y) 및 색차 데이터(Cr, Cb)는 일단 데이터 메모리(18)에 저장된다. 또한, 본 실시예 에 있어서는 표색계에는 YCrCb를 채용하였다. 그러나 반드시 RGB 데이터를 Y, Cr, Cb로 분리할 필요는 없고, YUV, YIQ 등, 색차 성분을, 휘도 성분 또는 명도 성분으로부터 분리할 수 있는 표색계이면 동일하게 하여 본 발명에 적용할 수 있다.
다음 단계 S13b에 있어서, 제어부(15)는, 단계 S13a에서 데이터 메모리(18)에 저장된 색차 데이터(Cr, Cb)를, 직류 성분 및 이산 성분으로 이루어지는 복수의 공간 주파수 성분으로 변환하는 2차원 푸리에 변환 처리(주파수 변환 처리)를 행한다. 그리고 변환된 복수의 공간 주파수 성분의 진폭값을 나타내는 공간 주파수 정보의 집합을 가지는 주파수 해석 데이터를 취득한다.
그리고, 이 주파수 해석 데이터는, 반드시 모든 공간 주파수 성분의 진폭값을 포함하지 않아도 된다.
이 주파수 해석 데이터의 취득 처리는, 도 5에 나타낸 바와 같이, 먼저 단계 S21에서 좌표(x, y)에 있어서의 색차 데이터 Crf(x, y)를 취득하고, 단계 S22에서 좌표(x, y)에 있어서의 색차 데이터 Cbf(x, y)를 취득한다. 그리고, 제어부(15)는, 단계 S23에 있어서 색차 데이터 Crf(x, y)에 대해서 2차원 푸리에 변환 처리를 실시하여 색차 데이터 Crf(x, y)의 공간 주파수 정보 CrF(u, v)를 취득하고, 단계 S24에 있어서 색차 데이터 Cbf(x, y)에 대해서 2차원 푸리에 변환 처리를 실시하여 색차 데이터 Cbf(x, y)의 공간 주파수 정보 CbF(u, v)를 취득한다. 이와 같은 주파수 해석 데이터의 취득 처리에 의해, 제어부(15)는, 색차 데이터(Cr)에 어떠한 공간 주파수 성분이 어떠한 진폭으로 포함되는 것인지를 나타내는 주파수 해석 정보와, 색차 데이터(Cb)에 어떠한 공간 주파수 성분이 어떠한 진폭으로 포함되는지 를 나타내는 주파수 해석 정보를 취득할 수 있다.
도 4로 되돌아와서, 다음 단계 S13c에 있어서, 제어부(15)[더 구체적으로는, 제어부(15a)]는, 예를 들면 도 6에 나타낸 바와 같이 촬영 전에 설정된 현재의 광원 상황을 나타내는 광원 상황 정보를 취득한다. 이 광원 상황 정보로서는, 촬영 화상을 촬상한 시각, 사용자의 선택 조작, 내장 발광부(25) 또는 내장 발광부(25)에 의한 플래시의 유무, 또는 플래시의 강도 중 적어도 하나이면 된다. 촬영 화상을 촬상하는 시각은, 제어부(15) 내의 도시하지 않은 타이머에 의해 취득된다. 또한, 예를 들면 S52에 있어서 광원 상황 판정 조건 = 4일 때 등, 사용자의 선택 조작에 의해 소정의 광원 상황인 것이 설정될 수도 있다. 또한, 제어부(15)는, 플래시 촬영 모드인지의 여부를 판정하여, 내장 발광부(25)의 발광 유무, 내장 발광부(25)의 발광 강도를 발광량 산출부(19)로부터 취득한다. 또한, 제어부(15)는, 접속 검지부(23a)에 대해서 외장 발광부(26)가 접속되어 있는지의 여부를 판정하여, 내장 발광부(25)의 발광 유무, 내장 발광부(25)의 발광 강도를 발광량 산출부(19)로부터 취득한다.
그리고, 여기서는 도 6의 설정은 촬영 전에 행하는 것으로 하였으나, 본 단계 S13c에 있어서, 촬영 처리를 일시 중단한 후에 실행하도록 구성해도 된다.
도 6에 나타낸 사전 설정에 있어서, 제어부(15)는, 메뉴 버튼(16b)이 조작되고, 이동 버튼(16c) 및 결정 버튼(16d)에 대한 조작에 의해 광원 상황 판정 조건 "1" ∼ "5"가 선택되는 상태로 된다. 이 상태에 있어서, 단계 S51에서는, 키 입력부(16)가 조작됨으로써, 광원 상황 판정 조건 중 "1" ∼ "5"가 결정된다. 이 광원 상황 판정 조건은, 단계 S52에 있어서, 제어부(15)에 의해 인식된다.
광원 상황 판정 조건 "1"이 결정된 경우, 제어부(15)는, 단계 S53으로 처리를 진행시킨다. 이 단계 S53에 있어서, 제어부(15)는, 시각 및 플래시 정보를 광원 상황 정보로서 데이터 메모리(18)에 판독한다. 또한, 제어부(15)는, 도 8에 나타낸 바와 같이, 시각과 플래시 정보에 대응한 임계값 x를 저장한 임계값 테이블을 데이터 메모리(18)에 판독해 둔다.
광원 상황 판정 조건 "2"가 결정된 경우, 제어부(15)는, 단계 S54로 처리를 진행시킨다. 이 단계 S54에 있어서, 제어부(15)는, 시각을 광원 상황 정보로서 데이터 메모리(18)에 판독한다. 또한, 제어부(15)는, 도 9에 나타낸 바와 같은 시각에 대응한 임계값 x를 저장한 임계값 테이블을 데이터 메모리(18)에 판독해 둔다.
광원 상황 판정 조건 "3"이 결정된 경우, 제어부(15)는, 단계 S55로 처리를 진행시킨다. 이 단계 S55에 있어서, 제어부(15)는, 플래시 정보를 광원 상황 정보로서 데이터 메모리(18)에 판독한다. 또한, 제어부(15)는, 도 10에 나타낸 바와 같은 플래시 정보에 대응한 임계값 x를 저장한 임계값 테이블을 데이터 메모리(18)에 판독해 둔다.
광원 상황 판정 조건 "4"가 결정된 경우, 제어부(15)는, 단계 S56으로 처리를 진행시킨다. 이 단계 S56에 있어서, 제어부(15)는, 사용자 설정에 의해 시간대 및 플래시 상태의 설명을 광원 상황 정보로서 데이터 메모리(18)에 판독한다. 또한, 제어부(15)는, 도 11에 나타낸 바와 같은 시간대 및 플래시 상태의 설명에 대응한 임계값 x를 저장한 임계값 테이블을 데이터 메모리(18)에 판독하여, S561로 처리를 진행시킨다. 그리고 S561에 있어서 키 입력부(16)에 의한 키 입력에 기초하여, 단일 임계값을 선택해 둔다.
광원 상황 판정 조건 "5"가 결정된 경우, 제어부(15)는, 단계 S57로 처리를 진행시킨다. 이 단계 S57에 있어서, 제어부(15)는, 초기 설정을 광원 상황 정보로서 데이터 메모리(18)에 판독한다. 또한, 제어부(15)는, 도 12인 나타낸 바와 같은 초기 설정용의 임계값 x를 저장한 임계값 테이블을 데이터 메모리(18)에 판독해 둔다.
그리고, 광원 상황 정보는 전술한 정보 외의 정보일 수도 있다. 예를 들면, 광원 상황 정보는, 촬영 화상으로부터 취득 가능한 광원의 종류나 수를 특정 또는 추정할 수 있는 임의의 정보로 하고, 여기에 기초하여 임계값 x를 구해도 된다. 또한, 이 촬영 화상으로부터 취득한 광원 상황 정보는, 전술한 각각의 광원 상황 정보 중의 적어도 어느 하나와 함께 이용되어 임계값 x를 구해도 된다. 이로써 광원 상황이 촬영 화상에 주는 화상 상의 위화감을 더욱 경감시킬 수 있다.
또한, 광원 상황 판정 조건의 선택은, 사용자에 의한 수동 조작이 아니라, 본 화상 보정 장치가 자동적으로 촬영 화상의 해석 결과로부터 선택하도록 구성해도 된다. 이로써 광원 상황이 촬영 화상에 주는 화상 상의 위화감을 더욱 경감시킬 수 있다.
도 4로 되돌아와서, 단계 S13d에 있어서, 제어부(15)는, 단계 S13c에서 취득된 광원 상황 정보에 기초하여, 임계값을 결정한다. 이 때, 제어부(15)는, 단계 S13c에서 데이터 메모리(18)에 기억된 광원 상황 정보에 따라, 동일하게 단계 S13c 에서 데이터 메모리(18)에 기억된 임계값 테이블을 참조하여, 상기 임계값 테이블에 저장된 임계값 x를 취득한다.
구체적으로는, 도 8에 나타내는 임계값 테이블을 참조하여, 시각 정보 및 플래시 상태에 따라, 임계값 x1∼x8 중 어느 하나를 결정한다. 여기서, 외장 발광부(26)가 장착되어 있지 않은 내장 발광부(25) 만을 사용하는 플래시 상태 시에는, 광량에 상당하는 가이드 넘버(GN)가 항상 일정값인 "GN1O"이 된다. 그리고, 외장 발광부(26)가 발광 제어부(23)에 장착되어 있을 때에는, 내장 발광부(25)와 외장 발광부(26)로부터 발하는 GN이 발광량 산출부(19)에 의해 산출되고, 내장 발광부(25)의 GN과 외장 발광부(26)의 GN을 합성한 합성 GN이 산출되고, 상기 합성 GN과 시각으로부터 임계값 x가 결정된다. 여기서, 내장 발광부(25)와 외장 발광부(26)의 양쪽을 사용하는 경우, 외장 발광부(26)의 종류에 따라, 합성 GN이 "GN2O"이 되는 경우와 "GN3O"이 되는 경우가 있다. 이 외장 발광부(26)의 종류는, 발광량 산출부(19)에 의해 인식되어 합성 GN이 산출된다. 그리고, GN은, 플래시의 광의 강도를 나타내는 표준 단위이다. GN의 숫자가 큰 플래시일수록, 광량이 큰 플래시라고 할 수 있다.
또한, 도 9에 나타내는 임계값 테이블을 참조하여, 광원 상황 정보로서의 시각 정보를 얻었을 경우에는, 상기 시각 정보에 따라 임계값 x9, x10의 어느 하나가 결정된다. 또한, 도 10에 나타내는 임계값 테이블을 참조하여, 광원 상황 정보로서의 플래시 정보를 얻었을 경우에는, 상기 플래시 상태를 나타내는 발광량 산출부(19)에 의해 산출된 GN에 기초하여, 임계값 x11∼x14 중 어느 하나가 결정된다. 또한, 도 11에 나타내는 임계값 테이블을 참조하여, 광원 상황 정보로서 시간대 및 플래시 상태의 설명을 얻었을 경우에는, 이미 도 6의 S561에서 선택된 상태인 임계값, 즉 임계값 x15∼x20 중의 하나로 결정된다. 또한, 도 12에 나타내는 임계값 테이블을 참조하여, 광원 상황 정보로서 초기 설정인 것을 얻었을 경우에는, 상기 임계값 테이블에 저장되어 있는 임계값 x21을 결정한다.
다음 단계 S13e에 있어서, 제어부(15)[더 구체적으로는, 제어부(15b)]는, 단계 S13d에서 결정된 임계값 x에 기초하여, 주파수 해석 데이터에 있어서의 일부 주파수 해석 정보를 감소시키는 필터 처리를 행한다. 이 필터 처리는, 도 7에 나타낸 바와 같이, 먼저 단계 S31에 있어서, 공간 주파수 성분 (u, v)의 초기값으로서 u=O, v=O를 입력한다. 여기서, u=O, v=O 일 때의 공간 주파수 성분 (u, v)는 직류 성분이다.
다음 단계 S32에 있어서, 제어부(151)는, 단계 S31 또는 후술하는 단계 S39, 단계 S41에서 설정된 현재의 공간 주파수 성분 (u, v)를 참조하여, 단계 S13b에서 연산되어 데이터 메모리(18)에 저장된, 공간 주파수 성분 (u, v)의 진폭값을 나타내는 공간 주파수 정보 CrF(u, v), CbF(u, v)를 판독한다.
다음 단계 S33에 있어서, 제어부(15)는, 공간 주파수 정보 CrF(u, v)가 임계값 x보다 작은지의 여부를 판정한다. 공간 주파수 정보 CrF(u, v)가 임계값 x보다 작지 않은 경우에는, 단계 S35에 있어서, 상기 공간 주파수 정보 CrF(u, v)에 필터 처리를 행하지 않고 단계 S36으로 처리를 진행시킨다. 한편, 공간 주파수 정보 CrF(u, v)가 임계값 x보다 작은 경우에는, 단계 S34에 있어서, 상기 공간 주파수 정보 CrF(u, v)에 필터 처리를 행하고, 단계 S36으로 처리를 진행시킨다. 이 결과, 단계 S33의 판정이 부정 판정인 경우에는 보정 전의 공간 주파수 정보 CrF(u, v)와 보정 후의 공간 주파수 정보 HCrF(u, v)는 동일하게 된다. 한편, 단계 S33의 판정이 긍정 판정인 경우에는 보정 후의 공간 주파수 정보 HCrF(u, v)는 "O"가 된다.
그리고, 여기서는, 보정 후의 공간 주파수 정보 HCrF(u, v)는 "0"로 하였으나, "O"로 하지 않고 소정 정도만큼 감소시키는 처리를 행해도 상관없다. 예를 들면, 보정 전의 값에 대하여, 10%가 되도록 감소시키는 처리를 행해도 된다.
다음 단계 S36에 있어서, 제어부(15)는, 공간 주파수 정보 CbF(u, v)가 임계값 x보다 작은지의 여부를 판정한다. 공간 주파수 정보 CbF(u, v)가 임계값 x보다 작지 않은 경우에는, 단계 S35에 있어서, 상기 공간 주파수 정보 CbF(u, v)에 필터 처리를 행하지 않고 단계 S36으로 처리를 진행시킨다. 한편, 공간 주파수 정보 CbF(u, v)가 임계값 x보다 작은 경우에는, 단계 S34에 있어서, 상기 공간 주파수 정보 CbF(u, v)에 필터 처리를 행하고, 단계 S36으로 처리를 진행시킨다. 이 결과, 단계 S33의 판정이 부정 판정인 경우에는 보정 전의 공간 주파수 정보 CbF(u, v)와 보정 후의 공간 주파수 정보 HCbF(u, v)는 같아진다. 한편, 단계 S33의 판정이 긍정 판정인 경우에는 보정 후의 공간 주파수 정보 HCbF(u, v)는 "O"가 된다.
그리고, 여기서는, 보정 후의 공간 주파수 정보 HCbF(u, v)를 "0"로 하였으나, "O"로 하지 않고, 소정 정도 감소시키는 처리를 행해도 된다. 예를 들면, 보정 전의 값에 대해서, 10%가 되도록 감소시키는 처리를 행해도 된다.
그리고, 단계 S33에서 공간 주파수 정보 CrF(u, v)와 비교되는 임계값 x는, CrF(u, v)와 CbF(u, v)에서 상이한 값이라도 된다. 또한, 임계값 x는 1개의 값이 아니고, 사용자의 설정 조작에 관계없이 전술한 복수의 임계값 테이블을 동시에 참조하는 경우에, 광원 상황에 해당하는 복수의 임계값 x로부터 최소값이 되는 임계값 xminm, 또는 최대값으로 되는 임계값 xmax 중 어느 하나를 사용해도 된다.
다음으로 제어부(15)는, 단계 S39에 있어서, 현 상태의 공간 주파수 성분(u, v) 중의 u의 값을 증가시키고, 단계 S40에 있어서, u의 값이 소정의 공간 주파수 성분 범위의 상한값 A가 되었는지의 여부를 판정한다. 마찬가지로, 제어부(15)는, 단계 S41에 있어서, 현 상태의 공간 주파수 성분(u, v) 중에서 v의 값을 증가시키고, 단계 S42에 있어서, v의 값이 소정의 공간 주파수 성분 범위의 상한값 B가 되었는지의 여부를 판정한다. 그리고, 공간 주파수 성분(u, v) 중 양쪽 값이 소정의 공간 주파수 성분 범위의 상한값 A 및 B가 되었을 경우에는, 처리를 종료하고, 도 4의 단계 S13f로 처리를 진행시킨다.
여기서, 소정의 공간 주파수 성분 범위의 상한값 A 및 B는, 광원 상황에 의해 화상 상에 나타나는 색변화에 상당하는 직류 성분부터 소정의 저공간 주파수 성분까지이다. 예를 들면, 도 2의 (A)에 나타낸 촬영 화상 데이터에, 도 2의 (B)와 같은 색변화가 있는 경우에, 상기 색변화를 삭감하고 싶은 경우에는, A 및 B의 값을 각각 "3"으로 설정해 둔다. 이로써, 도 2의 (A)의 촬영 화상 데이터로부터 도 2의 (B)에 나타낸 색변화의 공간 주파수 성분을 제거할 수 있다. 이와 같이, 광원 상황에 의해 촬영 화상 데이터에 나타나는 색변화를 효율적으로 필터링 가능하도록 A 및 B를 설정한다. 그리고, 촬영 화상 데이터로부터 제거하는 색변화에 따라 A와 B에 상이한 값을 설정해도 되는 것은 물론이다. 또한, 광원 상황에 따라, 최적인 공간 주파수 성분을 감소시킬 수 있도록, A 및 B를 가변으로 해도 된다.
도 4로 되돌아와서, 단계 S13f에 있어서, 제어부(15)는, 단계 S13e에서 필터 처리가 행해진 주파수 해석 데이터에 대해서 2차원 푸리에 역변환 처리를 행하여, 보정 후의 색차 데이터(Cr, Cb)를 취득한다.
다음 단계 S13g에 있어서, 제어부(15)는, 단계 S13f에서 취득한 보정 후의 색차 데이터(Cr, Cb)와 단계 S13a에서 취득한 휘도 데이터(Y)에 기초하여, 보정 후의 RGB 데이터(색성분 데이터)를 생성한다.
다음 단계 S13h에 있어서, 제어부(15)는, 단계 S13g에서 보정한 RGB 데이터에 대해서 소정의 화상 처리를 행한다. 이 때, 제어부(15)는, RGB 데이터에 대하여, 광원에 의한 화상 데이터에 대한 영향을 보정하는 종전의 화이트 밸런스 처리 등의 화상 가공 처리를 더 행해도 되고, 그 후, 데이터 메모리(18)에 RGB 데이터를 저장한다. 이로써, 제어부(15)가 화상 보정 프로그램을 실행하는 것에 의한 화상 보정 처리는 종료하고, 단계 S14로 처리는 진행된다.
단계 S14에 있어서, 화상 압축부(20)는, 단계 S13에서 생성되어 데이터 메모리(18)에 저장된 보정 후의 RGB 데이터에 대하여 화상 압축 처리를 행한다. 이 화상 보정 처리에 의해 얻어진 압축 데이터는, 데이터 메모리(18)에 기억된다.
다음 단계 S15에 있어서, 제어부(15)는, 단계 S14에서 생성된 압축 데이터를, 메모리 카드 처리부(14)에 의해 메모리 카드에 기억시키고, 처리를 종료한다.
이상 상세하게 설명한 바와 같이, 본 발명을 적용한 촬상 장치(1)에 따르면, 촬영 화상 데이터로부터 얻은 색차 데이터(Cr, Cb)에 포함되는 공간 주파수 성분 중, 소정의 공간 주파수 성분을 감소시키는 보정을 행함으로써, 광원 상황이 촬영 화상에 미치는 색변화를 제거할 수 있다. 따라서, 이 촬상 장치(1)에 의하면, 다양한 광원 상황에서 촬영한 촬영 화상에 대해서 화상 보정 처리를 행함으로써, 광원 상황이 촬영 화상에게 주는 화상 상의 위화감을 경감시킬 수 있다.
또한, 이 촬상 장치(1)에 의하면, 광원 상황 정보에 기초하여 촬영 화상에 나타나는 색변화에 상당하는 공간 주파수 정보를, 주파수 해석 데이터로부터 저감시키므로, 광원 상황에 따라 상이한 색변화가 촬영 화상에 나타나는 경우에도, 상기 광원 상황에 따라 적절하게 보정을 행할 수 있다.
또한, 이 촬상 장치(1)에 따르면, 촬영 화상으로부터 감소시키는 소정의 공간 주파수 성분으로서, 미리 설정된 주파수 해석 데이터 중에서 저공간 주파수에 속하는 공간 주파수 정보를 설정하므로, 광원 상황 정보에 기초하여 촬영 화상에 나타나는 색변화에 상당하는 공간 주파수 정보를 저감시킬 수 있다.
또한, 이 촬상 장치(1)에 따르면, 미리 설정된 공간 주파수 성분의 진폭값이 소정의 임계값보다 작은 경우에, 미리 설정된 공간 주파수 정보를 주파수 해석 데이터로부터 삭제하므로, 광원 상황에 따라 촬영 화상에 나타나는 색변화의 공간 주파수 성분의 진폭이 크며 촬영 화상에 시인(視認)되는 장면에 있어서 상기 공간 주파수 성분을 "O"로 하는 보정을 행할 수 있다.
또한, 이 촬상 장치(1)에 따르면, 미리 설정된 공간 주파수 성분의 진폭값이 소정의 임계값보다 작은 경우에, 미리 설정된 공간 주파수 성분의 진폭값을 작은 값으로 하므로, 광원 상황에 따라 촬영 화상에 나타나는 색변화의 공간 주파수 성분의 진폭이 크며 촬영 화상에 시인되는 장면에 있어서 상기 공간 주파수 성분을 눈에 띄지 않게 하는 보정을 행할 수 있다.
또한, 이 촬상 장치(1)에 따르면, 광원 상황 정보는, 촬영 전에 설정하는 것 로 하였으나 이에 한정되지 않는다. 예를 들면 단계 S1이나 단계 S11에서 취득한 촬영 화상을 해석하고 광원의 종류나 수를 검지하여, 검지 결과에 기초하여 광원 상황 정보를 설정해도 된다.
또한, 이 촬상 장치(1)에 따르면, 광원 상황으로서 촬영 화상을 촬상한 시각, 사용자의 선택 조작, 플래시의 유무 또는 플래시의 강도 중 적어도 하나를 취득하고, 상기 광원 상황에 기초하여 소정의 임계값을 변경할 수 있으므로, 다양한 광원 상황에 따라 발생하는 색변화를 고정밀도로 경감시키고, 화상 본래의 색변화를 삭감하는 것을 회피할 수 있다.
그리고, 전술한 실시예는 본 발명의 일례이다. 그러므로, 본 발명은, 전술한 실시예로 한정되지 않고, 이 실시예 이외에도, 본 발명에 따른 기술적 사상을 벗어나지 않는 범위에서, 설계 등에 따라 각종 변경이 가능한 것은 물론이다.
도 1은 본 발명을 적용한 촬상 장치의 기능적인 구성을 나타낸 블록도이다.
도 2의 (A)는 본 발명을 적용한 촬상 장치에 의한 2차원 푸리에 변환 처리를 설명하기 위한 촬영 화상이다.
도 2의 (B)는 본 발명을 적용한 촬상 장치에 의한 2차원 푸리에 변환 처리를 설명하기 위한, 공간 주파수 성분 (3, 3)까지의 공간 주파수 성분으로 이루어지는 화상이다.
도 2의 (C)는 본 발명을 적용한 촬상 장치에 의한 2차원 푸리에 변환 처리를 설명하기 위한, 공간 주파수 성분(6, 6)까지의 공간 주파수 성분으로 이루어지는 화상이다.
도 2의 (D)는 본 발명을 적용한 촬상 장치에 의한 2차원 푸리에 변환 처리를 설명하기 위한, 공간 주파수 성분(10, 10)까지의 공간 주파수 성분으로 이루어지는 화상이다.
도 3은 본 발명을 적용한 촬상 장치에 의한 화상 보정 처리의 단계를 나타내는 개략적인 흐름도이다.
도 4는 본 발명을 적용한 촬상 장치에 의한 구체적인 화상 보정 처리의 처리 단계를 나타내는 흐름도이다.
도 5는 본 발명을 적용한 촬상 장치에 의한 주파수 해석 데이터의 취득 처리의 처리 단계를 나타내는 흐름도이다.
도 6은 본 발명을 적용한 촬상 장치에 의한 광원 상황 정보를 취득하는 처리 의 처리 단계를 나타내는 흐름도이다.
도 7은 본 발명을 적용한 촬상 장치에 의한 필터 처리의 처리 단계를 나타내는 흐름도이다.
도 8은 본 발명을 적용한 촬상 장치에 있어서, 시각 및 플래시(발광량)에 대응한 임계값의 테이블을 나타낸 도면이다.
도 9는 본 발명을 적용한 촬상 장치에 있어서, 시각에 대응한 임계값의 테이블을 나타낸 도면이다.
도 10은 본 발명을 적용한 촬상 장치에 있어서, 플래시(발광량)에 대응한 임계값의 테이블을 나타낸 도면이다.
도 11은 본 발명을 적용한 촬상 장치에 있어서, 사용자 설정을 위한 설명에 대응한 임계값의 테이블을 나타낸 도면이다.
도 12는 본 발명을 적용한 촬상 장치에 있어서, 초기 설정시의 임계값 테이블을 나타낸 도면이다.

Claims (8)

  1. 화상을 취득하는 화상 취득 수단;
    상기 화상 취득 수단에 의해 취득된 화상을, 휘도 데이터와 색차 데이터로 분리하는 분리 수단;
    상기 분리 수단에 의해 분리된 색차 데이터를, 공간 주파수에 있어서의 진폭값의 집합으로 변환하는 변환 수단;
    상기 화상을 촬상에 의해 취득한 때의 광원 상황을 취득하는 광원 상황 취득 수단;
    상기 광원 상황 취득 수단에 의해 취득된 광원 상황 정보에 기초하여, 상기 변환 수단에 의해 변환된 진폭값의 집합으로부터 소정의 진폭값에 대하여, 상기 소정의 진폭값을 감소시키는 보정을 행하는 보정 수단;
    상기 보정 수단에 의해 보정된 후의 공간 주파수에 있어서의 상기 진폭값의 집합을, 색차 데이터로 변환하는 역변환 수단; 및
    상기 휘도 데이터와 상기 역변환 수단에 의해 역변환된 색차 데이터를 사용하여, 보정 후의 촬영 화상을 생성하는 보정 화상 생성 수단;
    을 포함하는 화상 보정 장치.
  2. 제1항에 있어서,
    상기 보정 수단은,
    상기 공간 주파수에 있어서의 진폭값의 집합 중, 저공간 주파수에 속하는 복수의 진폭값을 판단 대상으로 하여, 상기 진폭값 각각에 대하여 보정을 행할지의 여부를 판단하는 판단 수단을 포함하고,
    상기 판단 수단에 의해 보정한다고 판단한 진폭값을 감소시키는 보정을 행하는, 화상 보정 장치.
  3. 제2항에 있어서,
    상기 상황 취득 수단은, 상기 화상을 촬상에 의해 취득한 시각, 사용자의 선택 조작, 플래시의 유무, 또는 플래시의 강도 중 적어도 하나에 관한 정보를 광원 상황 정보로서 취득하고, 또한
    상기 판단 수단은, 상기 진폭값의 집합 중 상기 광원 상황 정보에 기초하여 설정되는 진폭값을 판단 대상으로 하여, 상기 진폭값 각각에 대하여 보정을 행할지의 여부를 판단하는, 화상 보정 장치.
  4. 제2항에 있어서,
    상기 판단 수단은, 상기 진폭값이 소정의 임계값보다 작은 진폭값을 보정한다고 판단하는, 화상 보정 장치.
  5. 제4항에 있어서,
    상기 광원 상황 취득 수단은, 상기 화상을 촬상에 의해 취득한 시각, 사용자 의 선택 조작, 플래시의 유무, 또는 플래시의 강도 중 적어도 하나에 관한 정보를 광원 상황 정보로서 취득하고, 또한
    상기 광원 상황 정보에 기초하여 소정의 임계값을 설정하는 설정 수단을 더 포함하는, 화상 보정 장치.
  6. 제1항에 있어서,
    감소시키는 보정이 행해지는 진폭값은, 상기 화상에 나타나는 색변화에 영향을 미치는 색차 데이터에 대응하는 공간 주파수에 있어서의 진폭값인, 화상 보정 장치.
  7. 제1항에 있어서,
    상기 보정 수단이 행하는 보정 내용에는, 상기 진폭값을 "O"로 하는 것이 포함되는, 화상 보정 장치.
  8. 화상 보정 방법으로서,
    취득된 화상을, 휘도 데이터와 색차 데이터로 분리하는 분리 단계;
    상기 분리 단계에서 분리된 색차 데이터를, 공간 주파수에 있어서의 진폭값의 집합으로 변환하는 변환 단계;
    상기 화상을 촬상에 의해 취득한 때의 광원 상황을 취득하는 광원 상황 취득 단계;
    상기 광원 상황 취득 단계에서 취득된 광원 상황 정보에 기초하여, 상기 변환 단계에서 변환된 진폭값의 집합으로부터 소정의 진폭값에 대하여, 상기 소정의 진폭값을 감소시키는 보정을 행하는 보정 단계;
    상기 보정 단계에서 보정된 후의 공간 주파수에 있어서의 진폭값의 집합을, 색차 데이터로 역변환하는 역변환 단계; 및
    상기 휘도 데이터와 상기 역변환 단계에서 역변환된 색차 데이터를 사용하여, 보정 후의 촬영 화상을 생성하는 보정 화상 생성 단계;
    를 포함하는 화상 보정 방법.
KR1020090092372A 2008-09-30 2009-09-29 촬영시의 광원의 영향을 보정하는 화상 보정 장치, 및 그 화상 보정 프로그램 KR101029742B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008254389A JP4479845B2 (ja) 2008-09-30 2008-09-30 画像補正装置、画像補正方法、画像補正プログラム
JPJP-P-2008-254389 2008-09-30

Publications (2)

Publication Number Publication Date
KR20100036995A true KR20100036995A (ko) 2010-04-08
KR101029742B1 KR101029742B1 (ko) 2011-04-19

Family

ID=41478484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090092372A KR101029742B1 (ko) 2008-09-30 2009-09-29 촬영시의 광원의 영향을 보정하는 화상 보정 장치, 및 그 화상 보정 프로그램

Country Status (6)

Country Link
US (1) US8106962B2 (ko)
EP (1) EP2169944B1 (ko)
JP (1) JP4479845B2 (ko)
KR (1) KR101029742B1 (ko)
CN (1) CN101715065B (ko)
TW (1) TWI408955B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102397B1 (ko) * 2018-10-31 2020-04-20 한국항공우주연구원 촬영 장치 및 영상 처리 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7775428B2 (en) * 2005-05-06 2010-08-17 Berkun Kenneth A Systems and methods for generating, reading and transferring identifiers
US8817173B2 (en) * 2010-02-01 2014-08-26 Olympus Imaging Corp. Photographing apparatus capable of flash emission
JP2013070191A (ja) * 2011-09-21 2013-04-18 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム
CN105323569B (zh) * 2015-10-27 2017-11-17 深圳市金立通信设备有限公司 一种图像增强的方法及终端
CN110595603B (zh) * 2019-04-26 2022-04-19 深圳市豪视智能科技有限公司 基于视频进行振动分析方法及相关产品
CN115499597B (zh) * 2022-09-13 2024-06-04 豪威集成电路(成都)有限公司 成像***目标频率光源的识别方法及装置、终端设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57185777A (en) * 1981-05-12 1982-11-16 Fuji Photo Film Co Ltd Electronic camera with electronic memo
JPS6124388A (ja) 1984-07-12 1986-02-03 Toshiba Corp カラ−撮像装置
US5142380A (en) * 1989-10-23 1992-08-25 Ricoh Company, Ltd. Image data processing apparatus
US6512791B1 (en) * 1991-05-15 2003-01-28 Canon Kabushiki Kaisha Image processing apparatus having means for controlling exposure using an orthogonal transformation coefficient
JPH07143513A (ja) 1993-11-16 1995-06-02 Matsushita Electric Ind Co Ltd カラー撮像装置
JPH09284429A (ja) 1996-04-16 1997-10-31 Konica Corp 画像評価装置
US6788812B1 (en) * 1999-06-18 2004-09-07 Eastman Kodak Company Techniques for selective enhancement of a digital image
JP4250863B2 (ja) 2000-11-08 2009-04-08 ソニー株式会社 色補正処理方法および装置
JP2003060913A (ja) * 2001-08-13 2003-02-28 Toyota Central Res & Dev Lab Inc 画像処理方法及び画像処理装置
JP2003234950A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
EP1345172A1 (en) * 2002-02-26 2003-09-17 Sony International (Europe) GmbH Contrast enhancement for digital images
US7158174B2 (en) * 2002-04-04 2007-01-02 Eastman Kodak Company Method for automatic white balance of digital images
KR100459902B1 (ko) * 2002-07-04 2004-12-03 삼성전자주식회사 압축 영상의 색온도 변환 방법 및 그 시스템
JP3893099B2 (ja) * 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
JP4324404B2 (ja) * 2003-04-22 2009-09-02 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
TWI249959B (en) * 2003-05-16 2006-02-21 Seiko Epson Corp Image processing system, projector, information memorizing medium and image processing method
US20050123210A1 (en) * 2003-12-05 2005-06-09 Bhattacharjya Anoop K. Print processing of compressed noisy images
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
US7499570B2 (en) * 2004-03-02 2009-03-03 Siemens Corporate Research, Inc. Illumination invariant change detection
JP4375069B2 (ja) * 2004-03-19 2009-12-02 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5352942B2 (ja) * 2005-03-31 2013-11-27 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP2007043312A (ja) 2005-08-01 2007-02-15 Fujifilm Holdings Corp 撮影装置
JP2008052428A (ja) 2006-08-23 2008-03-06 Nikon Corp 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP4074323B2 (ja) * 2006-09-05 2008-04-09 オリンパス株式会社 再生システムおよび再生プログラム
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US7986834B2 (en) * 2006-11-08 2011-07-26 Zoran Corporation Method and apparatus for color image correction
DE102006061972B4 (de) * 2006-11-15 2009-02-19 Julius-Maximilians-Universität Würzburg System zur Anpassung von Farbton und Helligkeit digitaler Bilder mittels Kompressionstransformationen
JP5259616B2 (ja) * 2007-03-14 2013-08-07 オリンパス株式会社 画像処理システムおよび画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102397B1 (ko) * 2018-10-31 2020-04-20 한국항공우주연구원 촬영 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
JP4479845B2 (ja) 2010-06-09
KR101029742B1 (ko) 2011-04-19
JP2010086270A (ja) 2010-04-15
TWI408955B (zh) 2013-09-11
CN101715065B (zh) 2012-04-25
TW201108730A (en) 2011-03-01
US20100079614A1 (en) 2010-04-01
CN101715065A (zh) 2010-05-26
US8106962B2 (en) 2012-01-31
EP2169944B1 (en) 2017-01-04
EP2169944A1 (en) 2010-03-31

Similar Documents

Publication Publication Date Title
KR101303410B1 (ko) 촬상장치 및 촬상방법
KR101029742B1 (ko) 촬영시의 광원의 영향을 보정하는 화상 보정 장치, 및 그 화상 보정 프로그램
US8284264B2 (en) Imaging apparatus, method, and program
KR101247647B1 (ko) 화상 합성 장치, 화상 합성 방법, 및 기록 매체
KR101890305B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
CN102065224B (zh) 摄像装置和摄像方法
KR20100109502A (ko) 화상 선택 장치 및 화상 선택 방법
KR20070068980A (ko) 카메라
JP2009194700A (ja) 画像処理装置及び画像処理プログラム
KR20150109177A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US8253850B2 (en) Imaging apparatus and program thereof
JP2010147786A (ja) 撮像装置及び画像処理方法
JP4239234B2 (ja) 電子スチルカメラ
KR20060135545A (ko) 촬상 장치
US7876366B2 (en) Electronic camera
JP5569361B2 (ja) 撮像装置およびホワイトバランス制御方法
JP5200820B2 (ja) 撮像装置及び撮像方法、画像処理プログラム
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP2016046610A (ja) 撮像装置
JP5111317B2 (ja) デジタルカメラ
JP5083116B2 (ja) 撮影装置、画像処理方法、およびプログラム
JP2017192027A (ja) 画像処理装置、画像処理方法、プログラム
JP2003087647A (ja) デジタルスチルカメラ
JP6849351B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20120154617A1 (en) Image capturing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140320

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170322

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 9