KR101411908B1 - 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치 - Google Patents

얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치 Download PDF

Info

Publication number
KR101411908B1
KR101411908B1 KR1020070108863A KR20070108863A KR101411908B1 KR 101411908 B1 KR101411908 B1 KR 101411908B1 KR 1020070108863 A KR1020070108863 A KR 1020070108863A KR 20070108863 A KR20070108863 A KR 20070108863A KR 101411908 B1 KR101411908 B1 KR 101411908B1
Authority
KR
South Korea
Prior art keywords
focus
face
processing apparatus
image processing
depth
Prior art date
Application number
KR1020070108863A
Other languages
English (en)
Other versions
KR20090043159A (ko
Inventor
이동
복영수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070108863A priority Critical patent/KR101411908B1/ko
Publication of KR20090043159A publication Critical patent/KR20090043159A/ko
Application granted granted Critical
Publication of KR101411908B1 publication Critical patent/KR101411908B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053—Driving means for the movement of one or more optical element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 방법은, 조리개 및 포커스 렌즈를 구비하고 얼굴 인식 모드에서 촬영을 수행하는 디지털 영상 처리 장치의 제어 방법으로서 단계들 (a) 내지 (c)를 포함한다. 단계 (a)에서는, 복수의 얼굴들이 검출되면, 복수의 얼굴 영역들 각각에 대하여 포커싱이 수행되어 포커스 위치들이 구해진다. 단계 (b)에서는, 복수의 얼굴 영역들 중에서 어느 한 얼굴 영역의 포커스 위치로 상기 포커스 렌즈가 이동된다. 단계 (c)에서는, 상기 어느 한 얼굴 영역의 포커스 위치에 따라 초점 심도의 환산 영역이 계산되고, 상기 복수의 얼굴 영역들 중 상기 계산된 초점 심도의 환산 영역에 포함되는 포커스 위치들의 얼굴 영역들에 대하여 마킹이 수행된다.
디지털 카메라, 얼굴 인식, 얼굴 마킹

Description

얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법 및 이 방법을 채용한 디지털 영상 처리 장치{Method of controlling digital image processing apparatus performing face recognition, and image processing apparatus adopting the method}
본 발명은, 디지털 영상 처리 장치의 제어 방법 및 이 방법을 채용한 디지털 영상 처리 장치에 관한 것으로서, 보다 상세하게는, 조리개 및 포커스 렌즈를 구비하고 얼굴 인식 모드에서 촬영을 수행하는 디지털 영상 처리 장치의 제어 방법 및 이 방법을 채용한 디지털 영상 처리 장치에 관한 것이다.
통상적인 디지털 영상 처리 장치 예를 들어, 디지털 카메라는, 조리개 및 포커스 렌즈를 구비하고, 사용자의 선택에 따라 얼굴 인식 모드에서 촬영을 수행한다.
얼굴 인식(Face Recognition)의 알고리즘은, 1970년대부터 공개된 바 있으며, 현재에는 매우 다양한 해법들이 광범위하게 이용되고 있는 상태이다. 예를 들어, 출입문 통제 시스템, 근태 관리 시스템, 실시간 감시 시스템, 화상 회의, 사용자 인증, 파일 암호화, 장난감, 및 원격 교육 등에서 이용되고 있다.
따라서 얼굴 인식을 위하여 다양한 기술들이 공개되어 있다. 예를 들어, 빠른 인식 속도가 요구되는 경우, 얼굴의 기하학적인 특징들을 이용한 얼굴 인식 기술이 적합하다. 이 기술은 다양한 얼굴 인식 기술들 중에서 가장 보편적으로 사용된다. 이 기술은, 눈, 코, 입과 같은 얼굴의 특징점들의 위치, 크기, 및 이들 사이의 거리와 같은 기하학적 인자들을 사용하여 개인들 각각의 얼굴을 인식하는 것이다. 여기에서 상기와 같은 기하학적 특징들은 입력 영상의 해상도를 낮추었을 때에 최종적으로 남는 요소들에 포함된다.
상기와 같은 얼굴 인식 알고리즘을 사용하여 촬영을 수행함에 있어서, 종래에는, 복수의 얼굴들이 검출된 경우에 복수의 얼굴들 중에서 대표적 얼굴 예를 들어, 가장 앞쪽의 얼굴 또는 가장 큰 얼굴의 영역에 대하여 마킹(marking)을 수행하거나, 검출된 모든 얼굴 영역들에 대하여 마킹(marking)을 수행한다. 여기에서, 포커싱 대상 영역은 복수의 얼굴들 중에서 대표적 얼굴 예를 들어, 가장 앞쪽의 얼굴 또는 가장 큰 얼굴의 영역이다.
이에 따라, 촬영 대상 인물들이 디지털 영상 처리 장치와 서로 다른 거리에 위치할 경우, 사용자는 포커싱 대상 얼굴을 제외한 나머지 얼굴들 각각이 포커싱의 영향을 받을 수 있는지를 알 수 없다.
이에 따라, 포커싱과 관련하여 사용자는 촬영 직전에 자신이 원하는 구도를 정확하게 설정할 수 없다.
본 발명의 목적은, 다수의 사람들이 촬영될 경우, 포커싱과 관련하여 사용자가 촬영 직전에 자신이 원하는 구도를 정확하게 설정할 수 있게 하는 디지털 영상 처리 장치의 제어 방법 및 디지털 영상 처리 장치를 제공하는 것이다.
상기 목적을 이루기 위한 본 발명의 방법은, 조리개 및 포커스 렌즈를 구비하고 얼굴 인식 모드에서 촬영을 수행하는 디지털 영상 처리 장치의 제어 방법으로서 단계들 (a) 내지 (c)를 포함한다.
상기 단계 (a)에서는, 복수의 얼굴들이 검출되면, 복수의 얼굴 영역들 각각에 대하여 포커싱이 수행되어 포커스 위치들이 구해진다.
상기 단계 (b)에서는, 상기 복수의 얼굴 영역들 중에서 어느 한 얼굴 영역의 포커스 위치로 상기 포커스 렌즈가 이동된다.
상기 단계 (c)에서는, 상기 어느 한 얼굴 영역의 포커스 위치에 따라 초점 심도의 환산 영역이 계산되고, 상기 복수의 얼굴 영역들 중 상기 계산된 초점 심도의 환산 영역에 포함되는 포커스 위치들의 얼굴 영역들에 대하여 마킹이 수행된다.
상기 본 발명의 장치는, 조리개, 포커스 렌즈, 및 주 제어기를 구비하고 얼굴 인식 모드에서 촬영을 수행하는 디지털 영상 처리 장치이다. 여기에서, 상기 주 제어기가 상기 본 발명의 제어 방법을 채용하여 동작한다.
본 발명의 상기 디지털 영상 처리 장치의 제어 방법 및 이 방법을 채용한 디 지털 영상 처리 장치에 의하면, 상기 포커스 위치들 중에서 초점 심도의 환산 영역에 포함되는 포커스 위치들의 얼굴 영역들에 대하여 마킹이 수행된다. 이에 따라, 사용자는 다수의 얼굴들 중에서 포커싱 범위에 위치한 얼굴들과 그렇지 않은 얼굴들을 알 수 있다.
이에 따라, 포커싱과 관련하여 사용자는 촬영 직전에 자신이 원하는 구도를 정확하게 설정할 수 있다.
이하, 첨부된 도면들과 함께 본 발명에 따른 바람직한 실시예가 상세히 설명된다.
도 1을 참조하면, 본 발명에 따른 디지털 영상 처리 장치로서의 디지털 카메라(1)의 앞쪽 및 위쪽에는, 셀프-타이머 램프(11), 플래시(12), 셔터 릴리즈 버튼(13), ASR(Advanced Shake Reduction) 모드 버튼(16), 전원 버튼(17), 렌즈부(20), 마이크로폰(MIC), 및 스피커(SP)가 있다.
셀프-타이머 램프(11)는 셀프-타이머 모드인 경우에 셔터 릴리즈 버튼(13)이 눌려진 시점으로부터 영상을 포착하기 시작하는 시점 까지의 설정 시간 동안 동작한다. 또한, 셀프-타이머 램프(11)는 사용자의 선택에 따라 보조광을 발생시킨다.
ASR 모드 버튼(16)은 손떨림을 보상하는 데에 사용된다. 또한, ASR 모드 버튼(16)은 잠금 버튼으로도 사용된다. 예를 들어, ASR 모드 버튼(16)이 1초 미만으로 눌려진 경우에 손떨림 보상 기능이 수행되고, ASR 모드 버튼(16)이 1초 이상으로 눌려진 경우에 재생 모드에서의 잠금 기능이 수행된다.
셔터 릴리즈 버튼(13)은 2단의 구조로 이루어진다. 즉, 사용자가 광각-줌 버튼(39W) 및 망원-줌 버튼(39T)을 조작한 후, 셔터 릴리즈 버튼(13)을 1단만 누르면 셔터 릴리즈 버튼(13)으로부터의 SH1 신호가 온(On)되고, 2단까지 누르면 셔터 릴리즈 버튼(13)으로부터의 SH2 신호가 온(On)된다. 정지영상 촬영 모드 및 동영상 촬영 모드에서는 SH2 신호가 온(On) 신호가 눌려진 후에 영상이 포착된다. 연속-촬영 모드에서는 SH1 신호가 온(On)되고 있는 동안에 연속적으로 영상이 포착된다.
도 2를 참조하면, 본 발명에 따른 디지털 카메라(1)의 뒤쪽에는, 기능 버튼들(15), 카메라-상태 램프(22), 특수-효과 버튼(23), 카메라 끈걸이(24), 이어폰 연결부(25), 디스플레이 패널(35), +/- 버튼(36), 줌/9분할/볼륨 버튼(39), 재생/프린터 버튼(42), 및 모드 버튼(43)이 있다.
기능 버튼들(15)은, 사용자가 디지털 카메라(1)의 특정 기능들을 수행하는 데에 사용되고, 디스플레이 패널(35)의 메뉴 화면에서 활성화 커서의 방향-이동 버튼들로서 사용되며, 재생 모드에서 재생 대상의 파일 및 기록 매체를 전환시키는 데에 사용된다.
카메라-상태 램프(22)는 카메라의 각종 동작 상태를 보여주는 데에 사용된다. 특수-효과 버튼(23)은 촬영될 영상에 특수한 효과들을 설정하는 데에 사용된다. +/- 버튼(36)은 야경 촬영 등을 위하여 셔터 속도를 조정하는 데에 사용된다.
줌/9분할/볼륨 버튼(39)은, 촬영 또는 재생 모드에서 주밍(zooming) 동작을 수행하는 데, 또는 재생 모드에서 9 장의 사진들을 한 화면에 디스플레이하는 데, 또는 오디오의 볼륨을 조정하는 데에 사용된다.
재생/프린터 버튼(42)은 재생 모드와 라이브-뷰(live-view) 모드의 상호 전환 또는 프린터로의 직접 출력을 위하여 사용된다.
모드 버튼(43)은 PMP(Portable Media Player) 모드 또는 각종 촬영 모드를 선택하는 데에 사용된다.
도 3은 도 1의 디지털 카메라(1)의 전체적 구성을 보여준다. 도 4는 도 1의 디지털 카메라의 입사측 구조를 보여준다. 도 1 내지 4를 참조하여, 도 3의 디지털 카메라(1)의 전체적 구성 및 동작을 설명하면 다음과 같다.
렌즈부(20)와 필터부(41)를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다. 광학계(OPS)의 렌즈부는 줌 렌즈(ZL), 포커스 렌즈FL), 및 보상 렌즈(CL)를 포함한다. 라이브-뷰(live-view) 모드 또는 동영상 촬영 모드에서 사용자가 사용자 입력부(INP)에 포함된 줌/9분할/볼륨 버튼(39)을 누르면, 이에 상응하는 신호가 마이크로제어기(512)에 입력된다. 이에 따라, 마이크로제어기(512)가 렌즈 구동부(510)를 제어함에 따라, 줌 모터(MZ)가 구동되어 줌 렌즈(ZL)가 이동된다.
예를 들어, 광각(wide angle)-줌 신호가 발생되면 줌 렌즈(ZL)의 포커스 거리(focal length)가 짧아져서 화각이 넓어지고, 망원(telephoto)-줌 신호가 발생되면 줌 렌즈(ZL)의 포커스 거리가 길어져서 화각이 좁아진다. 여기에서, 줌 렌 즈(ZL)의 위치가 설정된 상태에서 포커스 렌즈(FL)의 위치가 조정되므로, 화각은 포커스 렌즈(FL)의 위치에 대하여 거의 영향을 받지 않는다.
한편, 자동 포커싱 모드에 있어서, 디지털 카메라 프로세서(507) 안에 내장된 주 제어기가 마이크로제어기(512)를 통하여 구동부(510)를 제어함에 의하여 포커스 모터(MF)가 구동된다. 이에 따라 포커스 렌즈(FL)가 이동되며, 이 과정에서 인접 화소들 사이의 휘도 차이들이 평균적으로 가장 커지는 포커스 렌즈의 위치 즉, 포커스 위치가 포커스 모터(MF)의 구동 스텝 수로서 설정된다.
얼굴 인식 모드가 설정된 경우의 자동 포커싱 모드에서의 디지털 카메라 프로세서(507)의 동작 알고리즘에 대해서는 도 7 내지 11을 참조하여 보다 상세히 설명될 것이다.
광학계(OPS)의 렌즈부(20)의 보상 렌즈(CL)는 전체적인 굴절율을 보상하는 역할을 하므로 별도로 구동되지 않는다. 참조 부호 MA는 조리개(aperture, 도 10 및 11의 101)를 구동하기 위한 모터를 가리킨다.
광학계(OPS)의 필터부(41)에 있어서, 광학적 저역통과필터(OLPF, Optical Low Pass Filter)는 고주파 함량의 광학적 노이즈를 제거한다. 적외선 차단 필터(IRF, Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다.
CCD(Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide- Semiconductor)의 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 여기에서, 디지털 카메라 프로세서(507)는 타이밍 회로(502) 를 제어하여 광전 변환부(OEC)와 아날로그-디지털 변환부(501)의 동작을 제어한다. 아날로그-디지털 변환부로서의 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter, 501)는, 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터를 발생시킨다.
실시간 클럭(503)은 디지털 카메라 프로세서(507)에 시간 정보를 제공한다. 디지털 카메라 프로세서(507)는 CDS-ADC(501)로부터의 디지털 영상 데이터를 처리하여 휘도 및 색도 신호로 분류된 디지털 영상 데이터를 발생시킨다.
주 제어기를 내장하는 디지털 카메라 프로세서(507)로부터의 제어 신호들에 따라 마이크로제어기(512)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프(11) 및 카메라-상태 램프(22) 등이 포함된다.
사용자 입력부(INP)에는, 셔터 릴리즈 버튼(13), 기능 버튼들(15), ASR 모드 버튼(16), 전원 버튼(17), 특수-효과 버튼(23), +/- 버튼(36), 줌/9분할/볼륨 버튼(39), 재생/프린터 버튼(42), 및 모드 버튼(43) 등이 포함된다.
DRAM(Dynamic Random Access Memory, 504)에는 디지털 카메라 프로세서(507)로부터의 디지털 영상 데이터가 일시 저장된다. EEPROM(Electrically Erasable and Programmable Read Only Memory, 505)에는 디지털 카메라 프로세서(507)의 동작에 필요한 알고리즘이 저장된다. 메모리 카드 인터페이스(MCI, 506)에서는 사용자의 메모리 카드가 착탈된다. 플래시 메모리(FM)에는 디지털 카메라 프로세서(507)의 동작에 필요한 설정 데이터가 저장된다. 메모리 카드 인터페이스(506)에서는 사용자의 기록 매체들로서 복수의 메모리 카드들이 착탈된다.
디지털 카메라 프로세서(507)로부터의 디지털 영상 데이터는 LCD 구동부(514)에 입력되고, 이로 인하여 디스플레이 패널(35)에 영상이 디스플레이된다.
인터페이스부(21)에 있어서, 디지털 카메라 프로세서(507)로부터의 디지털 영상 데이터는, USB(Universal Serial Bus) 접속부(21a) 또는 RS232C 인터페이스(508)와 그 접속부(21b)를 통하여 직렬 통신으로써 전송될 수 있고, 비디오 필터(509) 및 비디오 출력부(21c)를 통하여 비디오 신호로서 전송될 수 있다.
오디오 처리기(513)는, 마이크로폰(MIC)으로부터의 음성 신호를 디지털 카메라 프로세서(507) 또는 스피커(SP)로 출력하고, 디지털 카메라 프로세서(507)로부터의 오디오 신호를 스피커(SP)로 출력한다.
한편, 마이크로제어기(512)는 플래시-광량 센서(19)로부터의 신호에 따라 플래시 제어기(511)의 동작을 제어하여 플래시(12)를 구동한다.
도 5는 도 3의 디지털 카메라 프로세서(507)의 주 알고리즘을 보여준다. 도 1, 3, 및 5를 참조하여 도 3의 디지털 카메라 프로세서(507)의 주 알고리즘을 설명하면 다음과 같다.
디지털 카메라(1)에 동작 전원이 인가되면, 디지털 카메라 프로세서(507)는 초기화를 실행한다(단계 S1).
이 초기화 단계(S1)가 실행되면, 디지털 카메라 프로세서(507)는 라이브-뷰(live-view) 모드를 수행한다(단계 S2). 이 라이브-뷰 모드에서 입력 영상이 디스플레이 패널(35)에 디스플레이된다.
참고로, 하기 설정 모드 수행 단계(S6)에서 얼굴 인식 모드가 설정되는 경우, 이어지는 라이브-뷰(live-view) 모드(단계 S2)에서는 잘 알려져 있는 얼굴 인식 알고리즘에 의하여 얼굴(들)이 검출되어 마킹된다.
상기한 바와 같이, 얼굴 인식을 위하여 다양한 기술들이 공개되어 있다. 예를 들어, 빠른 인식 속도가 요구되는 경우, 얼굴의 기하학적인 특징들을 이용한 얼굴 인식 기술이 적합하다. 이 기술은 다양한 얼굴 인식 기술들 중에서 가장 보편적으로 사용된다. 이 기술은, 눈, 코, 입과 같은 얼굴의 특징점들의 위치, 크기, 및 이들 사이의 거리와 같은 기하학적 인자들을 사용하여 개인들 각각의 얼굴을 인식하는 것이다. 여기에서 상기와 같은 기하학적 특징들은 입력 영상의 해상도를 낮추었을 때에 최종적으로 남는 요소들에 포함된다.
다음에, 셔터 릴리즈 버튼(13)으로부터의 1단 신호인 SH1 신호가 온(On) 상태이면(단계 S3), 디지털 카메라 프로세서(507)는 촬영 모드를 수행한다(단계 S4).
다음에, 사용자 입력부(INP)로부터의 입력 신호들중에서 설정 모드에 해당하는 신호들이 입력되면(단계 S5), 사용자 입력부(INP)로부터의 입력 신호들에 따라 동작 조건들을 설정하기 위한 설정 모드가 수행된다(단계 S6).
한편, 종료 신호가 발생되지 않으면(단계 S7), 디지털 카메라 프로세서(507)는 임의의 또다른 모드로의 변환 신호가 발생되었는지를 판단한다(단계 S8).
상기 단계 S8에서 임의의 또다른 모드로의 변환 신호가 발생되지 않았으면, 디지털 카메라 프로세서(507)는 상기 단계 S2 및 그 다음 단계들을 반복 수행한다. 상기 단계 S8에서 임의의 또다른 모드 예를 들어, 재생 모드로의 변환 신호가 발생 되었으면, 디지털 카메라 프로세서(507)는 해당 모드를 수행(단계 S9)한 후에 상기 단계 S2 및 그 다음 단계들을 반복 수행한다.
도 6은 도 5의 촬영 모드 수행(단계 S4)의 알고리즘을 보여준다. 도 1, 3 내지 6을 참조하여, 도 6의 촬영 모드 수행(단계 S4)의 알고리즘을 설명하면 다음과 같다. 이 알고리즘의 수행은 셔터 릴리즈 버튼으로부터의 1단 신호인 SH1 신호가 온(On) 상태인 경우에 시작된다. 여기에서, 줌 렌즈(ZL)의 현재 위치는 이미 설정된 상태이다.
먼저, 디지털 카메라 프로세서(507)는, 메모리 카드의 잔량을 검사하여(단계 S4101), 화소 데이터를 기록할 수 있는 용량인지를 확인한다(단계 S4103). 기록 가능한 용량이 아닌 경우, 디지털 카메라 프로세서(507)는 메모리 카드의 용량이 부족함을 표시한 후, 일반 촬영 모드의 수행(S43)을 종료한다(단계 S4105). 기록 가능한 용량인 경우, 아래의 단계들이 수행된다.
먼저, 디지털 카메라 프로세서(507)는, 현재 설정되어 있는 촬영 조건들에 따라 백색 균형(White Balance) 설정을 수행하여 백색 균형과 관련된 파라메터들을 설정한다(단계 S4107).
다음에, 자동 포커싱(Automatic Focusing) 모드이면(단계 S4109), 디지털 카메라 프로세서(507)는 자동 포커싱을 수행한다(단계 S4111). 설정 모드 수행 단계(S6)에서 얼굴 인식 모드가 설정된 경우의 자동 포커싱 수행(단계 S4111)의 알고리즘은 도 7 내지 11을 참조하여 상세히 설명될 것이다.
다음에, 디지털 카메라 프로세서(507)는 셔터 릴리즈 버튼으로부터의 1단 신 호인 SH1 신호가 온(On) 상태이면(단계 S4109) 아래의 단계들을 계속 수행한다.
먼저, 디지털 카메라 프로세서(507)는 SH1 및 SH2 신호들이 온(On) 상태인지를 확인한다(단계들 S4113 및 S4115). SH2 신호가 온(On) 상태가 아니면, 사용자가 촬영을 위하여 셔터 릴리즈 버튼(13)의 제2단을 누르지 않은 상태이므로, 디지털 카메라 프로세서(507)는 상기 단계들 S4113 및 S4115를 반복 수행한다. 여기에서, SH1 신호가 온(On) 상태가 아니면, 사용자의 촬영 의도가 없으므로 촬영 모드(단계 S4)가 종료된다.
SH2 신호가 온(On) 상태이면, 사용자가 촬영을 위하여 셔터 릴리즈 버튼(13)의 제2단을 누른 상태이므로, 디지털 카메라 프로세서(507)는 기록 매체로서의 메모리 카드에 영상 파일을 생성한다(단계 S4117). 이어서 디지털 카메라 프로세서(507)는 영상 포착을 수행한다(단계 S4119). 즉, 디지털 카메라 프로세서(507)는 CDS-ADC 소자(501)로부터의 영상 데이터를 수신한다. 다음에, 디지털 카메라 프로세서(507)는 수신된 영상 데이터를 압축시킨다(단계 S4121). 그리고, 디지털 카메라 프로세서(507)는 압축된 영상 데이터를 영상 파일에 저장한다(단계 S4123).
도 7은 도 5의 설정 모드 수행 단계(S6)에서 얼굴 인식 모드가 설정된 경우에 도 6의 자동 포커싱 수행(단계 S4111)의 알고리즘을 보여준다. 도 8은 도 7의 단계들 S705, S709, 및 S711에서 포커싱 수행의 원리를 설명하기 위한 그래프이다. 도 9는 도 7의 단계 S701에서 복수의 얼굴들이 검출된 경우에 디스플레이되는 영상의 예를 보여준다. 도 10은 조리개 폐쇄값이 큰 경우의 초점 심도를 보여준다. 도 11은 조리개 폐쇄값이 적은 경우의 초점 심도와 착란원들을 보여준다.
도 8에서 참조 부호 DS는 포커스 렌즈(도 4의 FL)의 위치로서의 구동 스텝 수를 가리킨다. 참조 부호 FV는 인접 화소 데이터 사이의 차이 값들이 합산되어 그 결과 즉, 인접 화소 데이터 사이의 평균 콘트라스트라 불리어질 수 있는 포커스 값을 가리킨다. 참조 부호 DSI는 설정된 상한 위치에서의 포커스 렌즈(FL)의 구동 스텝 수를 가리킨다. 참조 부호 DSFOC는 설정 이동 영역(DSI 내지 DSS)의 최대 포커스 값(FVMAX)의 위치에서의 포커스 렌즈(FL)의 구동 스텝 수를, 그리고 DSS는 설정된 하한 위치에서의 포커스 렌즈(FL)의 구동 스텝 수를 각각 가리킨다.
도 9에서 참조 부호 35는 디스플레이 패널을, 91 및 92는 초점 심도의 환산 영역에 포함되는 포커스 위치들의 얼굴 영역들에 대한 마크들(marks)을 가리킨다.
도 10 및 11에서 참조 부호 101은 조리개(aperture)를, PF는 초점을, DF는 초점 심도를, 112는 상면(相面)을, 그리고 113은 착란원들을 각각 가리킨다.
잘 알려져 있는 바와 같이, 착란원들(113)이란 초점(PF)이 정확하게 맞지 않았을 때 상면(112) 상에 퍼지는 초점의 타원들을 가리킨다. 여기에서, 사람이 초점이 맞추어졌다고 허용할 수 있는 착란원을 허용 착란원이라 한다. 통상적으로 허용 착란원의 장방향 지름은 광전 변환부(OEC)의 단위 화소 지름의 2배로 설정된다.
잘 알려져 있는 바와 같이, 초점 심도란 영상의 선명도가 떨어지지 않음에 의하여 초점이 맞추어졌다고 허용할 수 있는 초점 범위의 값을 의미한다. 이 초점 심도는 상기 허용 착란원의 장방향 지름과 조리개(101)의 폐쇄값을 곱한 결과로서 설정된다.
여기에서, 포커스 렌즈(도 4의 FL)가 포커스 모터(도 3의 MF)에 의하여 스텝 단위로 이동하므로, 초점 심도가 포커스 모터(MF)의 스텝 수로 환산됨에 의하여 초점 심도의 환산 영역이 설정된다. 본 실시예의 경우, 초점 심도를 DFC, 렌즈부(20)의 배율을 XFL, 단위 스텝에서 포커스 렌즈(FL)의 이동 거리(흔히 단위 조출량이라 함)를 DFL이라 하면 초점 심도 DFC의 환산 영역 NSS는 아래의 수학식 1에 의하여 계산된다.
Figure 112007077401471-pat00001
도 7 내지 11을 참조하여, 도 5의 설정 모드 수행 단계(S6)에서 얼굴 인식 모드가 설정된 경우에 도 6의 자동 포커싱 수행(단계 S4111)의 알고리즘을 설명하면 다음과 같다.
먼저, 디지털 카메라 프로세서(도 3의 507)는 잘 알려진 얼굴 인식 알고리즘에 의한 얼굴 인식 모드를 수행하여 얼굴(들)을 검출한다(단계 S701).
상기한 바와 같이, 얼굴 인식을 위하여 다양한 기술들이 공개되어 있다. 예를 들어, 빠른 인식 속도가 요구되는 경우, 얼굴의 기하학적인 특징들을 이용한 얼 굴 인식 기술이 적합하다. 이 기술은 다양한 얼굴 인식 기술들 중에서 가장 보편적으로 사용된다. 이 기술은, 눈, 코, 입과 같은 얼굴의 특징점들의 위치, 크기, 및 이들 사이의 거리와 같은 기하학적 인자들을 사용하여 개인들 각각의 얼굴을 인식하는 것이다. 여기에서 상기와 같은 기하학적 특징들은 입력 영상의 해상도를 낮추었을 때에 최종적으로 남는 요소들에 포함된다.
얼굴 인식 모드(단계 S701)의 수행 후, 디지털 카메라 프로세서(도 3의 507)는 얼굴(들)이 검출되었는지를 판단한다(단계 S703).
상기 단계 S703에서 얼굴이 검출되지 않았으면, 디지털 카메라 프로세서(507)는 설정 기준 영역에 대하여 포커싱을 수행하여, 포커스 렌즈(FL)를 포커스 위치로 이동시킨다(단계 S705). 여기에서, 설정 기준 영역은 본 실시예의 경우에 중앙 영역에 해당된다.
상기 단계 S705에 있어서, 설정 이동 영역(DSI 내지 DSS) 내에서 포커스 렌즈(FL)가 단계적으로 이동되면서 포커스 렌즈(FL)의 위치 각각에 대한 포커스 값(FV)이 산출된다(도 8 참조). 또한, 산출된 포커스 값들(FV) 중에서 설정 이동 영역(DSI 내지 DSS)의 최대 포커스 값(FVMAX)이 찾아지고, 이 최대 포커스 값(FVMAX)의 위치로 포커스 렌즈(FL)가 최종적으로 이동된다.
다음에, 디지털 카메라 프로세서(507)는 설정 노광량에 따라 설정된 조리개 폐쇄값에 따라 조리개(101)를 구동한다(단계 S717). 또한, 디지털 카메라 프로세서(507)는, 설정 노광량을 얻을 수 있도록, 감도 즉, ISO(International Standards Organization) 감도와 셔터 속도를 설정한다(단계 S719).
여기에서, 입력 영상의 평균 계조에 따라 설정된 노광량을 EV, 감도 값(Sensitivity Value)을 SV, 셔터 속도에 대응하는 시간 값(Time Value)을 TV, 그리고 조리개 폐쇄값에 대응하는 조리개 값(Aperture Value)을 AV라 하면, 아래의 수학식 2가 적용된다.
EV = TV + AV - SV + 5
한편, 상기 단계 S703에서 얼굴이 검출되었으면, 디지털 카메라 프로세서(507)는 복수의 얼굴들이 검출되었는지를 판단한다(단계 S707).
상기 단계 S707에서 복수의 얼굴들이 검출되지 않고 단일 얼굴만이 검출되었으면, 디지털 카메라 프로세서(507)는 검출된 얼굴 영역에 대하여 포커싱을 수행하여, 포커스 렌즈(FL)를 포커스 위치로 이동시킨다(단계 S709). 이 단계 S709의 수행 과정은 상기 단계 S705에서 상세히 설명된 바와 같다. 다만, 영상 데이터의 분석 대상 영역만이 다를 뿐이다.
다음에, 디지털 카메라 프로세서(507)는 검출된 얼굴 영역에 대하여 마킹을 수행한다(단계 S710).
다음에, 디지털 카메라 프로세서(507)는 설정 노광량에 따라 설정된 조리개 폐쇄값에 따라 조리개(101)를 구동한다(단계 S717). 또한, 디지털 카메라 프로세서(507)는, 설정 노광량을 얻을 수 있도록, 감도 즉, ISO(International Standards Organization) 감도와 셔터 속도를 설정한다(단계 S719).
한편, 상기 단계 S707에서 복수의 얼굴들이 검출되었으면, 촬영 직전 즉, 사용자가 촬영을 위하여 셔터 릴리즈 버튼(13)의 제2단을 누르기(도 6의 단계 S4115 참조) 전에 포커싱과 관련하여 사용자가 원하는 구도를 정확하게 설정할 수 있게 하기 위하여, 디지털 카메라 프로세서(507)는 다음 단계들을 수행한다.
먼저, 디지털 카메라 프로세서(507)는, 검출된 복수의 얼굴 영역들 각각에 대하여 포커싱을 수행하여, 포커스 위치들을 구한다(단계 S711). 여기에서, 어느 한 얼굴 영역에 대한 포커싱 과정은 상기 단계 S705에서 상세히 설명된 바와 같다. 다만, 서로 다른 얼굴 영역들에 대하여 포커싱이 동시에 수행될 뿐이다.
다음에, 디지털 카메라 프로세서(507)는, 대표 얼굴 영역으로서 가장 가까운 거리 또는 화면의 중심에 있는 얼굴 영역의 포커스 위치로 포커스 렌즈(FL)를 이동시킨다(단계 S713).
다음에, 디지털 카메라 프로세서(507)는, 초점 심도 DFC의 환산 영역 NSS에 포함되는 포커스 위치들의 얼굴 영역들(91, 92)에 대하여 마킹을 수행한다(단계 S715).
이에 따라, 촬영 직전 즉, 사용자가 촬영을 위하여 셔터 릴리즈 버튼(13)의 제2단을 누르기(도 6의 단계 S4115 참조) 전에 사용자는 포커싱과 관련하여 원하는 구도를 정확하게 설정할 수 있다.
다음에, 디지털 카메라 프로세서(507)는 설정 노광량에 따라 설정된 조리개 폐쇄값에 따라 조리개(101)를 구동한다(단계 S717). 또한, 디지털 카메라 프로세 서(507)는, 설정 노광량을 얻을 수 있도록, 감도 즉, ISO(International Standards Organization) 감도와 셔터 속도를 설정한다(단계 S719).
이상 설명된 바와 같이, 본 발명에 따른 디지털 영상 처리 장치의 제어 방법 및 이 방법을 채용한 디지털 영상 처리 장치에 의하면, 포커스 위치들 중에서 초점 심도의 환산 영역에 포함되는 포커스 위치들의 얼굴 영역들에 대하여 마킹이 수행된다. 이에 따라, 사용자는 다수의 얼굴들 중에서 포커싱 범위에 위치한 얼굴들과 그렇지 않은 얼굴들을 알 수 있다. 따라서, 포커싱과 관련하여 사용자는 촬영 직전에 자신이 원하는 구도를 정확하게 설정할 수 있다.
본 발명은, 상기 실시예에 한정되지 않고, 청구범위에서 정의된 발명의 사상 및 범위 내에서 당업자에 의하여 변형 및 개량될 수 있다.
도 1은 본 발명에 따른 제어 방법이 채용된 디지털 영상 처리 장치로서의 디지털 카메라의 앞쪽 및 윗쪽 외형을 보여주는 사시도이다.
도 2는 도 1의 디지털 카메라의 뒤쪽 외형을 보여주는 배면도이다.
도 3은 도 1의 디지털 카메라의 전체적 구성을 보여주는 도면이다.
도 4는 도 1의 디지털 카메라의 입사측 구조를 보여주는 도면이다.
도 5는 도 3의 디지털 카메라 프로세서의 주 알고리즘을 보여주는 흐름도이다.
도 6은 도 5의 촬영 모드 수행의 알고리즘을 보여주는 흐름도이다.
도 7은 도 5의 설정 모드 수행 단계에서 얼굴 인식 모드가 설정된 경우에 도 6의 자동 포커싱 수행의 알고리즘을 보여주는 흐름도이다.
도 8은 도 7의 단계들 S705, S709, 및 S711에서 포커싱 수행의 원리를 설명하기 위한 그래프이다.
도 9는 도 7의 단계 S701에서 복수의 얼굴들이 검출된 경우에 디스플레이되는 영상의 예를 보여주는 도면이다.
도 10은 조리개 폐쇄값이 큰 경우의 초점 심도를 보여주는 도면이다.
도 11은 조리개 폐쇄값이 적은 경우의 초점 심도와 착란원들을 보여주는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
1...디지털 카메라, 11...셀프-타이머 램프,
12...플래시, 13...셔터 릴리즈 버튼,
15...기능 버튼들, 16...ASR 모드 버튼,
17...전원 버튼, 19...플래시-광량 센서, 20...렌즈부, 22...카메라-상태 램프,
23...특수-효과 버튼, 24...카메라 끈걸이,
25...이어폰 연결부, MIC...마이크로폰,
SP...스피커, 35...디스플레이 패널,
36...+/- 버튼, 39...줌/9분할/볼륨 버튼,
42...재생/프린터 버튼, 43...모드 버튼,
OPS...광학계, OEC...광전 변환부, MZ...줌 모터, MF...포커스 모터,
MA...조리개(aperture) 모터, 501...아날로그-디지털 변환부,
502...타이밍 회로, 503...실시간 클럭,
504...DRAM, 505...EEPROM, 506...메모리 카드 인터페이스, 507...디지털 카메라 프로세서, 508...RS232C 인터페이스, 509...비디오 필터, 21a...USB 접속부, 21b...RS232C 접속부, 21c...비디오 출력부, 510...렌즈 구동부, 511...플래시 제어기, 512...마이크로제어기, INP...사용자 입력부, LAMP...발광부, 513...오디오 처리기, 514...LCD 구동부, 62...플래시 메모리, 101...조리개(aperture),
PF...초점, DF...초점 심도,
112...상면(相面), 113...착란원들.

Claims (8)

  1. 조리개 및 포커스 렌즈를 구비하고 얼굴 인식 모드에서 촬영을 수행하는 디지털 영상 처리 장치의 제어 방법에 있어서,
    (a) 복수의 얼굴들이 검출되면, 복수의 얼굴 영역들 각각에 대하여 포커싱을 수행하여 포커스 위치들을 구함;
    (b) 상기 복수의 얼굴 영역들 중에서 어느 한 얼굴 영역의 포커스 위치로 상기 포커스 렌즈를 이동시킴; 및
    (c) 상기 어느 한 얼굴 영역의 포커스 위치에 따라 초점 심도의 환산 영역이 계산되고, 상기 복수의 얼굴 영역들 중 상기 계산된 초점 심도의 환산 영역에 포함되는 포커스 위치들의 얼굴 영역들에 대하여 마킹을 수행함을 포함한 디지털 영상 처리 장치의 제어 방법.
  2. 제1항에 있어서,
    (d) 설정 조리개 폐쇄값에 따라 상기 조리개를 구동함을 더 포함한 디지털 영상 처리 장치의 제어 방법.
  3. 제2항에 있어서, 상기 단계 (c)에서,
    허용 착란원의 장방향 지름에 상기 설정 조리개 폐쇄값을 곱한 결과가 상기 초점 심도가 되는 디지털 영상 처리 장치의 제어 방법.
  4. 제3항에 있어서, 상기 단계 (b)에서,
    상기 포커스 렌즈가 포커스 모터에 의하여 스텝 단위로 이동하는 디지털 영상 처리 장치의 제어 방법.
  5. 제4항에 있어서, 상기 단계 (c)에서,
    상기 초점 심도가 상기 포커스 모터의 스텝 수로 환산됨에 의하여 상기 초점 심도의 환산 영역이 설정되는 디지털 영상 처리 장치의 제어 방법.
  6. 제2항에 있어서,
    (e) 설정 노광량을 얻을 수 있도록 감도 및/또는 셔터 속도를 설정하는 단계를 더 포함한 디지털 영상 처리 장치의 제어 방법.
  7. 제6항에 있어서,
    (f) 상기 단계들 (a) 내지 (e)가 수행되면 영상을 포착하는 단계를 더 포함한 디지털 영상 처리 장치의 제어 방법.
  8. 조리개, 포커스 렌즈, 및 주 제어기를 구비하고 얼굴 인식 모드에서 촬영을 수행하는 디지털 영상 처리 장치에 있어서,
    상기 주 제어기가 제1항 내지 제7항의 제어 방법들 중에서 어느 하나를 채용하여 동작하는 디지털 영상 처리 장치.
KR1020070108863A 2007-10-29 2007-10-29 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치 KR101411908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070108863A KR101411908B1 (ko) 2007-10-29 2007-10-29 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070108863A KR101411908B1 (ko) 2007-10-29 2007-10-29 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20090043159A KR20090043159A (ko) 2009-05-06
KR101411908B1 true KR101411908B1 (ko) 2014-07-02

Family

ID=40854041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070108863A KR101411908B1 (ko) 2007-10-29 2007-10-29 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치

Country Status (1)

Country Link
KR (1) KR101411908B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210514B (zh) * 2016-07-04 2019-04-12 Oppo广东移动通信有限公司 拍照对焦的方法、装置及智能设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (ja) 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006145629A (ja) 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (ja) 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006145629A (ja) 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置

Also Published As

Publication number Publication date
KR20090043159A (ko) 2009-05-06

Similar Documents

Publication Publication Date Title
KR100627048B1 (ko) 디지털 카메라의 제어방법
KR100503039B1 (ko) 사용자가 쉽게 증명 사진을 촬영할 수 있도록 디지털카메라의동작을 제어하는 방법
KR100821801B1 (ko) 촬상장치 및 오토포커스 제어방법
US8654203B2 (en) Imaging device controlling operation of a zoom lens and a focus lens to create movie image data
US20070230933A1 (en) Device and method for controlling flash
US10334336B2 (en) Method of controlling digital photographing apparatus and digital photographing apparatus using the same
KR101398475B1 (ko) 디지털 영상 처리장치 및 그 제어방법
US20060087578A1 (en) Method of controlling digital photographing apparatus for out-focusing operation and digital photographing apparatus adopting the method
KR101396326B1 (ko) 얼굴 검출을 위한 디지털 영상 처리 장치의 제어 방법 및이 방법을 채용한 디지털 영상 처리 장치
US8478004B2 (en) Method of controlling digital image processing apparatus for performing moving picture photographing mode, and digital image processing apparatus using the method
KR101510101B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR101603213B1 (ko) 손떨림 보정 방법 및 이 방법을 채용한 디지털 촬영 장치
KR101411908B1 (ko) 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
KR20090032294A (ko) 효과적 포커싱을 위한 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
KR101427653B1 (ko) 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
KR101369751B1 (ko) 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
KR101304466B1 (ko) 연속 촬영 모드가 수행되는 디지털 영상 처리 장치의 제어방법
KR101080404B1 (ko) 동영상을 정지 영상화하여 트리밍 하는 방법
KR101345292B1 (ko) 얼굴 영역이 효율적으로 검색되는 디지털 영상 처리 장치의제어 방법, 및 이 방법을 채용한 디지털 영상 처리 장치
KR101417809B1 (ko) 스티커 합성이 수행되는 디지털 영상 처리 장치의 제어방법 및 이 방법을 채용한 디지털 영상 처리 장치
KR101436834B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR100548005B1 (ko) 디지털 촬영 장치의 제어 방법 및 이 방법을 사용한디지털 촬영 장치
KR20100070053A (ko) 디지털 영상 처리장치 및 그 제어방법
KR20100075154A (ko) 영상의 흔들림을 판단하는 디지털 영상 신호 처리 장치의 제어 방법, 이를 기록한 기록 매체, 및 상기 제어 방법에 의해 실행하는 디지털 영상 신호 처리 장치
KR20090030492A (ko) 디지털 영상처리 장치의 제어 방법 및 이 방법을 채용한디지털 영상처리 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5