KR20080016253A - Facial disguise discrimination apparatus and method - Google Patents

Facial disguise discrimination apparatus and method Download PDF

Info

Publication number
KR20080016253A
KR20080016253A KR1020060078107A KR20060078107A KR20080016253A KR 20080016253 A KR20080016253 A KR 20080016253A KR 1020060078107 A KR1020060078107 A KR 1020060078107A KR 20060078107 A KR20060078107 A KR 20060078107A KR 20080016253 A KR20080016253 A KR 20080016253A
Authority
KR
South Korea
Prior art keywords
face
image
area
camouflage
detected
Prior art date
Application number
KR1020060078107A
Other languages
Korean (ko)
Other versions
KR100825689B1 (en
Inventor
김대진
최인호
전봉진
Original Assignee
학교법인 포항공과대학교
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 포항공과대학교, 포항공과대학교 산학협력단 filed Critical 학교법인 포항공과대학교
Priority to KR1020060078107A priority Critical patent/KR100825689B1/en
Publication of KR20080016253A publication Critical patent/KR20080016253A/en
Application granted granted Critical
Publication of KR100825689B1 publication Critical patent/KR100825689B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

A device and a method for discriminating a disguised face are provided to prevent illegal banking transaction in automatic banking devices such as an ATM(Automated Teller Machine) and a CD(Cash Dispenser) by discriminating the disguised face at high speed to minimize external environmental effect, such as weather, lighting, angle, and background, applied to a system. A motion detector detects motion by applying MCT(Modified Census Transform) to an inputted image. A candidate area selector selects a candidate area by separating a rear area of the face(308). An image detecting/image controlling part determines a face detection result, and performs face area separation and preprocess when the face is detected(312). An eye detector detects and separates an eye area from the face image(314). An eye disguise determining/processing part determines a disguised eye from the detected eye area(316). A lip detector detects and separates a lip area from the face image(318). A lip disguise determining/processing part determines a disguised lip from the detected lip area(320). A normal face determiner determines the detected face as the normal face when the lip is detected(324).

Description

얼굴 위장 판별 장치 및 방법{Facial Disguise Discrimination Apparatus and method}Facial Disguise Discrimination Apparatus and Method

도 1은 기존의 수정 센서스 변환 (modified census transform)용 룩업테이블(Lookup Table)을 나타내는 개념도이다.FIG. 1 is a conceptual diagram illustrating a lookup table for a conventional modified census transform.

도 2는 본 발명에 따라서, 수정 센서스 변환 (modified census transform)용 룩업테이블(Lookup Table)에 하나의 룩업테이블(Lookup Table)을 하나 더 추가하여 전체 크기를 줄임을 나타내는 개념도이다.FIG. 2 is a conceptual diagram illustrating the reduction of the overall size by adding one more lookup table to a lookup table for a modified census transform according to the present invention.

도 3은 본 발명에 의한 얼굴 위장 판별 방법의 얼굴, 눈, 입 검출 알고리즘을 나타낸 플로우챠트이다.3 is a flowchart illustrating a face, eyes and mouth detection algorithm of the facial camouflage discrimination method according to the present invention.

도 4는 본 발명에 의한 얼굴 위장 판별 장치의 핵심 구조를 나타낸 블록도이다.Figure 4 is a block diagram showing the key structure of the facial camouflage discrimination apparatus according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10...입력 영상부 20...움직임 검출부10 ... input imager 20 ... motion detector

30...후보 영역 선택부 40...얼굴검출 및 이미지조절부30 ... candidate area selector 40 ... face detection and image control unit

50...눈 검출부 60...입 검출부50 ... eye detector 60 ... mouth detector

70...정상 얼굴 검출부 80...눈 위장 판별 및 처리부70.Normal face detector 80.Eye stomach identification and processing unit

90...입 위장 판별 및 처리부 100...정상 얼굴 처리부90 Mouth Stomach Discrimination and Treatment Unit 100 Normal Face Treatment Unit

110...완료 판단제어부110.Complete judgment control unit

본 발명은 CD, ATM등의 금융자동화기기의 금융거래에 있어서 부정 거래를 방지하기 위한 얼굴 위장 판별 장치 및 방법에 관한 것으로, 보다 상세하게는 신뢰성이 낮은 얼굴 즉, 눈, 입 등을 모자, 선글라스, 마스크 등으로 위장한 얼굴을 가진 사용자가 금융 거래를 시도하는 경우 부정 거래로 인식하여 금융거래가 일어나지 않도록 하기 위한 얼굴 위장 판별 장치 및 방법에 관한 것이다.The present invention relates to a face camouflage discrimination apparatus and method for preventing fraudulent transactions in financial transactions of automated teller machines, such as CDs and ATMs. The present invention relates to a face camouflage discrimination apparatus and method for preventing a financial transaction from occurring by recognizing a fraudulent transaction when a user having a face disguised as a mask or the like attempts a financial transaction.

본 발명에서의 부정 거래라 함은 신뢰성이 낮은 얼굴 즉, 눈, 입 등을 모자, 선글라스, 마스크 등으로 위장한 얼굴을 가진 사용자가 시도하는 금융 거래를 말한다.In the present invention, a fraudulent transaction refers to a financial transaction that is attempted by a user having a face with low reliability, that is, a face disguised as a hat, sunglasses, a mask, or the like.

기존의 금융자동화기기는 현금 인출 카드, 사용자 식별을 위한 고유번호 및 비밀번호, 지문, 휴대폰 인증 등을 통하여 본인 확인 및 금융 거래의 허가를 하였다. 현재 CD, ATM등의 금융자동화기기를 통한 금융거래는 상당히 방대해지고 있으며 금융 거래 시 카드 사용량은 많아졌지만 사용 보안에 대한 부분은 제자리걸음을 하고 있다. 또한 금융자동화기기에서 타인의 비밀번호 등을 도용하는 금융사고 발생으로 인해 고객의 불안은 증가하고 있다. Existing financial automated devices have authorized identity verification and financial transactions through cash withdrawal cards, unique numbers and passwords for user identification, fingerprints, and mobile phone authentication. At present, financial transactions through automated teller machines such as CDs and ATMs have become quite large, and the amount of card use has increased during financial transactions, but the security of use is still in place. In addition, customers' anxiety is increasing due to financial accidents that steal other people's passwords.

이러한 이유로 금융자동화기기는 카메라를 통하여 사용자의 사진을 촬영하고 있지만, 얼굴을 위장한 경우는 사진이 전혀 도움이 되지 않으므로 얼굴의 위장을 판별하여 신뢰성이 낮은 얼굴의 경우에는 금융 거래를 제한하여 부정 거래를 미연에 방지할 수 있도록 하는 기술이 개발이 되고 있다.For this reason, automated teller machines are taking pictures of users through cameras, but in the case of disguising the face, the picture is not helpful at all, so the disguise of the face is determined. Techniques have been developed to prevent this in advance.

기존에 개발된 기술엔 얼굴 및 얼굴 부위의 윤곽선 추출을 통하여 위장 여부를 판별하는 기술, 얼굴의 색상정보를 이용하여 얼굴을 검출하고 검출된 얼굴을 바탕으로 윤곽선 정보를 이용하여 얼굴의 각 부위를 검출하여 위장 여부를 판별하는 기술이 있다.Previously developed technologies are used to determine the camouflage by extracting the contours of the face and face, detect the face using the color information of the face, and detect each part of the face using the contour information based on the detected face. There is a technique for determining whether the camouflage.

하지만 이러한 기술의 문제점은 날씨, 조명, 각도, 배경 등에 영향을 받기 때문에 은행 창구에서 거래를 하거나 상담원이 영상을 확인한 후에 거래를 하는 등의 부차적인 문제점이 있다.However, the problem of this technology is that it is affected by the weather, lighting, angle, background, etc., there is a secondary problem such as making a transaction at the bank teller or after the counselor checks the image.

상술한 종래의 나열된 문제점들을 해결하기 위해 본 발명에서는 날씨, 조명, 각도, 배경 등의 외부 환경이 시스템에 미치는 영향을 최소화하며 고속의 처리가 가능한 얼굴 위장 판별 장치 및 방법을 제공하는 데에 그 목적이 있다.In order to solve the above-listed problems, the present invention provides a face camouflage discrimination apparatus and method capable of processing at high speed while minimizing the influence of the external environment such as weather, lighting, angle, and background on the system. There is this.

본 발명에서는 구체적으로는 얼굴 및 얼굴 부위의 특징점 추출을 통하여 정상적인 얼굴과 비정상적인 얼굴을 구분하고 조명 변화에 강인하며 고속의 처리가 가능한 얼굴 위장 판별 장치 및 방법을 제공한다.Specifically, the present invention provides a facial camouflage discrimination apparatus and method that distinguishes a normal face from an abnormal face by extracting feature points of a face and a part of a face, is robust to a change in illumination, and enables high-speed processing.

본 발명은 상술한 기술적 과제를 달성하기 위하여, 본 발명의 얼굴 위장 판별 방법은 사용자 정보 입력 장치에 입력되는 사용자 얼굴 영상을 받아서 얼굴 및 비얼굴여부를 판별하는 얼굴 위장 판별 방법에 있어서, 수정 센서스 변환 (modified census transform)과 같은 영상 변환을 통하여 얼굴 검출용 아다부스트(AdaBoost)알고리즘을 이용하여 영상에서의 특징점을 추출하여 학습하는 학습단계; 및 영상이 들어왔을 때 어떤 영상인지 판별하는 테스트단계를 포함한다.The present invention provides a face camouflage determination method according to the present invention, in the face camouflage determination method for receiving a face image input to the user information input device to determine whether the face and non-face, correction census transformation a learning step of extracting and learning feature points from an image by using an AdaBoost algorithm for face detection through image transformation such as modified census transform; And a test step of determining which image is the image when the image is received.

바람직하기로는 상기 입력 영상에 대해서 수정 센서스 변환 (modified census transform)을 적용하여 특징(feature) 값을 추출하고, 추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로써 표준 특징 값 그룹인 룩업테이블(Lookup Table)을 얻어내고, 상기 얻어진 룩업테이블(Lookup Table)의 특징 값을 이용하여 실제 얼굴 검출을 수행함을 특징으로 한다.Preferably, a feature value is extracted by applying a modified census transform to the input image, and face detection learning is performed using the extracted feature value to look up a standard feature value group. A lookup table is obtained and actual face detection is performed by using feature values of the lookup table.

바람직하기로는 상기 얼굴 검출은 눈 또는 입을 검출함을 특징으로 한다.Preferably, the face detection is characterized by detecting eyes or mouth.

바람직하기로는 적은 저장 공간을 사용하기 위해서, 기존의 수정 센서스 변환(modified census transform)과 아다부스트(AdaBoost)를 혼합한 방법을 수정하여 룩업테이블을 추가하는 것을 특징으로 한다.Preferably, in order to use less storage space, a lookup table is added by modifying a method of mixing an existing modified census transform and AdaBoost.

본 발명은 상술한 다른 기술적 과제를 달성하기 위하여, 사용자 정보 입력 장치에 입력되는 사용자 얼굴 영상으로부터 얼굴 위장 여부를 판별하는 얼굴 위장 판별 장치에 있어서, 입력된 영상의 움직임을 검출하고 후보영역을 선택하여 얼굴 검출 및 이미지 조절을 하는 얼굴 검출부; 상기 얼굴 검출부에서 얼굴로 검출되면 얼굴 부위 가려짐을 판단하기 위하여 눈 또는 입을 검출하는 얼굴부위 검출부; 및 상기 얼굴부위 검출부로부터 정상 얼굴로 판별되는 경우 금융자동화기기에서 얼굴이 가려진 경우의 사용을 방지하여 부정 거래를 방지하는 신호를 출력하는 얼굴 위장 판별 장치를 제공한다.The present invention provides a face camouflage discrimination apparatus for discriminating whether a face is camouflaged from a user face image input to a user information input device in order to achieve the above technical problem, by detecting a movement of the input image and selecting a candidate region. A face detector for face detection and image adjustment; A face portion detector for detecting eyes or mouth when the face detector detects a face to detect occlusion of the face portion; And a face camouflage discrimination apparatus for outputting a signal to prevent fraudulent transactions by preventing the use of a face covered by the automatic teller machine when the face is detected as a normal face.

바람직하기로는 사용자가 최초로 기기를 동작시키는 순간부터 금융거래를 하기 직전까지의 사용자 영상 정보를 바탕으로 정상 얼굴과 비정상 얼굴을 구분하여 부정 거래를 방지한다.Preferably, a fraudulent transaction is prevented by classifying a normal face and an abnormal face based on the user image information from the moment the user first operates the device to just before making a financial transaction.

바람직하기로는 상기 금융자동화기기는 현금자동지급기 또는 현금자동입출금기이며, 상기 사용자 정보 입력 장치는 현금 인출 카드리더기, 사용자 식별번호 및 비밀번호를 입력하는 키보드, 또는 키오스크로 한다.Preferably, the automatic teller machine is a cash dispenser or an automated teller machine, and the user information input device is a cash withdrawal card reader, a keyboard for inputting a user identification number and a password, or a kiosk.

이하, 첨부된 도면을 참조하여 본 발명의 상세한 실시예를 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

금융자동화기기에서는 사용자가 접근하여 기기를 조작하고, 금융거래를 시도하여야 하는데, 본 발명에 의하면, 사용자가 접근하여 기기를 조작하는 순간부터 금융거래를 시도하는 순간까지의 카메라 영상을 분석하여 정상적인 얼굴과 비정상적인 얼굴을 구분하여 정상적인 얼굴일 경우에만, 시도된 금융거래를 허가하여 부정 거래를 미연에 방지하고자 한다.In the automated teller machine, the user must approach the device and attempt a financial transaction. According to the present invention, a normal face is analyzed by analyzing a camera image from the moment when the user approaches the device and attempts a financial transaction. We want to prevent fraudulent transactions by permitting attempted financial transactions only when normal faces are distinguished from normal faces.

본 발명의 얼굴 위장 판별 장치 및 방법은 수정 센서스 변환 (modified census transform)과 같은 영상 변환을 통하여 얼굴 검출용 아다부스트(AdaBoost)알고리즘을 이용하여 영상에서의 특징점을 추출하여 학습하는 학습단계, 영상이 들어왔을 때 어떤 영상인지 판별하는 테스트단계로 구성된다.The apparatus and method for discriminating facial camouflage according to the present invention includes a learning step of extracting and learning feature points from an image using an AdaBoost algorithm for face detection through image transformation such as a modified census transform. It consists of a test step to determine what kind of image when it comes in.

도 1에는 기존의 수정 센서스 변환 (modified census transform)에 대한 룩업테이블(Lookup Table)을 나타내고 있다. 기존 수정 센서스 변환 (modified census transform)은 20x20x512x4byte 라는 룩업테이블을 담을 수 있는 저장공간이 필요하였으나, 본 발명에서는 도 2에서처럼 하나의 룩업테이블을 추가하여 전체 저 장공간의 크기를 줄였다. 또한 수정 센서스 변환 (modified census transform)은 적은 픽셀 값 변화에도 민감한 반응을 보이기 때문에 그것을 해결하기 위한 방법을 제공했다. 이 방법은 이하 설명하기로 한다. 조명 변화에 강인한 얼굴 검출 방에 있어서, 입력 영상에 대해서 수정 센서스 변환 (modified census transform)을 적용하여 특징(feature) 값을 추출하고, 추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로써 표준 특징 값 그룹인 룩업테이블(Lookup Table)을 얻어내고, 상기 얻어진 룩업테이블(Lookup Table)의 특징 값을 이용하여 실제 얼굴 검출을 수행함으로써, 조명 변화에 강인한 얼굴 검출 방법을 제공한다.1 illustrates a lookup table for a conventional modified census transform. Conventional modified census transform required storage space to hold a lookup table of 20x20x512x4byte, but the present invention reduced the size of the entire storage space by adding one lookup table as shown in FIG. The modified census transform also provides a way to solve it because it is sensitive to small pixel value changes. This method will be described below. In the face detection room robust to the illumination change, a feature value is extracted by applying a modified census transform to an input image, and face detection learning is performed using the extracted feature value. By providing a lookup table, which is a standard feature value group, and performing face detection using the feature values of the lookup table, a face detection method that is robust to changes in illumination is provided.

상기 수정 센서스 변환은 예를 들면, 아래의 수학식을 적용하여 수행된다.The correction census transformation is performed by applying the following equation, for example.

(수학식)(Mathematical formula)

Figure 112006058774933-PAT00001
Figure 112006058774933-PAT00001

여기서,

Figure 112006058774933-PAT00002
는 (
Figure 112006058774933-PAT00003
)픽셀 주변의 3x3 영역의 픽셀의 평균값이고,
Figure 112006058774933-PAT00004
는 (
Figure 112006058774933-PAT00005
)위치의 픽셀 값을 나타낸다. 픽셀 값의 작은 변화에 민감한 반응을 하는 것을 방지하기 위해 보정계수 α를 사용한다.here,
Figure 112006058774933-PAT00002
Is (
Figure 112006058774933-PAT00003
Is the average of the pixels in the 3x3 area around the pixel,
Figure 112006058774933-PAT00004
Is (
Figure 112006058774933-PAT00005
) Indicates the pixel value of the position. The correction factor α is used to prevent sensitive reactions to small changes in pixel values.

본 발명의 학습단계에서는 얼굴과 비얼굴, 눈과 비눈, 입술과 비입술 영상을 통하여 얼굴, 눈, 입술에 대한 특징점 추출 및 반복학습을 통하여 얼굴, 눈, 입술을 구분지을 수 있는 특징점을 찾아낸다.In the learning phase of the present invention, the feature points that can distinguish the face, the eyes, and the lips are identified by extracting and repeating the feature points of the face, the eyes, and the lips through the face and the non-face, the eyes and the eyes, the lips and the non-lip images. .

본 발명의 테스트단계에서는 학습되어진 특징점을 바탕으로 새로운 영상이 들어왔을 때, 특징점들만을 가지고 얼굴과 비얼굴을 구분하며, 얼굴일 경우에 눈, 입술을 검출한다. 검출된 눈, 입술의 정보를 바탕으로 정상얼굴과 비정상얼굴을 구분지으며 비정상얼굴일 경우는 금융거래를 제한하도록 한다.In the test step of the present invention, when a new image is input based on the learned feature points, the face and non-face are distinguished using only the feature points, and the eyes and lips are detected in the case of the face. On the basis of the detected eye and lips information, normal and abnormal faces are distinguished. In case of abnormal faces, financial transactions should be restricted.

정상적인 얼굴일 경우에도 눈과 입술을 검출하지 못하는 문제점을 해결하기 위해 금융거래를 시도하는 순간의 영상만을 이용하여 정상얼굴과 비정상얼굴을 구분 짓는 것이 아니며, 금융기기를 조작하는 순간부터 금융거래 시도 순간까지의 영상을 분석하여 정상얼굴이라고 판단되는 경우에만, 접근한 사용자에게 금융 거래를 허가하도록 한다.In order to solve the problem of not detecting eyes and lips even in the case of a normal face, it is not used to distinguish between normal and abnormal faces using the image of the moment of attempting financial transactions. Only when it is determined that the normal face is analyzed by analyzing the image up to, the financial user is permitted to the approaching user.

얼굴 영상이 정상적인 경우엔 위의 얼굴 영상을 데이터베이스에 저장한다. 저장된 얼굴 영상은 향후 금융사고 발생 시 신뢰성 있는 자료로 사용될 수 있다.If the face image is normal, the face image is stored in the database. The stored face images can be used as reliable data for future financial accidents.

도 3은 본 발명에 의한 얼굴 위장 판별 방법의 얼굴, 눈, 입 검출 알고리즘을 나타낸 플로우챠트이고, 도 4는 본 발명에 의한 얼굴 위장 판별 장치의 핵심 구조를 나타낸 블록도이다.3 is a flowchart illustrating a face, eyes, and mouth detection algorithm of the facial camouflage discrimination method according to the present invention, and FIG. 4 is a block diagram showing the core structure of the apparatus for discriminating the face camouflage according to the present invention.

도 3 및 도 4는 얼굴 위장 여부 판별 과정에서 새로운 영상이 입력으로 주어질 경우, 주어진 영상에서 얼굴을 검출하고 검출된 얼굴이 정상적인 얼굴인지 비정상적인 얼굴인지를 판별하는 알고리즘 및 장치를 나타낸다.3 and 4 illustrate algorithms and apparatuses for detecting a face in a given image and determining whether the detected face is a normal face or an abnormal face when a new image is given as an input during face detection.

도 3 및 도 4에 의하면, 본 발명의 얼굴 위장 판별 장치 및 방법은 단계 300에서 장치를 카운트치(N)를 초기화하고 단계 302에서 카운트치(N)가 카운트 한계치보다 작은지를 판단한다. 단계 302에서 카운트치(N)가 카운트한계치보다 작으면 입력영상부(10)는 영상을 입력받는다(단계 304). 만일 단계 302에서 카운트치(N) 가 카운트한계치보다 같거나 크면 비정상 얼굴로 판정하고 거래를 불허가하고(단계 326) 작업을 종료한다.3 and 4, the apparatus and method for determining a facial camouflage according to the present invention initializes the count value N at step 300 and determines whether the count value N is less than the count limit at step 302. If the count value N is smaller than the count limit in step 302, the input image unit 10 receives an image (step 304). If the count value N is greater than or equal to the count limit in step 302, it is determined as an abnormal face, the transaction is not allowed (step 326), and the operation ends.

단계 304에서 영상이 입력되면, 움직임 검출부(20)는 입력 영상의 동보상기술(MCT)을 적용하여 움직임을 검출한다(306). 그 다음 후보 영역 선택부(30)는 얼굴 검출 후부 영역을 분리하여 후보 영역을 선택한다(단계 308). 다음, 얼굴 검출 및 이미지 조절부(40)에서는 얼굴 검출 결과를 판단하고(단계 310), 얼굴 검출로 판단되면, 얼굴 영역 분리 및 전처리를 수행하며 (단계 312), 비얼굴 검출로 판단되면 단계 322로 진행하여 카운트치(N)를 증가하여 상술한 단계 302-310를 수행한다.When the image is input in step 304, the motion detector 20 detects the motion by applying the dynamic compensation technique (MCT) of the input image (306). The candidate region selector 30 then selects the candidate region by separating the face detection rear region (step 308). Next, the face detection and image control unit 40 determines a face detection result (step 310), and if it is determined that the face is detected, performs face region separation and preprocessing (step 312), and if it is determined to be non-face detection, step 322. Proceeds to step 302-310 to increase the count value (N).

단계 312에서 얼굴 영역 분리 및 전처리 과정이 끝나면, 눈 검출부(50)는 눈 영역을 분리 검출하고(단계 314), 눈 검출 결과 눈인지 아닌지를 판단한다(단계 316). 단계 316에서 눈으로 판단되지 않은 경우, 단계 322로 진행하여 카운트치(N)를 증가하여 상술한 단계 302-314를 수행한다. 이때, 눈 위장 판별 및 처리부(80)는 얼굴 위장으로 판별하고 얼굴 판단제어부(110)를 통하여 입력 영상에 대한 얼굴 판단을 완료하고 입력 영상부(10)로 하여금 다른 영상 입력을 대기한다.After the face region separation and preprocessing process is completed in step 312, the eye detector 50 separates and detects the eye region (step 314), and determines whether or not the eye is a result of eye detection (step 316). If it is not determined in step 316, the process proceeds to step 322, where the count value N is increased to perform steps 302-314 described above. At this time, the eye camouflage determination and processing unit 80 determines the face camouflage, completes the face determination on the input image through the face determination control unit 110 and waits for the input image unit 10 to input another image.

단계 316에서 눈으로 판단된 경우, 입 검출부(60)는 입 영역을 분리 검출하고(단계 318), 입 검출 결과 입인지 아닌지를 판단한다(단계 320). 단계 320에서 입으로 판단되지 않은 경우, 단계 322로 진행하여 카운트치(N)를 증가하여 상술한 단계 302-318을 수행한다. 이때, 입 위장 판별 및 처리부(90)는 얼굴 위장으로 판별하고 얼굴 판단제어부(110)를 통하여 입력 영상에 대한 얼굴 판단을 완료하고 입 력 영상부(10)로 하여금 다른 영상 입력을 대기한다.If it is determined in step 316 as an eye, the mouth detection unit 60 separately detects the mouth area (step 318), and determines whether or not the mouth detection result is mouth (step 320). If it is not determined in step 320 that the mouth is determined, the process proceeds to step 322 where the count value N is increased to perform steps 302-318 described above. At this time, the mouth camouflage determination and processing unit 90 determines as a face camouflage, completes the face determination on the input image through the face determination control unit 110 and waits for the input image unit 10 to input another image.

단계 320에서 입으로 판단된 경우, 정상 얼굴 판정부(70)는 정상 얼굴로 판정하고(단계 324), 정상 얼굴 처리부(100)는 얼굴 판단제어부(110)를 통하여 얼굴 판단을 완료하고 입력 영상부(10)로 하여금 다른 영상 입력을 대기한다.If it is determined in step 320 that the mouth is determined, the normal face determination unit 70 determines that the normal face is the normal face (step 324), and the normal face processing unit 100 completes the face determination through the face determination controller 110 and input image unit. 10 waits for another video input.

상술한 바와 같이, 본 발명은 사용자가 금융자동화기기를 조작하는 순간부터 금융거래를 시도하는 순간까지 연속적으로 새로운 영상이 입력으로 주어지며 매 영상을 분석하여 최종적으로 사용자의 얼굴에 대한 정상, 비정상 판별을 내린 후 금융 거래의 허가여부를 내리게 된다.As described above, according to the present invention, new images are continuously inputted from the moment the user operates the automated teller machine to the moment when the user attempts a financial transaction, and each image is analyzed to finally determine whether the user's face is normal or abnormal. After lowering the license, the financial transaction will be granted.

본 발명에 대해 상기 실시 예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. Although the present invention has been described with reference to the above embodiments, it is merely illustrative, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. . Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

본 발명은, CD, ATM과 같은 금융자동화기기에서 CMOS 및 CCD 카메라를 통하여 영상을 획득한 후, 얼굴을 검출하고 검출한 얼굴을 바탕으로 눈과 입술을 검출하여 검출한 얼굴이 신뢰성이 높은 얼굴 즉, 모자, 선글라스, 마스크 등으로 위장하지 않은 정상적인 얼굴일 경우에 금융거래를 허가하는 시스템으로 금융자동화기기에서의 부정 거래를 방지할 수 있다. According to the present invention, after obtaining an image through a CMOS and CCD camera in a financial automation device such as a CD or an ATM, a face is detected and a face is detected and detected based on the detected face. It is a system that allows financial transactions in the case of normal faces not disguised as hats, sunglasses, masks, etc., to prevent fraudulent transactions in automated teller machines.

Claims (7)

입력된 얼굴 영상을 받아서 얼굴 및 비얼굴여부를 판별하는 얼굴 위장 판별 방법에 있어서,In the face camouflage discrimination method for receiving the input face image to determine the face and non-face, 수정 센서스 변환 (modified census transform)과 같은 영상 변환을 통하여 얼굴 검출용 아다부스트(AdaBoost)알고리즘을 이용하여 영상에서의 특징점을 추출하여 학습하는 학습단계; 및 영상이 들어왔을 때 어떤 영상인지 판별하는 테스트단계를 포함하는 얼굴 위장 판별 방법.A learning step of extracting and learning feature points from an image by using an AdaBoost algorithm for face detection through image transformation such as a modified census transform; And a test step of determining which image is an image when the image is received. 제1항에 있어서, 상기 입력 영상에 대해서 수정 센서스 변환 (modified census transform)을 적용하여 특징(feature) 값을 추출하고, 추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로써 표준 특징 값 그룹인 룩업테이블(Lookup Table)을 얻어내고, 상기 얻어진 룩업테이블(Lookup Table)의 특징 값을 이용하여 실제 얼굴 검출을 수행함을 특징으로 하는 얼굴 위장 판별 방법.The method of claim 1, wherein a feature value is extracted by applying a modified census transform to the input image, and face detection learning is performed using the extracted feature value. Obtaining a lookup table, which is a group, and performing face detection using the feature values of the lookup table. 제2항에 있어서, 상기 얼굴 검출은 눈 또는 입을 검출함을 특징으로 하는 얼굴 위장 판별 방법.The method of claim 2, wherein the face detection detects an eye or a mouth. 제1항 내지 제3항 중의 어느 한 항에 있어서,적은 저장 공간을 사용하기위해서,기존의 수정 센서스 변환(modified census transform)과 아다부스트(AdaBoost) 를 혼합한 방법을 수정하여 룩업테이블을 추가하는 것을 특징으로 하는 얼굴 위장 판별 방법.The method according to any one of claims 1 to 3, wherein in order to use less storage space, a lookup table is added by modifying a method of mixing an existing modified census transform and AdaBoost. Facial camouflage discrimination method, characterized in that. 사용자 정보 입력 장치에 입력되는 사용자 얼굴 영상으로부터 얼굴 위장 여부를 판별하는 얼굴 위장 판별 장치에 있어서, In the face camouflage determination device for determining whether the face camouflage from the user face image input to the user information input device, 입력된 영상의 움직임을 검출하고 후보영역을 선택하여 얼굴 검출 및 이미지 조절을 하는 얼굴 검출부; 상기 얼굴 검출부에서 얼굴로 검출되면 얼굴 부위 가려짐을 판단하기 위하여 눈 또는 입을 검출하는 얼굴부위 검출부; 및A face detector for detecting a motion of an input image and selecting a candidate region to detect and adjust a face; A face portion detector for detecting eyes or mouth when the face detector detects a face to detect occlusion of the face portion; And 상기 얼굴부위 검출부로부터 정상 얼굴로 판별되는 경우 금융자동화기기에서 얼굴이 가려진 경우의 사용을 방지하여 부정 거래를 방지하는 신호를 출력하는 얼굴 위장 판별 장치.And a face camouflage determination device for outputting a signal to prevent fraudulent transactions by preventing the use of a face covered by the automatic teller machine when the face is detected as a normal face. 제5항에 있어서, 사용자가 최초로 기기를 동작시키는 순간부터 금융거래를 하기 직전까지의 사용자 영상 정보를 바탕으로 정상 얼굴과 비정상 얼굴을 구분하여 부정 거래를 방지하는 얼굴 위장 판별 장치.The apparatus of claim 5, wherein a normal face and an abnormal face are distinguished from each other based on user image information from a moment when a user first operates the device to just before a financial transaction, thereby preventing fraudulent transactions. 제5항 또는 제6항에 있어서, 상기 금융자동화기기는 현금자동지급기 또는 현금자동입출금기이며, 상기 사용자 정보 입력 장치는 현금 인출 카드리더기, 사용자 식별번호 및 비밀번호를 입력하는 키보드, 또는 키오스크로 하는 얼굴 위장 판별 장치.The automatic teller machine according to claim 5 or 6, wherein the automatic teller machine is a cash dispenser or an automatic teller machine, and the user information input device comprises a cash dispenser card reader, a keyboard for inputting a user identification number and a password, or a face as a kiosk. Camouflage Discrimination Device.
KR1020060078107A 2006-08-18 2006-08-18 Facial Disguise Discrimination method KR100825689B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060078107A KR100825689B1 (en) 2006-08-18 2006-08-18 Facial Disguise Discrimination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060078107A KR100825689B1 (en) 2006-08-18 2006-08-18 Facial Disguise Discrimination method

Publications (2)

Publication Number Publication Date
KR20080016253A true KR20080016253A (en) 2008-02-21
KR100825689B1 KR100825689B1 (en) 2008-04-29

Family

ID=39384412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060078107A KR100825689B1 (en) 2006-08-18 2006-08-18 Facial Disguise Discrimination method

Country Status (1)

Country Link
KR (1) KR100825689B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101148883B1 (en) * 2011-03-21 2012-05-29 아이포콤 주식회사 Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine
KR101158017B1 (en) * 2009-11-09 2012-06-25 한국전자통신연구원 method and device for Discriminating Facial Disguise
KR101280439B1 (en) * 2011-09-30 2013-06-28 아이포콤 주식회사 Method for recognizability assessment of facial images acquired by cameras on automated teller machines
KR101372365B1 (en) * 2012-03-23 2014-03-13 아이포콤 주식회사 Illegal access detecting device for atm
KR20220061694A (en) * 2020-11-06 2022-05-13 주식회사 에스원 Method and apparatus for checking whether mask is worn through facial contour estimation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150810A (en) * 2020-09-25 2020-12-29 云从科技集团股份有限公司 Vehicle behavior management method, system, device and medium
KR102579610B1 (en) 2023-08-02 2023-09-18 주식회사 인텔리빅스 Apparatus for Detecting ATM Abnormal Behavior and Driving Method Thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
KR20020042567A (en) * 2002-04-26 2002-06-05 김상훈 Private vault access control system using face recognition technology
KR20040074424A (en) * 2003-02-18 2004-08-25 삼성전자주식회사 Method of discriminating illegal transactor in automatic cash transaction machine
KR20040098134A (en) * 2003-05-13 2004-11-20 전자부품연구원 Embedded method of intelligent automated teller machine by digital image processing
KR100545559B1 (en) * 2004-05-25 2006-01-24 한양대학교 산학협력단 Method for recognizing a face using Haar-like feature/LDA and apparatus thereof
KR100702226B1 (en) * 2004-11-23 2007-04-03 홍기천 Apparatus and method for detecting and authenticating facial data

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158017B1 (en) * 2009-11-09 2012-06-25 한국전자통신연구원 method and device for Discriminating Facial Disguise
KR101148883B1 (en) * 2011-03-21 2012-05-29 아이포콤 주식회사 Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine
KR101280439B1 (en) * 2011-09-30 2013-06-28 아이포콤 주식회사 Method for recognizability assessment of facial images acquired by cameras on automated teller machines
KR101372365B1 (en) * 2012-03-23 2014-03-13 아이포콤 주식회사 Illegal access detecting device for atm
KR20220061694A (en) * 2020-11-06 2022-05-13 주식회사 에스원 Method and apparatus for checking whether mask is worn through facial contour estimation

Also Published As

Publication number Publication date
KR100825689B1 (en) 2008-04-29

Similar Documents

Publication Publication Date Title
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
US12014571B2 (en) Method and apparatus with liveness verification
EP1635307A1 (en) Information processing apparatus
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
KR100825689B1 (en) Facial Disguise Discrimination method
KR100695155B1 (en) Apparatus and method for detecting occluded face and apparatus and method for discriminating illicit transactor employing the same
KR101159164B1 (en) Fake video detecting apparatus and method
EP1416425A1 (en) System and method for detecting a face
KR20180022019A (en) Method and apparatus for liveness test
JP4521086B2 (en) Face image recognition apparatus and face image recognition method
CN110619239A (en) Application interface processing method and device, storage medium and terminal
CN104424721A (en) Face shield identification method combined with ATM
JP5288786B2 (en) Security device, automatic teller machine, program, and suspicious person judgment method
JP6947202B2 (en) Matching system
KR101806028B1 (en) User authentication method using user physical characteristics and user authentication system
KR100293897B1 (en) A method for recognizing a face in a bank transaction system
US20120219192A1 (en) Method of controlling a session at a self-service terminal, and a self-service terminal
CN116805436A (en) Intelligent access control, control system and control method
KR101280439B1 (en) Method for recognizability assessment of facial images acquired by cameras on automated teller machines
JP2010244570A (en) Information processor, unauthorized person detection method, and automatic teller machine
JP2000251077A (en) Customer face recognizing method for bank transaction system
KR100306355B1 (en) System for identifying users and cash dispenser using same
WO2022059151A1 (en) Face authentication method, face authentication program, and face authentication device
KR102579610B1 (en) Apparatus for Detecting ATM Abnormal Behavior and Driving Method Thereof
KR20040074424A (en) Method of discriminating illegal transactor in automatic cash transaction machine

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee