KR101148883B1 - 부정 사용 판정 기능을 구비한 금융 자동화 기기 및 금융 자동화 기기의 부정 사용 판정 방법 - Google Patents

Abstract

본 발명은, 금융 자동화 기기에 카드가 투입되면 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 이용하여 사용자의 얼굴을 분석하고 사용자 얼굴이 정상 식별 가능한 경우에 요청된 금융 서비스를 정상 처리하도록 하고 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 요청된 금융 서비스를 처리하지 못하도록 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기에 관한 것이다.

Description

부정 사용 판정 기능을 구비한 금융 자동화 기기 및 금융 자동화 기기의 부정 사용 판정 방법{AUTOMATED TELLER MACHINE PREVENTING ILLEGAL USE AND METHOD FOR PREVENTING ILLEGAL USE IN AUTOMATED TELLER MACHINE}

본 발명은 금융 자동화 기기를 이용하는 사용자의 정면 얼굴을 촬영한 영상을 이용하여 사용자가 얼굴을 위장하고 있는지의 여부를 판정함으로써 얼굴을 가린 채 부정하게 사용하는 것을 방지할 수 있는 금융 자동화 기기 및 금융 자동화 기기의 부정 사용 판정 방법에 관한 것이다.

최근, 고객에게 편리한 금융 서비스를 제공하기 위하여, 금융 자동화 기기(ATM: Automated Teller Machine)가 널리 설치되어 사용되고 있으며, 이러한 ATM에 의해 현금 입출금, 통합 계좌 관리, 전자 상거래 대금의 지불, 전자 인증, 공과금의 전자 고지 및 납부(EBPP), 개인간 송금 등의 다양한 금융 서비스가 제공되고 있다.

한편, ATM은 언제라도 자유롭게 이용할 수 있고, 사용을 감시하는 관리자가 없으므로, 부정한 사용자가 자신의 얼굴을 위장하고 다른 사람의 정보(예를 들면, 현금 카드, 신용 카드, 통장 등)를 이용하여 현금을 인출하는 등의 부정한 사용에 대하여 노출되어 있다는 문제점이 있다.

따라서, 부정한 사용자가 자신의 얼굴을 가리거나 카메라를 가리고 ATM를 사용하는 것을 막기 위하여, 촬영된 영상으로부터 얼굴의 식별 가능성을 판단하는 기술이 화두가 되고 있으며, 이러한 필요에 따라 다양한 방법들이 제안되어 왔다.

하지만 종래의 방법들은 ATM에 설치된 카메라가 사용자의 정면 얼굴을 항상 획득할 수 있다는 가정하에서 제안된 것들로서, 어떻게 비강압적으로 사용자의 정면 얼굴 영상을 획득할 것인가에 대한 방안에 대해서는 설명하지 않고 있다. 또한, 시스템의 잘못된 판단에 의해서 범죄의도가 없는 사용자가 얼굴 가림으로 식별되어 ATM을 사용하지 못할 경우도 발생할 수 있는데, 이러한 경우에 어떻게 대비 및 처리할 것인가에 대한 명확한 해결책을 제시하고 있지 못하다.

한편, 사용자의 얼굴 가림 등을 검출하기 위한 방안의 예시로서, 일본특허출원 평4-76690호는 센서를 통해 카메라와 사용자 사이의 거리를 측정하여 거리가 너무 멀면 사용자에게 다가오도록 요청하고, 사용자가 정상 거리에 있으면 영상을 촬영하여 사용자 얼굴의 정상 여부를 판단하는 방법을 개시하고 있다. 정상 여부는 미리 저장된 범죄자 리스트와 비교하거나, 마스크, 선글라스 등을 이용한 얼굴 가림을 판단하거나, 손으로 카메라를 가리는 것을 판단하여 결정한다. 정상 여부 식별 결과에 이상이 있을 경우에는 얼굴을 가린 물체를 벗어달라고 요구하거나 은행 창구에서 금융 요청을 다시 접수하도록 안내할 수 있으며, 경보 장치를 작동시키거나 금융 거래 시간을 지연시키는 등의 처리를 수행하고 있다.

또다른 해결 방안으로서, 일본특허 평5-35992호가 있는데, 사용자의 얼굴 영상을 취득하고 눈, 입, 귀, 코 등의 특징을 추출하고 검출 정도에 따라 가중치를 주어 의심 인물과의 일치 정도를 판단한다. 의심 인물로 판단된 경우에는 관리자에게 통보하고 비디오 테이프 등에 녹화하는 방법을 개시하고 있다.

한편, 한국특허출원 제1998-82154호에서는, ATM에 부착된 감시 카메라로부터 촬영된 사용자의 얼굴 영상에서 눈, 코, 입 등의 특징점을 추출하기 위하여 피부색 정보와 배경 영상 정보를 사용하는 방법을 설명하고 있다.

또한, 국내등록특허 제10-293897호는 ATM에서 촬영된 얼굴 영상에서 얻어진 컬러 정보를 이진화하여 얼굴 존재 가림 여부를 판단하는 방법을 설명하고 있다.

더욱, 국내등록특허 제10-473598에는 ATM에서 촬영된 영상에서 얼굴이 검출된 경우, 이를 상하의 두 영역으로 나누고, 나누어진 영역의 각각을 다수의 트레이닝 영상으로부터 주성분 분석 기법을 통해 추출된 아이겐 벡터에 투영시킴으로써 얼굴에 선글라스 혹은 마스크가 있는가를 검출하는 방법이 개시되어 있다.

마지막으로, 국내등록실용 제20-393236는 ATM에 적외선 센서를 장착하여 사용자의 얼굴 온도를 측정함으로써 얼굴의 가림 여부를 판단하는 방법을 개시하고 있다.

이와 같이, 종래의 기술들은, 사용자의 정면 얼굴을 정확하게 촬영하였다고 가정하고, 촬영된 정면 얼굴을 이용하는 과정을 개시하고 있을 뿐이며, 실제로 정면 얼굴을 획득하기 위한 방법에 대해서는 전혀 고려하지 않고 있다.

따라서, 카메라의 위치에 따라서 정면 얼굴을 촬영할 수 없을 수도 있으며, 사용자가 실수로 고개를 돌려서 정면 얼굴을 획득할 수 없는 경우도 있으므로, 이에 대한 대책이 필요하다.

본 발명은 이러한 문제점을 해결하기 위한 것으로서, ATM을 통해 금융 서비스를 이용하고자 하는 사용자의 얼굴 위장 여부를 신속하고 정확하게 판별할 수 있도록 하여 금융 자동화 기기에 대한 부정 사용 여부를 정확하게 판정할 수 있도록 하고자 한다.

또한, 비강압적인 방법으로 사용자의 정면 얼굴 영상을 확보하고, 획득된 얼굴 정면의 영상으로 얼굴의 식별의 가능성을 판단하고, 획득된 얼굴 영상이 식별 가능한 정도이면 ATM의 사용을 허용하고, 하나 또는 복수의 획득된 얼굴 영상 중에서 식별 가능한 얼굴이 발견되지 않을 시에는 사용자에게 점진적으로 정면 얼굴 촬영에 대한 협조를 요구함으로써 사용자의 얼굴 식별 가능성을 향상시키도록 하고자 한다.

상술한 목적을 달성하기 위한 본 발명에 따른 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기는, 금융 서비스의 실행을 위한 카드가 투입되면 상기 카드에 저장된 카드 정보를 판독하는 카드 판독 수단; 사용자가 금융 서비스를 처리를 요청하는 업무 요청 조작 및 상기 카드 정보에 대한 비밀번호 입력을 위해 사용자에 의해 조작되는 조작 수단; 상기 카드 정보에 대하여 지정된 비밀번호와 상기 조작 수단을 통해 입력된 비밀번호가 동일한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 처리하는 금융 서비스 처리 수단; 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 촬영하기 위하여 전방을 향해 배치되어 전방을 촬영한 영상을 연속적으로 출력하는 카메라; 상기 카메라에서 연속적으로 출력하는 상기 영상을 저장하고 저장된 상기 영상을 저장된 순서에 따라 삭제함으로써 상기 영상을 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트와, 상기 카드 판독 수단에 상기 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 영상 획득부와, 획득한 상기 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 얼굴 분석부와, 사용자의 얼굴이 정상 식별 가능한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하고 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 처리하지 못하도록 지시하는 제어 명령을 출력하는 제어 명령 출력부를 구비하는 위장 판정 수단을 포함한다.

또한, 상기 카메라는 사용자가 카드를 투입하는 투입구에 근접한 위치에 설치되는 것을 특징으로 한다.

또한, 상기 리얼타임 버퍼 리스트는, 상기 카메라에서 출력하는 상기 영상의 연속적인 프레임 중 임의의 정수 배수 번째 프레임을 선택적으로 임시 저장하는 것을 특징으로 한다.

또한, 상기 영상 획득부는, 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고, 상기 얼굴 분석부는, 상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 상기 제어 명령 출력부는, 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하는 제어 명령을 출력하는 것을 특징으로 한다.

또한, 상기 얼굴 분석부는, 사용자의 얼굴에서 입과 적어도 하나의 눈이 식별 가능한 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 한다.

또한, 상기 얼굴 분석부는, 사용자의 얼굴에서 눈과 입을 식별하고, 상기 식별된 눈과 입의 위치 관계가 역삼각형 형태인 것으로 판정된 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 한다.

또한, 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 카드 투입구의 근방에 설치된 카메라를 이용하여 연속적으로 촬영하여 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트를 이용하여 금융 자동화 기기의 부정 사용을 판정하는 방법은, (a) 전방을 촬영한 영상을 연속적으로 입력받아 상기 리얼타임 버퍼 리스트에 임시 저장하는 단계; (b) 금융 서비스의 실행을 위한 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 단계; (c) 상기 획득한 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 단계; (d) 사용자의 얼굴이 정상 식별 가능한 경우에는 사용자가 요청하는 금융 서비스를 처리하도록 제어하고, 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 금융 자동화 기기에 대한 부정 사용으로 판단하여 사용자가 요청하는 금융 서비스의 처리를 거부하도록 제어하는 단계를 포함한다.

또한, 상기 (b)단계에서는, 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고, 상기 (c)단계에서는, 상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 상기 다수의 영상 중 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에 사용자 얼굴 식별이 가능한 것으로 판정하는 것을 특징으로 한다.

상술한 바와 같은 구성으로 이루어지는 본 발명에 의하면, 부정한 사용자가 얼굴을 위장한 채로 금융 자동화 기기를 이용하는 경우를 정확하고 신속하게 판단할 수 있어 금융 서비스 관련 사고를 미연에 방지할 수 있다.

또한, 본 발명에 의하면, 사용자들의 행동 특성을 기반으로 금융 자동화 기기의 카메라 위치와 영상 취득 시점을 설정함으로써, 사용자의 정면 얼굴을 비강압적으로 획득할 수 있어서, 사용자에 대하여 얼굴 촬영에 대한 불편함을 줄일 수 있게 된다.

또한, 얼굴 식별 가능성 판단 알고리즘을 실행함에 있어 비강압적인 1단계 검증, 보다 강압적인 2단계 검증, 매우 강압적인 3단계 검증을 순차적으로 실행함으로써, 얼굴 식별이 용이한 사용자들은 조기에 거래를 허가하고 식별이 어려운 사용자라도 2단계 혹은 3단계를 통해서 거래를 가능하게 한다. 이와 같은 방식에 의하여 얼굴의 가려짐 판단이 실패하였더라도 즉시 거래가 차단되지 않으므로, 사용자의 부주의 또는 시스템의 오류에 의한 금융 서비스의 잘못된 차단 현상을 줄일 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기를 도식적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 금융 자동화 기기의 외형을 개략적으로 도시한 도면이다.
도 3은 카메라에 의해 사용자를 촬영한 영상을 시간순으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기 중 위장 판정 수단의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 부정 사용 판정 방법의 절차를 설명하기 위한 흐름도이다.
도 6은 사용자의 정면 얼굴을 적절한 크기로 촬영하기 위하여, 가장 강압적인 영상 획득 방식에 의한 얼굴 영상 획득 상황을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 부정 사용 판정 방법에 있어서 유효 얼굴 검출 및 식별 가능 여부 판단 단계를 상세하게 설명하는 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기를 도식적으로 나타낸 도면이다. 도 1을 참조하면, 본 발명에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기는, 카메라(10)와, 저장 수단(14)과, 카드 판독 수단(20)과, 조작 수단(30)과, 금융 서비스 처리 수단(32)과, 위장 판정 수단(60)을 포함하여 이루어진다.

카메라(10)는, 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 촬영하기 위하여 전방을 향해 배치되어 있으며, 사용자가 금융 자동화 기기를 이용 여부에 관계없이 전방을 계속적으로 촬영하고, 촬영한 영상을 연속적으로 출력한다. 물론, 카메라(10)에는 인체 감지 수단(도시하지 않음)이 배치되어 금융 자동화 기기에 사용자가 접근한 경우에만 전방(즉, 사용자)을 촬영하도록 구성될 수도 있다. 한편, 카메라의 배치된 위치는 사용자가 금융 서비스를 이용하기 위해 카드를 삽입하는 카드 투입구 근방으로 설정될 수 있는데, 이에 대해서는 후술한다.

저장 수단(14)은, 카메라(10)에서 촬영한 전방의 영상을 영구 저장하기 위한 것으로서, 하드디스크, 플래시 메모리, 임시 저장용 버퍼 등을 포함할 수 있다. 저장 수단(14)은 네트워크를 통해 중앙 관제 센터와 연결되어 촬영되어 저장된 영상을 전송하는 기능을 포함할 수도 있다.

카드 판독 수단(20)은, 금융 서비스의 실행을 위한 카드가 투입될 수 있는 카드 투입구를 포함하며, 카드 투입구에 카드가 투입되면 투입된 카드에 저장된 각종 정보를 판독한다. 카드 판독 수단(20)은, 카드를 카드 투입구에 투입하는 방식뿐만 아니라, 카드의 표면을 카드 리더에 접촉시키거나 슬라이드시키는 방식 등을 포함할 수 있다. 또한, 카드 판독 수단(20)은 단지 카드에 대해서만 판독 가능한 것이 아니라, 통장에 부착된 마그네틱선 또는 IC 칩 등으로부터 정보를 판독할 수도 있으며, 더욱, 지문, 홍채, 휴대폰, IC 카드, 바코드 등을 통한 정보를 판독하기 위한 다양한 수단을 포함할 수 있다.

조작 수단(30)은, 사용자가 제공받기를 원하는 금융 서비스에 대한 요청(업무 요청 조작)을 입력하거나, 투입한 카드에 대한 비밀번호 등을 입력하기 위해 이용된다. 조작 수단은, 숫자 또는 기호가 표시된 키패드, 디스플레이 기능을 포함하는 터치 스크린(31)(도 2 참조) 등을 포함할 수 있다.

금융 서비스 처리 수단(32)은, 카드 판독 수단(20)에서 판독한 카드 정보와 사용자가 조작 수단(30)을 통해 입력한 각종 정보를 네트워크를 통해 금융 서비스 제공 서버(도시하지 않음)로 전송함으로써 사용자 인증 결과를 통보받은 후, 사용자가 요청한 금융 서비스를 제공하거나 거부한다.

한편, 금융 서비스 처리 수단(32)은, 외부로부터 제어 명령을 입력받을 수 있으며, 이 제어 명령에 의해 금융 자동화 기기를 이용하는 사용자에게 요청된 금융 서비스의 제공 여부가 제어될 수 있다.

위장 판정 수단(60)은, 금융 자동화 기기를 이용하기 위하여 접근한 사용자의 얼굴을 분석하여, 얼굴이 사용자가 누구인지 식별 불가능한 정도로 가려져 있는지를 판정한다. 이를 위하여, 위장 판정 수단(60)은, 카메라(10)에서 연속적으로 촬영하여 출력하는 영상을 임시 저장하고, 임시 저장된 영상 중 저장된 순서가 오래된 것부터 순차적으로 삭제하고, 삭제된 공간에 새로 출력되는 영상을 저장함으로써, 카메라(10)에서 촬영된 영상을 일정 시간 동안 임시 저장할 수 있는 리얼타임 버퍼 리스트(62)를 포함한다.

그리고 위장 판정 수단(60)은, 이러한 리얼타임 버퍼 리스트(62)를 이용하여, 카드 판독 수단(20)의 카드 투입구에 카드가 투입되면 리얼타임 버퍼 리스트(62)로부터 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득한다. 획득한 영상에서는 사용자의 얼굴이 추출되고, 추출된 사용자 얼굴의 각 부위가 정상적으로 식별 가능한지의 여부를 판정하고, 사용자의 얼굴이 정상 식별 가능한 경우에는 사용자가 요청하는 금융 서비스를 처리하도록 제어하는 제어 명령을 생성하여 출력하고, 사용자의 얼굴이 너무 많이 가려져서 정상 식별 불가한 경우에는 금융 자동화 기기가 부정하게 사용되는 것으로 판단하여 사용자가 요청하는 금융 서비스의 처리를 거부하도록 제어하는 제어 명령을 생성하여 출력한다. 제어 명령은 금융 서비스 처리 수단(32)에 제공된다.

이와 같은 구성의 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기는, 카드가 투입된 시점에서 사용자를 촬영한 영상을 이용하여 얼굴 위장 여부를 판정할 수도 있으나, 카드를 투입하기 소정 시간 직전에 촬영된 영상을 이용하여 얼굴 위장 여부를 판정하는 것이 바람직하다. 이는, 사용자가 카드를 카드 투입구에 삽입하기 직전에만 카드 투입구를 응시하게 되며, 카드가 삽입되는 순간에는 조작 수단을 바라본다는 행동 특성 때문이다.

한편, 본 발명에 따른 금융 자동화 기기에서의 카메라는, 사용자가 반드시 응시하게 되는 금융 자동화 기기의 카드 투입구 근처에 설치된다. 이때, 카메라의 위치는 카드를 투입하는 손에 의해서 촬영되는 얼굴이 가려지지 않도록 설정된다. 또한, 추후 설명하는 얼굴틀을 사용한 강압적인 얼굴 영상 획득 단계에서도 용이하게 이용될 수 있도록 하기 위하여 카메라의 위치를 카드 투입구뿐만 아니라 얼굴틀을 보여줄 모니터(예를 들면, 조작 수단(31))와도 최대한 근접하게 설치되는 것이 바람직하다.

여기에서, 카메라가 카드 투입구에 근접하게 설치된다는 것의 의미는, 사용자가 카드 투입구에 카드를 삽입할 때 사용자로부터 정면 얼굴이 획득될 수 있는 위치에 카메라가 배치된다는 것으로 이해될 수 있다.

도 3은, 카드 투입구 근처에 배치된 카메라에 의해 사용자를 촬영한 영상을 시간순으로 보여주는 도면이다. 도 3의 윗줄은 카메라에 의해 실제 촬영되는 영상을 보여주고 있는데, 카메라는 넓은 범위를 촬영해야 하고, 더불어, 카메라로부터 사용자와의 거리가 비교적 멀기 때문에 사용자의 상체 모습이 모두 촬영되고 있다.

도 3에서 아랫줄의 영상들은, 윗줄의 각 영상에서 사용자의 얼굴 부분만을 확대한 것으로서, 얼굴이 가려져 있는지 판정하여 부정 사용자를 식별하기 위해 이용되는 얼굴 영상들을 보여준다. 각각의 얼굴 영상을 살펴보면, 카드 투입 시점으로 표시된 지점의 직전에 획득된 영상에서, 사용자가 카메라를 정면으로 바라보는 정면 얼굴 영상이 획득되고 있는 것을 알 수 있다.

도 4는 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기 중 위장 판정 수단의 구성을 나타낸 블록도이다. 상술한 바와 같은 부정 사용 판정 기능을 구비한 금융 자동화 기기의 동작을 실현하기 위한 위장 판정 수단(60)은, 리얼타임 버퍼 리스트(62)와, 영상 획득부(64)와, 얼굴 분석부(66)와, 제어 명령 출력부(68)를 구비한다.

리얼타임 버퍼 리스트(62)는, 카메라(10)에서 연속적으로 출력하는 영상을 저장하고 저장된 영상을 저장된 순서에 따라 순차적으로 삭제함으로써 일정 시간 동안 영상을 임시 저장하는 효과를 나타낸다.

즉, 리얼타임 버퍼 리스트(62)는, 카메라(10)를 통해 실시간 촬영되어 연속적으로 흘러들어오는 영상 스트림을 일정 시간 동안 유지하고, 그 시간이 지나면, 가장 먼저 저장된 버퍼 영상 객체를 순서대로 제거한다. 더욱, 리얼타임 버퍼 리스트(62)는, 버퍼 리스트에 저장되는 영상의 개수를 100→50→30 등으로 줄이거나 또는 늘려가면서 최적의 프로세스 성능과 최적의 영상들을 얻어올 수 있도록 하는 기능을 제공한다.

영상 획득부(64)는, 카드 판독 수단(20)에 사용자에 의해 카드가 투입되면 리얼타임 버퍼 리스트(62)로부터 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득한다.

즉, 영상 획득부(64)는, 카드를 투입하는 시점 이전의 1초 내지 5초 사이의 리얼타임 버퍼 리스트의 영상 객체를 획득한다. 5초 동안의 영상 객체를 획득하는 경우에는, 영상 획득시 초당 8~15 프레임의 정지 영상을 획득할 수 있으므로 총 40~75 프레임의 영상이 획득되고, 획득한 영상에서 짝수번째 영상 또는 홀수번째 영상만을 취할 수 있다. 경우에 따라서는, 다른 정수의 배수번째마다의 영상을 선택적으로 획득할 수도 있으며, 지정된 시간 구간에서 선두자리 영상 획득 방법 또는 끝자리 영상 획득 방법 등을 서로 조합하여 정면 얼굴을 얻을 가능성이 가장 큰 영상을 획득하도록 할 수도 있다.

이때, 카드 판독 수단(20)에 카드가 투입되었는지의 여부는, 카드 판독 수단(20) 또는 금융 서비스 처리 수단(32)에서 생성하는 특정의 신호를 감지하여 판단하는 것이 바람직하다. 즉, 카드가 투입되면, 카드 판독 수단에서 카드에 저장된 정보를 판독하고 금융 자동화 기기에서 금융 업무를 시작하게 되는데, 이 시점을 카트 투입 시점으로 간주할 수 있다. 이러한 구성에 의해, 카드가 투입되었는지 판단하기 위한 별도의 감지 수단을 설치하지 않을 수 있게 된다.

얼굴 분석부(66)는, 영상 획득부(64)에서 획득한 영상(얼굴 영상)에서 사용자의 얼굴 영역을 추출하고, 추출된 얼굴 영역을 검사하여 사용자의 얼굴이 사용자를 고유하게 식별할 수 있을 정도로 촬영되었는지의 여부를 판단한다.

즉, 사용자의 얼굴에서 입과 적어도 하나의 눈이 식별 가능한 지, 또는, 사용자의 얼굴에서 식별되는 양쪽 눈과 입의 위치 관계가 역삼각형 형태인지의 여부를 판단한다.

한편, 얼굴 분석부(66)는, 획득한 얼굴 영상을 다양한 영상 프로세싱 방식에 의해 조작함으로써, 이어지는 얼굴 영역 검사에서 바람직한 결과를 얻을 수 있도록 전처리할 수도 있다.

더욱 상세하게는, 얼굴 분석부(66)는, 정상적인 얼굴의 검출을 위해서, 얼굴의 일부가 부분적으로 가려진 상황에서도 얼굴 식별의 유효성을 검증하기 위하여 눈의 검출과 입의 검출을 동적으로 진행하는 "복합 모양 검출기"를 적용할 수 있다.

복합 모양 검출기 방식은, 얼굴이 약간 가려짐에 따라 얼굴 식별이 완전하지 않고 이로 인해 얼굴 식별 불가능한 것으로 판정되는 오류를 줄일 수 있다. 예를 들면, 한쪽 눈과 입이 보이고 다른쪽 눈이 안대나 머리카락 등에 의해 가려진 경우에는, 보이는 눈만을 이용하여 가려진 부분까지도 얼굴 형태를 예측하도록 함으로써, 사용자 얼굴의 완전한 감지가 어렵더라도 유효한 얼굴을 검출하고 판단할 수 있도록 한다.

제어 명령 출력부(68)는, 얼굴 분석부(66)에서 분석한 사용자의 얼굴이, 정상 식별 가능한 경우에 사용자가 조작 수단(30)을 통해 입력한 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 하는 제어 명령을 생성하여 금융 서비스 처리 수단(32)으로 전송하고, 사용자의 얼굴이 정상 식별 가능하지 않은 것으로 판정된 경우에는 금융 서비스 처리 수단(32)에 사용자의 업무 요청 조작에 따른 금융 서비스가 처리하지 않도록 지시하는 제어 명령을 출력한다.

위장 판정 수단(60)으로부터 제공되는 제어 명령은, 별도의 입력 수단을 통해 금융 서비스 처리 수단(32)에 입력될 수도 있고, 네트워크를 통한 금융 서비스 제공 서버(도시하지 않음)에 전송될 수도 있다.

한편, 상술한 구성을 다음과 같이 변형하여 실시할 수도 있다.

즉, 영상 획득부(64)에서, 리얼타임 버퍼 리스트(62)로부터 카드의 투입 시점으로부터 소정 시간 직전의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고, 얼굴 분석부(66)는, 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 제어 명령 출력부(68)에서, 다수의 영상 중 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에는 금융 서비스를 정상 처리하도록 하는 제어 명령을 출력하고, 사용자 얼굴을 식별할 수 있는 영상이 전혀 없는 경우에는 사용자의 얼굴이 부정하게 가려진 것으로 판정하여 금융 서비스의 제공을 차단하도록 하는 제어 명령을 출력하도록 할 수 있다.

이와 같이 다수의 영상을 이용하여 얼굴 식별 가능 여부를 판정하게 됨으로써, 조명의 일시적인 깜빡거림, 얼굴을 가리고 있던 물체의 제거(예를 들면, 머리카락이나, 안대 등의 제거), 얼굴이 향하는 방향의 변경 등에 의하여, 일시적으로 얼굴 식별이 불가능하여 원치않게 금융 서비스가 거부되었던 문제점을 해소할 수 있게 된다.

상술한 바와 같은 구성에 의하면, 정면 얼굴을 이용하여 얼굴을 분석함으로써 부정한 사용자가 얼굴을 위장한 채로 금융 자동화 기기를 이용하는 경우를 정확하게 판단할 수 있으며, 카드의 투입 시점에서 위장 여부를 판단하므로 금융 서비스 관련 사고를 신속하게 방지할 수 있게 된다. 또한, 얼굴이 사용자가 의식하지 못한 사이에 일부 가려짐에 따른 원치 않는 금융 서비스 거부에 대한 오류도 최소화할 수 있다.

다음, 상술한 바와 같이 구성될 수 있는 본 발명의 일 실시예에 따른 금융 자동화 기기를 이용한, 사용자가 얼굴을 가린 채 금융 자동화 기기를 부정하게 사용하는 상황을 판정하는 방법에 대하여 설명한다.

도 5는 본 발명의 일 실시예에 따른 부정 사용 판정 방법을 설명하는 흐름도이다. 먼저, 상기한 바와 같은 금융 자동화 기기에서는, 촬영된 영상이 리얼타임 버퍼 리스트(62)에 지속적으로 임시 저장 및 제거된다(S10). 물론 촬영된 영상은 저장 수단(14)에 계속 저장될 수 있다. 이때, 사용자가 접근하여 금융 자동화 기기에 카드를 입력하면(S20), 리얼타임 버퍼 리스트(62)로부터 카드 입력 시간으로부터 일정 시간 직전 또는 카드 입력 시점 또는 카드 입력 시점으로부터 일정 시간 직후에 촬영된 영상을 하나 또는 복수 개 획득하고(S30), 획득한 영상의 각각에서 사용자의 얼굴 위치(영역)를 확인하고, 얼굴의 구성 요소 중 적어도 눈과 입을 형태 및 위치를 검출하여 얼굴 영상의 사용자 식별 가능 여부를 판단한다(S40)(1차 시도). 그리고 눈과 입의 형태 및 위치가 정상적인 얼굴의 형태 및 위치와 일치하는 경우에는, 촬영된 영상의 사용자 얼굴이 부정한 이용을 위해 인위적으로 가려지지 않은 정상적인 얼굴이고 사용자가 누구인지 고유하게 식별 가능한 것으로 판단하고(S41), 사용자에 의해 요청된 금융 서비스가 정상적으로 처리될 수 있도록 한다(S50). 만약, 단계(S41)에서 사용자의 얼굴에서 눈과 입이 식별될 수 없거나, 부정하게 가려진 비정상 얼굴로 판단되는 경우에는, 사용자의 얼굴 영상이 정확하게 촬영되지 않은 것으로 판정하여 요청된 금융 서비스의 실행을 보류하고, 이어지는 2차 시도를 실행한다.

즉, 얼굴이 가려진 것으로 판단되면, 금융 자동화 기기에서는 사용자에게 얼굴에 부착된 부착물을 제거하거나 카메라를 정면으로 바라보도록 하는, 협조 요청 안내를 출력할 수 있다(S42). 이러한 요청과 함께 사용자의 얼굴을 2차로 획득하게 되고(S43), 획득한 영상으로부터 얼굴 식별 가능 여부를 재판단한다(S44). 재판단 결과, 촬영된 2차 획득 영상으로부터 분석한 얼굴 영상이 식별 가능한 것으로 판정되면(S45), 단계(S50)로 진행하여 금융 거래를 허용하고 그렇지 않으면 다음의 3차 시도를 실행한다.

3차 시도는 더욱 강압적인 협조 요청 단계로서, 사용자가 얼굴을 더욱 카메라에 가까이 위치시켜 정확한 얼굴이 촬영될 수 있도록 안내한다(S46). 이때 금융 자동화 기기의 조작 수단(31)에는 소정 크기의 얼굴틀이 표시되며, 사용자로부터 촬영되는 얼굴 영상도 동시에 표시된다. 사용자는 이 얼굴틀에 자신의 얼굴이 비슷한 크기로 부합될 수 있도록 카메라에 가까이 접근하고 카메라를 정면으로 바라봐야만 한다.

이렇게 얼굴틀에 맞춘 사용자 얼굴 영상이 획득되면(S47), 얼굴 영상의 식별 가능성을 재차 판단하고(S48), 얼굴이 식별 가능한 정도로 획득되었다면(S49), 거래를 허용하도록 하고 그렇지 않은 경우에는 부정한 사용자의 접근으로 간주하여 거래를 차단시킨다(S52).

이러한 절차를 포함하는 본 발명에 의하면, 사용자가 금융 자동화 기기를 사용하기 위하여 적어도 한 번은 응시할 수밖에 없는 카드 투입구 부근에 감시 카메라를 부착시킴으로써, 카드 투입 전 또는 후의 영상을 이용하여 사용자의 정면 얼굴을 사용자가 인식하지 못하는 순간에 획득할 수 있게 됨으로써(1차 시도), 사용자의 편의성을 저해하지 않는다.

또한, 많은 수의 사람들이 매일 금융 자동화 기기를 사용하는 것을 고려하였을 때, 사용자의 얼굴의 일부가 머리카락 등에 의해 가려진 경우와 같은 작은 오류에도 금융 업무를 차단한다면 다수의 사용자가 불편을 겪을 수 있게 된다. 따라서 본 발명에서는 단번에 얼굴 식별 가능성을 평가하는 방식이 아니라, 카드 투입 전 또는 후에 획득된 복수의 영상들을 사용하여 1차 얼굴 식별 가능성 평가를 실시하고, 이 1차 평가에서 식별 가능한 얼굴의 존재가 확인되지 않았을 경우에는 "얼굴 존재하는 부착물을 제거하고 카메라를 응시해주세요" 등과 같이 사용자의 협조를 요청한 후 영상을 다시 취득하여 2차 얼굴 식별 가능성 평가를 실시한다. 이러한 2차 시도에서도 식별 가능한 얼굴을 얻을 수 없을 때에는 모니터에 얼굴 형태의 틀(얼굴틀)을 보여주고 사용자가 이 틀에 본인의 얼굴을 맞춰줄 것을 요청한 후 정확한 얼굴 영상을 취득하는 매우 강압적인 3차 평가를 점진적으로 실시하도록 한다.

도 6은 얼굴틀을 이용한 매우 강압적인 3차 얼굴 식별 가능성 평가의 과정을 설명하기 위한 도면이다. 왼쪽의 개략적인 얼굴 형태를 띠는 얼굴틀이 오른쪽의 그림과 같이 모니터(조작 수단(31) 등)에 표시되고, 사용자는 표시되는 얼굴틀에 자신의 얼굴을 맞추는 위치로 얼굴을 이동시키고, 이때 사용자의 얼굴이 촬영되어 얼굴 영상이 획득된다. 위장 판정 수단에서는 획득된 얼굴 영상에 의해 3차 얼굴 식별 가능성 평가를 실행하고, 금융 서비스의 제공 여부를 최종 판정한다.

도 7은 본 발명의 일 실시예에 따른 부정 사용 판정 방법에 있어서 유효 얼굴 검출 및 식별 가능성 판단의 절차를 상세하게 설명하는 흐름도로서, 도 5의 단계(S40) 및 단계(S41)를 더욱 상세하게 설명하기 위한 것이다.

먼저, 단계(S30)에서 리얼타임 버퍼 리스트(62)로부터 카드 투입 시점의 전후의 다수의 영상이 획득되면(S401), 입력된 다수의 영상 중에서 어느 하나의 영상을 선택한다(S402).

영상이 선택되면, 선택된 영상에서 사용자의 얼굴을 정확하게 식별할 수 있도록, 다양한 방식으로 영상 처리를 실행한다(S403). 이후, 영상 처리가 실행된 영상에서, 사용자의 얼굴을 찾아내고(S404), 얼굴의 영역을 확정한다(S405). 한편, 이전에 실행한 얼굴 식별 동작으로부터 학습된 결과를 이용하여 영상 속에서 얼굴의 위치를 간단하게 특정하고, 특정된 위치에서 얼굴의 윤곽을 추출하여 얼굴 영역을 확정할 수도 있다.

얼굴 영역이 확정되면, 사용자의 눈의 형태를 검출한다(S406). 사용자의 눈에 이어서 입의 형태를 검출한다(S407). 또한, 눈으로서 검출된 부분의 에지 정보와 미리 저장된 학습 정보를 기준으로 눈과 입의 형태를 확정한다.

만약 눈이 검출되지 않았거나, 입이 검출되지 않은 경우에는 분석중인 현재의 영상을 얼굴 식별 불가로 판정하고, 단계(S402)로 복귀하여 입력된 영상들 중 또다른 영상을 선택하여 단계(S403) 내지 단계(S407)에 의한 얼굴 식별 동작을 계속한다.

한편, 사용자의 눈과 입이 정상적으로 검출되었다면, 양쪽 눈과 입의 위치 관계를 기하학적으로 판단하고, 역삼각형 형태인 것으로 판정된 경우에 정상 얼굴인 것으로 최종 판단하게 된다(S408).

정상 얼굴로 판단된 경우에, 단계(S50)로 진행하여 사용자에 의한 금융 거래를 허용할 수 있게 된다.

상기한 단계(S406) 및 단계(S407)에서 눈이 검출되지 않았거나 입이 검출되지 않아서 단계(S402)로 복귀한 경우, 영상 입력 단계(S401)에서 가져온 모든 영상에 대해서 얼굴 식별 동작이 행해지고, 어느 영상에서도 정상 얼굴을 발견하지 못하였다면, 2차 시도의 단계(S42)로 진행하여 사용자에게 얼굴의 가려짐을 제거하도록 안내하는 등의 강화된 얼굴 식별을 시도할 수 있으며, 또는, 즉시 단계(S52)로 진행하여 사용자 얼굴 식별의 최종 실패로 판정하도록 할 수도 있다.

Claims (8)

1. 금융 서비스의 실행을 위한 카드가 투입되면 상기 카드에 저장된 카드 정보를 판독하는 카드 판독 수단;
   사용자가 금융 서비스를 처리를 요청하는 업무 요청 조작 및 상기 카드 정보에 대한 비밀번호 입력을 위해 사용자에 의해 조작되는 조작 수단;
   상기 카드 정보에 대하여 지정된 비밀번호와 상기 조작 수단을 통해 입력된 비밀번호가 동일한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 처리하는 금융 서비스 처리 수단;
   금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 촬영하기 위하여 전방을 향해 배치되어 전방을 촬영한 영상을 연속적으로 출력하는 카메라;
   상기 카메라에서 연속적으로 출력하는 상기 영상을 저장하고 저장된 상기 영상을 저장된 순서에 따라 삭제함으로써 상기 영상을 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트와, 상기 카드 판독 수단에 상기 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 영상 획득부와, 획득한 상기 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 얼굴 분석부와, 사용자의 얼굴이 정상 식별 가능한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하고 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 처리하지 못하도록 지시하는 제어 명령을 출력하는 제어 명령 출력부를 구비하는 위장 판정 수단을 포함하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
2. 제1항에 있어서,
   상기 카메라는 사용자가 카드를 투입하는 투입구에 근접한 위치에 설치되는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
3. 제1항에 있어서,
   상기 리얼타임 버퍼 리스트는,
   상기 카메라에서 출력하는 상기 영상의 연속적인 프레임 중 임의의 정수 배수 번째 프레임을 선택적으로 임시 저장하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
4. 제1항에 있어서,
   상기 영상 획득부는,
   상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고,
   상기 얼굴 분석부는, 상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고,
   상기 제어 명령 출력부는, 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하는 제어 명령을 출력하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 얼굴 분석부는,
   사용자의 얼굴에서 입과 적어도 하나의 눈이 식별 가능한 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
6. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 얼굴 분석부는,
   사용자의 얼굴에서 눈과 입을 식별하고, 상기 식별된 눈과 입의 위치 관계가 역삼각형 형태인 것으로 판정된 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
7. 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 카드 투입구의 근방에 설치된 카메라를 이용하여 연속적으로 촬영하여 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트를 이용하는 금융 자동화 기기에 있어서 얼굴을 가린 부정 사용을 판정하는 방법으로서:
   (a) 전방을 촬영한 영상을 연속적으로 입력받아 상기 리얼타임 버퍼 리스트에 임시 저장하는 단계;
   (b) 금융 서비스의 실행을 위한 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 단계;
   (c) 상기 획득한 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 단계;
   (d) 사용자의 얼굴이 정상 식별 가능한 경우에는 사용자가 요청하는 금융 서비스를 처리하도록 제어하고, 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 금융 자동화 기기에 대한 부정 사용으로 판단하여 사용자가 요청하는 금융 서비스의 처리를 거부하도록 제어하는 단계를 포함하는 금융 자동화 기기 부정 사용 판정 방법.
8. 제7항에 있어서,
   상기 (b)단계에서는,
   상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고,
   상기 (c)단계에서는,
   상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 상기 다수의 영상 중 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에 사용자 얼굴 식별이 가능한 것으로 판정하는 것을 특징으로 하는 금융 자동화 기기 부정 사용 판정 방법.

Images