KR102300391B1 - Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition - Google Patents

Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition Download PDF

Info

Publication number
KR102300391B1
KR102300391B1 KR1020190078635A KR20190078635A KR102300391B1 KR 102300391 B1 KR102300391 B1 KR 102300391B1 KR 1020190078635 A KR1020190078635 A KR 1020190078635A KR 20190078635 A KR20190078635 A KR 20190078635A KR 102300391 B1 KR102300391 B1 KR 102300391B1
Authority
KR
South Korea
Prior art keywords
user
departure
change
financial
control unit
Prior art date
Application number
KR1020190078635A
Other languages
Korean (ko)
Other versions
KR20210002852A (en
Inventor
소상혁
조승현
Original Assignee
주식회사 에이텍에이피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이텍에이피 filed Critical 주식회사 에이텍에이피
Priority to KR1020190078635A priority Critical patent/KR102300391B1/en
Priority to US16/918,487 priority patent/US11823155B2/en
Publication of KR20210002852A publication Critical patent/KR20210002852A/en
Application granted granted Critical
Publication of KR102300391B1 publication Critical patent/KR102300391B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

스마트 금융자동화기기(Smart Automated Teller Machine; 이하 "STM"이라 한다)에서 안면인식 기술을 이용하여 사용자의 이탈 및 변경을 정확하게 감지하고, 사용자 이탈 및 변경 정보를 기초로 로그아웃을 제어하여 개인 정보의 유출을 방지하고 보안성을 향상하도록 한 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치 및 방법에 관한 것으로서, 스마트 금융자동화기기에 내장된 금융 업무 제어부에서 금융 거래가 시작되면 사용자 이탈/변경 판단부와 연동하여 안면인식 감시를 요청하고, 사용자 이탈/변경 판단부에서 안면 인식 감시가 요청되면 안면인식 솔루션을 실행하고, 사용자 이탈/변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하여 금융 업무 제어부에 전달하며, 금융업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 이탈 또는 변경에 따라 선택적으로 로그아웃을 제어하여 개인정보를 보호함으로써, 보안성을 강화한다.Using facial recognition technology in a Smart Automated Teller Machine (hereinafter referred to as "STM"), the user's departure and change are accurately detected, and the logout is controlled based on the user's departure and change information to protect personal information. It relates to a device and method for detecting user departure/change of a smart financial automatic device using facial recognition to prevent leakage and improve security, wherein when a financial transaction starts in the financial business control unit built in the smart financial automatic device, the user leaves/changes It interlocks with the judgment unit to request facial recognition monitoring, executes a facial recognition solution when the user departure/change judgment unit requests facial recognition monitoring, and generates a user departure/change detection event when user departure/change is detected to perform financial business It is transmitted to the control unit, and when a user departure/change detection event is received during a financial transaction from the financial business control unit, security is strengthened by selectively controlling logout according to departure or change to protect personal information.

Figure R1020190078635
Figure R1020190078635

Description

안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치 및 방법{Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition}Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition}

본 발명은 스마트 금융자동화기기(Smart Automated Teller Machine; 이하 "STM"이라 한다)에서 안면인식 기술을 이용하여 사용자의 이탈 및 변경을 정확하게 감지하고, 사용자 이탈 및 변경 정보를 기초로 로그아웃을 제어하여 개인 정보의 유출을 방지하고 보안성을 향상하도록 한 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치 및 방법에 관한 것이다. The present invention accurately detects user departure and change using facial recognition technology in a smart automated teller machine (STM), and controls logout based on user departure and change information. It relates to a user departure/change detection device and method of a smart financial automatic device using facial recognition to prevent leakage of personal information and improve security.

대면을 통해서만 이루어지는 창구업무가 Digital Transformation에 따라 은행의 계원을 통하지 않고 은행에 설치된 금융자동화기기를 통해 비대면으로 창구 업무와 금융자동화기기 업무(계좌이체, 인출, 입금, 통장정리, 기타)가 이루어지고 있다. 여기서 비대면 실명확인을 위해 필수 인증 수단으로는, 신분증 사본 제출, 영상 통화, 접근매체 전달 시 확인(실물거래확인), 계좌활용(지정계좌이체), 바이오 인증 중 적어도 2가지 이상의 확인을 통해 실명확인을 한다.According to Digital Transformation, the window business performed only through face-to-face window business and automated financial device business (account transfer, withdrawal, deposit, bankbook arrangement, etc.) is losing Here, the required authentication means for non-face-to-face real-name verification is to verify at least two of the following: submission of a copy of ID card, video call, confirmation when delivering access media (real transaction confirmation), account use (designated account transfer), and bio-verification. Confirm.

최근 금융시장은 Digital Transformation에 따라 창구업무와 자동화기기(ATM) 업무가 가능한 스마트 금융자동화기기(STM)가 확산되고 있다.Recently, in the financial market, smart financial automation machine (STM) that can work at the window and automatic machine (ATM) is spreading according to digital transformation.

금융자동화기기에 대해 종래에 제안된 기술이 하기의 <특허문헌 1> 내지 <특허문헌 3> 에 개시되어 있다.Conventionally proposed techniques for automated financial devices are disclosed in <Patent Document 1> to <Patent Document 3>.

<특허문헌 1> 에 개시된 종래기술은 매체의 입출금을 위한 매체 입출부를 구비하는 본체, 본체에 구비되며, 리페어 서비스(repair service) 기능을 활성화 시키기 위한 리페어 선택부를 선택 가능하게 표시하는 표시부, 리페어 서비스를 지원받기 위한 물품이 보관되는 보관함, 보관된 물품에 대하여 리페어 서비스를 지원하기 위한 서비스 단말기에 통신 가능하게 연결되는 통신부, 표시부에서 리페어 선택부가 선택되면 보관함을 개방시키는 제어부를 포함한다. 제어부는 보관함에 물품이 보관된 것으로 확인되면, 물품에 대한 보관정보를 서비스 단말기에 전달한다. 이러한 구성을 통해, 금융자동화기기에서 금융거래 서비스 이외에 리페어 서비스 기능도 수행할 수 있게 된다.In the prior art disclosed in <Patent Document 1>, a main body having a media deposit/withdrawal unit for depositing/withdrawing media, a display unit provided in the main body, and a display unit for selectively displaying a repair selection unit for activating a repair service function, a repair service and a storage box in which goods for receiving support are stored, a communication unit communicatively connected to a service terminal for supporting a repair service with respect to the stored goods, and a control unit for opening the storage box when the repair selection unit is selected on the display unit. When it is confirmed that the goods are stored in the storage box, the control unit transmits storage information on the goods to the service terminal. Through this configuration, it is possible to perform a repair service function in addition to the financial transaction service in the automated financial device.

또한, <특허문헌 2> 에 개시된 종래기술은 고객 정보를 포함하는 체크카드 신청 정보를 입력받아 임시 데이터베이스에 저장하는 단계, 고객용 단말기로부터 체크카드 신청 정보를 수신하고, 체크카드 신청 정보에 대응하여 체크카드의 신청을 위한 체크카드 신청 페이지를 화면에 표시하는 단계, 체크카드 신청 페이지를 통해 고객의 계좌번호 및 비밀번호가 입력되면, 고객 정보, 계좌번호 및 비밀번호에 기초하여 체크카드 신청서를 생성하는 단계 및 체크카드 신청서에 서명이 입력되면 체크카드 신청서를 토대로 체크카드의 신청을 완료 처리한 후, 체크카드의 발급 명령을 금융자동화기기에 전송하는 단계를 포함한다. 이러한 구성을 통해, 금융자동화기기를 이용하여 체크카드를 발급한다.In addition, the prior art disclosed in <Patent Document 2> includes the steps of receiving and storing check card application information including customer information in a temporary database, receiving check card application information from a customer terminal, and responding to the check card application information Displaying a check card application page for applying for a check card on the screen, when the customer's account number and password are input through the check card application page, generating a check card application form based on the customer information, account number and password and when a signature is entered in the check card application, after completing the application for the check card based on the check card application, transmitting an issuance command of the check card to the automated financial device. Through this configuration, a check card is issued using an automated financial device.

또한, <특허문헌 3> 에 개시된 종래기술은 컴퓨터기기에서 기기의 사용권한이 있는 사용자가 기기를 사용하는 중에 카메라에 의해 취득된 화상에서 사용자의 얼굴을 검출할 수 없으면, 음성 및 화면 표시를 통해 경고를 하고, 설정된 시간 이내에 사용자가 검출되지 않으면 컴퓨터를 자동으로 로킹하여, 사용자가 아닌 타인이 컴퓨터를 사용하는 것을 방지하여 보안성 향상을 도모한다.In addition, in the prior art disclosed in <Patent Document 3>, when a user who has the right to use the device in a computer device cannot detect the user's face from the image acquired by the camera while using the device, the user's face can be detected through voice and screen display. It gives a warning and automatically locks the computer if a user is not detected within a set time to prevent others other than the user from using the computer, thereby improving security.

대한민국 공개특허 10-2019-0020358(2019.03.04. 공개)(금융기기, 금융기기의 제어방법 및 금융시스템)Republic of Korea Patent Publication 10-2019-0020358 (published on March 4, 2019) (Financial devices, control methods of financial devices and financial systems) 대한민국 공개특허 10-2014-0000509(2014.01.03. 공개)(금융자동화기기를 이용한 체크카드 발급 방법 및 시스템)Republic of Korea Patent Publication No. 10-2014-0000509 (published on Jan. 3, 2014) (Method and system for issuing check cards using automated financial devices) 일본 등록특허 제4699139호(2011.03.11. 등록)(보안 시스템)Japanese Patent Registration No. 4699139 (Registered on March 11, 2011) (Security System)

그러나 상기와 같은 일반적인 스마트 금융자동화기기 및 특허문헌으로 언급한 금융자동화기기는 통상의 금융자동화업무 이외에 창구를 통해 이루어지는 리페어 서비스라든지 체크카드 신청 등이 가능하나, 거래 도중에 사용자의 이탈 또는 변경에 대하여 개인정보 노출 우려가 있는 데, 이러한 개인정보를 보호하는 데 미흡하다는 단점이 있다.However, with the general smart financial automation devices mentioned above and the financial automation devices mentioned in the patent literature, repair services or check card applications can be made through the window in addition to the normal financial automation business. There is a risk of information exposure, but there is a disadvantage in that it is insufficient to protect such personal information.

특히, 일반적인 스마트 금융자동화기기는 사용중 사용자의 정보 입력이 정해진 시간 이내에 입력되지 않으면 짧은 타임아웃으로 인해 처음부터 다시 거래가 이루어지는 방식이므로, 창구업무의 특성상 장시간 거래를 하는 업무에서 신속하게 응답을 하지 않으면 거래에 많은 시간을 할애해야하는 단점이 있다.In particular, if the user's information is not input within the specified time during use, the general smart financial automation device is a method that starts again from the beginning due to a short timeout. The downside is that you have to spend a lot of time on it.

또한, 일반적인 스마트 금융자동화기기는 창구업무와 같은 업무에서는 빈번하게 인증을 요구하는 데, 이때마다 실명확인을 위한 추가인증을 해야 하므로, 사용상에 불편함이 있다.In addition, general smart financial automation devices frequently require authentication for tasks such as window tasks.

또한, <특허문헌 3> 에 개시된 종래기술은 거래도중에 사용자 이탈에 따라 자동으로 컴퓨터를 록킹시킬 수는 있으나, 사용도중 사용자 변경에 대해서는 대응하지 못하고 개인정보를 그대로 유출시키는 단점이 있다.In addition, the prior art disclosed in <Patent Document 3> can automatically lock the computer according to the departure of the user during the transaction, but there is a disadvantage in that it cannot respond to a user change during use and leaks personal information as it is.

따라서 본 발명은 상기와 같은 일반적인 스마트 금융자동화기기 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 스마트 금융자동화기기(Smart Automated Teller Machine; 이하 "STM"이라 한다)에서 안면인식 기술을 이용하여 사용자의 이탈 및 변경을 정확하게 감지하고, 사용자 이탈 및 변경 정보를 기초로 로그아웃을 제어하여 개인 정보의 유출을 방지하고 보안성을 향상하도록 한 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치 및 방법을 제공하는 데 그 목적이 있다.Therefore, the present invention has been proposed to solve the problems that occur in general smart financial automatic devices and prior art as described above, and facial recognition technology in smart automated teller machines (hereinafter referred to as "STM"). Using facial recognition to accurately detect user departure and change, and to control logout based on user departure and change information to prevent leakage of personal information and improve security. An object of the present invention is to provide a change detection device and method.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 스마트 금융자동화기기의 사용자 이탈/변경 감지장치는, 사용자의 거래 요청에 따라 금융거래가 시작되면 사용자 인식을 위한 영상을 촬영하는 카메라부; 상기 카메라부에서 촬영된 사용자 안면 영상을 인식하는 사용자 인식부; 상기 사용자 인식부에 의해 인식된 사용자 영상을 저장하고, 거래 도중에 사용자의 이탈/변경을 판단하는 사용자 이탈/변경 판단부; 거래 도중에 상기 사용자 이탈/변경 판단부에 의해 이탈 또는 변경이 감지되면 자동으로 로그아웃을 제어하고, 인증이 필요한 업무와 금융자동화 업무를 통합 제어하는 금융업무 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the device for detecting user departure/change of a smart financial automatic device according to the present invention includes: a camera unit for photographing an image for user recognition when a financial transaction is started according to a user's transaction request; a user recognition unit for recognizing a user's face image taken by the camera unit; a user departure/change determination unit for storing the user image recognized by the user recognition unit, and determining departure/change of the user during a transaction; When a departure or change is detected by the user departure/change determination unit during a transaction, it automatically controls logout, and it characterized in that it comprises a financial business control unit for integrated control of tasks requiring authentication and financial automation tasks.

또한, 본 발명에 따른 스마트 금융자동화기기의 사용자 이탈/변경 감지장치는, 거래에 대한 음성을 송출하며, 거래 도중에 사용자 이탈 발생 시 상기 금융업무 제어부의 제어에 따라 거래 연속성 유지를 위한 이탈 안내방송을 하는 음성 송출부를 더 포함하는 것을 특징으로 한다.In addition, the user departure/change detection device of the smart financial automation device according to the present invention transmits a voice for a transaction, and when a user leaves during a transaction, a departure announcement is broadcast for maintaining transaction continuity under the control of the financial business control unit. It characterized in that it further comprises a voice transmission unit.

상기에서 카메라부는 사용자 이탈과 변경 및 추가 인증을 위해 사용자의 안면을 촬영하는 안면인식 카메라를 포함하는 것을 특징으로 한다.In the above, the camera unit is characterized in that it includes a face recognition camera for photographing the user's face for user departure and change and additional authentication.

상기에서 사용자 이탈/변경 판단부는 상기 금융 업무 제어부의 제어에 따라 금융 거래가 시작되면 안면인식 솔루션을 이용하여 사용자 영상을 등록하고, 금융 거래가 종료될 때까지 지속적으로 사용자 영상을 분석하여 사용자의 이탈 및 변경을 감시하며, 사용자 이탈 또는 변경이 감지되면 사용자 이탈 또는 변경에 대한 감지 이벤트를 상기 금융 업무 제어부에 전달하는 것을 특징으로 한다.In the above, the user departure/change determination unit registers a user image using a facial recognition solution when a financial transaction starts under the control of the financial business control unit, and continuously analyzes the user image until the financial transaction is terminated to change the user's departure and change. and, when user departure or change is detected, a detection event for user departure or change is transmitted to the financial business control unit.

상기에서 금융 업무 제어부는 금융 거래 도중에 상기 사용자 이탈/변경 판단부로부터 사용자 이탈 이벤트가 발생하면, 사용자 이탈에 대해 안내 방송을 제어하고, 미리 설정된 시간 이내에 사용자가 복귀하지 않으면 개인정보 보호를 위해 자동으로 로그아웃을 하고 초기 화면으로 전환하는 것을 특징으로 한다.In the above, when a user departure event occurs from the user departure/change determination unit during a financial transaction, the financial business control unit controls the announcement about user departure, and if the user does not return within a preset time, automatically to protect personal information It is characterized by logging out and switching to the initial screen.

상기에서 금융 업무 제어부는 금융 거래 도중에 상기 사용자 이탈/변경 판단부로부터 사용자 변경 이벤트가 발생하면, 개인정보 보호를 위해 자동으로 즉시 로그아웃을 하고 초기 화면으로 전환하는 것을 특징으로 한다.In the above, when a user change event occurs from the user departure/change determination unit during a financial transaction, the financial business control unit automatically logs out immediately and switches to the initial screen to protect personal information.

상기에서 금융 업무 제어부는 금융 거래 도중에 추가 인증이 필요할 경우, 상기 사용자 이탈/변경 판단부와 연동하여 금융 거래 도중에 사용자 이탈/변경 이벤트가 발생하지 않으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주하는 것을 특징으로 한다.In the above, when additional authentication is required during the financial transaction, the financial business control unit interlocks with the user departure/change determination unit and considers that additional authentication has been made without performing additional authentication if a user departure/change event does not occur during the financial transaction characterized in that

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 스마트 금융자동화기기의 사용자 이탈/변경 감지방법은, (a) 스마트 금융자동화기에 내장된 금융 업무 제어부에서 금융 거래가 시작되면 사용자 이탈/변경 판단부와 연동하여 안면인식 감시를 요청하는 단계; (b) 상기 사용자 이탈/변경 판단부에서 안면 인식 감시가 요청되면 안면인식 솔루션을 실행하고, 사용자 이탈/변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하여 상기 금융 업무 제어부에 전달하는 단계; (c) 상기 금융 업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 이탈 또는 변경에 따라 선택적으로 로그아웃을 제어하여 개인정보를 보호하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the method for detecting user departure/change of a smart financial automation device according to the present invention includes (a) a user departure/change determination unit when a financial transaction starts in the financial business control unit built in the smart financial automation device requesting facial recognition monitoring in conjunction with; (b) executing a face recognition solution when a face recognition monitoring is requested from the user departure/change determination unit, and generating a user departure/change detection event when a user departure/change is detected and transmitting it to the financial business control unit; (c) when a user departure/change detection event is received during a financial transaction from the financial business control unit, selectively controlling logout according to the departure or change to protect personal information.

상기에서 (b)단계는 (b1) 안면인식 솔루션을 실행하고, 카메라 제어권을 획득하는 단계; (b2) 사용자 인식부를 통해 획득한 사용자 영상을 등록하는 단계; (b3) 실시간으로 상기 사용자 인식부를 통해 획득한 영상과 등록한 사용자 영상을 비교하여 사용자의 이탈 또는 변경을 감시하는 단계; (b4) 상기 (b3) 단계에서 사용자의 이탈 또는 변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하는 단계; (b5) 상기 금융 업무 제어부로부터 안면인식 감시 종료가 발생하면 안면인식 솔루션을 종료하고 카메라 제어권을 반납하는 단계를 포함하는 것을 특징으로 한다.In the above (b) step (b1) executing the face recognition solution, and acquiring the camera control rights; (b2) registering a user image acquired through a user recognition unit; (b3) monitoring the departure or change of the user by comparing the image acquired through the user recognition unit with the registered user image in real time; (b4) generating a user departure/change detection event when the departure or change of the user is detected in step (b3); (b5) when the termination of facial recognition monitoring occurs from the financial business control unit, terminating the facial recognition solution and returning the camera control right.

상기에서 (c)단계는 (c1) 상기 금융 업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 수신된 이벤트가 사용자 이탈 감지 이벤트인지를 확인하여, 사용자 이탈 감지 이벤트이면 거래 연속성 유지를 위해 복귀 안내 음성을 송출하는 단계; (c2) 상기 복귀 안내 음성 송출 후 시간의 경과를 확인하고, 설정된 시간 이내에 사용자 이탈 감지 이벤트의 해제가 발생하지 않으면 개인정보 보호를 위해 자동으로 로그아웃을 하여 초기화면으로 전환하고, 동시에 사용자 이탈/변경 판단부에 안면인식 모니터링 종료신호를 전달하는 단계를 포함하는 것을 특징으로 한다.In step (c), (c1) when a user departure/change detection event is received during a financial transaction from the financial business control unit, it is checked whether the received event is a user departure detection event, and if it is a user departure detection event, transaction continuity is maintained. sending a return guidance voice to (c2) Check the lapse of time after the return guidance voice is transmitted, and if the user departure detection event does not occur within the set time, automatically log out and switch to the initial screen to protect personal information, and at the same time It characterized in that it comprises the step of transmitting a face recognition monitoring end signal to the change determining unit.

상기에서 (c)단계는 (c3) 상기 금융 업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 수신된 이벤트가 사용자 변경 감지 이벤트인지를 확인하여, 사용자 변경 감지 이벤트이면 즉시 자동으로 로그아웃을 제어하여 개인정보를 보호하는 단계를 더 포함하는 것을 특징으로 한다.In step (c), (c3) when a user departure/change detection event is received during a financial transaction from the financial business control unit, it is checked whether the received event is a user change detection event, and if it is a user change detection event, it is automatically logged It characterized in that it further comprises the step of protecting personal information by controlling the out.

또한, 본 발명에 따른 스마트 금융자동화기기의 사용자 이탈/변경 감지방법은, (d) 상기 금융 업무 제어부에서 금융 거래를 수행하는 도중에 추가 인증이 발생하면, 상기 사용자 이탈/변경 판단부와 연동하여 금융 거래 도중에 사용자 이탈/변경 이벤트가 발생하지 않았으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주하는 단계를 더 포함하는 것을 특징으로 한다.In addition, in the method for detecting user departure/change of a smart financial automatic device according to the present invention, (d) when additional authentication occurs while performing a financial transaction in the financial business control unit, the financial transaction control unit interworks with the user departure/change determination unit to provide financial services. The method further includes the step of considering that additional authentication is performed without performing additional authentication if no user departure/change event occurs during the transaction.

본 발명에 따르면 스마트 금융자동화기기에서 안면인식 기술을 이용하여 거래 도중에 사용자의 이탈/변경을 감지하고, 이탈/변경 시 자동으로 로그아웃을 하여 사용자의 개인정보 노출을 방지할 수 있는 효과가 있다.According to the present invention, there is an effect that a user's departure/change is detected during a transaction using facial recognition technology in a smart financial automatic device, and when a user leaves/changes, the user automatically logs out to prevent exposure of the user's personal information.

또한, 본 발명에 따르면 창구업무 특성상 연관되는 거래를 지속적으로 진행할 때, 추가적인 인증절차 시 사용자의 이탈/변경 감지 정보를 활용하여 별도의 추가 인증을 대체함으로써, 추가적인 인증절차의 생략으로 사용자가 보다 신속하고 편리하게 금융 거래를 수행하도록 도모해주는 효과가 있다.In addition, according to the present invention, when a transaction related to the window business characteristic is continuously carried out, the user's departure/change detection information is used in the additional authentication procedure to replace the additional additional authentication, so that the user can be more quickly due to the omission of the additional authentication procedure. and facilitates convenient financial transactions.

도 1은 본 발명에 따른 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치의 개략 구성도,
도 2는 본 발명에 따른 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치의 실시 예를 보인 블록 구성도,
도 3은 본 발명에 따른 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지방법을 보인 흐름도이다.1 is a schematic configuration diagram of a user departure/change detection device of a smart financial automatic device using facial recognition according to the present invention;
2 is a block diagram showing an embodiment of a device for detecting user departure/change of a smart financial automatic device using facial recognition according to the present invention;
3 is a flowchart illustrating a user departure/change detection method of a smart financial automatic device using facial recognition according to the present invention.

이하 본 발명의 바람직한 실시 예에 따른 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치 및 방법을 상세하게 설명한다.Hereinafter, an apparatus and method for detecting user departure/change of a smart financial automatic device using facial recognition according to a preferred embodiment of the present invention will be described in detail.

이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present invention described below should not be construed as being limited to conventional or dictionary meanings, and the inventor may appropriately define the concept of terms in order to best describe his invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that there is.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents and It should be understood that there may be variations.

<실시 예1><Example 1>

도 1은 본 발명의 바람직한 실시 예에 따른 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치의 개략 구성도이고, 도 2는 안면인식을 이용한 스마트 금융자동화기기의 사용자 이탈/변경 감지장치의 블록 구성도이다.1 is a schematic configuration diagram of a user departure/change detection device of an automated smart financial device using facial recognition according to a preferred embodiment of the present invention, and FIG. 2 is a user departure/change detection device of an automated smart financial device using facial recognition is a block diagram of

본 발명에 따른 안면인식을 이용한 스마트 금융자동화기기(STM)의 사용자 이탈/변경 감지장치는, 안면인식 등을 위한 카메라가 내장되며, 인증이 필요한 업무(창구업무라고도 함) 및 금융자동화 업무를 수행하는 다양한 장치들이 내장된 본체(120)가 마련되며, 상기 본체(120)에는 사용자의 접근을 감지하는 사용자 감지부(101)가 구비된다.The user departure/change detection device of a smart financial automation device (STM) using facial recognition according to the present invention has a built-in camera for facial recognition, etc. A main body 120 in which various devices are embedded is provided, and the main body 120 is provided with a user sensing unit 101 for detecting a user's approach.

여기서 인증이 필요한 업무는 통장 개설, 생체정보 인증 업무 등을 포함하며, 금융자동화 업무는 현금 입출금, 계좌 이체 등의 거래 업무를 포함한다.Here, the tasks that require authentication include account opening and biometric information authentication tasks, and financial automation tasks include transaction tasks such as cash deposits and withdrawals and account transfers.

이러한 사용자 감지부(101)는 사용자가 스마트 금융자동화기기(100)의 본체(120)에 사용자가 접근하는 것을 감지하기 위해서 근접센서를 이용할 수 있으며, 이러한 근접센서 이외에 사용자 접근을 감지할 수 있는 알려진 다양한 감지 센서를 이용할 수도 있다.Such a user detection unit 101 may use a proximity sensor to detect that the user approaches the main body 120 of the smart financial automation device 100, and other known proximity sensors that can detect user access Various detection sensors may be used.

상기 본체(120)에는 화상 상담 또는 사용자 안면 인식을 위한 영상을 촬영하는 카메라부(102)가 구비된다. 여기서 카메라부(101)는 화상 상담을 위한 촬영 영상을 획득하는 화상상담 카메라(1021a), 사용자 안면 인식을 위한 안면 영상을 획득하는 안면인식 카메라(102b)가 구비된다.The main body 120 is provided with a camera unit 102 that captures an image for image consultation or user face recognition. Here, the camera unit 101 is provided with a video consultation camera 1021a for acquiring a photographed image for video consultation, and a face recognition camera 102b for acquiring a facial image for recognizing a user's face.

또한, 상기 본체(120)에는 상기 카메라부(102)에서 촬영된 사용자 안면 연상을 인식하는 사용자 인식부(103), 상기 사용자 인식부(103)에 의해 인식된 사용자 영상을 등록하고, 거래 도중에 사용자의 이탈/변경을 판단하는 사용자 이탈/변경 판단부(111), 거래 도중에 상기 사용자 이탈/변경 판단부(111)에 의해 이탈 또는 변경이 감지되면, 자동으로 로그아웃을 제어하여 사용자의 개인 정보 유출을 방지하여 보안성을 강화하고, 인증이 필요한 업무인 창구업무와 금융자동화 업무를 통합 제어하는 금융업무 제어부(105)가 구비된다.In addition, in the main body 120, the user recognition unit 103 for recognizing the user's facial association photographed by the camera unit 102, the user image recognized by the user recognition unit 103 is registered, and the user during the transaction When a departure or change is detected by the user departure/change determination unit 111, which determines the departure/change of A financial business control unit 105 is provided to strengthen security by preventing the transaction, and to control the window business and financial automation business, which are tasks that require authentication.

또한, 거래에 대한 음성을 송출하며, 거래 도중에 사용자 이탈 발생 시 상기 금융업무 제어부(105)의 제어에 따라 거래 연속성 유지를 위한 이탈 안내방송을 하는 음성 송출부(106), 사용자의 조작 정보를 상기 금융업무 제어부(105)에 전달하는 고객 조작부(104)가 구비된다. 이러한 고객 조작부(104)는 하나의 터치 디스플레이를 이용하여 정보 표출과 고객 정보 입력을 수행한다.In addition, the voice transmission unit 106 transmits a voice for the transaction, and when the user leaves during the transaction, the voice transmitter 106 that makes a departure announcement for maintaining transaction continuity under the control of the financial business control unit 105, and the user's operation information A customer operation unit 104 that transmits to the financial business control unit 105 is provided. The customer manipulation unit 104 performs information display and customer information input using a single touch display.

또한, 상기 본체(120)는 사용자에게 제공할 음성이나 제어 프로그램이 내장된 음성 메모리(108), 사용자가 제시하는 신분증을 인식하는 신분증 인식부(109), 사용자의 생체 정보를 인식하는 바이오 인식부(110), 안내 음성 신호를 외부에 송출하는 스피커(107)를 구비한다.In addition, the main body 120 includes a voice memory 108 having a built-in voice or control program to be provided to the user, an ID recognition unit 109 for recognizing an ID presented by the user, and a biometric recognition unit for recognizing the user's biometric information. (110), a speaker 107 for transmitting a guide voice signal to the outside is provided.

또한, 상기 본체(120)에는 통상의 스마트 금융자동화기기에서 창구업무나 금융업무를 위해 필요한 정보(통장, 기타)를 인식하거나 통장 정리를 위한 기능 등을 포함한다.In addition, the main body 120 includes a function for recognizing information (passbook, etc.) necessary for a window business or financial business in a normal smart financial automatic device, or for organizing a bankbook.

이와 같이 구성된 본 발명에 따른 안면인식을 이용한 스마트 금융자동화기기(STM)의 사용자 이탈/변경 감지장치의 동작을 구체적으로 설명하면 다음과 같다.The operation of the user departure/change detection device of the smart financial automation device (STM) using facial recognition according to the present invention configured as described above will be described in detail as follows.

먼저, 스마트 금융자동화기기(100)가 사용자 감지를 대기하는 상태에서, 사용자가 본체(120)에 일정 거리 이내로 접근을 하면, 사용자 감지부(101)의 근접 센서에서 이를 감지하고, 사용자 감지에 대한 이벤트(사용자 감지신호)를 발생하여 금융업무 제어부(105)에 전달한다.First, when the user approaches the main body 120 within a certain distance while the smart financial automation device 100 is waiting for user detection, the proximity sensor of the user detection unit 101 detects it, and An event (user detection signal) is generated and transmitted to the financial business control unit 105 .

금융업무 제어부(105)는 사용자 감지에 대한 이벤트가 발생하면, 대기 모드에서 금융업무 모드로 전환을 하고, 음성 송출부(106)를 통해 미리 등록된 기본적인 고객 안내 음성을 송출하도록 한다.When an event for user detection occurs, the financial business control unit 105 switches from the standby mode to the financial business mode, and transmits a pre-registered basic customer guidance voice through the voice transmitter 106 .

이후, 사용자가 특정 금융 거래를 선택하면, 사용자 이탈/변경 판단부(111)와 연동하여 사용자의 안면인식을 감시하도록 제어하고, 동시에 사용자가 선택한 금융 거래를 시작한다.Thereafter, when the user selects a specific financial transaction, it controls to monitor the user's facial recognition in conjunction with the user departure/change determination unit 111, and at the same time starts the financial transaction selected by the user.

상기 사용자 이탈/변경 판단부(111)는 상기 금융업무 제어부(105)로부터 사용자 안면인식 감시 요청 즉, 사용자 이탈/변경에 대해 감시 요청이 발생하면, 사용자 인식부(103)로부터 발생하는 사용자 영상을 획득하여 저장한다. 여기서 카메라부(102)의 안면인식 카메라(102b)는 금융 거래가 시작되면 활성화하여 사용자의 안면을 촬영한다. 상기 안면인식 카메라(102b)는 촬영한 사용자의 안면 영상을 사용자 인식부(103)에 전달한다. 여기서 안면인식 카메라(102b)는 휠체어를 사용하는 장애인이나 정상인의 얼굴을 모두 촬영할 수 있는 위치에 설치되는 것이 바람직하다.The user departure/change determination unit 111 receives a user image generated from the user recognition unit 103 when a user face recognition monitoring request, that is, a monitoring request for user departure/change, occurs from the financial business control unit 105 . Acquire and save Here, the facial recognition camera 102b of the camera unit 102 is activated when a financial transaction is started to photograph the user's face. The face recognition camera 102b transmits the captured user's face image to the user recognition unit 103 . Here, the face recognition camera 102b is preferably installed in a position where both the faces of the disabled or normal persons using a wheelchair can be photographed.

상기 사용자 인식부(103)는 안면인식 카메라(102b)에 의해 전달되는 안면 영상을 전처리하고, 기초적인 안면 영상 이미지만을 금융업무 제어부(105)를 통해 사용자 이탈/변경 판단부(111)에 제공한다.The user recognition unit 103 pre-processes the facial image transmitted by the facial recognition camera 102b, and provides only a basic facial image image to the user departure/change determination unit 111 through the financial business control unit 105 .

상기 사용자 이탈/변경 판단부(111)는 금융업무 제어부(105)의 제어에 따라 안면인식 감시가 요청되면 안면인식 솔루션을 실행하고, 카메라 제어권을 획득한 후, 전달되는 사용자 안면 영상의 분석을 통해 가장 큰 얼굴 이미지를 추출하여 사용자 영상으로 등록한다. 여기서 영상으로부터 얼굴 이미지를 추출하는 것은 외곽선 추출, 외곽선 추출을 통해 획득한 얼굴 이미지로부터 눈, 코, 입 및 턱을 구분하여 얼굴 특징점 추출 등과 같이 영상 이미지를 추출 및 인식하는 일반적으로 알려진 영상 처리 알고리즘을 이용할 수 있다. 영상 분석 시 사용자의 얼굴 이미지가 복수로 인식되면, 상기 금융업무 제어부(105)를 통해 복수의 사용자 얼굴 영상이 인식되는 것을 알린다.The user departure/change determination unit 111 executes a facial recognition solution when a facial recognition monitoring is requested under the control of the financial business control unit 105, acquires the camera control right, and then analyzes the transmitted user's face image. The largest face image is extracted and registered as a user image. Here, extracting a face image from an image is a commonly known image processing algorithm that extracts and recognizes an image image, such as extracting and recognizing facial features by separating the eyes, nose, mouth and chin from the face image obtained through outline extraction and outline extraction. Available. When a plurality of user's face images are recognized during image analysis, the recognition of the plurality of user's face images is notified through the financial business control unit 105 .

상기 금융업무 제어부(105)는 안면 영상 인식 시 복수의 사용자 얼굴 영상이 인식됨을 인지하면, 고객 조작부(104)를 통해 복수의 얼굴 영상이 인지되니 실제 금융 거래를 하는 한 사람만 남도록 하는 안내문구를 송출한다. 이후 타이머를 동작시키고, 설정 시간(예를 들어, 5초) 이내에 한 사람의 얼굴 영상만 남으면 금융 거래를 지속하고, 이와는 달리 설정 시간이 지난 후에도 복수의 얼굴 영상이 검출되면 개인정보 보호를 위해 자동으로 강제 로그아웃을 하여 초기 화면으로 복귀하고, 상기 사용자 이탈/변경 판단부(111)에도 거래 종료 정보를 제공한다. 사용자 이탈/변경 판단부(111)는 거래 종료 정보가 제공되면 안면인식 솔루션을 종료하고, 카메라 제어권을 반납한다.When the financial business control unit 105 recognizes that a plurality of user face images are recognized when recognizing a facial image, a plurality of face images are recognized through the customer manipulation unit 104, so that only one person who makes an actual financial transaction remains. send out Afterwards, a timer is activated and financial transactions are continued if only one face image remains within a set time (eg, 5 seconds). On the other hand, if multiple face images are detected even after the set time has elapsed, it is automatically to forcibly log out to return to the initial screen, and provide transaction termination information to the user departure/change determination unit 111 . When the transaction termination information is provided, the user departure/change determination unit 111 terminates the facial recognition solution and returns the camera control right.

한편, 설정 시간 이내에 한 사람의 얼굴 영상만 남으면, 사용자 이탈/변경 판단부(111)는 해당 얼굴 영상을 사용자 영상으로 등록하고, 사용자 안면인식 감시를 시작한다.On the other hand, if only one person's face image remains within the set time, the user departure/change determination unit 111 registers the corresponding face image as the user image and starts monitoring the user's face recognition.

상기 사용자 이탈/변경 판단부(111)는 상기 안면인식 솔루션을 통해 인식한 사용자 영상을 등록하고, 금융 거래가 종료될 때까지 지속적으로 획득되는 사용자 영상을 분석하여 사용자의 이탈 및 변경을 감시한다. 사용자 영상 등록 시 ID를 부여하여 등록할 수 있다. 여기서 사용자 이탈 및 변경을 감시하는 방법으로서, 실시간으로 안면인식 카메라(102b)로부터 획득한 영상으로부터 얼굴 이미지를 추출하고, 이를 등록한 사용자 영상과 비교하여 일치도를 확인하는 안면추적기술을 통해 사용자 변경을 감시한다. 아울러 안면인식 카메라(102b)로부터 획득한 영상 분석을 통해, 얼굴 이미지가 인식되지 않거나, 얼굴 이외의 다른 이미지만 인식되면 사용자가 이탈한 것으로 판단하며, 안면추적기술을 통해 인식되는 얼굴 영상이 등록된 얼굴 영상과 상이하면 사용자가 변경된 것으로 판단한다. 그리고 사용자 이탈 또는 변경이 감지되면 사용자 이탈 또는 변경에 대해 감지이벤트를 상기 금융 업무 제어부(105)에 전달한다.The user departure/change determination unit 111 registers the user image recognized through the facial recognition solution, and monitors the user's departure and change by analyzing the user image continuously acquired until the financial transaction is completed. When registering a user image, it can be registered by giving an ID. Here, as a method of monitoring user departure and change, a face image is extracted from an image obtained from the face recognition camera 102b in real time, and the user change is monitored through a face tracking technology that compares it with a registered user image to check the match. do. In addition, through image analysis obtained from the face recognition camera 102b, if a face image is not recognized or only an image other than the face is recognized, it is determined that the user has departed, and the face image recognized through the face tracking technology is registered If it is different from the face image, it is determined that the user has changed. And when user departure or change is detected, a detection event for user departure or change is transmitted to the financial business control unit 105 .

상기 금융 업무 제어부(105)는 금융 거래 도중에 상기 사용자 이탈/변경 판단부(111)로부터 사용자 이탈 또는 변경 감지 이벤트가 발생하면, 발생한 이벤트가 사용자 이탈 이벤트인지를 확인한다. 여기서 사용자 이탈 이벤트와 사용자 변경 이벤트에 대하여 각각 서로 다른 ID를 부여함으로써, 쉽게 사용자 이탈인지 아니면 사용자 변경인지를 금융 업무 제어부(105)에서 판단할 수 있다.When a user departure or change detection event occurs from the user departure/change determination unit 111 during a financial transaction, the financial business control unit 105 checks whether the generated event is a user departure event. Here, by giving different IDs to the user departure event and the user change event, it is possible to easily determine whether the user exits or the user changes in the financial business control unit 105 .

상기 금융 업무 제어부(105)는 이벤트 정보를 분석한 결과, 사용자 이탈 감지 이벤트 신호이면, 음성 송출부(106)를 통해 사용자 이탈에 대해 안내 방송(예를 들어, 금융 거래를 원할 경우 정해진 자리로 이동을 권고하는 안내 방송)를 한다. 실제 금융거래 도중에 사용자는 소지품을 떨어뜨리거나 전화 통화는 하는 경우 등이 있으며, 이 경우 스마트 금융자동화기기로부터 떨어지거나 안면인식 카메라의 촬영 위치를 벗어나는 경우가 있다. 이 경우 바로 로그아웃을 진행하면 사용자는 금융 업무를 처음부터 다시 진행해야 하는 불편함이 있다. 이러한 불편함을 개선하기 위해서, 사용자 이탈 감지 이벤트가 발생하면 타이머를 동작시키고 미리 설정된 시간(예를 들어, 10초) 이내에 사용자가 복귀하면 현재 진행하는 금융 거래를 유지시켜 사용자가 처음부터 금융 거래를 다시 시작하는 불편함을 해소해준다. 이와는 달리 미리 설정된 시간 이내에 사용자가 복귀하지 않으면, 개인정보 보호를 위해 자동으로 로그아웃을 하고 초기 화면으로 전환하여, 개인정보 유출을 방지하여, 보안성을 강화한다.As a result of analyzing the event information, if the financial operation control unit 105 is a user departure detection event signal, a notification broadcast about user departure through the voice transmitter 106 (eg, move to a designated seat when a financial transaction is desired) announcement) to recommend During actual financial transactions, users may drop their belongings or make phone calls. In this case, if you log out immediately, the user has the inconvenience of having to proceed with the financial business again from the beginning. In order to improve this inconvenience, a timer is activated when a user departure detection event occurs, and if the user returns within a preset time (for example, 10 seconds), the current financial transaction is maintained so that the user can start a financial transaction from the beginning. It relieves the discomfort of starting over. On the other hand, if the user does not return within a preset time, it automatically logs out and switches to the initial screen to protect personal information, thereby preventing personal information leakage and enhancing security.

이와는 달리 상기 금융 업무 제어부(105)는 금융 거래 도중에 상기 사용자 이탈/변경 판단부(111)로부터 사용자 변경 이벤트가 발생하면, 개인정보 보호를 위해 자동으로 즉시 로그아웃을 하고 초기 화면으로 전환하여, 개인 정보 유출을 방지하고 보안성을 강화한다.On the other hand, when a user change event occurs from the user departure/change determination unit 111 during a financial transaction, the financial business control unit 105 automatically logs out immediately and switches to the initial screen to protect personal information. Prevent information leakage and strengthen security.

한편, 본 발명의 다른 특징으로서 금융 업무 제어부(105)는 금융 거래 도중에 추가 인증이 필요할 경우, 상기 사용자 이탈/변경 판단부(111)와 연동하여 금융 거래 도중에 사용자 이탈/변경 이벤트가 발생하지 않았으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주한다. 즉, 인증이 필요한 창구업무와 같은 금융 거래는 금융 거래 도중에 추가 인증을 수행하여 보안성을 강화한다. 이때, 추가 인증은 타기관 인증이나 개인정보 검증을 통해 이루어진다. 따라서 사용자는 금융 거래 도중에 추가 인증을 위해 불편함 작업을 행해야 한다. 이는 시간 적으로 금융 거래 시간의 소요를 유발하여 사용자의 불편함을 야기하며, 결과적으로 추가 인증 시간으로 인해 금융 거래 시간의 지연을 유발한다.On the other hand, as another feature of the present invention, when additional authentication is required during a financial transaction, the financial business control unit 105 interworks with the user departure/change determination unit 111 so that a user departure/change event does not occur during the financial transaction. Additional authentication is deemed to have been made without performing additional authentication. That is, for financial transactions such as the window business that requires authentication, additional authentication is performed during the financial transaction to enhance security. In this case, additional authentication is made through authentication of other organizations or verification of personal information. Therefore, the user has to perform an inconvenient operation for additional authentication during the financial transaction. This causes time-consuming financial transaction time, causing inconvenience to users, and consequently delaying financial transaction time due to additional authentication time.

따라서 본 발명은 금융 거래 도중에 사용자의 이탈 또는 변경 등의 이벤트가 발생하지 않았으면, 실제 대면을 통한 실명 확인과 같이 판단을 하고, 추가적인 인증 절차를 생략하여, 전체적인 금융 거래 시간을 단축하고, 추가적인 인증 절차로 인한 사용자의 불편함을 개선하게 되는 것이다.Therefore, in the present invention, if an event such as departure or change of a user does not occur during a financial transaction, a determination is made such as real name confirmation through actual face-to-face, and an additional authentication procedure is omitted, thereby shortening the overall financial transaction time, and additional authentication The user's inconvenience caused by the procedure will be improved.

또한, 본 발명의 또 다른 특징으로서 금융 업무 제어부(105)는 안면인식을 통해 종래 금융자동화 업무에 필요한 인증도 대체한다.In addition, as another feature of the present invention, the financial operation control unit 105 replaces the authentication required for the conventional financial automation business through facial recognition.

<실시 예2><Example 2>

도 3은 본 발명에 따른 스마트 금융자동화기기의 사용자 이탈/변경 감지방법을 보인 흐름도로서, (a) 스마트 금융자동화기기에 내장된 금융 업무 제어부(105)에서 금융 거래가 시작되면 사용자 이탈/변경 판단부(111)와 연동하여 안면인식 감시를 요청하는 단계(S101 - S103), (b) 상기 사용자 이탈/변경 판단부(111)에서 안면 인식 감시가 요청되면 안면인식 솔루션을 실행하고, 사용자 이탈/변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하여 상기 금융 업무 제어부(105)에 전달하는 단계(S110), (c) 상기 금융 업무 제어부(105)에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 이탈 또는 변경에 따라 선택적으로 로그아웃을 제어하여 개인정보를 보호하는 단계(S104 - S109, S120)를 포함한다.3 is a flowchart showing a user departure/change detection method of a smart financial automatic device according to the present invention. Steps (S101 - S103) of requesting face recognition monitoring in conjunction with (111), (b) when the face recognition monitoring is requested in the user departure/change determination unit 111, a face recognition solution is executed, and the user departs/changes When this is detected, a user departure/change detection event is generated and delivered to the financial business control unit 105 (S110), (c) When a user departure/change detection event is received during a financial transaction in the financial business control unit 105 , and selectively controlling logout according to departure or change to protect personal information (S104 - S109, S120).

상기 (b)단계(S110)는 (b1) 안면인식 솔루션을 실행하고, 카메라 제어권을 획득하는 단계(S111 - S112), (b2) 사용자 인식부(103)를 통해 획득한 사용자 영상을 등록하는 단계(S113), (b3) 실시간으로 상기 사용자 인식부(103)를 통해 획득한 영상과 등록한 사용자 영상을 비교하여 사용자의 이탈 또는 변경을 감시하는 단계(S114), (b4) 상기 (b3) 단계에서 사용자의 이탈 또는 변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하는 단계(S115), (b5) 상기 금융 업무 제어부(105)로부터 안면인식 감시 종료가 발생하면 안면인식 솔루션을 종료하고 카메라 제어권을 반납하는 단계(S116 - S117)를 포함한다.The (b) step (S110) includes the steps of (b1) executing the face recognition solution, obtaining the camera control right (S111 - S112), (b2) registering the user image obtained through the user recognition unit 103 (S113), (b3) monitoring the departure or change of the user by comparing the image acquired through the user recognition unit 103 with the registered user image in real time (S114), (b4) in the step (b3) Steps (S115) of generating a user departure/change detection event when a user's departure or change is detected (S115), (b5) When the end of facial recognition monitoring occurs from the financial business control unit 105, the face recognition solution is terminated and the camera control right is returned and steps S116 to S117.

상기 (c)단계는 (c1) 상기 금융 업무 제어부(105)에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 수신된 이벤트가 사용자 이탈 감지 이벤트인지를 확인하여, 사용자 이탈 감지 이벤트이면 거래 연속성 유지를 위해 복귀 안내 음성을 송출하는 단계(S104 - S106), (c2) 상기 복귀 안내 음성 송출 후 시간의 경과를 확인하고, 설정된 시간 이내에 사용자 이탈 감지 이벤트의 해제가 발생하지 않으면 개인정보 보호를 위해 자동으로 로그아웃을 하여 초기화면으로 전환하고, 동시에 사용자 이탈/변경 판단부에 안면인식 모니터링 종료신호를 전달하는 단계(S107 - S109), (c3) 상기 금융 업무 제어부(105)에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 수신된 이벤트가 사용자 변경 감지 이벤트인지를 확인하여, 사용자 변경 감지 이벤트이면 즉시 자동으로 로그아웃을 제어하여 개인정보를 보호하는 단계(S120)를 포함한다.In step (c), (c1) when a user departure/change detection event is received in the middle of a financial transaction from the financial business control unit 105, it is checked whether the received event is a user departure detection event, and if it is a user departure detection event, transaction continuity Transmitting a return guidance voice for maintenance (S104 - S106), (c2) checking the lapse of time after sending the return guidance voice, and if the release of the user departure detection event does not occur within the set time, for the protection of personal information Steps (S107 - S109), (c3) of automatically logging out and switching to the initial screen, and transmitting a facial recognition monitoring end signal to the user departure/change determination unit (S107 - S109), (c3) the user during the financial transaction in the financial business control unit 105 When a departure/change detection event is received, it is checked whether the received event is a user change detection event, and if it is a user change detection event, it automatically controls logout immediately to protect personal information (S120).

또한, 본 발명에 따른 스마트 금융자동화기기의 사용자 이탈/변경 감지방법은, 도면에는 도시하지 않았지만 상기 금융 업무 제어부(105)에서 금융 거래를 수행하는 도중에 추가 인증이 발생하면, 상기 사용자 이탈/변경 판단부(111)와 연동하여 금융 거래 도중에 사용자 이탈/변경 이벤트가 발생하지 않았으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주하는 단계를 더 포함한다. 이러한 단계는 거래 진행 단계(S104)에 부가되거나 정상 거래 종료를 확인하는 단계(S109)에 부가될 수 있다.In addition, although not shown in the drawing, in the method for detecting user departure/change of a smart financial automatic device according to the present invention, when additional authentication occurs while performing a financial transaction in the financial business control unit 105, the user departure/change determination is made The method further includes the step of considering that additional authentication is performed without performing additional authentication if no user departure/change event occurs during the financial transaction in conjunction with the unit 111 . This step may be added to the transaction progress step (S104) or may be added to the step (S109) for confirming the normal transaction termination.

이와 같이 구성된 본 발명에 따른 안면인식을 이용한 스마트 금융자동화기기(STM)의 사용자 이탈/변경 감지방법을 구체적으로 설명하면 다음과 같다.A method for detecting user departure/change of a smart financial automation device (STM) using facial recognition according to the present invention configured as described above in detail is as follows.

먼저, 스마트 금융자동화기기(100)가 사용자 감지를 대기하는 상태에서, 사용자가 본체(120)에 일정 거리 이내로 접근을 하면, 사용자 감지부(101)의 근접 센서에서 이를 감지하고, 사용자 감지에 대한 이벤트(사용자 감지신호)를 발생하여 금융업무 제어부(105)에 전달한다.First, when the user approaches the main body 120 within a certain distance while the smart financial automation device 100 is waiting for user detection, the proximity sensor of the user detection unit 101 detects it, and An event (user detection signal) is generated and transmitted to the financial business control unit 105 .

금융업무 제어부(105)는 사용자 감지에 대한 이벤트가 발생하면, 대기 모드에서 금융업무 모드로 전환을 하고, 음성 송출부(106)를 통해 미리 등록된 기본적인 고객 안내 음성을 송출하도록 한다.When an event for user detection occurs, the financial business control unit 105 switches from the standby mode to the financial business mode, and transmits a pre-registered basic customer guidance voice through the voice transmitter 106 .

이후, 단계 S101에서 사용자가 특정 금융 거래를 선택하면, 단계 S103에서 사용자 이탈/변경 판단부(111)와 연동하여 사용자의 안면인식을 감시하도록 제어하고, 동시에 사용자가 선택한 금융 거래를 시작한다.Thereafter, when the user selects a specific financial transaction in step S101, in step S103, in conjunction with the user departure/change determination unit 111, the user's face recognition is controlled to be monitored, and at the same time, the user's selected financial transaction is started.

상기 사용자 이탈/변경 판단부(111)는 단계 S110에서 상기 금융업무 제어부(105)로부터 사용자 안면인식 감시 요청 즉, 사용자 이탈/변경에 대해 감시 요청이 발생하면(안면인식 모니터링 Async 함수 호출), 사용자 인식부(103)로부터 발생하는 사용자 영상을 획득하여 저장한다. 여기서 카메라부(102)의 안면인식 카메라(102b)는 금융 거래가 시작되면 활성화하여 사용자의 안면을 촬영한다. 상기 안면인식 카메라(102b)는 촬영한 사용자의 안면 영상을 사용자 인식부(103)에 전달한다. 여기서 안면인식 카메라(102b)는 휠체어를 사용하는 장애인이나 정상인의 얼굴을 모두 촬영할 수 있는 위치에 설치되는 것이 바람직하다. 상기 사용자 인식부(103)는 안면인식 카메라(102b)에 의해 전달되는 안면 영상을 전처리하고, 기초적인 안면 영상 이미지만을 금융업무 제어부(105)를 통해 사용자 이탈/변경 판단부(111)에 제공한다.The user departure/change determination unit 111 is a user face recognition monitoring request from the financial business control unit 105 in step S110, that is, when a monitoring request for user departure/change occurs (facial recognition monitoring Async function call), the user The user image generated from the recognition unit 103 is acquired and stored. Here, the face recognition camera 102b of the camera unit 102 is activated when a financial transaction is started to photograph the user's face. The face recognition camera 102b transmits the captured user's face image to the user recognition unit 103 . Here, the face recognition camera 102b is preferably installed in a position where both the faces of the disabled or normal people using a wheelchair can be photographed. The user recognition unit 103 pre-processes the facial image transmitted by the facial recognition camera 102b, and provides only a basic facial image image to the user departure/change determination unit 111 through the financial business control unit 105 .

상기 사용자 이탈/변경 판단부(111)는 금융업무 제어부(105)의 제어에 따라 안면인식 감시가 요청되면 단계 S111에서 안면인식 솔루션을 실행하고, 단계 S112에서 카메라 제어권을 획득한 후, 단계 S113에서 전달되는 사용자 안면 영상의 분석을 통해 가장 큰 얼굴 이미지를 추출하여 사용자 영상으로 등록한다. 여기서 영상으로부터 얼굴 이미지를 추출하는 것은 외곽선 추출, 외곽선 추출을 통해 획득한 얼굴 이미지로부터 눈, 코, 입 및 턱을 구분하여 얼굴 특징점 추출 등과 같이 영상 이미지를 추출 및 인식하는 일반적으로 알려진 영상 처리 알고리즘을 이용할 수 있다. 영상 분석 시 사용자의 얼굴 이미지가 복수로 인식되면, 상기 금융업무 제어부(105)를 통해 복수의 사용자 얼굴 영상이 인식되는 것을 알린다.The user departure/change determination unit 111 executes the face recognition solution in step S111 when a face recognition monitoring is requested under the control of the financial business control unit 105, and after acquiring the camera control right in step S112, in step S113 The largest face image is extracted through analysis of the delivered user face image and registered as a user image. Here, extracting a face image from an image is a commonly known image processing algorithm that extracts and recognizes an image image, such as extracting and recognizing facial features by separating the eyes, nose, mouth and chin from the face image obtained through outline extraction and outline extraction. Available. When a plurality of user's face images are recognized during image analysis, the recognition of the plurality of user's face images is notified through the financial business control unit 105 .

상기 금융업무 제어부(105)는 안면 영상 인식 시 복수의 사용자 얼굴 영상이 인식됨을 인지하면, 고객 조작부(104)를 통해 복수의 얼굴 영상이 인지되니 실제 금융 거래를 하는 한 사람만 남도록 하는 안내문구를 송출한다. 이후 타이머를 동작시키고, 설정 시간(예를 들어, 5초) 이내에 한 사람의 얼굴 영상만 남으면 금융 거래를 지속하고, 이와는 달리 설정 시간이 지난 후에도 복수의 얼굴 영상이 검출되면 개인정보 보호를 위해 자동으로 강제 로그아웃을 하여 초기 화면으로 복귀하고, 상기 사용자 이탈/변경 판단부(111)에도 거래 종료 정보를 제공한다. 사용자 이탈/변경 판단부(111)는 거래 종료 정보가 제공되면 안면인식 솔루션을 종료하고, 카메라 제어권을 반납한다.When the financial business control unit 105 recognizes that a plurality of user face images are recognized when recognizing a facial image, a plurality of face images are recognized through the customer manipulation unit 104, so that only one person who makes an actual financial transaction remains. send out Afterwards, a timer is activated and financial transactions are continued if only one face image remains within a set time (eg, 5 seconds). On the other hand, if multiple face images are detected even after the set time has elapsed, it is automatically to forcibly log out to return to the initial screen, and provide transaction termination information to the user departure/change determination unit 111 . When the transaction termination information is provided, the user departure/change determination unit 111 terminates the facial recognition solution and returns the camera control right.

한편, 설정 시간 이내에 한 사람의 얼굴 영상만 남으면, 사용자 이탈/변경 판단부(111)는 해당 얼굴 영상을 사용자 영상으로 등록하고, 단계 S114로 이동하여 사용자 안면인식 감시를 시작한다.On the other hand, if only one person's face image remains within the set time, the user departure/change determination unit 111 registers the corresponding face image as the user image, and moves to step S114 to start monitoring the user's face recognition.

상기 사용자 이탈/변경 판단부(111)는 단계 S115에서 상기 안면인식 솔루션을 통해 인식한 사용자 영상을 등록하고, 금융 거래가 종료될 때까지 지속적으로 획득되는 사용자 영상을 분석하여 사용자의 이탈 및 변경을 감시한다. 사용자 영상 등록 시 ID를 부여하여 등록할 수 있다. 여기서 사용자 이탈 및 변경을 감시하는 방법으로서, 실시간으로 안면인식 카메라(102b)로부터 획득한 영상으로부터 얼굴 이미지를 추출하고, 이를 등록한 사용자 영상과 비교하여 일치도를 확인하는 안면추적기술을 통해 사용자 변경을 감시한다. 아울러 안면인식 카메라(102b)로부터 획득한 영상 분석을 통해, 얼굴 이미지가 인식되지 않거나, 얼굴 이외의 다른 이미지만 인식되면 사용자가 이탈한 것으로 판단하며, 안면추적기술을 통해 인식되는 얼굴 영상이 등록된 얼굴 영상과 상이하면 사용자가 변경된 것으로 판단한다. 그리고 사용자 이탈 또는 변경이 감지되면 사용자 이탈 또는 변경에 대해 감지이벤트를 상기 금융 업무 제어부(105)에 전달한다.The user departure/change determination unit 111 registers the user image recognized through the facial recognition solution in step S115, and monitors the user departure and change by analyzing the user image continuously acquired until the financial transaction is completed. do. When registering a user image, it can be registered by giving an ID. Here, as a method of monitoring user departure and change, a face image is extracted from an image obtained from the face recognition camera 102b in real time, and the user change is monitored through a face tracking technology that compares it with a registered user image to confirm the degree of conformity. do. In addition, through image analysis obtained from the face recognition camera 102b, if a face image is not recognized or only an image other than the face is recognized, it is determined that the user has departed, and the face image recognized through the face tracking technology is registered If it is different from the face image, it is determined that the user has changed. And when user departure or change is detected, a detection event for user departure or change is transmitted to the financial business control unit 105 .

상기 금융 업무 제어부(105)는 단계 S104와 같이 금융 거래 도중에 상기 사용자 이탈/변경 판단부(111)로부터 사용자 이탈 또는 변경 감지 이벤트가 발생하면, 단계 S105로 이동하여 발생한 이벤트가 사용자 이탈 이벤트인지를 확인한다. 여기서 사용자 이탈 이벤트와 사용자 변경 이벤트에 대하여 각각 서로 다른 ID를 부여함으로써, 쉽게 사용자 이탈인지 아니면 사용자 변경인지를 금융 업무 제어부(105)에서 판단할 수 있다.When a user departure or change detection event occurs from the user departure/change determination unit 111 during a financial transaction as in step S104, the financial business control unit 105 moves to step S105 and checks whether the generated event is a user departure event do. Here, by giving different IDs to the user departure event and the user change event, it is possible to easily determine whether the user exits or the user changes in the financial business control unit 105 .

상기 금융 업무 제어부(105)는 이벤트 정보를 분석한 결과, 사용자 이탈 감지 이벤트 신호이면, 단계 S106으로 이동하여 음성 송출부(106)를 통해 사용자 이탈에 대해 안내 방송(예를 들어, 금융 거래를 원할 경우 정해진 자리로 이동을 권고하는 안내 방송)를 한다. 실제 금융거래 도중에 사용자는 소지품을 떨어뜨리거나 전화 통화는 하는 경우 등이 있으며, 이 경우 스마트 금융자동화기기로부터 떨어지거나 안면인식 카메라의 촬영 위치를 벗어나는 경우가 있다. 이 경우 바로 로그아웃을 진행하면 사용자는 금융 업무를 처음부터 다시 진행해야 하는 불편함이 있다. 이러한 불편함을 개선하기 위해서, 사용자 이탈 감지 이벤트가 발생하면 타이머를 동작시키고, 단계 S107 및 단계 S108과 같이 미리 설정된 시간(예를 들어, 10초) 이내에 사용자가 복귀하면 현재 진행하는 금융 거래를 유지시켜 사용자가 처음부터 금융 거래를 다시 시작하는 불편함을 해소해준다. 이와는 달리 미리 설정된 시간 이내에 사용자가 복귀하지 않으면, 단계 S120으로 이동하여 개인정보 보호를 위해 자동으로 로그아웃을 하고 초기 화면으로 전환하여, 개인정보 유출을 방지하여, 보안성을 강화한다. 자동으로 로그아웃을 수행하는 경우에는, 사용자 이탈/변경 판단부(111)에도 금융 거래 종료신호를 전달한다. 사용자 이탈/변경 판단부(111)는 금융 거래 종료신호가 수신되면, 단계 S116에서 안면인식 솔루션을 종료하고, 단계 S117에서 카메라 제어권을 반납한다. 여기서 사용자 이탈 이벤트에 대하여 안내 멘트를 송출한 후, 설정 시간이 지나기 이전에 단계 S107과 같이 사용자 이탈/변경 감지 이벤트가 해제되면, 거래 진행 단계로 이동한다.As a result of analyzing the event information, if the financial business control unit 105 is a user departure detection event signal, it moves to step S106 and broadcasts information about user departure through the voice transmitter 106 (for example, if you want a financial transaction) In this case, an announcement recommending moving to a designated seat) is performed. During actual financial transactions, users may drop their belongings or make phone calls. In this case, if the user logs out immediately, the user has the inconvenience of having to proceed with the financial business from the beginning. In order to improve this inconvenience, a timer is operated when a user departure detection event occurs, and if the user returns within a preset time (eg, 10 seconds) as in steps S107 and S108, the current financial transaction is maintained. This eliminates the inconvenience of users starting financial transactions again from scratch. On the other hand, if the user does not return within the preset time, it moves to step S120 to automatically log out to protect personal information and switch to the initial screen to prevent personal information leakage, thereby enhancing security. In the case of automatically logging out, a financial transaction termination signal is also transmitted to the user departure/change determination unit 111 . When the user departure/change determination unit 111 receives the financial transaction termination signal, the facial recognition solution is terminated in step S116, and the camera control right is returned in step S117. Here, after sending out a guide message for the user departure event, if the user departure/change detection event is released as in step S107 before the set time elapses, the transaction proceeds.

한편, 상기 금융 업무 제어부(105)는 금융 거래 도중에 상기 사용자 이탈/변경 판단부(111)로부터 사용자 변경 이벤트가 발생하면, 개인정보 보호를 위해 단계 S120으로 이동하여 자동으로 즉시 로그아웃을 하고 초기 화면으로 전환하여, 개인 정보 유출을 방지하고 보안성을 강화한다. 자동으로 로그아웃을 수행하는 경우에는, 사용자 이탈/변경 판단부(111)에도 금융 거래 종료신호를 전달한다. 사용자 이탈/변경 판단부(111)는 금융 거래 종료신호가 수신되면, 단계 S116에서 안면인식 솔루션을 종료하고, 단계 S117에서 카메라 제어권을 반납한다.On the other hand, when a user change event occurs from the user departure/change determination unit 111 during a financial transaction, the financial business control unit 105 moves to step S120 to automatically log out immediately and the initial screen to prevent leakage of personal information and enhance security. In the case of automatically logging out, a financial transaction termination signal is also transmitted to the user departure/change determination unit 111 . When the user departure/change determination unit 111 receives the financial transaction termination signal, the facial recognition solution is terminated in step S116, and the camera control right is returned in step S117.

한편, 본 발명의 다른 특징으로서 금융 업무 제어부(105)는 금융 거래 도중에 추가 인증이 필요할 경우, 상기 사용자 이탈/변경 판단부(111)와 연동하여 금융 거래 도중에 사용자 이탈/변경 이벤트가 발생하지 않았으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주한다. 즉, 창구업무와 같은 금융 거래는 금융 거래 도중에 추가 인증을 수행하여 보안성을 강화한다. 이때, 추가 인증은 타기관 인증이나 개인정보 검증을 통해 이루어진다. 따라서 사용자는 금융 거래 도중에 추가 인증을 위해 불편함 작업을 행해야 한다. 이는 시간 적으로 금융 거래 시간의 소요를 유발하여 사용자의 불편함을 야기하며, 결과적으로 추가 인증 시간으로 인해 금융 거래 시간의 지연을 유발한다.On the other hand, as another feature of the present invention, when additional authentication is required during a financial transaction, the financial business control unit 105 interworks with the user departure/change determination unit 111 so that a user departure/change event does not occur during the financial transaction. Additional authentication is deemed to have been made without performing additional authentication. That is, for financial transactions such as window business, additional authentication is performed during financial transactions to enhance security. In this case, additional authentication is made through authentication of other organizations or verification of personal information. Therefore, the user has to perform an inconvenient operation for additional authentication during the financial transaction. This causes time-consuming financial transaction time, causing inconvenience to users, and consequently delaying financial transaction time due to additional authentication time.

따라서 본 발명은 금융 거래 도중에 사용자의 이탈 또는 변경 등의 이벤트가 발생하지 않았으면, 실제 대면을 통한 실명 확인과 같이 판단을 하고, 추가적인 인증 절차를 생략하여, 전체적인 금융 거래 시간을 단축하고, 추가적인 인증 절차로 인한 사용자의 불편함을 개선하게 되는 것이다.Therefore, in the present invention, if an event such as departure or change of a user does not occur during a financial transaction, a determination is made such as real name confirmation through actual face-to-face, and an additional authentication procedure is omitted, thereby shortening the overall financial transaction time, and additional authentication The user's inconvenience caused by the procedure will be improved.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.Although the invention made by the present inventor has been described in detail according to the above embodiment, the present invention is not limited to the above embodiment, and it is common knowledge in the art that various changes can be made without departing from the gist of the present invention. self-evident to those who have

100: 스마트 금융자동화기기
101: 사용자 감지부
102: 카메라부
102a: 화상상담 카메라
102b: 안면인식 카메라
103: 사용자 인식부
104: 고객 조작부
105: 금융 업무 제어부
106: 음성 송출부
107: 스피커
108: 음성 메모리
109: 신분증 인식부
110: 바이오 인식부
111: 사용자 이탈/변경 판단부
120: 본체100: smart financial automation device
101: user detection unit
102: camera unit
102a: video conference camera
102b: face recognition camera
103: user recognition unit
104: customer control panel
105: financial business control unit
106: voice transmitter
107: speaker
108: voice memory
109: ID recognition unit
110: bio-recognition unit
111: user departure / change decision unit
120: body

Claims (12)

사용자의 거래 요청에 따라 금융거래가 시작되면 사용자 인식을 위한 영상을 촬영하는 카메라부;
상기 카메라부에서 촬영된 사용자 안면 영상을 인식하는 사용자 인식부;
상기 사용자 인식부에 의해 인식된 사용자 영상을 저장하고, 금융거래 도중에 사용자의 이탈/변경을 판단하는 사용자 이탈/변경 판단부; 및
금융거래 도중에 상기 사용자 이탈/변경 판단부에 의해 이탈 또는 변경이 감지되면 자동으로 로그아웃을 제어하고, 인증이 필요한 업무를 통합 제어하는 금융업무 제어부를 포함하며,
상기 금융업무 제어부는 상기 사용자 이탈/변경 판단부와 연동하여 금융 거래 도중에 추가 인증 발생 시 사용자 이탈/변경 이벤트가 발생하지 않으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주하며,
상기 금융 업무 제어부는 금융 거래 도중에 상기 사용자 이탈/변경 판단부로부터 사용자 변경 이벤트가 발생하면, 개인정보 보호를 위해 자동으로 즉시 로그아웃을 하고 초기 화면으로 전환하는 것을 특징으로 하는 스마트 금융자동화기기의 사용자 이탈/변경 감지장치.
a camera unit for capturing an image for user recognition when a financial transaction is started according to a user's transaction request;
a user recognition unit for recognizing the user's face image taken by the camera unit;
a user departure/change determination unit storing the user image recognized by the user recognition unit and determining departure/change of the user during a financial transaction; and
When a departure or change is detected by the user departure/change determination unit during a financial transaction, it automatically controls logout and includes a financial business control unit for integrated control of tasks requiring authentication,
If the user departure/change event does not occur when additional authentication occurs during financial transaction in conjunction with the user departure/change determination unit, the financial business control unit considers that additional authentication has been made without performing additional authentication,
When a user change event occurs from the user departure/change determination unit during a financial transaction, the financial business control unit automatically logs out immediately and switches to the initial screen to protect personal information. Departure/change detection device.
 청구항 1에서, 상기 금융거래에 대한 음성을 송출하며, 거래 도중에 사용자 이탈 발생 시 상기 금융업무 제어부의 제어에 따라 거래 연속성 유지를 위한 이탈 안내방송을 하는 음성 송출부를 더 포함하는 것을 특징으로 하는 스마트 금융자동화기기의 사용자 이탈/변경 감지장치.
The smart finance according to claim 1, further comprising a voice transmitter that transmits a voice for the financial transaction and provides a departure announcement for maintaining transaction continuity under the control of the financial business control unit when a user leaves during a transaction. User departure/change detection device for automated equipment.
 청구항 1에서, 상기 카메라부는 사용자 이탈과 변경 및 추가 인증을 위해 사용자의 안면을 촬영하는 안면인식 카메라를 포함하는 것을 특징으로 하는 스마트 금융자동화기기의 사용자 이탈/변경 감지장치.
The apparatus of claim 1, wherein the camera unit includes a face recognition camera for photographing the user's face for user departure and change and additional authentication.
 청구항 1에서, 상기 사용자 이탈/변경 판단부는 상기 금융 업무 제어부의 제어에 따라 금융 거래가 시작되면 안면인식 솔루션을 이용하여 사용자 영상을 등록하고, 금융 거래가 종료될 때까지 지속적으로 사용자 영상을 분석하여 사용자의 이탈 및 변경을 감시하며, 사용자 이탈 또는 변경이 감지되면 사용자 이탈 또는 변경에 대한 감지이벤트를 상기 금융 업무 제어부에 전달하는 것을 특징으로 하는 스마트 금융자동화기기의 사용자 이탈/변경 감지장치.
The method according to claim 1, wherein the user departure/change determination unit registers a user image using a facial recognition solution when a financial transaction is started under the control of the financial business control unit, and continuously analyzes the user image until the financial transaction is terminated. A user departure/change detection device for a smart financial automation device, which monitors departure and change, and transmits a detection event for user departure or change to the financial business control unit when user departure or change is detected.
 청구항 1에서, 상기 금융 업무 제어부는 금융 거래 도중에 상기 사용자 이탈/변경 판단부로부터 사용자 이탈 이벤트가 발생하면, 사용자 이탈에 대해 안내 방송을 제어하고, 미리 설정된 시간 이내에 사용자가 복귀하지 않으면 개인정보 보호를 위해 자동으로 로그아웃을 하고 초기 화면으로 전환하는 것을 특징으로 하는 스마트 금융자동화기기의 사용자 이탈/변경 감지장치.
The method according to claim 1, When a user departure event occurs from the user departure/change determination unit during a financial transaction, the financial business control unit controls the announcement for user departure, and protects personal information if the user does not return within a preset time A user departure/change detection device of a smart financial automation device, characterized in that it automatically logs out and switches to the initial screen.
 삭제delete 삭제delete 스마트 금융자동화기기(STM)에서 사용자 이탈/변경 감지를 통해 로그아웃을 제어하여 개인정보를 보호하기 위한 방법으로서,
(a) 스마트 금융자동화기기에 내장된 금융 업무 제어부에서 금융 거래가 시작되면 사용자 이탈/변경 판단부와 연동하여 안면인식 감시를 요청하는 단계;
(b) 상기 사용자 이탈/변경 판단부에서 안면 인식 감시가 요청되면 안면인식 솔루션을 실행하고, 사용자 이탈/변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하여 상기 금융 업무 제어부에 전달하는 단계;
(c) 상기 금융 업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 이탈 또는 변경에 따라 선택적으로 로그아웃을 제어하여 개인정보를 보호하는 단계; 및
(d) 상기 금융 업무 제어부에서 금융 거래를 수행하는 도중에 추가 인증이 발생하면, 상기 사용자 이탈/변경 판단부와 연동하여 금융 거래 도중에 사용자 이탈/변경 이벤트가 발생하지 않았으면 추가 인증을 수행하지 않고 추가 인증이 이루어진 것으로 간주하는 단계를 포함하는 것을 특징으로 하는 스마트 금융자동화기기에서 사용자 이탈/변경 감지방법.
A method for protecting personal information by controlling logout through user departure/change detection in a smart financial automation device (STM),
(a) requesting facial recognition monitoring in conjunction with a user departure/change determination unit when a financial transaction is started in the financial business control unit built into the smart financial automation device;
(b) executing a face recognition solution when a face recognition monitoring is requested from the user departure/change determination unit, and generating a user departure/change detection event when a user departure/change is detected and transmitting it to the financial business control unit;
(c) when a user departure/change detection event is received during a financial transaction in the financial business control unit, selectively controlling logout according to the departure or change to protect personal information; and
(d) If additional authentication occurs while performing a financial transaction in the financial business control unit, additional authentication is not performed if no user departure/change event occurs during the financial transaction in conjunction with the user departure/change determination unit A method for detecting user departure/change in a smart financial automation device, comprising the step of considering that authentication has been made.
 청구항 8에서, 상기 (b)단계는 (b1) 안면인식 솔루션을 실행하고, 카메라 제어권을 획득하는 단계; (b2) 사용자 인식부를 통해 획득한 사용자 영상을 등록하는 단계; (b3) 실시간으로 상기 사용자 인식부를 통해 획득한 영상과 등록한 사용자 영상을 비교하여 사용자의 이탈 또는 변경을 감시하는 단계; (b4) 상기 (b3) 단계에서 사용자의 이탈 또는 변경이 감지되면 사용자 이탈/변경 감지 이벤트를 발생하는 단계; (b5) 상기 금융 업무 제어부로부터 안면인식 감시 종료가 발생하면 안면인식 솔루션을 종료하고 카메라 제어권을 반납하는 단계를 포함하는 것을 특징으로 하는 스마트 금융자동화기기에서 사용자 이탈/변경 감지방법.
The method of claim 8, wherein step (b) comprises: (b1) executing a facial recognition solution and acquiring a camera control right; (b2) registering the user image acquired through the user recognition unit; (b3) monitoring the departure or change of the user by comparing the image acquired through the user recognition unit with the registered user image in real time; (b4) generating a user departure/change detection event when the departure or change of the user is detected in step (b3); (b5) when the end of facial recognition monitoring occurs from the financial business controller, terminating the facial recognition solution and returning the camera control right.
 청구항 8에서, 상기 (c)단계는 (c1) 상기 금융 업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 수신된 이벤트가 사용자 이탈 감지 이벤트인지를 확인하여, 사용자 이탈 감지 이벤트이면 거래 연속성 유지를 위해 복귀 안내 음성을 송출하는 단계; (c2) 상기 복귀 안내 음성 송출 후 시간의 경과를 확인하고, 설정된 시간 이내에 사용자 이탈 감지 이벤트의 해제가 발생하지 않으면 개인정보 보호를 위해 자동으로 로그아웃을 하여 초기화면으로 전환하고, 동시에 사용자 이탈/변경 판단부에 안면인식 모니터링 종료신호를 전달하는 단계를 포함하는 것을 특징으로 하는 스마트 금융자동화기기에서 사용자 이탈/변경 감지방법.
The method of claim 8, wherein, in step (c), (c1) when a user departure/change detection event is received during a financial transaction in the financial business control unit, it is checked whether the received event is a user departure detection event, and if the user departure detection event is a transaction transmitting a return guidance voice to maintain continuity; (c2) Check the lapse of time after the return guidance voice is transmitted, and if the user departure detection event does not occur within the set time, automatically log out and switch to the initial screen to protect personal information, and at the same time A method for detecting user departure/change in a smart financial automation device, comprising the step of transmitting a facial recognition monitoring end signal to a change determining unit.
 청구항 10에서, 상기 (c)단계는 (c3) 상기 금융 업무 제어부에서 금융 거래 도중에 사용자 이탈/변경 감지 이벤트가 수신되면, 수신된 이벤트가 사용자 변경 감지 이벤트인지를 확인하여, 사용자 변경 감지 이벤트이면 즉시 자동으로 로그아웃을 제어하여 개인정보를 보호하는 단계를 더 포함하는 것을 특징으로 하는 스마트 금융자동화기기에서 사용자 이탈/변경 감지방법.


The method of claim 10, wherein in step (c), (c3) when a user departure/change detection event is received during a financial transaction in the financial business control unit, it is checked whether the received event is a user change detection event, and if it is a user change detection event, immediately A method for detecting user departure/change in a smart financial automation device, characterized in that it further comprises the step of protecting personal information by automatically controlling logout.


 삭제delete
KR1020190078635A 2019-07-01 2019-07-01 Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition KR102300391B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190078635A KR102300391B1 (en) 2019-07-01 2019-07-01 Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition
US16/918,487 US11823155B2 (en) 2019-07-01 2020-07-01 Apparatus and method for processing user information of smart automated machine using face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078635A KR102300391B1 (en) 2019-07-01 2019-07-01 Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition

Publications (2)

Publication Number Publication Date
KR20210002852A KR20210002852A (en) 2021-01-11
KR102300391B1 true KR102300391B1 (en) 2021-09-10

Family

ID=74129316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078635A KR102300391B1 (en) 2019-07-01 2019-07-01 Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition

Country Status (1)

Country Link
KR (1) KR102300391B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660043B1 (en) * 2022-01-13 2024-04-24 동의대학교 산학협력단 Voice recognition vending machine using machine learning algorithm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743458B1 (en) 2006-06-20 2007-07-30 노틸러스효성 주식회사 Method for photographing user in automatic teller machine and automatic teller machine using the same
KR101456786B1 (en) * 2013-06-04 2014-11-12 주식회사 엘지씨엔에스 Financial device and control method thereof
KR101754014B1 (en) 2016-02-19 2017-07-04 주식회사 엘지유플러스 Information Leakage Prevention Apparatus Based Face Recognition And Method of Threof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699139B2 (en) 2004-09-14 2011-06-08 富士フイルム株式会社 Security system
KR20070044959A (en) * 2005-10-26 2007-05-02 노틸러스효성 주식회사 Atm for sensing walking off and method for operating the same
KR20140000509A (en) 2012-06-22 2014-01-03 주식회사 우리은행 Method and system for issuing check card using automatic teller machine
KR20190020358A (en) 2017-08-21 2019-03-04 주식회사 에이텍에이피 Financial device, controlling method for the same, and financial system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743458B1 (en) 2006-06-20 2007-07-30 노틸러스효성 주식회사 Method for photographing user in automatic teller machine and automatic teller machine using the same
KR101456786B1 (en) * 2013-06-04 2014-11-12 주식회사 엘지씨엔에스 Financial device and control method thereof
KR101754014B1 (en) 2016-02-19 2017-07-04 주식회사 엘지유플러스 Information Leakage Prevention Apparatus Based Face Recognition And Method of Threof

Also Published As

Publication number Publication date
KR20210002852A (en) 2021-01-11

Similar Documents

Publication Publication Date Title
US8511542B2 (en) Automated teller machine and voice prompt method thereof
JP5084712B2 (en) User authentication terminal, authentication system, user authentication method, and user authentication program
US20160234416A1 (en) Method, device, and self service equipment thereof for card processing in card reader
KR101944965B1 (en) User authentication system using face recognition and biometric authentication card, and method thereof
JP2007102278A (en) Automatic transaction device
KR102243963B1 (en) System for managing attendance using face recognition
JP2008065493A (en) Biometrics system and method
KR20100103221A (en) Automatic teller machine for preventing illegal finance transaction and method of controlling the same
KR102300391B1 (en) Apparatus and method for user deviation/change detection of smart automated teller machine using facial recognition
KR102227908B1 (en) Method for the guidance of elderly persons in smart automated teller machine using facial recognition
JP2014074972A (en) Personal authentication supporting system with face image
WO2021123919A1 (en) Method for operating an automated teller machine
KR101806028B1 (en) User authentication method using user physical characteristics and user authentication system
JPH10134229A (en) Automatic teller machine and its system
JP2006259836A (en) Unauthorized use monitoring system and method
US11823155B2 (en) Apparatus and method for processing user information of smart automated machine using face recognition
JP2016045555A (en) Customer service management system, customer terminal, server device, customer service management method, and customer service method
JP2007094588A (en) Face authentication system
WO2018006325A1 (en) Method and system for verifying user entrance
KR20090068550A (en) Watching system of atm
JP2008010017A (en) Automatic transaction system
KR101148883B1 (en) Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine
KR20210005332A (en) Apparatus and method for the guidance of elderly persons in smart automated teller machine using facial recognition
WO2014092665A1 (en) Integrated user authentication system in self-service machines
JP2005242869A (en) Automatic teller system and automatic teller machine

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101000398; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210216

Effective date: 20210531

GRNO Decision to grant (after opposition)