KR20150041896A - 컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치 - Google Patents

컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치 Download PDF

Info

Publication number
KR20150041896A
KR20150041896A KR20130120429A KR20130120429A KR20150041896A KR 20150041896 A KR20150041896 A KR 20150041896A KR 20130120429 A KR20130120429 A KR 20130120429A KR 20130120429 A KR20130120429 A KR 20130120429A KR 20150041896 A KR20150041896 A KR 20150041896A
Authority
KR
South Korea
Prior art keywords
user
voice
location
face
recognition
Prior art date
Application number
KR20130120429A
Other languages
English (en)
Inventor
김동영
이충희
임영철
박지호
김남혁
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR20130120429A priority Critical patent/KR20150041896A/ko
Publication of KR20150041896A publication Critical patent/KR20150041896A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4015—Transaction verification using location information

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 스마트 휴대 기기의 안전 결제 방법으로, 사용자로부터 결제 정보 요청을 수신하고 수신된 결제 정보 요청에 응답하여, 사용자의 얼굴을 촬영하고 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하며, 얼굴 인식 성공률이 기설정한 임계값 이상이면 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행한 후 음성 인식 성공률이 기설정한 임계값 이상이면 사용자의 위치를 확인하고 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 사용자 위치를 저장부에 저장하되 기설정된 임계값을 초과하면 추가 보안 질문을 수행하고 사용자 위치를 저장부에 저장하고 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소인 것을 그 요지로 한다.

Description

컴퓨터 비전 기술, 음성인식과 GPS 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치 {Secure smart mobile payment method using integrated information of computer vision technology, voice recognition and GPS, and the device of thereof}
본 발명은 스마트 휴대 기기의 안전 결제 방법 및 그 장치에 관한 것으로, 구체적으로 컴퓨터 비전 기술, 음성인식과 GPS 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치에 관한 것이다.
최근 통신기술의 발달과 멀티미디어 기술의 발달로 단말기 및 이동 통신기기들은 고성능화, 경량화되면서 모바일 기기 (스마트폰, 테블릿 PC)를 이용하여 금융 결제를 이용하는 빈도수가 급격하게 증가하고 있다.
종래 발명은 음성 인식을 이용한 스마트폰 뱅킹 결제 방법(한국공개특허 10-2013-0082645)이다. 도 1은 종래 발명인 스마트 폰 뱅킹 결제 방법의 순서도이다.
도 1에 도시한 바와 같이, 스마트폰 뱅킹 결제 방법은 스마트폰에서 사용자의 음성을 인식하고, 송화부에서 인식한 음성을 저장한 후, 저장부에서 저장한 음성과 사용자의 목소리를 판별한 다음, 판별부에서 본인인증 단계를 거친 후 은행망을 통해 금융서비스를 이용하는 것을 그 요지로 한다.
그런데, 기존 모바일 기기에서 전자 결제를 하기 위해서는 공인 인증서, SMS 인증, 암호 인증과 같이 비교적 간단한 방법으로 결제를 진행할 수 있다는 보안적 결점이 있다. 즉 신용카드 소지자의 암호를 알고 있고 핸드폰만 있으면 아무런 제약 없이 누구나 결제 승인을 받을 수 있다. 또한 스마트 기기의 작은 입력패드로 암호 입력시 오타 발생으로 일정 횟수 이상 비밀번호를 입력하면 오류시 금융 거래가 정지되는 기능도 있으나, 이것만으로 금융 사고를 방지하는 데는 한계가 있다.
또한, 종래 발명은 음성 인식을 이용하여 모바일 기기에서 전자 결제를 하는데, 음성 인식에서 에러가 나는 경우에는 불편한 문제점이 있고, 또 음성 인식만으로 본인을 인증하고 전자 결제를 수행하기에는 위험 부담이 큰 문제점이 있었다.
본 발명은 기존 결제 방법의 단순함에서 오는 편리함을 최대한 유지하되 조금 더 안전한 방법으로 결제를 진행할 수 있는 스마트 휴대 기기의 안전 결제 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 일면에 따른, 스마트 휴대 기기의 안전 결제 장치는 사용자로부터 결제 정보 요청을 수신하는 입력부; 상기 사용자의 얼굴을 촬영하는 촬영부; 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하는 얼굴 인식부; 상기 사용자의 음성을 녹음하는 음성 녹음부; 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행하는 음성 인식부; 상기 사용자의 위치를 확인하는 위치 정보부; 수신된 상기 결제 정보 요청에 응답하여 얼굴 인식을 수행하고, 얼굴 인식 성공률이 기설정한 임계값 이상이면 음성 인식을 수행하고, 음성 인식 성공률이 기설정한 임계값 이상이면 사용자 위치 확인을 수행하며, 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 상기 사용자 위치를 저장하고, 상기 거리 차이가 기설정된 임계값을 초과하면 추가 보안 질문을 수행하는 제어부; 및 촬영된 상기 사용자 얼굴 사진, 녹음된 상기 사용자 음성 및 상기 사용자 위치 중 적어도 하나를 저장하는 저장부를 포함하되, 상기 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소이다.
본 발명의 다른 면에 따른, 스마트 휴대 기기의 안전 결제 방법은 사용자로부터 결제 정보 요청을 수신하는 단계; 수신된 상기 결제 정보 요청에 응답하여, 상기 사용자의 얼굴을 촬영하고 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하는 단계; 얼굴 인식 성공률이 기설정한 임계값 이상이면 상기 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행하는 단계; 음성 인식 성공률이 기설정한 임계값 이상이면 상기 사용자의 위치를 확인하는 단계; 및 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 상기 사용자 위치를 저장부에 저장하는 단계를 포함하되, 기설정된 임계값을 초과하면 추가 보안 질문을 수행하고 상기 사용자 위치를 상기 저장부에 저장하는 단계를 더 포함하고, 상기 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소인 것이다.
본 발명에 따르면, 사용자로부터 결제 정보 요청을 수신하고 수신된 결제 정보 요청에 응답하여, 사용자의 얼굴을 촬영하고 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하며, 얼굴 인식 성공률이 기설정한 임계값 이상이면 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행한 후 음성 인식 성공률이 기설정한 임계값 이상이면 사용자의 위치를 확인하고 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 사용자 위치를 저장부에 저장하되 기설정된 임계값을 초과하면 추가 보안 질문을 수행하고 사용자 위치를 저장부에 저장하고 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소이다.
따라서, 암호 입력이나 SMS 인증과 같이 불편하고 번거로운 방법 대신 얼굴 인식, 음성 인식 및 사용자 위치 정보 확인을 통하여 보다 편리하고 보안적으로 뛰어난 방법을 채택하여 전자 결제를 수행할 수 있다.
또한, 사용자 위치 정보를 활용하여 전자 결제가 주로 이루어진 기존의 결제 장소가 아니라 다른 곳에서 결제 요청이 발생한 경우, 추가 보안 질문을 하여 안정성을 향상 시키고 결제 장소를 계속 저장하고 업데이트하여 사용자 위치 정보를 체계적으로 관리할 수 있다.
이어, 금융사고 발생시에 촬영된 사용자의 얼굴 사진과 녹음된 사용자의 음성을 기초로 범인을 용이하게 찾을 수 있다.
뿐만 아니라, 위의 사항들을 종합해 볼 때, 고객에게 신뢰감 있는 금융 서비스를 제공할 수 있다.
도 1은 종래 발명의 실시 예에 따른 음성 인식 스마트폰 뱅킹 결제 방법의 순서도.
도 2는 본 발명의 실시 예에 따른 스마트 휴대 기기의 안전 결제 장치의 구성도.
도 3은 본 발명의 실시 예에 따른 스마트 휴대 기기의 안전 결제 방법의 순서도.
본 발명의 이 점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 스마트 휴대 기기의 안전 결제 장치의 구성도이다.
도 2에 도시한 바와 같이, 스마트 휴대 기기의 안전 결제 장치는 입력부(110), 촬영부(120), 얼굴 인식부(130), 음성 녹음부(140), 음성 인식부(150), 위치 정보부(160), 저장부(170), 통신부(180), 제어부(190)를 포함한다.
입력부(110)는 사용자로부터 결제 정보 요청을 수신한다. 입력부(110)는 키보드 입력 방식, 터치 스크린 입력 방식을 통하여 사용자로부터 결제 정보 요청을 수신한다.
촬영부(120)는 사용자의 얼굴을 촬영한다. 촬영부(120)는 단안 카메라 또는 스테레오 카메라를 통하여 사용자의 얼굴을 촬영한다.
얼굴 인식부(130)는 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행한다.
음성 녹음부(140)는 사용자의 음성을 녹음한다.
음성 인식부(150)는 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행한다. 구체적으로, 음성 인식부(150)는 녹음된 사용자 음성과 기저장된 사용자 음성의 주파수 진폭 파형을 기초로 동일성 판단을 하여 음성 인식을 수행한다.
위치 정보부(160)는 사용자의 위치를 확인한다. 위치 정보부(160)는 GPS 정보를 통하여 사용자의 위치를 확인하며, 이에 대한 자세한 설명은 공지기술이므로 생략한다.
저장부(170)는 촬영된 사용자 얼굴 사진, 녹음된 사용자 음성 및 사용자 위치 중 적어도 하나를 저장한다.
통신부(180)는 제어부(190)의 지시에 따라 저장부(170)에 저장된 사용자 얼굴 사진, 사용자 음성 및 사용자 위치 중 적어도 하나를 외부 서버로 전송한다. 통신부(180)는 사용자 얼굴 사진, 사용자 음성 및 사용자 위치를 금융사 서버로 전송하고, 따라서, 나중에 금융 사고 발생시 유력한 증거 자료로 활용할 수 있다.
제어부(190)는 수신된 결제 정보 요청에 응답하여 얼굴 인식을 수행하고, 얼굴 인식 성공률이 기설정한 임계값 이상이면 음성 인식을 수행하고, 음성 인식 성공률이 기설정한 임계값 이상이면 사용자 위치 확인을 수행하며, 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 사용자 위치를 저장하고, 거리 차이가 기설정된 임계값을 초과하면 추가 보안 질문을 수행한다. 여기서 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소이다. 예컨대, 현재 시점을 기준으로 5회 이상의 전자 결제가 수형된 경우, 제어부(190)는 결제 장소(사용자 위치)를 기존의 결제 장소로 인식한다. 제어부(190)가 수행하는 기능에서 대해서는 도 3에서 상술한다.
제어부(190)는 얼굴 인식 성공률이 기설정한 임계값 이상이면 음성 인식을 수행하지 않고, 바로 사용자 위치를 확인한다. 예컨대, 제어부(190)는 인식 성공률이 99%이상이면 바로 사용자 위치를 확인한다.
제어부(190)는 얼굴 인식 수행, 음성 인식 수행 및 위치 확인이 실패한 경우 기존의 사용자 인증 방식을 실행하거나 전자 결제 수행을 중지한다. 구체적으로 제어부(190)는 얼굴 인식, 음성 인식, 위치 확인이 실패하면 종래의 패스워드 입력 방식을 통해 사용자 인증을 수행하거나, 사용자 인증에 문제가 있다고 보아 전자 결제 수행을 중지한다.
도 3은 본 발명의 실시 예에 따른 스마트 휴대 기기의 안전 결제 방법의 순서도이다.
도 3에 도시한 바와 같이, 먼저, 사용자로부터 결제 정보 요청을 수신한다(S210). 구체적으로 입력부(110)를 통하여 사용자로부터 결제 정보 요청을 수신한다.
다음으로, 수신된 결제 정보 요청에 응답하여, 사용자의 얼굴을 촬영하고 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행한다(S220). 구체적으로 촬영부(120)를 통하여 사용자의 얼굴을 촬영하고, 얼굴 인식부(130)를 통하여 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행한다.
예컨대, 사용자의 얼굴을 촬영할 수 있는 창이 뜨면서 임의의 위치에 타원형의 가이드 라인을 제시하여 사용자가 그 가이드 타원에 얼굴을 맞추면 사진 촬영이 개시된다. 여기서, 타원형 가이드 라인을 랜덤한 위치에 나타내는 것은 간단한 방법으로 실시간성을 확인하기 위함이다.
이어, 사용자 얼굴 사진을 저장부(170)에 저장하고 이를 외부 서버로 전송한다. 촬영된 사용자 얼굴 사진을 금융 회사의 서버로 전송하여 이를 저장하면 인식의 정확도가 낮은 경우, 오작동의 경우 기계 학습의 샘플로 사용할 수 있다.
또한, 도난이나 잘못된 사용의 경우 금융 사고의 증거자료로 사용하기 위해 금융사 서버에서 일정 기간 동안 보관할 수 있다.
얼굴 인식 성공률이 기설정한 임계값 이상인지 확인한다(S230). 구체적으로 제어부(190)를 통하여 얼굴 인식 성공률이 임계값 이상인지 확인한다. 예컨대 얼굴 인식 성공률이 70% 이상 인지 확인한다.
임계값 이상이면 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행한다(S240). 예컨대 70% 이상이면 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행한다. 구체적으로, 음성 인식부(150)를 통하여 녹음된 사용자 음성과 기저장된 사용자 음성의 주파수 진폭 파형을 기초로 동일성 판단을 하여 음성 인식을 수행한다.
이어, 사용자 음성을 저장부(170)에 저장하고 이를 외부 서버로 전송한다.
이는 촬영된 사용자 얼굴 사진을 금융 회사의 서버에 저장하여 인식의 정확도가 낮은 경우, 오작동의 경우 기계 학습의 샘플로 사용할 수 있다. 또한, 도난이나 잘못된 사용의 경우 금융 사고의 증거자료로 사용하기 위해 일정 기간 동안 보관할 수 있다.
본 발명의 다른 실시 예에 따르면, 얼굴 인식 성공률이 기설정한 임계값 이상(예컨대 99%)이면 음성 인식을 수행하지 않고, 바로 사용자의 위치를 확인하는 단계로 진입한다. 즉, 얼굴 인식 성공률이 99%인 경우에는 본인 인증이 거의 확실시 되므로 음성 인식을 수행하지 않고, 바로 사용자의 위치를 확인한다.
음성 인식 성공률이 기설정한 임계값 이상인지 확인한다(S250). 구체적으로 제어부(190)를 통하여 음성 인식 성공률이 70% 이상인지 확인한다.
임계값 이상이면 사용자의 위치를 확인한다(S260). 구체적으로 임계값이 70%이상이면, 제어부(190)를 통하여 사용자의 위치를 확인한다.
기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내인지 확인한다(S270). 여기서, 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소이다. 즉 제어부(190)는 사용자가 5번 이상의 전자 결제를 한 곳은 기존의 결제 장소로 인식하고 저장부(170)에 저장한다.
제어부(190)는 사용자가 매 결제를 할 때마다 결제 횟수를 카운트 하고 기존의 결제 장소인지 아니면 새로운 장소인지 확인하고 기존의 결제 장소인 경우 결제 횟수를 카운트하고 업데이트한다. 따라서, 저장된 기존의 결제 장소의 숫자는 계속 증가하게 된다. 다음에 결제할 때, 제어부(190)는 업데이트가 반영된 상태에서 기존의 결제 장소를 인식한다.
제어부(190)는 사용자가 매 전자 결제를 할 때, 새로운 장소(사용자 위치)라도 계속 카운트를 하며, 카운트 수가 5회 이상이 되면, 새로운 장소(사용자 위치)는 기존의 결제 장소로 인식한다.
예컨대 사용자 A는 주로 교대역 음식점, 커피숍, 편의점에서 결제하는데, 제어부(190)를 통하여 저장부(170)에 저장된 기존의 결제 장소와 사용자가 결제하는 장소인 사용자 위치를 비교하여 그 거리 차이가 500 m 이내인지 확인힌다.
예컨대, 사용자 A가 종래에 자주 가던 교대역 음식점 인근의 음식점(거리 차이가 500 m 이내)에서 전자 결제를 수행하면, 제어부(190)는 거리 차이가 500 m 이내인 것을 확인한다.
거리 차이 계산하는 것은 스마트 휴대 기기의 GPS 정보를 이용하는 것으로 공지기술이므로, 이에 대한 자세한 설명은 생략한다.
임계값 이내이면 전자 결제를 수행한 후 사용자 위치를 저장부(170)에 저장한다(S280). 예컨대, 거리 차이가 500 m 이내이면 전자 결제를 수행한 후 사용자 위치를 저장부(170)에 저장한다. 따라서 매 결제시마다 사용자의 위치 정보를 수집하여 축적된 위치 정보를 통해 사용자 인증에 활용할 수 있다.
끝으로, 기설정된 임계값을 초과하면 추가 보안 질문을 수행하고 사용자 위치를 저장부(170)에 저장한다(S290). 예컨대, 제어부(190)는 거리 차이가 500 m 이상인 경기도 이천의 음식점에서 사용자 A가 전자 결제를 수행하는 경우, 추가 보안 질문을 수행한다. 추가 보안 질문은 1) 가장 좋아하는 음식 2) 아버지 이름 3) 어머니 이름, 4) 결혼 기념일 등이 될 수 있다. 이는 사용자 A의 신용카드가 도난되어 평소와는 다른 곳에서 전자 결제가 수행될 가능성이 높기 때문이다. 따라서, 추가 보안 질문을 하여 사용자 A의 사용자 인증을 수행한다.
또한, 제어부(190)는 결제 장소(사용자 위치)를 저장하고, 사용자 A가 새로운 결제 장소에서 5회 이상 전자 결제를 수행하면, 새로운 결제 장소(사용자 위치)는 기존의 결제 장소가 되고, 제어부(190)는 이를 계속 업데이트한다.
추가 보안 질문을 수행하는 단계 이후에 사용자 얼굴 사진, 사용자 음성 및 사용자 위치 중 적어도 하나를 외부 서버로 전송한다. 따라서, 금융사 서버에 사용자 얼굴 사진, 사용자 음성 및 사용자 위치가 저장되고, 금융 사고 발생시 이를 유력한 증거 자료로 활용할 수 있는 편리함이 인정된다.
본 발명에 따르면, 사용자로부터 결제 정보 요청을 수신하고 수신된 결제 정보 요청에 응답하여, 사용자의 얼굴을 촬영하고 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하며, 얼굴 인식 성공률이 기설정한 임계값 이상이면 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행한 후 음성 인식 성공률이 기설정한 임계값 이상이면 사용자의 위치를 확인하고 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 사용자 위치를 저장부에 저장하되 기설정된 임계값을 초과하면 추가 보안 질문을 수행하고 사용자 위치를 저장부에 저장하고 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소이다.
따라서, 암호 입력이나 SMS 인증과 같이 불편하고 번거로운 방법 대신 얼굴 인식, 음성 인식 및 사용자 위치 정보 확인을 통하여 보다 편리하고 보안적으로 뛰어난 방법을 채택하여 전자 결제를 수행할 수 있다.
또한, 사용자 위치 정보를 활용하여 전자 결제가 주로 이루어진 기존의 결제 장소가 아니라 다른 곳에서 결제 요청이 발생한 경우, 추가 보안 질문을 하여 안정성을 향상 시키고 결제 장소를 계속 저장하고 업데이트하여 사용자 위치 정보를 체계적으로 관리할 수 있다.
이어, 금융사고 발생시에 촬영된 사용자의 얼굴 사진과 녹음된 사용자의 음성을 기초로 범인을 용이하게 찾을 수 있다.
뿐만 아니라, 위의 사항들을 종합해 볼 때, 고객에게 신뢰감 있는 금융 서비스를 제공할 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시 예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 입력부 120 : 촬영부
130 : 얼굴 인식부 140 : 음성 녹음부
150 : 음성 인식부 160 : 위치 정보부
170 : 저장부 180 : 통신부
190 : 제어부

Claims (10)

  1. 사용자로부터 결제 정보 요청을 수신하는 입력부;
    상기 사용자의 얼굴을 촬영하는 촬영부;
    촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하는 얼굴 인식부;
    상기 사용자의 음성을 녹음하는 음성 녹음부;
    녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행하는 음성 인식부;
    상기 사용자의 위치를 확인하는 위치 정보부;
    수신된 상기 결제 정보 요청에 응답하여 얼굴 인식을 수행하고, 얼굴 인식 성공률이 기설정한 임계값 이상이면 음성 인식을 수행하고, 음성 인식 성공률이 기설정한 임계값 이상이면 사용자 위치 확인을 수행하며, 기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 상기 사용자 위치를 저장하고, 상기 거리 차이가 기설정된 임계값을 초과하면 추가 보안 질문을 수행하는 제어부; 및
    촬영된 상기 사용자 얼굴 사진, 녹음된 상기 사용자 음성 및 상기 사용자 위치 중 적어도 하나를 저장하는 저장부
    를 포함하되,
    상기 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소인 것
    인 스마트 휴대 기기의 안전 결제 장치.
  2. 제1항에 있어서, 상기 제어부는
    상기 얼굴 인식 성공률이 기설정한 임계값 이상이면 음성 인식을 수행하지 않고, 바로 상기 사용자 위치를 확인하는 것
    인 스마트 휴대 기기의 안전 결제 장치.
  3. 제1항에 있어서, 상기 제어부의 지시에 따라 상기 저장부에 저장된 상기 사용자 얼굴 사진, 상기 사용자 음성 및 상기 사용자 위치 중 적어도 하나를 외부 서버로 전송하는 통신부를 더 포함하는 것
    인 스마트 휴대 기기의 안전 결제 장치.
  4. 제1항에 있어서, 상기 제어부는
    얼굴 인식 수행, 음성 인식 수행 및 위치 확인이 실패한 경우 기존의 사용자 인증 방식을 실행하거나 전자 결제 수행을 중지하는 것
    인 스마트 휴대 기기의 안전 결제 장치.
  5. 제1항에 있어서, 상기 음성 인식부는
    녹음된 사용자 음성과 기저장된 사용자 음성의 주파수 진폭 파형을 기초로 동일성 판단을 하여 음성 인식을 수행하는 것
    인 스마트 휴대 기기의 안전 결제 장치.
  6. 사용자로부터 결제 정보 요청을 수신하는 단계;
    수신된 상기 결제 정보 요청에 응답하여, 상기 사용자의 얼굴을 촬영하고 촬영된 사용자 얼굴 사진과 기저장된 사용자 얼굴 사진을 비교하여 얼굴 인식을 수행하는 단계;
    얼굴 인식 성공률이 기설정한 임계값 이상이면 상기 사용자의 음성을 녹음하고 녹음된 사용자 음성과 기저장된 사용자 음성을 비교하여 음성 인식을 수행하는 단계;
    음성 인식 성공률이 기설정한 임계값 이상이면 상기 사용자의 위치를 확인하는 단계; 및
    기존의 결제 장소와 거리 비교시 사용자 위치와 기존의 결제 장소의 거리 차이가 기설정된 임계값 이내이면 전자 결제를 수행한 후 상기 사용자 위치를 저장부에 저장하는 단계를 포함하되,
    기설정된 임계값을 초과하면 추가 보안 질문을 수행하고 상기 사용자 위치를 상기 저장부에 저장하는 단계를 더 포함하고,
    상기 기존의 결제 장소는 현재 시점을 기준으로 임계값 이상 횟수의 전자 결제가 수행된 장소인 것
    인 스마트 휴대 기기의 안전 결제 방법.
  7. 제6항에 있어서, 상기 얼굴 인식 성공률이
    기설정한 임계값 이상이면 음성 인식을 수행하지 않고, 바로 상기 사용자의 위치를 확인하는 단계로 진입하는 것
    인 스마트 휴대 기기의 안전 결제 방법.
  8. 제6항에 있어서, 상기 추가 보안 질문을 수행하는 단계 이후에
    상기 사용자 얼굴 사진, 상기 사용자 음성 및 상기 사용자 위치 중 적어도 하나를 외부 서버로 전송하는 단계를 더 포함하는 것
    인 스마트 휴대 기기의 안전 결제 방법.
  9. 제6항에 있어서, 상기 얼굴 인식을 수행하는 단계 이후에
    상기 사용자 얼굴 사진을 상기 저장부에 저장하고 이를 외부 서버로 전송하는 단계를 더 포함하는 것
    인 스마트 휴대 기기의 안전 결제 방법.
  10. 제6항에 있어서, 상기 음성 인식을 수행하는 단계 이후에
    상기 사용자 음성을 상기 저장부에 저장하고 이를 외부 서버로 전송하는 단계를 더 포함하는 것
    인 스마트 휴대 기기의 안전 결제 방법.
KR20130120429A 2013-10-10 2013-10-10 컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치 KR20150041896A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130120429A KR20150041896A (ko) 2013-10-10 2013-10-10 컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130120429A KR20150041896A (ko) 2013-10-10 2013-10-10 컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20150041896A true KR20150041896A (ko) 2015-04-20

Family

ID=53035187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130120429A KR20150041896A (ko) 2013-10-10 2013-10-10 컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20150041896A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878302B1 (ko) * 2016-10-31 2018-07-13 주식회사 시티캣 메인단말기와 로컬단말기와 결제회사시스템으로 구성된 분할결제시스템 및 분할결제 방법
KR101878968B1 (ko) * 2017-06-29 2018-07-16 주식회사 에스티씨 생체 정보를 이용한 금융 결제 시스템 및 이를 이용한 금융결제방법
WO2018199657A1 (ko) * 2017-04-26 2018-11-01 한은호 생체 인증 시스템을 이용한 사용자 인증 방법
CN109697610A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 订单操作方法和装置
CN111797718A (zh) * 2020-06-17 2020-10-20 恒界时代科技(深圳)有限公司 基于人脸识别的智能手表支付方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878302B1 (ko) * 2016-10-31 2018-07-13 주식회사 시티캣 메인단말기와 로컬단말기와 결제회사시스템으로 구성된 분할결제시스템 및 분할결제 방법
WO2018199657A1 (ko) * 2017-04-26 2018-11-01 한은호 생체 인증 시스템을 이용한 사용자 인증 방법
KR101878968B1 (ko) * 2017-06-29 2018-07-16 주식회사 에스티씨 생체 정보를 이용한 금융 결제 시스템 및 이를 이용한 금융결제방법
CN109697610A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 订单操作方法和装置
CN111797718A (zh) * 2020-06-17 2020-10-20 恒界时代科技(深圳)有限公司 基于人脸识别的智能手表支付方法

Similar Documents

Publication Publication Date Title
JP7279973B2 (ja) 指定ポイント承認における身元識別方法、装置及びサーバ
US9953323B2 (en) Limiting e-card transactions based on lack of proximity to associated CE device
US9317847B2 (en) E-card transaction authorization based on geographic location
KR101552587B1 (ko) 휴대용 전자 디바이스에 대한 위치-기반 액세스 제어
US20160232516A1 (en) Predictive authorization of mobile payments
EP3001344B1 (en) Messaging customer mobile device when electronic bank card used
US9652760B2 (en) Receiving fingerprints through touch screen of CE device
US20170053149A1 (en) Method and apparatus for fingerprint identification
CN105654302B (zh) 支付方法和装置
CN105335851B (zh) 基于支付历史的付款前确认保护方法及装置
US20180053177A1 (en) Resource transfer method, apparatus and storage medium
US10262316B2 (en) Automatic notification of transaction by bank card to customer device
US9292875B1 (en) Using CE device record of E-card transactions to reconcile bank record
RU2636686C2 (ru) Способ и устройство для отправки информации в голосовой службе
KR20150041896A (ko) 컴퓨터 비전 기술, 음성인식과 gps 정보 융합을 이용한 스마트 휴대 기기의 안전 결제 방법 및 그 장치
CN104217328A (zh) 一种多重验证的支付方法及装置
CN107748991A (zh) 账户安全管理方法及装置
US9378502B2 (en) Using biometrics to recover password in customer mobile device
US20220164429A1 (en) Touchless authentication at resource distribution systems
KR102463246B1 (ko) 차량과 생체정보를 이용한 신원인증 방법 및 시스템
CA2944084C (en) Provisioning of secure application
KR20140079675A (ko) 이동 단말기 및 이동 단말기의 제어 방법
EP4260519A1 (en) User authentication
KR20160006497A (ko) 스마트 기기를 이용한 공인인증서 발급 방법 및 금융 서버

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application