KR20140114832A - 사용자 인식 방법 및 장치 - Google Patents

사용자 인식 방법 및 장치 Download PDF

Info

Publication number
KR20140114832A
KR20140114832A KR1020147019851A KR20147019851A KR20140114832A KR 20140114832 A KR20140114832 A KR 20140114832A KR 1020147019851 A KR1020147019851 A KR 1020147019851A KR 20147019851 A KR20147019851 A KR 20147019851A KR 20140114832 A KR20140114832 A KR 20140114832A
Authority
KR
South Korea
Prior art keywords
user
face
gesture
image
information
Prior art date
Application number
KR1020147019851A
Other languages
English (en)
Inventor
웨이 조우
구앙 양
시아오준 마
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140114832A publication Critical patent/KR20140114832A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

사용자의 정보 유닛으로부터 사용자 정보를 수신하는 단계; 캡쳐된 사용자 이미지에서 사용자 얼굴을 검출하는 단계; 및 사용자 정보와 관련되고 사용자에 의해 수행된 미리정해진 제스처에 따라 캡쳐된 이미지에서 사용자 아이덴티티를 인식하는 단계를 포함하는 사용자 인식 방법.

Description

사용자 인식 방법 및 장치{METHOD AND APPARATUS FOR USER RECOGNITION}
본 발명은 사용자에 의해 수행된 미리정해진 제스처에 따른 사용자 인증 및 등록 방법 및 장치에 관한 것이다.
스마트 환경들은 개인화된 서비스들을 전할 수 있도록 사용자들을 식별할 수 있어야 한다. 예를 들어, 스마트 TV는 사용자의 아이덴티티에 기반하여 프로그램들을 추천할 수 있고; 스마트 스토어는 단골 고객들을 인식하고 더 개인화된 서비스들을 제공할 수 있고; 스마트 홈은 식구들을 식별하여 중요한 메시지들을 상기시킬 수 있다.
스마트 환경을 이루기 위해, 사용자 인증 및 등록을 지원하고 실현하는 시스템이 매우 중요하다. 간단하고 공통적인 방법은 사용자가 키보드 또는 다른 입력 디바이스에 의해 사용자 이름 및 비밀번호를 입력하는 것이다. 그러나, 이러한 방법은 직접적인 사용자 개입을 요구한다. 다른 인증 디바이스는 지문과 같은 물리적 특성과 디바이스 상에서 손가락을 슬라이딩(또는 손가락 상에서 디바이스를 슬라이딩)시킴으로써 구현되는 “모션”과 같은 거동 특성 모두를 사용하여 인증을 수행한다.
얼굴 인식은 무난하고 사용자를 상대적으로 수동적으로 유지시키기 때문에 사용자 인식 및 등록을 위한 대체 방법이다. 얼굴 인식 시스템에서는 얼굴 샘플 데이터베이스가 필수적이다. 미리 저장된 얼굴 데이터베이스가 없으면, 얼굴 인식은 행해질 수 없다. 실제로, (박물관과 같은) 공공 환경에서, 공공 얼굴 데이터베이스를 구축하는 것은 어렵다. 실내 환경에서도, 초기화 국면에는 얼굴 데이터 베이스가 없다.
또 다른 방법은 사용자가 RFID 카드 또는 사용자 아이덴티티를 표시할 수 있는 다른 무선 디바이스를 활용하게 하는 것이다. 스마트 TV 시나리오에서, RFID 카드가 사용자 등록을 자동으로 보완하는 것을 도울 수 있다. 그러나, RFID 리더의 앞쪽에 여러 사람이 존재하면, 여러 사용자 중 누가 RFID 카드를 보유하는지 및 검출된 카드들과 존재하는 사람들 사이의 관계가 무엇인지를 무선 신호 분석에 의해서만 구별하는 것은 어렵다.
그러므로, 사용자 인증 및 등록을 효과적으로 구현할 수 있는 해결방안을 찾아내는 것이 바람직할 수 있다.
본 발명은 사용자 인식 방법에 관한 것이다. 사용자 얼굴이 컴퓨터 비전(computer vision)에 의해 검출된 후, 이 사용자가 데이터베이스에 기록되어 있는 특정 제스처를 이행하는 경우 이러한 사용자를 위한 인증 및 등록이 수행될 수 있다. 특정 제스처는 여러 사용자 중 특정 사용자에 대응한다.
본 발명은 사용자의 정보 유닛으로부터 사용자 정보를 수신하는 단계; 캡쳐된 사용자 이미지에서 사용자의 얼굴을 검출하는 단계; 및 사용자 정보와 관련되고 사용자에 의해 수행된 미리정해진 제스처에 따라 캡쳐된 이미지에서 사용자 아이덴티티를 인식하는 단계를 포함하는 사용자 인식 방법에 관한 것이다.
본 발명은 또한 사용자의 정보 유닛으로부터 사용자 정보를 수신하는 정보 수신 유닛; 및 사용자 정보와 관련되고 사용자에 의해 수행되는 미리정해진 제스처에 따라 캡쳐된 사용자 이미지에서 사용자 얼굴을 검출하고 캡쳐된 이미지에서 사용자 아이덴티티를 인식하는 이미지 캡쳐 유닛 및 프로세싱 유닛을 포함하는, 전술한 방법을 구현하기 위한 사용자 인식 시스템에 관한 것이다.
본 발명의 이들 및 그 밖의 다른 양태, 특징, 및 이점들은 첨부된 도면과 함께 실시예에 대한 다음의 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자 인식 시스템의 아키텍처를 도시한 블록도이다.
도 2는 얼굴 검출 기술에 의해 획득된 이미지의 일례를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 사용자 인식 시스템에 의해 인식된 제스처를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
도 1은 본 발명의 일 실시예에 따른 사용자 인식 시스템(100)의 아키텍처를 도시한 블록도이다. 도 1에 도시된 바와 같이, 사용자 인식 시스템(100)은 프로세싱 디바이스(103), 서비스 제공 디바이스(101), 정보 수신 유닛(105), 이미지 캡쳐 유닛(107), 및 데이터 저장 디바이스(109)를 포함한다. 서비스 제공 디바이스(101)는 상이한 사용자들에게 개인화된 서비스를 제공하도록 구성된다. 예를 들어, TV 세트는 사용자의 아이덴티티에 기반하여 프로그램들을 추천할 수 있거나, 매장 내의 스마트 디바이스는 단골 고객들을 인식하고 더 개인화된 서비스들을 제공하거나, 가정에 있는 스마트 디바이스는 식구들을 식별하여 중요한 메시지들을 상기시키거나, 네트워크 디바이스는 온라인 사업 및 온라인 정보 교환을 제공한다. 사용자 식별은 사용자 정보 인식 결과에 기반하여 프로세싱 디바이스(103)에 의해 제공된다.
프로세싱 디바이스(103)는 사용자 인식 시스템(100)의 동작을 다루고, 사용자를 인식하는 프로세스 흐름을 수행하도록 구성된다. 프로세싱 디바이스(103)는 하나 이상의 프로세서 및 관련 메모리를 포함하는데, 프로세서에 의해, 예를 들어, 사용자 인식을 구현하는데 사용될 수 있는 프로세스 흐름의 컴퓨터 프로그램들 또는 소프트웨어가 메모리에 저장된다. 프로세서는 하나 이상의 저장 프로그램 제어 프로세서들을 나타내고, 이들 제어 프로세서는 사용자 인식에만 전용될 필요가 없는데, 예를 들어 프로세서는 사용자 인식 시스템(100)의 다른 기능도 제어할 수 있다. 메모리는 임의의 저장 디바이스, 예를 들어 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 등을 나타내고; 사용자 인식 시스템(100)의 내부 및/또는 외부에 존재할 수 있고; 필요에 따라 휘발성 및/또는 비휘발성이다.
정보 수신 유닛(105)은 사용자의 아이덴티티 정보를 기록하고 있는 사용자들의 정보 유닛(102 또는 104)으로부터 신호 및 데이터를 수신하도록 구성된다. 본 실시예에서, 예를 들어, 정보 유닛(102 또는 104)은 사용자의 옷에 부착되어 RF 신호를 방출하는 RFID 태그이거나 사용자가 소지한 스마트 카드일 수 있으며, 판독 디바이스에 의해 판독될 수 있다. 정보 수신 유닛(105)은 RFID 수신기이거나 스마트 카드 판독 디바이스일 수 있다. 그러나, 정보 유닛 및 정보 수신 유닛은 전술한 예로 한정되지 않는다.
본 실시예에서, 사용자들이 소지한 RFID 태그들이 판독되고 기입될 수 있다. 사용자 인증 및 등록 전에, 사용자들의 관련 ID 및 특정 제스처 정보가 RFID 태그의 메모리에 기입되어 있다. 본 실시예에 따른 태그들의 저장 포맷들은 다음과 같다.
사용자 ID 비트들 + 제스처 정의 비트들 + 예비 비트들
바람직한 실시예에서, 제스처 정의 정보는 RFID 카드에 기록되고 RF 신호에 의해 RFID 리더에 전송되어 사용자를 정확히 인식하는 것을 보조한다. RFID 리더가 제스처 정의 정보를 수신한 후, 사용자 인식 시스템(100)은 캡쳐된 이미지를 쉽게 검출 및 프로세싱하기 위해, 인식하기 위한 사용자에 의해 제공될 제스처를 알 것이며, 수신된 제스처 정의 정보에 기반하여 이미지를 캡쳐하기 위해 이미지 캡쳐 유닛(107)에 알릴 것이다.
제스처의 통상의 정의는 하나 이상의 신체 부위(통상적으로 얼굴 및 손)의 모션 타입, (다른 신체 부위에 비한 사용자의 신체 부위 중 적어도 하나의 상대적 모션/이동에 의해 통상 정의되는) 모션이 수행되는 영역, 사용자의 신체 부분의 특정 배치 또는 배향 중 하나 이상을 포함한다. 여러 예시들은 다음과 같다.
사용자의 얼굴 위에서 모션을 행한다; 이 모션은 예를 들어 좌측에서 우측으로의 사용자의 손의 모션일 수 있다;
사용자의 얼굴 아래에서 모션을 행한다; 이 모션은 예를 들어, 좌측에서 우측으로의 사용자의 손의 모션일 수 있다;
좌측에서 우측으로 사용자의 얼굴을 가로지르는 손의 모션;
우측에서 좌측으로 사용자의 얼굴을 가로지르는 손의 모션;
사용자의 얼굴을 좌측으로 돌리는 동시에, 사용자의 얼굴 위에서 모션이 행해진다;
사용자의 얼굴을 우측으로 돌리는 동시에, 사용자의 얼굴 위에서 모션이 행해진다;
사용자가 내려다 보면서, 사용자의 얼굴 위에서 손의 모션이 행해진다;
사용자의 얼굴이 위로 이동하면서, 사용자의 얼굴 위에서 손의 모션이 행해진다;
사용자의 얼굴이 좌측으로 돌아가면서, 사용자 얼굴 아래에서 손의 모션이 행해진다;
사용자 얼굴이 우측으로 돌아가면서, 사용자의 얼굴 아래에서 손의 모션이 행해진다;
사용자 얼굴이 아래로 이동하면서, 사용자의 얼굴 아래에서 손의 모션이 행해진다;
사용자 얼굴이 위로 이동하면서, 사용자의 얼굴 아래에서 손의 모션이 행해진다;
사용자의 얼굴이 좌측으로 돌아가면서, 좌측에서 우측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 우측으로 돌아가면서, 좌측에서 우측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 아래로 이동하면서, 좌측에서 우측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 위로 이동하면서, 좌측에서 우측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 좌측으로 돌아가면서, 우측에서 좌측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 우측으로 돌아가면서, 우측에서 좌측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 아래로 이동하면서, 우측에서 좌측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다;
사용자의 얼굴이 위로 이동하면서, 우측에서 좌측으로 사용자의 얼굴을 가로지르는 손의 모션이 행해진다.
변형예에서, 사용자는 모션을 수행하면서 자신의 손 중 하나에 물건을 잡고 있다. 이 물건은 통상적으로 모션의 추적을 용이하게 하기 위해 카메라 사진에서 알아채기 쉬운 물건이다.
바람직한 실시예에서, 카메라 이미지 내의 얼굴과 손(들) 사이의 대응 관계를 찾고, 이들 대응 제스처들이 이미지 인식 기술에 기반하여 쉽게 검출될 수 있도록 보장하기 위해 제스처는 손 자체의 움직임에 기반할 뿐 아니라 얼굴 및 손의 상대적 위치 및 얼굴의 움직임에 기반하여 정의된다. 그러나, 제스처의 정의는 전술한 예들로 한정되지 않으며, 사용자의 신체 주변에서 사용자에 의해 행해진 임의의 정적 제스처 또는 동적 제스처일 수 있다. 본 실시예에 따르면, RFID 태그에서의 저장 포맷은 다음과 같다.
사용자 ID 비트들 + 예비 비트들
본 실시예에 따르면, 사용자 인식 시스템(100)의 메모리 내의 사용자 제스처는 사용자 ID를 매칭하기 위해 정의된다. 따라서, RFID 리더가 RFID 태그로부터 사용자 ID 정보를 수신한 후, 사용자 인식 시스템(100)은 메모리 내의 정보에 따라 인식하기 위한 사용자에 의해 제공될 제스처를 알고 있을 것이다.
이미지 캡쳐 유닛(107)은 프로세싱 디바이스(103)와 연동하여 사용자의 이미지를 캡쳐하고, 사용자의 얼굴을 검출하고, 사용자의 제스처를 인식하도록 구성된다. 예를 들어, 이미지 캡쳐 유닛(107)은 디지털 카메라, 디지털 비디오 카메라, 웹캠(webcam) 또는 다른 이미지 센서 디바이스(예를 들어, 적외선)일 수 있다. 이미지 캡쳐 유닛(107)은 도 2에 도시된 바와 같은 정지 이미지 또는 동적 이미지(비디오 시퀀스)를 감지하는 경우 대상자의 얼굴을 자동 검출하는 기능을 갖는다. 도 2는 이미지 캡쳐 유닛(107)에 의해 사용자 얼굴 검출 기술을 사용하여 획득된 이미지의 일례를 도시한다. 도 2에서, 모든 사용자 얼굴들이 검출되어 있다. 캡쳐된 이미지는 사용자 인식을 위해 프로세싱 디바이스(103)에 전송될 것이다. 이미지 캡쳐 및 얼굴 검출 기술은 본 기술분야에 공지되어 있으며, 그 상세한 설명은 여기에서 생략한다. Keiichi Imamura의 미국 특허 제8019129호에서는 얼굴 검출 기술에 대한 더 많은 정보를 제공하고 있다.
본 실시예에 따르면, 카메라에 의해 캡쳐된 이미지에 얼굴들이 존재한다고 검출하고, RFID 태그로부터 사용자 ID 정보 및 사용자 제스처 정보를 수신한 후, 프로세싱 디바이스(103)는 캡쳐된 이미지(들)로부터 사용자 제스처를 인식할 것이다. 바람직한 실시예에서, 정의된 제스처가 이미지에서 나타날 ROI(관심 영역) 및 제스처 방향에 대한 지식은 도 3에 도시된 바와 같이 예상된다. 여기서, ROI는 정의된 제스처가 나타날 영역인데, 예를 들어, 정의된 제스처가 사용자의 얼굴 아래에서 좌측에서 우측으로의 손의 모션이면, ROI는 얼굴 및 얼굴 아래를 포함하는 영역일 것이다. 예상 제스처는 도 3에 도시된 바와 같이, ROI에서의 여러 중간 모션들을 포함한다.
또한, 도 2에 도시된 바와 같이 이미지에서 검출된 사용자의 얼굴이 5개이고, 3개의 RFID 태그 신호들이 수신되었다고 가정하면, ROI는 프로세싱 디바이스(103)에 의해 예상되는 3개의 제스처를 포함할 것이다. 3개의 예상 제스처들 중 적어도 하나는 개인화된 서비스가 서비스 제공 디바이스(101)에 의해 제공될 수 있도록 ROI에서 이미지 캡쳐 유닛(107)에 의해 캡쳐될 것이다.
도 3은 본 발명의 바람직한 실시예에 따라 사용자 인식 시스템(100)에 의해 인식된 제스처를 도시한 도면이다. 도 3에서, 사용자 캡쳐 유닛(107)에 의해 원래 얼굴이 검출된다. 사용자 ID 정보에 기반하여, 사용자 제스처 정의 정보가 획득되어 예상 제스처가 프로세싱 디바이스(103)에 알려진다. 여기서, 원래 사용자 얼굴 및 예상 제스처는 요구에 따라 디스플레이되거나 디스플레이되지 않을 수 있고, 이미지 캡쳐 유닛(107) 및 프로세싱 디바이스(103)에 의해 프로세싱될 수 있다.
도 3에 도시된 바와 같이, 원래 사용자 얼굴 이미지 및 예상 제스처가 프로세싱 디바이스에 의해 획득된 후, 사용자는 사용자에 의해 수행되는 실시간 이미지들로서 도 3에 도시된 인식을 위해 정의된 제스처를 이행할 것이다. 이미지 캡쳐 유닛(107)은 제스처의 이미지를 얻고 사용자 인식을 위해 프로세싱 디바이스(103)에 전송할 수 있다. 도 3에 도시된 바와 같이, 실시간 사용자 얼굴 및 제스처 이미지는 이미지 캡쳐 유닛(107)에 의해 획득된다. 실시간 제스처들은 예상 제스처들과 비교되고, 사용자 아이덴티티는 이들의 유사성에 따라 인식된다.
예를 들어, 제스처 인식에 손 추적 기술이 사용될 수 있는데, 이 기술은 현재 이미지 프레임에서 손의 위치에 대한 이전 이미지 프레임에서의 손의 위치를 고려하는 것을 포함한다. 추적 중인 노출된 피부 영역으로부터 추출될 수 있는 특징들에 대한 모션 또는 변화들을 추적함으로써 제스처 분석이 수행될 수 있다. 예시적인 실시예에서, 추적 중인 노출 피부 영역으로부터의 특징들을 사용자 ID 정보 또는 정의된 제스처에 따라 프로세싱 디바이스(103)에 의해 예상되는 특징들과 비교함으로써 제스처 분석이 수행될 수 있다. 예상 특징들과 추적 중인 노출 피부 영역으로부터 추출된 특징들 사이의 일치(또는 임계량 미만의 상당한 유사성)을 결정함으로써 일치되는 예상 특징들과 관련된 특정 제스처에 대응하는 제스처가 인식될 수 있다.
사용자 RFID 태그에 기록된 특정 제스처가 검출되면, 인증 및 등록 프로세스가 성공적으로 수행되었다는 것을 의미한다.
성공적인 사용자 인증 및 등록 후에, 시스템은 사용자가 전술한 제스처를 할 때 개별 사용자 습관들을 기록할 수 있는데, 예를 들어, 사용자는 얼굴의 좌상 부위에서 제스처 1을 행하는 것을 선호하거나, 제스처 1을 3번 행하는 것을 선호하거나, 얼굴 폭의 3/4를 통과하도록 제스처 1을 행하는 것을 선호한다. 이러한 습관 정보는 예비 비트들을 사용하여 RFID 태그로 기입될 수 있다. 게다가, 사용자는 원래 정의 대신 다른 제스처 정의를 사용할 수 있다. 사용자는 RFID 리더에게 새로운 제스처 정의를 RFID 카드에 기입하도록 요청하여 원래 정의를 대체할 수 있다.
도 4는 본 발명의 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다. 도 4에 도시된 바와 같이, 단계(401)에서 사용자 정보가 RF 신호에 의해 RFID 태그의 정보 유닛으로부터 수신되고, 그 다음 이미지 캡쳐 유닛(107), 예를 들어 카메라에 전력 공급된다. 단계(402)에서, 카메라에 의해 캡쳐된 사용자 이미지에서의 사용자 얼굴이 검출되어 이미지에 얼굴이 존재하는지 여부를 안다. 존재하지 않으면 시스템은 사용자 정보의 수신을 대기하고, 존재하면 다음 단계(403)로 진행한다. 단계(403)에서, 캡쳐된 이미지에 한 명의 사람이 존재하는지 여러 사람이 존재하는지 여부를 결정하고, 그 결과에 기반하여, 한 사람 프로세싱 방법 또는 여러 사람 프로세싱 방법을 각각 구현한다. 단계(405)에서, 한 사람이 있는 경우, 사용자 정보와 관련된 미리정해진 제스처의 위치가 예상되고, 도 3에서의 예상 이미지에 의해 도시된 바와 같이 카메라 이미지에서의 사용자 얼굴의 위치 및 사용자 정보에 기반하여 제스처의 잠재적 관심 영역을 결정한다. 그 후, 단계(407)에서, 사용자 이미지를 캡쳐하고, 미리정해진 제스처의 위치에 따라 사용자 아이덴티티를 인식하고, 요구되는 제스처가 검출되면, 즉 캡쳐된 실시간 사용자 제스처가 예상 제스처와 유사하면, 단계(409)에서 인증이 성공한 것이고, 요구된 제스처가 검출되지 않으면, 단계(411)에서 인증은 실패한 것이다.
단계(404)에서, 여러 사람이 있는 경우, 사용자들과 관련된 다수의 미리정해진 제스처의 위치가 예상되고, 카메라 이미지에서 사용자 얼굴들의 위치 및 사용자 정보에 기반하여 다수의 잠재적 제스처의 관심 영역들을 결정한다. 그 후, 단계(406)에서, 사용자 이미지를 캡쳐하고, 미리정해진 제스처의 위치에 따라 사용자 아이덴티티를 인식하고, 요구되는 제스처들 중 하나가 검출되면, 즉 캡쳐된 실시간 사용자 제스처가 예상 제스처와 유사하면, 단계(408)에서 인증이 성공한 것이고, 예상된 제스처들 중 어느 것도 검출되지 않으면, 단계(410)에서 인증은 실패한 것이다.
본 발명의 실시예에 따르면, 사용자 얼굴 인식을 대체하는 사용자 얼굴 검출을 사용하는 것은 프로세싱 복잡성을 간소화할 수 있고, 그 다음 이러한 사용자의 제스처에 대한 인증 및 등록은 인식 정확도를 향상시킬 수 있다.
이미지 캡쳐 유닛(107) 및 프로세싱 디바이스(103)가 본 발명을 설명하는데 일 실시예로서 사용됨에도 불구하고, 당업자는 2개의 디바이스들이 단일 이미지 캡쳐 유닛에 통합될 수 있다는 점을 알고 있다.
전술한 설명은 본 발명의 실시예를 예시한 것으로서, 당업자는 비록 여기에 명백히 설명되지 않았지만 본 발명의 원리를 구체화하고, 본 발명의 사상 및 범위 내에 포함되는 수많은 대체적인 배열들을 고안할 수 있다는 점이 이해될 것이다.

Claims (10)

  1. 사용자 인식 방법으로서,
    사용자의 정보 유닛으로부터 사용자 정보를 수신하는 단계; 및
    상기 사용자 정보와 관련되고 상기 사용자에 의해 수행되는 미리정해진 제스처에 따라 캡쳐된 사용자 이미지에서 사용자 아이덴티티를 인식하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 캡쳐된 사용자 이미지에서 상기 미리정해진 제스처의 위치를 예상하는 단계; 및
    상기 사용자 이미지를 캡쳐하고 상기 미리정해진 제스처의 위치에서 상기 사용자 아이덴티티를 인식하는 단계를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 인식하는 단계 전에 상기 캡쳐된 사용자 이미지에서 상기 사용자 얼굴을 검출하는 단계를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 예상하는 단계는 복수의 사용자의 사용자 얼굴들이 상기 캡쳐된 사용자 이미지에서 검출되는 경우에 상기 복수의 사용자의 제스처 위치를 예상하는 단계를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 사용자 아이덴티티에 따라 개인화된 서비스를 제공하는 단계를 더 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 미리정해진 제스처는 상기 사용자의 정보 유닛에 저장되는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제스처 위치는 상기 사용자 얼굴에 관한 것으로서 정의되는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 정보 유닛은 RFID 태그 또는 스마트 카드이고, 상기 사용자 정보는 사용자 ID를 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 사용자 이미지는 카메라, 디지털 카메라, 또는 웹캠에 의해 캡쳐되는, 방법.
  10. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 구현하기 위한 사용자 인식 시스템.
KR1020147019851A 2012-01-20 2012-01-20 사용자 인식 방법 및 장치 KR20140114832A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/070654 WO2013107038A1 (en) 2012-01-20 2012-01-20 Method and apparatus for user recognition

Publications (1)

Publication Number Publication Date
KR20140114832A true KR20140114832A (ko) 2014-09-29

Family

ID=48798523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147019851A KR20140114832A (ko) 2012-01-20 2012-01-20 사용자 인식 방법 및 장치

Country Status (6)

Country Link
US (1) US9684821B2 (ko)
EP (1) EP2805311A4 (ko)
JP (1) JP2015511343A (ko)
KR (1) KR20140114832A (ko)
CN (1) CN103999133A (ko)
WO (1) WO2013107038A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138456B2 (en) * 2013-07-12 2021-10-05 Brandon Wey System and method for ensuring creation of authentic online profiles
CN103634674A (zh) * 2013-12-20 2014-03-12 乐视致新电子科技（天津）有限公司 对智能电视中的资源进行推荐的方法和装置
US9712761B2 (en) * 2014-05-28 2017-07-18 Qualcomm Incorporated Method for embedding product information in video using radio frequencey information
US9955218B2 (en) 2015-04-28 2018-04-24 Rovi Guides, Inc. Smart mechanism for blocking media responsive to user environment
JP2017043267A (ja) * 2015-08-28 2017-03-02 修一 田山 電子キーシステム
CN106803056B (zh) * 2015-11-26 2020-11-06 华为技术有限公司 一种肢体关系的估计方法及装置
CN106095340B (zh) * 2016-06-14 2021-04-13 深圳市国华识别科技开发有限公司 测量仪数据存储方法和装置
US20180025562A1 (en) * 2016-07-22 2018-01-25 Intel Corporation Smart door
US10846387B2 (en) 2017-07-12 2020-11-24 At&T Intellectual Property I, L.P. Managing access based on activities of entities
WO2021097829A1 (zh) * 2019-11-22 2021-05-27 连云港伍江数码科技有限公司 目标对象的锁定方法、装置、计算机设备和存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161652A (ja) * 1992-11-26 1994-06-10 Hitachi Ltd ペン入力コンピュータ及びそれを用いた書類審査システム
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
JP2004362283A (ja) 2003-06-05 2004-12-24 Casio Comput Co Ltd 人物認証装置およびプログラム
JP2005092419A (ja) 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP4387764B2 (ja) 2003-11-10 2009-12-24 富士通株式会社 認証装置および認証システム
KR100657899B1 (ko) 2004-09-13 2006-12-14 삼성전기주식회사 휴대용 단말기의 ｒｆｉｄ 모듈 동작전원 제어 방법 및 장치
JP2006268490A (ja) 2005-03-24 2006-10-05 Nippon Telegr & Teleph Corp <Ntt> システム管理装置、広告配信システム、システム管理方法、広告配信方法、プログラム、及び記録媒体
US7797261B2 (en) * 2005-04-13 2010-09-14 Yang George L Consultative system
GB0515796D0 (en) * 2005-07-30 2005-09-07 Mccarthy Peter A motion capture and identification device
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP4315215B2 (ja) 2007-05-18 2009-08-19 カシオ計算機株式会社 撮像装置、及び顔検出方法、顔検出制御プログラム
JP2009087095A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 電子機器の制御装置、制御方法及び制御プログラム
CN101482772B (zh) 2008-01-07 2011-02-09 纬创资通股份有限公司 电子装置及其操作方法
CN101874234B (zh) * 2008-09-29 2014-09-24 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
CN102292689B (zh) * 2009-01-21 2016-08-03 汤姆森特许公司 利用脸部检测和热点运动***体的方法
KR20110003146A (ko) 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
JP2011060110A (ja) * 2009-09-11 2011-03-24 Ricoh Co Ltd データ処理装置、データ処理プログラム及び記録媒体
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
JP5659510B2 (ja) 2010-03-10 2015-01-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2011123833A1 (en) 2010-04-01 2011-10-06 Yanntek, Inc. Immersive multimedia terminal
US20110248851A1 (en) 2010-04-08 2011-10-13 Thien Van Pham Method for authenticating a person's identity by using a RFID card, biometric signature recognition and facial recognition.
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
CN201955856U (zh) * 2011-01-11 2011-08-31 江苏晓山信息产业股份有限公司 重要场所人员合法性的监控识别装置
US8634661B2 (en) * 2011-09-07 2014-01-21 Intellectual Ventures Fund 83 Llc Event classification method using light source detection
US8751972B2 (en) * 2011-09-20 2014-06-10 Google Inc. Collaborative gesture-based input language

Also Published As

Publication number Publication date
US20150055822A1 (en) 2015-02-26
JP2015511343A (ja) 2015-04-16
EP2805311A1 (en) 2014-11-26
US9684821B2 (en) 2017-06-20
CN103999133A (zh) 2014-08-20
EP2805311A4 (en) 2015-10-07
WO2013107038A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
US9684821B2 (en) Method and apparatus for user recognition
US9824459B2 (en) Tracking objects between images
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US10304104B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN116051115A (zh) 一种刷脸支付提示方法、装置及设备
US8948451B2 (en) Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program
JP5751321B2 (ja) 情報処理装置及び情報処理プログラム
CN103106236A (zh) 信息登记装置、方法、***及信息呈现装置、方法和***
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
WO2021189640A1 (zh) 酒品信息管理方法、装置、计算机设备以及存储介质
CN104205013A (zh) 信息处理装置、信息处理方法以及程序
CN115118536B (zh) 分享方法、控制设备及计算机可读存储介质
JP2007213582A (ja) デジタル画像データ内のオブジェクト・パーツの場所を特定する方法および装置
CN104205799A (zh) 信息处理装置、信息处理方法及程序
JP7516297B2 (ja) 画像照合装置、画像照合方法、およびプログラム
CN115620402B (zh) 一种人货交互行为识别方法、***及相关装置
CN113454634A (zh) 信息处理***、信息处理装置、信息处理方法和程序
KR102607766B1 (ko) 동적 식별 인증
US20240202939A1 (en) Computer method and apparatus for tagless tracking of livestock
US20220269890A1 (en) Method and system for visual analysis and assessment of customer interaction at a scene
US20240046704A1 (en) Determination method and determination apparatus
JP2022011704A (ja) 画像処理装置、画像処理方法およびプログラム
KR100840022B1 (ko) 프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을인식하는 방법 및 시스템
JP2022138548A (ja) 画像照合装置、画像照合方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application