KR102581000B1 - 어시스턴트 서비스 제공 방법 및 시스템 - Google Patents

어시스턴트 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102581000B1
KR102581000B1 KR1020210013170A KR20210013170A KR102581000B1 KR 102581000 B1 KR102581000 B1 KR 102581000B1 KR 1020210013170 A KR1020210013170 A KR 1020210013170A KR 20210013170 A KR20210013170 A KR 20210013170A KR 102581000 B1 KR102581000 B1 KR 102581000B1
Authority
KR
South Korea
Prior art keywords
user
information
target
target user
function
Prior art date
Application number
KR1020210013170A
Other languages
English (en)
Other versions
KR20220109764A (ko
Inventor
이수미
신지은
박원경
김윤한
김영진
배용석
정현아
김범수
정상엽
권순필
서지연
이현미
나누리
윤정순
홍미학
Original Assignee
네이버 주식회사
웍스모바일재팬 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 웍스모바일재팬 가부시키가이샤 filed Critical 네이버 주식회사
Priority to KR1020210013170A priority Critical patent/KR102581000B1/ko
Priority to JP2022010171A priority patent/JP7379550B2/ja
Priority to TW111103551A priority patent/TWI843984B/zh
Publication of KR20220109764A publication Critical patent/KR20220109764A/ko
Application granted granted Critical
Publication of KR102581000B1 publication Critical patent/KR102581000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 어시스턴트 서비스 제공 방법 및 시스템에 관한 것이다. 본 발명에 따른 어시스턴트 서비스 제공 방법은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 마이크를 이용하여, 상기 타겟 유저의 음성을 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하는 단계, 상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 단계 및 확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행하는 단계를 포함할 수 있다.

Description

어시스턴트 서비스 제공 방법 및 시스템{METHOD AND STSTEM FOR PROVIDING ASSISTANT SERVICE}
본 발명은 어시스턴트 서비스 제공 방법 및 시스템에 관한 것이다.
기술이 발전함에 따라, 전자기기의 활용도가 높아지고 있으며, 최근에는 사용자를 보조하는 어시스턴트(ASSISTATNT) 서비스를 제공하는 수단으로서 활용되고 있다.
어시스턴트 서비스는, 사용자에게 유용한 정보를 출력하거나, 사용자가 요구한 기능에 대해 응답하거나, 관련 작업을 수행하여, 사용자가 실제 다양한 작업 또는 가상 작업을 완료하는데 도움을 줄 수 있다.
이러한 어시스턴트 서비스를 제공하는 전자기기는, 사용자에게 맞춤형 서비스를 제공하거나, 사용자의 의도를 파악하여 사용자가 실제로 필요로 하는 기능을 제공하는 형식으로 발전하고 있다.
예를 들어, 대한민국 공개특허 2019-0062521호(가상 어시스턴트의 개인화)에서는, 사용자 개인 레코드를 자동으로 보관함으로써, 사용자에 대한 개인 정보에 보다 빠르게 접근하여, 사용자의 요구를 정확하게 파악하고, 빠르게 응답할 수 있는 시스템을 제공하고 있다.
한편, 이러한 어시스턴트 서비스는, 사용자의 요구를 정확하게 파악하는 것 뿐만 아니라, 어시스턴트 서비스를 제공하는 사용자가 누구인지에 따라, 적절한 기능을 제공하는 것이 핵심이며, 이러한 분야에 대한 연구가 활발하게 이루어지고 있다.
본 발명은, 사용자의 의도를 파악하여, 보다 직관적으로 어시스턴트 서비스를 제공할 수 있는 어시스턴트 서비스 제공 방법 및 시스템을 제공하기 위한 것이다.
나아가, 본 발명은, 전자기기에 대한 접촉 입력 없이도, 어시스턴트 서비스를 제공할 수 있는 어시스턴트 서비스 제공 방법 및 시스템을 제공하기 위한 것이다.
더 나아가, 본 발명은, 사용자의 권한 및 상황을 고려하여, 사용자가 의도한 기능의 제공을 수행할 수 있는 어시스턴트 서비스 제공 방법 및 시스템을 제공하기 위한 것이다.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 어시스턴트 서비스 제공 방법은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 마이크를 이용하여, 상기 타겟 유저의 음성을 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하는 단계, 상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 단계 및 확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행하는 단계를 포함할 수 있다.
나아가, 본 발명에 따른 어시스턴트 서비스 제공 시스템은, 타겟 유저의 얼굴 이미지를 센싱하는 카메라, 상기 타겟 유저의 음성을 센싱하는 마이크, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하고, 상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 제어부를 포함하고, 상기 제어부는, 확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행할 수 있다.
나아가, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 마이크를 이용하여, 상기 타겟 유저의 음성을 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하는 단계, 상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 단계 및 확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행하는 단계를 수행하도록 하는 명령어들을 포함할 수 있다.
위에서 살펴본 것과 같이, 본 발명에 따른 어시스턴트 서비스 제공 방법 및 시스템은, 얼굴 인식을 활용하여, 인식된 사용자에게 제공 가능한 맞춤형 기능을 제공할 수 있다. 더 나아가 본 발명은 얼굴 인식 뿐만 아니라, 얼굴 인식과 함께 음성 인식 수행함으로써, 인식된 사용자가 발화한 음성에 따른 기능을 제공할 수 있다. 따라서, 사용자는 어시스턴트 서비스를 제공하는 전자기기 주변에서 발화를 하는 것 만으로도, 목적하고자 하는 기능의 수행을 제공받을 수 있다.
나아가, 본 발명에 따른 어시스턴트 서비스 제공 방법 및 시스템은, 카메라를 이용하여 인증의 대상이 되는 사용자를 센싱하고, 센싱된 사용자의 권한을 확인함으로써, 사용자가 갖는 권한 내에 존재하는 기능의 제공을 보조할 수 있다. 이 경우, 본 발명에서는, 사용자가 요청한 기능이 사용자의 권한 내에 존재하지 않는 경우, 사용자의 권한 내에 존재하는 유사한 기능의 제공을 추천함으로써, 사용자의 편의성을 높일 수 있다.
도 1은 본 발명에 따른 어시스턴트 서비스 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 어시스턴트 서비스 방법을 설명하기 위한 흐름도이다.
도 3, 도 4a, 도 4b, 도 5a, 도 5b, 도 6, 도 7 및 도 8은 본 발명에 따른 어시스턴트 서비스 방법 및 시스템을 설명하기 위한 개념도들이다.
도 9, 도 10 및 도 11은 본 발명에 따른 어시스턴트 서비스의 활용예를 설명하기 위한 개념도들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 사용자에게 편의기능을 제공할 수 있는 어시스턴트 서비스(assistant service) 제공 방법 및 시스템에 관한 것으로서, 사용자가 전자기기 주변에 위치하는 것 만으로도, 사용자가 의도한 기능을 보조할 수 있는 방법을 제안한다.
이하 첨부된 도면과 함께 본 발명에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명에 따른 어시스턴트 서비스 시스템을 설명하기 위한 개념도이고, 도 2는 본 발명에 따른 어시스턴트 서비스 방법을 설명하기 위한 흐름도이다. 나아가, 도 3, 도 4a, 도 4b, 도 5a, 도 5b, 도 6, 도 7 및 도 8은 본 발명에 따른 어시스턴트 서비스 방법 및 시스템을 설명하기 위한 개념도들이다. 그리고, 도 9, 도 10 및 도 11은 본 발명에 따른 어시스턴트 서비스의 활용예를 설명하기 위한 개념도들이다.
도 1에 도시된 것과 같이, 본 발명에 따른 어시스턴트 서비스 시스템(100)은, 통신부(110), 저장부(120) 및 제어부(130) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 어시스턴트 서비스 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.
본 발명에 따른 어시스턴트 서비스 시스템(100)은 전자기기(10)와 연동되어 동작할 수 있다. 여기서 전자기기(10)는, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 키오스크(KIOSK), 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다.
한편, 본 발명에 따른 어시스턴트 서비스 시스템(100)은, 애플리케이션 또는 소프트웨어로 구현될 수 있다. 이때, 어시스턴트 서비스 시스템(100)에 따른 애플리케이션 또는 소프트웨어는, 전자기기(10)에 설치되어, 이하에서 설명되는 어시스턴트 서비스 제공 방법에 따른 프로세스를 수행할 수 있다.
예를 들어, 본 발명에 따른 어시스턴트 서비스 시스템(100)의 통신부(110), 저장부(120) 및 제어부(130)는, 전자기기(10)의 하드웨어 구성을 활용하여, 본 발명에 따른 어시스턴트 서비스와 관련된 일련의 기능을 수행할 수 있다. 예를 들어, 통신부(110)는 전자기기(10)의 통신부에 구비된 통신 모듈(예를 들어, 이동통신 모듈, 근거리 통신 모듈, 무선 인터넷 모듈, 위치정보 모듈, 방송 수신 모듈 등)의 구성을 이용하여, 적어도 하나의 외부 서버(예를 들어, 도 1에 도시된 데이터베이스(database: DB) 서버(140) 또는 클라우드 서버 등)와 데이터를 송수신할 수 있다.
나아가 저장부(120)는 전자기기(10)에 구비된(또는 삽입된) 메모리 또는 클라우드 서버를 이용하여, 본 발명에 따른 어시스턴트 서비스와 관련된 데이터를 저장하도록 이루어질 수 있다.
제어부(130)는, 전자기기(10)에 구비된 CPU 및 클라우드 서버 중 적어도 하나를 활용하여, 각 구성에 대한 제어 및 본 발명과 관련된 전반적인 제어를 수행할 수 있다. 나아가, 제어부(130)는 본 발명을 수행하기 위하여, 전자기기(10)의 구성 중 적어도 하나에 대한 제어 권한을 가질 수 있다. 나아가, 제어부(130)는 전자기기(10)의 구성 요소에서 수신되거나, 센싱된 정보를 본 발명을 위하여 활용할 수 있다. 예를 들어, 제어부(130)는 전자기기(10)의 카메라(11)로부터 수신되는 영상 및 마이크(13)를 통해 수신되는 음성에 기반하여, 본 발명에 따른 어시스턴트 서비스를 수행할 수 있다.
한편, 제어부(130)는 인공지능, 머신러닝 또는 딥러닝 기반으로, 학습 및 추론에 근거하여 본 발명에 따른 어시스턴스 서비스를 제공할 수 있다.
나아가, 제어부(130)는 전자기기(10)의 디스플레이부(12)를 이용하여, 본 발명과 관련된 정보를 출력하도록 이루어질 수 있다. 이때, 디스플레이부(12)는 사용자 입력을 수신할 수 있는 터치스크린(touch screen)으로 구현될 수 있다.
이 외에도, 제어부(130)는 전자기기(10)에 구비된 다른 구성 요소(예를 들어, 근접 센서, 적외선 센서, 입력부 등)를 이용하여 본 발명에 따른 어시스턴트 서비스를 수행할 수 있다.
한편, 도 1에 의하면, 어시스턴트 시스템(100)의 구성요소로서, 통신부(110), 저장부(120) 및 제어부(130)를 포함하였으나, 본 발명에 따른 어시스턴트 시스템(100)은, 전자기기의 구성요소 중 적어도 하나(예를 들어, 카메라(11), 디스플레이부(12), 마이크(13) 등)를 구성요소로서 포함할 수 있음은 물론이다.
한편, 본 발명에 따른 어시스턴트 서비스 시스템(100)은 프로그램 또는 어플리케이션의 형태로 존재하는 것 뿐만 아니라, 이하에서 설명되는 구성 및 기능의 수행이 가능한 다양한 형태로 존재할 수 있다.
이에, 이하에서는, 이에 대한 엄격한 제한을 두지 않고, 본 발명에 따른 어시스턴트 서비스 시스템(100)에 대하여 설명하도록 한다.
도 1에 도시된 것과 같이, 본 발명에 따른 어시스턴트 서비스 시스템(100)은 전자기기(10)의 카메라(11)를 이용하여, 사용자를 센싱하고, 센싱된 사용자에 대한 어시스턴트 서비스를 수행하도록 이루어질 수 있다.
설명의 편의를 위하여, 본 발명에서는 어시스턴트 서비스의 제공이 되는 사용자를 “타겟 유저(target user, 1000)”라고 명명하기로 한다.
본 발명에서는 타겟 유저(1000)에 대해 타겟 기능을 수행하기 위하여, 타겟 유저(1000)에 대한 사용자 인증을 수행함으로써, 타겟 유저(1000)의 기 설정된 권한 내에서의 타겟 기능을 제공할 수 있다.
본 발명에서, “사용자 인증”이란, 타겟 유저(1000)에 대한 사용자 인증(User Authentication)을 의미할 수 있다.
본 발명에서는, “사용자 인증”을 이용하여, “타겟 기능”과 관련된 일련의 제어를 수행할 수 있다.
여기에서, “타겟 기능”의 종류는 매우 다양할 수 있으며, 예를 들어, 장소에 대한 예약 기능(예를 들어, 회의실 예약, 식당 예약 등), 결제 기능, 출석 확인 기능, 병원에서의 내원 확인, 주문 기능(예를 들어, 카페에서의 음료 주문 등), 전자장치 제어 기능(예를 들어, 회의실에 구비된 전자장치(예를 들어, TV, 스피커, 조명 등), 주차장에서의 차량 찾기 기능 등과 같이, 사용자의 편의를 위하여 제공될 수 있는 다양한 기능을 의미할 수 있다.
한편, 전자장치 제어 기능은 회의실, 카페 등과 같은 특정 공간에 구비된 전자장치를 제어하기 위한 기능을 포함할 수 있다. 이러한 전자장치에 대한 제어는, 사물인터넷(Internet of Things(IoT)) 기반의 제어를 이용할 수 있다. 전자장치 제어 기능은, 위에서 살펴본 TV, 스피커, 조명에 대한 제어 외에, 에어컨 제어, 프로젝터 제어 등이 추가적으로 존재할 수 있다.
이러한, 전자장치 제어 기능은, 전자기기(10)에 구비된 마이크(13)를 통해 입력되는 음성 명령어를 통하여 활성화 또는 비활성화될 수 있다.
제어부(130)는 “불꺼줘”, “조명 켜줘”, “에어컨 틀어줘” 등과 같은 음성 명령어가 수신되면, 수신된 음성 명령어에 대응되는 전자장치에 대한 제어명령을 생성하고, 대응되는 전자장치에 제어명령을 전송함으로써, 전자장치에 대한 제어를 수행할 수 있다.
본 발명에서 제어부(130)는, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)의 얼굴 이미지를 획득하고, 사용자 DB에 저장된 상기 얼굴 이미지에 대응되는 사용자 정보를 이용하여, 상기 타겟 유저(1000)에 대한 어시스턴트 서비스를 수행할 수 있다.
이때, 상기 사용자 인증의 대상이 되는 타겟 기능은 다양한 기준에 근거하여 특정될 수 있다.
일 예로서, 제어부(130)는 전자기기(10)가 설치된 장소에 따라, 타겟 기능을 특정할 수 있다. 예를 들어, 도 1에 도시된 것과 같이, 전자기기(10)가 회의실 주변에 배치된 경우, 제어부(130)는 타겟 기능으로서, 장소 예약(예를 들어, 회의실 예약) 기능을 특정할 수 있다. 그리고, 도 10에 도시된 것과 같이, 전자기기(10)가 주차장 주변에 배치된 경우, 제어부(130)는 타겟 기능으로서, 타겟 유저의 차량이 주차된 위치를 검색하는 기능을 특정할 수 있다. 한편, 타겟 기능으로서, 어떤 기능을 특정할지 여부는, 사전에 전자기기(10)가 배치된 위치에 근거하여, 결정되어 존재할 수 있다.
다른 예로서, 제어부(130)는 마이크(13)를 통해 수신되는 음성에 기반하여, 타겟 기능을 특정할 수 있다. 제어부(130)는 전자기기(10) 주변에 위치한 타겟 유저(1000)의 얼굴 이미지를 센싱하는 것과 함께, 타겟 유저(1000)의 마이크(13)를 통해, 타겟 유저(1000)의 음성 정보 수신할 수 있다.
제어부(130)는 기 설정된 자연어 처리(Natural Language Processing) 알고리즘에 근거하여, 마이크(13)를 통해 센싱된(또는 수신된) 음성(또는 음성 정보)정보를 분석할 수 있다. 그리고 제어부(130)는 분석에 근거하여, 수신된 음성으로부터 타겟 기능을 특정할 수 있다. 제어부(130)는 음성에 포함된 키워드 또는 명령어에 근거하여, 타겟 기능을 특정할 수 있다.
또 다른 예로서, 제어부(130)는 전자기기(10)에 대한 사용자 입력에 근거하여, 타겟 기능을 특정할 수 있다. 이때의 사용자 입력은 터치 스크린이 구비된 디스플레이부(12) 또는 다른 사용자 입력 수단을 통하여 입력되는 사용자 입력일 수 있다. 제어부(130)는 이러한 사용자 입력에 근거하여, 타겟 기능을 특정할 수 있다.
또 다른 예로서, 제어부(130)는 타겟 유저의 사용자 정보에 포함된 타겟 유저의 스케줄에 근거하여, 적절한 기능을 타겟 기능으로서 특정할 수 있다.
이외에도, 타겟 기능은 다양한 방식으로 특정될 수 있으며, 본 발명에서는, 타겟 유저가 타겟 기능을 원활하게 수행 또는 제공받도록 어시스턴트 서비스를 제공할 수 있다.
한편, 제어부(130)는, 상기 타겟 유저(1000)의 얼굴 이미지 및 상기 사용자 DB로부터 추출되는 사용자 정보를 이용하여, 타겟 기능에 대한 타겟 유저(1000)의 권한을 확인하고, 타겟 유저(1000)의 권한 내에서 타겟 기능에 대한 어시스턴트 서비스를 수행할 수 있다.
또한, 제어부(130)는 타겟 유저(100)의 사용자 정보를, 타겟 기능의 수행에 활용할 수 있다. 예를 들어, 타겟 기능이 출석 체크 기능인 경우, 제어부(130)는, 타겟 유저(1000)의 사용자 정보에 근거하여, 타겟 유저(1000) 대한 출석 체크 승인 처리 또는 출석 체크 거절 처리 중 어느 하나를 수행할 수 있다.
또 다른 예로서, 타겟 기능이 결제 기능인 경우, 제어부(130)는, 타겟 유저(1000)의 사용자 정보를 이용하여, 결제 대상 금액에 대해 결제 승인 처리 또는 결제 거절 처리 중 어느 하나를 수행할 수 있다.
한편, 타겟 유저(1000)이 사용자 정보는, 타겟 유저(1000)와 관련된 다양한 정보로서, 제어부(130)는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000)의 얼굴 이미지를 추출하고, 사용자 DB로부터, 상기 추출된 얼굴 이미지와 대응되는(또는 매칭된) 사용자 정보를 추출할 수 있다.
여기에서, 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.
사용자 DB는, 저장부(120), 외부 데이터베이스(140) 및 클라우드 서버 중 적어도 하나에 포함될 수 있다.
제어부(130)는, 사용자 DB로부터 타겟 유저(1000)의 얼굴 이미지와 대응되는 인물을 검색하고, 검색된 인물에 매칭된 사용자 정보를 추출할 수 있다.
사용자 DB에는 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 얼굴 이미지, 생체 정보(예를 들어, 지문 정보, 홍채 정보 등), 특정 기능(또는 특정 이벤트)에 대한 권한 정보, 참조 얼굴 이미지, 전자기기의 식별 정보, 일정(스케줄, schedule), 근무 부서, 직책, 직함, 직위, 결제 정보(예를 들어, 계좌번호, 신용카드 정보 등)등과 관련된 정보 중 적어도 하나를 포함할 수 있다.
여기에서, 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서, “참조 얼굴 이미지”는 “참조 데이터”로도 명명될 수 있다.
제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
그리고, 제어부(130)는 추출된 사용자 정보를 이용하여, 타겟 기능에 대한 어시스턴트 서비스를 수행할 수 있다.
도 1에 도시된 것과 같이, 전자기기(10)는 임의의 장소에 배치될 수 있으며, 타겟 유저(1000)는 전자기기(10)에 주변에 위치하는 것 만으로도, 어시스턴트 서비스를 수행할 수 있다.
이하에서는, 흐름도와 함께 본 발명에 따른 어시스턴트 서비스 제공 방법에 대하여 보다 구체적으로 살펴본다.
먼저, 도 2에 도시된 것과 같이, 본 발명에 따른 어시스턴트 서비스 제공 방법에 의하면, 카메라(11)를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 과정이 진행될 수 있다(S210).
즉, 제어부(130)는, 전자기기(10)의 카메라(11, 도 1 참조)를 이용하여, 카메라(11)로부터 수신된 영상에서 타겟 유저의 얼굴 이미지를 검출할 수 있다.
보다 구체적으로 도 3의 (a) 및 도 4a에 도시된 것과 같이, 제어부(130)는, 전자기기(10) 주변에 위치한 타겟 유저(1000)의 얼굴을, 카메라(11)를 통해 센싱할 수 있다.
제어부(130)는, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)의 얼굴 이미지(410)를 획득하고, 상기 얼굴 이미지에 대응되는 사용자 DB에 저장된 사용자 정보를 이용하여, 상기 타겟 유저(1000)에 대한 어시스턴트 서비스를 수행할 수 있다.
제어부(130)는, 카메라(11)를 통해 수신되는 영상에서 타겟 유저(1000)의 얼굴 이미지가 검출되면, 어시스턴트 서비스를 위한 일련의 프로세스를 진행할 수 있다.
카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지가 센싱 또는 검출되는 시점은 매우 다양할 수 있다.
일 예로서, 제어부(130)는 전자기기(10)에 대해 사용자 입력이 인가된 경우, 타겟 유저(1000)의 얼굴이 촬영될 수 있도록 카메라(11)를 제어할 수 있다. 여기에서, 사용자 입력은, 전자기기(10)에 대한 물리적인 접촉에 따른 입력 또는 음성을 이용한 입력 등 다양한 방식의 입력일 수 있다.
다른 예로서, 제어부(130)는 도 3에 도시된 것과 같이, 전자기기(10) 주변에, 사람이 위치한 것이 감지되는 경우, 카메라(10)를 통해, 타겟 유저(1000)에 대한 영상이 수신되도록 카메라(10)를 제어할 수 있다. 이때, 제어부(130)는 전자기기(10)를 기준으로 기 설정된 범위(또는 거리)이내에, 타겟 유저(1000)가 위치한 경우, 타겟 유저(1000)의 얼굴 이미지가 검출되도록 카메라(10)를 제어할 수 있다. 제어부(130)는, 전자기기(10)에 구비된 적어도 하나의 센서(예를 들어, 근접 센서, 적외선 센서 또는 라이다 센서 등)를 이용하여, 전자기기(10) 주변에 또는 전자기기(10)를 기준으로 기 설정된 범위 내에 타겟 유저가 위치하는 것을 센싱(또는 감지)할 수 있다.
한편, 제어부(130)는 상기 전자기기(10)의 기 설정된 범위 이내에, 타겟 유저(1000)가 위치하지 않는 경우, 전자기기(10)의 디스플레이부(12)가 비활성화되도록, 디스플레이부(12)를 제어할 수 있다. 비활성화 상태의 디스플레이부(12)는 전원이 오프된 상태, 대기상태 및 절전 상태 중 적어도 하나의 상태일 수 있다.
나아가, 제어부(130)는 상기 전자기기(10)의 기 설정된 범위 이내에, 타겟 유저(1000)가 위치한 경우, 전자기기(10)의 디스플레이부(12)가 활성화되도록, 디스플레이부(12)를 제어할 수 있다. 이때, 디스플레이부(12)에는, 타겟 기능을 특정하는 방법에 대한 가이드 정보(예를 들어, “원하시는 기능을 말씀해주세요”)가 출력될 수 있다.
또 다른 예로서, 제어부(130)는 기 설정된 간격 또는 실시간으로 카메라(11)를 통해 수신되는 영상에, 타겟 유저(1000)의 얼굴 이미지가 포함되어 있는지를 판단할 수 있다. 그리고, 판단 결과, 카메라(11)를 통해 수신되는 영상에 타겟 유저(1000)의 얼굴 이미지가 포함된 경우, 타겟 기능과 관련된 어시스턴트 서비스를 위한 일련의 프로세스를 진행할 수 있다.
또 다른 예로서, 제어부(130)는 전자기기(10)에 구비된 마이크(13)를 통하여, 소리(또는 음성)이 센싱되는 경우, 카메라(11)를 활성화시킬 수 있다. 즉, 제어부(130)는 마이크(13)를 통하여, 사람의 소리가 센싱되는 경우, 전자기기(10) 주변에, 사람이 위치했다고 판단하고, 카메라(11)를 활성화시킬 수 있다.
또 다른 예로서, 제어부(130)는 도 4b에 도시된 것과 같이, 전자기기(10)에 구비된 기능 아이콘(450)이 선택되는 것에 근거하여, 카메라(11)를 활성화시킬 수 있다. 이러한 기능 아이콘(450)에는, 본 발명에 따른 어시스턴스 서비스를 활성화하기 위한 기능이 매칭되어 존재할 수 있다. 기능 아이콘(450)은 전자기기(10)에 구비된 디스플레이부(12) 상에 출력될 수 있다. 제어부(130)는 사용자 등에 의하여, 기능 아이콘(450)이 터치 등의 방식으로 선택되는 경우, 본 발명에 따른 어시스턴스 서비스를 활성화할 수 있다. 이 경우, 어시스턴스 서비스의 활성화에 근거하여 카메라(11)가 활성화될 수 있다.
한편, 제어부(130)는 적어도 하나의 얼굴 인식 알고리즘을 이용하여, 카메라(11)에서 수신되는 영상에서 타겟 유저(1000)의 얼굴 이미지를 검출할 수 있다. 본 발명에서 활용되는 얼굴 인식 알고리즘은 그 종류에 제한이 없으며, 인공지능 또는 딥러닝을 기반으로 동작하는 알고리즘 또한 활용될 수 있다.
한편, 제어부(130)는 카메라(11)를 통해, 타겟 유저(100)의 얼굴 이미지가 검출된 경우라도, 검출된 얼굴 이미지가, 어시스턴트 서비스를 수행하기 위한 기 설정된 조건(또는 기 설정된 인증 조건)을 만족하지 못하는 경우, 상기 기 설정된 조건을 만족하는 얼굴 이미지를 획득하기 위한 가이드 정보를 제공할 수 있다.
보다 구체적으로, 제어부(130)는, 카메라(11)에서 센싱되는 타겟 유저(1000)의 얼굴 이미지가, 상기 기 설정된 조건을 만족하는지 판단할 수 있다. 여기에서, 상기 기 설정된 조건은, 영상에 포함된 얼굴 이미지의 크기, 얼굴 이미지에 대응되는 얼굴의 각도, 영상에서의 얼굴 이미지의 위치 및 영상에서 얼굴의 생김새 특징 요소(예를 들어, 눈, 코, 입)의 포함 여부 중 적어도 하나와 관련될 수 있다.
제어부(130)는, 기 설정된 조건을 만족하는 얼굴 이미지가 획득될 수 있도록 타겟 유저(1000)의 자세 및 위치 등에 대한 정보 중 적어도 하나를 가이드 정보로서 출력할 수 있다. 가이드 정보는, 카메라(11)와 타겟 유저(1000) 사이의 상대 위치 및 상대 거리 중 적어도 하나와 관련될 수 있다.
예를 들어, 제어부(130)는 i)전자기기를 기준으로 타겟 유저(1000)의 위치 정보(예를 들어, 더 가까이 와주세요, 더 뒤로 가주세요, 화면과의 거리를 맞춰주세요), ii)타겟 유저(1000)의 자세 정보(예를 들어, 화면을 봐주세요), iii) 타겟 유저(1000)의 얼굴이 물체(예를 들어, 마스크)에 의해 가려진 경우, 이를 제거하는 것을 권유하는 정보(예를 들어, 마스크를 벗어주세요)와 같은 가이드 정보를 제공할 수 있다.
나아가, 본 발명에 따른 어시스턴트 서비스 제공 방법에서는, 마이크를 이용하여, 타겟 유저의 음성을 센싱하는 과정이 진행될 수 있다(S220).
본 발명에서, 카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지를 센싱하는 과정(S210) 및 마이크(13)를 이용하여, 타겟 유저의 음성을 센싱하는 과정(S220)은 전자기기(10) 상에서 동시에 이루어지는 것 또한 가능하다. 즉, 제어부(130)는 전자기기(10) 상에서, 카메라(11)를 통해 영상정보가 수신되는 시점, 마이크(13)를 통해 음성 정보가 수신되는 시점은 동일할 수 있다. 이 경우는, 타겟 유저(1000)가 전자기기(10) 주변에 위치하면서, 발화를 하는 경우에 해당한다.
한편, 카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지를 센싱하는 과정(S210) 및 마이크(13)를 이용하여, 타겟 유저의 음성을 센싱하는 과정(S220)의 선후는 상황에 따라 자유롭게 변형될 수 있다. 즉, 카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지를 센싱하는 과정(S210)이 진행된 후, 마이크(13)를 이용하여, 타겟 유저의 음성을 센싱하는 과정(S220)되거나, 또는 이와 반대로, 마이크(13)를 이용하여, 타겟 유저의 음성을 센싱하는 과정(S220)이 진행된 후, 카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지를 센싱하는 과정(S210)이 진행될 수 있다.
한편, 마이크(13)를 이용하여, 타겟 유저의 음성을 센싱하는 과정은, 마이크를 통해 소리 정보를 수신하는 과정으로 이해되어 질 수 있다.
제어부(130)는 자연어 처리 알고리즘에 근거하여, 마이크(13)를 통해 수신된 음성 정보를 분석하고, 분석결과에 근거하여 타겟 기능을 결정할 수 있다.
예를 들어, 도 3에 도시된 것과 같이, 타겟 유저(1000)는, 음성을 통하여, 타겟 기능에 대한 정보(예를 들어, “회의실 예약 부탁해”)를 발화할 수 있다. 제어부(130)는 이러한 음성이 수신되는 것에 근거하여, 음성에 대응되는 기능을 타겟 기능으로서 특정할 수 있다. 제어부(130)는 다양한 키워드에 각각 대응되는 기능 리스트와, 음성에 포함된 정보를 비교함으로써, 타겟 기능을 특정할 수 있다. 이러한 기능 리스트는 저장부(120)에 저장되어 존재할 수 있다.
한편, 타겟 기능이 특정되는 경우, 디스플레이부(12) 상에는, 상기 음성에 대응되는 기능으로서 특정 기능이 결정되었음을 알리는 안내정보가 출력될 수 있다. 또한, 제어부(130)는 음향 출력부(또는 스피커)를 통하여, 안내 정보를 출력할 수 있다.
다음으로, 본 발명에서는 사용자 DB로부터, 검출된 얼굴 이미지에 대응되는 사용자 정보를 추출하는 과정이 진행될 수 있다(S230).
보다 구체적으로, 제어부(130)는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000)의 얼굴 이미지를 추출하고, 사용자 DB로부터, 상기 추출된 얼굴 이미지와 대응되는(또는 매칭된) 사용자 정보를 추출할 수 있다.
앞서 살펴본 것과 같이, 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.
사용자 DB는, 저장부(120), 외부 데이터베이스(140) 및 클라우드 서버 중 적어도 하나에 포함될 수 있다.
제어부(130)는, 사용자 DB로부터 타겟 유저(1000)의 얼굴 이미지와 대응되는 인물을 검색하고, 검색된 인물에 매칭된 사용자 정보를 추출할 수 있다.
사용자 DB에는 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 얼굴 이미지, 생체 정보(예를 들어, 지문 정보, 홍채 정보 등), 특정 기능(또는 특정 이벤트)에 대한 권한 정보, 참조 얼굴 이미지, 전자기기의 식별 정보, 일정(스케줄, schedule), 근무 부서, 직책, 직함, 직위, 결제 정보(예를 들어, 계좌번호, 신용카드 정보 등)등과 관련된 정보 중 적어도 하나를 포함할 수 있다.
여기에서, 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서, “참조 얼굴 이미지”는 “참조 데이터”로도 명명될 수 있다.
제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
제어부(130)는 검출된 타겟 유저(1000)의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도를 갖는 특정 참조 얼굴 이미지를 사용자 DB로부터 추출할 수 있다. 그리고, 추출된 상기 특정 참조 얼굴 이미지에 매칭된 인물을 상기 타겟 유저로서 특정할 수 있다.
제어부(130)는 타겟 유저(1000)에 대한 검색이 진행되는 동안, 전자기기(10)에 현재 진행 상황에 대한 안내 정보(예를 들어, “당신을 찾고 있습니다”)가 출력되도록 디스플레이부(12) 및 음향 출력부(예를 들어, 스피커 등)를 제어할 수 있다.
도 4a에 도시된 것과 같이, 디스플레이부(12)에는, 카메라(11)를 통해 촬영된 영상이 출력될 수 있다. 이때, 출력되는 영상에는, 타겟 유저(1000)의 얼굴 이미지(410)가 포함될 수 있다.
위에서 살펴본 것과 같이, 타겟 유저(1000)에 해당하는 인물이 특정되고, 특정된 인물(예를 들어, 이*리)에 대한 사용자 정보가 출력된 경우, 제어부(130)는 상기 사용자 정보 중 적어도 일부를 디스플레이부(12)에 제공할 수 있다.
따라서, 도 4a에 도시된 것과 같이, 타겟 유저(1000)에 해당하는 인물에 대응되는 사용자 정보의 적어도 일부(예를 들어, 이름 정보(이*리)는, 디스플레이부(12)에 출력될 수 있다. 따라서, 타겟 유저(1000)는 디스플레이부(12)에 출력되는 정보를 참조하여, 전자기기(10)에서 자신을 정확하게 검색하였는지를 확인할 수 있다.
위에서 살펴본 것과 같이, 타겟 유저(1000)에 대한 사용자 정보가 추출된 경우, 본 발명에서는, 추출된 사용자 정보를 이용하여, 타겟 기능에 대한 타겟 유저(1000)의 권한을 확인하는 과정이 진행될 수 있다(S240).
앞서 살펴본 것과 같이, 타겟 기능은, 마이크를 통하여 입력되는 음성에 근거하여 특정될 수 있다.
또한, 타겟 기능은, 마이크를 통하여 입력되는 음성 외에, 다양한 방법에 의해 특정될 수 있다. 타겟 기능이 음성에 근거하여 특정되지 않는 경우, 본 발명에 따른 어시스턴트 서비스 제공 방법에서는 S220단계가 생략되는 것 또한 가능하다.
다른 방법에 의하여 타겟 기능이 특정되는 예에 대하여 살펴보면, 일 예로서, 제어부(130)는 전자기기(10)가 설치된 장소에 따라, 타겟 기능을 특정할 수 있다. 예를 들어, 도 3에 도시된 것과 같이, 전자기기(10)가 회의실 주변에 배치된 경우, 제어부(130)는 타겟 기능으로서, 장소 예약(예를 들어, 회의실 예약) 기능을 특정할 수 있다. 이 경우, 제어부(130)는 타겟 유저(1000)로부터 별도의 사용자 입력이 수신되지 않더라도, 타겟 유저(1000)가 카메라(11)에 센싱되는 것에 근거하여, 타겟 유저(1000)의 권한을 확인하는 과정을 수행할 수 있다.
그리고, 도 10에 도시된 것과 같이, 전자기기(10)가 주차장 주변에 배치된 경우, 제어부(130)는 타겟 기능으로서, 타겟 유저의 차량이 주차된 위치를 검색하는 기능을 특정할 수 있다. 한편, 타겟 기능으로서, 어떤 기능을 특정할지 여부는, 사전에 전자기기(10)가 배치된 위치에 근거하여, 결정되어 존재할 수 있다.
또 다른 예로서, 제어부(130)는 전자기기(10)에 대한 사용자 입력에 근거하여, 타겟 기능을 특정할 수 있다. 이때의 사용자 입력은 터치 스크린이 구비된 디스플레이부(12) 또는 다른 사용자 입력 수단을 통하여 입력되는 사용자 입력일 수 있다. 제어부(130)는 이러한 사용자 입력에 근거하여, 타겟 기능을 특정할 수 있다.
또 다른 예로서, 제어부(130)는 타겟 유저의 사용자 정보에 포함된 타겟 유저의 스케줄에 근거하여, 적절한 기능을 타겟 기능으로서 특정할 수 있다.
한편, 제어부(130)는 타겟 기능의 특정을 위하여, 타겟 유저(1000)에게 질문을 출력하고, 출력된 질문에 대한 응답에 근거하여, 타겟 기능을 특정할 수 있다.
타겟 기능의 특정은, 타겟 유저의 권한을 확인할 정도로 구체화된 정보가 필요할 수 있다. 예를 들어, 타겟 기능이 장소에 대한 예약인 경우, 제어부(130)는 구체적인 예약 장소(예를 들어, 회의실 호수 등) 및 예약 시간 정보가 필요할 수 있다.
타겟 기능의 특정을 위하여, 제어부(130)는 타겟 유저(1000)에게 다양한 방식으로 질문을 수행할 수 있다. 예를 들어, 제어부(130)는 스피커를 통하여 타겟 유저(1000)에게 질문을 출력하고, 마이크(13)를 통해 음성을 수신함으로써, 질문에 대한 답변을 수신할 수 있다. 제어부(130)는 타겟 기능을 구체화할 수 있을 정도(또는 확정할 수 있을 정도)의 정보가 수집될 때까지 복수번에 걸쳐 질문을 출력하고, 답변을 수신할 수 있다.
또한, 제어부(130)는 디스플레이부(12)에 질문을 출력시키고, 디스플레이부(12) 또는 마이크(13)를 통해, 답변을 입력받음으로써, 타겟 기능의 구체화를 위한 정보를 수집할 수 있다.
한편, 제어부(130)는, 타겟 유저(1000)에게 질문을 하지 않더라도, 타겟 기능에 대한 구체화가 완료된 경우, 질문을 출력하지 않을 수 있다. 예를 들어, 타겟 유저(1000)는, “월요일 오후 3시에, 3번 회의실 예약해줘”와 같이, 특정 기능을 특정하기에 충분한 정보를 초기에 전자기기(10)에 대해 제공할 수 있다.
이와 같이, 사용자의 음성 또는 다른 방법에 의하여 타겟 기능이 특정되면, 제어부(130)는 타겟 기능에 대한 타겟 유저의 권한을 확인할 수 있다.
여기에서, “타겟 유저의 권한”이라 함은, 다양한 의미로 해석될 수 있다. 예를 들어, 타겟 유저의 권한은 i)타겟 유저(1000)가 타겟 기능을 제공받을 권한을 갖고 있는지, ii)타겟 유저(1000)가 타겟 기능에 접근할 권한을 갖고 있는지, iii)타겟 유저(1000)가 특정 장소에 출입할 권한을 갖고 있는지, iv)타겟 유저(1000)가 특정 전자장치를 제어할 권한을 갖고 있는지 등과 같이, 타겟 유저(1000)가 임의의 기능, 장치 또는 장소와 관련하여 접근할 수 있는 권한을 갖고 있는지에 대한 정보일 수 있다.
이러한, 타겟 유저(1000)의 권한에 대한 정보(또는 권한 정보)는 타겟 유저(1000)의 사용자 정보에 포함되어 존재할 수 있다.
예를 들어, 타겟 기능이 도 3에 도시된 것과 같이, 장소를 예약하는 기능인 경우, 제어부(130)는 타겟 유저(100)의 사용자 정보에 근거하여, 타겟 유저(1000)가 특정 장소(예를 들어, 예약 대상 장소)에 대해 출입할 권한 또는 예약할 권한이 존재하는지를 판단할 수 있다.
이 경우, 타겟 기능은, 특정 장소에 대해 특정 시간에 대한 예약 기능으로 이해될 수 있다.
나아가, 타겟 유저(1000)의 권한에 대한 정보(또는 권한 정보)를 확인하기 위하여, 제어부(130)는 타겟 유저(1000)로부터 권한 확인을 위한 정보를 확인할 수 있다. 여기에서, 권한 확인을 위한 정보는, 타겟 유저(1000)의 생체 정보, 비밀번호 정보 등, 타겟 유저(1000)를 인증하기 위한 정보일 수 있다.
한편, 앞서 살펴본 것과 같이, 특정 장소 또는 예약 시간 등 예약과 관련된 정보의 특정은, 타겟 유저(1000)로부터 수신되는 음성 및 타겟 유저의 스케줄 정보 중 적어도 하나에 근거하여 이루어질 수 있다.
또한, 특정 장소 또는 예약 시간 등 예약과 관련된 정보의 특정은 전자기기(10)가 배치된 장소 중 적어도 하나에 근거하여 이루어질 수 있다.
예를 들어, 제어부(130)는 타겟 유저(1000)의 얼굴 이미지 및 음성을 센싱한 전자기기(10)가 배치된 위치에 근거하여, 특정 장소를 결정할 수 있다. 예를 들어, 제어부(130)는 전자기기(10)가 배치된 위치와 가장 가까운 장소(예를 들어, 회의실)을 특정 장소로서 특정할 수 있다, 또한, 전자기기(10) 마다, 장소에 대한 정보(예를 들어, 회의실 호수)가 매칭될 수 있으며, 제어부(130)는 전자기기(10)에 매칭된 장소에 대한 정보에 근거하여, 특정 장소를 결정할 수 있다.
한편, 위에서 살펴본 것과 같이, 타겟 기능에 대한 타겟 유저의 권한 확인이 진행되면, 본 발명에서는 확인 결과에 근거하여, 타겟 기능과 관련된 제어를 수행하는 과정이 진행될 수 있다(S250).
보다 구체적으로, 제어부(130)는, 타겟 유저(1000)가 특정 기능에 대한 권한을 가졌는지 여부에 따라, 서로 다른 제어를 수행할 수 있다.
제어부(130)는, 타겟 유저(1000)가 특정 기능에 대한 권한을 가진 경우, 특정 기능을 수행 또는 실행할 수 있다.
나아가, 제어부(130)는 타겟 유저(1000)가 특정 기능에 대한 권한을 가졌지만, 특정 기능을 수행 또는 실행할 수 없는 경우, 특정 기능과 유사한 기능을 추천하거나, 수행할 수 있다,
즉, 제어부(130)는 타겟 유저(1000)가 특정 기능에 대한 권한이 없는 경우, 특정 기능의 수행을 제한할 수 있다. 이 경우, 제어부(130)는 특정 기능과 유사한 기능을 추천하거나, 수행할 수 있다.
예를 들어, 특정 기능이, 특정 장소를 예약하는 기능인 경우, 제어부(130)는 타겟 유저(1000)가 특정 장소에 대한 예약 권한이 존재하는지 여부에 근거하여, 상기 특정 장소에 대한 예약과 관련된 서로 다른 제어를 수행할 수 있다.
예를 들어, 제어부(130)는, 특정 장소에 대한 예약 권한이 타겟 유저(1000)에게 존재하는 경우, 도 3의 (b)에 도시된 것과 같이, 특정 장소에 대한 예약을 수행할 수 있다. 이 경우, 제어부(130)는 특정 기능이 정상적으로 수행될 수 있음을 알리는 안내 정보(예를 들어, “4번 회의실을 지금 바로 예약해 드릴게요!”)를 시각적 및 청각적 정보 중 적어도 하나의 방식으로, 전자기기(10) 상에 출력시킬 수 있다.
도 4a에 도시된 것과 같이, 디스플레이부(12) 상에는, 특정 장소에 대한 예약에 대한 정보(예를 들어, 상황 정보 또는 안내 정보 등, 420)가 출력될 수 있다. 제어부(130)는 타겟 유저(1000)가 언제라도, 예약 시간 또는 예약 장소를 변경하거나, 예약을 확정할 수 있도록 하는 GUI(Graphic User Interface, 430)를 디스플레이부(12) 상에 제공할 수 있다. 이러한 GUI(430)는 아이콘 또는 그래픽 객체로도 명명될 수 있다.
다른 예로서, 제어부(130)는, 특정 장소에 대한 예약 권한이 타겟 유저(1000)에게 존재하지만, 특정 장소에 대한 예약을 수행할 수 없는 경우(예를 들어, 특정 장소에 대한 예약이 이미 완료된 경우 등), 도 3의 (c)에 도시된 것과 같이, 특정 장소와 다른 예약이 가능한 장소에 대한 예약을 수행하거나, 추천할 수 있다. 제어부(130)는 타겟 유저가 포함된 공간의 장소(예를 들어, 회의실 등)에 대한 예약 가능 여부를 판단하고, 판단 결과에 근거하여, 다른 예약이 가능한 장소를 추천할 수 있다.
이때, 제어부(130)는, i)특정 장소와 가장 가까운 장소이거나, ii)특정 장소를 제외한 타겟 유저(1000)의 현재 위치와 가장 가까운 장소, iii)특정 장소를 제외한 타겟 유저(1000)의 근무 위치와 가장 가까운 장소, iv)특정 장소를 제외한, 다른 사용자(예를 들여, 회의 참석자 등) 및 타겟 유저(1000)의 거리를 모두 고려한 장소와 같이, 다양한 기준에 근거하여, 다른 예약 가능한 장소를 검색하고, 검색된 정보를 추천 정보로서 생성할 수 있다.
또 다른 예로서, 제어부(130)는 특정 장소에 대한 예약 권한이 상기 타겟 유저(1000)에게 존재하지 않는 경우, 도 3의 (d)에 도시된 것과 같이, 특정 장소와 다른 장소에 대한 예약을 가이드 할 수 있다. 다른 장소에 대한 가이드의 방식은, 전자기기(10)를 통하여 이루어질 수 있으며, 제어부(130)는 청각적 및 시각적 방식 중 적어도 하나를 통해, 타겟 유저(1000)를 가이드할 수 있다.
이 경우, 제어부(130)는, 타겟 유저에게, 특정 장소에 대한 예약 권한이 없음을 알리는 안내 정보(예를 들어, “4번 회의실은 예약 권한이 없으세요”)를 가이드 정보(예를 들어, “7번 회의실을 예약해 드릴까요?)와 함께, 출력할 수 있다. 이러한 정보는, 도 5a에 도시된 것과 같이, 디스플레이부(12) 상에 시각적인 정보(510)로서, 출력될 수 있다. 나아가, 디스플레이부(12)에는, 특정 기능의 수행의 종료 또는 다른 추천 장소를 제공받기 위한 GUI(520, 530)가 포함될 수 있다. 이러한 GUI(520, 530)는 아이콘 또는 그래픽 객체로도 명명될 수 있다. 제어부(130)는 GUI(520, 530) 중 어느 하나가 선택되면, 선택된 GUI에 매칭된 기능을 실행할 수 있다. 예를 들어, 사용자(또는 타겟 유저(1000))에 의해 특정 기능의 수행의 종료에 대응되는 GUI(520)가 선택되는 경우, 제어부(130)는 타겟 유저(1000)를 위한 장소 예약 프로세스를 종료할 수 있다. 이와 달리, 사용자(또는 타겟 유저(1000))에 다른 추천 장소를 제공하는 기능 대응되는 GUI(530)가 선택되는 경우, 제어부(130)는 추천 장소 정보를 출력할 수 있다. 나아가, 추천 장소 정보의 출력은, 사용자에 의해 상기 GUI(530)가 선택되지 않은 경우에도, 출력될 수 있음은 물론이다.
앞서 살펴본 것과 같이, 제어부(130)는 타겟 유저(1000)가 예약 권한을 가지면서, 예약이 가능한 장소를 검색하고, 검색된 정보를 추천 정보로서 생성할 수 있다. 제어부(130)는 다양한 기준에 근거하여, 추천 장소를 검색할 수 있으며, 하나 또는 복수의 추천 장소에 대한 정보를 타겟 유저(1000)에게 제공할 수 있다.
제어부(130)는, i)특정 장소와 가장 가까운 장소이거나, ii)특정 장소를 제외한 타겟 유저(1000)의 현재 위치와 가장 가까운 장소, iii)특정 장소를 제외한 타겟 유저(1000)의 근무 위치와 가장 가까운 장소, iv)특정 장소를 제외한, 다른 사용자(예를 들여, 회의 참석자 등) 및 타겟 유저(1000)의 거리를 모두 고려한 장소와 같이, 다양한 기준에 근거하여, 다른 예약 가능한 장소를 검색하고, 검색된 정보를 추천 정보로서 생성할 수 있다.
예를 들어, 도 5b에 도시된 것과같이, 디스플레이부(12) 상에는, 타겟 유저(1000)의 현재 위치에서 가장 가까운 장소가 추천 정보(550)로서 제공될 수 있다. 마찬가지로, 도 5b에 도시된 것과같이, 디스플레이부(12) 상에는, 타겟 유저(1000)의 근무 위치에서 가장 가까운 장소가 추천 정보(550)로서 제공될 수 있다. 이 경우, 추천 정보로서 제공되는 장소는, 타겟 유저(1000)가 예약할 권한을 갖는 장소일 수 있다.
한편, 도 6에 도시된 것과 같이, 특정 기능이 장소에 대한 예약 기능이고, 상기 타겟 유저에 의한 사용자 입력에 근거하여 참석자(예를 들어, 김*동, 유*애)에 대한 정보가 수신된 경우(도 6의 도면부호 620 참조), 제어부(130)는 참석자 및 타겟 유저(1000)와 각각 관련된 위치를 근거로, 타겟 유저(1000)의 예약권한 내에 존재하는 특정 장소(예를 들어, A 동 1번, 3번 5번 회의실)를 추천 장소로서 검색할 수 있다. 그리고, 도 6에 도시된 것과 같이, 검색된 추천 장소에 대한 정보(630)를 디스플레이부 상에 출력할 수 있다. 이 경우, 제어부(130)는 지도 이미지 상에, 추천 장소 위치, 타겟 유저(1000)와 관련된 위치(예를 들어, 타겟 유저의 현재 위치 또는 타겟 유저의 근무 위치 등), 참석자와 관련된 위치(예를 들어, 참석자의 현재 위치 또는 타겟 유저의 근무 위치 등)를 표시할 수 있다.
제어부(130)는, 참석자에 대한 정보가 수신된 경우, 사용자 DB로부터 참석자의 사용자 정보를 추출하고, 추출된 참석자의 사용자 정보에 포함된 참석자와 관련된 위치 정보에 근거하여, 추천 장소 정보를 검색(또는 특정)할 수 있다.
한편, 위의 예들 에서는 특정 기능에, 장소가 구체적으로 특정된 경우에 대하여 살펴보았다. 그러나, 본 발명은 이에 한정되지 않고, 타겟 유저(1000)가 갖는 권한 정보(예를 들어, 장소에 대한 접근 권한, 출입 권한 등)에 근거하여, 예약이 가능한 장소 정보를 추천할 수 있다. 제어부(130)는 위에서 살펴본 장소 추천 방법에 근거하여, 타겟 유저(1000)가 예약할 권한이 존재하면서, 예약이 가능한 장소를 검색하고, 검색된 장소에 대한 추천 정보를 생성할 수 있음은 물론이다.
예를 들어, 타겟 유저(1000)는 “회의실 예약해줘”와 같은 음성을, 전자기기(10)에 입력할 수 있으며, 제어부(130)는 사용자의 음성에 근거하여, 위에서 살펴본 다양한 방식 중 적어도 하나에 근거하여, 타겟 유자(1000)가 예약 가능한 장소를 추천 장소 정보로서 생성할 수 있다.
한편, 본 발명에서, 사용자의 편의성을 높이는 어시스턴트 서비스를 제공하기 위하여, 특정 장소에 대한 예약이 수행된 경우, 타겟 유저(1000)의 사용자 정보에 근거하여, 특정 장소에 대한 예약 정보를 상기 타겟 유저의 일정 정보에 추가하는 기능을 제공할 수 있다.
도 7에 도시된 것과 같이, 제어부(130)는 특정 기능의 수행 결과, 타겟 유저(1000)의 일정과 관련된 일정 이벤트가 발생하는 경우, 해당 일정 이벤트를 사용자의 일정 정보에 추가할 수 있다,
제어부(130)는 사용자 정보로부터, 사용자의 일정 정보가 저장되는 계정 정보를 추출하고, 해당 계정 정보에 일정 이벤트에 해당하는 일정을 추가 저장할 수 있다.
이와 같이, 일정 추가와 관련된 어시스턴트 서비스가 제공되는 경우, 제어부(130)는 청각적 및 시각적인 방식 중 적어도 하나의 방식으로, 일정 추가와 관련된 어시스턴트 서비스가 제공되고 있음을 알리는 안내 정보(710)를 출력할 수 있다.
제어부(130)는 타겟 유저(1000)가 일정 추가와 관련된 어시스턴트 서비스를 승인하거나 거절하도록 하는 GUI(Graphic User Interface, 720)를 디스플레이부(12) 상에 제공할 수 있다.
나아가, 제어부(130)는, 특정 장소에 대한 예약이 수행되고, 특정 장소와 관련된 참석자에 대한 정보가 확정된 경우, 사용자 DB로부터 참석자의 사용자 정보를 추출할 수 있다. 그리고 제어부(130)는, 상기 참석자의 사용자 정보를 이용하여, 상기 참석자에게 상기 특정 장소에 대한 예약 정보를 공유하는 어시스턴트 서비스를 제공할 수 있다. 제어부(130)는 참석자의 사용자 정보에 포함된 메일 계정, 전화번호 등과 같은 연락처 정보를 이용하여, 참석자에게 예약 정보를 전송할 수 있다. 이러한 예약 정보는 전자 메일, 메시지 등의 형식으로 전송될 수 있다.
나아가, 제어부(130)는 참석자의 사용자 정보로부터, 참석자의 일정 정보가 저장되는 계정 정보를 추출하고, 해당 계정 정보에 일정 이벤트에 해당하는 일정을 추가 저장할 수 있다.
이와 같이, 일정 추가와 관련된 어시스턴트 서비스가 제공되는 경우, 제어부(130)는 청각적 및 시각적인 방식 중 적어도 하나의 방식으로, 일정 추가와 관련된 어시스턴트 서비스가 제공되고 있음을 알리는 안내 정보를 출력할 수 있다.
나아가, 제어부(130)는 타겟 유저(1000)가 참석자와 관련된 어시스턴트 서비스(예를 들어, 예약 정보 전송 또는 일정 추가 등)를 승인하거나 거절하도록 하는 GUI(Graphic User Interface, 720)를 디스플레이부(12) 상에 제공할 수 있다.
한편, 위에서 살펴본 서비스 제공 방법 및 시스템을 적용하는 전자기기(10)는 다양한 장소에 설치될 수 있다. 앞서 도 3에 도시된 것과 같이, 전자기기(10)는 회의실 주변에 배치되거나, 도 8의 (a)에 도시된 것과 같이 공동 생활 공간(예를 들어, 엘리베이터 주변), 사용자들의 근무 장소 등에 배치될 수 있다.
그리고, 제어부(130)는 전자기기(10) 주변에서 사용자(예를 들어, 타겟 유저(1000))가 인식되는 되는 경우, 인식된 타겟 유저(1000)를 위한 어시스턴트 서비스를 제공할 수 있다,
예를 들어, 도 8의 (b)에 도시된 것과 같이, 제어부(130)는 타겟 유저(1000)에게 전자기기(10)를 통하여, 특정 기능(예를 들어, 회의실 예약 기능)을 제공하기 위한 가이드 정보(810)를 출력할 수 있다.
다른 예로서, 제어부(130)는 도 8의 (c)에 도시된 것과 같이, 타겟 유저(1000)가 특정된 경우, 타겟 유저(1000)의 사용자 정보에 포함된 일정 정보를 참조하여, 타겟 기능을 제공할 수 있다. 여기에서 타겟 기능은, 전자기기(10)가 위치한 장소적인 특성을 고려된 기능일 수 있다, 예를 들어, 전자기기(10)가 배치된 장소가 엘리베이터 주변인 경우, 제어부(130)는 타겟 유저(1000)의 일정 정보를 추출할 수 있다, 그리고, 추출된 일정 정보에 대응되는 장소(예를 들어, 4번 회의실)로 타겟 유저(1000)가 이동할 수 있도록 가이드 정보(예를 들어, 4번 회의실이 위치한 장소(3층)로의 이동)를 전자기기(10)를 통해 출력할 수 있다.
나아가, 제어부(130)는 도 8의 (d)에 도시된 것과 같이, 타겟 유저(1000)의 사용자 정보에 포함된 일정 정보를 참고하여, 타겟 유저(1000)에게 일정 정보를 상기(리마인더)시키기 위한 정보(830)를 전자기기(10)를 통해 출력할 수 있다.
한편, 본 발명에 따른 어시스턴트 서비스 제공 방법 및 시스템은, 위에서 살펴본 장소 예약을 위한 기능 외에도 다양한 기능을 제공할 수 있다.
일 예로서, 전자기기(10)가 회의실, 사무실, 집 등의 공간(900)에 배치되는 경우, 제어부(130)는 도 9에 전자기기(10)를 통해 입력되는 사용자 입력에 근거하여, 공간(900)에 배치된 전자기기(901, 902, 903)를 제어할 수 있다. 이때에도, 제어부(130)는 타겟 유저(1000)가 전자기기(901, 902, 903)를 제어할 수 있는 권한이 존재하는지 판단하기 위하여, 타겟 유저(1000)의 얼굴을 인식하고, 인식된 얼굴 이미지에 대응되는 사용자 정보를 사용자 DB로부터 추출할 수 있다. 그리고, 제어부(130)는 추출된 사용자 정보로부터, 전자기기(901, 902, 903)에 대한 제어권한 정보를 확인하고, 확인 결과에 근거하여, 전자기기(901, 902, 903)의 제어를 수행할 수 있다.
한편, 전자기기(901, 902, 903, 904)의 제어는, 전자기기(901, 902, 903)의 전원을 온(on) 또는 오프(off)시키거나, 음량을 조절하는 것과 같은, 전자기기(901, 902, 903)와 관련된 다양한 제어를 포함할 수 있다.
다른 예로서, 전자기기(10)는 도 10에 도시된 것과 같이, 주차장(1010)에 배치될 수 있다. 이 경우, 제어부(130)는 전자기기(10)를 통해 타겟 유저(1000)가 인식되는 경우, 타겟 유저(1000)의 권한 내에 있는 차량(1020)과 관련된 제어를 수행할 수 있다.
제어부(130)는 타겟 유저(1000)의 권한 내에 있는 차량(1020)의 정보를 추출하기 위하여, 전자기기(10)를 통해 타겟 유저(1000)의 얼굴을 인식하고, 인식된 얼굴 이미지에 대응되는 사용자 정보를 사용자 DB로부터 추출할 수 있다. 그리고, 제어부(130)는 추출된 사용자 정보로부터, 타겟 유저(1000)의 권한 내에 있는 차량(1020, 예를 들어 타겟 유저(1000)의 소유 차량, 사용 등록 차량 등)의 정보를 확인할 수 있다. 그리고, 제어부(130)는 확인된 차량(1020)과 관련된 제어(예를 들어, 차량(1020)의 주차위치 정보 제공, 차량(1020)의 주차비 결제 등)를 수행할 수 있다.
한편, 차량(1020)의 번호, 주차 위치, 주차 시간 등에 대한 정보는, 차량(1020)이 주차장(1010)에 진입하는 과정에서, 주차장(1010)에 구비되는 센서에 기반하여, 센싱될 수 있다. 그리고, 제어부(130)는 센싱된 차량(1020)의 정보 중 차량 번호 정보와 대응되는 사용자 정보를 갖는 사용자가 존재하는 경우, 해당 사용자의 정보에 차량의 주차와 관련된 정보(주차 위치, 주차 시간 등)를 매칭하여 등록할 수 있다. 따라서, 전자기기(10)를 통하여, 타겟 유저(1000)가 차량(1020)과 관련된 기능(예를 들어, 주차위치 정보 제공, 주차비 결제 등)을 요청하는 경우, 사용자 정보와 매칭되어 등록된 정보를 참조하여, 적절한 정보를 제공할 수 있다.
또 다른 예로서, 도 11에 도시된 것과 같이, 전자기기(10)가 카페(1100), 음식점 등에 배치된 경우, 제어부(130)는 전자기기(10)를 통해, 타겟 유저(1000)로부터 주문 정보를 수신하고, 전자 결제를 수행할 수 있다.
이 경우, 제어부(130)는 타겟 유저(1000)를 인식하고, 사용자 DB로부터 타겟 유저(1000)의 사용자 정보 추출할 수 있다. 그리고, 추출된 사용자 정보(예를 들어, 결제 수단 정보(신용 카드 정보, 계좌 정보 등)를 이용하여, 타겟 유저(1000)의 주문에 대한 전자 결제를 수행할 수 있다.
한편, 타겟 유저(1000)의 사용자 정보에는, 타겟 유저(1000)의 히스토리 정보가 포함되어 있으며, 히스토리 정보는, 타겟 유저(1000)의 과거 주문 정보가 포함될 수 있다.
제어부(130)는 이러한 히스토리 정보에 기반하여, 타겟 유저(1000)가 인식된 경우, 전자기기(10)를 통해, 과거 주문 정보에 기반하여, 특정 메뉴(예를 들어, “카페라떼”)에 대한 주문을 권유하는 주문 추천 정보(1110)를 도 11에 도시된 것과 같이 출력시킬 수 있다.
한편, 카페(1100)와 같은 공간이 로봇(예를 들어, 서빙 로봇 등)이 운용되는 공간인 경우, 제어부(130)는 로봇을 이용하여, 타겟 유저(1000)가 주문한 메뉴(예를 들어, 음료, 음식 등)가 타겟 유저(1000)에게 서빙되도록 로봇을 제어할 수 있다. 이 경우, 제어부(130)는 타겟 유저(1000)가 공간 내에서 어디에 위치하고 있는지 센싱하고, 센싱된 위치로 로봇이 이동하도록 로봇을 제어할 수 있다.
이상에서 살펴본 것과 같이, 본 발명에 따른 어시스턴트 서비스 제공 방법 및 시스템은, 어시스턴트 서비스 제공 방법 및 시스템이 적용된 전자기기가 배치된 위치에 따라 사용자를 어시스턴트할 수 있는 다양한 기능을 제공할 수 있다.
위에서 살펴본 것과 같이, 본 발명에 따른 어시스턴트 서비스 제공 방법 및 시스템은, 얼굴 인식을 활용하여, 인식된 사용자에게 제공 가능한 맞춤형 기능을 제공할 수 있다. 더 나아가 본 발명은 얼굴 인식 뿐만 아니라, 얼굴 인식과 함께 음성 인식 수행함으로써, 인식된 사용자가 발화한 음성에 따른 기능을 제공할 수 있다. 따라서, 사용자는 어시스턴트 서비스를 제공하는 전자기기 주변에서 발화를 하는 것 만으로도, 목적하고자 하는 기능의 수행을 제공받을 수 있다.
나아가, 본 발명에 따른 어시스턴트 서비스 제공 방법 및 시스템은, 카메라를 이용하여 인증의 대상이 되는 사용자를 센싱하고, 센싱된 사용자의 권한을 확인함으로써, 사용자가 갖는 권한 내에 존재하는 기능의 제공을 보조할 수 있다. 이 경우, 본 발명에서는, 사용자가 요청한 기능이 사용자의 권한 내에 존재하지 않는 경우, 사용자의 권한 내에 존재하는 유사한 기능의 제공을 추천함으로써, 사용자의 편의성을 높일 수 있다.
한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.
나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.
한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (13)

  1. 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계;
    마이크를 이용하여, 상기 타겟 유저의 음성을 센싱하는 단계;
    사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하는 단계;
    상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 단계; 및
    확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행하는 단계를 포함하고,
    상기 음성을 분석하고, 분석결과에 근거하여 상기 타겟 기능을 결정하는 단계를 더 포함하며,
    분석 결과, 상기 타겟 기능이 특정 장소에 대한 예약 기능인 경우, 상기 권한을 확인하는 단계에서는,
    상기 사용자 정보에 근거하여, 상기 타겟 유저가 상기 특정 장소에 대한 예약 권한이 존재하는지를 판단하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    디스플레이부 상에, 상기 음성에 대응되는 기능으로서 상기 타겟 기능이 결정되었음을 알리는 안내정보 및 상기 타겟 유저의 사용자 정보 중 적어도 일부를 제공하는 단계를 더 포함하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 특정 장소는,
    상기 카메라 및 상기 마이크를 구비하는 전자기기가 배치된 위치에 근거하여, 결정되는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 타겟 기능과 관련된 제어를 수행하는 단계에서는,
    상기 타겟 유저가 상기 특정 장소에 대한 예약 권한이 존재하는지 여부에 근거하여, 상기 특정 장소에 대한 예약과 관련된 서로 다른 제어를 수행하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  7. 제6항에 있어서,
    상기 타겟 기능과 관련된 제어를 수행하는 단계에서는,
    상기 특정 장소에 대한 예약 권한이 상기 타겟 유저에게 존재하는 경우, 상기 특정 장소에 대한 예약을 수행하고,
    상기 특정 장소에 대한 예약 권한이 상기 타겟 유저에게 존재하지 않는 경우, 상기 특정 장소와 다른 장소에 대한 예약을 가이드 하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  8. 제7항에 있어서,
    상기 특정 장소와 다른 장소는,
    상기 특정 장소와 가장 가까운 장소이면서, 상기 타겟 유저가 예약 권한을 갖는 장소인 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  9. 제7항에 있어서,
    상기 특정 장소에 대한 예약이 수행된 경우, 상기 타겟 유저의 사용자 정보에 근거하여, 상기 특정 장소에 대한 예약 정보를 상기 타겟 유저의 일정 정보에 추가하는 단계를 더 포함하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  10. 제7항에 있어서,
    상기 특정 장소에 대한 예약이 수행되고, 상기 특정 장소와 관련된 참석자에 대한 정보가 수신된 경우,
    상기 사용자 DB로부터 상기 참석자의 사용자 정보를 추출하고, 상기 참석자의 사용자 정보를 이용하여, 상기 참석자에게 상기 특정 장소에 대한 예약 정보를 공유하는 단계를 포함하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  11. 제1항에 있어서,
    분석 결과, 상기 타겟 기능이 장소에 대한 예약 기능이고, 상기 타겟 유저에 의한 사용자 입력에 근거하여 참석자에 대한 정보가 수신된 경우,
    상기 참석자 및 상기 타겟 유저와 각각 관련된 위치를 근거로, 상기 타겟 유저의 예약권한 내에 존재하는 특정 장소를 추천 장소로서 검색하는 단계를 더 포함하는 것을 특징으로 하는 어시스턴트 서비스 제공 방법.
  12. 타겟 유저의 얼굴 이미지를 센싱하는 카메라;
    상기 타겟 유저의 음성을 센싱하는 마이크;
    사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하고, 상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 제어부를 포함하고,
    상기 제어부는,
    확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행하고, 상기 음성을 분석하고, 분석결과에 근거하여 상기 타겟 기능을 결정하며, 분석 결과, 상기 타겟 기능이 특정 장소에 대한 예약 기능인 경우,
    상기 권한을 확인하는 것은,
    상기 사용자 정보에 근거하여, 상기 타겟 유저가 상기 특정 장소에 대한 예약 권한이 존재하는지를 판단하는 것을 특징으로 하는 어시스턴트 서비스 시스템.
  13. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서,
    상기 프로그램은,
    카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계;
    마이크를 이용하여, 상기 타겟 유저의 음성을 센싱하는 단계;
    사용자 DB로부터 상기 얼굴 이미지에 대응되는 상기 타겟 유저의 사용자 정보를 추출하는 단계;
    상기 사용자 정보에 근거하여, 상기 음성에 대응되는 타겟 기능에 대한 상기 타겟 유저의 권한을 확인하는 단계; 및
    확인 결과에 근거하여, 상기 타겟 기능과 관련된 제어를 수행하는 단계를 수행하도록 하는 명령어들을 포함하고,
    상기 음성을 분석하고, 분석결과에 근거하여 상기 타겟 기능을 결정하는 단계를 수행하도록 하는 명령어들을 더 포함하며,
    분석 결과, 상기 타겟 기능이 특정 장소에 대한 예약 기능인 경우, 상기 권한을 확인하는 단계에서는,
    상기 사용자 정보에 근거하여, 상기 타겟 유저가 상기 특정 장소에 대한 예약 권한이 존재하는지를 판단하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램.
KR1020210013170A 2021-01-29 2021-01-29 어시스턴트 서비스 제공 방법 및 시스템 KR102581000B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210013170A KR102581000B1 (ko) 2021-01-29 2021-01-29 어시스턴트 서비스 제공 방법 및 시스템
JP2022010171A JP7379550B2 (ja) 2021-01-29 2022-01-26 アシスタントサービス提供方法及びシステム
TW111103551A TWI843984B (zh) 2021-01-29 2022-01-27 助手服務提供方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013170A KR102581000B1 (ko) 2021-01-29 2021-01-29 어시스턴트 서비스 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220109764A KR20220109764A (ko) 2022-08-05
KR102581000B1 true KR102581000B1 (ko) 2023-09-21

Family

ID=82749814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013170A KR102581000B1 (ko) 2021-01-29 2021-01-29 어시스턴트 서비스 제공 방법 및 시스템

Country Status (2)

Country Link
JP (1) JP7379550B2 (ko)
KR (1) KR102581000B1 (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102081A (ja) 2003-09-26 2005-04-14 Minolta Co Ltd 監視カメラシステム
JP2011227847A (ja) 2010-04-23 2011-11-10 Chugoku Electric Power Co Inc:The 会議室予約支援システム
KR101648962B1 (ko) * 2014-06-18 2016-08-18 네이버 주식회사 복수 이용자의 위치와 취향을 반영하여 모임 장소를 추천하는 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10043516B2 (en) * 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP2019049871A (ja) 2017-09-11 2019-03-28 富士ゼロックス株式会社 会議室予約システム、情報処理装置及びプログラム
JP6950397B2 (ja) 2017-09-21 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP7123540B2 (ja) * 2017-09-25 2022-08-23 キヤノン株式会社 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
JPWO2019082630A1 (ja) 2017-10-23 2020-12-03 ソニー株式会社 情報処理装置、及び情報処理方法
KR20170140122A (ko) * 2017-11-07 2017-12-20 주식회사 라온영 장소 예약 서비스 제공 방법 및 이를 실행하는 서버
KR20170135797A (ko) * 2017-11-28 2017-12-08 최재원 지능형 예약 시스템
EP3893087A4 (en) 2018-12-07 2022-01-26 Sony Group Corporation RESPONSE PROCESSING DEVICE, RESPONSE PROCESSING METHOD AND RESPONSE PROCESSING PROGRAM
KR102551773B1 (ko) * 2020-12-14 2023-07-06 네이버 주식회사 장소 추천 방법 및 시스템

Also Published As

Publication number Publication date
JP7379550B2 (ja) 2023-11-14
JP2022117472A (ja) 2022-08-10
KR20220109764A (ko) 2022-08-05
TW202230268A (zh) 2022-08-01

Similar Documents

Publication Publication Date Title
US20220094765A1 (en) Multiple User Recognition with Voiceprints on Online Social Networks
CN110741433B (zh) 使用多个计算设备的对讲式通信
US11640548B2 (en) User identification with voiceprints on online social networks
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR102623727B1 (ko) 전자 장치 및 이의 제어 방법
US20190182176A1 (en) User Authentication with Voiceprints on Online Social Networks
US20160262017A1 (en) Personal assistant authentication
US11238294B2 (en) Enrollment with an automated assistant
US20100107219A1 (en) Authentication - circles of trust
US20180068177A1 (en) Method, device, and non-transitory computer-readable recording medium
US20160065539A1 (en) Method of sending information about a user
CN111792464A (zh) 电梯的控制方法、电梯及存储介质
KR20190127372A (ko) 전자 장치 및 전자 장치의 기능 실행 방법
CN114127801A (zh) 跨设备网络使用人物可识别性的***和方法
US20180068321A1 (en) Reception supporting method and device
JP2020115384A (ja) 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR102581000B1 (ko) 어시스턴트 서비스 제공 방법 및 시스템
JP7402940B2 (ja) ユーザ認証方法、システム及びプログラム
TWI843984B (zh) 助手服務提供方法及系統
JP7352670B2 (ja) 電子決済方法及びシステム
KR102565197B1 (ko) 사용자 공간 방문 목적에 근거한 디지털 휴먼 제공 방법 및 시스템
US9122312B2 (en) System and method for interacting with a computing device
US11972003B2 (en) Systems and methods for processing requests for access
US20230012098A1 (en) Building system for private user communication

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant