KR20210061638A

KR20210061638A - 전자 장치 및 그 제어 방법

Info

Publication number: KR20210061638A
Application number: KR1020190149440A
Authority: KR
Inventors: 박준아; 주재용; 김태형; 이재하
Original assignee: 삼성전자주식회사
Priority date: 2019-11-20
Filing date: 2019-11-20
Publication date: 2021-05-28
Also published as: US11635821B2; US20210149498A1

Abstract

전자 장치가 개시된다. 본 개시에 따른 전자 장치는 카메라; 메모리; 및 프로세서;를 포함하고, 카메라가 촬상한 이미지에 포함된 적어도 하나의 오브젝트를 검출하고, 적어도 하나의 오브젝트의 전자 장치에 대한 몰입도에 대한 정보를 식별하고, 적어도 하나의 오브젝트의 제스처 정보를 획득하고, 전자 장치의 동작 상태, 몰입도에 대한 정보 및 획득된 제스처 정보를 바탕으로 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별하며, 식별된 기능을 실행한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}

본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 전자 장치의 동작 상태, 전자 장치에 대한 사용자의 몰입도 및 사용자 제스처 정보를 바탕으로 사용자 제스처에 대응되는 기능을 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 제스처 인식 기술이 다양한 산업에 적용되고 있다. 근래에는, 사용자가 제스처를 통해 스마트 폰이나 태블릿 PC를 조작하는 등 제스처 인식 기술은 다양한 전자 기기 및 어플리케이션에 적용되고 있다.

한편, 종래의 제스처 인식 기술이 적용된 전자 기기는, 제1사용자의 제스처를 인식하여 제1 사용자의 의도에 부합하는 기능을 실행하는 등 제1 사용자와 인터랙션(interaction)이 유지되는 중 제 2 사용자의 제스처가 인식되면, 제1 사용자와의 인터랙션이 완료되지 않은 상태에서 상기 제1 사용자와의 인터랙션을 중단하고 제2 사용자의 제스처에 해당하는 기능을 실행할 수 있다. 이때, 제2 사용자가 상기 전자기기의 기능을 실행하려는 의도가 아니었으나, 상기 전자기기는 제2 사용자의 제스처를 특정 기능 실행을 위한 명령 제스처로 인식하여 사용자가 의도하지 않은 기능이 실행되는 경우가 발생될 수 있다.

복수 사용자가 존재하는 환경에서 제스처를 인식하여 기능을 실행함에 있어, 사용자의 의도와 상관없이 기능이 실행되거나 사용자의 제스처를 오인식하여 다른 기능을 실행하는 등의 문제점으로 인해 제스처를 활용하여 전자기기를 조작하는 사용자의 편의성 및 만족감이 떨어지는 문제가 있을 수 있다.

이에 따라, 전자기기에 조작에 대한 사용자의 의도를 정확하게 판단하여 오인식을 감소하고 사용자 의도에 부합되는 기능을 실행할 수 있는 자연스러운 인터랙션 기술의 필요성이 대두된다.

본 발명이 해결하고자 하는 일 기술적 과제는, 사용자 의도에 부합되는 기능을 실행하여 사용자와 자연스러운 인터랙션을 수행할 수 있는 전자 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치에 있어서, 카메라; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라가 촬상한 이미지에 포함된 적어도 하나의 오브젝트를 검출하고, 상기 적어도 하나의 오브젝트의 상기 전자 장치에 대한 몰입도에 대한 정보를 식별하고, 상기 적어도 하나의 오브젝트의 제스처 정보를 획득하고, 상기 전자 장치의 동작 상태, 상기 몰입도에 대한 정보 및 상기 획득된 제스처 정보를 바탕으로 상기 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별하며, 상기 식별된 기능을 실행하는 전자 장치가 제공될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 이미지를 획득하는 단계; 상기 획득된 이미지에 포함된 적어도 하나의 오브젝트를 검출하는 단계; 상기 적어도 하나의 오브젝트의 상기 전자 장치에 대한 몰입도에 대한 정보를 식별하는 단계; 상기 적어도 하나의 오브젝트의 제스처 정보를 획득하는 단계; 상기 전자 장치의 동작 상태, 상기 몰입도에 대한 정보 및 상기 획득된 제스처 정보를 바탕으로 상기 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별하는 단계; 및 상기 식별된 기능을 실행하는 단계;를 포함하는 제어 방법이 제공될 수 있다.

본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 사용자 의도에 부합되는 기능을 실행하여 사용자와 자연스러운 인터랙션을 수행할 수 있다. 이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.

그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 몰입도 정보 획득 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 타겟 오브젝트 획득 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 기능 실행 여부가 도시된 표이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 시점에서 사용자를 바라본 모습을 도시한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 동작 상태를 판단하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다. 구체적으로, 도 1은 전자 장치(100)의 FOV(Field Of View, 시야각)내에 복수의 오브젝트가 존재하는 상황을 도시한 도면이다.

도 1의 상황에서, 종래의 제스처 인식 장치는 사용자인 제1 오브젝트(1)와 인터랙션(interaction)을 수행하는 중 비-사용자인 제2 오브젝트(2)의 제스처를 인식하면, 제1 오브젝트(1)와의 인터랙션을 중단하고 제2 오브젝트(2)의 제스처에 대응되는 기능을 실행하였다. 이에 따라, 사용자의 편의성 및 만족감이 떨어지는 문제가 존재하였다.

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 제1 오브젝트(1) 및 제2 오브젝트(2)를 검출하고, 제1 오브젝트(1) 및 제2 오브젝트(2) 각각에 대한 제스처 정보 및 몰입도를 획득할 수 있다. 여기서 몰입도(engagement)란, 오브젝트가 전자 장치에 대해 몰입하는 정도를 나타내는 값을 의미할 수 있다. 일 예로, 몰입도는 오브젝트가 전자 장치를 응시하는지 여부를 바탕으로 획득될 수 있다.

그리고, 전자 장치(100)는 획득된 제스처 정보, 몰입도 및 전자 장치(100)의 동작 상태 중 적어도 하나를 바탕으로 타겟 오브젝트를 획득하고, 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별할 수 있다. 일 실시 예로, 전자 장치(100)는 획득된 몰입도를 바탕으로 제1 오브젝트(1)를 타겟 오브젝트로 획득할 수 있다. 구체적으로, 전자 장치(100)는 제1 오브젝트(1)의 몰입도가 기설정된 몰입도보다 큰 경우, 제1 오브젝트(1)를 타겟 오브젝트로 획득할 수 있다. 이 때, 전자 장치(100)는 제1 오브젝트(1)의 제스처 정보를 획득하고, 획득된 제스처 정보를 바탕으로 제1 오브젝트(1)와 인터랙션을 수행할 수 있다. 예를 들어, 전자 장치(100)는 제1 오브젝트(1)의 제스처 정보에 대응되는 기능을 실행할 수 있다. 또한, 전자 장치(100)는 제1 오브젝트(1)와 인터랙션을 수행하는 중 제2 오브젝트(2)에 대한 제스처 정보를 획득하더라도, 제2 오브젝트(2)에 대한 제스처 정보에 대응되는 기능을 실행하지 않을 수 있다. 또는, 전자 장치(100)는 제1 오브젝트(1)가 타겟 오브젝트로 획득되면, 제2 오브젝트(2)에 대한 제스처 정보를 획득하지 않을 수 있다. 즉, 전자 장치(100)는 제1 오브젝트(1)와 인터랙션을 계속적으로 수행할 수 있다. 이에 따라, 사용자 편의성 및 만족감이 향상될 수 있다.

다른 일 실시 에로, 전자 장치(100)는 획득된 제스처 정보 및 몰입도를 바탕으로 타겟 오브젝트를 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 오브젝트(1)가 웨이크-업 제스처를 취하고, 기설정된 몰입도보다 큰 몰입도를 갖는 경우 제1 오브젝트(1)를 타겟 오브젝로 획득할 수 있다.

또 다른 일 실시 예로, 전자 장치(100)는 전자 장치(100)의 동작 상태를 바탕으로 타겟 오브젝트를 획득할 수 있다. 예를 들어, 제1 오브젝트(1)와 인터랙션을 수행하는 중인 상태에서 전자 장치(100)는 제1 오브젝트(1)를 타겟 오브젝트로 획득할 수 있다. 이 때, 전자 장치(100)는 제2 오브젝트(2)가 기설정된 몰입도보다 큰 몰입도를 갖고 웨이크-업 제스처를 취하더라도 제2 오브젝트(2)를 타겟 오브젝트로 획득하지 않을 수 있다.

한편, 전자 장치(100)는 전자 장치(100)의 동작 상태 및 오브젝트의 제스처 유형을 바탕으로 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다. 예를 들어, 전자 장치(100)가 사용자의 웨이크-업 제스처(wake-up gesture)를 기다리는 스탠바이 상태(standby status)일 때 제1 오브젝트(1)가 웨이크-업 제스처에 해당하지 않는 포인팅 제스처(pointing gesture)를 취하는 경우, 전자 장치(100)는 제1 오브젝트(1)의 몰입도가 기설정된 몰입도보다 높더라도, 포인팅 제스처에 대응되는 기능을 실행하지 않을 수 있다. 이는, 전자 장치(100)가 스탠바이 상태(standby status)일 때 웨이크-업 제스처가 아닌 다른 제스처에 반응하여 제스처에 대응되는 기능을 실행하면, 사용자가 의도하지 않은 기능이 실행됨에 따라 사용자가 불편을 느낄 수 있기 때문이다.

이처럼, 전자 장치(100)는 오브젝트의 몰입도뿐만 아니라 전자 장치(100)의 동작 상태 및 제스처 유형을 바탕으로 오브젝트의 제스처에 대응되는 기능을 실행할 수 있다. 이에 따라, 사용자 편의성 및 만족감이 향상될 수 있다.

이상에서는 본 개시의 일 실시 예에 따른 전자 장치의 동작에 대해 설명하였다. 다만 이는 일 실시 예에 불과하며, 전자 장치의 다른 실시 예에 대해서는 후술하도록 한다.

그에 앞서, 이하에서는 전자 장치의 각 구성에 대하여 상세히 설명하도록 한다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 특히, 본 개시의 일 실시 예에 따른 전자 장치(100)는 이동 가능한 로봇으로 구현될 수 있으며, 도 2에 도시된 바와 같이, 카메라(110), 디스플레이(120), 통신 인터페이스(130), 메모리(140), 프로세서(150), 센서(160) 및 주행부(170)를 포함할 수 있다. 한편, 전자 장치(100)가 반드시 상기 구성들을 모두 포함하여 구현되어야 하는 것은 아니며, 일부 구성들이 생략되어 구현될 수 있다.

카메라(110)는 전자 장치(100) 주변을 촬상하여 이미지를 획득할 수 있다. 또한, 카메라(110)는 다양한 종류의 카메라로 구현될 수 있다. 예를 들어, 카메라(110)는 2D기반의 RGB 카메라 및 IR 카메라 중 어느 하나일 수 있다. 또는, 카메라(110)는 3D기반의 ToF(Time of Flight) 카메라 및 스테레오 카메라 중 어느 하나일 수 있다.

디스플레이(120)는 다양한 화면을 표시할 수 있다. 예를 들어, 전자 장치(100)가 리테일 로봇(retail robot)인 경우, 디스플레이(120)는 전자 장치(100)가 존재하는 공간에 구비된 상품에 대한 정보를 표시할 수 있다. 다만 이는 일 실시 예에 불과하며, 디스플레이(120)는 사용자의 입력을 요청하는 화면, 사용자 입력에 대한 피드백(feed-back) 등 다양한 화면을 표시할 수 있다. 한편, 디스플레이(120)는 터치 스크린(touch screen)으로 구현될 수 있다. 이 때, 프로세서(150)는 디스플레이(120)를 통해 사용자의 터치 입력을 획득할 수 있다.

통신 인터페이스(130)는 적어도 하나의 회로를 포함하며 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(130)는 외부 서버 또는 사용자 단말과 통신을 수행할 수 있다. 또한, 통신 인터페이스(130)는 통신 인터페이스(130)는 다양한 유형의 통신 방식에 따라 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(130)는 무선 혹은 유선으로 데이터 통신을 수행할 수 있다. 무선 통신 방식으로 외부 기기와 통신을 수행할 경우, 통신 인터페이스(130)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 한편, 본 개시의 일 실시예에 따른, 통신 인터페이스(130)는 무선 통신 모듈로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 유선 통신 모듈(예를 들어, LAN 등)로 구현될 수 있다.

메모리(140)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.

예를 들어, 메모리(140)에는, 실행될 때 프로세서(150)로 하여금, 카메라(110)로부터 이미지가 획득되면, 이미지에 포함된 오브젝트에 대한 제스처 정보를 획득하도록 하는 인스터럭션을 저장할 수 있다. 또한, 메모리(140)는 오브젝트의 제스처를 인식하기 위한 신경망 모델을 저장할 수 있다. 특히, 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU, NPU 등)에 의해 실행될 수 있다.

프로세서(150)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(150)는 카메라(110)가 촬상한 이미지에 포함된 적어도 하나의 오브젝트를 검출할 수 있다. 또한, 프로세서(150)는 적어도 하나의 오브젝트의 전자 장치(100)에 대한 몰입도에 대한 정보를 획득 및 식별할 수 있다.

이 때, 프로세서(150)는 전자 장치(100)로부터 오브젝트까지의 거리, 오브젝트가 전자 장치(100)를 응시하는 각도, 시간 및 오브젝트의 몸체와 헤드의 방향 정보 중 적어도 하나를 바탕으로 몰입도에 대한 정보를 획득할 수 있다.

또한, 프로세서(150)는 카메라(110)가 복수의 프레임 동안 획득한 이미지를 바탕으로 오브젝트의 제스처 정보를 획득할 수 있다. 이 때, 프로세서(150)는 복수의 프레임 동안 획득된 오브젝트가 전자 장치(100)를 응시하는 각도의 평균값 및 분산값을 획득할 수 있다. 또한, 프로세서(150)는 획득된 평균값 및 분산값을 바탕으로 오브젝트의 몰입도를 획득할 수 있다. 예를 들어, 프로세서(150)는 획득된 평균값이 기설정된 평균값보다 작고 획득된 분산값이 기설정된 분산값보다 작으면, 오브젝트가 전자 장치(100)에 대해 몰입한 것으로 식별할 수 있다.

한편, 프로세서(150)는 전자 장치(100)의 동작 상태, 오브젝트의 몰입도에 대한 정보 및 획득된 제스처 정보를 바탕으로 적어도 하나의 오브젝트 중 하나의 오브젝트를 타겟 오브젝트로 획득할 수 있다.

이 때, 프로세서(150)는 적어도 하나의 오브젝트 중 전자 장치(100)에 대해 몰입한 것으로 식별되는 후보 오브젝트를 획득하고, 후보 오브젝트 중 기 설정된 제스처에 대응되는 제스처를 취하는 후보 오브젝트를 타겟 오브젝트로 획득할 수 있다.

또한, 프로세서(150)는 적어도 하나의 오브젝트 중 전자 장치(100)에 대해 몰입한 것으로 식별되는 후보 오브젝트를 중 전자 장치(100)로부터 가장 가까운 거리에 위치한 후보 오브젝트를 타겟 오브젝트로 획득할 수 있다.

한편, 프로세서(150)는 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별할 수 있다. 이 때, 프로세서(150)는 전자 장치(100)의 동작 상태, 오브젝트의 몰입도에 대한 정보 및 획득된 제스처 정보를 바탕으로 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별할 수 있다. 그리고, 프로세서(150)는 식별된 기능을 실행할 수 있다.

한편, 메모리(140)는 전자 장치(100)의 동작 상태, 제스처 유형에 대한 정보 및 제스처 유형에 대응되는 기능의 실행 여부를 매칭하여 저장할 수 있다. 이 때, 프로세서(150)는 전자 장치(100)의 동작 상태 및 동작 상태 동안 타겟 오브젝트의 제스처 유형에 대응되는 기능의 실행 여부를 식별할 수 있다.

한편, 전자 장치(100)의 동작 상태는 전자 장치(100)가 웨이크-업 제스처의 입력을 대기하는 제1 동작 상태를 포함할 수 있다. 즉, 제1 동작 상태는 스탠바이 상태(standby status)일 수 있다.

또한, 전자 장치(100)의 동작 상태는 전자 장치(100)가 오브젝트와 인터랙션을 수행 중인 제2 동작 상태를 포함할 수 있다. 이 때, 제2 동작 상태는 오브젝트(또는 사용자)의 명령에 응답하여 전자 장치(100)가 오브젝트와 인터랙션을 수행 중인 사용자 명령 상태(user command status)를 포함할 수 있다. 일 예로, 사용자 명령 상태는 전자 장치(100)가 사용자의 상품 안내 명령에 응답하여 상품에 대한 정보를 디스플레이(120)를 통해 사용자에게 제공하는 상태를 포함할 수 있다. 다른 일 예로, 사용자 명령 상태는 전자 장치(100)가 사용자의 호출 명령에 응답하여 사용자를 향해 이동하는 상태를 포함할 수 있다. 또 다른 일 예로, 사용자 명령 상태는 전자 장치(100)가 사용자의 길 안내 명령에 응답하여 사용자에게 길을 안내하는 상태를 포함할 수 있다. 다만 상술한 여러 실시 예에 한정되는 것은 아니며, 사용자 명령 상태는 다양한 사용자의 명령에 응답하여 전자 장치(100)가 사용자와 인터랙션을 수행 중인 상태를 포함할 수 있다.

또한, 제2 동작 상태는 오브젝트의 명령과 무관하게 전자 장치(100)가 오브젝트와 인터랙션을 수행 중인 액티브 트리거 상태(active trigger status)를 포함할 수 있다. 예를 들어, 액티브 트리거 상태는 전자 장치(100)가 사용자에게 다가가 인사를 건네는 상태를 포함할 수 있다.

또한, 전자 장치(100)의 동작 상태는 오브젝트와의 인터랙션이 차단된 제3 동작 상태를 포함할 수 있다. 예를 들어, 제3 동작 상태는 전자 장치(100)가 충전을 위해 충전소로 복귀하는 상태 및 화재 발생과 같은 비상 상황에서 기설정된 장소로 이동하는 상태 등을 포함할 수 있다.

이 때, 프로세서(150)는 제1 동작 상태에서 타겟 오브젝트의 제스처 유형이 제2 동작 상태로 진입을 유도하는 제1 제스처 유형에 해당하는 경우에만 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다. 여기서, 제1 제스처 유형은 웨이크-업 제스처(wake-up gesture)를 의미할 수 있다. 따라서, 프로세서(150)가 제1 동작 상태에서 제1 제스처 유형에 해당하는 타겟 오브젝트의 제스처 정보를 획득하면, 전자 장치(100)는 제1 동작 상태로부터 제2 동작 상태로 진입할 수 있다.

또한, 프로세서(150)는 제2 동작 상태에서 타겟 오브젝트의 제스처 유형이 소정의 방향을 가리키는 제2 제스처 유형에 해당하는 경우에, 타겟 오브젝트의 몰입도가 기설정된 몰입도 보다 낮더라도 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다. 이는, 타겟 오브젝트가 소정의 방향을 가리키는 포인팅 제스처를 통해 전자 장치(100)에 명령을 하는 경우, 타겟 오브젝트는 전자 장치(100)를 응시하지 않을 수 있기 때문이다. 또한, 프로세서(150)는 제3 동작 상태에서 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하지 않을 수 있다.

센서(160)는 전자 장치(100)의 주변 상태에 대한 정보를 감지하기 위한 구성일 수 있다. 특히, 센서(160)는 사용자나 오브젝트의 근접을 감지하기 위한 근접 센서, 움직임 정보를 획득하기 위한 자이로 센서, 가속도 센서 등을 포함할 수 있으며, 사용자의 생체 정보를 획득하기 위한 센서, 전자 장치(100)가 위치하는 공간에 대한 정보(예로, 온도, 습도 등)를 획득하기 위한 센서를 포함할 수 있다.

주행부(170)는 전자 장치(100)를 이동시키기 위한 구성일 수 있다. 특히, 주행부(170)는 전자 장치(100)의 주행을 위한 액츄에이터(actuator)를 포함할 수 있다. 또한, 주행부(170) 이외에 전자 장치(100)의 다른 물리적 구성(예로, 암(arm) 등)의 모션을 구동하기 위한 액츄에이터가 포함될 수 있다. 예로, 전자 장치(100)는 센서(160)를 통해 감지된 사용자의 방향으로 이동하거나 움직이도록 액츄에이터를 제어할 수 있다.

이상에서는 전자 장치(100)의 각 구성에 대하여 상세히 설명하였다.

이하에서는 도 3을 참조하여 전자 장치(100)의 동작에 대해 설명하도록 한다.

도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.

도 3을 참조하면, 전자 장치(100)는 이미지를 획득할 수 있다. 예를 들어, 전자 장치(100)는 카메라(110)를 통해 복수의 프레임동안 촬상된 이미지를 획득할 수 있다.

또한, 전자 장치(100)는 획득된 이미지에 포함된 적어도 하나의 오브젝트를 검출할 수 있다(S310). 이 때, 전자 장치(100)는 이미지에 포함된 오브젝트의 검출 또는 인식하도록 학습된 신경망 모델에 획득된 이미지를 입력하여 적어도 하나의 오브젝트를 검출 또는 인식할 수 있다.

또한, 전자 장치(100)는 오브젝트의 몰입도 정보를 획득할 수 있다(S320). 이 때, 전자 장치(100)는 단계 S310에서 검출된 오브젝트의 전자 장치(100)에 대한 몰입도를 획득 및 식별할 수 있다. 한편, 몰입도 정보 획득 방법에 대한 보다 상세한 설명은 도 4를 참조하여 후술하도록 한다.

그리고, 전자 장치(100)는 오브젝트의 제스처 정보를 획득할 수 있다(S330). 이 때, 전자 장치(100)는 단계 S310에서 검출된 오브젝트의 제스처 정보를 획득할 수 있다. 한편, 오브젝트의 제스처 정보는 다양한 유형의 제스처를 포함할 수 있다. 예를 들어, 제스처 정보는 웨이크-업 제스처인 제1 제스처 유형 및 소정의 방향을 가리키는 포인팅 제스처(pointing)인 제2 제스처 유형을 포함할 수 있다. 또한, 제스처 정보는 오브젝트(또는 사용자)의 상태나 감정을 나타내는 제3 제스처 유형을 포함할 수 있다. 이 때, 제3 제스처 유형은 표현적 제스처(expressive gesture)를 의미할 수 있다. 예를 들어, 표현적 제스처는 사용자가 전자 장치(100)를 향해 하이-파이브(high-five)나 악수를 요청하는 제스처를 포함할 수 있다. 또한, 제스처 정보는 상징적 제스처(symbolic gesture)인 제4 제스처 유형을 포함할 수 있다. 제4 제스처 유형에 해당하는 제스처의 예로는, 사용자가 손으로 사물의 모양이나 크기를 묘사하는 제스처, 손가락으로 숫자를 나타내는 제스처 및 수화와 같이 언어를 나타내는 제스처를 포함할 수 있다.

한편, 전자 장치(100)는 신경망 모델(Neural Network Model)을 이용하여 제스처 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 이미지에 포함된 오브젝트의 제스처 정보를 획득하도록 학습된 신경망 모델에 획득된 이미지를 입력하여 획득된 이미지에 포함된 오브젝트의 제스처 정보를 획득할 수 있다. 이 때, 전자 장치(100)는 소정의 시간 간격을 두고 연속적으로 촬상된 멀티 프레임 이미지(multi frame image)를 신경망 모델에 입력하여 오브젝트의 제스처 정보를 획득할 수 있다. 또한, 전자 장치(100)는 객체 검출 및 객체 추적 알고리즘을 이용하여 오브젝트의 제스처 정보를 획득할 수 있다.

한편, 전자 장치(100)는 전자 장치(100)의 동작 상태를 획득할 수 있다(S340). 이 때, 전자 장치(100)는 다양한 방법으로 동작 상태를 획득할 수 있다. 일 예로, 전자 장치(100)는 메모리(140)에 저장된 동작 상태를 획득할 수 있다. 또는, 전자 장치(100)는 오브젝트의 행동을 분석하여 행동 패턴을 포함하는 행동 정보를 획득할 수 있다. 이 때, 전자 장치(100)는 오브젝트의 행동 정보를 바탕으로 전자 장치(100)의 동작 상태를 식별할 수 있다. 예를 들어, 전자 장치(100)는 검출된 오브젝트가 전자 장치(100)를 향해 다가오는 제1 행동 정보를 획득하면, 전자 장치(100)의 동작 상태를 액티브 트리거 상태로 예측할 수 있다.

한편, 전자 장치(100)는 단계 S320, S330, S340에서 각각 획득된 오브젝트의 몰입도에 대한 정보, 제스처 정보, 전자 장치(100)의 동작 상태 중 적어도 하나를 바탕으로 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득할 수 있다. 일 예로, 전자 장치(100)는 오브젝트의 몰입도에 대한 정보 및 제스처 정보를 바탕으로 타겟 오브젝트를 획득할 수 있다. 이 때, 전자 장치(100)는 적어도 하나의 오브젝트 중 기설정된 몰입도보다 높은 몰입도를 갖고 웨이크-업 제스처를 취하는 오브젝트를 타겟 오브젝트로 획득할 수 있다. 다른 일 예로, 전자 장치(100)는 오브젝트의 제스처 정보 및 전자 장치(100)의 동작 상태를 바탕으로 타겟 오브젝트를 획득할 수 있다. 이 때, 전자 장치(100)는 적어도 하나의 오브젝트 중 제2 동작 상태에서 제2 제스처 유형에 해당하는 제스처를 취하는 오브젝트를 타겟 오브젝트로 획득할 수 있다.

한편, 전자 장치(100)는 오브젝트의 제스처 정보에 대응되는 기능을 식별할 수 있다(S350). 구체적으로, 전자 장치(100)는 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별할 수 있다. 또한, 전자 장치(100)는 식별된 기능을 실행할 수 있다(S360).

이하에서는 도 4를 참조하여 전자 장치의 몰입도 정보 획득 동작에 대하여 설명하도록 한다.

도 4는 본 개시의 일 실시 예에 따른 전자 장치의 몰입도 정보 획득 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 전자 장치(100)는 사용자(4)가 전자 장치(100)를 응시하는 응시 각도(

)를 바탕으로 전자 장치(100)에 대한 사용자(4)의 몰입도를 식별할 수 있다. 구체적으로, 전자 장치(100)는 사용자(4)의 얼굴의 중심 위치에 대한 좌표값

을 획득할 수 있다. 이때, 전자 장치(100)는 사용자(4) 얼굴을 촬상한 이미지에 포함된 뎁스(depth) 정보를 바탕으로 좌표값

을 획득할 수 있다.

또한, 전자 장치(100)는 아래의 [수학식 1]을 바탕으로, 응시 각도(

)를 획득할 수 있다.

[수학식 1]

(여기서,

이며,

는 사용자(4) 얼굴의 중심으로부터 전자 장치 방향으로의 벡터임

는 사용자(4)의 머리 자세 벡터(head pose vector)임)

또한, 전자 장치(100)는 획득된 응시 각도(

) 및 아래의 [수학식 2]를 바탕으로, 사용자(4)의 몰입 여부를 식별할 수 있다.

[수학식 2]

(여기서,

는 몰입도,

는 응시 각도(

)의 평균 값,

는 기설정된 평균값,

는 응시 각도(

)의 분산 값,

는 기설정된 분산 값, T는 전자 장치(100)가 사용자(4)의 제스처를 인식하는 시간 구간을 의미함)

구체적으로, 전자 장치(100)는 응시 각도(

)의 평균 값(

)이 기설정된 평균값(

)보다 작고, 응시 각도(

)의 분산 값(

)이 기설정된 분산값(

)보다 작은 경우에만, 사용자(4)가 전자 장치(100)에 대해 몰입한 것으로 식별할 수 있다(즉,

). 그 외의 경우에 전자 장치(100)는 사용자(4)가 전자 장치(100)에 대해 몰입하지 않은 것으로 식별할 수 있다(즉,

). 한편, 몰입도(

)가 반드시 0 또는 1의 값을 갖는 것은 아니며, 다양한 값을 가질 수 있다. 예를 들어, 사용자(4)의 몰입도는 0.6이 될 수 있으며, 기설정된 몰입도는 0.5가 될 수 있다. 이 때, 전자 장치(100)는 사용자(4)의 몰입도가 기설정된 몰입도 보다 크므로, 사용자(4)아 전자 장치(100)에 대해 몰입한 것으로 식별 또는 판단할 수 있다.

한편, 이상에서는 전자 장치(100)가 사용자의 응시 각도를 바탕으로 몰입도를 식별하는 방법에 대하여 설명하였으나, 이는 일 실시 예에 불과하며 전자 장치(100)는 다양한 방법으로 사용자(4)의 몰입도를 식별할 수 있다. 다른 일 실시 예로, 전자 장치(100)는 사용자(4)가 전자 장치(100)를 응시하는 시간을 바탕으로 사용자(4)의 몰입도를 식별할 수 있다. 예를 들어, 전자 장치(100)는 사용자(4)가 전자 장치(100)를 응시하는 시간이 기설정된 시간보다 큰 경우, 몰입도(

)를 1로 식별할 수 있다. 이 때, 전자 장치(100)는 사용자(4)가 전자 장치(100)에 대해 몰입한 것으로 식별할 수 있다. 또 다른 실시 예로, 전자 장치(100)는 사용자(4)의 몸체와 얼굴 각각의 자세 벡터를 바탕으로 사용자(4)의 몰입도를 식별할 수 있다. 예를 들어, 전자 장치(100)는 사용자(4)의 몸체와 얼굴 각각의 자세 벡터의 차이값이 기설정된 값보다 작으면, 몰입도(

)를 1로 식별할 수 있다. 이 때, 전자 장치(100)는 사용자(4)가 전자 장치(100)에 대해 몰입한 것으로 식별할 수 있다. 또한, 전자 장치(100)는 사용자(4)의 안구를 추적하여 사용자(4)가 전자 장치(100)를 응시하는지 여부를 식별할 수 있다. 예를 들어, 전자 장치(100)는 사용자(4)의 안구의 중심축과 카메라(110)의 FOV의 중심축이 이루는 각도가 기설정된 각도 범위이면, 몰입도(

)를 1로 식별할 수 있다.

이상에서는 전자 장치의 몰입도 식별 방법에 대하여 설명하였다.

이하에서는, 도 5를 참조하여 전자 장치가 타겟 오브젝트를 획득하는 방법에 대하여 설명한다.

도 5는 본 개시의 일 실시 예에 따른 전자 장치의 타겟 오브젝트 획득 동작을 설명하기 위한 도면이다. 구체적으로, 도 5는 전자 장치와 오브젝트를 탑 뷰(top view)에서 바라본 도면이다.

도 5와 같이, 전자 장치(100)의 FOV 내에는 복수의 오브젝트들이 존재할 수 있다. 이 때, 전자 장치(100)는 복수의 오브젝트 각각의 몰입도에 대한 정보를 획득할 수 있다. 또한, 전자 장치(100)는 복수의 오브젝트 중 몰입도가 기설정된 몰입도보다 큰 제1 후보 오브젝트(5) 및 제2 후보 오브젝트(6)를 획득할 수 있다. 이 때, 전자 장치(100)는 제1 후보 오브젝트(5) 및 제2 후보 오브젝트(6) 중 기설정된 제스처에 대응되는 제스처를 취하는 제1 후보 오브젝트(5)를 타겟 오브젝트로 획득할 수 있다. 여기서, 기설정된 제스처는 상술한 제1 제스처 유형에 해당하는 제스처가 될 수 있다.

한편, 전자 장치(100)는 전자 장치(100)의 동작 상태, 오브젝트의 제스처 정보 및 몰입도에 대한 정보를 바탕으로 타겟 오브젝트를 획득하고 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다.

도 6은 본 개시의 일 실시 예에 따른 전자 장치의 기능 실행 여부가 도시된 표이다.

도 6을 참조하면, 전자 장치의 작동 상태, 오브젝트의 제스처 유형, 몰입도에 대한 정보 및 전자 장치의 기능 실행 여부가 매칭될 수 있다. 이러한 매칭된 데이터는 전자 장치(100)의 메모리(140)에 저장될 수 있다.

이하에서는 도 6에 도시된 다양한 케이스에 따른 전자 장치의 동작에 대해 설명한다.

제1 동작 상태에서 전자 장치(100)는, 제1 제스처 유형에 해당되는 제스처 정보를 획득하는 경우에만 오브젝트의 제스처 정보에 해당되는 기능을 실행할 수 있다. 이때, 전자 장치(100)는 제1 제스처 유형을 제외한 다른 유형의 제스처 정보를 획득하는 경우에는, 오브젝트가 전자 장치(100)에 대해 몰입한 것으로 식별되더라도, 제스처 정보에 대응되는 기능을 실행하지 않을 수 있다. 즉, 전자 장치(100)는 제1 동작 상태에서는 웨이크-업 제스처를 제외한 다른 제스처에 대응되는 기능은 실행하지 않을 수 있다.

한편, 도 7은 본 개시의 일 실시 예에 따른 전자 장치(100)의 시점에서 사용자(7)를 바라본 모습을 도시한 도면이다. 도 7에서, 사용자(7)는 전자 장치(100)를 응시하지 않은 채 제2 제스처 유형에 해당하는 포인팅 제스처를 취하고 있을 수 있다. 이 때, 전자 장치(100)가 사용자(7)와 인터랙션을 수행중인 경우라면, 사용자(7)가 전자 장치(100)를 응시하지 않더라도, 전자 장치(100)는 사용자(7)의 제스처에 대응되는 기능을 실행할 수 있다. 이에 따라, 사용자(7)는 전자 장치(100)와의 인터랙션을 지속할 수 있다.

이와 같이, 전자 장치(100)는 오브젝트가 전자 장치(100)에 대해 몰입하지 않는 것으로 식별되더라도, 오브젝트의 제스처 정보가 제2 제스처 유형에 해당하는 경우라면, 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다. 다시 도 6을 참조하면, 제2 동작 상태에서 전자 장치(100)는, 오브젝트의 몰입도가 기설정된 몰입도보다 낮더라도, 오브젝트의 제스처가 제2 제스처 유형에 해당되면 오브젝트의 제스처에 대응하는 기능을 실행할 수 있다. 이에 따라, 사용자의 만족감 및 편의성이 향상될 수 있다.

한편, 액티브 트리거 상태에서 전자 장치(100)는, 오브젝트의 제스처 정보가 제3 제스처 유형 또는 제4 제스처 유형에 해당되면, 오브젝트의 몰입도가 기설정된 몰입도보다 높더라도, 오브젝트의 제스처 정보에 대응되는 기능을 실행하지 않을 수 있다. 예를 들어, 전자 장치(100)가 사용자의 명령과 무관하게 전자 장치(100)를 향해 접근하는 사용자에게 인사하는 동작을 수행하는 경우, 전자 장치(100)는, 사용자가 전자 장치(100)를 응시하면서 숫자를 나타내는 손동작과 같은 제4 제스처 유형에 해당하는 제스처를 취하더라도, 사용자의 제스처에 대응되는 기능을 실행하지 않을 수 있다. 이는, 통상적으로 사용자는 액티브 트리거 상태에 있는 전자 장치(100)에 대해 제4 제스처 유형에 해당하는 제스처를 취하지 않기 때문이다. 이 때, 사용자는 웨이크-업 제스처와 같이 제1 제스처 유형에 해당하는 제스처를 취한 후, 제3 제스처 유형 또는 제 4 제스처 유형에 해당하는 제스처를 취함으로써 전자 장치로부터 기능을 제공 받을 수 있다.

한편, 제3 동작 상태에서 전자 장치(100)는 오브젝트의 몰입 여부와 무관하게 오브젝트의 모든 제스처 유형의 제스처에 대응되는 기능을 실행하지 않을 수 있다. 비상 상황과 같은 제3 동작 상태에서는 전자 장치(100)가 사용자와 인터랙션 수행이 불가능하거나(예를 들어, 충전이 필요한 경우), 사용자와의 인터랙션을 수행하는 것보다 기설정된 동작(예를 들어, 충전 장소로 이동)을 수행하는 것이 중요할 수 있기 때문이다.

이상에서는 다양한 케이스 별 전자 장치의 기능 실행 여부에 대하여 설명하였다.

이하에서는 전자 장치의 동작 상태를 판단하는 방법에 대하여 설명하도록 한다.

도 8은 본 개시의 일 실시 예에 따른 전자 장치의 동작 상태를 판단하는 방법을 설명하기 위한 도면이다. 전술한 바와 같이 전자 장치(100)는 전자 장치(100)의 동작 상태를 바탕으로 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다.

도 8을 참조하면, 전자 장치(100)는 오브젝트를 검출할 수 있다(S810). 전자 장치(100)는 오브젝트가 검출되면 검출된 오브젝트에 대응되는 식별 값을 획득할 수 있다. 전자 장치(100)는 획득된 식별 값을 메모리(140)에 저장할 수 있다. 한편, 본 단계는 상술한 도 3의 단계 S310에 대응될 수 있으므로, 도 3과 중복되는 설명은 생략하도록 한다.

전자 장치(100)는 오브젝트가 검출되기 이전에 검출된 오브젝트에 대한 식별 값이 메모리(140)에 기록되어 있는 지 식별할 수 있다(S820). 오브젝트가 검출되기 이전에 검출된 오브젝트에 대한 식별 값이 메모리(140)에 기록되어 있으면, 전자 장치(100)는 검출된 오브젝트의 명령 히스토리가 메모리(140)에 기록되어 있는지 식별할 수 있다(S830). 이 때, 전자 장치(100)는 오브젝트의 명령 히스토리가 메모리(140)에 기록되어 있으면, 전자 장치(100)의 동작 상태가 사용자 명령 상태인 것으로 식별할 수 있다. 또한, 전자 장치(100)는 오브젝트의 명령 히스토리가 메모리(140)에 기록되어 있지 않으면, 전자 장치(100)의 동작 상태가 액티브 트리거 상태인 것으로 식별할 수 있다. 또한, 오브젝트가 검출되기 이전에 검출된 오브젝트에 대한 식별 값이 메모리(140)에 기록되어 있지 않으면, 전자 장치(100)는 전자 장치(100)가 이동 중인 지 식별할 수 있다(S840). 이 때, 전자 장치(100)는 전자 장치(100)가 이동 중이면, 전자 장치(100)의 동작 상태가 제3 동작 상태인 것으로 식별할 수 있다. 또한, 전자 장치(100)는 전자 장치(100)가 이동 중이지 않으면, 전자 장치(100)의 동작 상태가 제1 동작 상태인 것으로 식별할 수 있다.

이와 같이 식별된 동작 상태를 바탕으로 전자 장치(100)는 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행할 수 있다.

한편, 전자 장치(100)의 동작 상태는 다양한 조건에 따라 전환될 수 있다. 예를 들어, 제1 동작 상태의 전자 장치(100)는 사용자의 트리거 제스처를 획득하면, 사용자 명령 상태로 진입할 수 있다. 이 때, 전자 장치(100)의 동작 상태는 제1 동작 상태로부터 사용자 명령 상태로 전환될 수 있다. 또한, 사용자 명령 상태의 전자 장치(100)는 기설정된 시간 동안 사용자의 제스처 입력이 수신되지 않으면 다시 제1 동작 상태로 진입할 수 있다. 이 때, 전자 장치(100)의 동작 상태는 사용자 명령 상태로부터 제1 동작 상태로 전환될 수 있다.

도 9는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.

도 9(a)를 참조하면, 전자 장치(100)는 복수의 사용자가 존재하는 환경에서 복수의 사용자 중 적어도 하나와 인터랙션을 수행할 수 있다. 예를 들어, 전자 장치(100)는 제1 사용자(9)와 인터랙션을 수행할 수 있다. 구체적으로, 제1 동작 상태의 전자 장치(100)는 기설정된 몰입도보다 큰 몰입도를 갖는 제1 사용자(9)의 웨이크-업 제스처를 획득하면, 제2 동작 상태로 진입할 수 있다. 여기서, 제2 동작 상태는 사용자 명령 상태를 의미할 수 있다. 이 때, 전자 장치(100)는 제1 사용자(9)를 타겟 오브젝트로 획득하고, 제1 사용자(9)의 추가적인 제스처에 기초하여 제1 사용자(9)와의 인터랙션을 수행할 수 있다. 또한, 사용자 명령 상태에서 전자 장치(100)는 전자 장치(100)의 FOV내에 기설정된 몰입도보다 큰 몰입도를 갖는 제2 사용자(10)가 전자 장치(100)를 호출하는 제스처를 취하더라도, 제2 사용자(10)의 제스처에 대응되는 기능을 실행하지 않고, 제1 사용자(9)와의 인터랙션을 수행할 수 있다. 따라서, 전자 장치(100)는 타겟 오브젝트인 제1 사용자(9)에게 제1 사용자(9)의 제스처 정보에 대응되는 기능을 지속적으로 제공할 수 있다. 이에 따라, 제1 사용자(9)의 만족감이 향상될 수 있다.

한편, 도 9(b)를 참조하면, 전자 장치(100)는 제2 동작 상태로 진입한 시점으로부터 기설정된 시간 동안 제1 사용자(9)의 제스처를 획득하지 않으면, 제1 동작 상태로 진입할 수 있다. 이 때, 전자 장치(100)는 기설정된 몰입도보다 큰 몰입도를 갖는 제2 사용자(10)가 전자 장치(100)를 호출하는 제스처(coming gesture)를 획득하면, 제2 사용자(10)를 타겟 오브젝트로 획득하고, 제2 사용자(10)의 주변으로 이동할 수 있다.

도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.

도 10을 참조하면, 제어 방법은 이미지를 획득하는 단계(S1010), 이미지에 포함된 적어도 하나의 오브젝트를 검출하는 단계(S1020), 적어도 하나의 오브젝트의 전자 장치에 대한 몰입도에 대한 정보를 식별하는 단계(S1030), 적어도 하나의 오브젝트의 제스처 정보를 획득하는 단계(S1040), 전자 장치의 동작 상태, 몰입도에 대한 정보 및 획득된 제스처 정보를 바탕으로 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별하는 단계(S1050) 및 식별된 기능을 실행하는 단계(S1060)를 포함할 수 있다.

이하에서는 각 단계에 대하여 설명한다.

전자 장치(100)는 이미지를 획득할 수 있다(S1010). 이 때, 전자 장치(100)는 카메라(110)가 전자 장치(100) 주변을 촬상한 이미지를 획득할 수 있다.

전자 장치(100)는 이미지에 포함된 적어도 하나의 오브젝트를 검출할 수 있다(S1020). 이 때, 전자 장치(100)는 오브젝트에 대한 위치 정보, 유형 정보 및 거리 정보 중 적어도 하나를 획득할 수 있다. 또한, 전자 장치(100)는 검출된 오브젝트에 대한 식별 값을 획득할 수 있다. 한편, 본 단계는 도 3에서 전술한 단계 S310에 대응될 수 있다.

전자 장치(100)는 적어도 하나의 오브젝트의 전자 장치에 대한 몰입도에 대한 정보를 식별할 수 있다(S1030). 이 때, 전자 장치(100)는 단계 S1010에서 검출된 적어도 하나의 오브젝트의 전자 장치에 대한 몰입도를 획득할 수 있다. 또한, 전자 장치(100)는 획득된 몰입도를 바탕으로 적어도 하나의 오브젝트가 전자 장치에 대해 몰입하는지 식별할 수 있다. 한편, 본 단계는 도 3에서 전술한 단계 S320에 대응될 수 있으므로 중복되는 설명은 생략하도록 한다.

또한, 전자 장치(100)는 적어도 하나의 오브젝트의 제스처 정보를 획득할 수 있다(S1040). 이 때, 전자 장치(100)는 획득된 이미지를 분석하여 이미지에 포함된 오브젝트의 제스처 정보를 획득할 수 있다. 또한, 전자 장치(100)는 연속적으로 촬상된 멀티 프레임의 이미지들을 획득하여 오브젝트의 제스처 정보를 획득할 수 있다. 한편, 본 단계는 도 3에서 전술한 단계 S330에 대응될 수 있다.

또한, 전자 장치(100)는 전자 장치(100)의 동작 상태, 몰입도에 대한 정보 및 획득된 제스처 정보를 바탕으로 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별할 수 있다(S1050). 본 단계는, 도 3의 단계 S350, S360 및 도 6을 참조하여 통상의 기술자에 의해 이해될 수 있는 바 상세한 설명은 생략하도록 한다.

그리고, 전자 장치(100)는 식별된 기능을 실행할 수 있다(S1060).

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.

비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 전자 장치 110: 카메라
120: 디스플레이 130: 통신 인터페이스
140: 메모리 150: 프로세서

Claims

전자 장치에 있어서,
카메라;
적어도 하나의 인스트럭션을 저장하는 메모리; 및
프로세서;를 포함하고,
상기 프로세서는,
상기 카메라가 촬상한 이미지에 포함된 적어도 하나의 오브젝트를 검출하고,
상기 적어도 하나의 오브젝트의 상기 전자 장치에 대한 몰입도에 대한 정보를 식별하고,
상기 적어도 하나의 오브젝트의 제스처 정보를 획득하고,
상기 전자 장치의 동작 상태, 상기 몰입도에 대한 정보 및 상기 획득된 제스처 정보를 바탕으로 상기 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별하며,
상기 식별된 기능을 실행하는
전자 장치.
제1 항에 있어서,
상기 프로세서는,
상기 전자 장치로부터 상기 오브젝트까지의 거리, 상기 오브젝트가 상기 전자 장치를 응시하는 각도, 시간 및 상기 오브젝트의 몸체와 헤드의 방향 정보 중 적어도 하나를 바탕으로 상기 몰입도에 대한 정보를 식별하는
전자 장치.
제2 항에 있어서,
상기 프로세서는,
복수의 프레임 동안 획득된 이미지를 바탕으로 상기 오브젝트의 제스처 정보를 획득하고,
상기 복수의 프레임 동안 획득된 상기 오브젝트가 상기 전자 장치를 응시하는 각도의 평균값 및 분산값을 획득하고,
상기 평균값 및 분산값을 바탕으로 상기 몰입도에 대한 정보를 식별하는
전자 장치.
제1 항에 있어서,
상기 프로세서는,
상기 적어도 하나의 오브젝트 중 기설정된 몰입도 보다 큰 몰입도를 갖는 후보 오브젝트를 획득하고,
상기 후보 오브젝트 중 기설정된 제스처에 대응되는 제스처를 취하는 후보 오브젝트를 상기 타겟 오브젝트로 획득하는
전자 장치.
제1 항에 있어서,
상기 프로세서는,
상기 적어도 하나의 오브젝트 중 기설정된 몰입도 보다 큰 몰입도를 갖는 후보 오브젝트를 획득하고,
상기 후보 오브젝트 중 상기 전자 장치로부터 가장 가까운 거리에 위치한 후보 오브젝트를 상기 타겟 오브젝트로 획득하는
전자 장치.
제1 항에 있어서,
상기 전자 장치의 동작 상태는
웨이크-업 제스처의 입력을 대기하는 제1 동작 상태, 오브젝트와 인터랙션을 수행중인 제2 동작 상태 및 오브젝트와의 인터랙션이 차단된 제3 동작 상태를 포함하고,
상기 메모리는,
상기 전자 장치의 동작 상태, 제스처 유형에 대한 정보 및 상기 제스처 유형에 대응되는 기능의 실행 여부를 매칭하여 저장하고,
상기 프로세서는,
상기 전자 장치의 동작 상태 및 상기 동작 상태 동안 상기 타겟 오브젝트의 제스처 유형에 대응되는 기능의 실행 여부를 식별하고,
상기 식별 결과를 바탕으로 상기 기능을 실행하는
전자 장치.
제6 항에 있어서,
상기 프로세서는,
상기 제1 동작 상태에서, 상기 타겟 오브젝트의 제스처 유형이 상기 제2 동작 상태로 진입을 유도하는 제1 제스처 유형에 해당하는 경우에만
상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하는
전자 장치.
제6 항에 있어서,
상기 프로세서는,
상기 제2 동작 상태에서, 상기 타겟 오브젝트의 제스처 유형이 소정의 방향을 가리키는 제2 제스처 유형에 해당하는 경우에,
상기 타겟 오브젝트의 몰입도가 기설정된 몰입도 보다 낮더라도 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하는
전자 장치.
제6 항에 있어서,
상기 프로세서는,
상기 제3 동작 상태에서, 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하지 않는
전자 장치.
전자 장치의 제어 방법에 있어서,
이미지를 획득하는 단계;
상기 획득된 이미지에 포함된 적어도 하나의 오브젝트를 검출하는 단계;
상기 적어도 하나의 오브젝트의 상기 전자 장치에 대한 몰입도에 대한 정보를 식별하는 단계;
상기 적어도 하나의 오브젝트의 제스처 정보를 획득하는 단계;
상기 전자 장치의 동작 상태, 상기 몰입도에 대한 정보 및 상기 획득된 제스처 정보를 바탕으로 상기 적어도 하나의 오브젝트 중 타겟 오브젝트를 획득하고 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 식별하는 단계; 및
상기 식별된 기능을 실행하는 단계;를 포함하는
제어 방법.
제10 항에 있어서,
상기 몰입도에 대한 정보를 식별하는 단계는,
상기 전자 장치로부터 상기 오브젝트까지의 거리, 상기 오브젝트가 상기 전자 장치를 응시하는 각도, 시간 및 상기 오브젝트의 몸체와 헤드의 방향 정보 중 적어도 하나를 바탕으로 상기 몰입도에 대한 정보를 식별하는
제어 방법.
제11 항에 있어서,
상기 제스처 정보를 획득하는 단계는,
복수의 프레임 동안 획득된 이미지를 바탕으로 상기 오브젝트의 제스처 정보를 획득하고,
상기 몰입도에 대한 정보를 식별하는 단계는, 상기 복수의 프레임 동안 획득된 상기 오브젝트가 상기 전자 장치를 응시하는 각도의 평균값 및 분산값을 획득하고, 상기 평균값 및 분산값을 바탕으로 상기 몰입도에 대한 정보를 식별하는
제어 방법.
제10 항에 있어서,
상기 타겟 오브젝트를 획득하는 단계는,
상기 적어도 하나의 오브젝트 중 기설정된 몰입도 보다 큰 몰입도를 갖는 후보 오브젝트를 획득하고,
상기 후보 오브젝트 중 기 설정된 제스처에 대응되는 제스처를 취하는 후보 오브젝트를 상기 타겟 오브젝트로 획득하는
제어 방법.
제10 항에 있어서,
상기 타겟 오브젝트를 획득하는 단계는,
상기 적어도 하나의 오브젝트 중 기설정된 몰입도 보다 큰 몰입도를 갖는 후보 오브젝트를 획득하고,
상기 후보 오브젝트 중 상기 전자 장치로부터 가장 가까운 거리에 위치한 후보 오브젝트를 상기 타겟 오브젝트로 획득하는
제어 방법.
제10 항에 있어서,
상기 전자 장치의 동작 상태는,
웨이크-업 제스처의 입력을 대기하는 제1 동작 상태, 오브젝트와 인터랙션을 수행중인 제2 동작 상태 및 오브젝트와의 인터랙션이 차단된 제3 동작 상태를 포함하고,
상기 기능을 식별하는 단계는,
상기 전자 장치의 동작 상태, 제스처 유형에 대한 정보 및 상기 제스처 유형에 대응되는 기능의 실행 여부를 매칭하여 메모리에 저장하고,
상기 전자 장치의 동작 상태 및 상기 동작 상태 동안 상기 타겟 오브젝트의 제스처 유형에 대응되는 기능의 실행 여부를 식별하는
제어 방법.
제15 항에 있어서,
상기 기능을 실행하는 단계는,
상기 제1 동작 상태에서, 상기 타겟 오브젝트의 제스처 유형이 상기 제2 동작 상태로 진입을 유도하는 제1 제스처 유형에 해당하는 경우에만, 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하는
제어 방법.
제15 항에 있어서,
상기 기능을 실행하는 단계는,
상기 제2 동작 상태에서 상기 타겟 오브젝트의 제스처 유형이 소정의 방향을 가리키는 제2 제스처 유형에 해당하는 경우에,
상기 타겟 오브젝트의 몰입도가 기설정된 몰입도 보다 낮더라도 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하는
제어 방법.
제15 항에 있어서,
상기 기능을 실행하는 단계는,
상기 제3 동작 상태에서, 상기 타겟 오브젝트의 제스처 정보에 대응되는 기능을 실행하지 않는
제어 방법.