KR20160142207A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20160142207A
KR20160142207A KR1020150098177A KR20150098177A KR20160142207A KR 20160142207 A KR20160142207 A KR 20160142207A KR 1020150098177 A KR1020150098177 A KR 1020150098177A KR 20150098177 A KR20150098177 A KR 20150098177A KR 20160142207 A KR20160142207 A KR 20160142207A
Authority
KR
South Korea
Prior art keywords
points
user
touched
touch input
hand
Prior art date
Application number
KR1020150098177A
Other languages
English (en)
Other versions
KR102307354B1 (ko
Inventor
김현우
조민수
문중희
백건우
이탁건
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/165,538 priority Critical patent/US20160357319A1/en
Publication of KR20160142207A publication Critical patent/KR20160142207A/ko
Application granted granted Critical
Publication of KR102307354B1 publication Critical patent/KR102307354B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치의 제어 방법은 뎁스 카메라를 이용하여 뎁스 영상을 획득하고, 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하며, 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하고, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지한다.

Description

전자 장치 및 이의 제어 방법{Electronic device and Method for controlling the electronic device}
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 뎁스 카메라에 의해 획득된 사용자 손의 뎁스 정보를 이용하여 사용자의 터치 입력을 감지하는 전자 장치 및 이의 제어 방법에 관한 것이다.
빔 프로젝터로 구성된 대형화면을 인터렉티브 터치 스크린으로 만드는 다양한 연구 및 제품이 개발되고 있다. 그 중 빔 프로젝터에 뎁스 카메라를 채용하여 사용자의 터치를 감지할 수 있는 방안이 개발되고 있다. 구체적으로, 빔 프로젝터는 뎁스 카메라에 의해 획득된 뎁스 영상과 평면 뎁스 영상의 차이를 이용하여 사용자의 터치 입력을 감지하였다.
이 경우, 손바닥을 평면 위에 놓으면 손바닥으로 인한 터치가 발생하기 때문에 터치를 입력할 경우, 손바닥을 계속 들고 있어야 하는 불편함이 존재한다. 또한, 주변에서 발생하는 빛 등 환경적인 요소에 의해 노이즈가 발생하는 경우, 손가락으로 인한 터치와 구분하기 어려워 노이즈 터치가 발생할 수 있는 문제점이 존재한다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 뎁스 카메라에 의해 획득된 사용자 손을 복수의 지점으로 모델링하고, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 사용자의 터치 입력을 감지하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 뎁스 카메라를 이용하여 뎁스 영상을 획득하는 단계; 상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하는 단계; 상기 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하는 단계; 및 상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 단계;를 포함할 수 있다.
그리고, 상기 모델링하는 단계는, 상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.
또한, 상기 감지하는 단계는, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.
그리고, 상기 감지하는 단계는, 상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고, 상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.
또한, 상기 감지하는 단계는, 상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지할 수 있다.
그리고, 상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지할 수 있다.
또한, 상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하는 단계;를 포함하고, 상기 추출하는 단계는, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출할 수 있다.
그리고, 상기 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하는 단계; 상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 추출된 사물의 종류를 판단하는 단계;를 포함할 수 있다.
또한, 상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 뎁스 영상을 획득하는 뎁스 카메라; 및 상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 상기 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.
또한, 상기 제어부는, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.
그리고, 상기 제어부는, 상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고, 상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.
또한, 상기 제어부는, 상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지할 수 있다.
그리고, 상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지할 수 있다.
또한, 상기 제어부는, 상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하고, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출할 수 있다
그리고, 상기 제어부는, 상기 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하고, 상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 추출된 사물의 종류를 판단할 수 있다.
또한, 상기 제어부는, 상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행할 수 있다.
그리고, 터치 영역에 영상을 투사하는 영상 투사부;를 더 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 뎁스 카메라를 이용한 터치 입력의 사용자 편의성이 향상될 수 있다. 또한, 전자 장치는 뎁스 카메라를 이용하여 다양한 사용자 입력을 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 간략히 나타내는 블록도,
도 2는 본 발명의 일 실시예에 따른, 전자 장치의 구성을 상세히 나타내는 블록도,
도 3a 내지 도 4는 본 발명의 일 실시예에 따른, 뎁스 카메라를 이용하여 획득된 뎁스 영상으로부터 손 영역을 추출하고, 추출된 손 영역의 손가락 및 손바닥을 복수의 지점으로 모델링하는 실시예를 설명하기 위한 도면들,
도 5a 내지 도 8b는 본 발명의 다양한 실시예에 따른, 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 판단하는 실시예를 설명하기 위한 도면들,
도 9는 본 발명의 일 실시예에 따른, 터치 영역을 도시한 도면,
도 10a 내지 도 11c는 본 발명의 일 실시예에 따른, 사물을 이용하여 전자 장치를 제어하는 실시예를 설명하기 위한 도면,
도 12 및 도 13은 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 14는 본 발명의 다른 실시예에 따른, 외부의 사용자 단말을 통해 전자 장치가 제어되는 실시예를 설명하기 위한 도면, 그리고,
도 15a 및 도 15b는 본 발명의 일 실시예에 따른, 스탠드형 전자 장치를 도시한 도면이다.
본 발명의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시예들에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 발명의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
또한, 본 발명의 실시 예에서, “터치 입력”이란 사용자가 장치를 제어하기 위해 디스플레이 및 커버에 행하는 터치 제스처를 포함할 수 있다. 또한, “터치 입력”은 디스플레이 상에 접촉되지 않고, 일정 거리 이상 이격되어 있는 상태의 터치(예컨대, 플로팅(floating) 또는 호버링(hovering))를 포함할 수 있다.
또한, 본 발명의 실시 예에서, “어플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 발명의 실시 예에서, 어플리케이션은 다양할 수 있다. 예를 들어, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 캘린더 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 우선, 도 1은 본 발명의 일 실시예에 따른, 전자 장치(100)의 구성을 간략히 나타내는 블록도이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 뎁스 카메라(110) 및 제어부(120)를 포함한다.
뎁스 카메라(110)는 특정 영역에 대한 뎁스 영상을 획득한다. 구체적으로, 뎁스 카메라(110)는 영상이 투사되는 터치 영역에 대한 뎁스 영상을 촬영할 수 있다.
제어부(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(120)는 뎁스 카메라(110)를 통해 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지할 수 있다.
구체적으로, 제어부(120)는 뎁스 카메라(110)를 통해 획득된 뎁스 영상을 분석하여 뎁스 영상 내에 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단할 수 있다. 더욱 구체적으로, 제어부(120)는 어떠한 물체도 없는 디스플레이 영역에 대한 평면 뎁스 영상과 촬영된 뎁스 영상과의 차이를 측정하여 뎁스 영상 내의 물체의 형상을 판단할 수 있다.
그리고, 뎁스 영상 내에 사용자의 손 모양이 존재하는 것으로 판단한 경우, 제어부(120)는 뎁스 영상 내에서 손 영역을 검출할 수 있다. 이때, 제어부(120)는 뎁스 영상 내의 노이즈를 제거하여 사용자의 손이 포함된 손 영역을 검출할 수 있다.
그리고, 제어부(120)는 추출된 손 영역에 포함된 사용자의 손바닥 및 손가락을 복수의 지점으로 모델링할 수 있다. 구체적으로, 제어부(120)는 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.
그리고, 제어부(120)는 모델링된 복수의 지점에 대한 뎁스 정보를 바탕으로 사용자의 터치 입력을 감지할 수 있다. 구체적으로, 검지 및 중지의 복수의 지점 중 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 제어부(120)는 터치된 지점에 터치 입력을 감지하고, 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 제어부(120)는 터치 입력을 감지하지 않을 수 있다.
또한, 사용자의 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 제어부(120)는 엄지 및 검지를 이용한 멀티 터치 입력을 감지하고, 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 제어부(120)는 엄지 및 검지를 이용한 터치 입력을 감지하지 않을 수 있다.
또한, 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 제어부(120)는 양손의 검지를 이용한 멀티 터치 입력을 감지할 수 있으며, 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 제어부(120)는 양손을 이용한 멀티 터치 입력을 감지할 수 있다.
또한, 제어부(120)는 사용자의 터치 액션을 더욱 빠르게 판단하기 위하여,손 영역에 포함된 손의 움직임 방향 및 속도를 분석하고, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 사용자의 손 영역을 추출할 수 있다.
다만, 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 제어부(120)는 추출된 사물의 종류를 판단할 수 있다. 즉, 제어부(120)는 터치 영역 내에 올려진 사물과 기 등록된 사물의 형상과 비교하여 터치 영역 내에 올려진 사물의 종류를 판단할 수 있다. 그리고, 제어부(120)는 판단된 사물의 종류 및 사물의 터치 위치 중 적어도 하나를 바탕으로 전자 장치(100)의 기능을 수행할 수 있다.
상술한 바와 같은 전자 장치(100)를 이용함으로써, 사용자는 더욱 효율적으로 뎁스 카메라를 이용한 터치 입력을 수행할 수 있게 된다.
이하에서는 도 2 내지 도 11c를 참조하여 본 발명에 대해 더욱 상세하게 설명하기로 한다.
우선, 도 2는 본 발명의 일 실시예에 따른 전자 장치(200)의 구성을 상세히 도시한 블록도이다. 도 2에 도시된 바와 같이, 전자 장치(200)는 뎁스 카메라(210), 영상 입력부(220), 디스플레이부(230), 저장부(240), 통신부(250) 및 제어부(260)를 포함한다.
한편, 도 2는 전자 장치(200)가 컨텐츠 제공 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
뎁스 카메라(210)는 특정 영역에 대한 뎁스 영상을 획득한다. 특히, 전자 장치(200)가 빔 프로젝터를 이용하여 영상을 디스플레이하는 경우, 뎁스 카메라(210)는 빔 프로젝터가 빛을 투사하여 영상이 디스플레이되는 디스플레이 영역에 대한 뎁스 영상을 획득할 수 있다.
영상 입력부(220)는 다양한 소스를 통해 영상 데이터를 입력받는다. 예를 들어, 영상 입력부(220)는 외부의 방송국으로부터 방송 데이터를 입력받을 수 있으며, 외부 서버로부터 실시간으로 VOD 데이터를 입력할 수 있으며, 외부 기기로부터 영상 데이터를 입력받을 수 있다.
디스플레이부(230)는 영상 입력부(220)를 통해 입력된 영상 데이터를 디스플레이할 수 있다. 이때. 디스플레이부(230)는 빔 프로젝터 방식으로 영상 데이터를 출력할 수 있다. 특히, 디스플레이부(230)는 DLP 방식을 이용하여 빛을 투사할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 방식을 이용하여 빛을 투사할 수 있다.
또한, 디스플레이부(230)는 빔 프로젝터 방식이 아닌 일반적인 디스플레이로 구현될 수 있다. 예를 들어, 디스플레이부(230)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태로 구현될 수 있다. 디스플레이부(230)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(230)가 액정 방식인 경우, 디스플레이부(230)는 LCD 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다.　
저장부(240)는 전자 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.　저장부(240)는 제어부(260)에 의해 액세스되며, 제어부(260)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.　 본 발명에서 저장리(240)는 제어부(260) 내 롬(262), 램(261) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하여 정의될 수 있다. 또한, 저장부(240)에는 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.　
또한, 저장부(240)는 사물의 유형과 사물의 뎁스 정보를 바탕으로 산출된 결과값을 매칭하여 저장할 수 있다.
통신부(250)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(250)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함한다. 제어부(260)는 통신부(250)를 이용하여 각종 외부 기기와 통신을 수행한다.
특히, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
제어부(260)는 저장부(240)에 저장된 각종 프로그램을 이용하여 전자 장치(200)의 전반적인 동작을 제어한다.
제어부(260)는 도 2에 도시된 바와 같이, RAM(261), ROM(262), 그래픽 처리부(263), 메인 CPU(264), 제1 내지 n 인터페이스(265-1 ~ 265-n), 버스(266)를 포함한다. 이때, RAM(261), ROM(262), 그래픽 처리부(263), 메인 CPU(264), 제1 내지 n 인터페이스(265-1 ~ 265-n) 등은 버스(266)를 통해 서로 연결될 수 있다.
ROM(262)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(264)는 ROM(262)에 저장된 명령어에 따라 저장부(240)에 저장된 O/S를 RAM(261)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(264)는 저장부(240)에 저장된 각종 어플리케이션 프로그램을 RAM(261)에 복사하고, RAM(261)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(263)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 정보를 포함하는 화면을 생성한다. 연산부는 사용자에 입력된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 정보들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 정보를 포함하는 다양한 레이아웃으로 구성된 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(230)의 디스플레이 영역 내에 표시된다.
메인 CPU(264)는 저장부(240)에 액세스하여, 저장부(240)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(264)는 저장부(240)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(265-1 내지 265-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(260)는 뎁스 카메라(210)를 통해 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지한다.
구체적으로, 제어부(260)는 디스플레이부(230)에 의해 영상이 투사되는 디스플레이 영역에 대한 뎁스 영상을 획득한다. 우선, 제어부(260)는 디스플레이 영역상에 어떠한 물체도 놓여지지 않은 평면 뎁스 영상을 획득한다. 그리고, 제어부(260)는 특정 물체(예를 들어, 사용자의 손, 사물 등)가 놓여진 디스플레이 영역을 촬영한 뎁스 영상을 획득한다. 그리고, 제어부(260)는 촬영된 뎁스 영상과 평면 뎁스 영상의 차이를 측정하여 도 3a에 도시된 바와 같은 뎁스 영상을 획득할 수 있다.
그리고, 제어부(260)는 컨벡스 헐(convex hull)을 바탕으로 도 3a에 도시된 바와 같은 뎁스 영상으로부터 노이즈를 제거하고, 도 3b에 도시된 바와 같이, 사람의 손을 포함하는 손 영역(310)을 추출할 수 있다.
그리고, 제어부(260)는 손 영역(310)의 깊이 정보 및 형상을 바탕으로 도 3c에 도시된 바와 같이, 사용자의 손바닥 및 손가락을 복수의 지점으로 모델링할 수 있다. 본 발명의 일 실시예로, 제어부(260)는 도 4에 도시된 바와 같이, 손바닥을 제1 지점(410-1)으로 모델링하고, 엄지를 제2 지점(410-2)으로 모델링하며, 검지를 제3 및 제4 지점(410-3,410-4)으로 모델링하고, 중지를 제5 및 제6 지점(410-5,410-6)으로 모델링하며, 약지를 제7 및 제8 지점(410-7,410-8)으로 모델링하고, 소지를 제9 지점(410-9)으로 모델링할 수 있다. 즉, 사용자의 손바닥 및 손가락 모델은 책상 평면 위에서 사용자가 타이핑할 때의 손의 자연스러운 모양을 단순화한 것이다. 예를 들어, 엄지와 소지는 사용하지 않는 마디의 구분이 없으며, 검지, 중지, 약지는 마디를 각 1개씩 표현할 수 있다.
그리고, 제어부(260)는 모델링된 복수의 지점의 뎁스 정보를 바탕으로 사용자의 터치 입력을 감지할 수 있다. 이에 대해서는 도 5a 내지 도 8b를 참조하여 더욱 상세히 설명하기로 한다. 참고로, 도 5a 내지 도 8b에서는 기준 평면에서 터치 인식 거리 밖에 있는 경우 ●로 표현하고, 기준 평면에서 터치 인식 거리 안에 있는 경우 ○로 표현할 수 있다.
우선, 검지 및 중지 중 하나의 손가락의 끝 지점(410-4,410-5)만 터치된 것으로 감지된 경우, 제어부(260)는 터치된 지점에 대란 터치 입력을 감지할 수 있다. 구체적으로, 도 5a에 도시된 바와 같이, 중지의 끝지점(410-5)만 터치 인식 거리 안에 있거나, 도 5b에 도시된 바와 같이, 중지의 끝지점(410-5)과 손바닥 지점(410-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 중지의 끝지점(410-5)이 터치한 지점에 대한 터치 입력을 감지할 수 있다.
그러나, 검지 및 중지 중 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 제어부(260)는 터치 입력을 감지하지 않을 수 있다. 구체적으로, 도 5c에 도시된 바와 같이, 중지의 복수의 지점(410-5,410-6)이 모두 터치 인식 거리 안에 있거나, 도 5d에 도시된 바와 같이, 중지의 복수의 지점(410-5,410-6) 및 손바닥 지점(410-1)이 모두 터치 인식 거리 안에 있는 경우, 제어부(260)는 터치 입력을 감지하지 않을 수 있다. 즉, 사용자가 터치를 할 경우 중지의 끝부분만을 터치하지 중지의 모든 부분을 터치하지 않으므로, 중지의 복수의 지점(410-5,410-6)이 모두 터치된 것으로 감지되면, 제어부(260)는 사용자의 의도치 않는 터치라고 판단하여 터치 입력을 감지하지 않을 수 있다.
한편, 도 5a 내지 도 5d는 중지를 이용하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 검지를 이용한 경우 역시 도 5a 내지 도 5d와 마찬가지로 동작할 수 있다.
또한, 엄지 및 검지를 이용하여 멀티 터치를 수행하는 경우, 엄지 및 검지의 복수의 지점(410-2 내지 410-4) 중 두 손가락의 끝 지점만 터치된 것으로 감지되면, 제어부(260)는 터치된 지점에 멀티 터치 입력을 감지할 수 있다. 구체적으로, 도 6a에 도시된 바와 같이, 검지의 끝지점(410-4) 및 엄지의 끝지점(410-2)만이 터치 인식 거리 안에 있거나, 도 6b에 도시된 바와 같이, 검지의 끝지점(410-4), 엄지의 끝지점(410-2) 및 손바닥 지점(410-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 중지 및 엄지를 이용한 멀티 터치 입력을 감지할 수 있다. 즉, 제어부(260)는 중지 및 엄지 사이의 거리 변경에 따라 다양한 기능(예를 들어, 영상의 줌인, 줌아웃 등)을 제공할 수 있다.
그러나, 검지의 복수의 지점(410-3,410-4) 및 엄지의 하나의 지점(410-2)이 모두 터치된 것으로 감지된 경우, 제어부(260)는 터치 입력을 감지하지 않을 수 있다. 구체적으로, 도 6c에 도시된 바와 같이, 검지의 복수의 지점(410-3,410-4) 및 엄지의 끝지점(410-2)이 터치 인식 거리 안에 있거나, 도 6d에 도시된 바와 같이, 검지의 복수의 지점(410-3,410-4), 엄지의 끝지점(410-2) 및 손바닥 지점(410-1)이 모두 터치 인식 거리 안에 있는 경우, 제어부(260)는 멀티 터치 입력을 감지하지 않을 수 있다.
한편, 도 6a 내지 도 6d는 검지 및 엄지를 이용하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 중지 및 엄지를 이용하는 멀티 터치 입력의 경우 역시 도 6a 내지 도 6d와 마찬가지로 동작할 수 있다.
또한, 사용자의 양손의 검지들을 이용하여 멀티 터치를 입력하고자 하는 경우, 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지되면, 제어부(260)는 양손의 검지를 이용한 멀티 터치 입력을 감지할 수 있다. 구체적으로, 도 7a에 도시된 바와 같이, 왼손 검지의 끝지점(710-4) 및 오른손 검지의 끝지점(720-4)만이 터치 인식 거리 안에 있거나, 도 7b에 도시된 바와 같이, 왼손 검지의 끝지점(710-4), 왼손 손바닥 지점(710-1), 오른손 검지의 끝지점(720-4) 및 오른손 손바닥 지점(720-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 양손의 중지를 이용한 멀티 터치 입력을 감지할 수 있다. 즉, 제어부(260)는 양 손의 중지 사이의 거리 변경에 따라 다양한 기능(예를 들어, 영상의 줌인, 줌아웃 등)을 제공할 수 있다.
한편, 도 7b에서는 양손의 손바닥 지점(710-1,720-1)이 모두 터치 인식 거리 안에 있는 것으로 판단하였으나, 이는 일 실시예에 불과할 뿐, 양손의 손바닥 지점(710-1,720-1) 중 하나만이 터치 인식 거리 안에 있어도 양손의 중지를 이용한 멀티 터치 입력이 감지될 수 있다.
또한, 도 7a 및 도 7b는 양손의 검지를 이용하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 양손의 중지를 이용한 경우 역시 도 7a 및 도 7b와 마찬가지로 동작할 수 있다.
또한, 양손의 모든 손가락을 이용하여 멀티 터치를 입력하고자 하는 경우, 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 것으로 감지되면, 제어부(260)는 양손을 이용한 멀티 터치 입력을 감지할 수 있다. 구체적으로, 도 8a에 도시된 바와 같이, 왼손 모든 손가락의 끝지점(710-2,710-4, 710-5,710-7,710-9) 및 오른손 모든 손가락의 끝지점(720-2,720-4,720-5,720-7,720-9)이 터치 인식 거리 안에 있거나, 도 8b에 도시된 바와 같이, 왼손 모든 손가락의 끝지점(710-2,710-4, 710-5,710-7,710-9), 왼손 손바닥 지점(710-1), 오른손 모든 손가락의 끝지점(720-2,720-4,720-5,720-7,720-9) 및 오른손 손바닥 지점(720-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 양손을 이용한 멀티 터치 입력을 감지할 수 있다. 즉, 제어부(260)는 양 손 사이의 거리 변경에 따라 다양한 기능(예를 들어, 영상의 줌인, 줌아웃 등)을 제공할 수 있다.
도 5a 내지 도 8b와 같이 터치 입력을 감지함으로써, 전자 장치(200)는 사용자의 손바닥이 바닥에 닿거나 떨어지거나와 무관하게 손가락의 터치 동작을 통해 터치 입력을 감지할 수 있으며, 사용자의 의도치 않는 터치 입력을 감지하지 않을 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 제어부(260)는 사용자의 터치 입력을 더욱 빠르게 감지하기 위하여, 손의 움직임 방향 및 속도를 분석할 수 있다. 그리고, 제어부(260)는 이전 프레임에 분석된 손의 움직임 방향 및 속도를 바탕으로 다음 프레임에서의 사용자의 손 영역의 위치를 판단하고, 판단된 손 영역의 위치를 추출할 수 있다. 이때, 제어부(260)는 뎁스 영상에서 손 영역을 크롭(crop)하여 손 영역을 추출할 수 있다.
한편, 상술한 실시예에서는 디스플레이 영역 내에 사용자의 손이 검출되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 사람의 손이 아닌 사물이 추출될 수 있다.
구체적으로, 제어부(260)는 뎁스 카메라(210)를 통해 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단할 수 있다. 구체적으로, 제어부(260)는 평면 뎁스 영상과 뎁스 카메라(210)를 통해 촬영된 뎁스 영상 사이의 차이를 이용하여 디스플레이 영역 내에 위치하는 물체의 유형을 판단할 수 있다. 이때, 제어부(260)는 뎁스 영상 내에 있는 물체의 컬러 영역을 추출하고, 추출된 외곽 영역에 따라 분리된 사물의 이미지를 이용하여 사람의 손인지 사물인지 여부를 판단할 수 있다. 또는, 도 9에 도시된 바와 같이, 영상의 테두리에 위치하는 결정 영역(910)에 뎁스 영상의 차이가 존재하는 경우, 제어부(260)는 사람의 손이 위치하는 것으로 판단하고, 결정 영역(910)에 뎁스 영상의 차이가 존재하지 않는 경우, 제어부(260)는 사물이 위치하는 것으로 판단할 수 있다.
그리고, 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 제어부(260)는 추출된 사물의 종류를 판단할 수 있다. 구체적으로, 제어부(260)는 사물의 뎁스 정보를 바탕으로 사물의 넓이, 깊이 구간, 깊이 평균, 깊이 편차 등을 계산하고, 계산된 값에 가중치를 곱하고 곱한 값들을 더하여 결과값을 산출할 수 있다. 그리고, 제어부(260)는 사물의 유형과 매칭되어 저장된 결과값들과 산출된 결과값을 비교하여 뎁스 영상 내에 있는 사물의 유형을 판단할 수 있다.
그리고, 제어부(260)는 판단된 사물의 종류에 따라 전자 장치(100)의 기능을 제어할 수 있다. 예를 들어, 도 10a에 도시된 바와 같이, 제1 화면이 디스플레이되는 동안 디스플레이 영역에 올려진 사물의 종류가 컵(1010)인 것으로 판단된 경우, 제어부(260)는 컵과 매칭되는 명령(예를 들어, 동영상 어플리케이션 실행)을 수행할 수 있다. 즉, 제어부(260)는 도 10b에 도시된 바와 같이, 제2 화면(동영상 어플리케이션 실행 화면)을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 또 다른 예로, 제1 화면이 디스플레이되는 동안 디스플레이 영역에 올려진 사물의 종류가 공책인 것으로 판단되면, 제어부(260)는 공책과 매칭되는 명령(예를 들어, 메모 어플리케이션 실행)을 수행할 수 있다.
또한, 사물의 위치와 상관없이 사물의 유형에 따라 전자 장치(200)의 기능이 실행될 수 있으나, 이는 일 실시예에 불과할 뿐, 제어부(260)는 사물의 위치에 따라 상이한 기능을 제공할 수 있다. 즉, 도 11a에 도시된 바와 같이, 사물(1010)이 디스플레이 영역 내에 있는 경우, 도 11b에 도시된 바와 같이, 사물(1010)이 디스플레이 영역과 외곽의 경계선 상에 있는 경우, 도 11c에 도시된 바와 같이, 사물(1010)이 디스플레이 영역의 외곽에 있는 경우, 모두 상이한 기능을 제공할 수 있다. 예를 들어, 도 11a에 도시된 바와 같이, 사물(1010)이 디스플레이 영역 내에 있는 경우, 제어부(260)는 동영상 어플리케이션을 실행할 수 있고, 도 11b에 도시된 바와 같이, 사물(1010)이 디스플레이 영역과 외곽의 경계선상에 있는 경우, 제어부(260)는 음악 어플리케이션을 실행할 수 있으며, 도 11c에 도시된 바와 같이, 사물(1010)이 디스플레이 영역의 외곽에 있는 경우, 제어부(260)는 전자 장치(100)를 대기 모드로 전환할 수 있다. 또한, 사물(1010)이 디스플레이 영역 내의 위치에 따라 상이한 기능을 제공할 수 있음은 물론이다.
또한, 사물(1010)이 디스플레이 영역 외곽에 위치하는 경우, 제어부(260)는 디스플레이 영역 중 사물(1010)이 위치하는 근처에 단축 아이콘을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
이하에서는 도 12 및 도 13을 바탕으로 전자 장치(100)의 제어 방법에 대해 설명하기로 한다. 도 12는 본 발명의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 뎁스 카메라를 이용하여 뎁스 영상을 획득한다(S1210). 구체적으로, 전자 장치(100)는 디스플레이 영역 내에 뎁스 영상을 획득할 수 있다.
그리고, 전자 장치(100)는 촬영된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출한다(S1220). 이때, 전자 장치(100)는 뎁스 영상으로부터 노이즈를 제거하여 사용자의 손 영역을 추출할 수 있다.
그리고, 전자 장치(100)는 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링한다(S1230). 구체적으로, 전자 장치(100)는 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.
그리고, 전자 장치(100)는 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지한다(S1240). 구체적으로, 전자 장치(100)는 도 5a 내지 도 8b와 같은 다양한 실시예와 같이, 터치 입력을 감지할 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 뎁스 카메라를 이용하여 뎁스 영상을 획득한다(S1310).
그리고, 전자 장치(100)는 획득된 뎁스 영상을 분석한다(S1315). 구체적으로, 전자 장치(100)는 평면 뎁스 영상과 촬영된 뎁스 영상 사이의 차이를 이용하여 뎁스 영상을 분석할 수 있다.
그리고, 전자 장치(100)는 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사람의 손인지 여부를 판단한다(S1320).
물체가 사람의 손이라고 판단된 경우, 전자 장치(100)는 뎁스 영상으로부터 노이즈를 제거하여 손 영역을 추출한다(S1325).
그리고, 전자 장치(100)는 손 여역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하고(S1330), 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하며(S1335), 감지된 터치 입력에 따라 전자 장치(100)를 제어한다(S1340).
그러나, 물체가 사물이라고 판단된 경우, 전자 장치(100)는 사물의 뎁스 정보를 분석하고(S1345), 분석 결과를 바탕으로 사물의 종류를 판단하며(S1350), 판단된 사물의 종류 및 위치 중 적어도 하나에 따라 전자 장치(100)를 제어한다(S1355).
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 뎁스 카메라를 이용한 터치 입력의 사용자 편의성이 향상될 수 있다. 또한, 전자 장치(100)는 뎁스 카메라를 이용하여 다양한 유형의 사용자 입력을 제공할 수 있게 된다.
한편, 상술한 실시예에서는 전자 장치(100)가 직접 영상을 디스플레이하고, 터치 입력을 감지하며, 터치 입력에 따라 기능을 수행하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 제어부(120)의 기능이 외부의 휴대 단말(1400)을 통해 수행될 수 있다. 구체적으로, 도 14에 도시된 바와 같이, 전자 장치(100)는 단순히 빔 프로젝트를 이용하여 영상을 출력하고, 뎁스 카메라를 이용하여 뎁스 영상을 획득할 뿐, 외부의 휴대 단말(1400)이 전자 장치(100)에 영상을 제공하고, 뎁스 영상을 분석하여 휴대 단말(1400) 및 전자 장치(100)의 기능을 제어할 수 있다. 즉, 외부의 휴대 단말(1400)이 상술한 제어부(120)의 기능을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른, 전자 장치(100)는 스탠드형 빔 프로젝터로 구현될 수 있다. 구체적으로, 도 15a는 스탠드형 빔 프로젝터의 정면도를 도시한 도면이고, 도 15b는 스탠드형 빔 프로젝터의 측면도를 도시한 도면이다. 특히, 스탠드형 빔 프로젝터는 도 15a 및 도 15b에 도시된 바와 같이, 상단에 빔 프로젝터(1510)와 뎁스 카메라(1520)를 구비하고, 폴더블 프레임(1530)(Foldable Frame) 및 도킹 베이스(1540)(Docking Base)가 빔 프로젝터(1510)와 뎁스 카메라(1520)를 지지할 수 있다. 전자 장치(100)는 상단의 빔 프로젝터(1510)를 이용하여 디스플레이 영역에 빛을 투사하고, 뎁스 카메라(1520)를 이용하여 디스플레이 영역에 대한 터치 입력을 감지할 수 있다. 그리고, 사용자는 폴더블 프레임(1530)을 조절하여 디스플레이 영역을 조절할 수 있다. 또한, 외부의 휴대 단말(1400)은 도킹 베이스(1540) 상에 거치될 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
110,210: 뎁스 카메라 120, 260: 제어부
220: 영상 입력부 230: 디스플레이부
240: 저장부 250: 통신부

Claims (19)

  1. 전자 장치의 제어 방법에 있어서,
    뎁스 카메라를 이용하여 뎁스 영상을 획득하는 단계;
    상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하는 단계;
    상기 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하는 단계; 및
    상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 모델링하는 단계는,
    상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 감지하는 단계는,
    상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고,
    상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 제어 방법.
  4. 제2항에 있어서,
    상기 감지하는 단계는,
    상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고,
    상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 제어 방법.
  5. 제2항에 있어서,
    상기 감지하는 단계는,
    상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하는 것을 특징으로 하는 제어 방법.
  6. 제2항에 있어서,
    상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하는 단계;를 포함하고,
    상기 추출하는 단계는,
    이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하는 단계;
    상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 추출된 사물의 종류를 판단하는 단계;를 포함하는 제어 방법.
  9. 제8항에 있어서,
    상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행하는 단계;를 포함하는 제어 방법.
  10. 전자 장치에 있어서,
    뎁스 영상을 획득하는 뎁스 카메라; 및
    상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 상기 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 제어부;를 포함하는 전자 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링하는 것을 특징으로 하는 전자 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고,
    상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 전자 장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고,
    상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 전자 장치.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하는 것을 특징으로 하는 전자 장치.
  15. 제11항에 있어서,
    상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지하는 것을 특징으로 하는 전자 장치.
  16. 제10항에 있어서,
    상기 제어부는,
    상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하고, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출하는 것을 특징으로 하는 전자 장치.
  17. 제10항에 있어서,
    상기 제어부는,
    상기 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하고, 상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 추출된 사물의 종류를 판단하는 것을 특징으로 하는 전자 장치.
  18. 제17항에 있어서,
    상기 제어부는,
    상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행하는 것을 특징으로 하는 전자 장치.
  19. 제10항에 있어서,
    터치 영역에 영상을 투사하는 영상 투사부;를 더 포함하는 전자 장치.
KR1020150098177A 2015-06-02 2015-07-10 전자 장치 및 이의 제어 방법 KR102307354B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/165,538 US20160357319A1 (en) 2015-06-02 2016-05-26 Electronic device and method for controlling the electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562169862P 2015-06-02 2015-06-02
US62/169,862 2015-06-02

Publications (2)

Publication Number Publication Date
KR20160142207A true KR20160142207A (ko) 2016-12-12
KR102307354B1 KR102307354B1 (ko) 2021-09-30

Family

ID=57573997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150098177A KR102307354B1 (ko) 2015-06-02 2015-07-10 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR102307354B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116677A1 (ko) * 2018-12-05 2020-06-11 코어다 주식회사 촬영 이미지를 이용한 모션 인식 기기의 제어 및 이를 이용한 모션 인식 방법, 서버 및 프로그램
WO2020166737A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 모바일 디바이스 및 그 제어방법
CN112578983A (zh) * 2019-09-27 2021-03-30 苹果公司 手指取向触摸检测

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002071B1 (ko) * 2010-02-08 2010-12-17 전자부품연구원 멀티 적외선 카메라 방식의 투영 영상 터치 장치
US20130300659A1 (en) * 2012-05-14 2013-11-14 Jinman Kang Recognizing Commands with a Depth Sensor
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002071B1 (ko) * 2010-02-08 2010-12-17 전자부품연구원 멀티 적외선 카메라 방식의 투영 영상 터치 장치
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US20130300659A1 (en) * 2012-05-14 2013-11-14 Jinman Kang Recognizing Commands with a Depth Sensor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116677A1 (ko) * 2018-12-05 2020-06-11 코어다 주식회사 촬영 이미지를 이용한 모션 인식 기기의 제어 및 이를 이용한 모션 인식 방법, 서버 및 프로그램
WO2020166737A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 모바일 디바이스 및 그 제어방법
CN112578983A (zh) * 2019-09-27 2021-03-30 苹果公司 手指取向触摸检测

Also Published As

Publication number Publication date
KR102307354B1 (ko) 2021-09-30

Similar Documents

Publication Publication Date Title
US20220129060A1 (en) Three-dimensional object tracking to augment display area
US20200257373A1 (en) Terminal and method for controlling the same based on spatial interaction
TWI579732B (zh) 多顯示設備及其控制方法
US20140300542A1 (en) Portable device and method for providing non-contact interface
EP2972727B1 (en) Non-occluded display for hover interactions
KR101947034B1 (ko) 휴대 기기의 입력 장치 및 방법
US20140253592A1 (en) Method for providing augmented reality, machine-readable storage medium, and portable terminal
US20140075302A1 (en) Electronic apparatus and handwritten document processing method
US20110221666A1 (en) Methods and Apparatus For Gesture Recognition Mode Control
US20130191768A1 (en) Method for manipulating a graphical object and an interactive input system employing the same
US9035882B2 (en) Computer input device
US20140327611A1 (en) Information processing apparatus and method, and program
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
KR20140077510A (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
WO2015105756A1 (en) Increasing touch and/or hover accuracy on a touch-enabled device
US9025878B2 (en) Electronic apparatus and handwritten document processing method
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US10949668B2 (en) Electronic apparatus and method for controlling thereof
KR20170137491A (ko) 전자 장치 및 그의 동작 방법
JP2013238919A (ja) 電子機器および手書き文書検索方法
KR102307354B1 (ko) 전자 장치 및 이의 제어 방법
JP5284523B1 (ja) 情報処理システム、プログラムおよび情報処理システムの処理方法
US20160357319A1 (en) Electronic device and method for controlling the electronic device
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
JP5456817B2 (ja) 表示制御装置、表示制御方法、情報表示システム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right