KR102307354B1 - Electronic device and Method for controlling the electronic device - Google Patents

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치의 제어 방법은 뎁스 카메라를 이용하여 뎁스 영상을 획득하고, 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하며, 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하고, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지한다.An electronic device and a method for controlling the same are provided. The control method of the present electronic device acquires a depth image using a depth camera, extracts a hand region including the user's hand from the acquired depth image, and uses the user's fingers and palms included in the hand region as a plurality of points. modeled, and a touch input is sensed based on depth information of a plurality of modeled points.

Description

전자 장치 및 이의 제어 방법{Electronic device and Method for controlling the electronic device}Electronic device and method for controlling the same

본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 뎁스 카메라에 의해 획득된 사용자 손의 뎁스 정보를 이용하여 사용자의 터치 입력을 감지하는 전자 장치 및 이의 제어 방법에 관한 것이다.The present invention relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device for sensing a user's touch input using depth information of a user's hand obtained by a depth camera, and a method for controlling the same.

빔 프로젝터로 구성된 대형화면을 인터렉티브 터치 스크린으로 만드는 다양한 연구 및 제품이 개발되고 있다. 그 중 빔 프로젝터에 뎁스 카메라를 채용하여 사용자의 터치를 감지할 수 있는 방안이 개발되고 있다. 구체적으로, 빔 프로젝터는 뎁스 카메라에 의해 획득된 뎁스 영상과 평면 뎁스 영상의 차이를 이용하여 사용자의 터치 입력을 감지하였다.Various researches and products are being developed to make a large screen composed of a beam projector into an interactive touch screen. Among them, a method for detecting a user's touch by employing a depth camera in a beam projector is being developed. Specifically, the beam projector sensed the user's touch input by using the difference between the depth image and the plane depth image acquired by the depth camera.

이 경우, 손바닥을 평면 위에 놓으면 손바닥으로 인한 터치가 발생하기 때문에 터치를 입력할 경우, 손바닥을 계속 들고 있어야 하는 불편함이 존재한다. 또한, 주변에서 발생하는 빛 등 환경적인 요소에 의해 노이즈가 발생하는 경우, 손가락으로 인한 터치와 구분하기 어려워 노이즈 터치가 발생할 수 있는 문제점이 존재한다.In this case, when the palm is placed on a flat surface, a touch caused by the palm occurs, so that when a touch is inputted, it is inconvenient to keep holding the palm. In addition, when noise is generated by environmental factors such as light generated in the vicinity, there is a problem in that it is difficult to distinguish a touch caused by a finger, so that a noise touch may occur.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 뎁스 카메라에 의해 획득된 사용자 손을 복수의 지점으로 모델링하고, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 사용자의 터치 입력을 감지하는 전자 장치 및 이의 제어 방법을 제공함에 있다.The present invention has been devised to solve the above-described problem, and an electronic device that models a user's hand obtained by a depth camera as a plurality of points, and senses a user's touch input based on depth information of the modeled plurality of points. And to provide a control method thereof.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 뎁스 카메라를 이용하여 뎁스 영상을 획득하는 단계; 상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하는 단계; 상기 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하는 단계; 및 상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, there is provided a method for controlling an electronic device, comprising: acquiring a depth image using a depth camera; extracting a hand region including the user's hand from the acquired depth image; modeling the user's fingers and palms included in the hand region as a plurality of points; and sensing a touch input based on depth information of the modeled plurality of points.

그리고, 상기 모델링하는 단계는, 상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.And, in the modeling, each of the index finger, the middle finger, and the ring finger among the user's fingers is modeled as a plurality of points, each of the thumb and the small finger among the user's fingers is modeled as a single point, and the user's palm is one It can be modeled as a point of

또한, 상기 감지하는 단계는, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.Also, in the sensing step, when it is sensed that only the tip of at least one finger among the plurality of points of the index and middle fingers is touched, a touch input is sensed at the touched point, and a plurality of points of the index and middle fingers are sensed. When a plurality of points of at least one finger among the points are sensed as being touched, the touch input may not be sensed.

그리고, 상기 감지하는 단계는, 상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고, 상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.In the sensing step, when it is sensed that only the tip point of two fingers among the plurality of points of the thumb and index finger is touched, a multi-touch input is sensed at the touched point, the plurality of points of the index finger and the When it is sensed that one point of the thumb is all touched, the touch input may not be sensed.

또한, 상기 감지하는 단계는, 상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지할 수 있다.In addition, the sensing may include detecting a multi-touch input at the touched point when it is sensed that only the tip point of two fingers among the plurality of points of the index fingers of both hands of the user is touched.

그리고, 상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지할 수 있다.In addition, when only the end points of all fingers among the plurality of points of all fingers of the user's both hands are touched, the multi-touch input may be sensed.

또한, 상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하는 단계;를 포함하고, 상기 추출하는 단계는, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출할 수 있다.In addition, the step of analyzing the movement direction and speed of the hand included in the hand region; includes, wherein the extracting includes extracting the user's hand based on the hand movement direction and speed analyzed in the previous frame. can

그리고, 상기 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하는 단계; 상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 추출된 사물의 종류를 판단하는 단계;를 포함할 수 있다.and analyzing the acquired depth image to determine whether an object in the acquired depth image is a human hand or an object; and determining the type of the extracted object when it is determined that the object in the depth image is an object.

또한, 상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행하는 단계;를 포함할 수 있다.The method may further include performing a function of the electronic device based on the determined type of the object and the touch position of the object.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 뎁스 영상을 획득하는 뎁스 카메라; 및 상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 상기 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 제어부;를 포함한다.On the other hand, according to an embodiment of the present invention for achieving the above object, an electronic device, a depth camera for acquiring a depth image; and extracting a hand region including the user's hand from the acquired depth image, modeling the user's fingers and palm included in the hand region as a plurality of points, and based on the depth information of the modeled plurality of points and a control unit that senses a touch input.

그리고, 상기 제어부는, 상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.And, the control unit, each of the index finger, middle finger, and ring finger of the user's fingers is modeled as a plurality of points, each of the thumb and small finger of the user's fingers is modeled as a single point, and the palm of the user is a single point can be modeled as

또한, 상기 제어부는, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고, 상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.In addition, when it is sensed that only the tip of at least one finger among the plurality of points of the index and middle fingers is touched, the control unit detects a touch input at the touched point, and among the plurality of points of the index and middle fingers, the controller detects a touch input. When a plurality of points of at least one finger are sensed as being touched, the touch input may not be sensed.

그리고, 상기 제어부는, 상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고, 상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않을 수 있다.And, when it is sensed that only the tip point of two fingers among the plurality of points of the thumb and index finger is touched, the controller detects a multi-touch input at the touched point, and the plurality of points of the index finger and the thumb When it is sensed that one point is all touched, the touch input may not be sensed.

또한, 상기 제어부는, 상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지할 수 있다.Also, when it is sensed that only the tip of two fingers among the plurality of points of the index fingers of the user's both hands is touched, the controller may sense a multi-touch input at the touched point.

그리고, 상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지할 수 있다.In addition, when only the end points of all fingers among the plurality of points of all fingers of the user's both hands are touched, the multi-touch input may be sensed.

또한, 상기 제어부는, 상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하고, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출할 수 있다In addition, the controller may analyze the movement direction and speed of the hand included in the hand region, and extract the user's hand based on the hand movement direction and speed analyzed in the previous frame.

그리고, 상기 제어부는, 상기 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하고, 상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 추출된 사물의 종류를 판단할 수 있다.Then, the controller analyzes the acquired depth image to determine whether an object in the acquired depth image is a human hand or an object, and when it is determined that the object in the depth image is an object, the extracted Can determine the type of object.

또한, 상기 제어부는, 상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행할 수 있다.Also, the controller may perform the function of the electronic device based on the determined type of the object and the touch position of the object.

그리고, 터치 영역에 영상을 투사하는 영상 투사부;를 더 포함할 수 있다.And, it may further include; an image projection unit for projecting an image to the touch area.

상술한 바와 같은 본 발명의 다양한 실시예에 의해, 뎁스 카메라를 이용한 터치 입력의 사용자 편의성이 향상될 수 있다. 또한, 전자 장치는 뎁스 카메라를 이용하여 다양한 사용자 입력을 제공할 수 있게 된다.According to various embodiments of the present invention as described above, user convenience of a touch input using a depth camera may be improved. Also, the electronic device may provide various user inputs by using the depth camera.

도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 간략히 나타내는 블록도,
도 2는 본 발명의 일 실시예에 따른, 전자 장치의 구성을 상세히 나타내는 블록도,
도 3a 내지 도 4는 본 발명의 일 실시예에 따른, 뎁스 카메라를 이용하여 획득된 뎁스 영상으로부터 손 영역을 추출하고, 추출된 손 영역의 손가락 및 손바닥을 복수의 지점으로 모델링하는 실시예를 설명하기 위한 도면들,
도 5a 내지 도 8b는 본 발명의 다양한 실시예에 따른, 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 판단하는 실시예를 설명하기 위한 도면들,
도 9는 본 발명의 일 실시예에 따른, 터치 영역을 도시한 도면,
도 10a 내지 도 11c는 본 발명의 일 실시예에 따른, 사물을 이용하여 전자 장치를 제어하는 실시예를 설명하기 위한 도면,
도 12 및 도 13은 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 14는 본 발명의 다른 실시예에 따른, 외부의 사용자 단말을 통해 전자 장치가 제어되는 실시예를 설명하기 위한 도면, 그리고,
도 15a 및 도 15b는 본 발명의 일 실시예에 따른, 스탠드형 전자 장치를 도시한 도면이다.1 is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present invention;
2 is a block diagram showing in detail the configuration of an electronic device according to an embodiment of the present invention;
3A to 4 illustrate an embodiment of extracting a hand region from a depth image obtained using a depth camera and modeling fingers and palms of the extracted hand region as a plurality of points, according to an embodiment of the present invention. drawings for
5A to 8B are diagrams for explaining an embodiment of determining a touch input based on depth information of a plurality of points, according to various embodiments of the present disclosure;
9 is a view showing a touch area according to an embodiment of the present invention;
10A to 11C are diagrams for explaining an embodiment of controlling an electronic device using an object according to an embodiment of the present invention;
12 and 13 are flowcharts for explaining a method of controlling an electronic device according to an embodiment of the present invention;
14 is a view for explaining an embodiment in which an electronic device is controlled through an external user terminal according to another embodiment of the present invention;
15A and 15B are diagrams illustrating a stand-up electronic device according to an embodiment of the present invention.

본 발명의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시예들에 대해 구체적으로 설명하기로 한다.Terms used in the embodiments of the present invention will be briefly described, and the present embodiments will be described in detail.

본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다. Terms used in the embodiments of the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. . In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding embodiments. Therefore, the terms used in the present embodiments should be defined based on the meaning of the term and the overall contents of the present embodiments, rather than the simple name of the term.

본 발명의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. In an embodiment of the present invention, terms including ordinal numbers such as first, second, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 본 발명의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Also, in an embodiment of the present invention, the singular expression includes the plural expression unless the context clearly dictates otherwise.

또한, 본 발명의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, in an embodiment of the present invention, terms such as "comprise" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one It should be understood that it does not preclude the possibility of the presence or addition of or more other features or numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 발명의 실시 예에서, ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.In addition, in an embodiment of the present invention, a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software. In addition, the plurality of ‘modules’ or ‘units’ may be integrated into at least one module and implemented as at least one processor, except for ‘modules’ or ‘units’ that need to be implemented with specific hardware.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.In addition, in an embodiment of the present invention, when it is said that a part is "connected" with another part, it is not only "directly connected" but also "electrically connected" with another element interposed therebetween. Including cases where there is

또한, 본 발명의 실시 예에서, “터치 입력”이란 사용자가 장치를 제어하기 위해 디스플레이 및 커버에 행하는 터치 제스처를 포함할 수 있다. 또한, “터치 입력”은 디스플레이 상에 접촉되지 않고, 일정 거리 이상 이격되어 있는 상태의 터치(예컨대, 플로팅(floating) 또는 호버링(hovering))를 포함할 수 있다. Also, in an embodiment of the present invention, “touch input” may include a touch gesture that a user performs on the display and the cover to control the device. Also, the “touch input” may include a touch (eg, floating or hovering) in a state that is not in contact with the display and is spaced apart by a predetermined distance or more.

또한, 본 발명의 실시 예에서, “어플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 발명의 실시 예에서, 어플리케이션은 다양할 수 있다. 예를 들어, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 캘린더 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.In addition, in an embodiment of the present invention, "application" refers to a set of computer programs designed to perform a specific task. In an embodiment of the present invention, applications may be varied. For example, there may be a game application, a video playback application, a map application, a memo application, a calendar application, a phone book application, a broadcast application, an exercise support application, a payment application, a photo folder application, and the like, but is not limited thereto.

이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 우선, 도 1은 본 발명의 일 실시예에 따른, 전자 장치(100)의 구성을 간략히 나타내는 블록도이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 뎁스 카메라(110) 및 제어부(120)를 포함한다. Hereinafter, the present invention will be described in more detail with reference to the drawings. First, FIG. 1 is a block diagram schematically illustrating the configuration of an electronic device 100 according to an embodiment of the present invention. 1 , the electronic device 100 includes a depth camera 110 and a controller 120 .

뎁스 카메라(110)는 특정 영역에 대한 뎁스 영상을 획득한다. 구체적으로, 뎁스 카메라(110)는 영상이 투사되는 터치 영역에 대한 뎁스 영상을 촬영할 수 있다.The depth camera 110 acquires a depth image for a specific area. Specifically, the depth camera 110 may capture a depth image of the touch region onto which the image is projected.

제어부(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(120)는 뎁스 카메라(110)를 통해 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지할 수 있다.The controller 120 controls the overall operation of the electronic device 100 . In particular, the controller 120 extracts a hand region including the user's hand from the depth image acquired through the depth camera 110 , models the user's fingers and palm included in the hand region as a plurality of points, and performs modeling A touch input may be detected based on depth information of a plurality of points.

구체적으로, 제어부(120)는 뎁스 카메라(110)를 통해 획득된 뎁스 영상을 분석하여 뎁스 영상 내에 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단할 수 있다. 더욱 구체적으로, 제어부(120)는 어떠한 물체도 없는 디스플레이 영역에 대한 평면 뎁스 영상과 촬영된 뎁스 영상과의 차이를 측정하여 뎁스 영상 내의 물체의 형상을 판단할 수 있다.Specifically, the controller 120 may analyze the depth image acquired through the depth camera 110 to determine whether the object in the depth image in the depth image is a human hand or an object. More specifically, the controller 120 may determine the shape of the object in the depth image by measuring a difference between the flat depth image and the captured depth image of the display area in which there is no object.

그리고, 뎁스 영상 내에 사용자의 손 모양이 존재하는 것으로 판단한 경우, 제어부(120)는 뎁스 영상 내에서 손 영역을 검출할 수 있다. 이때, 제어부(120)는 뎁스 영상 내의 노이즈를 제거하여 사용자의 손이 포함된 손 영역을 검출할 수 있다.And, when it is determined that the user's hand shape is present in the depth image, the controller 120 may detect a hand region in the depth image. In this case, the controller 120 may detect a hand region including the user's hand by removing noise in the depth image.

그리고, 제어부(120)는 추출된 손 영역에 포함된 사용자의 손바닥 및 손가락을 복수의 지점으로 모델링할 수 있다. 구체적으로, 제어부(120)는 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.In addition, the controller 120 may model the user's palm and fingers included in the extracted hand region as a plurality of points. Specifically, the control unit 120 models each of the index finger, middle finger, and ring finger among the user's fingers as a plurality of points, each of the thumb and small finger among the user's fingers as a single point, and the user's palm as a single point. can be modeled.

그리고, 제어부(120)는 모델링된 복수의 지점에 대한 뎁스 정보를 바탕으로 사용자의 터치 입력을 감지할 수 있다. 구체적으로, 검지 및 중지의 복수의 지점 중 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 제어부(120)는 터치된 지점에 터치 입력을 감지하고, 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 제어부(120)는 터치 입력을 감지하지 않을 수 있다.In addition, the controller 120 may sense a user's touch input based on depth information on a plurality of modeled points. Specifically, when it is sensed that only the tip of one finger among the plurality of points of the index and middle fingers is touched, the controller 120 detects a touch input at the touched point, and at least one of the plurality of points of the index and middle fingers. When it is sensed that a plurality of points of a finger of , are touched, the controller 120 may not detect a touch input.

또한, 사용자의 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 제어부(120)는 엄지 및 검지를 이용한 멀티 터치 입력을 감지하고, 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 제어부(120)는 엄지 및 검지를 이용한 터치 입력을 감지하지 않을 수 있다.In addition, when it is sensed that only the tip of two fingers among the plurality of points of the user's thumb and index finger is touched, the controller 120 detects a multi-touch input using the thumb and index finger, and detects a multi-touch input using the thumb and index finger, and the plurality of points of the index finger and the thumb. When it is sensed that all one point of ' is touched, the controller 120 may not detect a touch input using the thumb and forefinger.

또한, 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 제어부(120)는 양손의 검지를 이용한 멀티 터치 입력을 감지할 수 있으며, 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 제어부(120)는 양손을 이용한 멀티 터치 입력을 감지할 수 있다.In addition, when it is sensed that only the tip points of two fingers among the plurality of points of the index fingers of the user's hands are touched, the controller 120 may detect a multi-touch input using the index fingers of both hands, and all fingers of the user's both hands. When only the end points of all fingers are touched among the plurality of points of , the controller 120 may detect a multi-touch input using both hands.

또한, 제어부(120)는 사용자의 터치 액션을 더욱 빠르게 판단하기 위하여,손 영역에 포함된 손의 움직임 방향 및 속도를 분석하고, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 사용자의 손 영역을 추출할 수 있다.In addition, in order to determine the user's touch action more quickly, the controller 120 analyzes the movement direction and speed of the hand included in the hand region, and based on the hand movement direction and speed analyzed in the previous frame, the user's hand area can be extracted.

다만, 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 제어부(120)는 추출된 사물의 종류를 판단할 수 있다. 즉, 제어부(120)는 터치 영역 내에 올려진 사물과 기 등록된 사물의 형상과 비교하여 터치 영역 내에 올려진 사물의 종류를 판단할 수 있다. 그리고, 제어부(120)는 판단된 사물의 종류 및 사물의 터치 위치 중 적어도 하나를 바탕으로 전자 장치(100)의 기능을 수행할 수 있다.However, when it is determined that the object in the depth image is an object, the controller 120 may determine the type of the extracted object. That is, the controller 120 may determine the type of the object placed in the touch area by comparing the shape of the object placed in the touch area and the previously registered object. In addition, the controller 120 may perform a function of the electronic device 100 based on at least one of the determined type of the object and the touch position of the object.

상술한 바와 같은 전자 장치(100)를 이용함으로써, 사용자는 더욱 효율적으로 뎁스 카메라를 이용한 터치 입력을 수행할 수 있게 된다.By using the electronic device 100 as described above, the user can more efficiently perform a touch input using the depth camera.

이하에서는 도 2 내지 도 11c를 참조하여 본 발명에 대해 더욱 상세하게 설명하기로 한다.Hereinafter, the present invention will be described in more detail with reference to FIGS. 2 to 11C .

우선, 도 2는 본 발명의 일 실시예에 따른 전자 장치(200)의 구성을 상세히 도시한 블록도이다. 도 2에 도시된 바와 같이, 전자 장치(200)는 뎁스 카메라(210), 영상 입력부(220), 디스플레이부(230), 저장부(240), 통신부(250) 및 제어부(260)를 포함한다.First, FIG. 2 is a block diagram illustrating in detail the configuration of the electronic device 200 according to an embodiment of the present invention. As shown in FIG. 2 , the electronic device 200 includes a depth camera 210 , an image input unit 220 , a display unit 230 , a storage unit 240 , a communication unit 250 , and a control unit 260 . .

한편, 도 2는 전자 장치(200)가 컨텐츠 제공 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.Meanwhile, FIG. 2 shows various components in a comprehensive manner, taking the case that the electronic device 200 is a device having various functions such as a content providing function and a display function, as an example. Accordingly, according to an embodiment, some of the components shown in FIG. 2 may be omitted or changed, and other components may be further added.

뎁스 카메라(210)는 특정 영역에 대한 뎁스 영상을 획득한다. 특히, 전자 장치(200)가 빔 프로젝터를 이용하여 영상을 디스플레이하는 경우, 뎁스 카메라(210)는 빔 프로젝터가 빛을 투사하여 영상이 디스플레이되는 디스플레이 영역에 대한 뎁스 영상을 획득할 수 있다.The depth camera 210 acquires a depth image for a specific area. In particular, when the electronic device 200 displays an image using a beam projector, the depth camera 210 may obtain a depth image for a display area in which the image is displayed by the beam projector projecting light.

영상 입력부(220)는 다양한 소스를 통해 영상 데이터를 입력받는다. 예를 들어, 영상 입력부(220)는 외부의 방송국으로부터 방송 데이터를 입력받을 수 있으며, 외부 서버로부터 실시간으로 VOD 데이터를 입력할 수 있으며, 외부 기기로부터 영상 데이터를 입력받을 수 있다. The image input unit 220 receives image data through various sources. For example, the image input unit 220 may receive broadcast data from an external broadcasting station, may input VOD data from an external server in real time, and may receive image data from an external device.

디스플레이부(230)는 영상 입력부(220)를 통해 입력된 영상 데이터를 디스플레이할 수 있다. 이때. 디스플레이부(230)는 빔 프로젝터 방식으로 영상 데이터를 출력할 수 있다. 특히, 디스플레이부(230)는 DLP 방식을 이용하여 빛을 투사할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 방식을 이용하여 빛을 투사할 수 있다.The display unit 230 may display image data input through the image input unit 220 . At this time. The display 230 may output image data in a beam projector method. In particular, the display unit 230 may project light using the DLP method, but this is only an example and may project light using another method.

또한, 디스플레이부(230)는 빔 프로젝터 방식이 아닌 일반적인 디스플레이로 구현될 수 있다. 예를 들어, 디스플레이부(230)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태로 구현될 수 있다. 디스플레이부(230)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(230)가 액정 방식인 경우, 디스플레이부(230)는 LCD 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다.　 Also, the display unit 230 may be implemented as a general display instead of a beam projector. For example, the display unit 230 may have various types such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, an active-matrix organic light-emitting diode (AM-OLED), a plasma display panel (PDP), and the like. can be implemented as The display unit 230 may additionally include an additional configuration according to an implementation method thereof. For example, when the display unit 230 is a liquid crystal type, the display unit 230 drives an LCD display panel (not shown), a backlight unit (not shown) supplying light thereto, and the panel (not shown). It may include a panel driving substrate (not shown).

저장부(240)는 전자 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.　저장부(240)는 제어부(260)에 의해 액세스되며, 제어부(260)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.　 본 발명에서 저장리(240)는 제어부(260) 내 롬(262), 램(261) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하여 정의될 수 있다. 또한, 저장부(240)에는 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.　 The storage unit 240 may store various programs and data necessary for the operation of the electronic device 200 . It may include a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD). The storage unit 240 is accessed by the control unit 260 , and reading/writing/modification/deletion/update of data by the control unit 260 may be performed. In the present invention, the storage unit 240 is a memory card (not shown) mounted in the ROM 262 , the RAM 261 , or the electronic device 200 in the controller 260 (eg, a micro SD card, a memory stick). can be defined including In addition, programs and data for configuring various screens to be displayed on the display area may be stored in the storage unit 240 .

또한, 저장부(240)는 사물의 유형과 사물의 뎁스 정보를 바탕으로 산출된 결과값을 매칭하여 저장할 수 있다.Also, the storage unit 240 may match and store the result value calculated based on the type of the object and the depth information of the object.

통신부(250)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(250)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함한다. 제어부(260)는 통신부(250)를 이용하여 각종 외부 기기와 통신을 수행한다. The communication unit 250 is configured to communicate with various types of external devices according to various types of communication methods. The communication unit 250 includes a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and the like. The control unit 260 performs communication with various external devices using the communication unit 250 .

특히, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.In particular, the Wi-Fi chip and the Bluetooth chip perform communication using the WiFi method and the Bluetooth method, respectively. In the case of using a Wi-Fi chip or a Bluetooth chip, various types of connection information such as an SSID and a session key are first transmitted and received, and then various types of information can be transmitted and received after communication connection using the same. The wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evoloution (LTE). The NFC chip refers to a chip operating in an NFC (Near Field Communication) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz, and 2.45 GHz.

제어부(260)는 저장부(240)에 저장된 각종 프로그램을 이용하여 전자 장치(200)의 전반적인 동작을 제어한다.The control unit 260 controls the overall operation of the electronic device 200 by using various programs stored in the storage unit 240 .

제어부(260)는 도 2에 도시된 바와 같이, RAM(261), ROM(262), 그래픽 처리부(263), 메인 CPU(264), 제1 내지 n 인터페이스(265-1 ~ 265-n), 버스(266)를 포함한다. 이때, RAM(261), ROM(262), 그래픽 처리부(263), 메인 CPU(264), 제1 내지 n 인터페이스(265-1 ~ 265-n) 등은 버스(266)를 통해 서로 연결될 수 있다. As shown in FIG. 2, the control unit 260 includes a RAM 261, a ROM 262, a graphic processing unit 263, a main CPU 264, first to n interfaces 265-1 to 265-n, bus 266 . In this case, the RAM 261 , the ROM 262 , the graphic processing unit 263 , the main CPU 264 , the first to n interfaces 265 - 1 to 265 -n, etc. may be connected to each other through the bus 266 . .

ROM(262)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(264)는 ROM(262)에 저장된 명령어에 따라 저장부(240)에 저장된 O/S를 RAM(261)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(264)는 저장부(240)에 저장된 각종 어플리케이션 프로그램을 RAM(261)에 복사하고, RAM(261)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다. The ROM 262 stores an instruction set for system booting and the like. When a turn-on command is input and power is supplied, the main CPU 264 copies the O/S stored in the storage unit 240 to the RAM 261 according to the command stored in the ROM 262, and executes the O/S. to boot the system. When booting is completed, the main CPU 264 copies various application programs stored in the storage unit 240 to the RAM 261 , and executes the application programs copied to the RAM 261 to perform various operations.

그래픽 처리부(263)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 정보를 포함하는 화면을 생성한다. 연산부는 사용자에 입력된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 정보들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 정보를 포함하는 다양한 레이아웃으로 구성된 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(230)의 디스플레이 영역 내에 표시된다.The graphic processing unit 263 generates a screen including various information such as items, images, and texts by using a calculation unit (not shown) and a rendering unit (not shown). The calculation unit calculates attribute values such as coordinate values, shape, size, color, etc. at which each piece of information is to be displayed according to the layout of the screen by using a control command input by the user. The rendering unit generates a screen composed of various layouts including information based on the attribute values calculated by the calculation unit. The screen generated by the rendering unit is displayed in the display area of the display unit 230 .

메인 CPU(264)는 저장부(240)에 액세스하여, 저장부(240)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(264)는 저장부(240)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. The main CPU 264 accesses the storage unit 240 and performs booting using the O/S stored in the storage unit 240 . In addition, the main CPU 264 performs various operations using various programs, contents, data, etc. stored in the storage unit 240 .

제1 내지 n 인터페이스(265-1 내지 265-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to n-th interfaces 265-1 to 265-n are connected to the various components described above. One of the interfaces may be a network interface connected to an external device through a network.

특히, 제어부(260)는 뎁스 카메라(210)를 통해 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하며, 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지한다.In particular, the controller 260 extracts a hand region including the user's hand from the depth image obtained through the depth camera 210 , models the user's fingers and palm included in the hand region as a plurality of points, and performs modeling A touch input is sensed based on depth information of a plurality of points.

구체적으로, 제어부(260)는 디스플레이부(230)에 의해 영상이 투사되는 디스플레이 영역에 대한 뎁스 영상을 획득한다. 우선, 제어부(260)는 디스플레이 영역상에 어떠한 물체도 놓여지지 않은 평면 뎁스 영상을 획득한다. 그리고, 제어부(260)는 특정 물체(예를 들어, 사용자의 손, 사물 등)가 놓여진 디스플레이 영역을 촬영한 뎁스 영상을 획득한다. 그리고, 제어부(260)는 촬영된 뎁스 영상과 평면 뎁스 영상의 차이를 측정하여 도 3a에 도시된 바와 같은 뎁스 영상을 획득할 수 있다.Specifically, the control unit 260 obtains a depth image of the display area onto which the image is projected by the display unit 230 . First, the controller 260 acquires a flat depth image in which no object is placed on the display area. Then, the controller 260 acquires a depth image obtained by photographing a display area on which a specific object (eg, a user's hand, an object, etc.) is placed. In addition, the controller 260 may obtain a depth image as shown in FIG. 3A by measuring a difference between the captured depth image and the planar depth image.

그리고, 제어부(260)는 컨벡스 헐(convex hull)을 바탕으로 도 3a에 도시된 바와 같은 뎁스 영상으로부터 노이즈를 제거하고, 도 3b에 도시된 바와 같이, 사람의 손을 포함하는 손 영역(310)을 추출할 수 있다.In addition, the controller 260 removes noise from the depth image as shown in FIG. 3A based on a convex hull, and as shown in FIG. 3B , a hand region 310 including a human hand. can be extracted.

그리고, 제어부(260)는 손 영역(310)의 깊이 정보 및 형상을 바탕으로 도 3c에 도시된 바와 같이, 사용자의 손바닥 및 손가락을 복수의 지점으로 모델링할 수 있다. 본 발명의 일 실시예로, 제어부(260)는 도 4에 도시된 바와 같이, 손바닥을 제1 지점(410-1)으로 모델링하고, 엄지를 제2 지점(410-2)으로 모델링하며, 검지를 제3 및 제4 지점(410-3,410-4)으로 모델링하고, 중지를 제5 및 제6 지점(410-5,410-6)으로 모델링하며, 약지를 제7 및 제8 지점(410-7,410-8)으로 모델링하고, 소지를 제9 지점(410-9)으로 모델링할 수 있다. 즉, 사용자의 손바닥 및 손가락 모델은 책상 평면 위에서 사용자가 타이핑할 때의 손의 자연스러운 모양을 단순화한 것이다. 예를 들어, 엄지와 소지는 사용하지 않는 마디의 구분이 없으며, 검지, 중지, 약지는 마디를 각 1개씩 표현할 수 있다.Also, the controller 260 may model the user's palm and fingers as a plurality of points based on the depth information and the shape of the hand region 310 as shown in FIG. 3C . In an embodiment of the present invention, the controller 260 models the palm as the first point 410-1, the thumb as the second point 410-2, and the index finger as shown in FIG. to the third and fourth points (410-3,410-4), the middle finger to the fifth and sixth points (410-5,410-6), and the ring finger to the seventh and eighth points (410-7,410-) 8), and the body can be modeled as the ninth point 410-9. That is, the user's palm and finger model is a simplification of the natural shape of the user's hand when typing on the desk plane. For example, there is no distinction between the thumb and the little finger as unused nodes, and the index finger, middle finger, and ring finger can represent one node each.

그리고, 제어부(260)는 모델링된 복수의 지점의 뎁스 정보를 바탕으로 사용자의 터치 입력을 감지할 수 있다. 이에 대해서는 도 5a 내지 도 8b를 참조하여 더욱 상세히 설명하기로 한다. 참고로, 도 5a 내지 도 8b에서는 기준 평면에서 터치 인식 거리 밖에 있는 경우 ●로 표현하고, 기준 평면에서 터치 인식 거리 안에 있는 경우 ○로 표현할 수 있다.In addition, the controller 260 may detect a user's touch input based on depth information of a plurality of modeled points. This will be described in more detail with reference to FIGS. 5A to 8B . For reference, in FIGS. 5A to 8B , a case outside the touch recognition distance from the reference plane may be expressed as ●, and a case within the touch recognition distance from the reference plane may be expressed as ○.

우선, 검지 및 중지 중 하나의 손가락의 끝 지점(410-4,410-5)만 터치된 것으로 감지된 경우, 제어부(260)는 터치된 지점에 대란 터치 입력을 감지할 수 있다. 구체적으로, 도 5a에 도시된 바와 같이, 중지의 끝지점(410-5)만 터치 인식 거리 안에 있거나, 도 5b에 도시된 바와 같이, 중지의 끝지점(410-5)과 손바닥 지점(410-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 중지의 끝지점(410-5)이 터치한 지점에 대한 터치 입력을 감지할 수 있다. First, when it is sensed that only the tip points 410 - 4 and 410 - 5 of one of the index and middle fingers are touched, the controller 260 may detect a large touch input at the touched point. Specifically, as shown in FIG. 5A, only the end point 410-5 of the middle finger is within the touch recognition distance, or as shown in FIG. 5B, the end point 410-5 of the middle finger and the palm point 410- When 1) is within the touch recognition distance, the controller 260 may detect a touch input to the point touched by the end point 410 - 5 of the middle finger.

그러나, 검지 및 중지 중 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 제어부(260)는 터치 입력을 감지하지 않을 수 있다. 구체적으로, 도 5c에 도시된 바와 같이, 중지의 복수의 지점(410-5,410-6)이 모두 터치 인식 거리 안에 있거나, 도 5d에 도시된 바와 같이, 중지의 복수의 지점(410-5,410-6) 및 손바닥 지점(410-1)이 모두 터치 인식 거리 안에 있는 경우, 제어부(260)는 터치 입력을 감지하지 않을 수 있다. 즉, 사용자가 터치를 할 경우 중지의 끝부분만을 터치하지 중지의 모든 부분을 터치하지 않으므로, 중지의 복수의 지점(410-5,410-6)이 모두 터치된 것으로 감지되면, 제어부(260)는 사용자의 의도치 않는 터치라고 판단하여 터치 입력을 감지하지 않을 수 있다.However, when it is sensed that a plurality of points of one of the index and middle fingers are touched, the controller 260 may not sense the touch input. Specifically, as shown in FIG. 5C , the plurality of points 410-5 and 410-6 of the middle finger are all within the touch recognition distance, or as shown in FIG. 5D , the plurality of points 410-5 and 410-6 of the middle finger are all within the touch recognition distance. ) and the palm point 410 - 1 are both within the touch recognition distance, the controller 260 may not detect the touch input. That is, when the user touches only the end of the middle finger and does not touch all parts of the middle finger, when it is sensed that all of the plurality of points 410-5 and 410-6 of the middle finger are touched, the controller 260 controls the user The touch input may not be detected by determining that it is an unintentional touch of the .

한편, 도 5a 내지 도 5d는 중지를 이용하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 검지를 이용한 경우 역시 도 5a 내지 도 5d와 마찬가지로 동작할 수 있다.Meanwhile, although FIGS. 5A to 5D have been described using the middle finger, this is only an exemplary embodiment, and when the index finger is used, the same operation may be performed as in FIGS. 5A to 5D .

또한, 엄지 및 검지를 이용하여 멀티 터치를 수행하는 경우, 엄지 및 검지의 복수의 지점(410-2 내지 410-4) 중 두 손가락의 끝 지점만 터치된 것으로 감지되면, 제어부(260)는 터치된 지점에 멀티 터치 입력을 감지할 수 있다. 구체적으로, 도 6a에 도시된 바와 같이, 검지의 끝지점(410-4) 및 엄지의 끝지점(410-2)만이 터치 인식 거리 안에 있거나, 도 6b에 도시된 바와 같이, 검지의 끝지점(410-4), 엄지의 끝지점(410-2) 및 손바닥 지점(410-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 중지 및 엄지를 이용한 멀티 터치 입력을 감지할 수 있다. 즉, 제어부(260)는 중지 및 엄지 사이의 거리 변경에 따라 다양한 기능(예를 들어, 영상의 줌인, 줌아웃 등)을 제공할 수 있다.In addition, in the case of performing multi-touch using the thumb and forefinger, if it is sensed that only the tip of two fingers among the plurality of points 410-2 to 410-4 of the thumb and forefinger is touched, the controller 260 controls the touch Multi-touch input can be detected at the specified point. Specifically, as shown in Fig. 6a, only the end point 410-4 of the index finger and the end point 410-2 of the thumb are within the touch recognition distance, or as shown in Fig. 6b, the end point of the index finger ( 410-4), the end point 410-2 of the thumb, and the palm point 410-1 are within the touch recognition distance, the controller 260 may detect a multi-touch input using the middle finger and thumb. That is, the controller 260 may provide various functions (eg, zoom in and out of an image) according to a change in the distance between the middle finger and the thumb.

그러나, 검지의 복수의 지점(410-3,410-4) 및 엄지의 하나의 지점(410-2)이 모두 터치된 것으로 감지된 경우, 제어부(260)는 터치 입력을 감지하지 않을 수 있다. 구체적으로, 도 6c에 도시된 바와 같이, 검지의 복수의 지점(410-3,410-4) 및 엄지의 끝지점(410-2)이 터치 인식 거리 안에 있거나, 도 6d에 도시된 바와 같이, 검지의 복수의 지점(410-3,410-4), 엄지의 끝지점(410-2) 및 손바닥 지점(410-1)이 모두 터치 인식 거리 안에 있는 경우, 제어부(260)는 멀티 터치 입력을 감지하지 않을 수 있다.However, when it is sensed that the plurality of points 410 - 3 and 410 - 4 of the index finger and the point 410 - 2 of the thumb are all touched, the controller 260 may not detect the touch input. Specifically, as shown in FIG. 6C , the plurality of points 410-3 and 410-4 of the index finger and the end point 410-2 of the thumb are within the touch recognition distance, or as shown in FIG. 6D, the index finger When the plurality of points 410-3 and 410-4, the end point 410-2 of the thumb, and the palm point 410-1 are all within the touch recognition distance, the controller 260 may not detect the multi-touch input. have.

한편, 도 6a 내지 도 6d는 검지 및 엄지를 이용하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 중지 및 엄지를 이용하는 멀티 터치 입력의 경우 역시 도 6a 내지 도 6d와 마찬가지로 동작할 수 있다.Meanwhile, although FIGS. 6A to 6D have been described using the index finger and thumb, this is only an exemplary embodiment, and the multi-touch input using the middle finger and thumb may operate in the same manner as in FIGS. 6A to 6D .

또한, 사용자의 양손의 검지들을 이용하여 멀티 터치를 입력하고자 하는 경우, 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지되면, 제어부(260)는 양손의 검지를 이용한 멀티 터치 입력을 감지할 수 있다. 구체적으로, 도 7a에 도시된 바와 같이, 왼손 검지의 끝지점(710-4) 및 오른손 검지의 끝지점(720-4)만이 터치 인식 거리 안에 있거나, 도 7b에 도시된 바와 같이, 왼손 검지의 끝지점(710-4), 왼손 손바닥 지점(710-1), 오른손 검지의 끝지점(720-4) 및 오른손 손바닥 지점(720-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 양손의 중지를 이용한 멀티 터치 입력을 감지할 수 있다. 즉, 제어부(260)는 양 손의 중지 사이의 거리 변경에 따라 다양한 기능(예를 들어, 영상의 줌인, 줌아웃 등)을 제공할 수 있다.In addition, when a multi-touch input is performed using the index fingers of both hands of the user, if only the tip points of two fingers among a plurality of points of the index fingers of the user's hands are sensed as being touched, the controller 260 uses the index fingers of both hands It can detect multi-touch input. Specifically, as shown in Figure 7a, only the end point 710-4 and the right index finger end point 720-4 of the left index finger are within the touch recognition distance, or as shown in Figure 7b, the left index finger When the end point 710-4, the left palm point 710-1, the right index finger end point 720-4, and the right palm point 720-1 are within the touch recognition distance, the controller 260 controls both hands. It is possible to detect multi-touch input using the stop of . That is, the controller 260 may provide various functions (eg, zoom in and out of an image) according to a change in the distance between the middle fingers of both hands.

한편, 도 7b에서는 양손의 손바닥 지점(710-1,720-1)이 모두 터치 인식 거리 안에 있는 것으로 판단하였으나, 이는 일 실시예에 불과할 뿐, 양손의 손바닥 지점(710-1,720-1) 중 하나만이 터치 인식 거리 안에 있어도 양손의 중지를 이용한 멀티 터치 입력이 감지될 수 있다.Meanwhile, in FIG. 7B , it is determined that all of the palm points 710-1 and 720-1 of both hands are within the touch recognition distance, but this is only an exemplary embodiment, and only one of the palm points 710-1 and 720-1 of both hands is touched. A multi-touch input using the middle finger of both hands can be detected even within the recognition distance.

또한, 도 7a 및 도 7b는 양손의 검지를 이용하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 양손의 중지를 이용한 경우 역시 도 7a 및 도 7b와 마찬가지로 동작할 수 있다.In addition, although FIGS. 7A and 7B have been described using the index fingers of both hands, this is only an exemplary embodiment, and when the middle fingers of both hands are used, the same operation may be performed as in FIGS. 7A and 7B .

또한, 양손의 모든 손가락을 이용하여 멀티 터치를 입력하고자 하는 경우, 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 것으로 감지되면, 제어부(260)는 양손을 이용한 멀티 터치 입력을 감지할 수 있다. 구체적으로, 도 8a에 도시된 바와 같이, 왼손 모든 손가락의 끝지점(710-2,710-4, 710-5,710-7,710-9) 및 오른손 모든 손가락의 끝지점(720-2,720-4,720-5,720-7,720-9)이 터치 인식 거리 안에 있거나, 도 8b에 도시된 바와 같이, 왼손 모든 손가락의 끝지점(710-2,710-4, 710-5,710-7,710-9), 왼손 손바닥 지점(710-1), 오른손 모든 손가락의 끝지점(720-2,720-4,720-5,720-7,720-9) 및 오른손 손바닥 지점(720-1)이 터치 인식 거리 안에 있는 경우, 제어부(260)는 양손을 이용한 멀티 터치 입력을 감지할 수 있다. 즉, 제어부(260)는 양 손 사이의 거리 변경에 따라 다양한 기능(예를 들어, 영상의 줌인, 줌아웃 등)을 제공할 수 있다.In addition, when a multi-touch input using all fingers of both hands is detected, only the end points of all fingers among a plurality of points of all fingers of the user's both hands are sensed as being touched, the controller 260 controls multi-touch using both hands. Touch input can be detected. Specifically, as shown in FIG. 8A, the endpoints of all fingers of the left hand (710-2,710-4, 710-5,710-7,710-9) and the endpoints of all fingers of the right hand (720-2,720-4,720-5,720-7,720-) 9) is within the touch recognition distance, or as shown in FIG. 8B, the end points of all fingers of the left hand (710-2,710-4, 710-5,710-7,710-9), the palm point of the left hand (710-1), all of the right hand When the finger tips 720-2, 720-4, 720-5, 720-7, 720-9 and the right palm point 720-1 are within the touch recognition distance, the controller 260 may detect a multi-touch input using both hands. . That is, the controller 260 may provide various functions (eg, zoom in and out of an image) according to a change in the distance between the two hands.

도 5a 내지 도 8b와 같이 터치 입력을 감지함으로써, 전자 장치(200)는 사용자의 손바닥이 바닥에 닿거나 떨어지거나와 무관하게 손가락의 터치 동작을 통해 터치 입력을 감지할 수 있으며, 사용자의 의도치 않는 터치 입력을 감지하지 않을 수 있게 된다.By sensing a touch input as shown in FIGS. 5A to 8B , the electronic device 200 may sense the touch input through a touch operation of a finger regardless of whether the user's palm touches or falls on the floor, and the user's intention value It becomes possible not to detect a touch input that is not there.

또한, 본 발명의 일 실시예에 따르면, 제어부(260)는 사용자의 터치 입력을 더욱 빠르게 감지하기 위하여, 손의 움직임 방향 및 속도를 분석할 수 있다. 그리고, 제어부(260)는 이전 프레임에 분석된 손의 움직임 방향 및 속도를 바탕으로 다음 프레임에서의 사용자의 손 영역의 위치를 판단하고, 판단된 손 영역의 위치를 추출할 수 있다. 이때, 제어부(260)는 뎁스 영상에서 손 영역을 크롭(crop)하여 손 영역을 추출할 수 있다.In addition, according to an embodiment of the present invention, the controller 260 may analyze the direction and speed of the hand movement in order to more quickly detect the user's touch input. Then, the controller 260 may determine the position of the user's hand region in the next frame based on the movement direction and speed of the hand analyzed in the previous frame, and extract the determined position of the hand region. In this case, the controller 260 may extract the hand region by cropping the hand region from the depth image.

한편, 상술한 실시예에서는 디스플레이 영역 내에 사용자의 손이 검출되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 사람의 손이 아닌 사물이 추출될 수 있다.Meanwhile, although it has been described that the user's hand is detected in the display area in the above-described embodiment, this is only an exemplary embodiment, and an object other than a human hand may be extracted.

구체적으로, 제어부(260)는 뎁스 카메라(210)를 통해 획득된 뎁스 영상을 분석하여 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단할 수 있다. 구체적으로, 제어부(260)는 평면 뎁스 영상과 뎁스 카메라(210)를 통해 촬영된 뎁스 영상 사이의 차이를 이용하여 디스플레이 영역 내에 위치하는 물체의 유형을 판단할 수 있다. 이때, 제어부(260)는 뎁스 영상 내에 있는 물체의 컬러 영역을 추출하고, 추출된 외곽 영역에 따라 분리된 사물의 이미지를 이용하여 사람의 손인지 사물인지 여부를 판단할 수 있다. 또는, 도 9에 도시된 바와 같이, 영상의 테두리에 위치하는 결정 영역(910)에 뎁스 영상의 차이가 존재하는 경우, 제어부(260)는 사람의 손이 위치하는 것으로 판단하고, 결정 영역(910)에 뎁스 영상의 차이가 존재하지 않는 경우, 제어부(260)는 사물이 위치하는 것으로 판단할 수 있다.Specifically, the controller 260 may analyze the depth image acquired through the depth camera 210 to determine whether the object in the acquired depth image is a human hand or an object. Specifically, the controller 260 may determine the type of the object located in the display area using a difference between the flat depth image and the depth image captured by the depth camera 210 . In this case, the controller 260 may extract a color region of an object in the depth image and determine whether it is a human hand or an object by using the image of the object separated according to the extracted outer region. Alternatively, as shown in FIG. 9 , when there is a difference in the depth image in the determination region 910 located at the edge of the image, the controller 260 determines that the hand of the person is located, and determines the determination area 910 . ), when there is no difference in the depth image, the controller 260 may determine that the object is located.

그리고, 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 제어부(260)는 추출된 사물의 종류를 판단할 수 있다. 구체적으로, 제어부(260)는 사물의 뎁스 정보를 바탕으로 사물의 넓이, 깊이 구간, 깊이 평균, 깊이 편차 등을 계산하고, 계산된 값에 가중치를 곱하고 곱한 값들을 더하여 결과값을 산출할 수 있다. 그리고, 제어부(260)는 사물의 유형과 매칭되어 저장된 결과값들과 산출된 결과값을 비교하여 뎁스 영상 내에 있는 사물의 유형을 판단할 수 있다.And, when it is determined that the object in the depth image is an object, the controller 260 may determine the type of the extracted object. Specifically, the control unit 260 may calculate the width, depth section, depth average, depth deviation, etc. of the object based on the depth information of the object, multiply the calculated value by a weight, and add the multiplied values to calculate a result value. . Then, the controller 260 may determine the type of the object in the depth image by comparing the stored result values matching the type of the object with the calculated result value.

그리고, 제어부(260)는 판단된 사물의 종류에 따라 전자 장치(100)의 기능을 제어할 수 있다. 예를 들어, 도 10a에 도시된 바와 같이, 제1 화면이 디스플레이되는 동안 디스플레이 영역에 올려진 사물의 종류가 컵(1010)인 것으로 판단된 경우, 제어부(260)는 컵과 매칭되는 명령(예를 들어, 동영상 어플리케이션 실행)을 수행할 수 있다. 즉, 제어부(260)는 도 10b에 도시된 바와 같이, 제2 화면(동영상 어플리케이션 실행 화면)을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 또 다른 예로, 제1 화면이 디스플레이되는 동안 디스플레이 영역에 올려진 사물의 종류가 공책인 것으로 판단되면, 제어부(260)는 공책과 매칭되는 명령(예를 들어, 메모 어플리케이션 실행)을 수행할 수 있다.In addition, the controller 260 may control the function of the electronic device 100 according to the determined type of object. For example, as shown in FIG. 10A , when it is determined that the type of the object placed on the display area is the cup 1010 while the first screen is displayed, the controller 260 controls a command matching the cup (eg, For example, running a video application) may be performed. That is, as shown in FIG. 10B , the controller 260 may control the display 230 to display the second screen (video application execution screen). As another example, if it is determined that the type of object placed on the display area is a notebook while the first screen is displayed, the controller 260 may execute a command matching the notebook (eg, executing a memo application). .

또한, 사물의 위치와 상관없이 사물의 유형에 따라 전자 장치(200)의 기능이 실행될 수 있으나, 이는 일 실시예에 불과할 뿐, 제어부(260)는 사물의 위치에 따라 상이한 기능을 제공할 수 있다. 즉, 도 11a에 도시된 바와 같이, 사물(1010)이 디스플레이 영역 내에 있는 경우, 도 11b에 도시된 바와 같이, 사물(1010)이 디스플레이 영역과 외곽의 경계선 상에 있는 경우, 도 11c에 도시된 바와 같이, 사물(1010)이 디스플레이 영역의 외곽에 있는 경우, 모두 상이한 기능을 제공할 수 있다. 예를 들어, 도 11a에 도시된 바와 같이, 사물(1010)이 디스플레이 영역 내에 있는 경우, 제어부(260)는 동영상 어플리케이션을 실행할 수 있고, 도 11b에 도시된 바와 같이, 사물(1010)이 디스플레이 영역과 외곽의 경계선상에 있는 경우, 제어부(260)는 음악 어플리케이션을 실행할 수 있으며, 도 11c에 도시된 바와 같이, 사물(1010)이 디스플레이 영역의 외곽에 있는 경우, 제어부(260)는 전자 장치(100)를 대기 모드로 전환할 수 있다. 또한, 사물(1010)이 디스플레이 영역 내의 위치에 따라 상이한 기능을 제공할 수 있음은 물론이다. In addition, the function of the electronic device 200 may be executed according to the type of the object regardless of the location of the object, but this is only an example, and the controller 260 may provide different functions according to the location of the object . That is, as shown in FIG. 11A , when the object 1010 is in the display area, as shown in FIG. 11B , when the object 1010 is on the boundary line between the display area and the outside, as shown in FIG. 11C . As described above, when the object 1010 is outside the display area, different functions may be provided. For example, as shown in FIG. 11A , when the object 1010 is in the display area, the controller 260 may execute a video application, and as shown in FIG. 11B , the object 1010 is placed in the display area. When the object 1010 is on the boundary of the display area, the control unit 260 may execute a music application, and as shown in FIG. 11C , when the object 1010 is located outside the display area, the control unit 260 controls the electronic device ( 100) can be switched to standby mode. In addition, it goes without saying that the object 1010 may provide different functions depending on the location in the display area.

또한, 사물(1010)이 디스플레이 영역 외곽에 위치하는 경우, 제어부(260)는 디스플레이 영역 중 사물(1010)이 위치하는 근처에 단축 아이콘을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.Also, when the object 1010 is located outside the display area, the controller 260 may control the display unit 230 to display a shortcut icon near where the object 1010 is located in the display area.

이하에서는 도 12 및 도 13을 바탕으로 전자 장치(100)의 제어 방법에 대해 설명하기로 한다. 도 12는 본 발명의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.Hereinafter, a method of controlling the electronic device 100 will be described with reference to FIGS. 12 and 13 . 12 is a flowchart illustrating a method of controlling the electronic device 100 according to an embodiment of the present invention.

우선, 전자 장치(100)는 뎁스 카메라를 이용하여 뎁스 영상을 획득한다(S1210). 구체적으로, 전자 장치(100)는 디스플레이 영역 내에 뎁스 영상을 획득할 수 있다.First, the electronic device 100 acquires a depth image by using a depth camera (S1210). Specifically, the electronic device 100 may acquire a depth image in the display area.

그리고, 전자 장치(100)는 촬영된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출한다(S1220). 이때, 전자 장치(100)는 뎁스 영상으로부터 노이즈를 제거하여 사용자의 손 영역을 추출할 수 있다.Then, the electronic device 100 extracts a hand region including the user's hand from the captured depth image ( S1220 ). In this case, the electronic device 100 may extract the user's hand region by removing noise from the depth image.

그리고, 전자 장치(100)는 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링한다(S1230). 구체적으로, 전자 장치(100)는 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 사용자의 손바닥은 하나의 지점으로 모델링할 수 있다.Then, the electronic device 100 models the user's fingers and palms included in the hand region as a plurality of points ( S1230 ). Specifically, the electronic device 100 models each of the index finger, middle finger, and ring finger among the user's fingers as a plurality of points, each of the thumb and small finger among the user's fingers as a single point, and the user's palm as a single point. can be modeled as

그리고, 전자 장치(100)는 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지한다(S1240). 구체적으로, 전자 장치(100)는 도 5a 내지 도 8b와 같은 다양한 실시예와 같이, 터치 입력을 감지할 수 있다.Then, the electronic device 100 senses a touch input based on depth information of a plurality of modeled points (S1240). Specifically, the electronic device 100 may sense a touch input as in various embodiments as illustrated in FIGS. 5A to 8B .

도 13은 본 발명의 또 다른 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.13 is a flowchart illustrating a method of controlling the electronic device 100 according to another embodiment of the present invention.

우선, 전자 장치(100)는 뎁스 카메라를 이용하여 뎁스 영상을 획득한다(S1310).First, the electronic device 100 obtains a depth image by using a depth camera (S1310).

그리고, 전자 장치(100)는 획득된 뎁스 영상을 분석한다(S1315). 구체적으로, 전자 장치(100)는 평면 뎁스 영상과 촬영된 뎁스 영상 사이의 차이를 이용하여 뎁스 영상을 분석할 수 있다.Then, the electronic device 100 analyzes the acquired depth image (S1315). Specifically, the electronic device 100 may analyze the depth image by using a difference between the plane depth image and the captured depth image.

그리고, 전자 장치(100)는 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사람의 손인지 여부를 판단한다(S1320).Then, the electronic device 100 determines whether the object in the acquired depth image is a human hand or a human hand ( S1320 ).

물체가 사람의 손이라고 판단된 경우, 전자 장치(100)는 뎁스 영상으로부터 노이즈를 제거하여 손 영역을 추출한다(S1325).When it is determined that the object is a human hand, the electronic device 100 extracts a hand region by removing noise from the depth image (S1325).

그리고, 전자 장치(100)는 손 여역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하고(S1330), 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하며(S1335), 감지된 터치 입력에 따라 전자 장치(100)를 제어한다(S1340).Then, the electronic device 100 models the user's fingers and palms included in the hand area as a plurality of points (S1330), and detects a touch input based on depth information of the modeled plurality of points (S1335), and detects The electronic device 100 is controlled according to the received touch input (S1340).

그러나, 물체가 사물이라고 판단된 경우, 전자 장치(100)는 사물의 뎁스 정보를 분석하고(S1345), 분석 결과를 바탕으로 사물의 종류를 판단하며(S1350), 판단된 사물의 종류 및 위치 중 적어도 하나에 따라 전자 장치(100)를 제어한다(S1355).However, when it is determined that the object is an object, the electronic device 100 analyzes the depth information of the object ( S1345 ), determines the type of the object based on the analysis result ( S1350 ), and determines among the determined types and positions of the object. The electronic device 100 is controlled according to at least one (S1355).

상술한 바와 같은 본 발명의 다양한 실시예에 의해, 뎁스 카메라를 이용한 터치 입력의 사용자 편의성이 향상될 수 있다. 또한, 전자 장치(100)는 뎁스 카메라를 이용하여 다양한 유형의 사용자 입력을 제공할 수 있게 된다.According to various embodiments of the present invention as described above, user convenience of a touch input using a depth camera may be improved. Also, the electronic device 100 may provide various types of user inputs using the depth camera.

한편, 상술한 실시예에서는 전자 장치(100)가 직접 영상을 디스플레이하고, 터치 입력을 감지하며, 터치 입력에 따라 기능을 수행하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 제어부(120)의 기능이 외부의 휴대 단말(1400)을 통해 수행될 수 있다. 구체적으로, 도 14에 도시된 바와 같이, 전자 장치(100)는 단순히 빔 프로젝트를 이용하여 영상을 출력하고, 뎁스 카메라를 이용하여 뎁스 영상을 획득할 뿐, 외부의 휴대 단말(1400)이 전자 장치(100)에 영상을 제공하고, 뎁스 영상을 분석하여 휴대 단말(1400) 및 전자 장치(100)의 기능을 제어할 수 있다. 즉, 외부의 휴대 단말(1400)이 상술한 제어부(120)의 기능을 수행할 수 있다.Meanwhile, in the above-described embodiment, it has been described that the electronic device 100 directly displays an image, senses a touch input, and performs a function according to the touch input. The function may be performed through the external portable terminal 1400 . Specifically, as shown in FIG. 14 , the electronic device 100 simply outputs an image using a beam project and acquires a depth image using a depth camera, and an external portable terminal 1400 uses the electronic device Functions of the portable terminal 1400 and the electronic device 100 may be controlled by providing an image to 100 and analyzing the depth image. That is, the external portable terminal 1400 may perform the above-described function of the control unit 120 .

또한, 본 발명의 일 실시예에 따른, 전자 장치(100)는 스탠드형 빔 프로젝터로 구현될 수 있다. 구체적으로, 도 15a는 스탠드형 빔 프로젝터의 정면도를 도시한 도면이고, 도 15b는 스탠드형 빔 프로젝터의 측면도를 도시한 도면이다. 특히, 스탠드형 빔 프로젝터는 도 15a 및 도 15b에 도시된 바와 같이, 상단에 빔 프로젝터(1510)와 뎁스 카메라(1520)를 구비하고, 폴더블 프레임(1530)(Foldable Frame) 및 도킹 베이스(1540)(Docking Base)가 빔 프로젝터(1510)와 뎁스 카메라(1520)를 지지할 수 있다. 전자 장치(100)는 상단의 빔 프로젝터(1510)를 이용하여 디스플레이 영역에 빛을 투사하고, 뎁스 카메라(1520)를 이용하여 디스플레이 영역에 대한 터치 입력을 감지할 수 있다. 그리고, 사용자는 폴더블 프레임(1530)을 조절하여 디스플레이 영역을 조절할 수 있다. 또한, 외부의 휴대 단말(1400)은 도킹 베이스(1540) 상에 거치될 수 있다.Also, according to an embodiment of the present invention, the electronic device 100 may be implemented as a stand-type beam projector. Specifically, FIG. 15A is a view showing a front view of the stand-type beam projector, and FIG. 15B is a view showing a side view of the stand-type beam projector. In particular, the stand-type beam projector includes a beam projector 1510 and a depth camera 1520 at the top, as shown in FIGS. 15A and 15B , and a foldable frame 1530 (Foldable Frame) and a docking base 1540 . ) (Docking Base) may support the beam projector 1510 and the depth camera 1520 . The electronic device 100 may use the upper beam projector 1510 to project light onto the display area, and sense a touch input to the display area using the depth camera 1520 . In addition, the user may adjust the display area by adjusting the foldable frame 1530 . Also, the external portable terminal 1400 may be mounted on the docking base 1540 .

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. In addition, the structure of the data used in the above-described method may be recorded in a computer-readable recording medium through various means. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).

본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.A person of ordinary skill in the art related to this embodiment will understand that it can be implemented in a modified form without departing from the essential characteristics of the above description. Therefore, the disclosed methods are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

110,210: 뎁스 카메라 120, 260: 제어부
220: 영상 입력부 230: 디스플레이부
240: 저장부 250: 통신부110, 210: depth camera 120, 260: control unit
220: image input unit 230: display unit
240: storage unit 250: communication unit

Claims (19)

전자 장치의 제어 방법에 있어서,
뎁스 카메라를 이용하여 뎁스 영상을 획득하는 단계;
상기 획득된 뎁스 영상을 분석하여 상기 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하는 단계;
상기 뎁스 영상 내에 있는 물체가 사람의 손인 것으로 판단된 경우, 상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하는 단계;
상기 추출된 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하는 단계;
상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하는 단계;
상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 획득된 뎁스 영상으로부터 사물이 포함된 사물 영역을 추출하는 단계;
상기 추출된 사물 영역에 포함된 사물의 종류를 판단하는 단계; 및
상기 판단된 사물의 종류에 매칭되는 어플리케이션을 실행하는 단계;를 포함하는 제어 방법.A method for controlling an electronic device, comprising:
acquiring a depth image using a depth camera;
analyzing the acquired depth image to determine whether the object in the acquired depth image is a human hand or an object;
extracting a hand region including the user's hand from the acquired depth image when it is determined that the object in the depth image is a human hand;
modeling the user's fingers and palms included in the extracted hand region as a plurality of points;
detecting a touch input based on depth information of the modeled plurality of points;
extracting an object region including an object from the acquired depth image when it is determined that the object in the depth image is an object;
determining a type of an object included in the extracted object area; and
and executing an application matching the determined type of thing. 제1항에 있어서,
상기 모델링하는 단계는,
상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링하는 것을 특징으로 하는 제어 방법.According to claim 1,
The modeling step is
Each of the index finger, middle finger, and ring finger of the user's fingers is modeled as a plurality of points, each of the thumb and small finger of the user's fingers is modeled as a single point, and the user's palm is modeled as a single point. control method. 제2항에 있어서,
상기 감지하는 단계는,
상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고,
상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 제어 방법.3. The method of claim 2,
The sensing step is
When it is sensed that only the tip of at least one finger among the plurality of points of the index and middle fingers is touched, a touch input is sensed at the touched point,
When a plurality of points of at least one finger among a plurality of points of the index and middle fingers are sensed as being touched, the touch input is not sensed. 제2항에 있어서,
상기 감지하는 단계는,
상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고,
상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 제어 방법.3. The method of claim 2,
The sensing step is
When it is sensed that only the tip of two fingers among the plurality of points of the thumb and index finger is touched, a multi-touch input is sensed at the touched point,
When it is sensed that a plurality of points of the index finger and one point of the thumb are all touched, the touch input is not sensed. 제2항에 있어서,
상기 감지하는 단계는,
상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하는 것을 특징으로 하는 제어 방법.3. The method of claim 2,
The sensing step is
When it is sensed that only the tip of two fingers among the plurality of points of the index fingers of the user's both hands is touched, the control method characterized in that the multi-touch input is sensed at the touched point. 제2항에 있어서,
상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지하는 것을 특징으로 하는 제어 방법.3. The method of claim 2,
The control method, characterized in that the multi-touch input is sensed when only the end points of all fingers among the plurality of points of all fingers of the user's hands are touched. 제1항에 있어서,
상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하는 단계;를 포함하고,
상기 추출하는 단계는,
이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출하는 것을 특징으로 하는 제어 방법.According to claim 1,
Including; analyzing the movement direction and speed of the hand included in the hand region;
The extraction step is
A control method, characterized in that the user's hand is extracted based on the movement direction and speed of the hand analyzed in the previous frame. 제1항에 있어서,
상기 추출된 사물 영역에 포함된 사물의 종류를 판단하는 단계는,
상기 획득된 뎁스 영상에 기초하여, 사물의 넓이, 깊이 구간, 깊이 평균 및 깊이 편차를 계산하는 단계;
상기 계산된 값들의 가중합(weighted sum)을 계산하는 단계; 및
사물의 종류와 매칭되어 저장되어 있는 값과 상기 가중합을 비교하여 상기 추출된 사물 영역에 포함된 사물의 종류를 판단하는 단계;를 포함하는 제어 방법.According to claim 1,
The step of determining the type of object included in the extracted object area includes:
calculating an area, a depth section, a depth average, and a depth deviation of an object based on the acquired depth image;
calculating a weighted sum of the calculated values; and
and determining the type of the object included in the extracted object area by comparing the weighted sum with a value stored by matching the type of object. 제1항에 있어서,
상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행하는 단계;를 포함하는 제어 방법.According to claim 1,
and performing a function of the electronic device based on the determined type of the object and the touch position of the object. 전자 장치에 있어서,
뎁스 영상을 획득하는 뎁스 카메라; 및
상기 획득된 뎁스 영상을 분석하여 상기 획득된 뎁스 영상 내에 있는 물체가 사람의 손인지 사물인지 여부를 판단하고,
상기 뎁스 영상 내에 있는 물체가 사람의 손인 것으로 판단된 경우, 상기 획득된 뎁스 영상으로부터 사용자의 손이 포함된 손 영역을 추출하고, 상기 추출된 손 영역에 포함된 사용자의 손가락 및 손바닥을 복수의 지점으로 모델링하고, 상기 모델링된 복수의 지점의 뎁스 정보를 바탕으로 터치 입력을 감지하고,
상기 뎁스 영상 내에 있는 물체가 사물인 것으로 판단된 경우, 상기 획득된 뎁스 영상으로부터 사물이 포함된 사물 영역을 추출하고, 상기 추출된 사물 영역에 포함된 사물의 종류를 판단하고, 상기 판단된 사물의 종류에 매칭되는 어플리케이션을 실행하는 제어부;를 포함하는 전자 장치.In an electronic device,
a depth camera for acquiring a depth image; and
Analyze the acquired depth image to determine whether an object in the acquired depth image is a human hand or an object,
When it is determined that the object in the depth image is a human hand, a hand region including the user's hand is extracted from the acquired depth image, and the user's fingers and palms included in the extracted hand region are placed at a plurality of points. , and sensing a touch input based on depth information of the modeled plurality of points,
When it is determined that the object in the depth image is an object, an object region including an object is extracted from the obtained depth image, a type of an object included in the extracted object region is determined, and the Electronic device comprising; a control unit that executes an application matching the type. 제10항에 있어서,
상기 제어부는,
상기 사용자의 손가락 중 검지, 중지, 약지 각각은 복수의 지점으로 모델링하고, 상기 사용자의 손가락 중 엄지 및 소지 각각은 하나의 지점으로 모델링하며, 상기 사용자의 손바닥은 하나의 지점으로 모델링하는 것을 특징으로 하는 전자 장치.11. The method of claim 10,
The control unit is
Each of the index finger, middle finger, and ring finger of the user's fingers is modeled as a plurality of points, each of the thumb and small finger of the user's fingers is modeled as a single point, and the user's palm is modeled as a single point. electronic device. 제11항에 있어서,
상기 제어부는,
상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 터치 입력을 감지하고,
상기 검지 및 중지의 복수의 지점 중 적어도 하나의 손가락의 복수의 지점이 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The control unit is
When it is sensed that only the tip of at least one finger among the plurality of points of the index and middle fingers is touched, a touch input is sensed at the touched point,
The electronic device of claim 1, wherein the touch input is not sensed when a plurality of points of at least one finger among a plurality of points of the index and middle fingers are sensed as being touched. 제11항에 있어서,
상기 제어부는,
상기 엄지 및 검지의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하고,
상기 검지의 복수의 지점 및 상기 엄지의 하나의 지점이 모두 터치된 것으로 감지된 경우, 상기 터치 입력을 감지하지 않는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The control unit is
When it is sensed that only the tip of two fingers among the plurality of points of the thumb and index finger is touched, a multi-touch input is sensed at the touched point,
The electronic device of claim 1, wherein the touch input is not sensed when it is sensed that a plurality of points of the index finger and one point of the thumb are all touched. 제11항에 있어서,
상기 제어부는,
상기 사용자의 양손의 검지들의 복수의 지점 중 두 손가락의 끝 지점만 터치된 것으로 감지된 경우, 상기 터치된 지점에 멀티 터치 입력을 감지하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The control unit is
When it is sensed that only the tip of two fingers among the plurality of points of the index fingers of both hands of the user is touched, the electronic device of claim 1, wherein the multi-touch input is sensed at the touched point. 제11항에 있어서,
상기 사용자의 양손의 모든 손가락의 복수의 지점 중 모든 손가락의 끝지점만이 터치된 경우, 멀티 터치 입력을 감지하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The electronic device of claim 1, wherein the multi-touch input is sensed when only the end points of all fingers among the plurality of points of all fingers of the user's hands are touched. 제10항에 있어서,
상기 제어부는,
상기 손 영역에 포함된 손의 움직임 방향 및 속도를 분석하고, 이전 프레임에서 분석된 손의 움직임 방향 및 속도를 바탕으로 상기 사용자의 손을 추출하는 것을 특징으로 하는 전자 장치.11. The method of claim 10,
The control unit is
The electronic device of claim 1, wherein the hand motion direction and speed included in the hand region are analyzed, and the user's hand is extracted based on the hand motion direction and speed analyzed in the previous frame. 제10항에 있어서,
상기 제어부는,
상기 획득된 뎁스 영상에 기초하여, 사물의 넓이, 깊이 구간, 깊이 평균 및 깊이 편차를 계산하고,
상기 계산된 값들의 가중합(weighted sum)을 계산하고,
사물의 종류와 매칭되어 저장되어 있는 값과 상기 가중합을 비교하여 상기 추출된 사물 영역에 포함된 사물의 종류를 판단하는 것을 더 포함하는 전자 장치.11. The method of claim 10,
The control unit is
based on the acquired depth image, calculates an object's width, depth section, depth average, and depth deviation;
calculating a weighted sum of the calculated values;
The electronic device further comprising determining the type of the object included in the extracted object area by comparing the weighted sum with a value stored by matching the type of object. 제10항에 있어서,
상기 제어부는,
상기 판단된 사물의 종류 및 상기 사물의 터치 위치를 바탕으로 상기 전자 장치의 기능을 수행하는 것을 특징으로 하는 전자 장치.11. The method of claim 10,
The control unit is
and performing a function of the electronic device based on the determined type of the object and the touch position of the object. 제10항에 있어서,
터치 영역에 영상을 투사하는 영상 투사부;를 더 포함하는 전자 장치.11. The method of claim 10,
The electronic device further comprising; an image projector for projecting an image on the touch area.

Images