KR20190135958A - User interface controlling device and method for selecting object in image and image input device - Google Patents

User interface controlling device and method for selecting object in image and image input device Download PDF

Info

Publication number
KR20190135958A
KR20190135958A KR1020190154062A KR20190154062A KR20190135958A KR 20190135958 A KR20190135958 A KR 20190135958A KR 1020190154062 A KR1020190154062 A KR 1020190154062A KR 20190154062 A KR20190154062 A KR 20190154062A KR 20190135958 A KR20190135958 A KR 20190135958A
Authority
KR
South Korea
Prior art keywords
image
objects
display
user
input means
Prior art date
Application number
KR1020190154062A
Other languages
Korean (ko)
Other versions
KR102160954B1 (en
Inventor
권동욱
김민호
김경일
이기상
이상보
이진경
진영구
최진욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190154062A priority Critical patent/KR102160954B1/en
Publication of KR20190135958A publication Critical patent/KR20190135958A/en
Application granted granted Critical
Publication of KR102160954B1 publication Critical patent/KR102160954B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention provides a user interface (UI) control method capable of realizing an intuitive operation with respect to an object included in an image. To this end, according to the present invention, the UI control method comprises the following processes: receiving a first image of a front side through a first image input unit mounted in a UI control device; receiving a second image with respect to a user input means disposed on a rear side through a second image input unit mounted on an opposite side of the first image input unit; and using the second image to calculate the distance from the user input means in order, beginning with the object with the shallowest depth to the object with the deepest depth among a plurality of objects included in the first image, and changing and displaying an object to be selected as the measured distance gets shorter. As such, a distant object, which is an object with a deep depth, in a front image is selected when a user lengthily stretches the user input means toward the UI control device and a close object, which is an object with a shallow depth, is selected when the user shortly stretches the user input means, thereby realizing intuitive selection with respect to the object in the image.

Description

영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치{USER INTERFACE CONTROLLING DEVICE AND METHOD FOR SELECTING OBJECT IN IMAGE AND IMAGE INPUT DEVICE}USER INTERFACE CONTROLLING DEVICE AND METHOD FOR SELECTING OBJECT IN IMAGE AND IMAGE INPUT DEVICE}

본 발명은 사용자 인터페이스 제어 장치 및 방법에 관한 것으로, 특히 영상에 포함된 객체를 사용자가 용이하게 선택하기 위한 사용자 인터페이스 제어 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for controlling a user interface, and more particularly, to an apparatus and method for controlling a user interface for a user to easily select an object included in an image.

최근 들어, 통신 기술의 급속한 발전으로 인해 전자 기기에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자인터페이스(User Interface: UI) 및 그를 이용한 다양한 기능들이 제공되고 있다. 또한, 전자 기기에서는 다양한 기능들을 제어하기 위한 다양한 입력 방식들을 제공한다. In recent years, due to the rapid development of communication technology, functions in electronic devices are gradually expanding, and accordingly, more various user interfaces (UIs) and various functions using the same are provided. In addition, the electronic device provides various input methods for controlling various functions.

최근 인간과 컴퓨터 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이스 기술(Natural Interface)들이 부상하고 있다. 인간과 컴퓨터의 상호작용을 위한 사용자의 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있으며, 대표적인 유저 인터페이스 기술인 키보드나 마우스를 대체해 보다 자연스러운 컴퓨팅 환경을 제공할 수 있는 상호적인 디스플레이(Interactive Display) 등의 분야가 급성장하고 있다.Recently, natural interface with natural and enhanced interaction between humans and computers has emerged. Research on recognition of user's intention and behavior for human-computer interaction is being actively conducted, and interactive display that can provide a more natural computing environment by replacing keyboard or mouse, which is a representative user interface technology, etc. Is growing rapidly.

종래의 상호적인 디스플레이(Interactive Display)는 일반적으로 디스플레이 표면에서 멀티 터치 및 근접 터치(Hovering)를 통한 UI를 조작하는 방법을 제공한다. 마우스나 키보드가 시선과 조작 공간이 불일치 하는 간접적인 상호작용(Indirect Interaction)인데 반해, 멀티 터치 및 근접 터치(Hovering)는 조작 대상을 바라보는 시선과 조작 공간이 일치하는 직접적인 상호작용(Direct interaction)을 제공함으로써, 더 자연스러운 조작을 가능하게 한다. 하지만 멀티터치의 경우 디스플레이 표면에서만 조작이 가능한 2차원 상호작용 방법이고, 따라서 UI 등의 조작 대상이 3차원인 경우에도 실제 물체를 조작하는 듯한 직관적인 조작이 불가능하다. 근접 터치의 경우 손의 정보만을 이용해 몰입감 및 일체감 있는 객체의 조작을 제공하지 못한다. Conventional interactive displays generally provide a method of manipulating a UI through multi-touch and proximity touching on the display surface. Whereas the mouse and keyboard are indirect interactions where the gaze and the operating space are inconsistent, multi-touch and proximity touching are direct interactions where the gaze and the operating space coincide with the gaze of the operation target. By providing a more natural operation is possible. However, in the case of multi-touch, it is a two-dimensional interaction method that can be manipulated only on the display surface. Therefore, even when a manipulation target such as a UI is three-dimensional, an intuitive operation like a real object is impossible. In the case of the proximity touch, the manipulation of the object with immersion and unity cannot be provided using only the hand information.

상기한 바와 같이 종래에는 전자 기기의 제어를 위한 특정 입력 수단들에 직접 입력을 발생함으로써 전자 기기의 제어가 가능할 뿐이다. 이에 따라 실시간 처리를 바탕으로 미리 구축된 실세계 정보(증강 정보)가 실제로 관찰되는 실세계의 영상(실사 영상)에 겹쳐서 표현되는 경우 사용자는 실사 영상 내의 객체에 대한 부가 정보를 볼 수는 있지만, 그 객체에 대한 조작이 불가능하다는 제약이 있다. 따라서 실사 영상 내의 객체에 대해 상호 작용(interaction)을 용이하도록 하는 방법을 제공한다면, 실제 사용자가 주시하는 객체에 대한 직관적인 조작이 용이할 것이다. As described above, the electronic device can only be controlled by generating an input directly to specific input means for controlling the electronic device. Accordingly, when real-world information (augmentation information) pre-built based on real-time processing is superimposed on the real-world image (real-life image) that is actually observed, the user can see additional information about the object in the real-life image, but the object There is a restriction that the operation cannot be performed. Therefore, if a method of facilitating interaction with an object in the live-action image is provided, an intuitive operation on an object observed by a real user will be easy.

따라서 본 발명은 영상에 포함된 객체를 사용자가 용이하게 선택하기 위한 사용자 인터페이스 제어 장치 및 방법을 제공한다. Accordingly, the present invention provides an apparatus and method for controlling a user interface for a user to easily select an object included in an image.

또한 본 발명은 영상에 포함된 객체에 대한 직관적인 조작을 가능하도록 하는 사용자 인터페이스 제어 장치 및 방법을 제공한다. The present invention also provides an apparatus and method for controlling a user interface to enable an intuitive operation on an object included in an image.

상기한 바를 달성하기 위한 본 발명은, 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치에 있어서, 사용자 입력 수단을 촬영한 제1영상을 출력하는 제1영상 입력부와, 제1영상 입력부와 반대편에 배치되며, 전방을 촬영한 제2영상을 출력하는 제2영상 입력부와, 상기 제2영상을 표시하는 표시부와, 상기 제2영상 내의 복수개의 객체를 인식하고, 상기 사용자 입력 수단과 상기 표시부와의 거리에 따라 상기 복수개의 객체들 중 선택 가능한 객체를 변경하여 표시하도록 제어하는 제어부를 포함함을 특징으로 한다. According to an aspect of the present invention, there is provided a user interface control apparatus for selecting an object included in an image, the apparatus comprising: a first image input unit configured to output a first image photographing a user input means, and an opposite side to the first image input unit; A second image input unit configured to output a second image photographed forward, a display unit displaying the second image, a plurality of objects in the second image, the user input means and the display unit And a control unit configured to control to display and change the selectable object among the plurality of objects according to the distance.

또한 본 발명은, 복수개의 객체를 포함하는 영상을 출력하는 영상 입력 장치에 있어서, 사용자 입력 수단을 촬영한 제1영상을 출력하며, 상기 사용자 입력 수단과 상기 영상 입력 장치와의 거리를 나타내는 상기 제1영상에 대한 깊이 정보를 제공하는 제1영상 입력부와, 제1영상 입력부와 반대편에 배치되며, 서로 다른 깊이를 가지는 복수개의 객체들 중 상기 사용자 입력 수단과 상기 영상 입력 장치와의 거리가 짧아질수록 깊이가 얕은 객체부터 깊은 객체의 순서로 선택되는 상기 복수개의 객체를 포함하는 제2영상을 출력하는 제2영상 입력부를 포함함을 특징으로 한다. According to another aspect of the present invention, there is provided an image input apparatus for outputting an image including a plurality of objects. The distance between the user input means and the image input apparatus among a plurality of objects having different depths may be shortened from the first image input unit for providing depth information about the first image and the first image input unit. And a second image input unit configured to output a second image including the plurality of objects selected in order from an object having a shallower depth to a deep object.

또한 본 발명은, 사용자 인터페이스 제어 장치에서 영상에 포함된 객체를 선택하기 위한 방법에 있어서, 전방을 촬영한 제1영상 내의 복수개의 객체를 인식하여 표시하는 과정과, 후방의 사용자 입력 수단을 촬영한 제2영상을 근거로 상기 사용자 입력 수단과 상기 사용자 인터페이스 제어 장치와의 거리를 측정하는 과정과, 상기 측정된 거리에 따라 상기 복수개의 객체들 중 선택 가능한 객체를 변경하여 표시하는 과정을 포함함을 특징으로 한다.Also, the present invention provides a method for selecting an object included in an image by a user interface control apparatus, the method comprising: recognizing and displaying a plurality of objects in a first image photographed in front and photographing a rear user input means; Measuring a distance between the user input means and the user interface control apparatus based on a second image, and changing and displaying a selectable object among the plurality of objects according to the measured distance; It features.

본 발명에 따르면, 실사 영상 내의 객체에 대해 상호 작용(interaction)을 위한 방법을 제공함으로써, 실제 사용자가 주시하는 객체에 대한 직관적인 조작이 용이한 이점이 있다. 또한 본 발명은 사용자 입력 수단의 원근을 깊이 센서를 이용하여 인식하며, 그 사용자 입력 수단의 멀고 가까운 정도에 따라 객체를 선택함으로써 영상 내에서 객체들의 일부가 서로 겹쳐서 표시되더라도 객체 선택이 용이한 이점이 있다. According to the present invention, by providing a method for the interaction (interaction) with respect to the object in the live-action image, there is an advantage that the intuitive operation on the object that the actual user watches. In addition, the present invention recognizes the perspective of the user input means by using a depth sensor, and by selecting the object according to the distant and close degree of the user input means, even if some of the objects are displayed overlapping each other in the image, it is easy to select the object have.

도 1은 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 내부 블록 구성도,
도 2는 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 전면 사시도,
도 3은 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 후면 사시도,
도 4는 본 발명의 실시예에 따른 실제 공간을 촬영함에 따른 촬영 영상과 깊이 영상을 나타낸 예시도,
도 5는 본 발명의 실시예에 따른 복수개의 객체를 포함하는 영상에서 선택 가능한 객체를 표시한 화면예시도,
도 6은 본 발명의 실시예에 따른 복수개의 객체를 포함하는 영상에서 사용자 입력 수단이 근접함에 따라 선택되는 객체가 변경되는 경우를 설명하기 위한 화면예시도,
도 7은 본 발명의 일실시예에 따라 선택된 객체에 대한 확대 기능을 설명하기 위한 화면예시도,
도 8은 본 발명의 실시예에 따라 사용자 입력 수단의 이동에 따른 객체 선택 과정을 설명하기 위한 동작 흐름도.1 is an internal block diagram of a user interface control apparatus according to an embodiment of the present invention;
2 is a front perspective view of a user interface control device according to an embodiment of the present invention;
3 is a rear perspective view of a user interface control device according to an embodiment of the present invention;
4 is an exemplary view illustrating a captured image and a depth image of photographing a real space according to an embodiment of the present invention;
5 illustrates an example of a screen displaying a selectable object in an image including a plurality of objects according to an embodiment of the present invention;
FIG. 6 illustrates an example of a screen for explaining a case in which a selected object is changed as a user input unit approaches in an image including a plurality of objects according to an embodiment of the present invention; FIG.
7 is an exemplary screen illustrating a magnification function for a selected object according to one embodiment of the present invention;
8 is a flowchart illustrating an object selection process according to movement of a user input means according to an exemplary embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다. Hereinafter, with reference to the contents described in the accompanying drawings will be described in detail an exemplary embodiment according to the present invention. However, the present invention is not limited or limited by the exemplary embodiments. Like reference numerals in the drawings denote members that perform substantially the same function.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 발명은 영상에 포함된 객체에 대한 직관적인 조작을 가능하도록 하는 사용자 인터페이스 제어 방법을 제공한다. 이를 위해 본 발명은, 사용자 인터페이스 제어 장치에 장착된 제1영상 입력부를 통해 전방의 제1영상을 입력받는 과정과, 상기 제1영상 입력부와 반대편에 장착된 제2영상 입력부를 통해 후방의 사용자 입력 수단에 대한 제2영상을 입력받는 과정과, 상기 제2영상을 이용하여 상기 사용자 입력 수단과의 거리를 측정하고, 측정된 거리가 짧아질수록 상기 제1영상 내의 복수개의 객체들 중 깊이가 얕은 객체부터 깊은 객체 순으로 선택 가능한 객체를 변경하여 표시하는 과정으로 이루어진다. 이와 같이, 전면 영상 내에서 멀리 있는 즉, 깊이가 깊은 객체는 사용자가 사용자 입력 수단을 사용자 인터페이스 제어 장치쪽으로 멀리 뻗어 선택하고, 가까이 있는 객체 즉, 깊이가 얕은 객체는 사용자 입력 수단을 가까이 뻗어 선택하므로, 영상 내 객체에 대한 직관적인 선택이 가능하게 된다. The present invention provides a user interface control method for enabling an intuitive operation on an object included in an image. To this end, the present invention, the process of receiving the front first image through the first image input unit mounted on the user interface control device, and the user input of the rear through the second image input unit mounted on the opposite side to the first image input unit A process of receiving a second image for the means, measuring the distance to the user input means using the second image, and as the measured distance is shorter, the depth of the plurality of objects in the first image is shallower. This process consists of changing the objects that can be selected in order from the object to the deep object. In this way, the object distant, that is, deep within the front image, is selected by the user extending the user input means farther toward the user interface control device. This allows intuitive selection of objects in the image.

도 1은 본 발명의 실시예에 따른 사용자 인터페이스 제어 장치의 내부 블록 구성도를 예시하고 있다. 도 1에서는 사용자 인터페이스 제어 장치의 예로, 이동 단말을 예시하나, 사용자 인터페이스 제어 장치는 휴대폰, 스마트폰, 태블릿PC, 게임기 등 사용자 입력 수단을 인식하여 입력 명령으로 사용 가능한 장치이면 모두 가능하다. 이하에서는 설명의 편의를 위해, 사용자 인터페이스 제어 장치가 이동 단말인 경우를 예로 들어 설명한다. 1 illustrates an internal block diagram of a user interface control apparatus according to an embodiment of the present invention. In FIG. 1, an example of a user interface control device is illustrated as a mobile terminal. However, the user interface control device may be any device that recognizes a user input means such as a mobile phone, a smartphone, a tablet PC, a game machine, and can use it as an input command. Hereinafter, for convenience of description, the case where the user interface control device is a mobile terminal will be described as an example.

도 1을 참조하면, 이동 단말(100)은 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. “외부장치”는 다른 장치, 휴대폰, 스마트폰, 태블릿PC 및 서버를 포함한다.Referring to FIG. 1, the mobile terminal 100 may be connected to an external device (not shown) using the mobile communication module 120, the sub communication module 130, and the connector 165. "External device" includes other devices, mobile phones, smartphones, tablet PCs, and servers.

먼저, 이동 단말(100)은 표시부 및 디스플레이 컨트롤러를 포함한다. 표시부는 LCD 패널로 구현될 수 있으며, 이러한 LCD 패널이 터치스크린 형태로 구현된 경우 그 표시부는 입력수단으로도 동작하게 된다. 본 발명의 실시예에서는 상기 표시부 및 디스플레이 컨트롤러가 각각 터치스크린(190) 및 터치스크린 컨트롤러(195)인 경우를 예로 들어 설명한다.First, the mobile terminal 100 includes a display unit and a display controller. The display unit may be implemented as an LCD panel. When the LCD panel is implemented as a touch screen, the display unit may also operate as an input unit. In the exemplary embodiment of the present invention, a case in which the display unit and the display controller are the touch screen 190 and the touch screen controller 195 will be described as an example.

또한, 이동 단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 영상 입력 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 및 동영상 재생 모듈(143) 중 적어도 하나를 포함한다. 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함한다. In addition, the mobile terminal 100 includes a control unit 110, a mobile communication module 120, a sub communication module 130, a multimedia module 140, an image input module 150, an input / output module 160, a sensor module. 170, a storage unit 175, and a power supply unit 180. The sub communication module 130 includes at least one of a wireless LAN module 131 and a short range communication module 132, and the multimedia module 140 includes a broadcast communication module 141, an audio play module 142, and a video play module. 143 at least one. The input / output module 160 includes at least one of a button 161, a microphone 162, a speaker 163, a vibration motor 164, a connector 165, a keypad 166, and an earphone connecting jack 167. .

제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다. The controller 110 may include a mobile communication module 120, a sub communication module 130, a multimedia module 140, an input / output module 160, a sensor module 170, a storage unit 175, and a power supply unit 180. The touch screen 190 and the touch screen controller 195 may be controlled.

이러한 제어부(110)는 CPU(Central Processing Unit) 등으로 구성될 수 있으며, 본 발명에 따라 전방을 촬영한 영상 내에서 복수개의 객체를 인식하여 터치스크린(190) 상에 표시한 후, 사용자 입력 수단을 촬영한 영상을 근거로 그 사용자 입력 수단과 이동 단말(100)과의 거리를 측정하고, 측정된 거리에 따라 상기 복수개의 객체들 중 선택 가능한 객체를 변경하여 표시하도록 제어하는 역할을 한다. 다시 말하면, 제어부(110)는 사용자 입력 수단과 이동 단말(100)과의 거리가 짧아질수록 상기 복수개의 객체들 중 깊이가 얕은 객체부터 깊은 객체의 순서로 상기 선택 가능한 객체를 변경하여 표시하도록 제어한다. 이와 반대로, 제어부(110)는 사용자 입력 수단과 이동 단말(100)과의 거리가 짧아질수록 상기 복수개의 객체들 중 깊이가 깊은 객체부터 얕은 객체의 순서로 상기 선택 가능한 객체를 변경하여 표시하도록 제어할 수도 있다. The control unit 110 may be configured as a CPU (Central Processing Unit) or the like, and recognizes a plurality of objects in the front photographed image and displays them on the touch screen 190. It measures the distance between the user input means and the mobile terminal 100 based on the captured image, and controls to change and display a selectable object among the plurality of objects according to the measured distance. In other words, as the distance between the user input means and the mobile terminal 100 becomes shorter, the controller 110 controls the display to change and display the selectable object in the order of an object from a shallow depth to a deep object among the plurality of objects. do. On the contrary, the control unit 110 controls to change and display the selectable object in order of a deeper object to a shallower object among the plurality of objects as the distance between the user input means and the mobile terminal 100 becomes shorter. You may.

이와 같이 제어부(110)는 사용자 입력 수단에 대한 깊이 정보를 전방의 복수개의 객체에 대한 깊이 정보에 매칭함으로써, 그 사용자 입력 수단이 터치스크린(190)을 향해 이동함에 따라 그 사용자 입력 수단의 깊이 정보에 대응하는 곳에 위치한 객체가 선택되도록 하는 동작을 수행한다. 이러한 경우 사용자는 그 사용자 입력 수단을 터치스크린(190) 가까이 이동시키게 되면, 실제 사용자 입력 수단이 터치스크린(190) 상에 표시되는 객체에 닿지 않더라도 마치 그 사용자 입력 수단이 깊이가 얕은 순에서 깊은 순으로 차례로 각 객체에 닿은 듯한 효과를 볼 수 있게 된다. As such, the controller 110 matches the depth information of the user input means with the depth information of the plurality of objects in front of the user, and thus the depth information of the user input means as the user input means moves toward the touch screen 190. Performs an operation for selecting an object located at the corresponding position. In this case, when the user moves the user input means closer to the touch screen 190, even if the actual user input means does not touch the object displayed on the touch screen 190, the user input means is in descending order from shallow to deep. In turn, you can see the effect of touching each object.

이후, 제어부(110)는 어느 하나의 객체가 선택되면 선택된 객체에 대한 정보 검색, 줌인/줌아웃 등의 기능을 수행한다. 이러한 복수개의 객체들 중 사용자 입력 수단과의 거리에 따라 선택 가능한 객체를 결정하는 동작에 대한 구체적인 설명은 후술하기로 한다. Then, when any one object is selected, the controller 110 performs a function such as searching for information on the selected object, zooming in / out, and the like. A detailed description of the operation of determining the selectable object according to the distance from the user input means among the plurality of objects will be described later.

이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 이동 단말(100)이 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 이동 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다. The mobile communication module 120 allows the mobile terminal 100 to be connected to an external device through mobile communication using at least one, one, or a plurality of antennas (not shown) under the control of the controller 110. The mobile communication module 120 performs a voice call or a video call with a mobile phone (not shown), a smart phone (not shown), a tablet PC or another device (not shown) having a phone number input to the mobile terminal 100. Transmit / receive wireless signals for text messages (SMS) or multimedia messages (MMS).

서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.The sub communication module 130 may include at least one of the WLAN module 131 and the short range communication module 132. For example, only the WLAN module 131 may be included, only the local area communication module 132 may be included, or both the WLAN module 131 and the local area communication module 132 may be included.

무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 이동 단말(100)과 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data associationn), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.The WLAN module 131 may be connected to the Internet at a place where a wireless access point (AP) (not shown) is installed under the control of the controller 110. The WLAN module 131 supports a WLAN standard (IEEE802.11x) of the Institute of Electrical and Electronics Engineers (IEEE). The short range communication module 132 may perform short range communication wirelessly between the mobile terminal 100 and an image forming apparatus (not shown) under the control of the controller 110. The short range communication method may include Bluetooth, infrared data association (IrDA), Wi-Fi Direct communication, Near Field Communication (NFC), and the like.

이동 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 이동 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다. The mobile terminal 100 may include at least one of the mobile communication module 120, the wireless LAN module 131, and the short range communication module 132 according to performance. For example, the mobile terminal 100 may include a combination of the mobile communication module 120, the wireless LAN module 131, and the short range communication module 132 according to performance.

멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 예를 들어, 미디어 오브젝트가 선택되는 경우 오디오 재생 모듈(142)를 통해 선택된 미디어 오브젝트에 해당하는 음악을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일) 도는 디지털 오디오 파일을 재생할 수 있다. The multimedia module 140 may include a broadcast communication module 141, an audio play module 142, or a video play module 143. The broadcast communication module 141 may control a broadcast signal (eg, a TV broadcast signal, a radio broadcast signal or a data broadcast signal) transmitted from a broadcast station through a broadcast communication antenna (not shown) under the control of the controller 110 and the broadcast unit information. For example, an electric program guide (EPS) or an electric service guide (ESG) may be received. The audio reproduction module 142 may play a digital audio file (eg, a file extension of mp3, wma, ogg, or wav) stored or received under the control of the controller 110. For example, when a media object is selected, music corresponding to the selected media object may be played through the audio play module 142. The video player module 143 plays a digital video file (eg, a file extension of mpeg, mpg, mp4, avi, mov, or mkv) or digital audio file stored or received under the control of the controller 110. Can be.

멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오 재생 모듈(142)과 동영상 재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)은 제어부(100)에 포함될 수 있다. The multimedia module 140 may include an audio play module 142 and a video play module 143 except for the broadcast communication module 141. In addition, the audio playback module 142 or the video playback module 143 of the multimedia module 140 may be included in the controller 100.

영상 입력 모듈(150)은 제어부(110)의 제어에 따라 정지 영상 또는 동영상을 촬영하는 제1영상입력부(151) 및 제2영상입력부(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1영상입력부(151) 또는 제2영상입력부(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1영상입력부(151)는 상기 이동 단말(100) 전면에 배치되고, 제2영상입력부(152)는 상기 이동 단말(100)의 후면에 배치될 수 있다. 이러한 영상 입력 모듈(150)은 이동 단말(100)에 장착되며, 본 발명의 실시예에 따른 영상 입력 모듈(150)이 장착 가능한 기기이면 모두 본 발명이 적용 가능함은 물론이다. The image input module 150 may include at least one of the first image input unit 151 and the second image input unit 152 for capturing a still image or a video under the control of the controller 110. In addition, the first image input unit 151 or the second image input unit 152 may include an auxiliary light source (eg, a flash (not shown)) that provides a light amount required for photographing. The first image input unit 151 may be disposed in front of the mobile terminal 100, and the second image input unit 152 may be disposed in the rear of the mobile terminal 100. The image input module 150 is mounted on the mobile terminal 100, and the present invention can be applied to any device capable of mounting the image input module 150 according to an embodiment of the present invention.

제1영상 입력부(151)는 이동 단말(100) 전면에 배치되므로 사용자의 손, 스타일러스 펜 등의 사용자 입력 수단을 촬영한 제1영상을 출력한다. 이에 따라 제어부(110)는 사용자 입력 수단을 촬영한 제1영상에 기반하여, 사용자 입력 수단에 대한 정보를 생성할 수 있다. 예를 들어, 사용자의 손동작에 대한 정보를 생성할 수 있다. 이러한 사용자 입력 수단에 대한 정보는, 사용자 입력 수단의 이동 경로 예를 들어, 이동 단말(100)의 터치스크린(190)을 향하여 이동하는지 터치스크린(190)으로부터 멀어지는지 등의 정보, 두 손가락을 벌리는지의 정보, 손가락으로 객체를 선택하는 체크 동작을 하는지 등에 대한 정보를 포함할 수 있다. Since the first image input unit 151 is disposed in front of the mobile terminal 100, the first image input unit 151 outputs a first image photographing a user input means such as a user's hand or a stylus pen. Accordingly, the controller 110 may generate information on the user input means based on the first image photographing the user input means. For example, information about a user's hand gesture may be generated. The information about the user input means may be a movement path of the user input means, for example, information such as moving toward or away from the touch screen 190 of the mobile terminal 100, and spreading two fingers apart. Information about the object, information about whether to perform a check operation for selecting an object with a finger, and the like.

또한 제2영상 입력부(152)는 제1영상 입력부(151)와 반대편 즉, 이동 단말(100) 후면에 배치되므로 전방을 촬영한 제2영상을 출력한다. 이때, 제2영상 입력부(152)는 상기 제2영상 내에서 상기 복수개의 객체를 인식한 후, 상기 복수개의 객체에 대한 깊이 정보를 제공하는 깊이 센서를 포함할 수 있다. 이와 유사하게 제1영상 입력부(151)도 사용자 입력 수단과의 거리를 나타내는 깊이 정보를 제공하는 깊이 센서를 포함할 수 있다. 이와 같이 깊이 센서를 각각 포함하는 제1영상 입력부(151) 및 제2영상 입력부(152)는 하나 이상의 객체들의 깊이 정보를 갖는 깊이 영상을 획득할 수 있다. 이때, 본 발명의 실시예에서는 이동 단말(100)로부터 객체 위치까지의 물리적 거리 즉, 깊이 정보를 획득하기 위해 TOF(Time Of Flight) 방식의 깊이 센서가 이용될 수 있다. TOF 방식 이외에도 깊이 정보를 측정 및/또는 계산하기 위해 다른 기술들이 이용될 수 있음은 물론이다. In addition, since the second image input unit 152 is disposed opposite to the first image input unit 151, that is, at the rear of the mobile terminal 100, the second image input unit 152 outputs a second image photographing the front side. In this case, the second image input unit 152 may include a depth sensor for recognizing the plurality of objects in the second image and providing depth information on the plurality of objects. Similarly, the first image input unit 151 may also include a depth sensor that provides depth information indicating a distance from the user input means. As such, the first image input unit 151 and the second image input unit 152 each including a depth sensor may acquire a depth image having depth information of one or more objects. At this time, in the embodiment of the present invention, a depth sensor of a time of flight (TOF) method may be used to obtain a physical distance from the mobile terminal 100 to an object location, that is, depth information. Of course, other techniques may be used to measure and / or calculate depth information in addition to the TOF scheme.

한편, 제1영상 입력부(151) 및 제2영상 입력부(152)는 깊이 센서를 포함하여 구성될 수 있으며, 별도로 분리된 형태로 배치될 수 있다. 이러한 경우 제어부(110)는 깊이 센서들로부터의 깊이 정보를 이용하여 각 객체에 대한 원근감을 결정할 수 있다. 다르게는 제어부((110)에서 깊이 정보를 획득하기 위한 알고리즘을 통해 이동 단말(100)로부터 객체 위치까지의 물리적 거리를 획득할 수 있다. Meanwhile, the first image input unit 151 and the second image input unit 152 may include a depth sensor and may be disposed in a separate form. In this case, the controller 110 may determine perspective for each object using depth information from the depth sensors. Alternatively, the controller 110 may obtain a physical distance from the mobile terminal 100 to the object position through an algorithm for obtaining depth information.

또한, 영상 입력 모듈(150)은 추가로 제3영상입력부를 더 포함할 수 있다. 이러한 경우 제1영상입력부(151)와 제3영상입력부(도시하지 않음)는 인접(예, 제1 영상입력부(151)와 제3영상입력부의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지 영상 또는 3차원 동영상을 촬영할 수 있다. 이와 같이 3차원 정지 영상이 촬영되는 경우 제어부(110)는 3차원 정지 영상 내의 복수개의 객체를 인식한 후, 3차원 정지 영상 내에서 사용자 입력 수단과의 측정 거리에 따라 선택되는 객체를 표시자를 이용하여 표시할 수 있다. 여기서, 객체 검출을 위한 알고리즘으로는 사람의 경우에는 얼굴 또는 손 인식 알고리즘, 물건의 경우에는 템플릿 기반 매칭 알고리즘 등 일반적인 인식 알고리즘이 사용될 수 있다. In addition, the image input module 150 may further include a third image input unit. In this case, the first image input unit 151 and the third image input unit (not shown) are adjacent to each other (eg, the distance between the first image input unit 151 and the third image input unit is greater than 1 cm and smaller than 8 cm). The camera may be arranged to capture a 3D still image or a 3D video. When the 3D still image is captured as described above, the controller 110 recognizes a plurality of objects in the 3D still image, and then uses an indicator to select an object selected according to the measurement distance with the user input means in the 3D still image. Can be displayed. Here, as an algorithm for detecting an object, a general recognition algorithm such as a face or hand recognition algorithm for a person and a template-based matching algorithm may be used for an object.

이러한 경우 복수개의 객체를 포함하는 입체 영상을 표시함으로써, 사용자는 보다 직관적으로 복수개의 객체 중 어느 하나를 선택할 수 있을 뿐만 아니라 선택된 객체에 대한 원근감을 파악할 수 있다. In this case, by displaying a stereoscopic image including a plurality of objects, the user may not only select one of the plurality of objects more intuitively but also grasp the perspective of the selected object.

GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 이동 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 이동 단말(100)의 위치를 산출할 수 있다.The GPS module 155 receives radio waves from a plurality of GPS satellites (not shown) on an earth orbit, and uses a time of arrival from the GPS satellites (not shown) to the mobile terminal 100. The position of the mobile terminal 100 can be calculated.

입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함할 수 있다.The input / output module 160 connects at least one of the plurality of buttons 161, the microphone 162, the speaker 163, the vibration motor 164, the connector 165, the keypad 166, and the earphone jack 167. It may include.

버튼(161)은 상기 이동 단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있다. 이러한 버튼(161)은 홈 버튼(161a), 메뉴 버튼(161b), 돌아가기 버튼(back button)(161c), 볼륨 버튼(161e, 161f, 161g) 및 전원/잠금 버튼 중 적어도 하나를 포함할 수 있다.Button 161 may be formed on the front, side or rear of the housing of the mobile terminal 100. The button 161 may include at least one of a home button 161a, a menu button 161b, a back button 161c, volume buttons 161e, 161f, and 161g, and a power / lock button. have.

마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력받아 전기적인 신호를 생성한다. The microphone 162 generates an electric signal by receiving a voice or sound under the control of the controller 110.

스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 이동 단말(100) 외부로 출력할 수 있다. 스피커(163)는 이동 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 이동 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.The speaker 163 may control various signals (eg, a wireless signal, a broadcast signal, a digital audio file, and a digital video) of the mobile communication module 120, the sub communication module 130, and the multimedia module 140 under the control of the controller 110. Sound corresponding to a file or a picture taking) may be output to the outside of the mobile terminal 100. The speaker 163 may output a sound corresponding to a function performed by the mobile terminal 100 (eg, a button operation sound corresponding to a telephone call, or a call connection sound). One or more speakers 163 may be formed at appropriate locations or locations of the housing of the mobile terminal 100.

진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 이동 단말(100)은 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 이동 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190)을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다. The vibration motor 164 may convert an electrical signal into mechanical vibration under the control of the controller 110. For example, when the mobile terminal 100 in the vibration mode receives a voice call from another device (not shown), the vibration motor 164 operates. One or more may be formed in the housing of the mobile terminal 100. The vibration motor 164 may operate in response to a touch operation of a user who touches the touch screen 190 and a continuous movement of a touch on the touch screen 190.

커넥터(165)는 이동 단말(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 이동 단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.The connector 165 may be used as an interface for connecting the mobile terminal 100 to an external device (not shown) or a power source (not shown). The data stored in the storage unit 175 of the mobile terminal 100 is transmitted to an external device (not shown) or an external device (not shown) through a wired cable connected to the connector 165 under the control of the controller 110. Data can be received. Power may be input from a power source (not shown) or a battery (not shown) may be charged through a wired cable connected to the connector 165.

키패드(166)는 이동 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 이동 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 이동 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 이동 단말(100)의 성능 또는 구조에 따라 제외될 수 있다. The keypad 166 may receive a key input from the user for the control of the mobile terminal 100. The keypad 166 includes a physical keypad (not shown) formed on the mobile terminal 100 or a virtual keypad (not shown) displayed on the touch screen 190. The physical keypad (not shown) formed in the mobile terminal 100 may be excluded according to the performance or structure of the mobile terminal 100.

센서 모듈(170)은 이동 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 이동 단말(100)에 대한 접근 여부를 검출하는 근접센서, 이동 단말(100)의 기울어짐을 검출하는 지자기 센서, 이동 단말(100)의 동작을 검출하는 모션 센서 등을 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서 모듈(170)의 센서는 이동 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다. 또한 본 발명의 실시예에 따라 센서모듈(170)은 전방에 위치한 객체까지의 물리적 거리 또는 사용자 입력 수단까지의 물리적 거리를 나타내는 깊이 정보를 획득하는 깊이 센서를 포함할 수 있다. The sensor module 170 includes at least one sensor for detecting a state of the mobile terminal 100. For example, the sensor module 170 detects an operation of the proximity sensor detecting whether the user approaches the mobile terminal 100, the geomagnetic sensor detecting the tilt of the mobile terminal 100, and the operation of the mobile terminal 100. And motion sensors. At least one sensor may detect a state, generate a signal corresponding to the detection, and transmit the signal to the controller 110. The sensor of the sensor module 170 may be added or deleted according to the performance of the mobile terminal 100. In addition, according to an embodiment of the present invention, the sensor module 170 may include a depth sensor for obtaining depth information indicating a physical distance to an object located in front or a physical distance to a user input means.

저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 이동 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.The storage unit 175 is a mobile communication module 120, a sub communication module 130, a multimedia module 140, an input / output module 160, a sensor module 170, and a touch screen under the control of the controller 110. Input or output signals or data corresponding to the operation of 190 may be stored. The storage unit 175 may store a control program and applications for controlling the mobile terminal 100 or the controller 110.

“저장부”라는 용어는 저장부(175), 제어부(110) 내 롬, 램 또는 이동 단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다. The term “storage unit” includes a storage unit 175, a ROM in the controller 110, a RAM, or a memory card (not shown) (eg, an SD card or a memory stick) mounted in the mobile terminal 100. The storage unit may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

전원공급부(180)는 제어부(110)의 제어에 따라 이동 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 이동 단말(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 이동 단말(100)로 공급할 수 있다.The power supply unit 180 may supply power to one or a plurality of batteries (not shown) disposed in the housing of the mobile terminal 100 under the control of the controller 110. One or more batteries (not shown) supply power to the mobile terminal 100. In addition, the power supply unit 180 may supply power input from an external power source (not shown) to the mobile terminal 100 through a wired cable connected to the connector 165.

터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락), 터치가능한 입력 수단(예, 스타일러스 펜), 압력 방식에 의한 눌림 등을 통해 적어도 하나의 입력을 수신할 수 있다. 또한, 터치스크린(190)은 적어도 하나의 입력 중에서, 터치의 연속적인 움직임 즉, 터치 위치의 이동 동작의 패턴을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식, 압력 방식(pressure-type), 전자기 공진(EMR:Electro-Magnetic Resonance) 방식 등으로 구현될 수 있다. The touch screen 190 may provide a user interface corresponding to various services (eg, a call, data transmission, broadcasting, and photography). The touch screen 190 may transmit an analog signal corresponding to at least one touch input to the user interface to the touch screen controller 195. The touch screen 190 may receive at least one input through a user's body (eg, a finger including a thumb), a touchable input means (eg, a stylus pen), a pressure method, and the like. In addition, the touch screen 190 may receive a pattern of continuous movement of the touch, that is, movement of the touch position, from among at least one input. The touch screen 190 may transmit an analog signal corresponding to continuous movement of an input touch to the touch screen controller 195. The touch screen 190 may be, for example, a resistive type, a capacitive type, an infrared type or an ultrasonic wave type, a pressure type, or an electromagnetic resonance (EMR). Electro-Magnetic Resonance) can be implemented.

본 발명의 실시예에 따르면, 터치스크린(190)은 제2영상 입력부(152)를 통해 촬영되는 전방의 영상을 표시한다. 이때, 전방의 영상에 대한 영상 인식 알고리즘을 통해 복수개의 객체가 인식되면, 터치스크린(190) 상에는 인식된 복수개의 객체에 대한 표시자(indicator)를 함께 출력한다. 예를 들어, 표시자를 이용하여 해당 객체에 대한 테두리를 표시함으로써 인식된 복수개의 객체들을 알리는 것이다. 그리고나서 사용자가 사용자 입력 수단을 이동 단말(100)의 터치스크린(190)으로 가까이 가져감에 따라 복수개의 객체들 중 선택 가능한 객체의 테두리의 색을 변화시키거나 음영으로 표시할 수 있다. 이러한 표시자를 각각의 객체에 위치시킨 후 그 표시자를 변화시킴으로써 사용자가 복수개의 객체들 중 현재 선택 가능한 객체를 파악할 수 있도록 한다. 이와 유사하게 체크 박스 형태의 표시자를 통해 복수개의 객체들 중 해당 객체가 선택되었음을 보여줄 수 있다. 이와 달리 복수개의 객체들 중 어느 하나의 객체에 표시자를 위치시킨 후, 사용자 입력 수단과의 거리가 달라짐에 따라 상기 표시자를 이동시켜 현재 선택된 객체를 보여줄 수도 있다. 이와 같이 어느 하나의 객체가 선택됨에 따라 선택된 객체에 대한 부가 정보가 검색되어 그 부가 정보와 함께 표시될 수 있으며, 다르게는 선택된 객체가 확대 또는 축소되어 표시될 수 있다. According to the exemplary embodiment of the present invention, the touch screen 190 displays the front image captured by the second image input unit 152. In this case, when a plurality of objects are recognized through an image recognition algorithm for the front image, an indicator for the plurality of recognized objects is output together on the touch screen 190. For example, a marker is used to indicate a plurality of recognized objects by displaying a border of the corresponding object. Then, as the user brings the user input means closer to the touch screen 190 of the mobile terminal 100, the color of the edge of the selectable object among the plurality of objects may be changed or shaded. After placing these indicators on each object, the indicators are changed so that the user can grasp the currently selectable object among the plurality of objects. Similarly, a check box-type indicator may show that the corresponding object is selected from among a plurality of objects. Alternatively, after placing an indicator on any one of the plurality of objects, the indicator may be moved to show the currently selected object as the distance from the user input means changes. As described above, as one object is selected, additional information about the selected object may be searched for and displayed together with the additional information. Alternatively, the selected object may be displayed enlarged or reduced.

터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 이에 따라 제어부(110)는 터치스크린 컨트롤러(195)를 통해 최초 터치 입력 위치로부터 그 터치 입력 위치의 변화에 따른 출력값을 제공받는다. 이러한 출력값은 (X, Y) 등의 좌표 형태를 가지는 디지털 신호이며, 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다. 더 나아가, 터치스크린 컨트롤러(195)는 터치스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치스크린(190) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.The touch screen controller 195 converts an analog signal received from the touch screen 190 into a digital signal (eg, X and Y coordinates) and transmits the same to the controller 110. Accordingly, the controller 110 receives the output value according to the change of the touch input position from the initial touch input position through the touch screen controller 195. The output value is a digital signal having a coordinate form such as (X, Y), and the controller 110 may control the touch screen 190 by using the digital signal received from the touch screen controller 195. For example, the controller 110 may select a shortcut icon (not shown) displayed on the touch screen 190 or execute a shortcut icon (not shown) in response to a touch event or a hovering event. In addition, the touch screen controller 195 may be included in the controller 110. Further, the touch screen controller 195 may detect a value (eg, a current value) output through the touch screen 190 to check the distance between the space where the hovering event occurs and the touch screen 190. The identified distance value may be converted into a digital signal (eg, Z coordinate) and provided to the controller 110.

또한, 터치스크린(190)은 사용자의 신체 및 터치 가능한 입력 수단에 의한 입력을 동시에 입력받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 수단의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력값을 터치스크린 컨트롤러(195)에 제공하고, 터치스크린 컨트롤러(195)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치스크린(190)으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 수단에 의한 입력인지를 구분할 수 있다. 예를 들어, 터치스크린(190)은 정전용량(capacitive) 방식의 터치스크린 패널과 EMR 방식의 터치스크린 패널이 조합된 구조를 가질 수 있다.In addition, the touch screen 190 may include at least two touch screen panels each capable of sensing a touch or proximity of the user's body and the touchable input means so as to simultaneously receive input by the user's body and the touchable input means. It may include. The at least two touch screen panels provide different output values to the touch screen controller 195, and the touch screen controller 195 recognizes values input from the at least two touch screen panels to be different from each other. ) Can be distinguished from whether input by the user's body or input by touchable input means. For example, the touch screen 190 may have a structure in which a capacitive touch screen panel and an EMR touch screen panel are combined.

도 2는 본 발명의 일 실시예에 따른 모바일 장치의 전면 사시도이다. 도 3은 본 발명의 일 실시예에 따른 모바일 장치의 후면 사시도이다. 2 is a front perspective view of a mobile device according to an embodiment of the present invention. 3 is a rear perspective view of a mobile device according to an embodiment of the present invention.

도 2를 참조하면, 장치(100)의 전면(100a) 중앙에는 터치스크린(190)이 배치된다. 상기 터치스크린(190)은 장치(100)의 전면(100a)의 대부분을 차지하도록 크게 형성된다. 도 2에서는, 상기 터치스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 장치(100)의 전원을 켰을 때 상기 터치스크린(190) 상에 표시되는 첫 화면이다. 또한 상기 장치(100)가 여러 페이지의 서로 다른 홈화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(191-4)는 상기 터치스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다. Referring to FIG. 2, the touch screen 190 is disposed at the center of the front surface 100a of the device 100. The touch screen 190 is largely formed to occupy most of the front surface 100a of the device 100. 2 illustrates an example in which a main home screen is displayed on the touch screen 190. The main home screen is the first screen displayed on the touch screen 190 when the device 100 is powered on. Also, when the device 100 has different home screens of several pages, the main home screen may be the first home screen of the home screens of the several pages. The home screen may display shortcut icons 191-1, 191-2, and 191-3, main menu switch key 191-4, time, weather, and the like for executing frequently used applications. The main menu switch key 191-4 displays a menu screen on the touch screen 190. In addition, a status bar 192 may be formed on the top of the touch screen 190 to display the status of the device 100 such as a battery charging status, a received signal strength, and a current time.

상기 터치스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다. A home button 161a, a menu button 161b, and a back button 161c may be formed below the touch screen 190.

홈 버튼(161a)은 터치스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 또한, 터치스크린(190) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(161a)이 터치되면, 상기 터치스크린(190)상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치스크린(190) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.The home button 161a displays a main home screen on the touch screen 190. For example, when the home key 161a is touched while a home screen or a menu screen different from the main home screen is displayed on the touch screen 190, the main home screen is touched on the touch screen 190. Can be displayed. In addition, when the home button 161a is touched while applications are executed on the touch screen 190, the main home screen illustrated in FIG. 2 may be displayed on the touch screen 190. In addition, the home button 161a may be used to display recently used applications on the touch screen 190 or to display a task manager.

메뉴 버튼(161b)은 터치스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다. The menu button 161b provides a connection menu that can be used on the touch screen 190. The connection menu may include a widget adding menu, a background screen changing menu, a search menu, an editing menu, an environment setting menu, and the like.

뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다.The back button 161c may display a screen executed immediately before the currently running screen or terminate the most recently used application.

장치(100)의 전면(100a) 가장자리에는 제1영상입력부(151)와 깊이 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 장치(100)의 후면(100c)에는 도 3에 도시된 바와 같이 제2영상입력부(152), 플래시(flash, 153), 깊이 센서(170c), 스피커(163)가 배치될 수 있다. 전면의 깊이 센서(170a)는 사용자의 손, 손동작, 스타일러스 펜 등의 사용자 입력 수단을 촬영한 영상에서 그 영상에 포함된 객체 즉, 사용자 입력 수단에 대한 깊이 정보를 출력한다. 반면, 후면의 깊이 센서(170c)는 전방의 객체들을 촬영한 영상에서 그 객체들 각각에 대한 깊이 정보를 출력한다. 이와 같이 깊이 센서(170a, 170c)들을 이용한다면 영상에 포함된 각 객체에 대한 원근감을 나타내는 깊이값을 획득할 수 있다. The first image input unit 151, the depth sensor 170a, and the proximity sensor 170b may be disposed at an edge of the front surface 100a of the device 100. As shown in FIG. 3, a second image input unit 152, a flash 153, a depth sensor 170c, and a speaker 163 may be disposed on the rear surface 100c of the device 100. The depth sensor 170a on the front surface outputs depth information of an object included in the image, that is, the user input means, from an image photographing a user input means such as a user's hand, hand gesture, stylus pen, or the like. On the other hand, the depth sensor 170c on the rear side outputs depth information on each of the objects in the image of the objects in front of the rear surface. If the depth sensors 170a and 170c are used as described above, a depth value representing a perspective of each object included in the image may be obtained.

장치(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160d)과, 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)을 갖는 볼륨 버튼(161e)과, 방송 수신을 위한 지상파 DMB 안테나(141a)와, 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 장치(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다. Side 100b of device 100 has, for example, a power / reset button 160d, a volume button 161e having a volume up button 161f and a volume down button 161g, and a terrestrial DMB for broadcast reception. An antenna 141a and one or more microphones 162 may be disposed. The DMB antenna 141a may be fixed to or detachably attached to the device 100.

또한, 장치(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 장치(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.In addition, a connector 165 is formed on the bottom side of the device 100. The connector 165 is formed with a plurality of electrodes and may be connected to the external device by wire. An earphone connection jack 167 may be formed on the upper side of the device 100. Earphones may be inserted into the earphone connection jack 167.

이하, 본 발명에서 이용되는 깊이 정보에 대해 간략하게 설명하기 위해 도 4를 참조한다. 도 4를 참조하면, 이동 단말(100)의 후면에 장착된 제2영상 입력부(152)를 통해 전방의 실제 공간을 촬영하게 되면, 일반적인 이미지 센서가 장착된 카메라 모듈의 경우 컬러의 촬영 영상(405)을 출력하게 된다. 이때, 깊이 센서를 이용한다면 실제 공간에 위치한 각 객체들과 연관된 깊이 영상을 촬영할 수 있다. 이러한 깊이 센서는 카메라와 같은 제2영상 입력부(152)와 일체로 구현될 수 있으며, 다르게는 별도로 분리된 형태로 구현될 수도 있다. 이러한 깊이 센서는 실제 공간에 위치한 각 객체들까지의 원근감을 나타내는 깊이 영상(410)을 출력하게 된다. 이러한 깊이 영상을 이용한다면 각 객체까지의 깊이 정보를 생성할 수 있다.Hereinafter, referring to FIG. 4 in order to briefly describe depth information used in the present invention. Referring to FIG. 4, when the actual space in front is photographed through the second image input unit 152 mounted on the rear of the mobile terminal 100, the camera module equipped with a general image sensor may capture a color image 405. ) Will be printed. In this case, if the depth sensor is used, the depth image associated with each object located in the real space may be photographed. The depth sensor may be integrated with the second image input unit 152 such as a camera, or alternatively, may be implemented separately. The depth sensor outputs a depth image 410 representing perspective to each object located in the real space. If the depth image is used, depth information up to each object may be generated.

도 4에서와 같이 현실 공간(400)에 다수의 물리적 객체가 존재하는 경우 이동 단말(100)은 영상 인식 알고리즘을 통해 촬영 영상(405)에서 그 다수의 물리적 객체를 인식한다. 도 5(a)에서는 영상 인식 처리 과정을 통해 인식된 복수개의 객체들(505, 510, 515)이 표시되는 경우를 예시하고 있다. 이때, 이동 단말(100)은 사용자가 인식된 결과를 볼 수 있도록 인식된 객체들에 대해 표시자를 이용하여 표시할 수 있다. 이때, 복수개의 객체에 대한 인식이 완료되면, 이동 단말(100)은 그 복수개의 객체들 각각에 대한 부가 정보를 검색하여 도 5(b)에 도시된 바와 같이 검색된 부가 정보(520, 525, 530)를 각 객체에 매칭시켜 표시할 수 있다. 도 5(a)에서는 인식된 객체들이 각각 TV(505), 냉장고(510), 에어컨(515)인 경우를 예시하고 있으며, 도 5(b)에서는 TV(505)에 대한 부가 정보(520), 냉장고(510)에 대한 부가 정보(530), 에어컨(515)에 대한 부가 정보(535)가 현실 공간의 영상에 매칭되어 표시되는 경우를 예시하고 있다. 이와 같이 본 발명에 따르면 각 물리적 객체의 위치를 고려하여 증강 현실 정보가 중첩되어 표시될 수 있다. When there are a plurality of physical objects in the real space 400 as shown in FIG. 4, the mobile terminal 100 recognizes the plurality of physical objects in the captured image 405 through an image recognition algorithm. FIG. 5A illustrates a case where a plurality of objects 505, 510, and 515 recognized through an image recognition process are displayed. In this case, the mobile terminal 100 may display the recognized objects using an indicator so that the user can see the recognized result. At this time, when the recognition of the plurality of objects is completed, the mobile terminal 100 searches for additional information about each of the plurality of objects and retrieves the additional information 520, 525, and 530 as shown in FIG. 5B. ) Can be displayed by matching each object. In FIG. 5A, the recognized objects are a TV 505, a refrigerator 510, and an air conditioner 515, respectively. In FIG. 5B, additional information 520 for the TV 505 is illustrated. For example, the additional information 530 of the refrigerator 510 and the additional information 535 of the air conditioner 515 are displayed to be matched with the image of the real space. As described above, according to the present invention, the augmented reality information may be overlapped and displayed in consideration of the position of each physical object.

이때, 도 5(b)에 도시된 바와 같이 사용자의 손가락을 터치스크린 방향(535)을 향하여 움직이게 되면, 복수개의 객체들(505, 510, 515) 중 어느 하나가 선택되게 된다. In this case, as shown in FIG. 5B, when the user's finger moves toward the touch screen direction 535, one of the plurality of objects 505, 510, and 515 is selected.

도 6은 본 발명의 실시예에 따른 복수개의 객체를 포함하는 영상에서 사용자 입력 수단이 근접함에 따라 선택되는 객체가 변경되는 경우를 설명하기 위한 화면예시도이다. 여기서, 복수개의 객체들 예컨대 TV, 에어컨, 냉장고의 순으로 깊이값이 커짐을 가정한다. FIG. 6 is a screen diagram illustrating a case where a selected object is changed as a user input unit approaches in an image including a plurality of objects according to an exemplary embodiment of the present invention. Here, it is assumed that the depth value increases in order of a plurality of objects, for example, a TV, an air conditioner, and a refrigerator.

먼저, 도 6(a)은 사용자 입력 수단이 터치스크린에 일정 거리 내에 근접하기 전의 상태를 나타내고 있다. 사용자 입력 수단과의 거리가 일정 거리 이상 먼 경우 복수개의 객체들 중 깊이가 가장 얕은 객체(600) 예컨대, TV가 선택되는 경우를 예시하고 있다. 도 6(b)는 사용자 입력 수단이 터치스크린에 근접함에 따라 선택된 객체가 변경되어 표시되는 상태를 나타낸다. 사용자 입력 수단이 터치스크린 방향(610)으로 이동함에 따라 도 6(a)에서의 깊이가 얕은 객체 예컨대, TV에서 그 TV보다 깊이가 깊은 객체(605) 예컨대, 에어컨으로 선택 가능한 객체가 변경되어 표시된다. 이에 따라 사용자 입력 수단이 터치스크린 방향(610)으로 더 이동하게 되면 가장 깊이가 깊은 객체 예컨대, 냉장고가 선택될 것이다. First, FIG. 6 (a) shows a state before the user input means approaches the touch screen within a predetermined distance. When the distance from the user input means is more than a predetermined distance, the case where the object 600, for example, TV, is shallowest among the plurality of objects is selected, is illustrated. 6B illustrates a state in which the selected object is changed and displayed as the user input means approaches the touch screen. As the user input means moves in the touch screen direction 610, an object shallower in FIG. 6 (a), for example, an object 605 that is deeper than that TV in the TV, for example, an object selectable by an air conditioner is displayed. do. Accordingly, when the user input means is further moved in the touch screen direction 610, the deepest object, for example, a refrigerator, may be selected.

다음으로, 사용자 입력 수단이 이동함에 따라 선택 가능한 객체가 변경되어 표시되는 상태에서 어느 하나의 객체가 선택된 경우의 동작은 도 7에서와 같다. Next, an operation when one object is selected in a state where the selectable object is changed and displayed as the user input means moves is as shown in FIG. 7.

도 7은 본 발명의 일실시예에 따라 선택된 객체에 대한 확대 기능을 설명하기 위한 화면예시도이다. 도 7에 도시된 바와 같이 복수개의 객체들(700, 705, 710)이 서로 일부가 겹쳐져 표시되거나 손가락 면적보다 작은 객체(710)의 경우에도 사용자 입력 수단과의 거리에 따라 순차적으로 객체들이 선택되므로, 선택의 용이할 뿐만 아니라 선택의 정확도도 높일 수 있다. 여기서, 일부가 가려진 객체(710)에 대한 영역은 그 객체의 가려지지 않은 부분의 가로/세로 등의 길이를 이용하여 가려진 부분을 추정함으로써 생성되는 가상의 사각형 형태를 가지게 될 것이다. 이러한 경우 객체(710)의 보이는 부분이 작을지라도 사용자 입력 수단을 객체(710)를 향하여 근접시킴에 따라 가상의 사각형 형태 안으로 들어오게 되면 그 객체(710)가 선택될 수 있어, 선택의 정확도가 높아지게 된다. 7 is an exemplary screen diagram illustrating a magnification function for a selected object according to an embodiment of the present invention. As shown in FIG. 7, even when the plurality of objects 700, 705, and 710 are partially overlapped with each other or the object 710 is smaller than the finger area, the objects are sequentially selected according to the distance from the user input means. In addition, the selection is easy and the accuracy of the selection can be increased. Here, the area of the partially hidden object 710 may have a virtual quadrangle shape generated by estimating the hidden part by using the length of the unobscured part of the object. In this case, even if the visible portion of the object 710 is small, the object 710 may be selected when the user input means is brought into the virtual quadrangle shape as the user input means approaches the object 710, so that the accuracy of the selection is increased. do.

이와 같이 사용자 입력 수단을 깊이 방향으로 이동함에 따라 제1객체(700)로부터 제2객체, 제3객체(705)가 차례로 선택 가능한 객체로 표시자를 통해 표시되게 된다. 만일 제2객체(710)에 표시자가 위치한 상태에서 사용자가 선택 등의 손동작을 하거나 터치 입력을 하면, 터치 입력에 따라 선택된 제2객체(710)를 확대(715)하여 볼 수 있게 된다. 이외에도 선택된 객체에 대해 축소, 정보 검색 등 선택된 객체에 대해 다양한 사용자 인터페이스를 제공하는 것이 가능하다. 예를 들어, 복수개의 객체들 중 선택된 객체에 대한 제어 명령을 전송함으로써 TV를 온/오프하는 등의 제어도 가능할 것이다. 한편 도 7에서는 실내에서의 겹쳐진 객체들 중 어느 하나를 선택하는 경우를 예로 들어 설명하였으나, 실외에서 건물 등에 대한 증강 현실 서비스를 제공하는 경우 사용자 입력 수단을 깊이 방향으로 이동시켜 객체를 선택하는 방식은 가려진 건물들 중 어느 하나의 건물을 선택하는 경우에도 적용될 수 있다. As the user input means moves in the depth direction as described above, the second object and the third object 705 are sequentially displayed as selectable objects from the first object 700 through the indicator. If the user makes a gesture such as a selection or touch input while the indicator is located on the second object 710, the selected second object 710 may be enlarged and viewed according to the touch input (715). In addition, it is possible to provide various user interfaces with respect to the selected object, such as reduction and information retrieval for the selected object. For example, by transmitting a control command for a selected object among the plurality of objects, control such as turning on / off the TV may be possible. In FIG. 7, a case in which one of the overlapping objects is selected indoors is described as an example. However, when augmented reality service is provided for a building outdoors, a method of selecting an object by moving a user input means in a depth direction is described. The same may be applied to the case of selecting any one of the hidden buildings.

도 8은 본 발명의 실시예에 따른 이동 단말에서의 동작 흐름도이다. 8 is a flowchart illustrating operations in a mobile terminal according to an embodiment of the present invention.

*도 8을 참조하면, 이동 단말(100)은 800단계에서 전방을 촬영한 제1영상을 수신하면 805단계에서 제1영상 내의 복수개의 객체들을 인식하여 표시한다. 또한 810단계에서 후방의 사용자 입력 수단을 촬영한 제2영상을 수신하면 815단계에서 제2영상을 근거로 사용자 입력 수단과의 거리를 측정한다. 다음으로, 820단계에서 상기 복수개의 객체들 중 상기 측정된 거리에 대응하는 객체가 선택되었음을 표시한다. 이어, 825단계에서 측정된 거리가 변경되는지를 판단한다. 측정된 거리가 변경되지 않으면 810단계로 되돌아가 사용자 입력 수단에 대한 촬영을 계속 수행한다. 만일 측정된 거리가 변경되는 경우 830단계에서 변경된 거리에 따라 선택 가능한 객체를 변경하여 표시한다. 만일 표시자가 위치한 객체에 대한 선택이 없으면 810단계로 되돌아간다. 반면, 835단계에서 표시자가 위치한 객체에 대한 선택이 있으면 840단계에서 터치 입력에 따라 선택된 객체에 대한 줌인/줌아웃을 수행한다. Referring to FIG. 8, when the mobile terminal 100 receives the first image photographed forward in step 800, the mobile terminal 100 recognizes and displays a plurality of objects in the first image in step 805. In operation 810, when the second image photographing the rear user input means is received, the distance from the user input means is measured based on the second image. Next, in operation 820, an object corresponding to the measured distance is selected from among the plurality of objects. In operation 825, it is determined whether the measured distance is changed. If the measured distance does not change, the process returns to step 810 to continue photographing the user input means. If the measured distance is changed in step 830, the selectable object is changed and displayed according to the changed distance. If there is no selection for the object where the indicator is located, the process returns to step 810. On the other hand, if there is a selection for the object in which the indicator is located in step 835, in operation 840, zooming in / out of the selected object is performed according to the touch input.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 사용자 인터페이스 제어 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.It will be appreciated that embodiments of the invention may be realized in the form of hardware, software or a combination of hardware and software. Any such software may be, for example, volatile or nonvolatile storage, such as storage, such as ROM, whether or not erasable or rewritable, or, for example, memory such as RAM, memory chips, devices or integrated circuits. Or, for example, CD or DVD, magnetic disk or magnetic tape and the like can be stored in a storage medium that is optically or magnetically recordable and simultaneously readable by a machine (eg computer). It will be appreciated that the storage unit that can be included in the user interface control device is an example of a machine-readable storage medium suitable for storing a program or programs including instructions for implementing embodiments of the present invention. Accordingly, the present invention includes a program comprising code for implementing the methods described in any claim herein and a machine-readable storage medium storing such a program. In addition, such a program may be transferred electronically through any medium, such as a communication signal transmitted over a wired or wireless connection, and the invention suitably includes equivalents thereof.

또한, 상기 사용자 인터페이스 제어 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 사용자 인터페이스 제어 장치가 영상에서 객체를 선택하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 영상에서 객체를 선택하는 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 사용자 인터페이스 제어 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 사용자 인터페이스 제어 장치의 요청 또는 자동으로 해당 프로그램을 상기 사용자 인터페이스 제어 장치로 전송하는 제어부를 포함할 수 있다.In addition, the user interface control device may receive and store the program from a program providing device connected by wire or wirelessly. The program providing apparatus includes a program including instructions for causing the user interface control apparatus to perform a method of selecting an object in an image, a memory for storing information necessary for a method of selecting an object in the image, and the user interface. The apparatus may include a communication unit for performing wired or wireless communication with a control device, and a controller for automatically transmitting a request or a corresponding program to the user interface control device by the user interface control device.

상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.In the above description of the present invention, specific embodiments have been described, but various modifications can be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by the described embodiments, but should be defined by the equivalent of claims and claims.

Claims (6)

전자 장치에 있어서,
적어도 하나의 센서;
상기 적어도 하나의 센서에 인접하게 배치되는 카메라;
디스플레이; 및
상기 적어도 하나의 센서를 통해, 사용자 입력에 대한 제1 깊이 정보를 획득하고,
상기 적어도 하나의 센서를 통해, 서로가 부분적으로 중첩된 복수의 객체들 각각의 제2 깊이 정보를 획득하고,
상기 카메라를 통해 촬영된, 상기 부분적으로 중첩된 복수의 객체들을 포함하는 영상이 상기 디스플레이에 표시되도록 제어하고,
상기 복수의 객체들 각각의 제2 깊이 정보에 기반하여, 상기 부분적으로 중첩된 복수의 객체들 중 상기 제1 깊이 정보에 대응하는 깊이 정보를 갖는 객체를 확인하고,
상기 확인된 객체의 선택이 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
In an electronic device,
At least one sensor;
A camera disposed adjacent the at least one sensor;
display; And
Acquire first depth information on a user input through the at least one sensor,
Obtaining, via the at least one sensor, second depth information of each of the plurality of objects partially overlapping each other;
Control to display an image including the plurality of partially overlapped objects captured by the camera on the display,
Based on second depth information of each of the plurality of objects, identifying an object having depth information corresponding to the first depth information among the plurality of partially overlapped objects,
And a processor to control the display to display a selection of the identified object.
제1항에 있어서,
상기 프로세서는,
상기 제1 깊이 정보에 기반하여, 상기 복수의 객체들 중 상기 제2 깊이 정보가 나타내는 값이 작은 객체부터 큰 객체의 순서로 변경하여 표시하도록 제어하는, 전자 장치.
The method of claim 1,
The processor,
Based on the first depth information, the electronic device is controlled to change and display the value represented by the second depth information among the plurality of objects in order of small objects to large objects.
제1항에 있어서,
상기 프로세서는,
상기 제1 깊이 정보에 기반하여 상기 사용자 입력과 상기 디스플레이와의 거리를 측정하는 전자 장치.
The method of claim 1,
The processor,
The electronic device measures a distance between the user input and the display based on the first depth information.
제1항에 있어서,
상기 프로세서는,
상기 확인된 객체에 대한 테두리를 표시하거나, 상기 테두리의 색을 변경하거나 또는 상기 확인된 객체를 확대 또는 축소시켜 상기 디스플레이에 표시하도록 제어하는 전자 장치.
The method of claim 1,
The processor,
And display a border on the identified object, change a color of the border, or enlarge or reduce the identified object to display on the display.
제1항에 있어서,
상기 프로세서는,
상기 디스플레이 상의 터치 입력에 기반하여, 상기 확인된 객체가 확대 또는 축소되어 상기 디스플레이에 표시되도록 제어하는 전자 장치.
The method of claim 1,
The processor,
The electronic device controls the identified object to be enlarged or reduced and displayed on the display based on a touch input on the display.
제1항에 있어서,
상기 프로세서는,
상기 복수의 객체들 각각에 대응하는 정보가 상기 촬영된 영상에서 상기 복수의 객체들 각각에 대응하여 상기 디스플레이에 표시되도록 제어하는 전자 장치.The method of claim 1,
The processor,
And control information such that information corresponding to each of the plurality of objects is displayed on the display corresponding to each of the plurality of objects in the captured image.
KR1020190154062A 2019-11-27 2019-11-27 User interface controlling device and method for selecting object in image and image input device KR102160954B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190154062A KR102160954B1 (en) 2019-11-27 2019-11-27 User interface controlling device and method for selecting object in image and image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190154062A KR102160954B1 (en) 2019-11-27 2019-11-27 User interface controlling device and method for selecting object in image and image input device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109435A Division KR102051418B1 (en) 2012-09-28 2012-09-28 User interface controlling device and method for selecting object in image and image input device

Publications (2)

Publication Number Publication Date
KR20190135958A true KR20190135958A (en) 2019-12-09
KR102160954B1 KR102160954B1 (en) 2020-09-29

Family

ID=68837783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154062A KR102160954B1 (en) 2019-11-27 2019-11-27 User interface controlling device and method for selecting object in image and image input device

Country Status (1)

Country Link
KR (1) KR102160954B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102051418B1 (en) * 2012-09-28 2019-12-03 삼성전자주식회사 User interface controlling device and method for selecting object in image and image input device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102051418B1 (en) * 2012-09-28 2019-12-03 삼성전자주식회사 User interface controlling device and method for selecting object in image and image input device

Also Published As

Publication number Publication date
KR102160954B1 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
KR102051418B1 (en) User interface controlling device and method for selecting object in image and image input device
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
KR102028952B1 (en) Method for synthesizing images captured by portable terminal, machine-readable storage medium and portable terminal
RU2672134C2 (en) Portable terminal and method for providing haptic effect for input unit
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
KR102158098B1 (en) Method and apparatus for image layout using image recognition
KR102097452B1 (en) Electro device comprising projector and method for controlling thereof
KR101815720B1 (en) Method and apparatus for controlling for vibration
KR102145577B1 (en) Method and apparatus for displaying user interface
KR20140025869A (en) Mobile apparatus coupled with external input device and control method thereof
US20140281962A1 (en) Mobile device of executing action in display unchecking mode and method of controlling the same
KR102186815B1 (en) Method, apparatus and recovering medium for clipping of contents
KR102118091B1 (en) Mobile apparatus having fuction of pre-action on object and control method thereof
KR20140110646A (en) User termial and method for displaying screen in the user terminal
KR102146832B1 (en) Electro device for measuring input position of stylus pen and method for controlling thereof
KR102160954B1 (en) User interface controlling device and method for selecting object in image and image input device
KR20140131051A (en) electro device comprising pressure sensor and method for controlling thereof
KR20150026110A (en) A method for managing icons and a mobile terminal therefor
KR102482630B1 (en) Method and apparatus for displaying user interface
KR102187856B1 (en) Method and apparatus for displaying user interface
KR20210041548A (en) Method and apparatus for displaying user interface
KR20140076395A (en) Display apparatus for excuting applications and method for controlling thereof
EP3540586A1 (en) Method and apparatus for providing a changed shortcut icon corresponding to a status thereof
KR20140089870A (en) Method and apparatus for providing user interface

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant