KR101351487B1 - Mobile terminal and control method thereof - Google Patents

Mobile terminal and control method thereof Download PDF

Info

Publication number
KR101351487B1
KR101351487B1 KR1020090074802A KR20090074802A KR101351487B1 KR 101351487 B1 KR101351487 B1 KR 101351487B1 KR 1020090074802 A KR1020090074802 A KR 1020090074802A KR 20090074802 A KR20090074802 A KR 20090074802A KR 101351487 B1 KR101351487 B1 KR 101351487B1
Authority
KR
South Korea
Prior art keywords
user
camera
screen
detected
gaze position
Prior art date
Application number
KR1020090074802A
Other languages
Korean (ko)
Other versions
KR20110017236A (en
Inventor
조웅제
임경미
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020090074802A priority Critical patent/KR101351487B1/en
Publication of KR20110017236A publication Critical patent/KR20110017236A/en
Application granted granted Critical
Publication of KR101351487B1 publication Critical patent/KR101351487B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 휴대 단말기 및 그 제어방법에 관한 것이다. 본 휴대 단말기의 제어방법은 디스플레이부에 동작 화면을 표시하고, 시선추적을 수행하여 사용자의 시선 위치를 파악한다. 그리고, 동작 화면에서 사용자의 시선 위치가 파악된 일 영역을 확대하여 표시한다. 본 발명에 따르면, 시선추적을 이용하여 휴대 단말기에서 다양한 동작을 편리하게 제어할 수 있다.The present invention relates to a portable terminal and a control method thereof. The control method of the portable terminal displays an operation screen on a display unit and performs eye tracking to determine a user's eye position. In addition, an enlarged area of the user's gaze location is displayed on the operation screen. According to the present invention, it is possible to conveniently control various operations in the mobile terminal using eye tracking.

시선추적, 휴대 단말기, 줌, 촛점 Eye Tracking, Handheld Device, Zoom, Focus

Description

휴대 단말기 및 그 제어방법{Mobile terminal and control method thereof}The present invention relates to a mobile terminal and a control method thereof,

본 발명은 휴대 단말기 및 그 제어방법에 관한 것으로, 더욱 상세하게는 시선추적을 이용하여 다양한 동작 제어가 가능한 휴대 단말기 및 그 제어방법에 관한 것이다. The present invention relates to a portable terminal and a control method thereof, and more particularly, to a portable terminal capable of controlling various operations using eye tracking and a control method thereof.

휴대 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능, 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다. 이러한 휴대 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(multimedia player) 형태로 구현되고 있다.A portable terminal is a portable device having one or more functions capable of carrying out voice and video communication, capable of inputting and outputting information, and storing data, while being portable. As the functions of the portable terminal have diversified, they have complicated functions such as photographing and photographing, playing music files and video files, receiving games, receiving broadcasts, and wireless internet, and have developed a comprehensive multimedia player, .

이러한 멀티미디어 기기의 형태로 구현된 휴대 단말기는, 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다. 일 예로 사용자가 쉽고 편리하게 기능을 검색하거나 선택하기 위한 유저 인터페이스(User Interface) 환경 등이 있다. 또한, 휴대 단말기는 사용자의 개성을 표현하기 위한 개인 휴대품으로 여겨지면서, 양면에서 보이는 양면 LCD(Liquid Crystal Display)나, 전면 터치스크린(touch screen) 등 다양한 형태의 디자인 변화도 요구되고 있다.In order to realize a complicated function, a mobile terminal implemented in the form of a multimedia device is being applied variously in terms of hardware and software. For example, a user interface environment for a user to search for or select a function easily and conveniently. In addition, while the mobile terminal is regarded as a personal portable product for expressing the personality of the user, various types of design changes such as a double-sided LCD (Liquid Crystal Display) and a front touch screen are also required.

한편, 시선추적(eye-tracking)은 카메라를 통해 입력된 영상을 분석하여 사용자의 눈동자를 인식하여 사용자 시선을 추적하는 기술이다. 이러한 시선추적은 스포츠 중계, 장애인을 위한 시스템, 및 소비자의 동선 및 시선 파악 등에 응용되고 있으며, 최근에는 시선추적을 위한 인터페이스를 위해 다양한 알고리즘이 연구되고 있다. On the other hand, eye-tracking is a technique of tracking a user's gaze by analyzing an image input through a camera and recognizing a user's eyes. Such eye tracking is applied to sports relaying, a system for the disabled, and identifying the movement and eye of a consumer. Recently, various algorithms have been studied for an interface for eye tracking.

따라서, 이러한 시선추적을 이용한 새로운 사용자 인터페이스 방식을 통해 휴대 단말기의 동작을 제어하는 방안을 고려해 볼 필요가 있다.Therefore, it is necessary to consider a method of controlling the operation of the mobile terminal through a new user interface method using such eye tracking.

따라서, 본 발명의 목적은, 시선추적을 이용하여 여러가지 동작을 제어할 수 있는 휴대 단말기 및 그 제어방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a mobile terminal and a control method thereof capable of controlling various operations using eye tracking.

상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 디스플레이부에 동작 화면을 표시하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 동작 화면에서 상기 시선 위치가 파악된 일 영역을 확대하여 표시하는 단계를 포함한다.In accordance with another aspect of the present invention, there is provided a method of controlling a mobile terminal, the method comprising: displaying an operation screen on a display unit, performing eye tracking to identify a user's gaze position, and the gaze position on the operation screen; And magnifying and displaying the identified one area.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 디스플레이부에 카메라의 프리뷰 이미지를 표시하는 단계, 시선추적을 수행하 여, 사용자의 시선 위치를 파악하는 단계, 및 상기 프리뷰 이미지에서 상기 시선 위치가 파악된 영역에 대응하는 피사체에 촛점이 맞도록 상기 카메라의 촛점을 조절하는 단계를 포함한다. In addition, the control method of the mobile terminal according to the present invention for achieving the above object, the step of displaying a preview image of the camera on the display unit, performing the eye tracking, grasping the position of the user's gaze, and the preview And adjusting the focal point of the camera to focus on a subject corresponding to an area where the gaze position is identified in the image.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 본체에 구비되는 음향출력 모듈을 통해 음향 신호를 출력하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 시선 위치가 상기 본체에서 파악되면, 상기 음향 신호의 출력을 중지하는 단계를 포함한다. In addition, the control method of the portable terminal according to the present invention for achieving the above object, the step of outputting a sound signal through the sound output module provided in the main body, performing eye tracking, to identify the position of the user's eye gaze, And stopping the output of the sound signal when the gaze position is detected by the main body.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 디스플레이부에 방송신호를 수신하여 재생한 방송 화면을 표시하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 시선 위치가 상기 방송 화면이 아니면, 상기 방송신호의 재생을 중단하고, 재생이 중단된 방송신호를 저장하는 단계를 포함한다. In addition, the control method of the portable terminal according to the present invention for achieving the above object, the step of displaying a broadcast screen received and reproduced by receiving a broadcast signal on the display unit, performing a gaze tracking, to identify the gaze position of the user And if the gaze position is not the broadcast screen, stopping the reproduction of the broadcast signal and storing the broadcast signal where the reproduction is stopped.

본 발명에 따르면, 디스플레이부에 동작 화면을 표시하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 시선 위치가 상기 동작 화면의 상부나 하부 영역인 경우, 상기 시선 위치에 따라 상기 동작 화면을 스크롤하는 단계를 포함하는 휴대 단말기의 제어방법가 제공된다.According to the present invention, the step of displaying an operation screen on a display unit, performing eye gaze tracking, identifying a position of the user's gaze, and when the gaze position is an upper or lower area of the operation screen, Accordingly, there is provided a control method of a portable terminal including scrolling the operation screen.

한편, 본 발명에 따른 휴대 단말기는, 카메라, 동작 화면을 표시하는 디스플레이부, 및 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 동작 화면에서 상기 사용자의 시선 위치가 파악된 일 영역을 확대하여 표시하는 제어부를 포함한다. Meanwhile, the portable terminal according to the present invention performs eye tracking using a camera, a display unit for displaying an operation screen, and a user image acquired through the camera, thereby determining the position of the user's gaze on the operation screen. And a controller for enlarging and displaying one region.

또한, 본 발명에 따른 휴대 단말기는, 제1 및 제2 카메라, 상기 제1 카메라의 프리뷰 이미지를 표시하는 디스플레이부, 및 상기 제2 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 프리뷰 이미지에서 상기 사용자의 시선 위치가 파악된 영역에 대응하는 피사체에 촛점이 맞도록 상기 제1 카메라의 촛점을 조절하는 제어부를 포함한다.In addition, the portable terminal according to the present invention performs eye tracking using first and second cameras, a display unit displaying a preview image of the first camera, and a user image acquired through the second camera. And a controller configured to adjust the focus of the first camera to focus on a subject corresponding to a region where the user's gaze position is identified in the preview image.

또한, 본 발명에 따른 휴대 단말기는, 본체에 구비되는 카메라, 음향 신호를 출력하는 음향출력 모듈, 및 상기 음향출력 모듈을 통해 음향 신호를 출력하고, 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 사용자의 시선 위치가 상기 본체인 경우, 상기 음향 신호의 출력이 중지되도록 상기 음향출력 모듈을 제어하는 제어부를 포함한다. In addition, the portable terminal according to the present invention includes a camera provided in the main body, an audio output module for outputting an audio signal, and an audio signal output through the audio output module, and using the user image acquired through the camera, And performing a tracking to control the sound output module to stop the output of the sound signal when the gaze position of the user is the main body.

또한, 본 발명에 따른 휴대 단말기는, 카메라, 방송신호를 수신하는 방송수신 모듈, 상기 방송신호를 재생한 방송 화면이 표시되는 디스플레이부, 및 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 사용자의 시선 위치가 상기 방송 화면이 아닌 경우, 상기 방송신호의 재생을 중단하고, 재생이 중단된 방송신호가 저장되도록 제어하는 제어부를 포함한다. In addition, the portable terminal according to the present invention, the eye gaze tracking using a camera, a broadcast receiving module for receiving a broadcast signal, a display unit for displaying a broadcast screen reproducing the broadcast signal, and a user image obtained through the camera If the user's gaze position is not the broadcast screen, the control unit stops the reproduction of the broadcast signal and controls the broadcast signal to stop the reproduction of the broadcast signal.

본 발명에 따르면, 카메라, 동작 화면을 표시하는 디스플레이부, 및상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 사용자의 시선 위치가 상기 동작 화면의 상부나 하부 영역인 경우, 상기 시선 위치에 따라 상기 동작 화면이 스크롤되도록 하는 제어부를 포함하는 휴대 단말기가 제공된다.According to the present invention, when the gaze tracking of the user is an upper or lower area of the operation screen by performing gaze tracking using a camera, a display unit displaying an operation screen, and a user image acquired through the camera, A portable terminal including a controller for scrolling the operation screen according to the gaze position is provided.

본 발명에 따르면, 시선추적을 이용하여 휴대 단말기에서 자동 줌 기능이나 자동 촛점 기능 등을 수행할 수 있으며, 스크롤, 음향 소리의 조절, 타임머신 모드의 동작 등도 사용자의 시선 위치에 따라 자동으로 수행할 수 있다. 이에 따라, 사용자는 휴대 단말기의 여러 가기 동작을 편리하게 제어할 수 있다. According to the present invention, by using eye tracking, the portable terminal can perform an auto zoom function or an auto focus function, and can also automatically perform scrolling, adjustment of sound sound, and operation of a time machine mode according to the user's gaze position. have. Accordingly, the user can conveniently control various cutting operations of the portable terminal.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.

본 명세서에서 기술되는 휴대 단말기에는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함된다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다. The portable terminal described in this specification includes a mobile phone, a smart phone, a notebook computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), and navigation. In addition, suffixes "module" and " part "for the components used in the following description are given merely for convenience of description, and do not give special significance or role in themselves. Accordingly, the terms "module" and "part" may be used interchangeably.

도 1은 본 발명의 일실시예에 따른 휴대 단말기의 블럭 구성도(block diagram)이다. 도 1을 참조하여 본 발명의 일실시예에 따른 휴대 단말기를 기능에 따른 구성요소 관점에서 살펴보겠다.FIG. 1 is a block diagram of a portable terminal according to an exemplary embodiment of the present invention. Referring to FIG. Referring to FIG. 1, a mobile terminal according to an exemplary embodiment of the present invention will be described in terms of its functional components.

도 1을 참조하면, 본 휴대 단말기(100)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구 성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.1, the portable terminal 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, A memory 160, an interface unit 170, a control unit 180, and a power supply unit 190. When these components are implemented in an actual application, two or more components may be combined into one component as needed, or one component may be divided into two or more components.

무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.The wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 113, a wireless Internet module 115, a short distance communication module 117, and a GPS module 119.

방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송 신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.The broadcast receiving module 111 receives at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel. At this time, the broadcast channel may include a satellite channel, a terrestrial channel, and the like. The broadcast management server may refer to a server for generating and transmitting at least one of a broadcast signal and broadcast related information and a server for receiving at least one of the generated broadcast signal and broadcast related information and transmitting the broadcast signal to the terminal.

방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈(113)에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다. The broadcast-related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast related information may also be provided through a mobile communication network, and in this case, may be received by the mobile communication module 113. Broadcast-related information can exist in various forms.

방송수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈(111)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The broadcast receiving module 111 may receive a broadcast signal using various broadcast systems, and may receive a digital broadcast signal using a digital broadcast system. In addition, the broadcast receiving module 111 may be configured to be suitable for all broadcasting systems that provide broadcasting signals, as well as the digital broadcasting system. The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.

이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화 상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 113 transmits and receives a radio signal to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to voice call signal, video call signal, or text / multimedia message transmission and reception.

무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 휴대 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The wireless Internet module 115 refers to a module for wireless Internet access, and the wireless Internet module 115 can be embedded in the mobile terminal 100 or externally. WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. The short-range communication module 117 refers to a module for short-range communication. Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, and the like can be used as the short distance communication technology.

GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다. A GPS (Global Position System) module 119 receives position information from a plurality of GPS satellites.

A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것이다. A/V 입력부(120)에는 카메라(121)와 마이크(123) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.The A / V input unit 120 is for inputting an audio signal or a video signal. The A / V input unit 120 may include a camera 121 and a microphone 123. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video communication mode or the photographing mode. Then, the processed image frame can be displayed on the display unit 151. [

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. [ Two or more cameras 121 may be provided according to the configuration aspect of the terminal.

마이크(123)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(113)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 (123)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.The microphone 123 receives an external sound signal by a microphone in a communication mode, a recording mode, a voice recognition mode, or the like, and processes it as electrical voice data. The processed voice data can be converted into a form that can be transmitted to the mobile communication base station through the mobile communication module 113 and output when the voice data is in the call mode. The microphone 123 may be a variety of noise reduction algorithms for eliminating noise generated in receiving an external sound signal.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.The user input unit 130 generates key input data that the user inputs to control the operation of the terminal. The user input unit 130 may include a key pad, a dome switch, a touch pad (static / static), a jog wheel, a jog switch, a finger mouse, and the like. Particularly, when the touch pad has a mutual layer structure with the display unit 151 described later, it can be called a touch screen.

센싱부(140)는 휴대 단말기(100)의 개폐 상태, 휴대 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 휴대 단말기(100)의 현 상태를 감지하여 휴대 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 휴대 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.The sensing unit 140 senses the current state of the portable terminal 100 such as the open / close state of the portable terminal 100, the position of the portable terminal 100, Thereby generating a sensing signal. For example, when the portable terminal 100 is in the form of a slide phone, it is possible to sense whether the slide phone is opened or closed. In addition, it may be responsible for sensing functions related to whether the power supply unit 190 is supplied with power, whether the interface unit 170 is coupled to an external device, and the like.

센싱부(140)는 근접센서(Proximity Sensor)(141), 압력센서(143), 및 모션 센서(145) 등을 포함할 수 있다. 근접센서(141)는 접근하는 물체나, 근방에 존재 하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.The sensing unit 140 may include a proximity sensor 141, a pressure sensor 143, a motion sensor 145, and the like. The proximity sensor 141 may detect the presence or absence of an object approaching or an object present in the vicinity without mechanical contact. The proximity sensor 141 can detect a nearby object by using a change in the alternating magnetic field or a change in the static magnetic field, or a rate of change in capacitance. The proximity sensor 141 may be equipped with two or more sensors according to the configuration.

압력센서(143)는 휴대 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(143)는 사용환경에 따라 휴대 단말기(100)에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(143)가 디스플레이부(151)에 설치되는 경우, 압력센서(143)에서 출력되는 신호에 따라, 디스플레이부(151)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(143)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이부(151)에 가해지는 압력의 크기도 알 수 있다. The pressure sensor 143 can detect whether the pressure is applied to the portable terminal 100, the magnitude of the pressure, and the like. The pressure sensor 143 may be installed at a portion where the pressure of the portable terminal 100 is required depending on the use environment. When the pressure sensor 143 is installed on the display unit 151, the touch input through the display unit 151 and the pressure applied by the touch input The pressure touch input can be identified. Also, the magnitude of the pressure applied to the display unit 151 at the time of the pressure touch input can be determined according to the signal output from the pressure sensor 143. [

모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 휴대 단말기(100)의 위치나 움직임 등을 감지한다. 모션 센서(145)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다. The motion sensor 145 detects the position and movement of the portable terminal 100 using an acceleration sensor, a gyro sensor, or the like. An acceleration sensor that can be used for the motion sensor 145 is a device that converts an acceleration change in one direction into an electric signal and is widely used along with the development of MEMS (micro-electromechanical systems) technology. The gyro sensor is a sensor for measuring the angular velocity, and it can sense the direction of rotation with respect to the reference direction.

출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(150)에는 디스플레이부(151), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등이 포함될 수 있다.The output unit 150 is for outputting an audio signal, a video signal, or an alarm signal. The output unit 150 may include a display unit 151, an audio output module 153, an alarm unit 155, and a haptic module 157.

디스플레이부(151)는 휴대 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 휴대 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 휴대 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다. The display unit 151 displays and outputs the information processed by the portable terminal 100. For example, when the portable terminal 100 is in the call mode, a UI (User Interface) or a GUI (Graphic User Interface) associated with a call is displayed. When the portable terminal 100 is in the video communication mode or the photographing mode, the photographed or received images can be displayed individually or simultaneously, and the UI and the GUI are displayed.

한편, 전술한 바와 같이, 디스플레이부(151)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(151)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다. 또한, 디스플레이부(151)는 전자종이(e-Paper)로 구성될 수 있다. Meanwhile, as described above, when the display unit 151 and the touch pad have a mutual layer structure and constitute a touch screen, the display unit 151 may be used as an input device in addition to the output device. If the display unit 151 is configured as a touch screen, it may include a touch screen panel, a touch screen panel controller, and the like. In addition, the display unit 151 may be configured of an electronic paper (e-Paper).

이외에도 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 휴대 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들어, 휴대 단말기(100)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.In addition, the display unit 151 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three- (3D display). In addition, there may be two or more display units 151 according to the embodiment of the portable terminal 100. For example, the portable terminal 100 may include an external display unit (not shown) and an internal display unit (not shown) at the same time.

음향출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(153)은 휴대 단말기(100)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 153 outputs audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, In addition, the sound output module 153 outputs a sound signal related to a function performed in the portable terminal 100, for example, a call signal reception sound and a message reception sound. The sound output module 153 may include a speaker, a buzzer, and the like.

알람부(155)는 휴대 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 휴대 단말기(100)에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(155)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(155)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(155)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 휴대 단말기(100)에서 이벤트 발생 알림을 위한 신호는 디스플레이부(151)나 음향출력 모듈(153)를 통해서도 출력될 수 있다.The alarm unit 155 outputs a signal for notifying the occurrence of an event of the portable terminal 100. Examples of events occurring in the portable terminal 100 include call signal reception, message reception, and key signal input. The alarm unit 155 outputs a signal for notifying the occurrence of an event in a form other than an audio signal or a video signal. For example, it is possible to output a signal in a vibration mode. The alarm unit 155 can output a signal to notify when a call signal is received or a message is received. Also. When the key signal is inputted, the alarm unit 155 can output a signal as a feedback to the key signal input. The user may recognize the occurrence of an event through the signal output from the alarm unit 155. A signal for notifying the occurrence of an event in the portable terminal 100 may also be output through the display unit 151 or the sound output module 153. [

햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(157)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The haptic module 157 generates various tactile effects that the user can feel. A typical example of the haptic effect generated by the haptic module 157 is a vibration effect. When the haptic module 157 generates vibration with a haptic effect, the intensity and pattern of the vibration generated by the haptic module 157 can be converted, and the different vibrations can be synthesized and output or sequentially output.

메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 160 may store a program for processing and controlling the controller 180 and may provide a function for temporarily storing input or output data (for example, a phone book, a message, a still image, a video, etc.). It can also be done.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 휴대 단말기(100)는 인터넷(internet) 상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.The memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), a RAM , And a ROM. ≪ / RTI > In addition, the portable terminal 100 may operate a web storage for storing the memory 150 on the Internet.

인터페이스부(170)는 휴대 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 휴대 단말기(100)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 휴대 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 휴대 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The interface unit 170 serves as an interface with all external devices connected to the portable terminal 100. Examples of external devices connected to the mobile terminal 100 may include a wired / wireless headset, an external charger, a wired / wireless data port, a memory card, a subscriber identification module (SIM) or a user identity module (UIM) card. The same card socket, audio input / output (I / O) terminal, video input / output (I / O) terminal, and earphones are included. The interface unit 170 receives data from the external device or receives power from the external device and transmits the data to each component in the portable terminal 100 so that data in the portable terminal 100 can be transmitted to the external device .

인터페이스부(170)는 휴대 단말기(100)가 외부 크래들(cradle)과 연결될 때 연결된 크래들로부터의 전원이 휴대 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 휴대 단말기(100)로 전달되는 통로가 될 수 있다.The interface unit 170 is a path through which power from the cradle connected when the portable terminal 100 is connected to the external cradle is supplied to the portable terminal 100 or various command signals inputted from the cradle by the user are carried And may be a passage to be transmitted to the terminal 100.

제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 휴대 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다.The controller 180 typically controls the operation of each unit to control the overall operation of the mobile terminal 100. For example, voice communication, data communication, video communication, and the like. In addition, the control unit 180 may include a multimedia playback module 181 for multimedia playback. The multimedia playback module 181 may be configured in hardware in the controller 180 or separately from software in the controller 180. [

그리고, 전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power necessary for operation of the respective components.

이와 같은 구성의 휴대 단말기(100)는 유무선 통신 시스템 및 위성 기반 통신 시스템을 포함하여, 프레임(frame) 또는 패킷(packet)을 통하여 데이터(data)를 전송할 수 있는 통신 시스템에서 동작 가능하도록 구성될 수 있다. The mobile terminal 100 having such a configuration can be configured to be operable in a communication system capable of transmitting data through a frame or a packet, including a wired / wireless communication system and a satellite-based communication system. have.

도 2는 본 발명의 제1 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 시선추적(eye-tracking)을 이용하여 자동으로 줌(Zoomn) 기능이 수행되는 경우를 설명한다. 시선추적은 카메라를 통해 입력된 영상 등을 분석한 결과에 따라, 사용자의 눈동자를 인식하여 사용자 시선 위치를 추적할 수 있는 기술이다. 이러한 시선추적을 이용하여 사용자의 시선 위치를 실시간으로 파악할 수 있다. 시선추적을 사용하는 것은, 이하 설명하는 다른 실시예에 따른 휴대 단말기의 제어방법에서도 동일하게 적용된다.2 is a flowchart provided to explain a method for controlling a portable terminal according to the first embodiment of the present invention. In this embodiment, a zoom function is automatically performed by using eye-tracking. Eye tracking is a technology that can track the position of the user's eyes by recognizing the eyes of the user according to a result of analyzing the image input through the camera. By using the gaze tracking, the gaze location of the user may be grasped in real time. The use of eye tracking is equally applicable to a control method of a portable terminal according to another embodiment described below.

도 2를 참조하면, 제어부(180)는 선택된 메뉴나 동작 등에 대응하는 동작 화면을 디스플레이부(151)에 표시한다(S200). 이때, 표시되는 동작 화면의 예로는 텍스트 뷰어 화면, 이미지나 동영상 뷰어 화면, 메시지 송수신화면, 웹페이지 화 면, 방송 화면, 지도화면 등이 있다.Referring to FIG. 2, the controller 180 displays an operation screen corresponding to the selected menu or operation on the display unit 151 (S200). At this time, examples of the operation screen displayed include a text viewer screen, an image or video viewer screen, a message transmission screen, a web page screen, a broadcast screen, and a map screen.

동작 화면이 표시된 상태에서, 자동 줌 기능이 선택되면(S205), 제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S210). 이때, 자동 줌 기능은, 사용자 입력부(130)에서 핫 키(hot-key)로서 작동할 수 있는 키의 입력에 따라 선택될 수 있다. 예컨대, 카메라 키 등이 자동 줌 기능의 선택 키로 사용될 수 있다. 이 경우, 아이들(idle) 상태에서 카메라 키는 카메라 기능 키로 동작하지만, 특정 동작 모드에서는 시선추적을 이용한 자동 줌 기능의 선택 키로 동작할 수 있다. 즉, 특정 동작 모드의 선택에 따라 줌 기능이 필요한 텍스트 뷰어나 이미지 뷰어 등의 동작 화면이 디스플레이부(151)에 표시된 상태에서, 카메라 키의 입력시 시선추적을 이용한 자동 줌 기능이 선택될 수 있다.When the auto zoom function is selected while the operation screen is displayed (S205), the controller 180 performs eye tracking using the user image acquired through the camera 121 or the like (S210). In this case, the auto zoom function may be selected according to an input of a key that may operate as a hot-key in the user input unit 130. For example, a camera key or the like can be used as a selection key of the auto zoom function. In this case, in the idle state, the camera key operates as a camera function key, but in a specific operation mode, the camera key may operate as a selection key for the auto zoom function using eye tracking. That is, the auto zoom function using eye tracking may be selected when the camera key is input while the operation screen such as a text viewer or an image viewer requiring a zoom function is displayed on the display unit 151 according to the selection of a specific operation mode. .

S210 단계에서 시선추적을 수행한 결과에 따라, 제어부(180)는 동작 화면에서 사용자의 시선 위치를 파악하여, 동작 화면에서 사용자의 시선 위치가 일정시간 동안 파악된 영역을 확대하여 표시한다(S215).According to the result of the gaze tracking in step S210, the controller 180 determines the gaze position of the user on the operation screen, and enlarges and displays the area where the gaze position of the user is grasped for a predetermined time on the operation screen (S215). .

예컨대, 동작 화면이 텍스트 뷰어 화면인 경우, 일정시간 이상 사용자의 시선이 머물러 있는 라인(line)을 확대하여 큰 글자로 표시할 수 있다. 동작 화면에 리스트나 썸네일 이미지가 표시된 경우, 사용자의 시선이 머물러 있는 항목이나 썸네일 이미지를 확대 표시할 수 있다. For example, when the operation screen is a text viewer screen, a line in which the user's eyes remain may be enlarged and displayed in large letters for a predetermined time. When the list or the thumbnail image is displayed on the operation screen, the item or the thumbnail image in which the user's eyes remain may be enlarged and displayed.

따라서, 디스플레이부(151)를 가까이 바라볼 필요가 없이, 사용자의 시선 위치에 따라 자동 확대 기능을 제공할 수 있다. 사용자의 시선 위치에 따라 확대 표시된 부분은, 사용자의 시선이 다른 곳을 향하는 경우, 다시 원래의 크기로 표시할 수 있다. Therefore, it is possible to provide an automatic magnification function according to the user's gaze position without having to look closely at the display unit 151. The enlarged and displayed portion according to the position of the gaze of the user may be displayed again in its original size when the gaze of the user faces another place.

또한, 동작 화면이 웹 페이지 화면인 경우, 웹 페이지 화면에서 사용자의 시선이 일정시간 이상 머무르는 이미지 등을 확대하여 표시할 수 있을 뿐만 아니라, 재생 가능한 콘텐츠에 시선이 머무르는 경우, 그 콘텐츠를 재생할 수도 있다.In addition, when the operation screen is a web page screen, not only the image in which the user's gaze remains for a predetermined time or more may be displayed on the web page screen, but also when the gaze remains on the playable content, the content may be played back. .

기타, 터치 입력이나 키 입력 등과 같은 사용자 입력이 있는 경우에는(S220), 제어부(180)는 사용자 입력에 대응하는 동작이 수행되도록 제어한다(S225). 설정 사항에 따라서는, 통화나 메시지 수신 등과 같은 통신 이벤트가 발생한 경우에도, 통신 이벤트 발생에 대응하는 동작을 수행할 수도 있다.In addition, when there is a user input such as a touch input or a key input (S220), the controller 180 controls to perform an operation corresponding to the user input (S225). Depending on the setting, even when a communication event such as a call or message reception occurs, an operation corresponding to the communication event may be performed.

이와 같은 과정은 동작 종료가 선택된 경우까지 반복적으로 수행된다어(S230). 또한, 이와 같은 과정에 의해, 텍스트나 파일 뷰어 등과 같은 다양한 동작 화면에서 사용자의 시선을 추적하여, 사용자가 바라보고 있는 영역을 자동으로 확대하여 표시할 수 있다. This process is repeatedly performed until the end of the operation is selected (S230). In addition, by the above process, the user's eyes are tracked on various operation screens such as a text or a file viewer, and the enlarged area can be automatically enlarged and displayed.

도 3은 본 발명의 제2 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 사용자 시선추적 기술을 이용하여 카메라 촬영시 자동 초점이 수행되는 경우를 설명한다.3 is a flowchart provided to explain a method for controlling a portable terminal according to a second embodiment of the present invention. In the present embodiment, the case where the auto focus is performed when the camera is photographed using the user eye tracking technology.

도 3을 참조하면, 사용자 명령 등에 따라 카메라 모드가 선택되면(S250), 제어부(180)는 카메라(121)의 프리뷰(preview) 이미지를 디스플레이부(151)에 표시한다(S255).Referring to FIG. 3, when a camera mode is selected according to a user command (S250), the controller 180 displays a preview image of the camera 121 on the display unit 151 (S255).

프리뷰 이미지가 표시된 상태에서, 자동 촛점 기능이 선택되면(S260), 제어부(180)는 시선추적을 수행한다(S265). 자동 촛점 기능은 반셔터 기능의 동작시 선택될 수 있다.In the state where the preview image is displayed, when the auto focus function is selected (S260), the controller 180 performs eye tracking (S265). The auto focus function can be selected upon operation of the half shutter function.

시선추적을 수행한 결과에 따라, 제어부(180)는 프리뷰 이미지에서 사용자의 시선 위치를 파악하여, 프리뷰 이미지에서 사용자의 시선 위치가 파악된 영역에 대응하는 피사체에 촛점이 맞도록 카메라(121)의 촛점을 조절한다(S270).According to the result of the gaze tracking, the controller 180 detects the gaze position of the user in the preview image, and focuses on the subject corresponding to the area where the gaze position of the user is identified in the preview image. Adjust the focus (S270).

예컨대, 인물사진을 찍고 있는 경우, 사용자가 프리뷰 이미지에서 인물의 얼굴을 바라보고 있다면 그 얼굴에 초점을 맞추고, 프리뷰 이미지에서 배경을 바라보고 있다면 그 배경으로 초점을 이동시킨다. 또한, 촛점이 맞춰진 피사체의 초점 거리에 따라, 매크로, 인물, 풍경 등으로 촬영 모드를 자동 변환시킬 수도 있다.For example, when taking a portrait, if the user looks at the face of the person in the preview image, the user focuses on the face, and if the user is looking at the background in the preview image, the focus is shifted to the background. In addition, depending on the focal length of the focused subject, the shooting mode may be automatically converted into a macro, a person, a scenery, or the like.

촬영 버튼 등의 조작에 따라 촬영이 선택되면(S275), 제어부(180)는 현재 프리뷰 이미지에 대응하는 피사체의 영상이 촬영되도록 한다(S280). 사진 촬영시 사용자 쪽으로 향하는 제1 카메라(121a)로 사용자의 시선을 추적하고, 제2 카메라(121b)를 사진 촬영에 사용할 수 있다. 또한, 촬영된 이미지에 대응하는 데이터는 파일 이름이나 기타 관련정보와 함께 메모리(160)에 저장될 수 있다. When shooting is selected according to an operation of a shooting button (S275), the controller 180 allows an image of a subject corresponding to the current preview image to be captured (S280). When the picture is taken, the eye of the user may be tracked by the first camera 121a facing the user, and the second camera 121b may be used for taking the picture. In addition, data corresponding to the captured image may be stored in the memory 160 along with a file name or other related information.

다른 카메라의 기능이 선택된 경우에는(S285), 제어부(180)는 선택된 기능에 대응하는 동작이 수행되도록 제어한다(S290). 이와 같은 과정은, 카메라 모드가 종료되는 경우까지 수행된다(S295). 또한, 이와 같은 과정에 의해 카메라 촬영시 사용자의 시선 위치에 따라 자동으로 촛점이 맞춰지도록 할 수 있다.If a function of another camera is selected (S285), the controller 180 controls to perform an operation corresponding to the selected function (S290). This process is performed until the camera mode is terminated (S295). In addition, according to the above process, the camera may be automatically focused according to the user's gaze position.

도 4는 본 발명의 제3 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예서는 시선추적 기술을 이용하여 알람 신호 등과 같은 음향 신호의 출력을 자동으로 조절하는 경우를 설명한다.4 is a flowchart provided to explain a method for controlling a portable terminal according to a third embodiment of the present invention. This embodiment describes a case in which the output of an acoustic signal such as an alarm signal is automatically adjusted using the eye tracking technique.

도 4를 참조하면, 알람(alarm)이 설정된 후(S300), 설정된 알람 시간이 도래하면(S305), 제어부(180)는 설정된 알람 관련 정보에 따라 알람 신호가 음향출력 모듈(153)을 통해 출력되도록 제어한다(S310).Referring to FIG. 4, after an alarm is set (S300), when a set alarm time arrives (S305), the controller 180 outputs an alarm signal through the sound output module 153 according to the set alarm related information. Control so as to (S310).

제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S315). 시선추적을 수행한 결과에 따라, 제어부(180)는 사용자의 시선 위치가 디스플레이부(151)나 본체 등에서 파악되는지 판단한다(S320). The controller 180 performs eye tracking using the user image acquired through the camera 121 (S315). According to the result of the gaze tracking, the controller 180 determines whether the user's gaze position is detected by the display unit 151 or the main body (S320).

S320 단계의 판단 결과, 시선위치가 디스플레이부(151)나 본체에서 파악되면, 제어부(180)는 알람 신호의 출력을 중지한다(S325). 이 경우, 알람 신호의 출력을 중지될 때까지, 시간의 경과에 따라 알람 신호의 출력이 점차 작아지도록 할 수 있다. As a result of the determination in step S320, when the gaze position is detected by the display unit 151 or the main body, the controller 180 stops outputting an alarm signal (S325). In this case, the output of the alarm signal may gradually decrease as time passes until the output of the alarm signal is stopped.

그러나, 알람 신호의 출력이 중지된 상태에서, 사용자의 시선 위치가 디스플레이부(151)나 본체 등에서 파악되지 않으면, 다시 원래 크기의 알람 신호를 출력한다(S330). 즉, 알람 신호가 출력될 때, 사용자가 일정시간 디스플레이부(151)나 본체 등을 바라보면 알람 신호의 출력을 중지하다가, 사용자가 다시 눈을 감게되면 다시 원래 크기의 알람 신호를 출력할 수 있다. However, if the gaze position of the user is not recognized by the display unit 151 or the main body in the state in which the output of the alarm signal is stopped, the alarm signal of the original size is output again (S330). That is, when the alarm signal is output, when the user looks at the display unit 151 or the main body for a predetermined time, the output of the alarm signal is stopped, and when the user closes his eyes again, the alarm signal of the original size may be output again. .

알람 신호의 출력은 출력 종료가 선택된 경우에 종료한다(S335). 이외에도, 설정된 조건을 만족하는 경우에 알람 신호의 출력이 종료될 수 있다. The output of the alarm signal ends when the output end is selected (S335). In addition, the output of the alarm signal may be terminated when the set condition is satisfied.

이와 같은 과정에 의해, 사용자의 시선에 따라 알람 신호의 출력이 중지되도록 제어할 수 있다. 또한, 알람 신호외에 호신호 수신음이나 메시지 수신음 등과 같은 음향 신호가 출력되는 경우에도, 동일한 방식으로 음향 신호의 출력을 제어할 수 있다. By this process, it is possible to control the output of the alarm signal in accordance with the user's eyes. In addition, even when an acoustic signal such as a call signal reception sound or a message reception sound is output in addition to the alarm signal, the output of the sound signal can be controlled in the same manner.

도 5는 본 발명의 제4 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 시선추적을 이용하여 방송시청시 자동으로 타임머신 모드가 동작하는 경우를 설명한다. 5 is a flowchart provided to explain a method for controlling a portable terminal according to a fourth embodiment of the present invention. In the present embodiment, the time machine mode automatically operates when watching a broadcast using eye tracking.

도 5를 참조하면, 사용자 명령 등에 따라 방송시청 모드가 선택되면(S350), 제어부(180)는 방송수신 모듈(111)을 통해 수신된 방송 신호를 재생하여, 디스플레이부(151)에 방송 화면이 표시된다(S355). Referring to FIG. 5, when the broadcast viewing mode is selected according to a user command (S350), the controller 180 reproduces a broadcast signal received through the broadcast receiving module 111 and displays a broadcast screen on the display unit 151. It is displayed (S355).

다음으로 제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S360). 시선추적을 수행한 결과, 사용자의 시선 위치가 방송 화면에서 파악되지 않으면(S365), 제어부(180)는 타임머신(time machine) 모드로 동작하도록 제어한다(S370). 즉, 제어부(180)는 방송신호의 재생이 중단되도록 제어하고, 방송수신 모듈(111)에서 출력되는 방송신호를 메모리(160)에 저장한다. 그리고, 사용자의 시선 위치가 다시 방송화면으로 이동하면, 저장된 방송신호를 재생한다. 타임머신 모드는 종료가 선택되는 경우까지 지속된다(S375). Next, the controller 180 performs eye tracking using the user image acquired through the camera 121 at step S360. As a result of gaze tracking, when the gaze position of the user is not recognized on the broadcast screen (S365), the controller 180 controls to operate in a time machine mode (S370). That is, the controller 180 controls the reproduction of the broadcast signal to be stopped and stores the broadcast signal output from the broadcast receiving module 111 in the memory 160. When the gaze position of the user moves to the broadcast screen again, the stored broadcast signal is reproduced. The time machine mode continues until the end is selected (S375).

이와 같은 과정은 방송 시청의 종료가 선택되는 경우까지 수행된다(S380). 또한, 이와 같이 사용자의 시선을 추적하여, 사용자의 시선이 일정시간 이상 화면을 쳐다보고 있지 않은 것으로 판단되면, 자동으로 타임 머신 모드로 동작하여, 사용자가 다시 화면을 보는 경우, 끊어지지 않고 방송을 연속적으로 시청할 수 있도록 한다. 동일한 방식으로, 동영상이나 영화 감상 중에 사용자의 시선이 화면에 있지 않을 때 동영상의 재생을 중지시킨 후, 사용자가 다시 화면을 바라보면 다시 재생을 시작하여, 사용자가 다시 영상을 되돌리는 불편함을 제거할 수도 있다. This process is performed until the end of the broadcast viewing is selected (S380). In addition, if the user's eyes are tracked and it is determined that the user's eyes are not staring at the screen for more than a predetermined time, the device automatically operates in the time machine mode, and if the user views the screen again, the broadcast is not interrupted. Allows you to watch continuously. In the same way, when the user's eyes are not on the screen while watching a video or movie, the video stops playing, and when the user looks at the screen again, it starts playing again, eliminating the inconvenience of the user returning the video again. You may.

도 6은 본 발명의 제5 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 시선추적을 이용하여 자동으로 스크롤이 수행되는 경우를 설명한다. 6 is a flowchart provided to explain a method for controlling a portable terminal according to a fifth embodiment of the present invention. In the present embodiment, a case in which scrolling is automatically performed using eye tracking will be described.

도 6을 참조하면, 사용자 명령에 따라, 폰 북 메뉴, 메일 송수신함 메뉴, 멀티미디어 재생 메뉴, 이미지 보기 메뉴, 텍스트 뷰어 등과 같은 복수의 항목이나 한 페이지 이상의 화면을 표시해야 하는 메뉴가 선택되면, 제어부(180)는 선택된 메뉴에 대응하는 동작 화면을 디스플레이부(151)에 표시한다(S400).Referring to FIG. 6, when a plurality of items such as a phone book menu, a mail box, a multimedia play menu, an image view menu, a text viewer, or a menu for displaying one or more pages is selected according to a user command, In operation S400, an operation screen corresponding to the selected menu is displayed on the display unit 151.

동작 화면이 표시된 상태에서, 자동 스크롤 기능이 선택되면(S405), 제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S410). 이때, 자동 스크롤 기능의 선택에는, 핫 키(hot-key)로서 작동할 수 있는 제3 및 제4 사용자 입력부(130c, 130d) 등이 사용될 수 있다. When the auto scroll function is selected while the operation screen is displayed (S405), the controller 180 performs eye tracking using the user image acquired through the camera 121 (S410). In this case, the third and fourth user input units 130c and 130d which may operate as a hot key may be used to select the automatic scroll function.

시선추적을 수행한 결과의 따라, 사용자의 시선 위치가 동작 화면의 상부 영역으로 파악된 경우, 제어부(180)는 아래 방향으로 동작 화면이 스크롤되도록 제어한다(S415, S420). 시선추적을 수행한 결과에 따라, 사용자의 시선 위치가 동작 화면 하부 영역으로 파악된 경우, 제어부(180)는 동작 화면이 위로 스크롤되도록 제어한다(S425, S430).According to the result of the gaze tracking, when the gaze position of the user is determined as the upper region of the operation screen, the controller 180 controls the operation screen to be scrolled downward (S415 and S420). According to the result of the gaze tracking, when the gaze position of the user is determined as the lower region of the operation screen, the controller 180 controls the operation screen to scroll upward (S425 and S430).

그리고, 시선추적을 수행한 결과에 따라, 사용자의 시선 위치가 화면의 중앙이거나, 다른 곳을 향하는 것으로 파악된 경우, 제어부(180)는 동작 화면의 스크롤을 정지시킨다(S435, S440). When the gaze tracking of the user is determined to be at the center of the screen or toward another location, the controller 180 stops scrolling the operation screen according to the result of the gaze tracking (S435 and S440).

기타, 터치 입력이나 키 입력 등과 같은 사용자 입력이 있는 경우에는(S445), 제어부(180)는 사용자 입력에 대응하는 동작이 수행되도록 제어한다(S450).In addition, when there is a user input such as a touch input or a key input (S445), the controller 180 controls an operation corresponding to the user input to be performed (S450).

이와 같은 과정은 동작 종료가 선택되는 경우까지 반복적으로 수행된다(S455). 또한, 이와 같은 과정에 의해, 사용자의 시선 위치에 따라 동작 화면을 자동으로 스크롤할 수 있다. This process is repeatedly performed until the end of the operation is selected (S455). In addition, by such a process, the operation screen may be automatically scrolled according to the position of the gaze of the user.

한편, 시선추적을 사용하는 경우, 단순 센서가 아닌 화상을 인식하는 카메라를 동작시켜야 하므로 전력 소모가 비교적 높다. 따라서, 일정 주기로 카메라를 동작시켜 영상을 촬영하여, 촬영한 영상안에 사람 얼굴이 있으면, 카메라를 계속 동작시키고, 사람 얼굴이 사라지면 카메라 동작을 정지시킨 후, 다시 일정 주기후에 카메라가 동작되도록 하여 전력 소모를 감소시킬 수 있다. 이때, 카메라를 동작시키는 주기는, 최초 N초에서 이후 N×(2 + 0)초, N×(2 + 1).. 식으로 점점 길어지도록 할 수 있다. On the other hand, when using eye tracking, power consumption is relatively high because a camera that recognizes an image, rather than a simple sensor, needs to be operated. Therefore, the camera is taken at regular intervals to capture an image. If there is a human face in the captured image, the camera continues to operate. If the human face disappears, the camera is stopped and the camera is operated again after a certain period. Can be reduced. In this case, the period of operating the camera may be longer and longer from the first N seconds to N x (2 + 0) seconds, N x (2 + 1)...

조도 센서와 근접센서를 활용하여, 근접센서로 물체가 일정 거리 이하로 가까워진 경우에만 카메라를 동작시키고, 조도센서로 일정 조도 이상이 되어 시선추적이 가능할 경우에만 카메라를 동작시킬 수도 있다.By using the illuminance sensor and the proximity sensor, the camera may be operated only when the object is close to a certain distance or less by the proximity sensor, and the camera may be operated only when the eye can be traced because the illuminance sensor is over the predetermined illuminance.

아울러, 시선추적을 이용하여, 외부 키의 동작이 가능하도록 구성할 수 있다. 예컨대, 사용자가 휴대 단말기의 외부 카메라 키를 주시하면 카메라 기능을 실행하고, 외부 통화키를 바라보면 통화와 관련된 동작이 수행되도록 할 수 있다. 이와 같이, 사용자의 시선에 따라 외부 키의 동작이 가능하도록 구성하여 조작 편 의성을 증대시킬 수 있다.In addition, by using the eye tracking, it can be configured to enable the operation of the foreign key. For example, when the user looks at the external camera key of the portable terminal, the camera function may be executed, and when the user looks at the external call key, an operation related to a call may be performed. In this way, it is possible to increase the operation convenience by configuring the operation of the external key according to the user's eyes.

다음의 도 7 내지 도 11은 본 발명에 따른 휴대 단말기의 제어방법을 디스플레이부에 표시되는 화면과 함께 설명하기 위해 참조되는 도면이다. 7 to 11 are views for explaining a method of controlling a mobile terminal according to the present invention together with a screen displayed on a display unit.

도 7은 텍스트 뷰어 화면이 표시된 상태에서 자동 줌 기능이 수행되는 경우를 나타낸 것이다. 도 9에 도시한 바와 같이, 디스플레이부(151)에 텍스트 뷰어 화면(500)이 표시된 상태에서, 자동 줌 기능이 선택되면, 시선추적을 통해 사용자(700)의 시선 위치가 파악되는 영역(510)의 글자를 다른 영역의 글자 보다 확대시켜 표시할 수 있다. 시선 위치가 이동하면 확대된 글자는 다시 원래의 크기로 표시된다.7 illustrates a case where the auto zoom function is performed while the text viewer screen is displayed. As shown in FIG. 9, when the auto zoom function is selected while the text viewer screen 500 is displayed on the display unit 151, an area 510 in which the gaze position of the user 700 is determined through eye gaze tracking is detected. The letters of can be displayed enlarged than the letters of other areas. When the line of sight moves, the enlarged letter is displayed again in its original size.

도 8은 썸네일 이미지가 표시된 상태에서 자동 줌 기능이 수행되는 경우를 나타낸 것이다. 도 8에 도시한 바와 같이, 썸네일 이미지가 표시된 화면(530)에서, 자동 줌 기능이 선택되면, 사용자(700)의 시선 위치가 일정 시간 이상 머무는 썸네일 이미지(540)를 다른 썸네일 이미지보다 확대하여 표시할 수 있다.8 illustrates a case in which the auto zoom function is performed while a thumbnail image is displayed. As shown in FIG. 8, when the auto zoom function is selected on the screen 530 on which the thumbnail image is displayed, the thumbnail image 540 in which the gaze position of the user 700 stays for a predetermined time is enlarged and displayed than the other thumbnail images. can do.

마찬가지로, 확대된 썸네일 이미지는 시선 위치가 다른 곳으로 이동하면, 다시 원래의 크기로 표시된다. .Similarly, the enlarged thumbnail image is displayed again in its original size when the gaze position moves to another place. .

도 9는 리스트 화면이 표시된 상태에서 자동 스크롤 기능이 수행되는 것을 나타낸 것이다. 도 9에 도시한 바와 같이, 리스트가 표시된 화면(550)에서, 자동 스크롤 기능이 선택되면, 사용자의 시선 위치가 화면의 상부 영역(560)인 경우 화면을 아래 방향으로 스크롤할 수 있다. 마찬가지로, 사용자의 시선 위치가 화면의 하부 영역인 경우 화면을 위 방향으로 스크롤할 수 있다. 9 illustrates that the automatic scroll function is performed while the list screen is displayed. As illustrated in FIG. 9, when the automatic scrolling function is selected on the screen 550 on which the list is displayed, the screen may be scrolled downward when the user's gaze position is the upper area 560 of the screen. Similarly, when the user's gaze position is a lower area of the screen, the screen may be scrolled upward.

또한, 사용자의 시선 위치가 스크롤 화살표(570, 580)에 있는 경우에도, 선택된 스크롤 화살표에 따라 화면을 위나 아래로 스크롤되도록 구성할 수 있다. In addition, even when the user's gaze position is at the scroll arrows 570 and 580, the screen may be scrolled up or down according to the selected scroll arrow.

화면이 스크롤되고 있는 상태에서, 시선 위치가 화면의 중앙으로 이동하거나 화면외에 다른 곳을 향하는 경우, 화면 스크롤은 정지된다. In the state where the screen is being scrolled, the screen scrolling is stopped when the gaze position moves to the center of the screen or to a place other than the screen.

도 10은 카메라의 프리뷰 이미지가 표시된 상태에서 자동 촛점 기능이 수행되는 경우를 나타낸 것이다. 카메라 프리뷰 이미지가 표시된 화면(600)에서, 자동 촛점 기능이 선택되면, 프리뷰 이미지가 표시된 화면(600)에서 사용자(700)의 시선 위치가 머무는 영역(610)에 대응하는 피사체에 촛점이 맞춰지도록 할 수 있다.10 illustrates a case where the autofocus function is performed while the preview image of the camera is displayed. When the auto focus function is selected on the screen 600 where the camera preview image is displayed, the focus corresponding to the subject corresponding to the area 610 where the gaze position of the user 700 stays is displayed on the screen 600 where the preview image is displayed. Can be.

도 11은 방송 화면의 표시된 상태에서 타임 머신 기능이 수행되는 경우를 나타낸 것이다. 방송 화면(630)이 표시된 상태에서, 사용자(700)의 시선 위치가 방송 화면(630)인 경우에는 방송 신호를 계속 재생하고, 사용자(700)의 시선 위치가 방송 화면(630)이 아닌 경우에는, 타임 머신 모드로 동작하도록 구성할 수 있다. 11 illustrates a case where a time machine function is performed in a displayed state of a broadcast screen. When the gaze position of the user 700 is the broadcast screen 630 while the broadcast screen 630 is displayed, the broadcast signal is continuously reproduced, and when the gaze position of the user 700 is not the broadcast screen 630, It can be configured to operate in time machine mode.

이와 같이, 사용자의 시선 위치에 따라 휴대 단말기에서 다양한 동작을 제어할 수 있다. 또한, 본 발명에 따른 휴대 단말기 및 그 제어방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, various operations may be controlled in the mobile terminal according to the position of the gaze of the user. In addition, the mobile terminal and its control method according to the present invention are not limited to the configuration and method of the embodiments described as described above, the embodiments are all or all of the embodiments so that various modifications can be made Some may be optionally combined.

한편, 본 발명은 휴대 단말기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the present invention can be implemented as a processor-readable code in a processor-readable recording medium provided in a portable terminal. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the recording medium readable by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also a carrier wave such as transmission over the Internet. In addition, the processor readable recording medium may be distributed over networked computer systems so that code readable by the processor in a distributed manner can be stored and executed.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

도 1은 본 발명의 일실시예에 따른 휴대 단말기의 블럭 구성도,1 is a block diagram of a portable terminal according to an embodiment of the present invention;

도 2는 본 발명의 제1 실시예에 따른 휴대단말기의 제어방법에 대한 설명에 제공되는 흐름도,2 is a flowchart provided to explain a method for controlling a mobile terminal according to a first embodiment of the present invention;

도 3은 본 발명의 제2 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,3 is a flowchart provided to explain a method for controlling a portable terminal according to a second embodiment of the present invention;

도 4는 본 발명의 제3 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,4 is a flowchart provided to explain a method for controlling a portable terminal according to a third embodiment of the present invention;

도 5는 본 발명의 제4 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,5 is a flowchart provided to explain a method for controlling a portable terminal according to a fourth embodiment of the present invention;

도 6은 본 발명의 제5 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도, 그리고6 is a flowchart provided to explain a method for controlling a portable terminal according to a fifth embodiment of the present invention; and

도 7 내지 도 11은 본 발명의 일실시예에 따른 휴대 단말기의 제어방법을 디스플레이부에 표시되는 화면과 함께 설명하기 위해 참조되는 도면이다.7 to 11 are views for explaining a method of controlling a mobile terminal according to an embodiment of the present invention together with a screen displayed on a display unit.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

110 : 무선 통신부 120 : A/V 입력부 110: wireless communication unit 120: A / V input unit

130 : 사용자 입력부 140 : 센싱부130: user input unit 140: sensing unit

145 : 모션 센서 150 : 출력부145: motion sensor 150: output unit

151 : 디스플레이부 160 : 메모리151: display unit 160: memory

170 : 인터페이스부 180 : 제어부170: interface unit 180: control unit

Claims (65)

디스플레이부에 동작 화면을 표시하는 단계;Displaying an operation screen on a display unit; 시선추적을 수행하여, 사용자의 시선 위치를 검출하는 단계; Performing gaze tracking to detect a gaze position of a user; 상기 동작 화면에서 상기 시선 위치가 검출된 일 영역을 확대하여 표시하는 단계; 및Enlarging and displaying an area where the gaze position is detected on the operation screen; And 상기 검출된 일 영역에 재생 가능한 콘텐츠가 존재하면, 상기 콘텐츠를 재생하는 단계를 포함하는 휴대 단말기의 제어방법.If the playable content exists in the detected one area, playing the content. 제1항에 있어서, 상기 표시 단계는,The method according to claim 1, 상기 사용자의 시선 위치가 일정시간 동안 검출된 영역을 확대하여 표시하는 것을 특징으로 하는 휴대 단말기의 제어방법.And a magnified area of the user's gaze position detected for a predetermined time. 삭제delete 제1항에 있어서,The method of claim 1, 상기 시선 위치가 상기 일 영역에서 다른 곳으로 이동하면, 상기 확대된 일 영역을 원래 크기로 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.And when the gaze position moves from one area to another, displaying the enlarged one area in its original size. 카메라;camera; 동작 화면을 표시하는 디스플레이부; 및A display unit displaying an operation screen; And 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하고, 상기 시선추적을 기반으로 사용자의 시선 위치를 검출하며, 상기 동작 화면에서 상기 사용자의 시선 위치가 검출된 일 영역을 확대하여 표시하는 제어부를 포함하고,Eye gaze tracking is performed using the user image acquired through the camera, the gaze position of the user is detected based on the gaze tracking, and an enlarged area of the gaze position of the user is detected on the operation screen. Including a control unit, 상기 제어부는, 상기 검출된 일 영역에 재생 가능한 콘텐츠가 존재하면 상기 콘텐츠를 재생하는 것을 특징으로 하는 휴대 단말기.The controller is configured to play the content when the playable content exists in the detected region. 제5항에 있어서,The method of claim 5, 상기 시선 위치가 상기 일 영역에서 다른 곳으로 이동되는 경우, 상기 제어부는 상기 확대된 일 영역을 원래 크기로 표시하는 것을 특징으로 하는 휴대 단말기.And when the gaze position is moved from one area to another, the controller displays the enlarged one area in its original size. 디스플레이부에 카메라의 프리뷰 이미지를 표시하는 단계;Displaying a preview image of a camera on a display unit; 시선추적을 수행하여, 사용자의 시선 위치를 검출하는 단계; Performing gaze tracking to detect a gaze position of a user; 상기 프리뷰 이미지에서 상기 시선 위치가 검출된 영역에 대응하는 피사체에 촛점이 맞도록 상기 카메라의 촛점을 자동 조절하는 단계; Automatically adjusting the focus of the camera to focus on a subject corresponding to an area where the gaze position is detected in the preview image; 촛점이 맞춰진 피사체의 초점 거리에 대응하는 촬영 모드로 자동 전환하는 단계; 및Automatically switching to a shooting mode corresponding to a focal length of a focused subject; And 촬영 선택 시, 상기 프리뷰 이미지에 대응하는 영상을 촬영하는 단계를 포함하는 휴대 단말기의 제어방법.And taking a picture corresponding to the preview image when selecting a picture. 삭제delete 제1 및 제2 카메라;First and second cameras; 상기 제1 카메라의 프리뷰 이미지를 표시하는 디스플레이부; 및A display unit displaying a preview image of the first camera; And 상기 제2 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하고, 상기 시선추적을 기반으로 사용자의 시선 위치를 검출하며, 상기 프리뷰 이미지에서 상기 사용자의 시선 위치가 검출된 영역에 대응하는 피사체에 촛점이 맞도록 상기 제1 카메라의 촛점을 자동 조절하고, 사용자의 촬영 선택에 대응하여 상기 프리뷰 이미지에 대응하는 영상을 촬영하는 제어부를 포함하고,Performs eye gaze tracking using the user image acquired through the second camera, detects a gaze position of the user based on the gaze tracking, and a subject corresponding to an area where the gaze position of the user is detected in the preview image. And a controller configured to automatically adjust the focus of the first camera to focus on and to capture an image corresponding to the preview image in response to a user's selection of photographing. 상기 제어부는, 촛점이 맞춰진 피사체의 초점 거리에 대응하는 촬영 모드로 자동 전환하는 것을 특징으로 하는 휴대 단말기.The controller may automatically switch to a shooting mode corresponding to a focal length of a focused subject. 알람 시간을 설정하는 단계;Setting an alarm time; 상기 알람 시간 도래 시, 본체에 구비되는 음향출력 모듈을 통해 알람 신호를 출력하는 단계;Outputting an alarm signal through an audio output module provided in the main body when the alarm time arrives; 상기 알람 신호 출력 시, 시선추적을 수행하여 사용자의 시선 위치를 검출하는 단계; Detecting a gaze position of a user by performing gaze tracking when the alarm signal is output; 상기 시선 위치가 상기 본체에서 검출되면, 상기 알람 신호의 출력을 중지하는 단계; 및Stopping the output of the alarm signal when the gaze position is detected by the main body; And 상기 시선 위치가 상기 본체에서 다른 곳으로 이동하면, 상기 알람 신호를 다시 출력하는 단계를 포함하는 휴대 단말기의 제어방법.And outputting the alarm signal again when the gaze position moves from the main body to another place. 삭제delete 삭제delete 제10항에 있어서, 상기 중지 단계는,The method of claim 10, wherein the stopping step, 상기 알람 신호의 출력이 시간 경과에 따라 점점 작아지면서 중지하는 것을 특징으로 하는 휴대 단말기의 제어방법.And the output of the alarm signal decreases gradually as time passes. 본체에 구비되는 카메라;A camera provided in the main body; 알람 신호를 출력하는 음향출력 모듈; 및An audio output module for outputting an alarm signal; And 설정된 알람 시간 도래 시, 상기 음향출력 모듈을 통해 알람 신호를 출력하고, 상기 알람 신호 출력 시, 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하고, 상기 시선추적을 기반으로 사용자의 시선 위치를 검출하며, 상기 사용자의 시선 위치가 상기 본체에서 검출된 경우, 상기 알람 신호의 출력이 중지되도록 상기 음향출력 모듈을 제어하는 제어부를 포함하고,When the set alarm time arrives, an alarm signal is output through the audio output module, and when the alarm signal is output, eye tracking is performed using a user image acquired through the camera, and a user's eye is based on the eye tracking. A control unit which detects a position and controls the sound output module to stop the output of the alarm signal when the gaze position of the user is detected by the main body, 상기 제어부는, 상기 시선 위치가 상기 본체에서 다른 곳으로 이동되는 경우, 상기 알람 신호가 다시 출력되도록 상기 음향출력 모듈을 제어하는 것을 특징으로 하는 휴대 단말기.The controller may be configured to control the sound output module so that the alarm signal is output again when the gaze position is moved from the main body to another place. 삭제delete 삭제delete 제14항에 있어서,The method of claim 14, 상기 제어부는, 상기 알람 신호의 출력이 시간 경과에 따라 점점 작아지면서 중지되도록 상기 음향출력 모듈을 제어하는 것을 특징으로 하는 휴대 단말기.The control unit, characterized in that for controlling the sound output module so that the output of the alarm signal gradually decreases with time. 디스플레이부에 동영상 화면을 표시하는 단계;Displaying a video screen on a display unit; 동영상 재생 시, 카메라를 활성화하는 단계;Activating a camera when playing a video; 상기 활성화된 카메라를 통해 획득한 사용자 영상을 기반으로 시선추적을 수행하는 단계;Performing gaze tracking based on a user image acquired through the activated camera; 상기 시선추적을 통해 사용자의 시선 위치를 검출하는 단계; 및Detecting a gaze position of a user through the gaze tracking; And 상기 사용자의 시선 위치가 상기 동영상 화면을 향하지 않는 경우, 재생 중인 동영상을 정지하는 단계를 포함하고,If the user's gaze position does not face the video screen, stopping the video being played; 상기 활성화 단계는, 상기 사용자 영상 내에 사람 얼굴이 검출된 경우 상기 카메라를 계속적으로 활성화하고, 상기 사용자 영상 내에 사람 얼굴이 검출되지 않은 경우 상기 카메라의 동작을 일시 정지한 후 일정 시간 후에 다시 활성화하는 것을 특징으로 하는 휴대 단말기의 제어방법.The activating step may include continuously activating the camera when a human face is detected in the user image, and activating again after a certain time after pausing the operation of the camera when no human face is detected in the user image. A control method of a mobile terminal, characterized in that. 제18항에 있어서,19. The method of claim 18, 상기 사용자의 시선 위치가 상기 동영상 화면으로 다시 이동하면, 상기 정지된 동영상을 다시 재생하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.And replaying the still video when the gaze of the user moves back to the video screen. 제18항에 있어서, 상기 정지 단계는, The method of claim 18, wherein the stopping step, 상기 사용자의 시선 위치가 미리 결정된 시간 동안 상기 동영상 화면을 향하지 않은 경우, 상기 동영상을 정지하는 것을 특징으로 하는 휴대 단말기의 제어방법.And stopping the video when the gaze position of the user does not face the video screen for a predetermined time. 삭제delete 삭제delete 제18항에 있어서, 19. The method of claim 18, 상기 시선추적은, 상기 카메라를 일정 주기로 활성화하여 수행하는 것을 특징으로 하는 휴대 단말기의 제어방법.The eye tracking is performed by activating the camera at a predetermined cycle. 삭제delete 제23항에 있어서, 24. The method of claim 23, 상기 사용자 영상 내에 사람 얼굴이 검출되지 않은 경우, 상기 카메라의 동작 주기를 미리 결정된 시간만큼 연장하는 것을 특징으로 하는 휴대 단말기의 제어방법.And if a human face is not detected in the user image, extending the operation period of the camera by a predetermined time. 제18항에 있어서, 상기 활성화 단계는,The method of claim 18, wherein the activating step, 근접 센서를 활용하여, 상기 사용자의 얼굴과 상기 휴대 단말기 사이의 근접거리가 일정 거리 이내인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기의 제어방법.And utilizing the proximity sensor to activate the camera when the proximity distance between the user's face and the portable terminal is within a predetermined distance. 제18항에 있어서, 상기 활성화 단계는,The method of claim 18, wherein the activating step, 조도 센서를 활용하여, 상기 휴대 단말기의 주변 환경이 일정 조도 이상인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기의 제어방법.Control method of a portable terminal, characterized in that for activating the camera when the surrounding environment of the portable terminal by using an illuminance sensor more than a predetermined illuminance. 카메라;camera; 동영상 파일을 재생하는 멀티미디어 재생 모듈;A multimedia playback module for playing a video file; 동영상 화면을 표시하는 디스플레이부; 및A display unit displaying a video screen; And 동영상 재생 시 상기 카메라를 활성화하고, 상기 활성화된 카메라를 통해 획득한 사용자 영상을 기반으로 시선추적을 수행하며, 상기 시선추적을 통해 사용자의 시선 위치를 검출하고, 상기 사용자의 시선 위치가 상기 동영상 화면을 향하지 않는 경우, 상기 동영상의 재생이 정지되도록 제어하는 제어부를 포함하고,When the video is played, the camera is activated, eye gaze tracking is performed based on the user image acquired through the activated camera, the gaze tracking of the user is detected through the gaze tracking, and the gaze position of the user is displayed on the video screen. If it does not face, and comprises a control unit for controlling to stop the playback of the video, 상기 제어부는, 상기 사용자 영상 내에 사람 얼굴이 검출된 경우 상기 카메라를 계속적으로 활성화시키고, 상기 사용자 영상 내에 사람 얼굴이 검출되지 않은 경우 상기 카메라의 동작을 일시 정지한 후 일정 시간 후에 다시 활성화시키는 것을 특징으로 하는 휴대 단말기.The controller continuously activates the camera when a human face is detected in the user image, and activates the camera again after a certain time after pausing the operation of the camera when a human face is not detected in the user image. Portable terminal. 제28항에 있어서,29. The method of claim 28, 상기 사용자의 시선 위치가 상기 동영상 화면으로 다시 이동되는 경우, 상기 제어부는 상기 정지된 동영상이 다시 재생되도록 제어하는 것을 특징으로 하는 휴대 단말기.And when the gaze position of the user moves back to the video screen, the controller controls the still video to be played again. 제28항에 있어서,29. The method of claim 28, 상기 제어부는, 상기 사용자의 시선 위치가 미리 결정된 시간 동안 상기 동영상 화면을 향하지 않은 경우, 상기 동영상의 재생이 정지되도록 제어하는 것을 특징으로 하는 휴대 단말기.The controller may control playback of the video to stop when the gaze position of the user does not face the video screen for a predetermined time. 삭제delete 제28항에 있어서, 29. The method of claim 28, 상기 제어부는, 상기 카메라를 일정 주기로 활성화하여 상기 시선추적을 수행하는 것을 특징으로 하는 휴대 단말기.The controller is configured to activate the camera at regular intervals to perform the eye tracking. 삭제delete 제32항에 있어서, 33. The method of claim 32, 상기 사용자 영상 내에 사람 얼굴이 검출되지 않은 경우, 상기 제어부는 상기 카메라의 동작 주기를 미리 결정된 시간만큼 연장하는 것을 특징으로 하는 휴대 단말기.And if a human face is not detected in the user image, the controller extends the operation period of the camera by a predetermined time. 제28항에 있어서,29. The method of claim 28, 상기 사용자의 얼굴과 상기 휴대 단말기 사이의 근접거리를 측정하는 근접 센서를 더 포함하고,Further comprising a proximity sensor for measuring the proximity distance between the face of the user and the portable terminal, 상기 제어부는, 상기 근접 거리가 일정 거리 이내인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기.The controller is configured to activate the camera when the proximity distance is within a predetermined distance. 제28항에 있어서The method of claim 28 상기 휴대 단말기 주변의 조도를 측정하는 조도 센서를 더 포함하고,Further comprising an illuminance sensor for measuring the illuminance around the mobile terminal, 상기 제어부는, 상기 조도 센서에 의해 측정된 조도가 미리 결정된 값 이상인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기.The controller is configured to activate the camera when the illuminance measured by the illuminance sensor is equal to or greater than a predetermined value. 디스플레이부에 동작 화면을 표시하는 단계;Displaying an operation screen on a display unit; 자동 스크롤 기능 선택 시, 카메라를 활성화하는 단계;Activating a camera when the auto scroll function is selected; 상기 활성화된 카메라를 통해 획득한 사용자 영상을 기반으로 시선추적을 수행하는 단계;Performing gaze tracking based on a user image acquired through the activated camera; 상기 시선추적을 통해 사용자의 시선 위치를 검출하는 단계; Detecting a gaze position of a user through the gaze tracking; 상기 사용자의 시선 위치에 따라 상기 동작 화면을 스크롤하는 단계; 및Scrolling the operation screen according to the gaze position of the user; And 상기 사용자의 시선 위치가 상기 동작 화면의 중앙에서 검출된 경우, 상기 동작 화면의 스크롤을 정지하는 단계를 포함하는 휴대 단말기의 제어방법.Stopping scrolling of the operation screen when the gaze position of the user is detected at the center of the operation screen. 제37항에 있어서, 상기 스크롤 단계는, The method of claim 37, wherein the scrolling step, 상기 사용자의 시선 위치가 상기 동작 화면의 상부 영역에서 검출된 경우, 상기 동작 화면을 아래 방향으로 스크롤하는 것을 특징으로 하는 휴대 단말기의 제어방법.And when the user's gaze position is detected in an upper area of the operation screen, scrolling the operation screen downward. 제37항에 있어서, 상기 스크롤 단계는,The method of claim 37, wherein the scrolling step, 상기 사용자의 시선 위치가 상기 동작 화면의 하부 영역에서 검출된 경우, 상기 동작 화면을 위 방향으로 스크롤하는 것을 특징으로 하는 휴대 단말기의 제어방법.And when the gaze position of the user is detected in the lower area of the operation screen, scrolling the operation screen upward. 제38항 또는 제39항에 있어서, 상기 스크롤 단계는,The method of claim 38 or 39, wherein the scrolling step, 상기 사용자의 시선 위치가 상기 동작 화면의 상부 또는 하부 영역에 미리 결정된 시간 동안 검출된 경우, 상기 동작 화면을 위 또는 아래 방향으로 스크롤하는 것을 특징으로 하는 휴대 단말기의 제어방법.And when the gaze position of the user is detected in the upper or lower area of the operation screen for a predetermined time, scrolling the operation screen upward or downward. 삭제delete 제37항에 있어서,39. The method of claim 37, 상기 사용자의 시선 위치가 상기 동작 화면에서 검출되지 않은 경우, 상기 동작 화면의 스크롤을 정지하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.Stopping the scrolling of the operation screen when the gaze position of the user is not detected on the operation screen. 제37항에 있어서, 상기 스크롤 단계는, The method of claim 37, wherein the scrolling step, 상기 사용자의 시선 위치가 상기 동작 화면의 스크롤 화살표 영역에서 검출된 경우, 상기 시선 위치에 대응하는 스크롤 화살표의 방향에 따라 상기 동작 화면을 스크롤하는 것을 특징으로 하는 휴대 단말기의 제어방법.And when the gaze position of the user is detected in the scroll arrow area of the operation screen, scrolling the operation screen according to the direction of the scroll arrow corresponding to the gaze position. 제37항에 있어서,39. The method of claim 37, 상기 동작 화면은, 폰 북 화면, 텍스트 뷰어 화면, 이미지 뷰어 화면, 웹 페이지 화면, 메시지 송수신 화면, 이메일 송수신 화면, 아이템 리스트 화면 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.The operation screen may include at least one of a phone book screen, a text viewer screen, an image viewer screen, a web page screen, a message transmission screen, an email transmission / reception screen, and an item list screen. 삭제delete 삭제delete 제37항에 있어서, 39. The method of claim 37, 상기 시선추적은, 상기 카메라를 일정 주기로 활성화하여 수행하는 것을 특징으로 하는 휴대 단말기의 제어방법.The eye tracking is performed by activating the camera at a predetermined cycle. 제47항에 있어서, 49. The method of claim 47, 상기 사용자 영상 내에 사람 얼굴이 검출된 경우, 상기 카메라를 계속 활성화하는 것을 특징으로 하는 휴대 단말기의 제어방법.And if the human face is detected in the user image, activating the camera. 제47항에 있어서, 49. The method of claim 47, 상기 사용자 영상 내에 사람 얼굴이 검출되지 않은 경우, 상기 카메라의 동작 주기를 미리 결정된 시간만큼 연장하는 것을 특징으로 하는 휴대 단말기의 제어방법.And if a human face is not detected in the user image, extending the operation period of the camera by a predetermined time. 제37항에 있어서, 상기 활성화 단계는,The method of claim 37, wherein the activating step, 근접 센서를 활용하여, 상기 사용자의 얼굴과 상기 휴대 단말기 사이의 근접거리가 일정 거리 이내인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기의 제어방법.And utilizing the proximity sensor to activate the camera when the proximity distance between the user's face and the portable terminal is within a predetermined distance. 제37항에 있어서, 상기 활성화 단계는,The method of claim 37, wherein the activating step, 조도 센서를 활용하여, 상기 휴대 단말기의 주변 환경이 일정 조도 이상인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기의 제어방법.Control method of a portable terminal, characterized in that for activating the camera when the surrounding environment of the portable terminal by using an illuminance sensor more than a predetermined illuminance. 카메라;camera; 동작 화면을 표시하는 디스플레이부; 및A display unit displaying an operation screen; And 자동 스크롤 기능 선택 시 상기 카메라를 활성화하고, 상기 활성화된 카메라를 통해 획득한 사용자 영상을 기반으로 시선추적을 수행하며, 상기 시선추적을 통해 사용자의 시선 위치를 검출하고, 상기 사용자의 시선 위치에 따라 상기 동작 화면이 스크롤되도록 하는 제어부를 포함하고,When the automatic scroll function is selected, the camera is activated, eye gaze tracking is performed based on the user image acquired through the activated camera, the eye gaze tracking is detected by the eye gaze tracking, and the gaze tracking is performed according to the gaze position of the user. A control unit for scrolling the operation screen; 상기 제어부는, 상기 사용자의 시선 위치가 상기 동작 화면의 중앙에서 검출된 경우 상기 동작 화면의 스크롤이 정지되도록 제어하는 것을 특징으로 하는 휴대 단말기.The controller may be configured to control scrolling of the operation screen to be stopped when the gaze position of the user is detected at the center of the operation screen. 제52항에 있어서, 상기 제어부는, The method of claim 52, wherein the control unit, 상기 사용자의 시선 위치가 상기 동작 화면의 상부 영역에서 검출된 경우, 상기 동작 화면이 아래 방향으로 스크롤되도록 제어하는 것을 특징으로 하는 휴대 단말기.And when the gaze position of the user is detected in an upper area of the operation screen, controlling the operation screen to scroll downward. 제52항에 있어서, 상기 제어부는,The method of claim 52, wherein the control unit, 상기 사용자의 시선 위치가 상기 동작 화면의 하부 영역에서 검출된 경우, 상기 동작 화면이 위 방향으로 스크롤되도록 제어하는 것을 특징으로 하는 휴대 단말기.And when the gaze position of the user is detected in the lower area of the operation screen, controlling the operation screen to scroll upward. 제53항 또는 제54항에 있어서, 상기 제어부는,The method of claim 53 or 54, wherein the control unit, 상기 사용자의 시선 위치가 상기 동작 화면의 상부 또는 하부 영역에 미리 결정된 시간 동안 검출된 경우, 상기 동작 화면이 위 또는 아래 방향으로 스크롤되도록 제어하는 것을 특징으로 하는 휴대 단말기.And when the gaze position of the user is detected in the upper or lower area of the operation screen for a predetermined time, controlling the operation screen to scroll upward or downward. 삭제delete 제52항에 있어서, 상기 제어부는,The method of claim 52, wherein the control unit, 상기 사용자의 시선 위치가 상기 동작 화면에서 검출되지 않은 경우, 상기 동작 화면의 스크롤이 정지되도록 제어하는 것을 특징으로 하는 휴대 단말기.And when the gaze position of the user is not detected on the operation screen, controlling to stop scrolling of the operation screen. 제52항에 있어서, 상기 제어부는,The method of claim 52, wherein the control unit, 상기 사용자의 시선 위치가 상기 동작 화면의 스크롤 화살표 영역에서 검출된 경우, 상기 시선 위치에 대응하는 스크롤 화살표의 방향에 따라 상기 동작 화면이 스크롤되도록 제어하는 것을 특징으로 하는 휴대 단말기.And when the gaze position of the user is detected in the scroll arrow area of the operation screen, controlling the operation screen to be scrolled according to the direction of the scroll arrow corresponding to the gaze position. 제52항에 있어서,The method of claim 52, wherein 상기 동작 화면은, 폰 북 화면, 텍스트 뷰어 화면, 이미지 뷰어 화면, 웹 페이지 화면, 메시지 송수신 화면, 이메일 송수신 화면, 아이템 리스트 화면 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말기.The operation screen may include at least one of a phone book screen, a text viewer screen, an image viewer screen, a web page screen, a message transmission screen, an email transmission screen, and an item list screen. 삭제delete 제52항에 있어서, The method of claim 52, wherein 상기 제어부는, 상기 카메라를 일정 주기로 활성화하여 상기 시선추적을 수행하는 것을 특징으로 하는 휴대 단말기.The controller is configured to activate the camera at regular intervals to perform the eye tracking. 제61항에 있어서,62. The method of claim 61, 상기 사용자 영상 내에 사람 얼굴이 검출된 경우, 상기 제어부는 상기 카메라를 계속 활성화하는 것을 특징으로 하는 휴대 단말기.And when a human face is detected in the user image, the controller continuously activates the camera. 제61항에 있어서, 62. The method of claim 61, 상기 사용자 영상 내에 사람 얼굴이 검출되지 않은 경우, 상기 제어부는 상기 카메라의 동작 주기를 미리 결정된 시간만큼 연장하는 것을 특징으로 하는 휴대 단말기.And if a human face is not detected in the user image, the controller extends the operation period of the camera by a predetermined time. 제52항에 있어서,The method of claim 52, wherein 상기 사용자의 얼굴과 상기 휴대 단말기 사이의 근접거리를 측정하는 근접 센서를 더 포함하고,Further comprising a proximity sensor for measuring the proximity distance between the face of the user and the portable terminal, 상기 제어부는, 상기 근접 거리가 일정 거리 이내인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기.The controller is configured to activate the camera when the proximity distance is within a predetermined distance. 제52항에 있어서,The method of claim 52, wherein 상기 휴대 단말기 주변의 조도를 측정하는 조도 센서를 더 포함하고,Further comprising an illuminance sensor for measuring the illuminance around the mobile terminal, 상기 제어부는, 상기 조도 센서에 의해 측정된 조도가 미리 결정된 값 이상인 경우, 상기 카메라를 활성화하는 것을 특징으로 하는 휴대 단말기.The controller is configured to activate the camera when the illuminance measured by the illuminance sensor is equal to or greater than a predetermined value.
KR1020090074802A 2009-08-13 2009-08-13 Mobile terminal and control method thereof KR101351487B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090074802A KR101351487B1 (en) 2009-08-13 2009-08-13 Mobile terminal and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090074802A KR101351487B1 (en) 2009-08-13 2009-08-13 Mobile terminal and control method thereof

Publications (2)

Publication Number Publication Date
KR20110017236A KR20110017236A (en) 2011-02-21
KR101351487B1 true KR101351487B1 (en) 2014-01-14

Family

ID=43775342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090074802A KR101351487B1 (en) 2009-08-13 2009-08-13 Mobile terminal and control method thereof

Country Status (1)

Country Link
KR (1) KR101351487B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022548A1 (en) * 2018-07-24 2020-01-30 엘지전자 주식회사 Mobile terminal and control method therefor

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891786B1 (en) 2011-11-29 2018-08-27 삼성전자주식회사 Operation Method For User Function based on a Eye-Tracking and Portable Device supporting the same
KR102091597B1 (en) * 2012-09-24 2020-03-20 엘지전자 주식회사 Portable device and controlling method thereof
KR101480594B1 (en) 2012-12-18 2015-01-08 현대자동차주식회사 Method for controlling termination call based on gaze, and mobile communication terminal therefor
US9395816B2 (en) 2013-02-28 2016-07-19 Lg Electronics Inc. Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
KR102094886B1 (en) * 2013-02-28 2020-03-30 엘지전자 주식회사 Display device and controlling method thereof for outputing tactile and visual feedback selectively
US20140285352A1 (en) * 2013-03-20 2014-09-25 Lg Electronics Inc. Portable device and visual sensation detecting alarm control method thereof
KR102129926B1 (en) * 2013-07-10 2020-07-03 엘지전자 주식회사 Apparatus for receiving broadcasting and method for operating the same
KR102153435B1 (en) * 2013-12-20 2020-09-08 엘지전자 주식회사 The mobile terminal and the control method thereof
KR102004990B1 (en) 2014-05-13 2019-07-29 삼성전자주식회사 Device and method of processing images
CN107395874A (en) * 2017-06-30 2017-11-24 广东欧珀移动通信有限公司 Display interface control method, device, storage medium and terminal
US10585277B2 (en) * 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement
KR102094944B1 (en) * 2018-02-28 2020-03-30 주식회사 비주얼캠프 Method for eye-tracking and terminal for executing the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6421064B1 (en) * 1997-04-30 2002-07-16 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display screen
JP2007036846A (en) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> Motion picture reproducing apparatus and control method thereof
KR20080104610A (en) * 2007-05-28 2008-12-03 삼성전자주식회사 A mobile terminal for photographing image by remote control and a method therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6421064B1 (en) * 1997-04-30 2002-07-16 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display screen
JP2007036846A (en) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> Motion picture reproducing apparatus and control method thereof
KR20080104610A (en) * 2007-05-28 2008-12-03 삼성전자주식회사 A mobile terminal for photographing image by remote control and a method therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022548A1 (en) * 2018-07-24 2020-01-30 엘지전자 주식회사 Mobile terminal and control method therefor
KR20200011275A (en) * 2018-07-24 2020-02-03 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR102086348B1 (en) * 2018-07-24 2020-03-09 엘지전자 주식회사 Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
KR20110017236A (en) 2011-02-21

Similar Documents

Publication Publication Date Title
KR101351487B1 (en) Mobile terminal and control method thereof
KR101864618B1 (en) Mobile terminal and method for providing user interface thereof
CN110134321B (en) Method and apparatus for transmitting data, and method and apparatus for receiving data
KR101588733B1 (en) Mobile terminal
KR101919792B1 (en) Terminal and method for controlling the same
CN109656439A (en) Display methods, device and the storage medium of prompt operation panel
US9262867B2 (en) Mobile terminal and method of operation
US20130176250A1 (en) Mobile terminal and control method thereof
KR101952177B1 (en) Mobile terminal and control method thereof
CN103577063A (en) Mobile tmerinal and control method thereof
KR101688145B1 (en) Method for reproducing moving picture and mobile terminal using this method
CN109600303A (en) Content share method, device and storage medium
KR20140118663A (en) Method and device for providing mene
KR102219910B1 (en) Method and device for displaying contents
CN103970451A (en) Method and apparatus for controlling content playback
KR20150110319A (en) Method and device for displaying image
KR20160058322A (en) Method for controlling device and the device
CN106503124B (en) The method and apparatus that multimedia file positions in the page
KR101476201B1 (en) Mobile terminal and display method thereof
CN110399082A (en) A kind of terminal attribute control method, device, electronic equipment and medium
KR101667585B1 (en) Mobile terminal and object information display method thereof
CN113613053B (en) Video recommendation method and device, electronic equipment and storage medium
KR101984094B1 (en) Mobile terminal and control method thereof
KR101861699B1 (en) Mobile terminal and control method thereof
KR101721874B1 (en) Mobile terminal and image display method thereof

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191224

Year of fee payment: 7