KR101351487B1 - Mobile terminal and control method thereof - Google Patents
Mobile terminal and control method thereof Download PDFInfo
- Publication number
- KR101351487B1 KR101351487B1 KR1020090074802A KR20090074802A KR101351487B1 KR 101351487 B1 KR101351487 B1 KR 101351487B1 KR 1020090074802 A KR1020090074802 A KR 1020090074802A KR 20090074802 A KR20090074802 A KR 20090074802A KR 101351487 B1 KR101351487 B1 KR 101351487B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- camera
- screen
- detected
- gaze position
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 휴대 단말기 및 그 제어방법에 관한 것이다. 본 휴대 단말기의 제어방법은 디스플레이부에 동작 화면을 표시하고, 시선추적을 수행하여 사용자의 시선 위치를 파악한다. 그리고, 동작 화면에서 사용자의 시선 위치가 파악된 일 영역을 확대하여 표시한다. 본 발명에 따르면, 시선추적을 이용하여 휴대 단말기에서 다양한 동작을 편리하게 제어할 수 있다.The present invention relates to a portable terminal and a control method thereof. The control method of the portable terminal displays an operation screen on a display unit and performs eye tracking to determine a user's eye position. In addition, an enlarged area of the user's gaze location is displayed on the operation screen. According to the present invention, it is possible to conveniently control various operations in the mobile terminal using eye tracking.
시선추적, 휴대 단말기, 줌, 촛점 Eye Tracking, Handheld Device, Zoom, Focus
Description
본 발명은 휴대 단말기 및 그 제어방법에 관한 것으로, 더욱 상세하게는 시선추적을 이용하여 다양한 동작 제어가 가능한 휴대 단말기 및 그 제어방법에 관한 것이다. The present invention relates to a portable terminal and a control method thereof, and more particularly, to a portable terminal capable of controlling various operations using eye tracking and a control method thereof.
휴대 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능, 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다. 이러한 휴대 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(multimedia player) 형태로 구현되고 있다.A portable terminal is a portable device having one or more functions capable of carrying out voice and video communication, capable of inputting and outputting information, and storing data, while being portable. As the functions of the portable terminal have diversified, they have complicated functions such as photographing and photographing, playing music files and video files, receiving games, receiving broadcasts, and wireless internet, and have developed a comprehensive multimedia player, .
이러한 멀티미디어 기기의 형태로 구현된 휴대 단말기는, 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다. 일 예로 사용자가 쉽고 편리하게 기능을 검색하거나 선택하기 위한 유저 인터페이스(User Interface) 환경 등이 있다. 또한, 휴대 단말기는 사용자의 개성을 표현하기 위한 개인 휴대품으로 여겨지면서, 양면에서 보이는 양면 LCD(Liquid Crystal Display)나, 전면 터치스크린(touch screen) 등 다양한 형태의 디자인 변화도 요구되고 있다.In order to realize a complicated function, a mobile terminal implemented in the form of a multimedia device is being applied variously in terms of hardware and software. For example, a user interface environment for a user to search for or select a function easily and conveniently. In addition, while the mobile terminal is regarded as a personal portable product for expressing the personality of the user, various types of design changes such as a double-sided LCD (Liquid Crystal Display) and a front touch screen are also required.
한편, 시선추적(eye-tracking)은 카메라를 통해 입력된 영상을 분석하여 사용자의 눈동자를 인식하여 사용자 시선을 추적하는 기술이다. 이러한 시선추적은 스포츠 중계, 장애인을 위한 시스템, 및 소비자의 동선 및 시선 파악 등에 응용되고 있으며, 최근에는 시선추적을 위한 인터페이스를 위해 다양한 알고리즘이 연구되고 있다. On the other hand, eye-tracking is a technique of tracking a user's gaze by analyzing an image input through a camera and recognizing a user's eyes. Such eye tracking is applied to sports relaying, a system for the disabled, and identifying the movement and eye of a consumer. Recently, various algorithms have been studied for an interface for eye tracking.
따라서, 이러한 시선추적을 이용한 새로운 사용자 인터페이스 방식을 통해 휴대 단말기의 동작을 제어하는 방안을 고려해 볼 필요가 있다.Therefore, it is necessary to consider a method of controlling the operation of the mobile terminal through a new user interface method using such eye tracking.
따라서, 본 발명의 목적은, 시선추적을 이용하여 여러가지 동작을 제어할 수 있는 휴대 단말기 및 그 제어방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a mobile terminal and a control method thereof capable of controlling various operations using eye tracking.
상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 디스플레이부에 동작 화면을 표시하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 동작 화면에서 상기 시선 위치가 파악된 일 영역을 확대하여 표시하는 단계를 포함한다.In accordance with another aspect of the present invention, there is provided a method of controlling a mobile terminal, the method comprising: displaying an operation screen on a display unit, performing eye tracking to identify a user's gaze position, and the gaze position on the operation screen; And magnifying and displaying the identified one area.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 디스플레이부에 카메라의 프리뷰 이미지를 표시하는 단계, 시선추적을 수행하 여, 사용자의 시선 위치를 파악하는 단계, 및 상기 프리뷰 이미지에서 상기 시선 위치가 파악된 영역에 대응하는 피사체에 촛점이 맞도록 상기 카메라의 촛점을 조절하는 단계를 포함한다. In addition, the control method of the mobile terminal according to the present invention for achieving the above object, the step of displaying a preview image of the camera on the display unit, performing the eye tracking, grasping the position of the user's gaze, and the preview And adjusting the focal point of the camera to focus on a subject corresponding to an area where the gaze position is identified in the image.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 본체에 구비되는 음향출력 모듈을 통해 음향 신호를 출력하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 시선 위치가 상기 본체에서 파악되면, 상기 음향 신호의 출력을 중지하는 단계를 포함한다. In addition, the control method of the portable terminal according to the present invention for achieving the above object, the step of outputting a sound signal through the sound output module provided in the main body, performing eye tracking, to identify the position of the user's eye gaze, And stopping the output of the sound signal when the gaze position is detected by the main body.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 휴대 단말기의 제어방법은, 디스플레이부에 방송신호를 수신하여 재생한 방송 화면을 표시하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 시선 위치가 상기 방송 화면이 아니면, 상기 방송신호의 재생을 중단하고, 재생이 중단된 방송신호를 저장하는 단계를 포함한다. In addition, the control method of the portable terminal according to the present invention for achieving the above object, the step of displaying a broadcast screen received and reproduced by receiving a broadcast signal on the display unit, performing a gaze tracking, to identify the gaze position of the user And if the gaze position is not the broadcast screen, stopping the reproduction of the broadcast signal and storing the broadcast signal where the reproduction is stopped.
본 발명에 따르면, 디스플레이부에 동작 화면을 표시하는 단계, 시선추적을 수행하여, 사용자의 시선 위치를 파악하는 단계, 및 상기 시선 위치가 상기 동작 화면의 상부나 하부 영역인 경우, 상기 시선 위치에 따라 상기 동작 화면을 스크롤하는 단계를 포함하는 휴대 단말기의 제어방법가 제공된다.According to the present invention, the step of displaying an operation screen on a display unit, performing eye gaze tracking, identifying a position of the user's gaze, and when the gaze position is an upper or lower area of the operation screen, Accordingly, there is provided a control method of a portable terminal including scrolling the operation screen.
한편, 본 발명에 따른 휴대 단말기는, 카메라, 동작 화면을 표시하는 디스플레이부, 및 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 동작 화면에서 상기 사용자의 시선 위치가 파악된 일 영역을 확대하여 표시하는 제어부를 포함한다. Meanwhile, the portable terminal according to the present invention performs eye tracking using a camera, a display unit for displaying an operation screen, and a user image acquired through the camera, thereby determining the position of the user's gaze on the operation screen. And a controller for enlarging and displaying one region.
또한, 본 발명에 따른 휴대 단말기는, 제1 및 제2 카메라, 상기 제1 카메라의 프리뷰 이미지를 표시하는 디스플레이부, 및 상기 제2 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 프리뷰 이미지에서 상기 사용자의 시선 위치가 파악된 영역에 대응하는 피사체에 촛점이 맞도록 상기 제1 카메라의 촛점을 조절하는 제어부를 포함한다.In addition, the portable terminal according to the present invention performs eye tracking using first and second cameras, a display unit displaying a preview image of the first camera, and a user image acquired through the second camera. And a controller configured to adjust the focus of the first camera to focus on a subject corresponding to a region where the user's gaze position is identified in the preview image.
또한, 본 발명에 따른 휴대 단말기는, 본체에 구비되는 카메라, 음향 신호를 출력하는 음향출력 모듈, 및 상기 음향출력 모듈을 통해 음향 신호를 출력하고, 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 사용자의 시선 위치가 상기 본체인 경우, 상기 음향 신호의 출력이 중지되도록 상기 음향출력 모듈을 제어하는 제어부를 포함한다. In addition, the portable terminal according to the present invention includes a camera provided in the main body, an audio output module for outputting an audio signal, and an audio signal output through the audio output module, and using the user image acquired through the camera, And performing a tracking to control the sound output module to stop the output of the sound signal when the gaze position of the user is the main body.
또한, 본 발명에 따른 휴대 단말기는, 카메라, 방송신호를 수신하는 방송수신 모듈, 상기 방송신호를 재생한 방송 화면이 표시되는 디스플레이부, 및 상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 사용자의 시선 위치가 상기 방송 화면이 아닌 경우, 상기 방송신호의 재생을 중단하고, 재생이 중단된 방송신호가 저장되도록 제어하는 제어부를 포함한다. In addition, the portable terminal according to the present invention, the eye gaze tracking using a camera, a broadcast receiving module for receiving a broadcast signal, a display unit for displaying a broadcast screen reproducing the broadcast signal, and a user image obtained through the camera If the user's gaze position is not the broadcast screen, the control unit stops the reproduction of the broadcast signal and controls the broadcast signal to stop the reproduction of the broadcast signal.
본 발명에 따르면, 카메라, 동작 화면을 표시하는 디스플레이부, 및상기 카메라를 통해 획득한 사용자 영상을 이용하여 시선추적을 수행하여, 상기 사용자의 시선 위치가 상기 동작 화면의 상부나 하부 영역인 경우, 상기 시선 위치에 따라 상기 동작 화면이 스크롤되도록 하는 제어부를 포함하는 휴대 단말기가 제공된다.According to the present invention, when the gaze tracking of the user is an upper or lower area of the operation screen by performing gaze tracking using a camera, a display unit displaying an operation screen, and a user image acquired through the camera, A portable terminal including a controller for scrolling the operation screen according to the gaze position is provided.
본 발명에 따르면, 시선추적을 이용하여 휴대 단말기에서 자동 줌 기능이나 자동 촛점 기능 등을 수행할 수 있으며, 스크롤, 음향 소리의 조절, 타임머신 모드의 동작 등도 사용자의 시선 위치에 따라 자동으로 수행할 수 있다. 이에 따라, 사용자는 휴대 단말기의 여러 가기 동작을 편리하게 제어할 수 있다. According to the present invention, by using eye tracking, the portable terminal can perform an auto zoom function or an auto focus function, and can also automatically perform scrolling, adjustment of sound sound, and operation of a time machine mode according to the user's gaze position. have. Accordingly, the user can conveniently control various cutting operations of the portable terminal.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.
본 명세서에서 기술되는 휴대 단말기에는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함된다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다. The portable terminal described in this specification includes a mobile phone, a smart phone, a notebook computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), and navigation. In addition, suffixes "module" and " part "for the components used in the following description are given merely for convenience of description, and do not give special significance or role in themselves. Accordingly, the terms "module" and "part" may be used interchangeably.
도 1은 본 발명의 일실시예에 따른 휴대 단말기의 블럭 구성도(block diagram)이다. 도 1을 참조하여 본 발명의 일실시예에 따른 휴대 단말기를 기능에 따른 구성요소 관점에서 살펴보겠다.FIG. 1 is a block diagram of a portable terminal according to an exemplary embodiment of the present invention. Referring to FIG. Referring to FIG. 1, a mobile terminal according to an exemplary embodiment of the present invention will be described in terms of its functional components.
도 1을 참조하면, 본 휴대 단말기(100)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구 성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.1, the
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.The
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송 신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.The
방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈(113)에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다. The broadcast-related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast related information may also be provided through a mobile communication network, and in this case, may be received by the
방송수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈(111)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화 상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 휴대 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The
근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. The short-
GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다. A GPS (Global Position System)
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것이다. A/V 입력부(120)에는 카메라(121)와 마이크(123) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.The A /
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the
마이크(123)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(113)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 (123)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.The
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.The
센싱부(140)는 휴대 단말기(100)의 개폐 상태, 휴대 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 휴대 단말기(100)의 현 상태를 감지하여 휴대 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 휴대 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.The
센싱부(140)는 근접센서(Proximity Sensor)(141), 압력센서(143), 및 모션 센서(145) 등을 포함할 수 있다. 근접센서(141)는 접근하는 물체나, 근방에 존재 하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.The
압력센서(143)는 휴대 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(143)는 사용환경에 따라 휴대 단말기(100)에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(143)가 디스플레이부(151)에 설치되는 경우, 압력센서(143)에서 출력되는 신호에 따라, 디스플레이부(151)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(143)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이부(151)에 가해지는 압력의 크기도 알 수 있다. The
모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 휴대 단말기(100)의 위치나 움직임 등을 감지한다. 모션 센서(145)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다. The
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(150)에는 디스플레이부(151), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등이 포함될 수 있다.The
디스플레이부(151)는 휴대 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 휴대 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 휴대 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다. The
한편, 전술한 바와 같이, 디스플레이부(151)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(151)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다. 또한, 디스플레이부(151)는 전자종이(e-Paper)로 구성될 수 있다. Meanwhile, as described above, when the
이외에도 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 휴대 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들어, 휴대 단말기(100)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.In addition, the
음향출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(153)은 휴대 단말기(100)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The
알람부(155)는 휴대 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 휴대 단말기(100)에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(155)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(155)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(155)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 휴대 단말기(100)에서 이벤트 발생 알림을 위한 신호는 디스플레이부(151)나 음향출력 모듈(153)를 통해서도 출력될 수 있다.The
햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(157)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 휴대 단말기(100)는 인터넷(internet) 상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.The
인터페이스부(170)는 휴대 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 휴대 단말기(100)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 휴대 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 휴대 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The
인터페이스부(170)는 휴대 단말기(100)가 외부 크래들(cradle)과 연결될 때 연결된 크래들로부터의 전원이 휴대 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 휴대 단말기(100)로 전달되는 통로가 될 수 있다.The
제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 휴대 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다.The
그리고, 전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The
이와 같은 구성의 휴대 단말기(100)는 유무선 통신 시스템 및 위성 기반 통신 시스템을 포함하여, 프레임(frame) 또는 패킷(packet)을 통하여 데이터(data)를 전송할 수 있는 통신 시스템에서 동작 가능하도록 구성될 수 있다. The
도 2는 본 발명의 제1 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 시선추적(eye-tracking)을 이용하여 자동으로 줌(Zoomn) 기능이 수행되는 경우를 설명한다. 시선추적은 카메라를 통해 입력된 영상 등을 분석한 결과에 따라, 사용자의 눈동자를 인식하여 사용자 시선 위치를 추적할 수 있는 기술이다. 이러한 시선추적을 이용하여 사용자의 시선 위치를 실시간으로 파악할 수 있다. 시선추적을 사용하는 것은, 이하 설명하는 다른 실시예에 따른 휴대 단말기의 제어방법에서도 동일하게 적용된다.2 is a flowchart provided to explain a method for controlling a portable terminal according to the first embodiment of the present invention. In this embodiment, a zoom function is automatically performed by using eye-tracking. Eye tracking is a technology that can track the position of the user's eyes by recognizing the eyes of the user according to a result of analyzing the image input through the camera. By using the gaze tracking, the gaze location of the user may be grasped in real time. The use of eye tracking is equally applicable to a control method of a portable terminal according to another embodiment described below.
도 2를 참조하면, 제어부(180)는 선택된 메뉴나 동작 등에 대응하는 동작 화면을 디스플레이부(151)에 표시한다(S200). 이때, 표시되는 동작 화면의 예로는 텍스트 뷰어 화면, 이미지나 동영상 뷰어 화면, 메시지 송수신화면, 웹페이지 화 면, 방송 화면, 지도화면 등이 있다.Referring to FIG. 2, the
동작 화면이 표시된 상태에서, 자동 줌 기능이 선택되면(S205), 제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S210). 이때, 자동 줌 기능은, 사용자 입력부(130)에서 핫 키(hot-key)로서 작동할 수 있는 키의 입력에 따라 선택될 수 있다. 예컨대, 카메라 키 등이 자동 줌 기능의 선택 키로 사용될 수 있다. 이 경우, 아이들(idle) 상태에서 카메라 키는 카메라 기능 키로 동작하지만, 특정 동작 모드에서는 시선추적을 이용한 자동 줌 기능의 선택 키로 동작할 수 있다. 즉, 특정 동작 모드의 선택에 따라 줌 기능이 필요한 텍스트 뷰어나 이미지 뷰어 등의 동작 화면이 디스플레이부(151)에 표시된 상태에서, 카메라 키의 입력시 시선추적을 이용한 자동 줌 기능이 선택될 수 있다.When the auto zoom function is selected while the operation screen is displayed (S205), the
S210 단계에서 시선추적을 수행한 결과에 따라, 제어부(180)는 동작 화면에서 사용자의 시선 위치를 파악하여, 동작 화면에서 사용자의 시선 위치가 일정시간 동안 파악된 영역을 확대하여 표시한다(S215).According to the result of the gaze tracking in step S210, the
예컨대, 동작 화면이 텍스트 뷰어 화면인 경우, 일정시간 이상 사용자의 시선이 머물러 있는 라인(line)을 확대하여 큰 글자로 표시할 수 있다. 동작 화면에 리스트나 썸네일 이미지가 표시된 경우, 사용자의 시선이 머물러 있는 항목이나 썸네일 이미지를 확대 표시할 수 있다. For example, when the operation screen is a text viewer screen, a line in which the user's eyes remain may be enlarged and displayed in large letters for a predetermined time. When the list or the thumbnail image is displayed on the operation screen, the item or the thumbnail image in which the user's eyes remain may be enlarged and displayed.
따라서, 디스플레이부(151)를 가까이 바라볼 필요가 없이, 사용자의 시선 위치에 따라 자동 확대 기능을 제공할 수 있다. 사용자의 시선 위치에 따라 확대 표시된 부분은, 사용자의 시선이 다른 곳을 향하는 경우, 다시 원래의 크기로 표시할 수 있다. Therefore, it is possible to provide an automatic magnification function according to the user's gaze position without having to look closely at the
또한, 동작 화면이 웹 페이지 화면인 경우, 웹 페이지 화면에서 사용자의 시선이 일정시간 이상 머무르는 이미지 등을 확대하여 표시할 수 있을 뿐만 아니라, 재생 가능한 콘텐츠에 시선이 머무르는 경우, 그 콘텐츠를 재생할 수도 있다.In addition, when the operation screen is a web page screen, not only the image in which the user's gaze remains for a predetermined time or more may be displayed on the web page screen, but also when the gaze remains on the playable content, the content may be played back. .
기타, 터치 입력이나 키 입력 등과 같은 사용자 입력이 있는 경우에는(S220), 제어부(180)는 사용자 입력에 대응하는 동작이 수행되도록 제어한다(S225). 설정 사항에 따라서는, 통화나 메시지 수신 등과 같은 통신 이벤트가 발생한 경우에도, 통신 이벤트 발생에 대응하는 동작을 수행할 수도 있다.In addition, when there is a user input such as a touch input or a key input (S220), the
이와 같은 과정은 동작 종료가 선택된 경우까지 반복적으로 수행된다어(S230). 또한, 이와 같은 과정에 의해, 텍스트나 파일 뷰어 등과 같은 다양한 동작 화면에서 사용자의 시선을 추적하여, 사용자가 바라보고 있는 영역을 자동으로 확대하여 표시할 수 있다. This process is repeatedly performed until the end of the operation is selected (S230). In addition, by the above process, the user's eyes are tracked on various operation screens such as a text or a file viewer, and the enlarged area can be automatically enlarged and displayed.
도 3은 본 발명의 제2 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 사용자 시선추적 기술을 이용하여 카메라 촬영시 자동 초점이 수행되는 경우를 설명한다.3 is a flowchart provided to explain a method for controlling a portable terminal according to a second embodiment of the present invention. In the present embodiment, the case where the auto focus is performed when the camera is photographed using the user eye tracking technology.
도 3을 참조하면, 사용자 명령 등에 따라 카메라 모드가 선택되면(S250), 제어부(180)는 카메라(121)의 프리뷰(preview) 이미지를 디스플레이부(151)에 표시한다(S255).Referring to FIG. 3, when a camera mode is selected according to a user command (S250), the
프리뷰 이미지가 표시된 상태에서, 자동 촛점 기능이 선택되면(S260), 제어부(180)는 시선추적을 수행한다(S265). 자동 촛점 기능은 반셔터 기능의 동작시 선택될 수 있다.In the state where the preview image is displayed, when the auto focus function is selected (S260), the
시선추적을 수행한 결과에 따라, 제어부(180)는 프리뷰 이미지에서 사용자의 시선 위치를 파악하여, 프리뷰 이미지에서 사용자의 시선 위치가 파악된 영역에 대응하는 피사체에 촛점이 맞도록 카메라(121)의 촛점을 조절한다(S270).According to the result of the gaze tracking, the
예컨대, 인물사진을 찍고 있는 경우, 사용자가 프리뷰 이미지에서 인물의 얼굴을 바라보고 있다면 그 얼굴에 초점을 맞추고, 프리뷰 이미지에서 배경을 바라보고 있다면 그 배경으로 초점을 이동시킨다. 또한, 촛점이 맞춰진 피사체의 초점 거리에 따라, 매크로, 인물, 풍경 등으로 촬영 모드를 자동 변환시킬 수도 있다.For example, when taking a portrait, if the user looks at the face of the person in the preview image, the user focuses on the face, and if the user is looking at the background in the preview image, the focus is shifted to the background. In addition, depending on the focal length of the focused subject, the shooting mode may be automatically converted into a macro, a person, a scenery, or the like.
촬영 버튼 등의 조작에 따라 촬영이 선택되면(S275), 제어부(180)는 현재 프리뷰 이미지에 대응하는 피사체의 영상이 촬영되도록 한다(S280). 사진 촬영시 사용자 쪽으로 향하는 제1 카메라(121a)로 사용자의 시선을 추적하고, 제2 카메라(121b)를 사진 촬영에 사용할 수 있다. 또한, 촬영된 이미지에 대응하는 데이터는 파일 이름이나 기타 관련정보와 함께 메모리(160)에 저장될 수 있다. When shooting is selected according to an operation of a shooting button (S275), the
다른 카메라의 기능이 선택된 경우에는(S285), 제어부(180)는 선택된 기능에 대응하는 동작이 수행되도록 제어한다(S290). 이와 같은 과정은, 카메라 모드가 종료되는 경우까지 수행된다(S295). 또한, 이와 같은 과정에 의해 카메라 촬영시 사용자의 시선 위치에 따라 자동으로 촛점이 맞춰지도록 할 수 있다.If a function of another camera is selected (S285), the
도 4는 본 발명의 제3 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예서는 시선추적 기술을 이용하여 알람 신호 등과 같은 음향 신호의 출력을 자동으로 조절하는 경우를 설명한다.4 is a flowchart provided to explain a method for controlling a portable terminal according to a third embodiment of the present invention. This embodiment describes a case in which the output of an acoustic signal such as an alarm signal is automatically adjusted using the eye tracking technique.
도 4를 참조하면, 알람(alarm)이 설정된 후(S300), 설정된 알람 시간이 도래하면(S305), 제어부(180)는 설정된 알람 관련 정보에 따라 알람 신호가 음향출력 모듈(153)을 통해 출력되도록 제어한다(S310).Referring to FIG. 4, after an alarm is set (S300), when a set alarm time arrives (S305), the
제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S315). 시선추적을 수행한 결과에 따라, 제어부(180)는 사용자의 시선 위치가 디스플레이부(151)나 본체 등에서 파악되는지 판단한다(S320). The
S320 단계의 판단 결과, 시선위치가 디스플레이부(151)나 본체에서 파악되면, 제어부(180)는 알람 신호의 출력을 중지한다(S325). 이 경우, 알람 신호의 출력을 중지될 때까지, 시간의 경과에 따라 알람 신호의 출력이 점차 작아지도록 할 수 있다. As a result of the determination in step S320, when the gaze position is detected by the
그러나, 알람 신호의 출력이 중지된 상태에서, 사용자의 시선 위치가 디스플레이부(151)나 본체 등에서 파악되지 않으면, 다시 원래 크기의 알람 신호를 출력한다(S330). 즉, 알람 신호가 출력될 때, 사용자가 일정시간 디스플레이부(151)나 본체 등을 바라보면 알람 신호의 출력을 중지하다가, 사용자가 다시 눈을 감게되면 다시 원래 크기의 알람 신호를 출력할 수 있다. However, if the gaze position of the user is not recognized by the
알람 신호의 출력은 출력 종료가 선택된 경우에 종료한다(S335). 이외에도, 설정된 조건을 만족하는 경우에 알람 신호의 출력이 종료될 수 있다. The output of the alarm signal ends when the output end is selected (S335). In addition, the output of the alarm signal may be terminated when the set condition is satisfied.
이와 같은 과정에 의해, 사용자의 시선에 따라 알람 신호의 출력이 중지되도록 제어할 수 있다. 또한, 알람 신호외에 호신호 수신음이나 메시지 수신음 등과 같은 음향 신호가 출력되는 경우에도, 동일한 방식으로 음향 신호의 출력을 제어할 수 있다. By this process, it is possible to control the output of the alarm signal in accordance with the user's eyes. In addition, even when an acoustic signal such as a call signal reception sound or a message reception sound is output in addition to the alarm signal, the output of the sound signal can be controlled in the same manner.
도 5는 본 발명의 제4 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 시선추적을 이용하여 방송시청시 자동으로 타임머신 모드가 동작하는 경우를 설명한다. 5 is a flowchart provided to explain a method for controlling a portable terminal according to a fourth embodiment of the present invention. In the present embodiment, the time machine mode automatically operates when watching a broadcast using eye tracking.
도 5를 참조하면, 사용자 명령 등에 따라 방송시청 모드가 선택되면(S350), 제어부(180)는 방송수신 모듈(111)을 통해 수신된 방송 신호를 재생하여, 디스플레이부(151)에 방송 화면이 표시된다(S355). Referring to FIG. 5, when the broadcast viewing mode is selected according to a user command (S350), the
다음으로 제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S360). 시선추적을 수행한 결과, 사용자의 시선 위치가 방송 화면에서 파악되지 않으면(S365), 제어부(180)는 타임머신(time machine) 모드로 동작하도록 제어한다(S370). 즉, 제어부(180)는 방송신호의 재생이 중단되도록 제어하고, 방송수신 모듈(111)에서 출력되는 방송신호를 메모리(160)에 저장한다. 그리고, 사용자의 시선 위치가 다시 방송화면으로 이동하면, 저장된 방송신호를 재생한다. 타임머신 모드는 종료가 선택되는 경우까지 지속된다(S375). Next, the
이와 같은 과정은 방송 시청의 종료가 선택되는 경우까지 수행된다(S380). 또한, 이와 같이 사용자의 시선을 추적하여, 사용자의 시선이 일정시간 이상 화면을 쳐다보고 있지 않은 것으로 판단되면, 자동으로 타임 머신 모드로 동작하여, 사용자가 다시 화면을 보는 경우, 끊어지지 않고 방송을 연속적으로 시청할 수 있도록 한다. 동일한 방식으로, 동영상이나 영화 감상 중에 사용자의 시선이 화면에 있지 않을 때 동영상의 재생을 중지시킨 후, 사용자가 다시 화면을 바라보면 다시 재생을 시작하여, 사용자가 다시 영상을 되돌리는 불편함을 제거할 수도 있다. This process is performed until the end of the broadcast viewing is selected (S380). In addition, if the user's eyes are tracked and it is determined that the user's eyes are not staring at the screen for more than a predetermined time, the device automatically operates in the time machine mode, and if the user views the screen again, the broadcast is not interrupted. Allows you to watch continuously. In the same way, when the user's eyes are not on the screen while watching a video or movie, the video stops playing, and when the user looks at the screen again, it starts playing again, eliminating the inconvenience of the user returning the video again. You may.
도 6은 본 발명의 제5 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서는 시선추적을 이용하여 자동으로 스크롤이 수행되는 경우를 설명한다. 6 is a flowchart provided to explain a method for controlling a portable terminal according to a fifth embodiment of the present invention. In the present embodiment, a case in which scrolling is automatically performed using eye tracking will be described.
도 6을 참조하면, 사용자 명령에 따라, 폰 북 메뉴, 메일 송수신함 메뉴, 멀티미디어 재생 메뉴, 이미지 보기 메뉴, 텍스트 뷰어 등과 같은 복수의 항목이나 한 페이지 이상의 화면을 표시해야 하는 메뉴가 선택되면, 제어부(180)는 선택된 메뉴에 대응하는 동작 화면을 디스플레이부(151)에 표시한다(S400).Referring to FIG. 6, when a plurality of items such as a phone book menu, a mail box, a multimedia play menu, an image view menu, a text viewer, or a menu for displaying one or more pages is selected according to a user command, In operation S400, an operation screen corresponding to the selected menu is displayed on the
동작 화면이 표시된 상태에서, 자동 스크롤 기능이 선택되면(S405), 제어부(180)는 카메라(121)를 통해 획득한 사용자 영상 등을 이용하여 시선추적을 수행한다(S410). 이때, 자동 스크롤 기능의 선택에는, 핫 키(hot-key)로서 작동할 수 있는 제3 및 제4 사용자 입력부(130c, 130d) 등이 사용될 수 있다. When the auto scroll function is selected while the operation screen is displayed (S405), the
시선추적을 수행한 결과의 따라, 사용자의 시선 위치가 동작 화면의 상부 영역으로 파악된 경우, 제어부(180)는 아래 방향으로 동작 화면이 스크롤되도록 제어한다(S415, S420). 시선추적을 수행한 결과에 따라, 사용자의 시선 위치가 동작 화면 하부 영역으로 파악된 경우, 제어부(180)는 동작 화면이 위로 스크롤되도록 제어한다(S425, S430).According to the result of the gaze tracking, when the gaze position of the user is determined as the upper region of the operation screen, the
그리고, 시선추적을 수행한 결과에 따라, 사용자의 시선 위치가 화면의 중앙이거나, 다른 곳을 향하는 것으로 파악된 경우, 제어부(180)는 동작 화면의 스크롤을 정지시킨다(S435, S440). When the gaze tracking of the user is determined to be at the center of the screen or toward another location, the
기타, 터치 입력이나 키 입력 등과 같은 사용자 입력이 있는 경우에는(S445), 제어부(180)는 사용자 입력에 대응하는 동작이 수행되도록 제어한다(S450).In addition, when there is a user input such as a touch input or a key input (S445), the
이와 같은 과정은 동작 종료가 선택되는 경우까지 반복적으로 수행된다(S455). 또한, 이와 같은 과정에 의해, 사용자의 시선 위치에 따라 동작 화면을 자동으로 스크롤할 수 있다. This process is repeatedly performed until the end of the operation is selected (S455). In addition, by such a process, the operation screen may be automatically scrolled according to the position of the gaze of the user.
한편, 시선추적을 사용하는 경우, 단순 센서가 아닌 화상을 인식하는 카메라를 동작시켜야 하므로 전력 소모가 비교적 높다. 따라서, 일정 주기로 카메라를 동작시켜 영상을 촬영하여, 촬영한 영상안에 사람 얼굴이 있으면, 카메라를 계속 동작시키고, 사람 얼굴이 사라지면 카메라 동작을 정지시킨 후, 다시 일정 주기후에 카메라가 동작되도록 하여 전력 소모를 감소시킬 수 있다. 이때, 카메라를 동작시키는 주기는, 최초 N초에서 이후 N×(2 + 0)초, N×(2 + 1).. 식으로 점점 길어지도록 할 수 있다. On the other hand, when using eye tracking, power consumption is relatively high because a camera that recognizes an image, rather than a simple sensor, needs to be operated. Therefore, the camera is taken at regular intervals to capture an image. If there is a human face in the captured image, the camera continues to operate. If the human face disappears, the camera is stopped and the camera is operated again after a certain period. Can be reduced. In this case, the period of operating the camera may be longer and longer from the first N seconds to N x (2 + 0) seconds, N x (2 + 1)...
조도 센서와 근접센서를 활용하여, 근접센서로 물체가 일정 거리 이하로 가까워진 경우에만 카메라를 동작시키고, 조도센서로 일정 조도 이상이 되어 시선추적이 가능할 경우에만 카메라를 동작시킬 수도 있다.By using the illuminance sensor and the proximity sensor, the camera may be operated only when the object is close to a certain distance or less by the proximity sensor, and the camera may be operated only when the eye can be traced because the illuminance sensor is over the predetermined illuminance.
아울러, 시선추적을 이용하여, 외부 키의 동작이 가능하도록 구성할 수 있다. 예컨대, 사용자가 휴대 단말기의 외부 카메라 키를 주시하면 카메라 기능을 실행하고, 외부 통화키를 바라보면 통화와 관련된 동작이 수행되도록 할 수 있다. 이와 같이, 사용자의 시선에 따라 외부 키의 동작이 가능하도록 구성하여 조작 편 의성을 증대시킬 수 있다.In addition, by using the eye tracking, it can be configured to enable the operation of the foreign key. For example, when the user looks at the external camera key of the portable terminal, the camera function may be executed, and when the user looks at the external call key, an operation related to a call may be performed. In this way, it is possible to increase the operation convenience by configuring the operation of the external key according to the user's eyes.
다음의 도 7 내지 도 11은 본 발명에 따른 휴대 단말기의 제어방법을 디스플레이부에 표시되는 화면과 함께 설명하기 위해 참조되는 도면이다. 7 to 11 are views for explaining a method of controlling a mobile terminal according to the present invention together with a screen displayed on a display unit.
도 7은 텍스트 뷰어 화면이 표시된 상태에서 자동 줌 기능이 수행되는 경우를 나타낸 것이다. 도 9에 도시한 바와 같이, 디스플레이부(151)에 텍스트 뷰어 화면(500)이 표시된 상태에서, 자동 줌 기능이 선택되면, 시선추적을 통해 사용자(700)의 시선 위치가 파악되는 영역(510)의 글자를 다른 영역의 글자 보다 확대시켜 표시할 수 있다. 시선 위치가 이동하면 확대된 글자는 다시 원래의 크기로 표시된다.7 illustrates a case where the auto zoom function is performed while the text viewer screen is displayed. As shown in FIG. 9, when the auto zoom function is selected while the
도 8은 썸네일 이미지가 표시된 상태에서 자동 줌 기능이 수행되는 경우를 나타낸 것이다. 도 8에 도시한 바와 같이, 썸네일 이미지가 표시된 화면(530)에서, 자동 줌 기능이 선택되면, 사용자(700)의 시선 위치가 일정 시간 이상 머무는 썸네일 이미지(540)를 다른 썸네일 이미지보다 확대하여 표시할 수 있다.8 illustrates a case in which the auto zoom function is performed while a thumbnail image is displayed. As shown in FIG. 8, when the auto zoom function is selected on the
마찬가지로, 확대된 썸네일 이미지는 시선 위치가 다른 곳으로 이동하면, 다시 원래의 크기로 표시된다. .Similarly, the enlarged thumbnail image is displayed again in its original size when the gaze position moves to another place. .
도 9는 리스트 화면이 표시된 상태에서 자동 스크롤 기능이 수행되는 것을 나타낸 것이다. 도 9에 도시한 바와 같이, 리스트가 표시된 화면(550)에서, 자동 스크롤 기능이 선택되면, 사용자의 시선 위치가 화면의 상부 영역(560)인 경우 화면을 아래 방향으로 스크롤할 수 있다. 마찬가지로, 사용자의 시선 위치가 화면의 하부 영역인 경우 화면을 위 방향으로 스크롤할 수 있다. 9 illustrates that the automatic scroll function is performed while the list screen is displayed. As illustrated in FIG. 9, when the automatic scrolling function is selected on the
또한, 사용자의 시선 위치가 스크롤 화살표(570, 580)에 있는 경우에도, 선택된 스크롤 화살표에 따라 화면을 위나 아래로 스크롤되도록 구성할 수 있다. In addition, even when the user's gaze position is at the
화면이 스크롤되고 있는 상태에서, 시선 위치가 화면의 중앙으로 이동하거나 화면외에 다른 곳을 향하는 경우, 화면 스크롤은 정지된다. In the state where the screen is being scrolled, the screen scrolling is stopped when the gaze position moves to the center of the screen or to a place other than the screen.
도 10은 카메라의 프리뷰 이미지가 표시된 상태에서 자동 촛점 기능이 수행되는 경우를 나타낸 것이다. 카메라 프리뷰 이미지가 표시된 화면(600)에서, 자동 촛점 기능이 선택되면, 프리뷰 이미지가 표시된 화면(600)에서 사용자(700)의 시선 위치가 머무는 영역(610)에 대응하는 피사체에 촛점이 맞춰지도록 할 수 있다.10 illustrates a case where the autofocus function is performed while the preview image of the camera is displayed. When the auto focus function is selected on the
도 11은 방송 화면의 표시된 상태에서 타임 머신 기능이 수행되는 경우를 나타낸 것이다. 방송 화면(630)이 표시된 상태에서, 사용자(700)의 시선 위치가 방송 화면(630)인 경우에는 방송 신호를 계속 재생하고, 사용자(700)의 시선 위치가 방송 화면(630)이 아닌 경우에는, 타임 머신 모드로 동작하도록 구성할 수 있다. 11 illustrates a case where a time machine function is performed in a displayed state of a broadcast screen. When the gaze position of the
이와 같이, 사용자의 시선 위치에 따라 휴대 단말기에서 다양한 동작을 제어할 수 있다. 또한, 본 발명에 따른 휴대 단말기 및 그 제어방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, various operations may be controlled in the mobile terminal according to the position of the gaze of the user. In addition, the mobile terminal and its control method according to the present invention are not limited to the configuration and method of the embodiments described as described above, the embodiments are all or all of the embodiments so that various modifications can be made Some may be optionally combined.
한편, 본 발명은 휴대 단말기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the present invention can be implemented as a processor-readable code in a processor-readable recording medium provided in a portable terminal. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the recording medium readable by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also a carrier wave such as transmission over the Internet. In addition, the processor readable recording medium may be distributed over networked computer systems so that code readable by the processor in a distributed manner can be stored and executed.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
도 1은 본 발명의 일실시예에 따른 휴대 단말기의 블럭 구성도,1 is a block diagram of a portable terminal according to an embodiment of the present invention;
도 2는 본 발명의 제1 실시예에 따른 휴대단말기의 제어방법에 대한 설명에 제공되는 흐름도,2 is a flowchart provided to explain a method for controlling a mobile terminal according to a first embodiment of the present invention;
도 3은 본 발명의 제2 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,3 is a flowchart provided to explain a method for controlling a portable terminal according to a second embodiment of the present invention;
도 4는 본 발명의 제3 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,4 is a flowchart provided to explain a method for controlling a portable terminal according to a third embodiment of the present invention;
도 5는 본 발명의 제4 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,5 is a flowchart provided to explain a method for controlling a portable terminal according to a fourth embodiment of the present invention;
도 6은 본 발명의 제5 실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도, 그리고6 is a flowchart provided to explain a method for controlling a portable terminal according to a fifth embodiment of the present invention; and
도 7 내지 도 11은 본 발명의 일실시예에 따른 휴대 단말기의 제어방법을 디스플레이부에 표시되는 화면과 함께 설명하기 위해 참조되는 도면이다.7 to 11 are views for explaining a method of controlling a mobile terminal according to an embodiment of the present invention together with a screen displayed on a display unit.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
110 : 무선 통신부 120 : A/V 입력부 110: wireless communication unit 120: A / V input unit
130 : 사용자 입력부 140 : 센싱부130: user input unit 140: sensing unit
145 : 모션 센서 150 : 출력부145: motion sensor 150: output unit
151 : 디스플레이부 160 : 메모리151: display unit 160: memory
170 : 인터페이스부 180 : 제어부170: interface unit 180: control unit
Claims (65)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090074802A KR101351487B1 (en) | 2009-08-13 | 2009-08-13 | Mobile terminal and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090074802A KR101351487B1 (en) | 2009-08-13 | 2009-08-13 | Mobile terminal and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110017236A KR20110017236A (en) | 2011-02-21 |
KR101351487B1 true KR101351487B1 (en) | 2014-01-14 |
Family
ID=43775342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090074802A KR101351487B1 (en) | 2009-08-13 | 2009-08-13 | Mobile terminal and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101351487B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020022548A1 (en) * | 2018-07-24 | 2020-01-30 | 엘지전자 주식회사 | Mobile terminal and control method therefor |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101891786B1 (en) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | Operation Method For User Function based on a Eye-Tracking and Portable Device supporting the same |
KR102091597B1 (en) * | 2012-09-24 | 2020-03-20 | 엘지전자 주식회사 | Portable device and controlling method thereof |
KR101480594B1 (en) | 2012-12-18 | 2015-01-08 | 현대자동차주식회사 | Method for controlling termination call based on gaze, and mobile communication terminal therefor |
US9395816B2 (en) | 2013-02-28 | 2016-07-19 | Lg Electronics Inc. | Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same |
KR102094886B1 (en) * | 2013-02-28 | 2020-03-30 | 엘지전자 주식회사 | Display device and controlling method thereof for outputing tactile and visual feedback selectively |
US20140285352A1 (en) * | 2013-03-20 | 2014-09-25 | Lg Electronics Inc. | Portable device and visual sensation detecting alarm control method thereof |
KR102129926B1 (en) * | 2013-07-10 | 2020-07-03 | 엘지전자 주식회사 | Apparatus for receiving broadcasting and method for operating the same |
KR102153435B1 (en) * | 2013-12-20 | 2020-09-08 | 엘지전자 주식회사 | The mobile terminal and the control method thereof |
KR102004990B1 (en) | 2014-05-13 | 2019-07-29 | 삼성전자주식회사 | Device and method of processing images |
CN107395874A (en) * | 2017-06-30 | 2017-11-24 | 广东欧珀移动通信有限公司 | Display interface control method, device, storage medium and terminal |
US10585277B2 (en) * | 2017-08-31 | 2020-03-10 | Tobii Ab | Systems and methods for tracking a gaze of a user across a multi-display arrangement |
KR102094944B1 (en) * | 2018-02-28 | 2020-03-30 | 주식회사 비주얼캠프 | Method for eye-tracking and terminal for executing the same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5731805A (en) * | 1996-06-25 | 1998-03-24 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven text enlargement |
US6421064B1 (en) * | 1997-04-30 | 2002-07-16 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display screen |
JP2007036846A (en) * | 2005-07-28 | 2007-02-08 | Nippon Telegr & Teleph Corp <Ntt> | Motion picture reproducing apparatus and control method thereof |
KR20080104610A (en) * | 2007-05-28 | 2008-12-03 | 삼성전자주식회사 | A mobile terminal for photographing image by remote control and a method therefor |
-
2009
- 2009-08-13 KR KR1020090074802A patent/KR101351487B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5731805A (en) * | 1996-06-25 | 1998-03-24 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven text enlargement |
US6421064B1 (en) * | 1997-04-30 | 2002-07-16 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display screen |
JP2007036846A (en) * | 2005-07-28 | 2007-02-08 | Nippon Telegr & Teleph Corp <Ntt> | Motion picture reproducing apparatus and control method thereof |
KR20080104610A (en) * | 2007-05-28 | 2008-12-03 | 삼성전자주식회사 | A mobile terminal for photographing image by remote control and a method therefor |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020022548A1 (en) * | 2018-07-24 | 2020-01-30 | 엘지전자 주식회사 | Mobile terminal and control method therefor |
KR20200011275A (en) * | 2018-07-24 | 2020-02-03 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
KR102086348B1 (en) * | 2018-07-24 | 2020-03-09 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
KR20110017236A (en) | 2011-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101351487B1 (en) | Mobile terminal and control method thereof | |
KR101864618B1 (en) | Mobile terminal and method for providing user interface thereof | |
CN110134321B (en) | Method and apparatus for transmitting data, and method and apparatus for receiving data | |
KR101588733B1 (en) | Mobile terminal | |
KR101919792B1 (en) | Terminal and method for controlling the same | |
CN109656439A (en) | Display methods, device and the storage medium of prompt operation panel | |
US9262867B2 (en) | Mobile terminal and method of operation | |
US20130176250A1 (en) | Mobile terminal and control method thereof | |
KR101952177B1 (en) | Mobile terminal and control method thereof | |
CN103577063A (en) | Mobile tmerinal and control method thereof | |
KR101688145B1 (en) | Method for reproducing moving picture and mobile terminal using this method | |
CN109600303A (en) | Content share method, device and storage medium | |
KR20140118663A (en) | Method and device for providing mene | |
KR102219910B1 (en) | Method and device for displaying contents | |
CN103970451A (en) | Method and apparatus for controlling content playback | |
KR20150110319A (en) | Method and device for displaying image | |
KR20160058322A (en) | Method for controlling device and the device | |
CN106503124B (en) | The method and apparatus that multimedia file positions in the page | |
KR101476201B1 (en) | Mobile terminal and display method thereof | |
CN110399082A (en) | A kind of terminal attribute control method, device, electronic equipment and medium | |
KR101667585B1 (en) | Mobile terminal and object information display method thereof | |
CN113613053B (en) | Video recommendation method and device, electronic equipment and storage medium | |
KR101984094B1 (en) | Mobile terminal and control method thereof | |
KR101861699B1 (en) | Mobile terminal and control method thereof | |
KR101721874B1 (en) | Mobile terminal and image display method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161223 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20171222 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20191224 Year of fee payment: 7 |