KR20190065746A - 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 - Google Patents

전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR20190065746A
KR20190065746A KR1020170165220A KR20170165220A KR20190065746A KR 20190065746 A KR20190065746 A KR 20190065746A KR 1020170165220 A KR1020170165220 A KR 1020170165220A KR 20170165220 A KR20170165220 A KR 20170165220A KR 20190065746 A KR20190065746 A KR 20190065746A
Authority
KR
South Korea
Prior art keywords
key
button
virtual keypad
remote control
control device
Prior art date
Application number
KR1020170165220A
Other languages
English (en)
Inventor
김형래
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170165220A priority Critical patent/KR20190065746A/ko
Priority to PCT/KR2018/014836 priority patent/WO2019112235A1/en
Priority to US16/204,041 priority patent/US20190171356A1/en
Priority to EP18209867.3A priority patent/EP3493039A1/en
Priority to CN201811477167.1A priority patent/CN110007778A/zh
Publication of KR20190065746A publication Critical patent/KR20190065746A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0231—Cordless keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0234—Character input methods using switches operable in different directions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는, 원격 제어 장치로부터 제어 신호를 수신하는 통신부 및 영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하고, 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 프로세서를 포함한다.

Description

전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체{ ELECTRONIC APPARATUS, METHOD FOR CONTROLLING THEREOF AND THE COMPUTER READABLE RECORDING MEDIUM }
본 개시는 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체에 대한 것으로, 보다 상세하게는, 가상 키패드를 제공하는 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA, 셋탑박스 등과 같은 각종 전자 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
전자 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
최근에는 스마트 TV와 같이 사용자와 다양한 상호 작용을 수행하는 전자 장치가 보급되고 있다. 그러나, 전자 장치에 구비된 버튼 및 원격 제어 장치에 구비된 버튼과 같이 제한적인 버튼만으로는 제어 명령을 입력하는데 한계가 있었으며, 이를 해결하기 위해 여러가지 제어 키를 포함하는 가상 키패드를 디스플레이에 표시하는 기술이 도입되었다.
그러나, 가상 키패드 상에서도 사용자가 원하는 제어 키를 입력하고자 하는 경우, 키가 위치한 지점까지 이동해야 하는 추가적인 동작이 필요하여, 시간이 낭비되고 사용자의 불편함을 초래하는 문제점이 있었다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적은 조작 입력을 위해 사용 가능한 키의 수가 제한된 상황에서 효율적인 입력을 위한 가상 키패드를 제공하는 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체를 제공하는 데 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 원격 제어 장치로부터 제어 신호를 수신하는 통신부 및 영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하고, 상기 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 상기 적어도 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 원격 제어 장치로부터 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키를 판단하고, 상기 제1 키 다음에 입력될 제2 키를 예측하고, 상기 제2 키를 포함하도록 상기 버튼 오브젝트를 변경할 수 있다.
이 경우, 상기 프로세서는, 기계 학습을 이용하여 상기 제2 키를 예측할 수 있다.
한편, 상기 통신부는, 외부 장치로부터 상기 영상 신호를 수신하고, 상기 프로세서는, 상기 수신된 영상 신호에 대응되는 화면에서 기설정된 오브젝트를 검출하고, 복수의 가상 키패드 오브젝트 중 상기 검출된 오브젝트에 대응되는 가상 키패드 오브젝트를 포함하는 키패드 이미지를 생성할 수 있다.
이 경우, 키 입력 이력 정보를 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 기설정된 오브젝트 별로 키 입력 이력 정보를 수집하고, 상기 기설정된 오브젝트 별로 수집된 키 입력 이력 정보를 상기 메모리에 저장할 수 있다.
한편, 상기 프로세서는, 원격 제어 장치로부터 상기 원격 제어 장치에서 입력된 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키 다음에 입력될 제2 키를 예측하고, 상기 제2 키가 상기 버튼 오브젝트에 포함되도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열할 수 있다.
이 경우, 상기 프로세서는, 상기 버튼 오브젝트 내 제1 키의 위치와 동일한 위치에 제2 키가 위치하도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열할 수 있다.
한편, 상기 버튼 오브젝트는, 상기 원격 제어 장치에 구비된 4방향 키 형태 또는 숫자 키 형태일 수 있다.
한편, 상기 생성된 키패드 이미지를 표시하는 디스플레이를 더 포함할 수 있다.
한편, 상기 통신부는, 상기 생성된 키패드 이미지를 외부 디스플레이 장치로 전송할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치 제어 방법은, 영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하는 단계 및 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 상기 적어도 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 단계를 포함할 수 있다.
이 경우, 상기 결정하는 단계는, 상기 원격 제어 장치로부터 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키를 판단하고, 상기 제1 키 다음에 입력될 제2 키를 예측하고, 상기 생성하는 단계는, 상기 제2 키를 포함하도록 상기 버튼 오브젝트를 변경하고, 상기 변경된 버튼 오브젝트를 포함하는 키패드 이미지를 생성할 수 있다.
이 경우, 상기 결정하는 단계는, 기계 학습을 이용하여 상기 제2 키를 예측할 수 있다.
한편, 외부 장치로부터 상기 영상 신호를 수신하는 단계를 더 포함하고, 상기 생성하는 단계는, 상기 수신된 영상 신호에 대응되는 화면에서 기설정된 오브젝트를 검출하고, 복수의 가상 키패드 오브젝트 중 상기 검출된 오브젝트에 대응되는 가상 키패드 오브젝트를 포함할 수 있다.
이 경우, 상기 기설정된 오브젝트 별로 키 입력 이력 정보를 수집하고, 상기 기설정된 오브젝트 별로 수집된 키 입력 이력 정보를 저장하는 단계를 더 포함할 수 있다.
한편, 상기 결정하는 단계는, 원격 제어 장치로부터 상기 원격 제어 장치에서 입력된 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키 다음에 입력될 제2 키를 예측하고, 상기 생성하는 단계는, 상기 제2 키가 상기 버튼 오브젝트에 포함되도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열할 수 있다.
이 경우, 생성하는 단계는, 상기 버튼 오브젝트 내 제1 키의 위치와 동일한 위치에 제2 키가 위치하도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열할 수 있다.
한편, 상기 버튼 오브젝트는, 상기 원격 제어 장치에 구비된 4방향 키 형태 또는 숫자 키 형태일 수 있다.
한편, 상기 생성된 키패드 이미지를 표시하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서, 상기 제어 방법은, 영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하는 단계 및 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 상기 적어도 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 단계를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치 제어 시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 간략한 구성을 설명하기 위한 블럭도,
도 3은 도 2의 전자 장치의 구성을 구체적으로 나타낸 블럭도,
도 4는 화면에 따른 가상 키패드 이미지의 다양한 실시 예를 설명하기 위한 도면,
도 5 내지 도 9는 가상 키패드 이미지의 다양한 실시 예를 설명하기 위한 도면,
도 10은 키 입력 이력 정보를 수집하는 방식을 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 간략히 설명하기 위한 흐름도, 그리고,
도 12는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 구체적으로 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치 제어 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치 제어 시스템(1000)은 전자 장치(100) 및 원격 제어 장치(20)를 포함한다.
전자 장치(100)는 컨텐츠를 처리할 수 있다. 구체적으로, 전자 장치(100)는 외부의 입력 소스로부터 입력된 컨텐츠 또는 기저장된 컨텐츠를 처리할 수 있다. 여기서, 전자 장치(100)는 TV, 휴대폰, 스마트폰, PDA, 노트북 PC, 모니터, 태블릿 PC, 전자 책, 전자 액자, 키오스크 등과 같이 디스플레이를 구비한 다양한 장치일 수 있다. 이 경우, 전자 장치(100)는 처리된 컨텐츠를 표시할 수 있다. 한편, 전자 장치(100)는 서버, 셋탑 박스 등과 같이 디스플레이를 구비하지 않은 다양한 장치일 수 있다. 이 경우, 전자 장치(100)는 처리된 컨텐츠를 디스플레이를 구비한 외부 장치에 전송할 수 있다.
그리고, 전자 장치(100)는 조작 명령을 입력받는다. 구체적으로, 전자 장치(100)는 원격 제어 장치(20)로부터 각종 제어 명령을 입력받는다. 한편, 본 실시 예에서는 사용자의 조작 명령을 원격 제어 장치(20)로부터 입력받는 것으로 설명하였지만, 구현시에는 전자 장치(100)에 구비된 버튼 또는 터치 스크린과 같은 입력 수단을 통하여 입력받을 수도 있다.
이때, 전자 장치(100)는 사용자에게 제공되는 화면에 가상 키패드가 함께 제공되도록 컨텐츠를 처리할 수 있다. 구체적으로, 방향 키, 숫자키와 같은 한정된 물리 버튼을 포함한 원격 제어 장치(20)를 이용하더라도 보다 효율적인 제어가 가능하도록 가상 키패드 이미지를 생성하고, 컨텐츠가 표시될 때 가상 키패드 이미지가 함께 표시되도록 할 수 있다. 이때, 전자 장치(100)는 영상 신호에 가상 키패드 이미지를 병합하여 표시하거나, 가상 키패드 이미지를 OSD 형태로 표시할 수 있다. 이때, 전자 장치(100)는 외부 장치로부터 수신된 영상 신호에 대응되는 화면에 따라 다른 가상 키패드 이미지를 생성할 수 있다. 이때, 전자 장치(100)는 사용자의 키 입력 이력 정보를 이용하여 가상 키패드 이미지를 생성할 수 있다. 한편, 영상 신호에 대응되는 화면에 따른 다른 키패드 이미지를 생성하는 동작에 대해서는 이하 도 4를 참조하여 자세히 설명하기로 한다.
그리고, 전자 장치(100)는 표시된 가상 키패드 이미지에 대한 사용자의 조작 명령이 원격 제어 장치(20)를 통해 입력되면, 다음으로 사용자가 입력할 키를 예측하고, 예측 결과에 따라 가상 키패드 이미지를 다시 생성할 수 있다. 이때, 원격 제어 장치(20)를 통한 사용자의 키 입력에 따라 달라지는 가상 키패드 이미지에 대해서는 이하 도 5 내지 도 9를 참조하여 자세히 설명하기로 한다.
한편, 이상에서는 하나의 전자 장치에 의해 상술한 모든 동작이 수행되는 것으로 기재되었으나, 실제 구현시에는 복수의 전자 장치가 일부 동작을 나누어 수행할 수 있다. 예를 들어, 상술한 복수의 동작 중 일부의 동작은 서버 또는 셋탑 박스에서 수행되고, 나머지 일부의 동작은 디스플레이 장치에서 수행될 수 있다.
한편, 원격 제어 장치(20)는 사용자로부터 전자 장치(100)에 대한 조작 명령을 입력받는다. 이때, 원격 제어 장치(20)는 전자 장치(100)의 조작만을 수행하는 전용의 장치일 수 있으며, 원격 제어 장치(20)는 사용자로부터 입력받은 조작 명령을 전자 장치(100)에 전송할 수 있다.
이때, 원격 제어 장치(20)는 조작 명령을 단방향 또는 양방향 무선 통신 방식으로 전달할 수 있다. 구체적으로, 원격 제어 장치(20)는 방향 키 또는 숫자 키와 같은 복수의 키를 구비하며, 사용자가 선택한 키에 대응되는 제어 명령을 전자 장치(100)에 전송할 수 있다. 이러한 제어 명령은 채널 선택을 위한 채널 업/다운, 소리 업/다운, 채널 번호, 문자 키, 커서(방향 키)의 이동 명령, 선택된 항목의 실행 명령 등을 포함할 수 있다. 여기서, 커서의 이동 명령(또는 방향 키 선택)은 가상 키패드 이미지 내에서 키를 선택하는데 이용될 수 있다.
이상과 같이 본 실시 예에 따른 전자 장치 제어 시스템(1000)은 영상 신호 및 키 입력 이력 정보에 기초하여 가상 키패드 이미지가 생성되는 바, 사용자는 제한적인 키를 갖는 원격 제어 장치(20)를 이용하여도 보다 효율적으로 전자 장치(100)를 제어할 수 있게 된다.
한편, 이상에서는 전자 장치(100)가 원격 제어 장치(20)과 직접 연결된 것으로 도시하고 설명하였지만, 구현시에 전자 장치(100)와 원격 제어 장치(20)는 라우터 등의 중계 장치를 통하여 연결될 수 있다. 또한, 도시된 도면에서는 전자 장치(100)가 하나의 원격 제어 장치(20)과 연결되는 것으로 도시하였지만, 전자 장치(100)는 복수의 리모컨과 연결될 수 있으며, 반대로, 원격 제어 장치(20)도 복수의 디스플레이 장치와 연결될 수도 있다.
또한, 이상에서는 전자 장치(100)가 원격 제어 장치(20)를 통하여 조작 명령을 입력받는 것으로 설명하였지만, 구현시에 전자 장치(100)는 자체적으로 구비한 터치 스크린 또는 버튼 등을 통하여 조작 명령을 입력받을 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 간략한 구성을 설명하기 위한 블럭도이다.
도 2를 참조하면, 전자 장치(100)는 통신부(110) 및 프로세서(120)를 포함한다.
통신부(110)는 원격 제어 장치로부터 전자 장치(100)를 제어하기 위한 제어 신호를 수신할 수 있다. 구체적으로, 통신부(110)는 원격 제어 장치와 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 본 발명의 실시 예에서 근거리 통신은 와이파이(Wi-fi), 블루투스, 지그비, 적외선(IrDA) 통신 등 다양한 규격을 포함할 수 있다. 이때, 제어 신호는 원격 제어 장치에서 사용자가 조작한 키에 대한 정보일 수 있다.
그리고, 통신부(110)는 외부 장치로부터 영상 신호를 수신할 수 있다. 구체적으로, 통신부(110)는 외부 장치인 서버, 셋탑 박스, 외부 메모리 장치 등으로부터 영상 신호를 수신할 수 있다.
한편, 통신부(110)는 프로세서(120)에 의해 생성된 가상 키패드 이미지가 외부 장치에서 표시되도록 생성된 가상 키패드 이미지에 대한 정보를 외부 장치에 전송할 수 있다.
프로세서(120)는 영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하고, 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성할 수 있다. 여기서, 화면은 원격 제어 장치로부터 입력받은 제어 신호에 따라 수신된 영상 신호에 대응되는 화면일 수 있다.
이때, 프로세서(120)는 가상 키패드 오브젝트 및 가상 키패드 오브젝트의 일부 영역에 위치하는 버튼 오브젝트를 포함하는 가상 키패드 이미지를 생성할 수 있다.
여기서, 가상 키패드 이미지는 수신된 영상 신호에 대응되는 화면에 함께 표시될 이미지이다. 사용자는 원격 제어 장치에 구비된 버튼을 이용하여 표시된 가상 키패드 이미지 상에서 원하는 키를 선택할 수 있다.
그리고, 가상 키패드 오브젝트는 쿼티 키패드, 숫자 키패드, 천지인 키패드, 알파벳 순서에 기초한 키패드, 한글 키패드 등 입력 가능한 복수의 키를 특정 기준에 따라 분류한 키 세트에 대한 이미지를 의미할 수 있다.
구체적으로, 사용자는 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능한 복수의 키 영역을 나타내는 버튼 오브젝트를 이용하여 가상 키패드 이미지 상에서 원하는 키를 선택할 수 있다. 예를 들어, 사용자는 도 4 내지 도 9에 도시된 바와 같은, 가상 키패드 오브젝트에 원격 제어 장치에 구비된 버튼 세트의 형태로 하이라이트된 버튼 오브젝트를 보고, 버튼 오브젝트에 입력하고자 하는 키가 있으면 대응되는 버튼을 조작하고, 버튼 오브젝트 내에 입력하고자 하는 키가 없으면, 버튼 오브젝트를 이동할 수 있다. 이때, 버튼 오브젝트는 원격 제어 장치에 구비된 버튼 세트의 형태와 같은 4 방향 키 형태 또는 숫자 키 형태일 수 있다.
한편, 이상에서는 가상 키패드 오브젝트의 일부 영역에 버튼 오브젝트를 포함하는 가상 키패드 이미지를 생성하는 것으로만 기재하였으나, 실제 구현시에는 기설정된 이벤트가 발생하면, 프로세서(120)는 가상 키패드 오브젝트 없이 원격 제어 장치에 구비된 버튼 세트의 형태를 갖는 버튼 오브젝트만 표시할 수도 있다. 여기서, 기설정된 이벤트는 원격 제어 장치로부터 입력된 제어 신호가 수신되는 것을 의미할 수 있다. 이때, 버튼 오브젝트에 표시되는 적어도 하나의 키는 제어 신호가 수신됨에 따라 외부 장치로부터 수신되는 영상 신호에 대응되는 화면 및 키 입력 이력 정보에 기초하여 추천된 적어도 하나의 키일 수 있다.
프로세서(120)는 원격 제어 장치로부터 수신된 제어 신호에 따라 표시되는 화면의 종류에 따라 복수의 가상 키패드 오브젝트 중 화면의 종류에 대응되는 가상 키패드 오브젝트를 선택할 수 있다. 이때, 프로세서(120)는 제어 신호에 포함된 정보 또는 영상 신호에 포함된 정보를 이용하여 화면의 종류를 판단할 수 있다.
한편, 프로세서(120)는 수신된 영상 신호에 대응되는 화면을 분석하고, 화면에 대응되는 가상 키패드 이미지를 생성할 수 있다. 구체적으로, 프로세서(120)는 수신된 영상 신호에 대응되는 화면에서 기설정된 오브젝트를 검출하고, 복수의 가상 키패드 오브젝트 중 검출된 오브젝트에 대응되는 가상 키패드 오브젝트를 선택할 수 있다. 이에 대한 구체적인 실시 예는 이하 도 4를 참조하여 자세히 설명하기로 한다.
여기서, 기설정된 오브젝트는 수신된 영상 신호에 대응되는 화면의 종류를 판단하기 위한 것으로, 프로세서(120)는 수신된 영상 신호에 대응되는 화면에 ACR(Automatic Contents Recognition) 및 OCR(Optical Character Reader) 등을 수행하여 기설정된 오브젝트를 검출할 수 있다. 여기서, ACR 또는 OCR은 당 분야에서 일반적인 기술인 바, 자세한 설명은 생략한다.
이때, 기설정된 오브젝트는 화면에 기재된 단어, 아이콘, 썸네일 등일 수 있다. 예를 들어, 화면 내 영상, 채널 번호, 프로그램명, 방영 시간, 방송사 로고, 배너, 장르 등이 포함되어 있으면, 프로세서(120)는 수신된 영상 신호가 일반 방송 영상인 것으로 판단할 수 있다. 이때, 프로세서(120)는 수신된 방송 신호의 메타 데이터를 이용하여, 화면 내에서 인식된 숫자 또는 문자 등이 영상, 채널 번호, 프로그램명, 방영 시간인 것으로 판단할 수 있다. 한편, 화면 인식 결과 화면 내 '와이파이', '비밀번호' 등이 포함되어 있으면, 프로세서(120)는 수신된 영상 신호가 와이파이 비밀번호를 입력하기 위한 화면인 것으로 판단할 수 있다.
그리고, 프로세서(120)는 화면 인식 결과에 따라 복수의 가상 키패드 오브젝트 중 하나의 가상 키패드 오브젝트를 선택할 수 있다. 구체적으로, 프로세서(120)는 수신된 영상 신호에 대응되는 화면을 분석한 결과, 화면 내 기설정된 오브젝트가 검출되면, 복수의 가상 키패드 오브젝트 중 검출된 기설정된 오브젝트에 대응되는 하나의 가상 키패드 오브젝트를 선택할 수 있다. 기설정된 오브젝트와 대응되는 가상 키보드 오브젝트는 출고시 기저장된 것일 수 있으며, 사용자의 사용 이력에 따라 학습을 통해 업데이트될 수 있다.
그리고, 프로세서(120)는 사용자가 원격 제어 장치에 구비된 버튼을 이용하여 버튼 오브젝트 내 복수의 키 중 하나의 키를 선택하면, 선택된 키 다음에 선택될 키를 예측할 수 있다. 이때, 프로세서(120)는 사용자가 선택한 키에 대응되는 동작을 수행하고, 사용자에 의해 다음 순서로 선택될 키를 예측할 수 있다. 여기서, 사용자가 선택한 키에 대응되는 동작과 선택될 키를 예측하는 동작은 동시에 수행될 수도 있으며, 순서에 구애받지 않는다.
구체적으로, 프로세서(120)는 사용자의 키 입력 이력 정보를 이용하여 다음 순서로 선택될 키를 예측할 수 있다. 여기서, 키 입력 이력 정보란 사용자가 원격 제어 장치를 이용하여 선택한 키의 입력 횟수 및 입력 순서 등을 누적한 정보일 수 있다. 한편, 키 입력 이력 정보는 표시된 화면 별로 수집될 수 있다. 이는 화면에 포함된 기설정된 오브젝트 별로 키 입력 이력 정보가 수집됨을 의미할 수 있다.
그리고, 프로세서(120)는 예측된 키가 버튼 오브젝트에 포함되도록 가상 키패드 이미지를 다시 생성할 수 있다. 구체적으로, 프로세서(120)는 사용자가 버튼 입력 후 다음에 입력될 키가 예측되면, 복수의 키 영역으로 구성된 가상 키패드 오브젝트의 키 배열은 유지하고, 버튼 오브젝트가 예측된 키를 포함하도록 버튼 오브젝트의 위치를 가상 키패드 오브젝트 상에서 이동시킨 가상 키패드 이미지를 생성할 수 있다. 이에 대한 실시 예는 도 5를 참조하기로 한다.
또는, 프로세서(120)는 가상 키패드 오브젝트 상에서 버튼 오브젝트의 위치는 유지하면서, 가상 키패드 오브젝트를 구성하는 복수의 키 영역을 재배열하여 가상 키패드 이미지를 생성할 수 있다. 이때, 프로세서(120)는 사용자가 조작한 원격 제어 장치의 버튼과 동일한 위치에 예측된 키 영역이 위치하도록 가상 키패드를 구성하는 복수의 키 영역을 재배열할 수 있다. 이에 대한 실시 예는 도 6 및 7을 참조하기로 한다.
이러한 프로세서(120)의 화면 인식 동작 및 예측 동작은 기계 학습 알고리즘을 활용하는 인공지능(AI) 시스템 및 그 응용으로 구현될 수 있다.
구체적으로, 인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이다. 인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계 학습(딥러닝) 기술 및 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
영상 인식 기술과 관련하여, 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다.
정보를 추천 기술과 관련하여, 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
쿼리 처리 기술과 관련하여, 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다.
상술한 바와 같이, 수신된 영상 신호에 대응되는 화면 및 사용자의 키 입력 이력 정보에 기초하여 가상 키패드 이미지를 생성함으로써, 사용자가 제한된 버튼을 구비한 원격 제어 장치를 이용하여도 최소한의 버튼 조작으로 제어를 수행할 수 있어, 사용자의 편의를 향상시키는 효과가 있다.
도 3은 도 2의 전자 장치의 구성을 구체적으로 나타낸 블럭도이다.
도 3을 참조하면, 전자 장치(100)는 통신부(110), 프로세서(120), 메모리(130), 디스플레이(140), 버튼(150), 비디오 프로세서(160), 오디오 프로세서(170), 오디오 출력부(180)를 포함할 수 있다.
여기서, 통신부(110)는 도 2에 도시된 구성과 동일한 바, 중복된 기재는 생략한다.
메모리(130)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로는, 메모리(130)에는 입력된 영상을 영상 처리하기 위한 파라미터가 저장될 수 있다.
그리고, 메모리(130)는 가상 키패드 이미지를 생성하기 위한 복수의 가상 키패드 오브젝트를 저장할 수 있다. 이때, 가상 키패드 오브젝트는 한글 키, 숫자 키 및 영문 키 세트 중 적어도 하나를 포함할 수 있다.
그리고, 메모리(130)는 화면의 종류 및 가상 키패드 오브젝트를 매칭하여 저장할 수 있다. 구체적으로, 화면의 종류는 화면에 포함된 기설정된 오브젝트에 따라 결정되는 바, 메모리(130)는 기설정된 오브젝트와 가상 키패드 오브젝트를 매칭하여 저장할 수도 있다.
그리고, 메모리(130)는 키 입력 이력 정보를 저장할 수 있다. 이때, 키 입력 이력 정보는 사용자가 원격 제어 장치를 통해 조작한 버튼 자체의 정보일 수 있으며, 가상 키패드에 기초하여 버튼을 조작하는 경우, 사용자가 가상 키패드 이미지 상에서 선택한 키에 대한 정보를 저장할 수 있다.
한편, 메모리(130)에 저장된 키 입력 이력 정보는 화면의 종류에 따라 분류되어 누적될 수 있다. 구체적으로, 키 입력 이력 정보는 사용자가 조작 명령을 입력한 당시의 화면의 종류에 따라 수집될 수 있다. 이때, 화면의 종류는 화면 인식 동작을 통해 검출된 기설정된 오브젝트의 종류에 따라 분류될 수 있다.
구체적으로, 메모리(130)에 저장된 키 입력 이력 정보는 화면 종류에 따른 키 자체에 대한 입력 횟수를 포함할 수 있으며, 이에 한정되지 않고, 키 입력 순서가 반영될 수 있다. 이와 같은 키 입력 이력 정보 수집에 대해서는 이하 도 10을 참조하여 자세히 설명하기로 한다.
디스플레이(140)는 프로세서(120)의 제어에 의해 수신된 영상 신호에 대응되는 화면을 표시할 수 있다. 이때, 디스플레이(140)는 프로세서(120)의 제어에 의해 입력된 영상 신호에 대응되는 화면과 입력된 영상 신호에 기초하여 생성된 가상 키패드 이미지를 함께 표시할 수 있다. 디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 디스플레이(140)은 플렉서블 디스플레이로 구현될 수도 있다.
그리고, 디스플레이(140)는 사용자의 터치 제스처를 감지하기 위한 터치 센서를 포함할 수 있다. 터치 센서는 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 센서로 구현될 수 있다. 정전식은 디스플레이 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이(140) 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 디스플레이(140)에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이 밖에도, 전자 장치(100)가 펜 입력 기능도 지원하는 경우, 디스플레이(140)는 사용자의 손가락 이외에도 펜과 같은 입력 수단을 이용한 사용자 제스처도 감지할 수 있다. 입력 수단이 내부에 코일을 포함하는 스타일러스 펜일 경우, 전자 장치(100)는 스타일러스 펜 내부의 코일에 의해 변화되는 자기장을 감지할 수 있는 자기장 감지 센서를 포함할 수도 있다. 이에 따라, 터치 제스처뿐만 아니라 근접 제스처, 즉, 호버링(hovering)도 감지할 수 있게 된다.
한편, 이상에서는 표시 기능과 제스처 감지 기능이 동일한 구성에서 수행되는 것으로 설명하였지만, 서로 다른 구성에서 수행될 수도 있다. 그리고, 다양한 실시 형태에 따라, 전자 장치(100)에 디스플레이(140)는 구비되지 않을 수도 있다.
프로세서(120)는 통신부(110)를 통해 원격 제어 장치를 이용한 사용자의 제어 신호가 입력되면, 수신된 영상 신호에 대응되는 화면을 변경하여 표시하도록 디스플레이(140)를 제어할 수 있다.
구체적으로, 사용자가 입력한 제어 신호가 채널 변경, 음량 변경, 컨텐츠 실행 등인 경우, 프로세서(120)는 해당 제어 신호에 대응되는 동작을 수행할 수 있다. 한편, 사용자가 입력한 제어 신호가 문자를 입력하기 위한 동작이면, 프로세서(120)는 가상 키패드 이미지를 생성하고, 수신된 영상 신호에 대응되는 화면과 함께 표시하도록 디스플레이(140)를 제어할 수 있다.
구체적으로, 사용자가 문자 입력이 필요한 화면에 진입하면, 프로세서(130)는 화면 분석을 통해 적절한 가상 키패드 오브젝트를 선택하고, 이를 화면에 표시할 수 있다. 예를 들어, 로그인을 위한 아이디, 패스워드 입력 영역이 있는 화면의 경우, 프로세서(120)는 영문 및 숫자가 혼재된 가상 키패드 오브젝트를 포함한 가상 키패드 이미지를 생성하고, 화면에 표시하도록 디스플레이(140)를 제어할 수 있다. 반면, 4자리 비밀번호 입력 영역이 있거나, 일반 방송 화면인 경우, 프로세서(120)는 숫자만 있는 가상 키패드 오브젝트를 포함한 가상 키패드 이미지를 생성하고 화면에 표시하도록 디스플레이(140)를 제어할 수 있다.
그리고, 프로세서(120)는 수신된 영상 신호에 대응되는 화면 뿐만 아니라, 메모리(130)에 저장된 키 입력 이력 정보를 이용하여 사용자가 입력할 키를 예측할 수 있다. 구체적으로, 프로세서(120)는 사용자가 원격 제어 장치에 구비된 버튼을 조작하여, 가상 키패드 오브젝트 상의 하나의 키를 선택하면, 화면 종류에 따라 수집된 키 입력 이력 정보를 이용하여 다음 사용자가 입력할 확률이 높은 키를 예측할 수 있다.
그리고, 프로세서(120)는 예측된 키가 포함되도록 가상 키패드 오브젝트 상에서 버튼 오브젝트를 이동시킨 변경된 가상 키패드 이미지를 생성할 수 있다. 그리고, 프로세서(120)는 새로 생성된 가상 키패드 이미지를 화면과 함께 표시하도록 디스플레이(140)를 제어할 수 있다. 이와 같이, 프로세서(120)는 가상 키패드 이미지가 표시된 상태에서 사용자가 원격 제어 장치에 구비된 버튼을 하나씩 누를 때 마다 가상 키패드 이미지를 변경하여 표시하도록 디스플레이(140)를 제어할 수 있다.
이때, 프로세서(120)는 가상 키패드 이미지의 버튼 오브젝트의 위치를 변경할 수도 있고, 버튼 오브젝트의 위치는 유지하면서, 가상 키패드 오브젝트를 구성하는 복수의 키를 재배열 할 수도 있다. 복수의 키를 재배열하는 경우, 프로세서(120)는 사용자가 선택한 키의 위치와 예측된 키의 위치가 동일하도록 가상 키패드 이미지를 생성할 수 있다.
한편, 프로세서(120)는 RAM(121), ROM(122), CPU(123), GPU(Graphic Processing Unit)(124), 버스(125)를 포함할 수 있다. RAM(121), ROM(122), CPU(123), GPU(Graphic Processing Unit)(124) 등은 버스(125)를 통해 서로 연결될 수 있다.
CPU(123)는 메모리(130)에 액세스하여, 메모리(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 메모리(130)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(124)는 전자 장치(100)의 부팅이 완료되면, 디스플레이(140)에 UI를 디스플레이한다. 구체적으로는, GPU(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 가상 키패드 이미지와 같은 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면(또는 사용자 인터페이스 창)은 디스플레이(140)로 제공되어, 메인 표시 영역 및 서브 표시 영역에 각각 표시된다.
버튼(150)은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
비디오 프로세서(160)는 통신부(110)를 통해 수신된 컨텐츠 또는, 메모리(130)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(160)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(170)는 통신부(110)를 통해 수신된 컨텐츠 또는, 메모리(130)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(170)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
프로세서(120)는 멀티미디어 컨텐츠에 대한 재생 애플리케이션이 실행되면 비디오 프로세서(160) 및 오디오 프로세서(170)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 이때, 디스플레이(140)는 비디오 프로세서(160)에서 생성한 이미지 프레임을 메인 표시 영역, 서브 표시 영역 중 적어도 하나의 영역에 디스플레이할 수 있다.
오디오 출력부(180)는 오디오 프로세서(170)에서 생성한 오디오 데이터를 출력한다.
그 밖에, 도 3에 도시하지는 않았으나, 실시 예에 따라서는, 전자 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서, 소리를 입력받기 위한 마이크, 정지 영상 또는 동영상을 촬상하기 위한 카메라 등을 더 포함할 수 있음은 물론이다.
도 4는 화면에 따른 가상 키패드의 다양한 실시 예를 설명하기 위한 도면이다. 구체적으로, 도 4는 전자 장치에서 수신된 영상 신호에 대응되는 화면의 종류에 따라 다른 가상 키패드가 표시되는 실시 예를 설명하기 위한 도면이다.
도 4a는 숫자로 구성된 비밀번호를 입력하기 위한 제1 화면(400-1), 도 4b는 문자로 구성된 비밀번호를 입력하기 위한 제2 화면(400-2), 그리고, 도 4c는 일반 방송 영상을 표시하는 제3 화면(400-3)이다.
전자 장치는 원격 제어 장치로부터 수신된 제어 신호에 의해 도 4a에 도시된 바와 같은 숫자로 구성된 비밀번호를 입력하기 위한 제1 화면(400-1)으로 진입하면, 제1 화면(400-1)을 분석하여 기설정된 오브젝트를 검출할 수 있다. 이때, 제1 화면(400-1)에서 검출되는 오브젝트는, '비밀번호', '4자리' 및 입력 영역일 수 있다. 전자 장치는 검출된 오브젝트에 기초하여, 제1 화면(400-1)이 숫자로 구성된 비밀번호를 입력하기 위한 화면임을 인식하고, 숫자로 구성된 가상 키패드 오브젝트를 포함하는 가상 키패드 이미지(410)를 생성할 수 있다. 이때, 가상 키패드 이미지(410)는 원격 제어 장치의 복수의 버튼을 이용하여 선택할 수 있는 버튼 오브젝트(411)를 포함할 수 있다.
한편, 전자 장치는 원격 제어 장치로부터 수신된 제어 신호에 의해 도 4b에 도시된 바와 같은 문자로 구성된 비밀번호를 입력하기 위한 제2 화면(400-2)으로 진입하면, 제2 화면(400-2)을 분석하여 기설정된 오브젝트를 검출할 수 있다. 이때, 제2 화면(400-2)에서 검출되는 오브젝트는, '비밀번호', '와이파이' 및 입력 영역일 수 있다. 전자 장치는 검출된 오브젝트에 기초하여, 제2 화면(400-2)이 문자로 구성된 비밀번호를 입력하기 위한 화면임을 인식하고, 문자로 구성된 가상 키패드 오브젝트를 포함하는 가상 키패드 이미지(420)를 생성할 수 있다. 이때, 가상 키패드 이미지(420)는 원격 제어 장치의 복수의 버튼을 이용하여 선택할 수 있는 버튼 오브젝트(421)를 포함할 수 있다. 한편, 도 4b에서는 설명의 편의를 위하여 문자로만 구성된 가상 키패드 오브젝트를 도시하였으나, 실제 구현시에는 문자 및 숫자가 혼용된 가상 키패드 오브젝트를 포함하는 가상 키패드 이미지가 생성될 수 있다.
한편, 전자 장치는 원격 제어 장치로부터 수신된 제어 신호에 의해 도 4c에 도시된 바와 같은 숫자로 구성된 비밀번호를 입력하기 위한 제3 화면(400-3)으로 진입하면, 제3 화면(400-3)을 분석하여 기설정된 오브젝트를 검출할 수 있다. 이때, 제3 화면(400-3)에서 검출되는 오브젝트는, 채널 번호, 채널 명, 프로그램 명 등일 수 있다. 전자 장치는 검출된 오브젝트에 기초하여, 제3 화면(400-3)이 일반 방송 프로그램을 방영하는 화면임을 인식하고, 숫자로 구성된 가상 키패드 오브젝트를 포함하는 가상 키패드 이미지(430)를 생성할 수 있다. 이때, 가상 키패드 이미지(430)는 원격 제어 장치의 복수의 버튼을 이용하여 선택할 수 있는 버튼 오브젝트(431)를 포함할 수 있다. 한편, 도 4c에서는 설명의 편의를 위하여 숫자로만 구성된 가상 키패드 오브젝트를 도시하였으나, 실제 구현시에는 문자 및 숫자가 혼용된 가상 키패드 오브젝트, TV 시청시 일반적으로 사용되는 메뉴 버튼, 녹화 버튼 등을 포함하는 가상 키패드 이미지가 생성될 수 있다.
한편, 전자 장치는 생성된 가상 키패드 이미지(410, 420, 430)를 화면(400-1, 400-2, 400-3) 각각에 표시할 수 있다. 그리고, 사용자가 원격 제어 장치의 버튼을 이용하여 버튼 오브젝트(411, 421, 431)에 포함된 복수의 키 중 하나를 입력하면, 전자 장치는 수신된 영상 신호에 대응되는 화면의 종류 및 키 입력 이력 정보를 이용하여 사용자가 다음으로 입력할 확률이 높은 키를 예측하고, 예측된 키가 포함되도록 가상 키패드 이미지를 변경할 수 있다. 이때, 전자 장치는 가상 키패드 이미지(410, 420, 430) 상에서 버튼 오브젝트를 이동시키거나, 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열하는 형태로 가상 키패드 이미지를 변경할 수 있다.
이와 같이 수신된 영상 신호에 대응되는 화면과 키 입력 이력 정보를 이용하여 가상 키패드 이미지를 생성하는 바, 사용자가 제한된 버튼을 구비한 원격 제어 장치를 이용하더라도 전자 장치를 효율적으로 제어할 수 있게 된다. 또한, 전자 장치에 구비된 터치 스크린을 이용하더라도, 사용자가 입력한 키에 따라 다음 입력될 키의 예측 결과에 따라 예측된 키가 선택 영역과 동일 또는 근거리에 위치하도록 가상 키패드 이미지가 변경되므로, 사용자의 편의를 도모할 수 있다.
도 5는 가상 키패드를 이용한 제어 동작을 설명하기 위한 도면이다.
도 5는 사용자가 원격 제어 장치에 구비된 4방향 키와 4방향 키의 중앙에 위치한 확인 키를 이용하여 숫자를 입력한다는 가정 하에 생성되는 가상 키패드 이미지를 도시한 것이다. 여기서, 전자 장치는 원격 제어 장치의 방향 키 및 확인 키로 선택 가능하도록 복수의 숫자를 복수의 그룹으로 미리 나눌 수 있다. 예를 들어, 도 5에서는, 1 내지 4를 제1 그룹, 5 내지 7을 제2 그룹, 8 내지 0 및 *를 제3 그룹으로 미리 나누었으며, 버튼 오브젝트 이동에 따라 복수의 숫자 키가 그룹 별로 활성화될 수 있다. 여기서 활성화라는 것은 원격 제어 장치의 방향 키 및 확인 키로 선택 가능하다는 의미이다.
우선, 전자 장치는 원격 제어 장치로부터 가상 키패드 이미지 생성 명령을 수신하면 도 5a에 도시된 바와 같은 가상 키패드 이미지(510)가 생성될 수 있다. 이때, 전자 장치는 원격 제어 장치의 4방향 키 및 확인 키를 이용하여 선택할 수 있는 키를 나타내는 버튼 오브젝트를 가상 키패드 오브젝트의 맨 왼쪽에 포함하는 가상 키패드 이미지(510)를 생성할 수 있다. 이때, 사용자는 4방향 키 및 확인 키를 이용하여, 1, 2, 3, 4를 선택할 수 있다. 한편, 이는 예시일 뿐, 원격 제어 장치로부터 가상 키패드 이미지 생성 명령을 수신하면, 전자 장치는 키 입력 이력 정보에 기초하여 도 5b 또는 도 5c에 도시된 가상 키패드 이미지를 생성할 수도 있다.
한편, 도 5a에 도시된 바와 같은 가상 키패드 이미지(510)가 표시된 상태에서 사용자가 원격 제어 장치의 우측 방향 키를 조작하면, 전자 장치는 도 5b에 도시된 바와 같이 버튼 오브젝트(521)를 오른쪽으로 한 칸 이동시킨 가상 키패드 오브젝트(520)를 생성할 수 있다. 이때, 사용자는 4방향 키 및 확인 키를 이용하여 5, 6, 7을 선택할 수 있다.
이때, 사용자가 원격 제어 장치의 좌측 방향 키를 조작하면, 전자 장치는 도 5a에 도시된 바와 같은 가상 키패드 오브젝트(510)를 생성할 수 있다. 한편, 사용자가 원격 제어 장치의 우측 방향 키를 조작하면, 도 5c에 도시된 바와 같이 버튼 오브젝트(51)를 오른쪽으로 한 칸 이동시킨 가상 키패드 오브젝트(530)를 생성할 수 있다. 이때, 사용자는 4방향 키 및 확인 키를 이용하여 8, 9, 0, *을 선택할 수 있다.
한편, 이상에서는 사용자가 입력한 조작 명령에 의해 도 5a 내지 도 5c의 가상 키패드 이미지(510, 520, 530)를 생성하는 것으로 설명하였으나, 전자 장치는 키 입력 이력 정보를 이용하여 다음에 입력될 확률이 높은 키가 포함되도록 버튼 오브젝트를 이동시킬 수 있다.
예를 들어, 사용자가 입력하고자 하는 번호가 '1691'이라고 가정하고, 원격 제어 장치로부터 가상 키패드 이미지 생성 명령을 수신하면, 전자 장치는 표시된 화면 및 저장된 키 입력 이력 정보에 기초하여 '1'을 선택할 수 있는 버튼 오브젝트(511)를 포함하는 가상 키패드 이미지(510)를 생성할 수 있다.
여기서, 사용자가 원격 제어 장치의 상측 방향 키를 조작하면, 전자 장치는 사용자의 조작에 따른 제어 신호를 입력받아 대응되는 키인 '1'을 선택하고, 표시된 화면 및 저장된 키 입력 이력 정보에 기초하여 다음 입력될 키를 예측할 수 있다. 이때, 예측된 키가 '6'이면, 전자 장치는 '6'을 선택할 수 있는 버튼 오브젝트(521)를 포함하는 가상 키패드 이미지(520)를 생성할 수 있다.
여기서, 사용자가 원격 제어 장치의 확인 키를 조작하면, 전자 장치는 사용자의 조작에 따른 제어 신호를 입력받아 대응되는 키인 '6'을 선택하고, 표시된 화면 및 저장된 키 입력 이력 정보에 기초하여 다음 입력될 키를 예측할 수 있다. 이때, 예측된 키가 '9'이면, 전자 장치는 '9'을 선택할 수 있는 버튼 오브젝트(531)를 포함하는 가상 키패드 이미지(530)를 생성할 수 있다.
여기서, 사용자가 원격 제어 장치의 확인 키를 조작하면, 전자 장치는 사용자의 조작에 따른 제어 신호를 입력받아 대응되는 키인 '1'을 선택하고, 표시된 화면 및 저장된 키 입력 이력 정보에 기초하여 다음 입력될 키를 예측할 수 있다. 이때, 예측된 키가 '1'이면, 전자 장치는 '1'을 선택할 수 있는 버튼 오브젝트(511)를 포함하는 가상 키패드 이미지(510)를 생성할 수 있다.
한편, 사사용자가 원격 제어 장치의 측 방향 키를 조작하면, 전자 장치는 사용자의 조작에 따른 제어 신호를 입력받아 대응되는 키인 '1'을 선택하고, 표시된 화면 및 저장된 키 입력 이력 정보에 기초하여 다음 입력될 키를 예측할 수 있다. 이때, 사용자가 원격 제어 장치에 구비된 exit 버튼을 조작하거나, 가상 키패드 상에 포함된 exit 키에 대응되는 버튼을 조작하거나, 기설정된 시간 동안 버튼 조작이 없으면, 전자 장치는 가상 키패드 이미지가 없는 화면을 표시하고, 기 입력된 키 입력 정보를 저장할 수 있다.
한편, 버튼 오브젝트에 사용자가 입력하고자 하는 키가 없으면, 사용자는 키를 선택할 수 있도록 버튼 오브젝트를 이동시킬 수 있으며, 전자 장치는 이러한 동작을 모두 학습할 수 있다.
상술한 바와 같이, 수신된 화면 및 키 입력 이력 정보에 기초하여 다음 입력될 키를 활성화 함으로써, 사용자가 원하는 키를 선택하기 위해 버튼 오브젝트를 이동해야하는 번거로움을 줄일 수 있다.
도 6 및 도 7은 키 예측에 따라 가상 키패드 이미지를 변경하는 다양한 실시 예를 설명하기 위한 도면이다.
도 6을 참조하면, 전자 장치는 버튼 오브젝트(611) 영역 내 복수의 키를 재배열한 가상 키패드 이미지(610)를 생성할 수 있다. 구체적으로, 전자 장치는 수신된 영상 신호에 대응되는 화면 및 키 입력 이력 정보에 기초하여 사용자가 선택할 확률이 높은 키를 예측하고, 예측된 키가 포함되도록 버튼 오브젝트(611)를 이동시킬 수 있다. 이때, 전자 장치는 사용자가 선택한 키의 위치와 예측된 키의 위치가 동일하도록 버튼 오브젝트(611) 내 복수의 키를 재배열할 수 있다.
이로 인해, 선택하고자 하는 다양한 키를 원격 제어 장치의 동일한 버튼만을 이용하여 선택할 수 있으므로, 사용자의 편의가 향상된다.
도 7을 참조하면, 전자 장치는 버튼 오브젝트(711)가 위치한 가상 키패드 오브젝트를 구성하는 복수의 키 배열 전체를 재배열한 가상 키패드 이미지(710)를 생성할 수 있다. 구체적으로, 전자 장치는 수신된 영상 신호에 대응되는 화면 및 키 입력 이력 정보에 기초하여 사용자가 선택할 확률이 높은 키를 예측하고, 예측된 키가 버튼 오브젝트(711)에 포함되도록 포함되도록 가상 키패드 오브젝트를 구성하는 복수의 키 배열 전체를 재배열한 가상 키패드 이미지(710)를 생성할 수 있다. 이때, 가상 키패드 오브젝트 상의 버튼 오브젝트(711)의 위치는 유지될 수 있다. 이때, 전자 장치는 사용자가 선택할 확률이 높은 키를 버튼 오브젝트(711) 내에 위치하도록 배열하고, 나머지 키들은 선택될 확률이 높은 순서대로 버튼 오브젝트(711)와 인접한 영역에서부터 배열할 수 있다.
이로 인해, 선택하고자 하는 다양한 키를 원격 제어 장치의 동일한 버튼만을 이용하여 선택할 수 있고, 최소한의 이동으로 키를 선택할 수 있으므로, 사용자의 편의가 향상된다.
도 8은 가상 키패드 이미지의 다양한 형태를 설명하기 위한 도면이다.
도 4 내지 도 7에서는 버튼 오브젝트가 십(十)자 형태인 경우의 가상 키패드 이미지를 도시하였으나, 원격 제어 장치에 구비된 방향 키 및 확인 키가 원형인 경우, 전자 장치는 도 8a에 도시된 바와 같이, 버튼 오브젝트(811)가 원형일 수 있으며, 이를 반영하여 가상 키패드 이미지(810)를 생성할 수 있다.
또한, 4방향 키 및 확인 키 조작을 통해 가상 키패드를 이용하는 경우 원형 또는 십자 형태에 한정되지 않고, 전자 장치는 도 8b와 같이 원형 및 십자 형태가 모두 포함된 가상 키패드 이미지(820)도 생성할 수 있다. 도 8b에서는 버튼 오브젝트(821)가 원형인 가상 키패드 오브젝트 위에 위치하는 바 원형으로 도시하였으나, 사용자의 조작에 의해 버튼 오브젝트가 십자인 가상 키패드 오브젝트 위에 위치하게 되면, 버튼 오브젝트의 형태는 십자 형태로 변경될 수 있다.
도 9는 원격 제어 장치에 구비된 숫자 키를 조작하는 경우의 가상 키패드 이미지를 도시한 것이다.
도 9를 참조하면, 전자 장치는 외부 장치로부터 수신된 영상 신호에 대응되는 화면 및 키 입력 이력 정보 중 적어도 하나에 기초하여 문자 입력을 위한 가상 키패드 이미지(910)를 생성할 수 있다. 여기서, 문자의 경우 가상 키패드 오브젝트를 구성하는 키의 개수가 많기 때문에, 버튼 오브젝트의 이동 없이 5개의 키를 선택할 수 있는 방향 키 보다는 9개 내지 12개의 키를 선택할 수 있는 숫자 키를 조작하여 선택될 수 있다. 도 9에서는 설명의 편의를 위하여 원격 제어 장치에 구비된 3 X 3의 숫자 키 세트를 이용하는 것으로 가정하여 설명하기로 한다.
예를 들어, 전자 장치는 수신된 영상 신호에 대응되는 화면 인식 결과에 따라 영문 키로 구성된 가상 키패드 오브젝트 및 가상 키패드 오브젝트 상에서 선택 가능한 영역을 나타내는 버튼 오브젝트(911)를 포함하는 가상 키패드 이미지(910)를 생성할 수 있다. 이때, 버튼 오브젝트(911)는 원격 제어 장치에 구비된 숫자 키 세트의 형태에 따라, 가상 키패드 오브젝트 상의 3 X 3 형태로 선택할 수 있는 사각형 형태일 수 있다.
한편, 도 9에서는 가상 키패드 오브젝트가 3행으로 구성되어 있어, 버튼 오브젝트(911)가 좌우로만 이동 가능한 것으로 도시되었으나, 실제 구현시에는 4열 이상으로 구성되어 상하 이동도 가능할 수 있다.
그리고, 버튼 오브젝트가 원격 제어 장치에 구비된 방향 키 및 숫자 키의 형태를 합친 형태로 구현되는 경우 버튼 오브젝트의 이동 없이 보다 많은 개수의 키를 선택 가능하게 할 수도 있다. 예를 들어, 일반적으로 원격 제어 장치는 방향 키 하부에 숫자 키가 배치되는 바, 버튼 오브젝트는 상부는 십자 형태(또는 원형 등)의 방향 키 형태이고 하부는 숫자 키 형태로 구현될 수도 있다. 이에 한정되지 않고, 버튼 오브젝트의 형태는 다양한 형태로 구현될 수 있다.
도 10은 키 입력 이력 정보를 수집하는 일 실시 예를 설명하기 위한 도면이다. 구체적으로, 도 10은 외부 장치로부터 수신된 영상 신호가 일반적인 TV 화면인 경우로, 채널 번호가 2자리이고, 사용자가 채널 번호를 '55'를 300번, '15'를 200번 입력한 것으로 가정한 것이다. 설명의 편의를 위해 한 번의 키 조작에 대응되는 누적 정보를 모듈로 지칭하기로 한다. 구체적으로, 현재 채널 번호가 2자리인 바, 누적 트리는 1-3 모듈 형태로 구성되었다고 할 수 있다. 만약, 채널 번호가 3자리라면, 현재 1-3 모듈 형태의 누적 트리가, 1-3-32 모듈 형태가 될 것이다. 상술한 바와 같이 트리 형태로 키 입력 정보를 누적하는 것은, 단순히 키 입력 횟수만을 이용하는 것이 아니고, 키 입력 순서를 고려하기 위한 것이다.
한편, 전자 장치가 화면의 종류를 고려하여 키 입력 이력 정보를 누적하는 경우, 전자 장치는 키 입력 이력 정보는 전체 키 입력 이력 정보를 화면의 종류 별로 분류할 수 있다. 또는, 수집 당시부터 화면의 종류에 따라 누적할 수 있다. 이 경우, 누적 트리는 화면의 종류의 개수만큼 생성될 수 있다.
도 10을 참조하면, 전자 장치는 10개의 숫자를 3개의 그룹으로 나누어 키 입력 정보를 수신할 수 있다. 이는 도 5에 도시된 바와 같이, 한 번에 방향키로 입력 가능한 숫자가 그룹으로 정해져 있기 때문이다.
그리고, 전자 장치는 트리 형태로 키 입력 이력 정보를 누적할 수 있다. 예를 들어, 사용자가 처음 '55'를 입력하면, 첫번째 입력된 5가 포함된 제2 그룹의 카운트가 1 증가하고, 제2 그룹과 연결된 모듈에서 5가 포함된 제2 그룹의 카운트도 1 증가할 것이다.
그 다음, 사용자가 '15'를 입력하면, 첫번째 입력된 1이 포함된 제1 그룹의 카운트가 1 증가하고, 제1 그룹과 연결된 모듈에서 5가 포함된 제2 그룹의 카운트가 1 증가할 것이다.
이와 같이, 사용자가 채널 번호를 '55'를 300번, '15'를 200번 입력하였으면, 첫번째 모듈의 제1 그룹의 카운트는 200, 제2 그룹의 카운트는 300이 되고, 제1 그룹에 연결된 모듈의 제2 그룹의 카운트는 200, 제2 그룹에서 연결된 모듈의 제2 그룹의 카운트는 300이 될 것이다.
한편, 전자 장치는 키 입력 이력 정보를 기설정된 횟수만큼 누적한 경우, 사용자가 잘 사용하지 않는 모듈을 삭제함으로써, 키 입력 이력 정보를 보다 간단한 구조로 저장할 수 있다.
한편, 도 10에 도시된 키 입력 이력 정보를 수집하는 방식은 일 실시 예에 불과한 것이고, 전자 장치는 다양한 기준 및 방식으로 이력 정보를 수집할 수 있다.
상술한 바와 같이 전자 장치는 키 입력 이력 정보를 누적하여, 사용자가 하나의 키를 선택하면, 그 다음에 선택할 확률이 높은 키를 예측할 수 있게 된다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 간략히 설명하기 위한 흐름도이다.
도 11을 참조하면, 우선 전자 장치는 적어도 하나의 추천 키를 결정할 수 있다.(S1110). 구체적으로, 전자 장치는 영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정할 수 있다. 구체적으로, 전자 장치는 영상 신호에 대응되는 화면의 종류와 사용자가 그 화면에서 입력했던 이력 정보를 이용하여 적어도 하나의 추천 키를 결정할 수 있다.
그리고, 전자 장치는 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성할 수 있다(S1120). 여기서, 버튼 오브젝트는 가상 키패드 오브젝트 상의 일부 영역에 위치하며, 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능한 복수의 키 영역을 나타낼 수 있다. 구체적으로, 버튼 오브젝트는 원격 제어 장치에 구비된 복수의 버튼의 배치 형태와 대응될 수 있다. 즉, 전자 장치는 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도 적어도 하나의 추천 키를 복수의 버튼 형태로 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성할 수 있다.
이러한 키패드 이미지 생성 동작은 사용자가 원격 제어 장치를 이용하여 가상 키패드 이미지를 표시하기 위한 기설정된 키를 누르거나, 가상 키패드를 이용한 입력이 필요한 동작을 수행하면, 전자 장치에 의해 수행될 수 있다.
한편, 도시되지는 않았지만 전자 장치는 생성된 키패드 이미지를 표시할 수 있다. 구체적으로, 전자 장치에 디스플레이가 구비되어 있으면, 구비된 디스플레이를 통해 생성된 키패드 이미지를 표시할 수 있다. 반면, 전자 장치에 디스플레이가 구비되어 있지 않으면, 디스플레이를 구비한 외부 장치에서 생성된 키패드 이미지를 표시하도록 외부 장치에 생성된 키패드 이미지에 대한 정보를 전송할 수 있다.
그리고, 전자 장치는 원격 제어 장치로부터 제어 신호를 수신할 수 있다. 여기서, 원격 제어 장치로부터 수신되는 제어 신호는 사용자가 가상 키패드 이미지를 보고 선택하고자 하는 키에 대응되는 버튼 조작에 따라 생성되는 것일 수 있다.
도 12는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 구체적으로 설명하기 위한 흐름도이다.
도 12를 참조하면, 우선 전자 장치는 영상 신호에 대응되는 화면을 분석할 수 있다(S1210). 구체적으로, 전자 장치는 화면 내 기설정된 오브젝트가 포함되는지 판단할 수 있다. 전자 장치는 화면 내에서 검출된 기설정된 오브젝트에 따라 화화면의 종류를 판단할 수 있다.
그 다음, 전자 장치는 화면에 기초하여 가상 키패드 오브젝트를 결정할 수 있다(S1220). 구체적으로, 전자 장치는 복수의 가상 키패드 오브젝트 중 검출된 기설정된 오브젝트에 대응되는 가상 키패드 오브젝트를 결정할 수 있다. 이때, 가상 키패드 오브젝트는, 한글, 영문, 숫자 중 적어도 하나를 포함할 수 있다.
그 다음, 전자 장치는 가상 키패드 오브젝트 상에 원격 제어 장치에 의해 선택될 영역을 표시할 수 있다(S1230). 이때, 원격 제어 장치에 의해 선택될 영역은 버튼 오브젝트라고 지칭할 수 있다. 구체적으로, 전자 장치는 원격 제어 장치에 구비된 버튼 형태와 대응되는 형태의 버튼 오브젝트 영역을 가상 키패드 오브젝트 상에 표시할 수 있다.
그 다음, 원격 제어 장치로부터 키 조작 명령이 입력되면, 전자 장치는 화면 및 키 입력 이력 정보에 기초하여 다음에 입력될 키를 예측할 수 있다(S1240). 구체적으로, 전자 장치는 화면에서 검출된 기설정된 오브젝트에 따라 사용자가 입력한 키 입력 정보를 이용하여 입력될 키를 예측할 수 있다. 즉, 전자 장치는 기설정된 오브젝트에 기초하여 화면의 종류를 결정하고, 결정된 종류의 화면에서 입력된 키 입력 이력 정보에 기초하여 입력될 키를 예측할 수 있다.
그 다음, 전자 장치는 예측 결과에 따라 선택될 영역을 변경할 수 있다(S1250). 여기서, 변경되는 선택될 영역은 오브젝트 영역을 의미하는 것일 수 있다. 구체적으로, 전자 장치는 가상 키패드 오브젝트에서 다음에 입력될 것으로 예측되는 키가 포함되도록 버튼 오브젝트의 위치를 변경하거나, 버튼 오브젝트 내에 예측되는 키가 포함되도록 가상 키패드 오브젝트의 복수의 키 영역을 재배열할 수 있다.
상술한 바와 같이, 수신된 영상 신호에 대응되는 화면 및 사용자의 키 입력 이력 정보에 기초하여 가상 키패드 이미지를 생성함으로써, 사용자가 제한된 버튼을 구비한 원격 제어 장치를 이용하여도 최소한의 버튼 조작으로 제어를 수행할 수 있어, 사용자의 편의를 향상시키는 효과가 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치의 제어 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
1000 : 전자 장치 제어 시스템 100 : 전자 장치
20 : 원격 제어 장치 110 : 통신부
120 : 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    원격 제어 장치로부터 제어 신호를 수신하는 통신부; 및
    영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하고, 상기 원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 상기 적어도 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 원격 제어 장치로부터 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키를 판단하고, 상기 제1 키 다음에 입력될 제2 키를 예측하고, 상기 제2 키를 포함하도록 상기 버튼 오브젝트를 변경하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    기계 학습을 이용하여 상기 제2 키를 예측하는 전자 장치.
  4. 제2항에 있어서,
    상기 통신부는,
    외부 장치로부터 상기 영상 신호를 수신하고,
    상기 프로세서는,
    상기 수신된 영상 신호에 대응되는 화면에서 기설정된 오브젝트를 검출하고,
    복수의 가상 키패드 오브젝트 중 상기 검출된 오브젝트에 대응되는 가상 키패드 오브젝트를 포함하는 키패드 이미지를 생성하는 전자 장치.
  5. 제4항에 있어서,
    키 입력 이력 정보를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 기설정된 오브젝트 별로 키 입력 이력 정보를 수집하고, 상기 기설정된 오브젝트 별로 수집된 키 입력 이력 정보를 상기 메모리에 저장하는 전자 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    원격 제어 장치로부터 상기 원격 제어 장치에서 입력된 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키 다음에 입력될 제2 키를 예측하고, 상기 제2 키가 상기 버튼 오브젝트에 포함되도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 버튼 오브젝트 내 제1 키의 위치와 동일한 위치에 제2 키가 위치하도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열하는 전자 장치.
  8. 제1항에 있어서,
    상기 버튼 오브젝트는,
    상기 원격 제어 장치에 구비된 4방향 키 형태 또는 숫자 키 형태인 전자 장치.
  9. 제1항에 있어서,
    상기 생성된 키패드 이미지를 표시하는 디스플레이;를 더 포함하는 전자 장치.
  10. 제1항에 있어서,
    상기 통신부는,
    상기 생성된 키패드 이미지를 외부 디스플레이 장치로 전송하는 전자 장치.
  11. 전자 장치 제어 방법에 있어서,
    영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하는 단계; 및
    원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 상기 적어도 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 단계;를 포함하는 방법.
  12. 제11항에 있어서,
    상기 결정하는 단계는,
    상기 원격 제어 장치로부터 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키를 판단하고, 상기 제1 키 다음에 입력될 제2 키를 예측하고,
    상기 생성하는 단계는,
    상기 제2 키를 포함하도록 상기 버튼 오브젝트를 변경하고, 상기 변경된 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 방법.
  13. 제12항에 있어서,
    상기 결정하는 단계는,
    기계 학습을 이용하여 상기 제2 키를 예측하는 방법.
  14. 제12항에 있어서,
    외부 장치로부터 상기 영상 신호를 수신하는 단계;를 더 포함하고,
    상기 생성하는 단계는,
    상기 수신된 영상 신호에 대응되는 화면에서 기설정된 오브젝트를 검출하고, 복수의 가상 키패드 오브젝트 중 상기 검출된 오브젝트에 대응되는 가상 키패드 오브젝트를 포함하는 키패드 이미지를 생성하는 방법.
  15. 제14항에 있어서,
    상기 기설정된 오브젝트 별로 키 입력 이력 정보를 수집하고, 상기 기설정된 오브젝트 별로 수집된 키 입력 이력 정보를 저장하는 단계;를 더 포함하는 방법.
  16. 제14항에 있어서,
    상기 결정하는 단계는,
    원격 제어 장치로부터 상기 원격 제어 장치에서 입력된 버튼 정보가 수신되면, 상기 수신된 버튼 정보에 대응되는 제1 키 다음에 입력될 제2 키를 예측하고,
    상기 생성하는 단계는,
    상기 제2 키가 상기 버튼 오브젝트에 포함되도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열하는 방법.
  17. 제16항에 있어서,
    생성하는 단계는,
    상기 버튼 오브젝트 내 제1 키의 위치와 동일한 위치에 제2 키가 위치하도록 상기 가상 키패드 오브젝트에 포함된 복수의 키 영역을 재배열하는 방법.
  18. 제11항에 있어서,
    상기 버튼 오브젝트는,
    상기 원격 제어 장치에 구비된 4방향 키 형태 또는 숫자 키 형태인 방법.
  19. 제11항에 있어서,
    상기 생성된 키패드 이미지를 표시하는 단계;를 더 포함하는 방법.
  20. 전자 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서,
    상기 제어 방법은,
    영상 신호에 대응되는 화면 및 키 입력 이력 정보를 고려하여 적어도 하나의 추천 키를 결정하는 단계; 및
    원격 제어 장치에 구비된 복수의 버튼에 의하여 선택 가능하도록 상기 적어도 하나의 추천 키를 배열한 버튼 오브젝트를 포함하는 키패드 이미지를 생성하는 단계;를 포함하는 컴퓨터 판독가능 기록 매체.
KR1020170165220A 2017-12-04 2017-12-04 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 KR20190065746A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170165220A KR20190065746A (ko) 2017-12-04 2017-12-04 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
PCT/KR2018/014836 WO2019112235A1 (en) 2017-12-04 2018-11-28 Electronic apparatus, control method thereof, and computer readable recording medium
US16/204,041 US20190171356A1 (en) 2017-12-04 2018-11-29 Electronic apparatus, control method thereof, and computer readable recording medium
EP18209867.3A EP3493039A1 (en) 2017-12-04 2018-12-03 Electronic apparatus, control method thereof, and computer readable recording medium
CN201811477167.1A CN110007778A (zh) 2017-12-04 2018-12-04 电子装置、电子装置的控制方法和计算机可读记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165220A KR20190065746A (ko) 2017-12-04 2017-12-04 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체

Publications (1)

Publication Number Publication Date
KR20190065746A true KR20190065746A (ko) 2019-06-12

Family

ID=64606709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165220A KR20190065746A (ko) 2017-12-04 2017-12-04 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체

Country Status (5)

Country Link
US (1) US20190171356A1 (ko)
EP (1) EP3493039A1 (ko)
KR (1) KR20190065746A (ko)
CN (1) CN110007778A (ko)
WO (1) WO2019112235A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122334A (ko) * 2021-02-26 2022-09-02 한국과학기술원 소프트 키보드를 분석 및 제공하기 위한 장치 및 그에 과한 방법
US12008233B2 (en) 2020-10-15 2024-06-11 Samsung Electronics Co., Ltd Electronic device and method for generating a user-customized keypad based on usage characteristics

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWD195954S (zh) * 2017-11-20 2019-02-11 鴻海精密工業股份有限公司 顯示裝置
CN111901656B (zh) * 2020-08-06 2022-04-15 聚好看科技股份有限公司 媒体数据的搜索方法、显示设备及服务器
US11803629B2 (en) * 2020-11-13 2023-10-31 Google Llc Systems, methods, and media for obfuscated personal identification number entry on media devices
CN112527432B (zh) * 2020-12-07 2023-02-03 青岛海尔科技有限公司 目标客户端界面的确定方法及装置、存储介质、电子装置
CN114047830A (zh) * 2021-11-30 2022-02-15 中国建设银行股份有限公司 一种辅助输入方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030126606A1 (en) * 2001-12-27 2003-07-03 Koninklijke Philips Esectronics N.V. Hierarchical decision fusion of recommender scores
US7694231B2 (en) * 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
US20080301737A1 (en) * 2007-05-31 2008-12-04 Sony Ericsson Mobile Communications Ab System and method for personalized television viewing triggered by a portable communication device
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
FR2941546B1 (fr) * 2009-01-27 2011-02-04 Wyplay Procede optimise de saisie de caracteres alphanumeriques a partir d'une telecommande
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
WO2013057882A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 表示制御装置、集積回路、表示制御方法およびプログラム
KR102313353B1 (ko) * 2013-07-29 2021-10-18 삼성전자주식회사 캐릭터 입력 방법 및 디스플레이 장치
KR102246556B1 (ko) * 2014-12-02 2021-04-30 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008233B2 (en) 2020-10-15 2024-06-11 Samsung Electronics Co., Ltd Electronic device and method for generating a user-customized keypad based on usage characteristics
KR20220122334A (ko) * 2021-02-26 2022-09-02 한국과학기술원 소프트 키보드를 분석 및 제공하기 위한 장치 및 그에 과한 방법

Also Published As

Publication number Publication date
CN110007778A (zh) 2019-07-12
EP3493039A1 (en) 2019-06-05
WO2019112235A1 (en) 2019-06-13
US20190171356A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
EP3493039A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
CN101667058B (zh) 在多***间切换焦点的交互方法
KR102441357B1 (ko) 디스플레이 장치 및 그 제어 방법
CN102902480A (zh) 用于触摸屏的控制区域
KR20150068330A (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
US9374547B2 (en) Input apparatus, display apparatus, and control methods thereof
EP3039520B1 (en) Display apparatus and ui providing method thereof
EP2801967A1 (en) Electronic device for providing information to a user
KR20170057823A (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
CN103150093A (zh) 一种操作提示标识符移动的方法、装置及终端
KR20170004220A (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
CN104281318A (zh) 减少软键盘按压的显示延迟的方法和装置
KR101713784B1 (ko) 전자 장치 및 그 제어 방법
CN101470575A (zh) 电子装置及其输入方法
EP3502859B1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
US20230236673A1 (en) Non-standard keyboard input system
KR20140010780A (ko) 터치 유저 인터페이스, 영상 장치, 시스템 및 원격 터치 입력 장치
KR102243477B1 (ko) 디스플레이 장치 및 그 제어 방법
CN110597417B (zh) 一种用于用户互动的计算设备
KR20230032136A (ko) 전자장치 및 그 제어방법
KR20130065331A (ko) 동작 패턴 인식 기반의 모바일 기기 제어 장치, 방법 및 프로그램 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination