KR20150018127A - 디스플레이 장치 및 그 방법 - Google Patents

디스플레이 장치 및 그 방법 Download PDF

Info

Publication number
KR20150018127A
KR20150018127A KR1020130094656A KR20130094656A KR20150018127A KR 20150018127 A KR20150018127 A KR 20150018127A KR 1020130094656 A KR1020130094656 A KR 1020130094656A KR 20130094656 A KR20130094656 A KR 20130094656A KR 20150018127 A KR20150018127 A KR 20150018127A
Authority
KR
South Korea
Prior art keywords
handwriting
item
text
user
display
Prior art date
Application number
KR1020130094656A
Other languages
English (en)
Inventor
이명준
윤현규
김관영
금건호
김민섭
김상진
나문성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130094656A priority Critical patent/KR20150018127A/ko
Priority to CN201480043760.9A priority patent/CN105556453A/zh
Priority to PCT/KR2014/001119 priority patent/WO2015020288A1/en
Priority to JP2016533004A priority patent/JP2016535343A/ja
Priority to EP14154767.9A priority patent/EP2835730A1/en
Priority to US14/324,278 priority patent/US10089006B2/en
Priority to US14/453,753 priority patent/US20150046294A1/en
Priority to EP20140180187 priority patent/EP2835733A1/en
Publication of KR20150018127A publication Critical patent/KR20150018127A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Character Discrimination (AREA)

Abstract

디스플레이 장치가 개시된다. 본 장치는 디스플레이부, 원격 제어 장치에서 사용자 필기가 이루어지면, 필기 궤적을 수신하는 입력부, 필기 궤적에 대응되는 텍스트를 추출하는 검출부, 및 텍스트에 대응되는 아이템을 검색하고, 검색된 아이템을 복수의 카테고리로 분류하여 디스플레이부에 디스플레이하는 제어부를 포함한다.

Description

디스플레이 장치 및 그 방법{DISPLAY APPARATUS AND THE METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 사용자 필기 궤적에 의해 제어되는 디스플레이 장치 및 그 디스플레이 방법에 관한 것이다.
최근 기술이 발전함에 따라 다양한 기능을 채택한 TV가 출시되고 있다. TV를 통해 컨텐츠만을 시청할 수 있을 뿐만 아니라, 인터넷 등과의 결합을 통해 더욱 다양한 컨텐츠, 어플리케이션 등을 경험할 수 있다. 이러한 다양한 기능을 제공하는 것으로 스마트 TV를 들 수 있다.
스마트 TV가 다양한 기능을 포함하는 것에 비례하여, 이러한 기능을 사용함에 필요한 제어 장치 역시 복잡해지게 된다. 따라서, 복잡한 제어 장치로 인해 다양한 기능의 사용에 대한 장벽을 낮추기 위하여, 스마트 TV에 사용되는 제어 장치 및 이에 따른 UI는 단순화될 필요가 있다. 이러한 필요성에 따라, 스마트 TV에 사용되는 리모컨 역시 버튼을 최소화하는 등 단순하게 디자인되어 사용의 용이성을 추구하고 있는 추세이다.
다만, 이러한 단순한 디자인의 리모컨은 스마트 TV의 다양한 기능을 모두 지원함에 한계를 내포하고 있다. 즉, 종래에는 스마트 TV에서 원하는 기능을 직접 찾아야 했기 때문에, 사용자는 복잡한 트리 구조의 기능을 검색함에 있어서 시간이 소비될 뿐만 아니라 검색의 어려움이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 사용자 필기 궤적에 따라 아이템을 검색하여 디스플레이하는 디스플레이 장치 및 그 방법을 제공하기 위함이다.
상기의 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 디스플레이 장치는 디스플레이부, 원격 제어 장치에서 사용자 필기가 이루어지면, 필기 궤적을 수신하는 입력부, 필기 궤적에 대응되는 텍스트를 추출하는 검출부, 및 텍스트에 대응되는 아이템을 검색하고, 검색된 아이템을 복수의 카테고리로 분류하여 디스플레이부에 디스플레이하는 제어부를 포함할 수 있다.
또한, 제어부는, 원격 제어 장치에서 후속 필기가 이루어지면 후속 필기에 따른 필기 궤적으로부터 후속 텍스트를 추출하고, 텍스트 및 후속 텍스트에 대응되는 아이템을 재검색하며, 재검색된 아이템을 복수의 카테고리에 따라 분류하여 디스플레이부에 디스플레이하는 것일 수 있다.
또한, 제어부는, 수신된 필기 궤적을 나타내는 필기 표시 영역을 화면의 일 영역에 위치시키고, 필기 표시 영역을 기준으로 상측, 하측, 좌측, 및 우측 방향에 대하여 복수의 카테고리 각각을 매칭하여, 카테고리 별로 분류된 검색 결과를 정렬하여 디스플레이하는 것일 수 있다.
또한, 제어부는, 필기 표시 영역을 화면의 중앙 또는 상기 화면에 대한 4개의 모서리 중 일측에 위치시키는 것일 수 있다.
또한, 제어부는, 아이템이 선택되면, 선택된 아이템에 대응되는 제어 동작을 수행하는 것일 수 있다.
또한, 복수의 카테고리는, 어플리케이션 카테고리, 웹 카테고리, 기능 카테고리, 및 컨텐츠 카테고리 중 적어도 하나를 포함하는 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 방법은 원격 제어 장치에서 사용자 필기가 이루어지면, 필기 궤적을 수신하는 단계, 필기 궤적에 대응되는 텍스트를 추출하는 단계, 텍스트에 대응되는 아이템을 검색하는 단계, 및 검색된 아이템을 복수의 카테고리로 분류하여 디스플레이하는 단계를 포함할 수 있다.
또한, 원격 제어 장치에서 후속 필기가 이루어지면 후속 필기에 따른 필기 궤적으로부터 후속 텍스트를 추출하는 단계, 텍스트 및 후속 텍스트에 대응되는 아이템을 재검색하는 단계, 및 재검색된 아이템을 복수의 카테고리에 따라 분류하여 디스플레이하는 단계를 더 포함할 수 있다.
또한, 수신된 필기 궤적을 나타내는 필기 표시 영역을 화면의 일 영역에 위치시키는 단계, 필기 표시 영역을 기준으로 상측, 하측, 좌측, 및 우측 방향에 대하여 복수의 카테고리 각각을 매칭하는 단계, 및 카테고리 별로 분류된 검색 결과를 정렬하여 디스플레이하는 단계를 더 포함할 수 있다.
또한, 필기 표시 영역을 화면의 중앙 또는 상기 화면에 대한 4개의 모서리 중 일측에 위치시키는 단계를 더 포함할 수 있다.
또한, 아이템이 선택되면, 선택된 아이템에 대응되는 제어 동작을 수행하는 단계를 더 포함할 수 있다.
또한, 복수의 카테고리는, 어플리케이션 카테고리, 웹 카테고리, 기능 카테고리, 및 컨텐츠 카테고리 중 적어도 하나를 포함하는 것일 수 있다.
이상과 같은 본 발명의 다양한 실시예에 따르면, 사용자는 디스플레이 장치에 포함된 다양한 기능을 용이하고 직관적으로 검색한 후 이를 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블럭도,
도 2는 본 발명의 일 실시예에 따른 통신 시스템의 구성을 나타내는 블럭도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 구체적으로 설명하기 위한 블럭도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 종합적으로 설명하기 위한 블럭도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치가 사용하는 소프트웨어 구조의 일 예,
도 6은 본 발명의 일 실시예에 따른 디스플레이 방법에 관한 순서도의 일 예,
도 7은 본 발명의 일 실시예에 따른 디스플레이 방법에 관한 순서도의 다른 예,
도 8은 본 발명의 일 실시예에 따른 사용자 필기의 일 예,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 화면의 일 예,
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 화면의 다른 예,
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 화면의 또 다른 예,
도 12는 본 발명의 일 실시예에 따른 사용자 필기의 다른 예,
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 화면의 다른 예,
도 14는 본 발명의 일 실시예에 따른 사용자 입력의 일 예,
도 15는 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 화면의 또 다른 예,
도 16 내지 도 17은 본 발명의 다른 실시예에 따른 디스플레이 장치의 상세 화면의 또 다른 예이다.
이하에서는 도면을 참조하여, 본 발명에 대해 자세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치(100)의 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 입력부(110), 검출부(120), 디스플레이부(130), 및 제어부(140)를 포함한다.
입력부(110)는 원격 제어 장치로부터 제어 신호를 수신한다. 즉, 사용자가 원격 제어 장치를 이용하여 디스플레이 장치(100)에 대한 제어 신호를 전송하면, 입력부(110)는 이러한 제어 신호를 수신할 수 있다.
원격 제어 장치는 터치 패드를 포함할 수 있다. 이 경우, 사용자는 원격 제어 장치의 터치 패드를 통하여 제어 신호를 입력할 수 있다. 구체적으로는, 사용자는 터치 패드 상에 손가락이나 펜, 기타 입력 수단을 이용하여 필기를 할 수 있다. 원격 제어 장치는 터치 패드를 통해 입력되는 사용자 필기를 디스플레이 장치(100)로 전송한다. 뿐만 아니라, 터치 패드는 문자키, 숫자키, 기능키 등을 포함하는 터치 입력 영역을 디스플레이할 수도 있다.
또한, 원격 제어 장치는 사용자의 선택에 따라 사용자 필기를 입력할 지 아니면 키 입력을 할 지에 대해 선택할 수 있는 버튼을 포함할 수 있다.따라서, 사용자 필기를 입력하는 기능을 선택한 경우, 원격 제어 장치에 마련된 터치 패드 상에서 사용자 필기가 이루어지면, 터치 패드는 사용자 필기를 디스플레이할 수 있다. 이 경우, 원격 제어 장치는 사용자 필기에 대응되는 신호를 디스플레이 장치(100)의 입력부(110)로 전송할 수 있다. 입력부(110)는 사용자 필기에 대응되는 신호를 원격 제어 장치로부터 수신하여 검출부(120)로 전송할 수 있다.
검출부(120)는 입력부(110)로부터 사용자 필기에 대응되는 신호를 수신하여, 필기 궤적에 대응되는 텍스트를 추출할 수 있다. 즉, 검출부(120)는 입력된 사용자 필기의 궤적을 검출하고, 검출된 궤적에 대응하는 텍스트를 추출할 수 있다.
이 경우, 디스플레이 장치(100)는 복수 개의 텍스트를 저장하는 저장부(미도시)를 더 포함할 수 있다. 저장부(미도시)는 검출부(120)와 연결될 수 있다. 따라서, 검출부(120)는 입력부(110)로부터 입력된 사용자 필기의 궤적을 분석하여, 이에 대응되는 텍스트를 저장부(미도시)로부터 불러올 수 있다. 사용자 필기의 궤적에 대응되는 텍스트를 추출한 검출부(120)는 추출된 텍스트를 제어부(140) 및 디스플레이부(130)로 전송할 수 있다. 한편, 검출부(120)는 텍스트를 추출하기 위하여 입력된 사용자 궤적을 분석할 수 있는데, 구체적으로는 입력된 필기 궤적의 좌표 데이터를 분석할 수 있다.
먼저, 검출부(120)는 입력된 필기 궤적의 좌표 데이터를 분석하여, 입력된 필기 궤적의 특성을 검출하고, 그 특성에 대응되는 텍스트를 검출한다. 검출부(120)는 다양한 방식으로 필기 궤적을 분석할 수 있다.
일 예로, 검출부(120)는 필기의 시점부터 종점까지의 궤적을 일정 거리 단위로 구분하고, 각 단위 거리마다 시점 및 종점 사이를 연결하는 선의 방향 벡터를 검출한다. 검출부(120)는 각 방향 벡터 사이의 각도를 연산하여, 연산 결과에 기초하여 필기 궤적의 특성을 판단한다. 가령, 각 단위 거리에 대응되는 방향 벡터들의 각도가 일정 범위 이내로 유사하거나 동일하면 전체 궤적을 직선으로 판단한다.
반면, 일정 각도 이상 차이가 나는 부분이 있으면 그 부분에서 필기 궤적이 꺾어진 것으로 판단할 수 있다. 검출부(120)는 필기 궤적이 꺽어진 부분이 기 설정된 개수 이상이면 곡선으로 판단할 수 있다.
또한, 검출부(120)는 필기 궤적 중 서로 겹치는 부분이 존재하면, 그 부분에서 폐곡선이 발생한 것으로 인식한다. 검출부(120)는 폐곡선인지 여부, 라인의 꺾임 각도, 꺽인 부분의 개수 등에 기초하여 사용자의 필기 궤적의 특성 정보를 검출할 수 있다. 검출부(120)는 특성 정보와 기 저장된 텍스트 정보를 비교하여, 사용자의 필기 궤적이 어떠한 텍스트를 의미하는 것인지 검출할 수 있다.
이러한 방식으로 추출된 필기 궤적은 검출부(120)와 연결된 디스플레이부(130)에 의해 디스플레이될 수 있다.
또한, 미리 정해진 시간 이내에 다른 필기 궤적이 입력되면, 검출부(120)는 이에 대한 좌표 데이터를 전술한 바와 같이 분석함으로써 직선인지 곡선인지를 판단하게 된다. 디스플레이부(130)는 이전에 입력되어 디스플레이되고 있는 필기 궤적에 부가하여, 미리 정해진 시간 이내에 입력된 다른 필기 궤적을 디스플레이할 수 있다.
이상과 같이, 검출부(120)는 미리 정해진 시간 이내에 입력된 적어도 하나 이상의 궤적을 조합함으로써, 전체 텍스트를 추출할 수 있다. 검출부(120)는 이러한 방식으로 추출된 텍스트를 디스플레이부(130) 및 제어부(140)로 전송할 수 있다. 디스플레이부(130)는 검출부(120)로부터 전송받은 텍스트를 디스플레이할 수 있다. 제어부(140)는 검출부(120)로부터 전송받은 텍스트에 따라 아이템을 검색할 수 있다.
제어부(140)는 검출부(120)로부터 텍스트를 수신하고, 수신된 텍스트에 대응되는 아이템을 검색할 수 있다. 아이템에는 방송 채널, 컨텐츠 장르, 컨텐츠 제목, 어플리케이션, 기능(function), 웹 사이트 등과 같은 다양한 기준의 정보들이 포함될 수 있다.
아이템은 저장부(미도시)에 저장되어 있거나, 외부 송신 장치 또는 외부 서버로부터 수신할 수 있다. 따라서, 제어부(140)는 텍스트에 대응되는 아이템을 저장부(미도시)로부터 검색하여 수신하거나, 외부 송신 장치 및/또는 외부 서버로부터 검색하여 수신할 수 있다. 만약, 검색된 아이템이 없으면 제어부(140)는 검색된 아이템이 없음을 나타내는 메시지를 디스플레이할 수 있다. 또한, 검색된 아이템이 복수 개이면, 제어부(140)는 검색된 복수 개의 아이템들을 복수의 카테고리로 분류하여 디스플레이할 수 있다. 이에 관해서는, 도 9 내지 도 12에서 상세하기로 한다.
한편, 제어부(140)는 원격 제어 장치에서 후속 필기가 이루어지면 후속 필기에 따른 필기 궤적으로부터 후속 텍스트를 추출할 수 있다. 이러한 추출 과정은 전술한 바와 같으므로, 자세한 설명은 생략하기로 한다. 이 경우, 제어부(140)는 이전에 추출된 텍스트 및 후속으로 추출된 텍스트의 조합에 대응되는 아이템을 재검색하도록 제어할 수 있다. 이전에 추출된 텍스트 및 후속으로 추출된 텍스트의 조합에 대응되는 아이템을 재검색하는 과정 역시 전술한 바와 같다. 이 경우, 제어부(140)는 재검색된 아이템을 복수의 카테고리에 따라 분류하여 디스플레이하도록 제어할 수 있다.
한편, 제어부(140)는 수신된 필기 궤적을 나타내는 필기 표시 영역을 화면의 일 영역에 위치시키도록 제어할 수 있다. 또한, 제어부(140)는 이러한 필기 표시 영역을 기준으로 상측, 하측, 좌측, 및/또는 우측 방향에 대하여 복수의 카테고리 각각을 매칭하여, 카테고리 별로 분류된 검색 결과를 정렬하여 디스플레이하도록 제어할 수 있다. 이 경우, 복수의 카테고리는 어플리케이션 카테고리, 웹 카테고리, 기능 카테고리, 및 컨텐츠 카테고리 중 적어도 하나를 포함할 수 있다. 또한, 필기 표시 영역은 화면의 중앙에 위치할 수 있다. 이 경우, 카테고리 별로 분류된 검색 결과는 화면의 중앙에 위치한 필기 표시 영역의 상측, 하측, 좌측, 및/또는 우측 방향에 대하여 정렬되어 디스플레이될 수 있다. 뿐만 아니라, 필기 표시 영역은 화면의 모서리 영역에 위치할 수도 있다. 이 경우, 카테고리 별로 분류된 검색 결과는 화면의 모서리 영역에 위치한 필기 표시 영역의 두 방향에 대하여 정렬되어 디스플레이될 수 있다. 예를 들어, 필기 표시 영역이 화면의 좌측 상단 모서리 영역에 위치하였다면, 필기 표시 영역을 중심으로 우측 방향 및 하측 방향으로 검색 결과가 정렬되어 디스플레이될 수 있다. 이러한 방식에 의해 디스플레이된 적어도 하나의 아이템 중 하나의 아이템이 선택되면, 제어부(140)는 선택된 아이템에 대응되는 제어 동작을 수행하도록 할 수 있다.
한편, 디스플레이 장치(100)는 다양한 소스로부터 아이템을 검색하여 표시할 수 있다. 구체적으로는, 디스플레이 장치(100)에 내장된 저장부(미도시) 뿐만 아니라, 컨텐츠 재생 장치, 방송국, 웹 서버, 클라우드 서버, 사용자 단말 장치 등과 같은 다양한 외부 장치로부터 아이템을 검색할 수 있다.
도 2는 다양한 외부 장치로부터 아이템을 검색 할 수 있는 일 실시 예에 따른 통신 시스템의 구성을 나타내는 블럭도이다. 도 2를 참조하면, 통신 시스템은 복수의 송신 장치 및 통신부(150)를 포함한다.
복수의 송신 장치들은 서로 다른 통신 망을 통해서 신호를 송신한다. 도 2에서는 제1 송신 장치(200-1)는 RF 통신망(300-1)을 통해 신호를 송신하고, 제2 송신 장치(200-2)는 IP 통신망(300-2)을 통해 신호를 송신하는 것으로 도시하였으나, 통신망의 종류는 이에 한정되지 않는다. 설명의 편의상 본 명세서에서는 제1 송신 장치(200-1)가 송신하는 신호는 제1 신호로 칭하고, 제2 송신 장치(200-2)가 송신하는 신호는 제2 신호로 칭한다.
제1 신호 및 제2 신호는 아이템을 구성하기 위해 구분된 데이터를 각각 포함할 수 있다. 즉, 제1 신호는 RF 통신망(300-1)을 통하여 수신되는 아이템을 구성하는 데이터이고, 제2 신호는 IP 통신망(300-2)을 통하여 수신되는 아이템을 구성하는 데이터일 수 있다. 이러한 제1 신호 및 제2 신호는 제어부(140)에 의해 동시에 수신되거나, 선택적으로 수신되는 것일 수 있다. 또한, 제1 신호는 어느 하나의 아이템을 구성하는 데이터이고, 제2 신호는 이와는 다른 별개의 아이템을 구성하는 데이터일 수 있다. 뿐만 아니라, 제1 신호는 하나의 아이템에 대한 일부를 구성하는 데이터이고, 제2 신호는 이와 동일한 아이템에 대한 나머지를 구성하는 데이터일 수 있다. 그 밖에, 아이템은 비디오 데이터 및 오디오 데이터로 구분되거나, 동영상 데이터 및 자막 데이터 등과 같이 다양한 기준에 따라 구분되어 제1 및 제2 신호로 전송될 수도 있다.
RF 통신망(300-1)을 통해 신호를 전송하는 방법 및 그 구성은 방송 규격에 따라 상이하게 구현될 수 있다. 즉, 디지털 방송 규격으로는 ATSC(Advanced Television System Committee), DVB(Digital Video Broadcasting), ISDB-T(Integrated Services Digital Broadcasting-Terrestrial) 방식 등이 있다.
RF 통신망(300-1)을 통해 제1 신호를 전송하는 제1 송신 장치(200-1)의 세부 구성 및 동작은 상술한 방송 규격들 중 어느 방송 규격이 적용되었는가에 따라 달라질 수 있다. 제1 통신부(150-1)의 구성 및 동작 역시 마찬가지이다. 일 예로, ATSC 규격이 채용된 경우라면, 제1 송신 장치(200-1)는 랜덤화부, RS 인코더, 데이터 인터리버, 트렐리스 인코더, 싱크 및 파일럿 삽입부, 8VSB 변조부, RF 업 컨버터, 안테나 등을 포함할 수 있다. 반면, 제1 통신부(150-1)는 안테나, RF 다운 컨버터, 복조부, 등화부, 디멀티플렉서, RS 디코더, 디인터리버 등을 포함할 수 있다. 각 방송 규격 별 신호 송신 및 수신을 위한 세부 구성에 대해서는 각 방송 규격의 표준 문서에서 구체적으로 개시하고 있으므로, 구체적인 도시 및 설명은 생략한다.
제2 송신 장치(200-2)는 부가 데이터를 포함하는 제2 신호를 IP 통신망(300-2)을 통해서 제2 통신부(150-2)로 전송한다. IP 통신망(300-2)은 웹(web), 클라우드 네트워크, 로컬 네트워크 등과 같이 다양한 유형의 네트워크로 구현될 수 있다. 제2 송신 장치(200-2)는 스트리밍 방식으로 제2 신호를 전송할 수 있다. 구체적으로는, RTP(Real Time Protocol)나, HTTP (Hypertext Transfer Protocol) 등과 같은 다양한 스트리밍 방식이 사용될 수 있다. 다른 실시 예에 따르면, 제2 송신 장치(200-2)는 다운로드 방식으로 부가 데이터를 제공할 수도 있다. 다운로드 방식인 경우 파일 포맷은 AVI, MP4, MPG, MOV, WMV 등과 같이 다양한 형태가 될 수 있다.
한편, 디스플레이 장치(100)의 제어부(130)는 다양한 형태로 구성될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 제어부의 세부 구성을 설명하기 위한 블럭도이다.
도 3을 참조하면, 제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 제어부(140)는 RAM(141), ROM(142), CPU(143), GPU(144), 버스(145)를 포함한다. RAM(141), ROM(142), CPU(143), GPU(144) 등은 버스(145)를 통해 서로 연결될 수 있다.
CPU(143)는 저장부(미도시)에 액세스하여, 저장부(미도시)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(미도시)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 뿐만 아니라, 필기 궤적을 분석하여, 이에 대응되는 텍스트를 저장부(미도시)로부터 추출한다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, CPU(143)는 ROM(142)에 저장된 명령어에 따라 저장부(미도시)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(143)는 저장부(미도시)에 저장된 각종 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(144)는 디스플레이 장치(100)의 부팅이 완료되면, 아이템 화면, 컨텐츠 화면, 또는 검색 결과 화면 등을 디스플레이한다. 구체적으로는, GPU(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(130)로 제공되어, 디스플레이 영역 내에 표시된다. 한편, GPU(144)는 원격 제어 장치로부터 수신되는 신호에 기초하여, 사용자가 원격 제어 장치의 터치 패드에 필기한 내용을 그대로 화면 상에 표시한다.
디스플레이부(130)는 상술한 바와 같은 다양한 화면을 디스플레이한다. 디스플레이부(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치(100)의 구성을 종합적으로 설명하기 위한 블럭도이다.
도 4를 참조하면, 디스플레이 장치(100)는 디스플레이부(130), 제어부(140), 통신부(150), 저장부(160), 비디오 프로세서(170-1), 오디오 프로세서(170-2), 입력부(110), 검출부(120), 마이크부(180-1), 카메라부(180-2), 스피커부(180-3)를 포함할 수 있다.
저장부(160)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장하기 위한 구성요소이다.
디스플레이부(130)는 일반적인 LCD 디스플레이로 구현될 수도 있고, 터치 스크린 형태로 구현될 수도 있다. 터치 스크린으로 구현될 경우, 사용자는 화면을 터치하여 디스플레이 장치(100)의 동작을 제어할 수 있다. 또한, 디스플레이부(130)가 터치 스크린으로 구현되지 않는 경우, 원격 제어 장치로부터 전송되는 신호를 입력부(110)가 수신하여 이를 제어부(140)로 전송할 수 있다.
제어부(140)는 저장부(160)에 저장된 각종 프로그램 및 데이터를 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다. 디스플레이부(130), 제어부(140)에 대해서는 상술한 다양한 실시 예들에서 이미 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(150)는 와이파이 칩(150-1), 블루투스 칩(150-2), 무선통신 칩(150-3), NFC 칩(150-4)을 포함할 수 있다.
와이파이 칩(150-1), 블루투스 칩(150-2)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(150-1)이나 블루투스 칩(150-2)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선통신 칩(150-3)은 IEEE, 지그비(Zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(150-4)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
또한, 통신부(150)는 검색 서버 등과 같은 다양한 외부 서버 장치와 통신을 수행할 수도 있다.
입력부(110)를 통해 수신된 신호에 기초하여, 검출부(120)가 사용자 필기 궤적에 대응되는 텍스트를 검출하면, 제어부(140)는 통신부(150)를 통해서 다양한 외부 장치에 액세스하여, 검출된 텍스트에 대응되는 아이템을 수신할 수 있다.
그 밖에, 통신부(150)는 서버 장치가 아닌 다양한 유형의 외부 장치와 직접적으로 통신을 수행하여 검색을 수행할 수도 있다.
비디오 프로세서(170-1)는 통신부(150)를 통해 수신된 아이템 또는 저장부(160)에 저장된 아이템에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 즉, 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(170-2)는 통신부(150)를 통해 수신된 아이템 또는 저장부(160)에 저장된 아이템에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(170-2)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(140)는 디스플레이부(140)에 표시된 아이템 중에서 멀티미디어 컨텐츠에 대응되는 아이템이 선택되면, 통신부(150)를 통해서 해당 멀티미디어 컨텐츠를 수신한다.
제어부(140)는 멀티미디어 컨텐츠가 수신되면, 그 멀티미디어 컨텐츠를 디멀티플렉싱하여 비디오 데이터 및 오디오 데이터를 각각 추출하고, 추출된 비디오 데이터 및 오디오 데이터를 각각 디코딩하여 해당 아이템을 재생하도록 비디오 프로세서(170-1) 및 오디오 프로세서(170-2)를 제어할 수 있다.
디스플레이부(130)는 비디오 프로세서(170-1)에서 생성한 이미지 프레임을 디스플레이할 수 있다.
스피커부(180-3)는 오디오 프로세서(170-2)에서 생성한 오디오 데이터를 출력한다.
입력부(110)는 외부의 원격 제어 장치가 전송한 조작 신호를 수신하여, 이를 제어부(140)로 전송할 수 있다. 이 경우, 입력부(110)는 디스플레이 장치(100)의 본체 외관의 전면부, 측면부, 배면부 등의 임의의 영역에 형성될 수 있다.
마이크부(180-1)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(140)는 마이크부(180-1)를 통해 입력되는 사용자 음성을 아이템 검색 또는 추출에 이용하거나, 오디오 데이터로 변환하여 저장부(160)에 저장할 수 있다.
카메라부(180-2)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라부(180-2)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
카메라부(180-2) 및 마이크부(180-1)가 마련된 경우, 제어부(140)는 마이크부(180-1)를 통해 입력되는 사용자 음성이나 카메라부(180-2)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 디스플레이 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(140)는 카메라부(180-2)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(140)는 마이크부(180-1)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다. 따라서, 카메라부(180-2) 및 마이크부(180-1)는 사용자의 모션 또는 사용자의 음성을 인식하여 제어부(140)가 아이템을 추출하는 것에 이용될 수 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 디스플레이 장치에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 화면에 표시된 아이템 등의 오브젝트를 선택하는 듯한 모션을 취하거나, 그 오브젝트에 대응되는 음성 명령어를 발음하는 경우, 해당 오브젝트가 선택된 것으로 판단하고, 그 오브젝트에 매칭된 제어 동작을 수행할 수 있다.
그 밖에, 도 4에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩 등을 더 포함할 수 있음은 물론이다.
이상과 같이, 디스플레이 장치(100)는 다양한 형태로 구현될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)가 사용하는 소프트웨어 구조의 블럭도이다.
도 5의 소프트웨어는 저장부(160)에 저장될 수도 있으나 반드시 이에 한정되는 것은 아니며 디스플레이 장치(100) 내에 사용되는 다양한 유형의 저장 수단에 저장될 수도 있다. 도 5에 따르면, 디스플레이 장치(100)에는 OS(191), 커널(192), 미들웨어(193), 어플리케이션 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System, 191)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(191)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(192)은 디스플레이 장치(100) 내의 감지 수단에 의해 감지되는 각종 신호들을 미들웨어(193)로 전달하는 통로 역할을 한다.
미들웨어(193)는 디스플레이 장치(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 5에 따르면, 미들웨어(193)는 UI 프레임워크(193-1), 윈도우 매니저(193-2), 필기 인식 모듈(193-3), 보안 모듈(193-4), 시스템 매니저(193-5), 멀티미디어 프레임워크(193-6), X11 모듈(193-7), APP 매니저(193-8), 연결 매니저(193-9)를 포함한다.
UI 프레임워크(193-1)는 각종 UI를 제공하기 위한 모듈이다. UI 프레임워크(193-1)는 텍스트, 아이템 등의 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(193-2)는 사용자의 신체나 펜을 이용한 터치 이벤트, 사용자의 음성을 이용한 음성 인식 이벤트, 사용자의 동작을 이용한 동작 인식 이벤트 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(193-2)는 이러한 이벤트가 감지되면 UI 프레임워크(193-1)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
필기 인식 모듈(193-3)은 원격 제어 장치의 터치 패드상에서 사용자가 드로잉한 궤적을 파싱하여, 그 내용을 인식하기 위한 모듈이다. 검출부(120)는 필기 인식 모듈(193-3)을 실행시켜, 사용자가 필기한 텍스트를 검출할 수 있다. 필기 인식 모듈(193-3)은 입력된 사용자 필기의 궤적에 따른 연속적인 좌표값을 입력받고, 이러한 연속적인 좌표값을 스트로크로 저장한다. 그리고, 그 스트로크를 이용하여 스트로크 어레이를 생성할 수 있다. 그리고, 필기 인식 모듈(193-3)은 미리 저장된 필기 라이브러리와 생성된 스트로크 어레이를 비교함으로써, 필기 궤적을 인식하고, 필기 궤적에 대응되는 텍스트를 추출할 수 있다.
보안 모듈(193-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(193-5)는 디스플레이 장치(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 다른 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등의 이벤트가 발생하면 시스템 매니저(193-5)는 그 모니터링 결과를 UI 프레임워크(193-1)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(193-6)는 디스플레이 장치(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(193-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 아이템을 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
X11 모듈(193-7)은 디스플레이 장치(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 조작이 감지되는 이벤트, 시스템 알람이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(193-8)는 저장부(160)에 설치(install)된 각종 어플리케이션의 실행 상태를 관리하는 모듈이다. APP 매니저(193-8)는 X11 모듈(193-7)로부터 어플리케이션 실행 명령이 입력된 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다. 즉, APP 매니저(193-8)는 적어도 하나의 오브젝트가 선택된 이벤트가 감지되면, 그 오브젝트에 대응되는 어플리케이션을 호출하여 실행시키는 동작을 수행한다.
연결 매니저(193-9)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(193-9)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
아이템 인식 모듈(193-10)은 저장부(160)에 저장된 아이템 또는 통신부(150)가 수신한 아이템을 인식하여, 그 아이템에 대한 정보를 추출하는 모듈이다. 구체적으로, 아이템 인식 모듈(193-10)은 아이템의 제목, 아이템의 제목에 해당하는 텍스트, 기타 아이템에 대한 구체적인 정보를 추출할 수 있다.
한편, 미들웨어(193)의 상부 계층에는 디스플레이 장치(100)의 다양한 기능을 구현하는 브라우저 계층 및 적어도 하나 이상의 어플리케이션 계층이 존재한다.
도 5에 도시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(160)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저(194-m) 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 방법에 관한 순서도의 일 예이다.
도 6을 참조하면, 디스플레이 장치(100)는 원격 제어 장치로부터 사용자 필기 궤적을 수신한다(S610). 이 경우, 디스플레이 장치(100)는 필기 궤적의 좌표 데이터를 분석할 수 있다.
필기 궤적을 수신한 디스플레이 장치(100)는 필기 궤적에 대응되는 텍스트를 추출한다(S620). 이 경우, 디스플레이 장치(100)는 필기 궤적의 좌표 데이터를 분석한 상태이므로, 분석한 좌표 데이터에 대응하는 텍스트를 추출할 수 있다. 즉, 분석한 필기 궤적의 좌표 데이터와 미리 저장된 텍스트 궤적의 좌표 데이터를 비교하여, 상호 대응되는 텍스트를 추출하게 된다.
이 후, 디스플레이 장치(100)는 추출된 텍스트에 대응되는 아이템을 검색한다(S630). 아이템은 각각의 고유한 이름, 제목, 명칭 등을 포함하므로, 디스플레이 장치(100)는 추출된 텍스트에 대응되는 아이템의 이름, 제목, 명칭 등을 검색 및 추출할 수 있다.
따라서, 추출된 텍스트에 대응되는 아이템이 있으면 디스플레이 장치(100)는 이를 디스플레이한다. 특히, 검색된 아이템이 복수 개이면, 디스플레이 장치(100)는 검색된 복수 개의 아이템을 복수의 카테고리로 분류하여, 이를 디스플레이한다(S640). 만약, 검색된 아이템이 없으면 검색 결과가 없음을 나타내는 시각 메시지 및/또는 소리 메시지 등을 표시할 수 있다. 또한, 검색된 복수 개의 아이템이 하나의 카테고리에 해당하는 경우에는 해당하는 하나의 카테고리로만 분류하여 검색된 복수 개의 아이템들을 배열하여 디스플레이할 수 있다. 한편, 전술한 디스플레이 방법에 관해서는 도 8에서 상세하도록 한다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 방법에 관한 순서도의 다른 예이다.
도 7을 참조하면, 사용자는 원격 제어 장치에 포함된 터치 패드 상에 필기를 하게 되고, 원격 제어 장치는 터치 패드 상에서 사용자의 터치에 의한 필기를 감지한다(S710). 이 경우, 원격 제어 장치는 사용자의 터치 및 드래깅을 감지할 수 있다. 원격 제어 장치에 포함된 터치 패드 상에서 사용자의 터치 및/또는 드래깅을 감지하는 구성은 널리 알려진 것이므로, 자세한 설명은 생략하기로 한다.
사용자 터치 및 드래깅에 따른 궤적을 감지한 원격 제어 장치는 궤적의 좌표값을 추출할 수 있다(S720). 필기 궤적의 좌표값을 추출한 원격 제어 장치는 이를 디스플레이 장치(100)로 전송할 수 있다(S730). 필기 궤적의 좌표값을 추출하는 구성에 대해서는 도 1에서 디스플레이 장치(100)의 검출부(120)에서 설명된 바와 같으므로, 상세는 생략하기로 한다. 이 경우, 원격 제어 장치가 필기 궤적의 좌표값을 추출하게 되므로, 필기 궤적의 좌표값을 수신한 디스플레이 장치(100)는 별도로 필기 궤적의 좌표값을 추출하지 않을 수 있다. 따라서, 디스플레이 장치(100)는 원격 제어 장치로부터 필기 궤적의 좌표값을 수신하여, 수신된 좌표값에 대응하는 텍스트를 검색 및 추출할 수 있다.
반면, 원격 제어 장치는 사용자의 필기 궤적을 수신한 후 필기 궤적의 좌표값을 직접 추출하지 않고, 디스플레이 장치(100)에 대하여 사용자의 필기 궤적에 따른 신호를 전송할 수 있다. 즉, 원격 제어 장치는 필기 궤적의 좌표값을 포함하지 않는 신호를 디스플레이 장치(100)로 전송하고, 이를 수신한 디스플레이 장치(100)는 필기 궤적의 신호로부터 좌표값을 추출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 사용자 필기의 일 예이고, 도 9는 이에 따른 디스플레이 장치(100)의 상세 화면의 일 예이다.
도 8을 참조하면, 원격 제어 장치(400)가 마련된다. 원격 제어 장치(400)는 사용자의 터치를 입력하기 위한 터치 패드(410)를 포함한다. 도 8에는 도시되지 않았으나, 원격 제어 장치(400)는 디스플레이 장치(100)를 제어하기 위한 적어도 하나 이상의 버튼을 더 포함할 수도 있다.
사용자는 원격 제어 장치(400)로써 필기 모드의 활성화 및 비활성화를 제어할 수 있다. 즉, 사용자는 원격 제어 장치(400) 상에 마련된 필기 모드 버튼을 누름으로써 원격 제어 장치(400) 및 디스플레이 장치(100)를 필기 모드로 설정할 수 있다. 또는, 원격 제어 장치(400)의 방향을 디스플레이 장치(100)의 일 영역에 마련된 필기 모드 표시 영역(131)으로 향하게 한 후 터치 패드(410)를 터치함으로써 원격 제어 장치(400) 및 디스플레이 장치(100)를 필기 모드로 설정할 수 있다. 또는, 미리 설정된 시간 이상 동안 사용자가 터치 패드(410) 상에 드로잉하지 않고 터치함으로써 필기 모드는 설정될 수 있다. 또는, 사용자가 터치 패드(410) 상에 미리 설정된 길이 이상의 직선을 드로잉함으로써 필기 모드는 설정될 수 있다. 이 후, 원격 제어 장치(400)를 전술한 방식과 동일한 방식에 따라 한번 더 조작함으로써 필기 모드는 해제될 수 있다.
도 9에 도시된 바와 같이, 디스플레이 장치(100)의 일 영역에는 필기 모드 표시 영역(131)이 형성되어 있고, 이러한 필기 모드 표시 영역(131)에는 현재의 상태가 필기 모드 상태인지 여부가 표시될 수 있다. 또한, 필기 모드가 활성화된 상태이면, 디스플레이 장치(100)의 텍스트 표시 영역(132)에는 다른 영역과 대비되는 색으로 표시되거나, 다른 영역에 비해 휘도가 높아지는 등의 시각적 효과를 부여할 수 있다.
필기 모드가 설정된 상태에서, 사용자는 터치 패드(410) 상에서 터치 및/또는 드래그를 할 수 있다. 이 경우, 사용자는 터치 펜으로써 할 수 있고, 사용자의 신체를 이용할 수도 있다. 도 8에서는 사용자의 손가락으로 "S"라는 문자의 궤적을 그린 것을 도시하였다. 즉, 사용자가 터치 패드(410) 상에서 "S"라는 문자를 그리면, 터치 패드(410)는 사용자의 드래그와 동시에 "S"라는 문자의 궤적을 디스플레이하게 된다.
사용자 터치 및 드래깅에 따른 궤적을 감지한 원격 제어 장치(400)는 궤적의 좌표값을 추출할 수 있다. 필기 궤적의 좌표값을 추출한 원격 제어 장치(400)는 이를 디스플레이 장치(100)로 전송할 수 있다. 이 경우, 원격 제어 장치(400)가 필기 궤적의 좌표값을 추출하게 되므로, 필기 궤적의 좌표값을 수신한 디스플레이 장치(100)는 별도로 필기 궤적의 좌표값을 추출하지 않을 수 있다. 따라서, 디스플레이 장치(100)는 원격 제어 장치(400)로부터 필기 궤적의 좌표값을 수신하여, 수신된 좌표값에 대응하는 텍스트를 검색 및 추출할 수 있다.
반면, 원격 제어 장치(400)는 사용자의 필기 궤적을 수신한 후 필기 궤적의 좌표값을 추출하지 않을 수도 있다. 이 경우, 원격 제어 장치(400)가 필기 궤적의 좌표값을 추출하지 않으므로, 원격 제어 장치(400)는 디스플레이 장치(100)에 대하여 사용자의 필기 궤적에 따른 신호를 전송할 수 있다. 즉, 원격 제어 장치(400)는 필기 궤적의 좌표값을 포함하지 않는 신호를 디스플레이 장치(100)로 전송하고, 이를 수신한 디스플레이 장치(100)는 필기 궤적의 신호로부터 좌표값을 추출할 수 있다.
도 9는 도 8에 도시된 원격 제어 장치(400)의 입력에 따른 디스플레이 장치(100)를 도시한 것이다. 도 9를 참조하면, 필기 모드 표시 영역(131)은 필기 모드임을 디스플레이하고 있고, 텍스트 표시 영역(132)은 원격 제어 장치(400)로부터 수신된 필기 궤적을 디스플레이하고 있다. 사용자는 원격 제어 장치(400)로써 필기 모드를 설정한 상태에서, 터치 패드(410) 상에 "S"를 필기한 상태이다. 따라서, 디스플레이 장치(100)의 필기 모드 표시 영역(131)은 "필기 모드 ON"이라고 표시되고, 텍스트 표시 영역(132)은 "S"라고 표시된다.
한편, 디스플레이 장치(100)는 텍스트 표시 영역(132)에 표시된 "S"를 포함하는 아이템을 디스플레이할 수 있다. 즉, 초기화된 텍스트 표시 영역(132)에 최초로 디스플레이된 텍스트가 "S"이므로, 아이템의 이름, 명칭, 또는 제목 중에서 "S"로 시작하는 아이템이 검색된다.
이 경우, 검색되는 아이템은 디스플레이된 텍스트를 포함하는 아이템의 이름, 명칭, 또는 제목에 한정되는 것은 아니고, 검색되는 아이템은 디스플레이된 텍스트를 포함하는 키워드에 대한 아이템일 수도 있다. 즉, 디스플레이 장치(100)는 텍스트 표시 영역(132)에 표시된 텍스트를 포함하는 키워드에 대한 아이템을 디스플레이할 수도 있다. 예를 들어, 음량 조절 기능을 수행하는 아이템의 명칭에 해당하는 “Volume”에 대한 키워드를 “Sound”로 미리 설정했다고 가정한다. 이 후, 도 8에 도시된 바와 같이, 사용자는 터치 패드(410) 상에서 "S"를 드로잉할 수 있다. 이 경우, 비록 음량 조절 기능을 수행하는 아이템의 명칭에 해당하는 “Volume”은 “V”로 시작하지만, “Sound”라는 키워드가 검색될 수 있다. 따라서, 사용자가 터치 패드(410) 상에서 “S”를 드로잉하면, “Sound”라는 키워드를 포함하는 아이템인 “Volume”이 검색될 수 있다.
복수 개의 아이템들이 검색된 경우, 각 아이템들은 미리 정해진 카테고리에 의해 분류될 수 있다. 도 9를 참조하면, 검색된 아이템을 4개의 카테고리로 분류할 수 있고, 분류된 아이템은 제1 카테고리 영역(133-1), 제2 카테고리 영역(133-2), 제3 카테고리 영역(133-3), 및 제4 카테고리 영역(133-4)에 디스플레이될 수 있다. 또한, 복수 개의 카테고리 영역들은 텍스트 표시 영역(132)을 중심으로 하여 대칭적으로 디스플레이될 수 있다.
도 9는 디스플레이 장치(100)를 설정하는 기능 카테고리를 제1 카테고리, 영화, 드라마, 다큐멘터리, 뉴스 등 컨텐츠에 관한 카테고리를 제2 카테고리, 디스플레이 장치(100) 상에서 실행되는 어플리케이션에 관한 카테고리를 제3 카테고리, 디스플레이 장치(100) 상에서 실행되는 웹에 관한 카테고리를 제4 카테고리로 도시하였으나, 이에 한정되는 것은 아니다. 또한, 도 9는 텍스트 표시 영역(132)을 중심으로 하여, 제1 카테고리 영역(133-1) 내지 제4 카테고리 영역(133-4)이 상측, 하측, 좌측, 및 우측 방향으로 디스플레이된 것을 도시하였으나, 이에 한정되는 것은 아니다.
한편, 아이템은 디스플레이 장치(100)에 저장된 것일 수 있고, 외부 서버 등의 송수신 장치로부터 수신된 것일 수도 있다. 또한, 아이템은 외부 서버 등의 송수신 장치로부터 수신되지 않은 것일 수도 있음은 물론이다.
또한, 아이템의 정렬 방향이나 카테고리 분류 기준, 필기 모드 표시 영역 등의 위치, 크기, 형태 등은 실시 예에 따라 다양하게 변형될 수 있다.
도 10 내지 도 11은 다양한 실시 예에 따른 검색 결과 화면의 예를 나타낸다.
도 10을 참조하면, 필기 모드 표시 영역(131) 및 텍스트 표시 영역(132)이 좌측에 표시되고, 제1 카테고리 영역(133-1) 내지 제4 카테고리 영역(133-4)이 배열될 수 있다. 이 경우, 각 카테고리 영역에 포함되는 아이템은 상하 방향으로 배열되어 디스플레이될 수 있다.
도 11에서는 카테고리 영역이 더욱 세분화된 경우를 도시하였다. 도 11을 참조하면, 텍스트 표시 영역(132)을 중심으로 하여, 제1 카테고리 영역(133-1) 내지 제8 카테고리 영역(133-8)이 가장자리 방향으로 배열될 수 있다. 이 경우, 각 카테고리 영역에 포함되는 아이템은 해당 카테고리 영역이 배열된 방향으로 배열되어 디스플레이될 수 있다.
한편, 사용자는 복수의 텍스트를 순차적으로 입력할 수 있다. 가령, 사용자는 하나의 텍스트를 필기한 후, 다음 텍스트를 순차적으로 필기할 수 있다. 이 경우, 제어부(140)는 후속 필기 내용에 기초하여 순차적으로 텍스트를 추출하고, 추출된 텍스트들을 조합하여 아이템을 검색할 수 있다.
도 12는 도 8에 따른 필기 궤적의 후속 필기가 이루어지는 경우를 도시하였고, 도 13은 이러한 후속 필기에 따른 디스플레이 장치(100)의 상세 화면을 도시하였다.
도 12를 참조하면, 사용자는 "S"의 후속 필기로 "P"라는 문자의 궤적을 그리게 된다. 이 경우, 원격 제어 장치(400)는 이전에 필기된 "S"는 터치 패드(410) 상에서 사라지도록 하고, 후속으로 필기된 "P"의 궤적을 디스플레이하게 된다. 즉, 사용자가 터치 패드(410) 상에서 "P"를 그리면, 터치 패드(410)는 사용자의 드래그와 동시에 "P"의 궤적을 디스플레이하게 된다. 원격 제어 장치(400)는 터치 패드(410) 상에 디스플레이된 "P"의 궤적을 디스플레이 장치(100)로 전송한다.
도 13을 참조하면, 텍스트 표시 영역(132)은 원격 제어 장치(400)로부터 수신된 "P"의 궤적을 디스플레이한다. 이 경우, 원격 제어 장치(400)가 전송하는 "P"는 이전에 전송한 "S"의 후속 필기이므로, 텍스트 표시 영역(132)에는 이전의 텍스트인 "S"는 그대로 디스플레이한 상태에서 후속 텍스트인 "P"를 디스플레이하게 된다. 즉, 텍스트 표시 영역(132)에는 "SP"가 디스플레이된다.
한편, 디스플레이 장치(100)는 텍스트 표시 영역(132)에 디스플레이된 "SP"를 포함하는 아이템을 디스플레이할 수 있다. 즉, 도 9에 도시된 바와 같은 상태에서, 아이템의 이름, 명칭, 또는 제목 중 "SP"로 시작하는 아이템이 검색된다. 따라서, 사용자는 원하는 아이템을 더욱 빠르고 직관적으로 검색할 수 있게 된다.
사용자는 검색 결과가 표시된 화면 상에서 적어도 하나의 아이템을 선택할 수 있다. 사용자의 선택은 다양한 방식으로 이루어질 수 있다.
도 14는 아이템을 선택하는 방법의 일 예를 나타내는 도면이고, 도 15는 이에 따른 디스플레이 장치(100)의 상세 화면의 일 예이다.
도 14에 따르면, 사용자는 필기 모드를 해제한 후 터치 패드를 이용하여 기 설정된 패턴의 터치를 수행하여 아이템을 선택할 수 있다. 즉, 원격 제어 장치(400)의 본체내에는 필기 모드 선택 및 해제를 토글할 수 있는 토글 스위치(미도시)가 마련될 수도 있고, 터치 패드 내에 필기 모드 선택 및 해제를 토글할 수 있는 토글 메뉴(미도시)가 표시될 수도 있다. 사용자는 이러한 토글 스위치 또는 토글 메뉴를 선택하여, 필기 모드를 해제할 수 있다.
도 14에서는 필기 모드를 해제한 후 특정 패턴(예를 들어 |)을 드로잉한 상태를 나타낸다. 이 경우, 제어부(140)는 필기 모드를 해제할 수 있다. 필기 모드가 해제되면, 도 8에서 설명한 바와 같은 텍스트 표시 영역(132)의 시각적 효과는 사라지게 된다. 제어부(140)는 필기 모드 해제 후 사용자가 드로잉한 특정 패턴에 따라 아이템을 선택한다.
또한, 아이템 선택은 원격 제어 장치(400)에 마련된 방향 키를 이용하여 이루어질 수도 있다. 원격 제어 장치(400)는 상측 방향 키, 하측 방향 키, 좌측 방향 키, 우측 방향 키를 포함할 수 있다. 따라서, 사용자는 원격 제어 장치(400)에 마련된 4 개의 방향 키 중 어느 하나를 선택함으로써, 현재 커서가 위치하고 있는 영역으로부터 원하는 방향으로 커서를 이동시킬 수 있다. 도 13을 참조하면, 커서는 현재 텍스트 표시 영역(132)에 위치하고 있다. 이 상태에서, 사용자는 전술한 방식에 따라 필기 모드를 해제한 후, 원격 제어 장치(400)에 마련된 4 개의 방향 키 중 하측 방향 키를 누를 수 있다. 이에 따라, 커서는 텍스트 표시 영역(132)에서 “SPORTS-TV”라는 아이템 영역으로 이동할 수 있다.
또한, 아이템 선택은 사용자의 음성 인식 또는 사용자의 모션 인식에 의해 이루어질 수도 있다. 음성 인식 또는 모션 인식에 의한 아이템 선택은 필기 모드가 설정된 상태인 경우 뿐만 아니라 필기 모드가 해제된 상태인 경우에도 적용될 수 있다. 따라서, 사용자는 디스플레이된 적어도 하나의 아이템 중 선택하고자 하는 아이템을 음성 또는 모션에 의해 선택할 수 있다. 도 13을 참조하면, 커서는 현재 텍스트 표시 영역(132)에 위치하고 있다. 이 상태에서, 사용자는 선택하고자 하는 아이템에 해당하는 음성인 “SPORTS TV”를 발음함으로써, 아이템을 선택할 수 있다. 또는, 사용자가 손을 아래로 향하는 모션을 취함으로써, 커서는 텍스트 표시 영역(132)에서 “SPORTS-TV”라는 아이템 영역으로 이동할 수 있다.
도 15에 따르면, 제어부(140)는 필기 모드가 해제되었음을 나타내는 GUI(131)를 표시하고, 기 검색된 아이템 중에서 사용자가 드로잉한 패턴에 대응되는 방향에 표시된 아이템에 커서를 표시한다. 도 14에서와 같이, 사용자가 상측에서 하측 방향으로 드로잉한 경우라면, 제어부(140)는 텍스트 표시 영역(132)을 기준으로 하측의 아이템인 "SPORTS-TV"에 정해진 시각적 효과, 즉, 커서를 표시한다.
이 상태에서, 사용자가 터치 패드(410) 상에 터치를 하게 되면, 원격 제어 장치(400)는 선택 신호를 전송한다. 제어부(140)는 "SPORTS-TV"라는 이름의 아이템에 시각적 효과가 표시된 상태에서 선택 신호가 수신되면, 해당 아이템이 선택된 것으로 판단한다. 이에 따라 해당 아이템에 대응되는 제어 동작을 수행한다. 가령, "SPORTS-TV"가 선택되었다면, 제어부(140)는 "SPORTS-TV"라는 이름의 방송 채널을 선국하여, 그 방송 채널을 통해 수신되는 신호를 출력한다. 그 밖에도, 아이템에는 각종 어플리케이션이 표시될 수도 있으며, 제어부(140)는 이러한 어플리케이션이 선택된 것으로 판단되면, 그 어플리케이션을 실행시켜 그 실행 화면을 디스플레이할 수도 있다. 이와 같이, 제어부(140)는 사용자의 필기 내용에 따라 다양한 아이템을 선별적으로 표시하고, 그 중 사용자가 선택한 아이템에 대응되는 제어 동작을 수행할 수 있다.
한편, 제어부(140)는 사용자가 선택한 아이템에 종속되는 하위 아이템이 존재하는 경우, 그 하위 아이템을 표시할 수 있다. 사용자는 하위 아이템 중 하나를 선택할 수 있으며, 제어부(140)는 선택된 하위 아이템에 대응되는 제어 동작을 선택할 수 있다. 하위 아이템의 선택은 상술한 바와 같은 필기 인식 방식으로 이루어질 수도 있고, 커서 이동 방식으로 이루어질 수도 있다.
필기 인식 방식으로 이루어지는 경우, 제어부(140)는 하위 아이템을 표시하면서 필기 모드를 다시 활성화시킬 수 있다.
도 16은 필기 모드를 활성화시켜 하위 아이템을 선택하는 방법의 일 예를 나타내는 도면이다.
즉, 도 15와 같이 사용자가 "SPORTS-TV"라는 아이템을 선택한 경우, 제어부(140)는 이에 포함되는 복수 개의 하위 아이템들을 미리 정해진 순서대로 배열할 수 있다.
도 16에서는 "SPORTS-TV"라는 아이템에 포함된 복수 개의 하위 아이템들을 아이템의 이름, 명칭, 또는 제목의 알파벳 순서로 배열하여 디스플레이한 것을 도시하였다.
제어부(140)는 필기 모드를 자동으로 다시 활성화시키고, 도 16에 도시된 바와 같이, 텍스트 표시 영역(132)을 표시한다. 사용자는 전술한 바와 같이 필기를 입력하고, 디스플레이 장치(100)는 입력된 필기에 대응하는 하위 아이템을 검색 및 추출할 수 있다.
한편, 또 다른 실시 예에 따르면, 제어부(140)는 필기 모드가 비활성화된 상태를 그대로 유지하면서, 하위 아이템을 표시하여 줄 수도 있다.
즉, 도 17에 도시된 바와 같이, 제어부(140)는 텍스트 표시 영역(132)을 표시하지 않고, 하위 아이템들 중 하나의 하위 아이템에 커서를 표시하여 줄 수 있다. 사용자는 전술한 바와 같이 터치 패드(410) 상에 상하 방향, 좌우 방향, 대각선 방향 등에 대한 터치 및 드래그를 함으로써, 원하는 하위 아이템을 선택하여 실행할 수 있다.
이상과 같이 사용자는 원격 제어 장치 상에서의 필기 입력을 통해서, 디스플레이 장치의 동작을 편리하게 제어할 수 있다.
상술한 다양한 실시 예들에 따른 디스플레이 장치의 디스플레이 방법은, 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
일 예로, 원격 제어 장치에서 사용자 필기가 이루어지면, 필기 궤적을 수신하는 단계, 상기 필기 궤적에 대응되는 텍스트를 추출하는 단계, 상기 텍스트에 대응되는 아이템을 검색하는 단계 및 상기 검색된 아이템을 복수의 카테고리로 분류하여 디스플레이하는 단계를 포함하는 디스플레이 방법을 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 디스플레이 장치
110 : 입력부 120 : 검출부
130 : 디스플레이부 140 : 제어부
150 : 통신부 160 : 저장부
400 : 원격 제어 장치 410 : 터치 패드

Claims (12)

  1. 디스플레이부;
    원격 제어 장치에서 사용자 필기가 이루어지면, 필기 궤적을 수신하는 입력부;
    상기 필기 궤적에 대응되는 텍스트를 추출하는 검출부; 및
    상기 텍스트에 대응되는 아이템을 검색하고, 상기 검색된 아이템을 복수의 카테고리로 분류하여 상기 디스플레이부에 디스플레이하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 원격 제어 장치에서 후속 필기가 이루어지면 상기 후속 필기에 따른 필기 궤적으로부터 후속 텍스트를 추출하고, 상기 텍스트 및 상기 후속 텍스트에 대응되는 아이템을 재검색하며, 상기 재검색된 아이템을 상기 복수의 카테고리에 따라 분류하여 상기 디스플레이부에 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 수신된 필기 궤적을 나타내는 필기 표시 영역을 화면의 일 영역에 위치시키고, 상기 필기 표시 영역을 기준으로 상측, 하측, 좌측, 및 우측 방향에 대하여 상기 복수의 카테고리 각각을 매칭하여, 상기 카테고리 별로 분류된 검색 결과를 정렬하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 필기 표시 영역을 상기 화면의 중앙 또는 상기 화면에 대한 4개의 모서리 중 일측에 위치시키는 것을 특징으로 하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 아이템이 선택되면, 상기 선택된 아이템에 대응되는 제어 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 복수의 카테고리는,
    어플리케이션 카테고리, 웹 카테고리, 기능 카테고리, 및 컨텐츠 카테고리 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  7. 원격 제어 장치에서 사용자 필기가 이루어지면, 필기 궤적을 수신하는 단계;
    상기 필기 궤적에 대응되는 텍스트를 추출하는 단계;
    상기 텍스트에 대응되는 아이템을 검색하는 단계; 및
    상기 검색된 아이템을 복수의 카테고리로 분류하여 디스플레이하는 단계;를 포함하는 디스플레이 방법.
  8. 제7항에 있어서,
    상기 원격 제어 장치에서 후속 필기가 이루어지면 상기 후속 필기에 따른 필기 궤적으로부터 후속 텍스트를 추출하는 단계;
    상기 텍스트 및 상기 후속 텍스트에 대응되는 아이템을 재검색하는 단계; 및
    상기 재검색된 아이템을 상기 복수의 카테고리에 따라 분류하여 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  9. 제7항에 있어서,
    상기 수신된 필기 궤적을 나타내는 필기 표시 영역을 화면의 일 영역에 표시하는 단계;
    상기 필기 표시 영역을 기준으로 상측, 하측, 좌측, 및 우측 방향에 대하여 상기 복수의 카테고리 각각을 매칭하는 단계; 및
    상기 카테고리 별로 분류된 검색 결과를 정렬하여 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  10. 제9항에 있어서,
    상기 필기 표시 영역은 상기 화면의 중앙 또는 상기 화면에 대한 4개의 모서리 중 일측에 표시되는 것을 특징으로 하는 디스플레이 방법.
  11. 제7항에 있어서,
    상기 아이템이 선택되면, 상기 선택된 아이템에 대응되는 제어 동작을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 복수의 카테고리는,
    어플리케이션 카테고리, 웹 카테고리, 기능 카테고리, 및 컨텐츠 카테고리 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 방법.
KR1020130094656A 2013-08-09 2013-08-09 디스플레이 장치 및 그 방법 KR20150018127A (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020130094656A KR20150018127A (ko) 2013-08-09 2013-08-09 디스플레이 장치 및 그 방법
CN201480043760.9A CN105556453A (zh) 2013-08-09 2014-02-11 显示装置及其方法
PCT/KR2014/001119 WO2015020288A1 (en) 2013-08-09 2014-02-11 Display apparatus and the method thereof
JP2016533004A JP2016535343A (ja) 2013-08-09 2014-02-11 ディスプレイ装置及びその方法
EP14154767.9A EP2835730A1 (en) 2013-08-09 2014-02-12 Display apparatus and the method thereof
US14/324,278 US10089006B2 (en) 2013-08-09 2014-07-07 Display apparatus and the method thereof
US14/453,753 US20150046294A1 (en) 2013-08-09 2014-08-07 Display apparatus, the method thereof and item providing method
EP20140180187 EP2835733A1 (en) 2013-08-09 2014-08-07 Display apparatus, the method thereof and item providing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130094656A KR20150018127A (ko) 2013-08-09 2013-08-09 디스플레이 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20150018127A true KR20150018127A (ko) 2015-02-23

Family

ID=50112732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130094656A KR20150018127A (ko) 2013-08-09 2013-08-09 디스플레이 장치 및 그 방법

Country Status (6)

Country Link
US (1) US10089006B2 (ko)
EP (1) EP2835730A1 (ko)
JP (1) JP2016535343A (ko)
KR (1) KR20150018127A (ko)
CN (1) CN105556453A (ko)
WO (1) WO2015020288A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150331665A1 (en) * 2014-05-13 2015-11-19 Panasonic Intellectual Property Corporation Of America Information provision method using voice recognition function and control method for device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073257A1 (en) * 2014-09-04 2016-03-10 Wedoey, Inc. Console Display Terminal
US11797172B2 (en) * 2015-03-06 2023-10-24 Alibaba Group Holding Limited Method and apparatus for interacting with content through overlays
EP3296851A4 (en) * 2015-05-08 2018-05-09 Fujitsu Limited Input reception method, input reception program, and terminal device
CN106775089B (zh) * 2016-12-20 2021-03-30 北京小米移动软件有限公司 设备控制方法及装置
EP3531259B8 (en) * 2018-02-23 2021-11-24 Rohde & Schwarz GmbH & Co. KG Measurement device and method for controlling the same
WO2020080300A1 (en) * 2018-10-15 2020-04-23 Ricoh Company, Ltd. Input apparatus, input method, program, and input system
JP7508766B2 (ja) * 2018-10-15 2024-07-02 株式会社リコー 入力装置、入力方法、プログラム、入力システム
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0170326B1 (ko) 1994-07-27 1999-03-30 김광호 원격제어방법 및 그 장치
JP4955843B2 (ja) * 1998-08-31 2012-06-20 三菱電機株式会社 情報検索システム、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000187658A (ja) * 1998-12-22 2000-07-04 Toshiba Corp 文字列予測方法、及び文字列予測装置
JP2000305933A (ja) * 1999-04-26 2000-11-02 Canon Inc 情報検索装置、情報検索方法、及び記憶媒体
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
AUPS020302A0 (en) * 2002-01-31 2002-02-21 Silverbrook Research Pty. Ltd. Methods and systems (npw007)
CN1444392A (zh) * 2002-03-12 2003-09-24 喻湘晖 一种电视遥控器及其遥控方法
EP1566193A1 (en) 2004-02-18 2005-08-24 Unomedical a/s Infusion device provided with septum housing
JP4333409B2 (ja) 2004-02-27 2009-09-16 ソニー株式会社 情報処理装置および方法、並びにプログラム
TWI236239B (en) * 2004-05-25 2005-07-11 Elan Microelectronics Corp Remote controller
JP4366593B2 (ja) 2004-07-22 2009-11-18 ソニー株式会社 電子機器、電子機器における表示制御方法およびグラフィッカル・ユーザ・インターフェース用プログラム
JP2006217215A (ja) * 2005-02-03 2006-08-17 Sony Corp 番組検索装置、番組検索方法、プログラムおよび記録媒体ならびに受信装置
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US7627466B2 (en) * 2005-11-09 2009-12-01 Microsoft Corporation Natural language interface for driving adaptive scenarios
US20070152961A1 (en) * 2005-12-30 2007-07-05 Dunton Randy R User interface for a media device
TWI312241B (en) * 2006-05-24 2009-07-11 Elan Microelectronics Corporatio Remote control with a communication function
JP2008102796A (ja) * 2006-10-19 2008-05-01 Softbank Bb Corp 個人情報管理システム及び個人情報管理方法
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
KR101303019B1 (ko) * 2007-01-19 2013-09-03 엘지전자 주식회사 터치 스크린을 포함하는 단말기 및 이를 이용한 검색화면제공방법
EP2456178B1 (en) 2007-04-26 2016-12-21 Nokia Technologies Oy Method and portable apparatus for searching items of different types
US8190627B2 (en) * 2007-06-28 2012-05-29 Microsoft Corporation Machine assisted query formulation
JP2009060328A (ja) * 2007-08-31 2009-03-19 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US7502017B1 (en) 2007-11-20 2009-03-10 International Business Machines Corporation Handwriting recognizer user interface methods
KR100915295B1 (ko) * 2008-01-22 2009-09-03 성균관대학교산학협력단 검색 결과 자동 분류 시스템 및 그 방법
US20100153265A1 (en) 2008-12-15 2010-06-17 Ebay Inc. Single page on-line check-out
US8869070B2 (en) * 2008-12-30 2014-10-21 T-Mobile Usa, Inc. Handwriting manipulation for conducting a search over multiple databases
JP2010204987A (ja) * 2009-03-04 2010-09-16 Alps Electric Co Ltd タッチパッド入力装置及びタッチパッド入力装置付き機器
KR101478133B1 (ko) * 2009-05-25 2014-12-31 센트럴 사우스 유니버시티 1-（치환된 벤질기）-5-트리플루오로메틸-2-（1ｈ）피리돈 화합물 및 그 염의 제조방법 및 용도
WO2011024282A1 (ja) 2009-08-27 2011-03-03 株式会社 東芝 情報検索装置
JP4635097B1 (ja) * 2009-08-28 2011-02-23 株式会社東芝 表示処理装置、及び表示処理方法
CN101867741B (zh) * 2010-05-21 2012-06-27 中山大学 一种集成鼠标、手写板、子母机的机顶盒遥控器装置
US10430871B2 (en) 2010-05-21 2019-10-01 Ncr Corporation Self-service terminal
KR20120013727A (ko) 2010-08-06 2012-02-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN102033928B (zh) * 2010-12-15 2013-01-23 北京壹人壹本信息科技有限公司 手写原笔迹记录及查询***、电子装置
US8634515B2 (en) * 2011-04-25 2014-01-21 Vatech Co., Ltd. Method and apparatus for obtaining panoramic image
US8094941B1 (en) 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
US20110302060A1 (en) 2011-08-18 2011-12-08 Rodrigo Cano Order processing and benefit distribution systems and methods
KR20140019206A (ko) * 2012-07-13 2014-02-14 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 방법
US8958644B2 (en) * 2013-02-28 2015-02-17 Ricoh Co., Ltd. Creating tables with handwriting images, symbolic representations and media images from forms
KR20140110356A (ko) * 2013-03-07 2014-09-17 삼성전자주식회사 입력 장치, 디스플레이 장치 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150331665A1 (en) * 2014-05-13 2015-11-19 Panasonic Intellectual Property Corporation Of America Information provision method using voice recognition function and control method for device

Also Published As

Publication number Publication date
EP2835730A1 (en) 2015-02-11
US10089006B2 (en) 2018-10-02
WO2015020288A1 (en) 2015-02-12
CN105556453A (zh) 2016-05-04
JP2016535343A (ja) 2016-11-10
US20150046433A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
KR102364443B1 (ko) 디스플레이 장치의 이의 디스플레이 방법
KR20150018127A (ko) 디스플레이 장치 및 그 방법
KR102354328B1 (ko) 영상 표시 장치 및 그 동작 방법
US20150046294A1 (en) Display apparatus, the method thereof and item providing method
US20150199109A1 (en) Display device and method for controlling the same
US20150312508A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
US20140173516A1 (en) Display apparatus and method of providing user interface thereof
KR20140131166A (ko) 디스플레이 장치 및 검색 방법
EP3024220A2 (en) Display apparatus and display method
US20160334988A1 (en) Display device and method for providing recommended characters from same
KR102147389B1 (ko) 디스플레이 장치 및 이의 제어 방법
KR20160019693A (ko) 사용자 단말 장치, 디스플레이 장치, 시스템 및 그 제어 방법
CN108737888A (zh) 显示设备、显示***以及用于控制显示设备的方法
KR20150136312A (ko) 디스플레이 장치 및 이의 정보 제공 방법
EP3438852B1 (en) Electronic device and control method thereof
KR20140100306A (ko) 휴대 기기 및 이의 외부 기기 제어 방법
US20160119685A1 (en) Display method and display device
CN103049193A (zh) 通过按键实现网页翻页的方法和装置
KR20150142347A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
KR20160117933A (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
KR20160134355A (ko) 디스플레이 장치 및 이의 제어 방법
KR20150072766A (ko) 원격 제어 시스템, 원격 제어 장치 및 그 방법
KR20140141026A (ko) 디스플레이 장치 및 검색 결과를 표시하는 방법.
KR20150026255A (ko) 디스플레이 장치 및 그 제어 방법
KR20150020756A (ko) 디스플레이 장치, 그 방법 및 아이템 제공 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid