JP2014002748A - 遠隔制御装置及びその制御方法 - Google Patents

遠隔制御装置及びその制御方法 Download PDF

Info

Publication number
JP2014002748A
JP2014002748A JP2013129695A JP2013129695A JP2014002748A JP 2014002748 A JP2014002748 A JP 2014002748A JP 2013129695 A JP2013129695 A JP 2013129695A JP 2013129695 A JP2013129695 A JP 2013129695A JP 2014002748 A JP2014002748 A JP 2014002748A
Authority
JP
Japan
Prior art keywords
remote control
control device
mode
unit
button unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013129695A
Other languages
English (en)
Inventor
Eun-Seok Choi
恩碩 崔
Woo-Seok Lee
雨錫 李
Sang-On Choi
相彦 崔
Sang-Min Hyun
▲尚▼旻 玄
浚元 ▲ベ▼
Jun-Won Bae
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014002748A publication Critical patent/JP2014002748A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】検知されたジェスチャーに応じて動作する複数の制御モードを提供する遠隔制御装置及びその制御方法を提供する。
【解決手段】遠隔制御装置200は、ユーザインターフェース画面を提供する外部ディスプレイ装置と通信を行う通信部210と、遠隔制御装置200の動きを検知する検知部220と、制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部231と、検知部220から検知された遠隔制御装置200の動きに応じてユーザインターフェース画面の表示状態を制御し、モード切り替えボタン部231の押圧状態が解除されている場合、ポインティングモードで動作し、モード切り替えボタン部231の押圧状態が持続する間、ジェスチャーモードで動作するように制御する制御部240とを含み、モード切り替えボタン部231は、遠隔制御装置200の背面のユーザグリップ位置に配置されてよい。
【選択図】図6

Description

本発明は、遠隔制御装置及びその制御方法に関し、より詳細には、ジェスチャーを検知する遠隔制御装置及びその制御方法に関する。
電子技術の発達により、多様な方式で電子装置を制御するための方策が開発されている。従来は、電子装置に備えられたボタンや電子装置とは別途の装置であるリモートコントローラを用いて電子装置を制御してきた。
しかし、従来のように、電子装置とは別途の装置であるリモートコントローラを用いて電子装置を制御する場合、ユーザは自分の望む操作のために、リモートコントローラに具備されたボタンを一々確認して押すという操作をしなければならないという問題があった。
例えば、電子装置の画面上において特定のコンテンツを選択するために、画面上にディスプレイされているポインタを利用する場合、ユーザはリモコンの4方向ボタンを数回繰り返して選択し、ポインタを当該コンテンツ領域にまで移動させて、当該コンテンツ領域上でリモートコントローラに具備された選択ボタンを押圧操作して特定コンテンツを選択することができた。すなわち、ユーザは、リモートコントローラに具備されたボタンを何度も確認して、数回押圧操作する動作を通じて当該コンテンツを選択しなければならないという不都合があった。
それにより、ユーザが遠距離からより便利に、電子装置の画面上にディスプレイされた情報を探索するための方策が求められる。
韓国特開第2008−003788号公報
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、検知されたジェスチャーに応じて動作する複数の制御モードを提供する遠隔制御装置及びその制御方法を提供することにある。
以上のような目的を達成するための本発明の一実施形態に係る複数の制御モードを提供する遠隔制御装置は、ユーザインターフェース画面を提供する外部ディスプレイ装置と通信を行う通信部と、前記遠隔制御装置の動きを検知する検知部と、制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部と、前記検知部から検知された前記遠隔制御装置の動きに応じて前記ユーザインターフェース画面の表示状態を制御し、前記モード切り替えボタン部の押圧状態が解除されている場合、ポインティングモードで動作し、前記モード切り替えボタン部の押圧状態が持続する間、ジェスチャーモードで動作するように制御する制御部とを含み、前記モード切り替えボタン部は、前記遠隔制御装置の背面のユーザグリップ(grip)位置に配置されてよい。
ここで、前記ポインティングモードは、前記検知部から検知された前記遠隔制御装置の移動状態に応じて、前記ユーザインターフェース画面に表示されたポインタの移動状態を制御するためのモードであり、前記ジェスチャーモードは、前記遠隔制御装置の予め設定されたジェスチャーに応じて前記ユーザインターフェース画面の表示状態を制御するためのモードであってよい。
なお、前記ポインティングモードで前記ポインタの位置されたオブジェクトを選択するユーザ命令を入力される選択ボタン部を更に含み、前記選択ボタン部は、前記遠隔制御装置の前面に配置されてよい。
なお、前記選択ボタン部の外郭に配置される4方向入力部を更に含み、前記4方向ボタン部は、タッチセンサ及び光通信技術を応用したOJ(Optical Joystic)センサのうち、少なくとも一方を含む形態で実現されてよい。
なお、互いに異なる機能がマッピングされた複数のタッチ領域を含むタッチ入力部を更に含み、前記タッチ入力部は、前記遠隔制御装置の前面に配置されてよい。
なお、前記検知部は、加速度センサ、ジャイロセンサ及び地磁気センサのうち、少なくとも一つを含んでよい。
なお、前記通信部は、RF通信モジュールを含んでよい。
この場合、前記モード切り替えボタン部の配置される遠隔制御装置の前面が凹状にラウンディング形成されてよい。
なお、前記モード切り替えボタン部は、遠隔制御装置の前面及び両側面に亘って連続的に配置され、遠隔制御装置の両側面は前面に連続して凹状にラウンディング形成されてよい。
なお、前記モード切り替えボタン部は、複数個からなってよい。
なお、前記選択ボタン部の配置される遠隔制御装置の上部は、後ろ側に進むほど次第に下向き傾斜するようにラウンディング形成されてよい。
一方、本発明の一実施形態に係る複数の制御モードを提供する遠隔制御装置の制御方法は、前記遠隔制御装置の移動状態に応じて外部ディスプレイ装置から提供されるユーザインターフェース画面に表示されたポインタの移動状態を制御するためのポインティングモードで動作するステップと、制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部の押圧状態を検知するステップと、前記モード切り替えボタン部の押圧状態が持続する間、予め設定されたジェスチャーに応じて前記ユーザインターフェース画面の表示状態を制御するためのジェスチャーモードで動作するステップとを含み、前記モード切り替えボタン部は、前記遠隔制御装置の背面のユーザグリップ(grip)位置に配置されてよい。
なお、前記ポインティングモードでオブジェクトを選択するためのユーザ命令を入力される選択ボタン部の押圧状態を検知するステップと、前記選択ボタン部の押圧状態が検知されると、前記ポインタの位置されたオブジェクトを実行するための制御信号を前記ディスプレイ装置に伝送するステップとを更に含んでよい。
一方、本発明の別の実施形態に係る複数の制御モードを提供する遠隔制御装置は、ユーザインターフェース画面を提供する外部ディスプレイ装置と通信を行う通信部と、前記遠隔制御装置の動きを検知する検知部と、制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部と、前記検知部から検知された前記遠隔制御装置の動きに応じて前記ユーザインターフェース画面の表示状態を制御し、前記モード切り替えボタン部の押圧状態が解除されている場合、ポインティングモードで動作し、前記モード切り替えボタン部の押圧状態が持続する間、ジェスチャーモードで動作するように制御する制御部と、前記ポインティングモードで前記ポインタの位置されたオブジェクトを選択するためのユーザ命令を入力される選択ボタン部とを含み、前記モード切り替えボタン部は、前記遠隔制御装置の前面または前面及び両側面に亘って配置され、前記遠隔制御装置の前面及び両側面は凹状にラウンディング形成され、前記選択ボタン部は、前記遠隔制御装置の上部に配置され、前記遠隔制御装置の上部は、後ろ側に進むほど次第に下向き傾斜するように形成されてよい。
以上説明したように、本発明によれば、タッチ方式と類似するインターフェース経験を提供する直観的な遠隔制御方法を提供することができるようになる。
本発明の一実施形態に係るディスプレイシステムの構成を示す模式図である。 図1に示すディスプレイシステムの一実施形態に係る動作を説明するための図である。 本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係る制御部の細部構成を説明するための図である。 多様な実施形態に係る制御部の動作をサポートするための保存部のソフトウェア構造を示す図である。 本発明の一実施形態に係る遠隔制御装置の構成を示すブロック図である。 図6に示す遠隔制御装置の細部構成を示すブロック図である。 本発明の一実施形態に係る信号処理アルゴリズムの形態を説明するためのブロック図である。 図6及び図7に示す遠隔制御装置の外観を示す図である。 遠隔制御装置のモード切り替えボタン部を複数個を備えた例を示す図である。 本発明の多様な実施形態に係る遠隔制御装置の操作形態を説明するための図である。 本発明の一実施形態に係るポインティングモードにおける動作状態を説明するための図である。 本発明の一実施形態に係るモード切り替えに係る動作状態を説明するための図である。 本発明の一実施形態に係るジェスチャーモードにおける動作状態を説明するための図である。 本発明の別の実施形態に係るジェスチャーモードにおける動作状態を説明するための図である。 本発明の更に別の実施形態に係るジェスチャーモードにおける動作状態を説明するための図である。 図17は、本発明の一実施形態に係る遠隔制御装置の制御方法を説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図1は、本発明の一実施形態に係るディスプレイシステムの構成を示す模式図である。
同図に示すように、本発明の一実施形態に係るディスプレイシステムは、ディスプレイ装置100及び遠隔制御装置200を含む。
ディスプレイ装置100は、複数の制御モードを提供する遠隔制御装置200によって制御される機器として、デジタルテレビで実現可能だが、パソコン等のように遠隔制御が可能な機器なら、限定せずに適用可能である。
遠隔制御装置200は、ディスプレイ装置100を遠隔から制御するための装置として、ユーザ命令を受信して受信されたユーザ命令に対応する制御信号をディスプレイ装置100に伝送することができる。
特に、遠隔制御装置200は、XYZ空間上で遠隔制御装置200の動きを検知し、検知された3次元動きに関する信号をディスプレイ装置100に伝送することができる。ここで、3次元動きは、ディスプレイ装置100を制御するための命令に対応してよい。すなわち、ユーザは、遠隔制御装置200を空間上で動かすことにより、ディスプレイ装置100に予め設定された命令を伝達することができるようになる。
この場合、遠隔制御装置200は、検知された動き情報に対応する信号(以下で、制御信号という)を伝送することもできるが、検知された動き情報に対応する信号をディスプレイ装置100を制御するための制御命令に変換した信号(以下で、制御情報という)を伝送することもできる。それは検知された情報に対する演算がディスプレイ装置100で行われるか、遠隔制御装置200で行われるかによって異なってよいが、それに対する詳細な説明は後述する。
特に、遠隔制御装置200は、互いに異なる複数の制御モードを提供することができる。
具体的に、遠隔制御装置200は、遠隔制御装置200の移動状態に応じてディスプレイ装置100を介して提供されるユーザインターフェース画面(以下、UI画面という)に表示されたポインタの移動状態を制御するためのポインティングモード及び遠隔制御装置200の予め設定されたジェスチャーに応じてUI画面の表示状態を制御するためのジェスチャーモードで動作することができる。ここで、ジェスチャーモードで制御されるUI画面の表示状態は、メニュー画面表示等のような特定機能が実行される画面転換、画面に表示されたコンテンツ内容が変わるページ転換のような画面転換等で、単にポインタの移動状態を制御するポインティングモードと区別できる。
一方、遠隔制御装置200は、絶対座標方式に基づいてポインティングモードを提供することができる。すなわち、遠隔制御装置200の移動領域とディスプレイ装置100の画面とが一致する形態であってよい。
具体的に、予め設定された絶対基準点を中心にユーザが動かす遠隔制御装置200の移動軌跡を算出することができる。例えば、遠隔制御装置200が空間上で(x1、y1)地点から(x2、y2)地点に移動したとしたら、遠隔制御装置200に移動状態に対応するポインタは画面上でそれにマッチする(x3、y3)地点から(x4、y4)地点にまで移動することができる。(x1、y1)から(x2、y2)までの距離と、(x3、y3)から(x4、y4)までの距離とは、マッチする比率に応じて互いに異なってよい。
なお、遠隔制御装置200は、複数の制御モード提供のために制御モード切り替えのためのユーザ命令を受信するモード切り替えボタンを含んでよい。それに対する詳細な説明は、後述する。
一方、ディスプレイ装置100及び遠隔制御装置200は、BT(BlueTooth)、Zigbee(登録商標)、WI−FI(登録商標)(Wireless Fidelity)、IR(Infrared)、Serial Inteface、USB(Universal Serial Bus)等の多様な通信方式を通じて通信を行うことができる。例えば、ディスプレイ装置100及び遠隔制御装置200がBTを通じて通信を行う場合、ブルートゥースペアリングを通じて互いに連動してよい。ブルートゥースペアリングに関連した詳細技術は、当業者に自明であるため、詳細な説明は省略する。
図2は、図1に示すディスプレイシステムの一実施形態に係る動作を説明するための図である。
同図に示すように、遠隔制御装置200がポインティングモードで動作する場合(S210)、ディスプレイ装置100はポインタを含むUI画面を提供することができる(S220)。ここで、UI画面に表示されたポインタは少なくとも一つのコンテンツをポインティングする機能であってよく、手の形のポインタの場合、ポインティングする形態の手の形のポインタであってよい。
遠隔制御装置200の移動方向及び移動程度に応じてポインタもUI画面上で移動するようになる。ポインティングモードでは、上述のように、絶対座標方式を利用してよい。
続いて、遠隔制御装置200を介してモード切り替え命令が受信されると(S230)、遠隔制御装置200はジェスチャーモードで動作するようになる(S240)。
なお、遠隔制御装置200は、モード切り替え信号をディスプレイ装置100に伝送する(S250)。
この場合、ディスプレイ装置100は、ジェスチャーモードに対応するUI画面を提供する(S260)。具体的に、UI画面に表示されたポインタの形態を変更してディスプレイすることができる。例えば、UI画面に表示されたポインタが手の形のポインタである場合、ポインティング(pointing)する形態の手の形のポインタをパーム(palm)形態の手の形のポインタに変更してディスプレイすることができる。
なお、ディスプレイ装置100は、画面上にジェスチャー入力をガイドするガイドGUIをパーム形態の手の形のポインタとともにディスプレイすることができる。ここで、ガイドGUIは、UI画面のタイプに応じて異なる形態であってよい。例えば、ガイドGUIは、現在のUI画面上に適用できるジェスチャー方向をガイドする矢印形態であってよい。
図3は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。
同図の(a)によると、ディスプレイ装置100は、通信部110と、ディスプレイ部120及び制御部130を含む。
ディスプレイ装置100は、デジタルテレビ、パソコン、ノートパソコン等で実現可能だが、それに限定するものではなく、ディスプレイ機能を備えて遠隔制御が可能なデバイスなら限定せずに適用できる。
通信部110は、遠隔制御装置200と通信を行うことができる。具体的に、通信部110は、BT(BlueTooth)、Zigbee(登録商標)、Wi−Fi(登録商標)(Wireless Fidelity)、IR(Infrared)、Serial Interace、USB(Universal Serial Bus)等の多様な通信方式を通じて、遠隔制御装置200と通信を行うことができる。
具体的に、通信部110は、遠隔制御装置200を介して入力されたユーザ命令に対応する制御信号を受信することができる。ここで、ユーザ命令は、ジェスチャー入力であってよく、ボタン入力、音声入力等のような方式が更に適用されてよい。
例えば、遠隔制御装置200を介して検知されたジェスチャー命令に対応する制御信号を受信することができる。ただ、上述のように、場合によっては、遠隔制御装置200で演算処理能力に応じて制御信号ではない制御情報を受信することもできる。
なお、通信部110は、遠隔制御装置200から制御モード切り替え信号、選択信号等を受信することもできる。この場合、制御モード切り替え信号、選択信号等は遠隔制御装置200に備えられたボタン部を介して入力されてよい。
なお、通信部110は、場合によっては、遠隔制御装置200に情報を伝送することもできる。例えば、ディスプレイ装置100がパワーオフされる場合、遠隔制御装置200にパワーオフ信号を伝送し、遠隔制御装置200が自動的にパワーオフされるようにすることができる。
ディスプレイ部120は、ディスプレイ装置100を介して提供可能な多様なディスプレイ画面を提供することができる。
特に、ディスプレイ部120は、ユーザインターフェースが可能な多様なUI画面をディスプレイすることができる。
なお、ディスプレイ部120は、制御部130の制御に応じて、遠隔制御装置200の制御モードに対応するGUIをディスプレイすることができる。
具体的に、ディスプレイ部120は、遠隔制御装置200がポインティングモードにある場合、ディスプレイされたUI画面にカーソル、マウスカーソル、ハイライト表示のようなポインタをディスプレイすることができる。なお、ディスプレイ部120は、ポインティングモードで遠隔制御装置200から受信された制御信号に応じてポインタの位置を移動させてディスプレイすることができる。
なお、ディスプレイ部120は、遠隔制御装置200がポインティングモードからジェスチャーモードに変更される場合、ディスプレイされたUI画面にジェスチャー入力をガイドするガイドGUIをディスプレイすることができる。ここで、ガイドGUIは、ジェスチャー方向を示す矢印のキュー(cue)であってよいが、それに限定されるものではない。
ここで、ディスプレイ部120は、液晶ディスプレイ(Liquid Crystal Display)、薄膜トランジスタ液晶ディスプレイ(Thin Film Transistor−Liquid Crystal Display)、有機発光ダイオード(Organic Light−Emitting Diode)、フレキシブルディスプレイ(Flexible Display)、3次元ディスプレイ(3D Display)等のような多様なディスプレイで実現されてよい。
制御部130は、ディスプレイ装置100の動作全般を制御する機能を備える。
制御部130は、遠隔制御装置200から受信された制御信号をディスプレイ装置100を制御するための制御情報に変換し、変換された制御情報に応じてディスプレイ装置100を制御することができる。具体的に、制御部130は、受信された制御信号を制御情報マッピングテーブルを用いてディスプレイ装置100の機能に適用される制御情報形態に変換し、変換された制御情報を用いてディスプレイ装置100の機能を制御することができる。
特に、遠隔制御装置200の制御モードに応じて対応する形態のGUIを提供するようにディスプレイ部120を制御することができる。
例えば、ディスプレイ部120にUI画面がディスプレイされると、基本的にディスプレイ装置100はポインティングモードで動作し、それに対応するGUIをディスプレイすることができる。なお、ユーザ命令に従って遠隔制御装置200がジェスチャーモードで動作する場合、それに対応するGUIをディスプレイするようにディスプレイ部120を制御することができる。ここで、GUIは、UI画面上で多様なインディケーティング機能を実行するオブジェクトとして、上述のポインタ、カーソル、マウスカーソル等のような形態で実現されてよい。
具体的に、遠隔制御装置200から遠隔制御装置200をポインティングモードからジェスチャーモードに切り替えるためのモード切り替え命令が受信されると、画面にディスプレイされたオブジェクトの形態を変更してディスプレイすることができる。例えば、オブジェクトが手の形のポインタである場合、ポインティングモードでは、人差し指のみ開いたポインティング(pointing)の形態の手の形をディスプレイし、ジェスチャーモードでは全ての指を開いたパーム(Palm)形態の手の形をディスプレイすることができる。
なお、制御部130は、ジェスチャーモードから提供されるUI画面で入力可能な操作状態に応じて、オブジェクトの形状や色相、大きさ、位置及び方向のうち、少なくともいずれか一つを変更してディスプレイすることができる。例えば、オブジェクトが手の形のポインタであり、ジェスチャーモードで画面のズームイン/アウト操作が可能な状態である場合、ズームイン状態では、手の形のポインタの大きさを拡大させて表示し、ズームアウト状態では、手の形のポインタの大きさを縮小して表示することができる。
なお、制御部130は、遠隔制御装置200から遠隔制御装置200をポインティングモードからジェスチャーモードに切り替えるためのモード切り替え命令が受信されると、遠隔制御装置200を介したジェスチャー入力をガイドする方向性を有する形態のガイドGUI(Graphic User Interface)をディスプレイするように、ディスプレイ部120を制御することができる。例えば、ジェスチャーモードで左右フリッキング(flicking)操作が可能な場合、左右矢印方向のガイドGUIをディスプレイすることができる。
なお、制御部130は、ポインティングモードで、遠隔制御装置200の移動方向及び移動程度の少なくともいずれか一方に応じて、UI画面に表示されたポインタの移動方向及び移動程度の少なくともいずれか一方を変更して表示するように、ディスプレイ部120を制御することができる。この場合、上述のように、絶対座標方式を利用することができる。
なお、制御部130は、ジェスチャーモードで、遠隔制御装置200をディスプレイ部120の画面に平行となるXY軸方向に移動させるジェスチャーが入力されると、UI画面をXY軸方向にシステム的にマッチしている他UI画面に変更して表示するように、ディスプレイ部120を制御することができる。
なお、制御部130は、ジェスチャーモードで、遠隔制御装置200をディスプレイ部120の画面に垂直となるZ軸上で移動させるジェスチャーが入力されると、遠隔制御装置200の移動状態に応じてUI画面上で選択されたコンテンツをズームイン(Zoom in)またはズームアウト(Zoom out)させて表示するように制御してよい。
図の3(b)は、図3の(a)に示すディスプレイ装置の細部構成を示すブロック図である。
図3の(b)によると、ディスプレイ装置100’は、通信部110と、ディスプレイ部120と、制御部130と、保存部140と、映像受信部150と、映像処理部160と、ユーザインターフェース部170及びUI処理部180を含む。図3の(b)では、図3の(a)に示すディスプレイ装置100がデジタルテレビで実現される場合を想定して説明する。なお、図3の(b)に示す構成のうち、図3の(a)に示す構成要素と重複する部については、詳細な説明を省略する。
保存部140は、ディスプレイ装置100’を動作させるために必要な各種データ及びプログラム等が保存される保存媒体として、メモリやHDD(Hard Disk Drive)等で実現可能である。
特に、保存部140は、遠隔制御装置200から受信された制御信号に対応する制御情報を保存することができる。具体的に、保存部140は、遠隔制御装置200から受信された制御信号に対応する制御情報をテーブル形態で保存することができる。例えば、遠隔制御装置200から受信された左方から右方にフリックするジェスチャーに対応する制御信号に対しては、UI画面転換命令を、上下移動ジェスチャーに対応する制御信号に対しては、コンテンツズームイン/アウト命令にマッチして保存することができる。
映像受信部150は、アンテナやケーブル等を通じて放送コンテンツを受信したり、外部機器や外部通信網から映像コンテンツを受信する機能を備える。
具体的に、映像受信部150は、ネットワークまたは空中波(Air)を通じて多様な映像コンテンツを受信することができる。ここで、コンテンツはVODコンテンツのような既に製作されたコンテンツ、放送コンテンツ等の多様な種類のコンテンツであってよい。
この場合、映像受信部150は、多様な形態で実現可能である。例えば、ディスプレイ装置100がデジタルテレビで実現される場合、映像通信部110は、セットトップボックス(Set−top box)や、チューナ、外部入力ポート、ネットワーク通信モジュール等で実現されてよい。
映像処理部160は、映像受信部150を介して受信された多様な信号を信号処理する機能を備える。それにより、映像処理部160は、デモデュレーションやデコーダ、A/Dコンバータ、スケーラ等の信号処理要素を含んでよい。
ユーザインターフェース部170は、多様なユーザ信号を受信する機能を備える。
ここで、ユーザインターフェース部170は、ディスプレイ装置100の機器種類に応じて多様な形態で実現可能である。例えば、ディスプレイ装置100がデジタルテレビで実現される場合、ユーザインターフェース部170は、リモコン信号を受信する上述の通信部110で実現されてよい。
なお、ユーザインターフェース部170は、複数のキーを含む入力パネルまたはディスプレイとタッチパッドとが相互レイヤ構造をなすタッチスクリーン形態で実現されることも可能である。
UI処理部180は、制御部130の制御に従ってディスプレイ部120に出力される映像にオーバーラップされて表示される多様なUI要素を生成する機能を備える。ここで、UI処理部180は、2Dまたは3D形態のUI要素を生成することができる。
なお、UI処理部180は、制御部130の制御に従って、UI要素の2D/3D切り替え、透明度、色相、大きさ、形態及び位置調整、ハイライト、アニメーション効果等の作業を行なってよい。
図4は、本発明の一実施形態に係る制御部130の細部構成を説明するための図である。
図4に示すように、制御部130は、システムメモリ131と、メインCPU132と、イメージ処理部133と、ネットワークインタフェース134と、保存部インターフェース135と、第1ないしnインターフェース136−1〜136−nと、オーディオ処理部137及びシステムバス138を含む。
システムメモリ131と、メインCPU132と、イメージ処理部133と、ネットワークインタフェース134と、保存部インターフェース135と、第1ないしnインターフェース136−1〜136−n及びオーディオ処理部137は、システムバス138を通じて互いに接続され、各種データや信号等を送受信することができる。
第1ないしnインターフェース136−1〜136−nは、ディスプレイ部120をはじめとする多様な構成要素と制御部130内の各構成要素との間のインターフェーシングをサポートする。なお、第1ないしnインターフェース136−1〜136−nの少なくともいずれか一つは、ディスプレイ装置100の本体部分に設けられたボタンや、外部入力ポート1ないしnを通じて接続された外部装置から各種信号を受信する入力インターフェースで実現されてよい。
システムメモリ131は、ROM131−1及びRAM131−2を含む。ROM131−1には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインCPU132はROM131−1に保存された命令語に従って保存部140に保存されたO/SをRAM131−2にコピーし、O/Sを実行させてシステムをブートさせる。ブートが完了すると、メインCPU132は、保存部140に保存された各種アプリケーションプログラムをRAM131−2にコピーし、RAM131−2にコピーされたアプリケーションプログラムを実行させて各種動作を行う。
以上のように、メインCPU132は、保存部140に保存されたアプリケーションプログラムの実行によって多様な動作を行うことができる。
保存部インターフェース135は、保存部140と接続されて各種プログラムやコンテンツ、データ等を送受信する。
一例として、遠隔制御装置200から制御信号が受信されると、メインCPU132は保存部インターフェース135を介して保存部140にアクセスし、制御信号にマッピングされた制御情報を読み取った後、読み取られた制御情報を用いてディスプレイ装置100の動作を制御することができる。
イメージ処理部133は、デコーダやレンダラー、スケーラ等を含んでよい。それにより、保存されたコンテンツをデコードし、デコードされたコンテンツデータをレンダリングしてフレームを構成し、構成されたフレームのサイズをディスプレイ部120の画面のサイズに合わせてスケーリングする。イメージ処理部133は、処理されたフレームをディスプレイ部120に提供し、ディスプレイする。
その他に、オーディオ処理部137は、オーディオデータを処理してスピーカ(図示せず)のような音響出力手段で提供する構成要素を意味する。オーディオ処理部137は、保存部140に保存されたオーディオデータや外部から受信されたオーディオデータをデコードし、ノイズフィルタリングした後、適正デシベルに増幅する等のオーディオ信号処理を行うことができる。上述の例で、再生されるコンテンツが動画コンテンツである場合、オーディオ処理部137は動画コンテンツからデマルチプレキシングされたオーディオデータを処理してイメージ処理部133と同期させて出力することができるように、スピーカ(図示せず)に提供することができる。
ネットワークインターフェース134は、ネットワークを通じて外部装置と接続される部分である。仮に、メインCPU132は、本発明に係る情報提供サービスを提供するアプリケーションが駆動されると、ネットワークインターフェース134を介して遠隔制御装置200と通信を行うことができる。
一方、上述の制御部130の動作は、保存部140に保存された各種プログラムの実行によって実現されてよい。
図5は、上述の多様な実施形態に係る制御部130の動作をサポートするための保存部140のソフトウェア構造を示す図である。図5に示すように、保存部140には、ベースモジュール510と、デバイス管理モジュール520と、通信モジュール530と、プレゼンテーションモジュール540と、ウェブブラウザモジュール550及びサービスモジュール560を含む。
ベースモジュール510とは、ディスプレイ装置100に含まれた各ハードウェアから伝達される信号を処理して上位レイヤモジュールに伝達する基礎モジュールを意味する。
ベースモジュール510は、ストレージモジュール511と、位置基盤モジュール512と、セキュリティモジュール513及びネットワークモジュール514等を含む。
ストレージモジュール511とは、データベース(DB)やレジストリを管理するプログラムモジュールである。位置基盤モジュール512とは、GPSチップのようなハードウェアと連動して位置基盤サービスをサポートするプログラムモジュールである。セキュリティモジュール153とは、ハードウェアに対する認証(Certification)、要求許容(Permission)、セキュリティ保存(Secure Storage)等をサポートするプログラムモジュールであり、ネットワークモジュール514とは、ネットワーク接続をサポートするためのモジュールとして、DNETモジュールやUpnPモジュール等を含む。例えば、ネットワークモジュール514を介して外部サーバ(図示せず)等とネットワーク接続を行うことができる。
デバイス管理モジュール520は、外部入力及び外部デバイスに対する情報を管理し、それを利用するためのモジュールである。デバイス管理モジュール520は、センシングモジュール521と、デバイス情報管理モジュール522と、遠隔制御モジュール523等を含んでよい。例えば、デバイス管理モジュール520を介して遠隔制御装置200等に対する情報を管理することができるようになる。
センシングモジュール521は、各種センサデータを分析するモジュールである。例えば、センシングモジュール521は、顔認識モジュールや、音声認識モジュール、モーション認識モジュール、NFC認識モジュール等を含んでよい。
デバイス情報管理モジュール522は、各種デバイスに対する情報を提供するモジュールであり、遠隔制御モジュール523は、電話機やプリンタ、カメラ、エアコン等のような周辺デバイスを遠隔から制御する動作を行うプログラムモジュールである。
通信モジュール530は、外部との通信を行うためのモジュールである。通信モジュール530は、メッセンジャープログラム、SMS(Short Message Service)&MMS(Multimedia Message Service)プログラム、Eメールプログラム等のようなメッセージングモジュール531、電話情報収集機(Call Info Aggregator)プログラムモジュール、VoIPモジュール等を含む電話モジュール532を含んでよい。
プレゼンテーションモジュール540は、ディスプレイ画面を構成するためのモジュールである。プレゼンテーションモジュール540は、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール541と、UI及びグラフィック処理を行うUI&グラフィックモジュール542とを含む。マルチメディアモジュール541は、プレーヤモジュール、カムコーダモジュール、サウンド処理モジュール等を含んでよい。それにより、各種マルチメディアコンテンツを再生して画面及び音響を生成して再生する動作を行う。UI&グラフィックモジュール542は、イメージを組み合わせるイメージ合成機(Image Compositor Module)542−1、イメージをディスプレイする画面上の座標を組み合わせて生成する座標組み合わせモジュール542−2、ハードウェアから各種イベントを受信するX11モジュール542−3、2Dまたは3D形態のUIを構成するためのツール(Tool)を提供する2D/3DUIツールキット542−4等を含んでよい。例えば、プレゼンテーションモジュール540を介してポインティングモードまたはジェスチャーモードに対応するUI画面を構成することができるようになる。
ウェブブラウザモジュール550は、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。ウェブブラウザモジュール550は、ウェブページを構成するウェブビュー(Web view)モジュール、ダウンロードを行うダウンロードエージェントモジュール、ブックマークモジュール、ウェブキット(Webkit)モジュール等のような多様なモジュールを含んでよい。
その他に、サービスモジュール560は、多様なサービスを提供するためのアプリケーションモジュールを意味する。例えば、サービスモジュール560は、マップや現在の位置、ランドマーク、ルート情報等を提供するナビゲーションサービスモジュール、ゲームモジュール、広告アプリケーションモジュール等のような多様なモジュールを含んでよい。
制御部130内のメインCPU132は、保存部インターフェース135を介して保存部140にアクセスし、保存部140に保存された各種モジュールをRAM131−2にコピーし、コピーされたモジュールの動作に応じて動作を行う。
一例として、上述のポインティングモードまたはジェスチャーモードに対応するGUI表示動作である場合なら、メインCPU132はプレゼンテーションモジュール540内のイメージ組み合わせモジュール542−1を用いて、GUI画面を構成する。そして、座標組み合わせモジュール542−2を用いて、GUI画面の表示位置を決定し、その位置にGUI画面を表示するようにディスプレイ部120を制御する。
または、メッセージ受信動作に対応するユーザ操作が行われる場合には、メインCPU132はメッセージングモジュール541を実行させ、メッセージ管理サーバにアクセスした後、ユーザアカウントに保存されたメッセージを受信する。そして、メインCPU132は、プレゼンテーションモジュール540を用いて、受信されたメッセージに対応する画面を構成した後、ディスプレイ部120に表示する。
その他に、電話通話動作を行う場合には、メインCPU132は電話モジュール532を駆動させることもできる。
以上のように、保存部140には、多様な構造のプログラムを保存されていてよく、制御部130は、保存部140に保存された各種プログラムを用いて上述の多様な実施形態に係る動作を行うことができる。
図6は、本発明の一実施形態に係る遠隔制御装置の構成を示すブロック図である。
同図に示すように、遠隔制御装置200は、通信部210と、検知部220と、入力部230及び制御部240を含む、
通信部210は、ディスプレイ装置100と通信を行い、検知部220を介して検知された検知信号、入力部230を介して入力されたユーザ命令に対応する信号等をディスプレイ装置100に伝送することができる。具体的に、通信部210は、BT(BlueTooth)、Zigbee(登録商標)、Wi−Fi(登録商標)(Wireless Fidelity)、IR(Infrared)、Serial Interace、USB(Universal Serial Bus)、NFC(Near field Communication)等のような多様な通信方式を通じてディスプレイ装置100と通信を行うことができる。
検知部220は、遠隔制御装置200の3次元動きを検知する。具体的に、検知部220は、加速度センサ、ジャイロセンサ及び地磁気センサのうち、少なくともいずれか一つ以上を含んでよい。検知部220に含まれた各種センサは、一つまたは二つ以上の組み合わせを通じて遠隔制御装置200の3次元動きを検知することができる。
加速度センサは、遠隔制御装置200の空間上の動きを測定するセンサである。すなわち、加速度センサは、ユーザが遠隔制御装置200を移動させる際に発生する加速度の変化及び角加速度の変化のうち、少なくともいずれか一つを検知することができる。ここで、加速度センサは、互いに直交する3つの軸に対して、直線速度の増減分を測定する3軸加速度センサで実現されてよい。それにより、加速度センサを用いて遠隔制御装置200の動き加速度関連情報と、動かない状態で重力加速度成分を用いて傾きに関連する情報とを獲得することができる。
ジャイロ(Gyro)センサは、遠隔制御装置200の回転角速度を測定する慣性センサである。すなわち、回転する物体がもつ慣性力を用いて回転する方向と速度を知ることのできるセンサを意味する。ジャイロセンサは、互いに直交する3つの軸に対して回転角の増減分を測定する3軸角速度センサで実現されてよい。
地磁気センサは、方位角(azimuth)を測定するセンサである。すなわち、地磁気センサ106は、地球の南北方向に形成されている磁場(magnetic field)を検知して方位角を測定するセンサを意味する。ここで、地磁気センサは、互いに直交する3つの軸に対して磁気の強度と方向とを測定する3軸地磁気センサで実現されてよい。地磁気センサで測定される北方向は磁北(magnetic north)であってよい。ただ、地磁気センサが磁北の方向を測定するとしても、内部的な演算を経て真北(true north)の方向を出力することもできる。
その他に、検知部220は、選択的に距離センサを更に含んでよい。ここで、距離センサは、遠隔制御装置200とディスプレイ装置100との間の距離を測定するセンサである。すなわち、ユーザが遠隔制御装置200を使用する瞬間の位置とディスプレイ装置100の間の距離を検知することができる。
入力部230は、多様なユーザ命令を入力される機能を具備する。
具体的に、入力部230は、モード切り替えボタン部231と、選択ボタン部232と、4方向有力部233及びタッチ入力部234を含む。
モード切り替えボタン部231は、制御モード切り替えのためのユーザ命令が入力されてよい。
特に、モード切り替えボタン部231は、ポインティングモードからジェスチャーモードに切り替えるためのユーザ命令を受信することができる。すなわち、モード切り替えボタン部231の押圧状態が持続する間、遠隔制御装置200はジェスチャーモードで動作し、モード切り替えボタン部231の押圧状態が解除されると、遠隔制御装置200はポインティングモードで動作することができる。ここで、モード切り替えボタン部231は、ハードウェアボタン形態で実現されてよい。
選択ボタン部232は、選択命令を入力されてよい。
特に、選択ボタン部232は、ポインティングモードでディスプレイ装置100の画面上にディスプレイされたポインタの位置したオブジェクトを選択するためのユーザ命令が入力されてよい。すなわち、ディスプレイ装置100の画面上にディスプレイされたポインタが特定コンテンツ上に位置した状態で、選択ボタン部232が押圧操作されると、当該オブジェクトが選択されて対応する機能が実行されてよい。例えば、当該コンテンツが特定アプリケーションのアイコンインターフェースの場合、当該アプリケーション実行画面がディスプレイされてよい。
なお、選択ボタン部232は、提供されたUI画面の特性に応じてエンターキー、確認キー等の機能を具備してよい。
4方向入力部233は、選択ボタン部232の外郭に配置され、4方向操作のためのユーザ命令を入力される機能を具備する。
一方、選択ボタン部232及び4方向入力部233は、タッチセンサ及び光学技術を応用したOJ(Optical Joystick)センサのうち、少なくともいずれか一つを含む形態で実現されてよい。
タッチ入力部234は、相違なる機能がマッピングされた複数のタッチ領域を含む形態で実現されてよい。具体的に、タッチ入力部234はチャネル転換機能、音量調整機能、メニュー機能等のような相違なる機能がマッピングされた複数のタッチ領域を含んでよい。
制御部240は、遠隔制御装置200の動作全般を制御する。例えば、制御部140は、CPU(Central Processing Unit)またはMCU(Microcontroller Unit)等で実現可能である。
特に、制御部240は、遠隔制御装置200がポインティングモードの状態で、入力部230を介してモード切り替え命令が入力されると、遠隔制御装置200がジェスチャーモードに切り替わるように制御することができる。なお、制御部240は、モード切り替えに対応する信号をディスプレイ装置100に伝送して、ディスプレイ装置100が切り替わったモードに対応するUI画面を提供するようにすることができる。
具体的に、制御部240は、入力部230に備えられたモード切り替えボタン部231の押圧状態が持続する場合、遠隔制御装置200の動きをジェスチャーモードにおける動きとして認識し、それに対応する信号をディスプレイ装置100に伝送することができる。例えば、検知部220で検知されたセンサ値を信号処理アルゴリズムを通じて分析し、分析されたジェスチャーに対応する制御情報をディスプレイ装置100に伝送し、画面表示状態を制御するようにすることができる。または、検知部220で検知されたセンサ値そのものをディスプレイ装置100に伝送することができ、この場合、ディスプレイ装置100から受信されたセンサ値をジェスチャー認識アルゴリズムを通じて分析し、分析されたジェスチャーに対応する制御情報に基づいて画面表示状態を制御することができる。
なお、制御部240は、入力部230に備えられたモード切り替えボタン部231の押圧状態が解除される場合、遠隔制御装置200の動きをポインティングモードにおける動きとして認識し、それに対応する信号をディスプレイ装置100に伝送することができる。例えば、検知部220で検知されたセンサ値を信号処理アルゴリズムを通じて分析し、ポインタ位置制御のための絶対座標値を算出し、算出された絶対座標値をディスプレイ装置100に伝送し、ポインタの移動状態を制御するようにすることができる。または、検知部220で検知されたセンサ値そのものをディスプレイ装置100に伝送することができ、この場合、ディスプレイ装置100で受信されたセンサ値に基づいて絶対座標値を算出し、算出された絶対座標値を用いてポインタの移動状態を制御することもできる。
なお、制御部240は、選択ボタン部232が選択されると、それに対応する信号をディスプレイ装置100に伝送し、選択ボタン部232が選択された時点にポインタが位置されたコンテンツがディスプレイ装置100で選択されるようにすることができる。
一方、モード切り替えボタン部231及び選択ボタン部232の少なくとも一方は、タッチパッドまたはタッチスクリーンで実現されてよく、この場合、遠隔制御装置100はユーザのタッチ操作を検知するためのタッチセンサを具備することができる。ただ、それに限定されるものではなく、第1及び第2ボタン部の少なくとも一方は、物理的(physical)のボタンで実現されてよい
または、モード切り替えボタン部231及び選択ボタン部232の少なくとも一方は、光学技術を応用したOJ(Optical Joystick)センサを用いる形態で実現されてよい。
このように、入力部230は、タッチパッド形態、物理的ボタン形態、OJ形態のいずれか一つのみ含んで実現されるか、少なくとも2つ以上が組み合わせられた形態で実現されてよい。
図7は、図6に示す遠隔制御装置の細部構成を示すブロック図である。
通信部210は、ブルートゥースチップ、WiFiチップ、IR通信チップ等のような多様な通信方式によるハードウェアを含む。これらのチップは、実現上、ワンチップに集積化されて使用されてよく、図7でのように、別個のチップで使用されてよい。
ブルートゥースチップ、WiFiチップ、IR通信チップは、それぞれブルートゥース方式、WiFi方式、IR方式で通信を行う。この中、ブルートゥースチップ、WiFiチップを用いる場合には、各種接続情報を先に送受信し、これを用いて通信接続を行った後、各所情報を送受信することができる。
その他に、3G、4G等のように、移動通信網を利用したり、インターネット網を用いて多様な方式の無線通信を行ってよい。
通信部210は、このような多様な構成のチップを用いて、ディスプレイ装置100をはじめとする各種外部装置と通信を行うことができる。特に、ディスプレイ装置100に上述の多様な制御信号または制御情報を伝送することができる。
検知部220は、遠隔制御装置200の動きをセンシングするための構成要素である。検知部220は、加速度センサ221と、角速度センサ222と、地磁気センサ223及びタッチセンサ224等のような多様なセンサを含んでよい。
加速度センサ221は、動き発生時に、加速度及び加速度の方向を測定することができるセンサである。具体的には、加速度センサ221は、そのセンサが装着された遠隔制御装置200の動き加速度に対応するセンシング値と勾配に応じて変化する重力加速度に対応するセンシング値を出力する。制御部240は、加速度センサ221の出力値を用いて遠隔制御装置200の動き加速度と、動いていない状態で重力加速度成分を用いて傾斜度合いを判断することができる。
角速度センサ222は、回転運動が行われると、その速度方向に作用するコリオリ(http://search.naver.com/?where=nexearch&query=coriolis&ie=utf8&sm=tab_prc&qdt=0Coriolis)の力を測定し、角速度を検出するセンサである。制御部240は、角速度センサ222の測定値を用いるとしても、遠隔制御装置200の回転を検出することができる。
地磁気センサ223は、2軸または3軸フラックスゲートを用いて地球の磁気や周辺磁性成分物体の磁気を検知するセンサである。制御部240は、地磁気センサ223から検知された地磁気値を用いて、磁気の方向と強度とを測定することができ、それに基づいて方位角を算出することができる。それにより、遠隔制御装置200がどの方向に回転しているかを判断することができる。
タッチセンサ224は、ユーザのタッチ操作を検知することができる。タッチセンサ224は、静電式または減圧式で実現されてよい。静電式のタッチセンサは、遠隔制御装置200の表面にコーティングされた誘電体を用いて、ユーザの身体の一部が遠隔制御装置200の表面にタッチされた際、ユーザの人体に励起される微細電気を検知し、タッチ座標を算出する方式のセンサを意味する。減圧式のタッチセンサは、遠隔制御装置200に内蔵された二つの電極板を含み、ユーザがタッチした場合、タッチされた地点の上下板が接触されて電流が流れることを検知し、タッチ座標を算出する方式のタッチセンサを意味する。その他に、赤外線検知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ(Piezo)効果方式等がタッチ操作を検知するのに用いられたよく、それに対する詳細な説明は省略する。
制御部240は、検知部220から提供される各種センシング信号に応じて多様な演算動作を行うことができる。例えば、加速度センサ221と、角速度222と、地磁気センサ223等によって遠隔制御装置200の動きが検知されると、当該検知信号を信号処理アルゴリズムによって演算し、演算された値をディスプレイ装置100に伝送するように制御する。
入力部240は、モード切り替えボタン部231と、選択ボタン部232と、4方向入力部233と、タッチ入力部234及び電源ボタン部235を含む。
モード切り替えボタン部231と、選択ボタン部232と、4方向入力部233及びタッチ入力部234について、すでに説明しているため、それ以上の説明は省略する。
電源ボタン部235は、電源ON/OFFのためのユーザ命令を受信する機能を備える。
一方、上述の制御部240の動作は、保存部(図示せず)に保存されたプログラムによって行われてよい。
すなわち、保存部(図示せず)には、遠隔制御装置200を駆動させるためのO/S(Operating System)ソフトウェア、検知部220から検知された検知信号に対する演算を行うための信号処理アルゴリズム等のように、多様なデータが保存されてよい。制御部240は、保存部(図示せず)に保存された各種プログラムを用いて遠隔制御装置200の動作の全般を制御する。
具体的には、制御部240は、RAM241と、ROM242と、メインCPU243と、第1ないしnインターフェース244−1〜244−n及びバス245を含む。
RAM241と、ROM242と、メインCPU243と、第1ないしnインターフェース244−1〜244−n等は、バス245によって互いに接続され、各種データや信号等を送受信することができる。
第1ないしnインターフェース244−1〜244−nは、図7に示す各種構成要素だけでなく、その他の構成要素とも接続され、メインCPU243がアクセスできるようにする。
メインCPU243は、保存部(図示せず)にアクセスし、保存部(図示せず)に保存されたO/Sを用いてブートを行う。そして、保存部(図示せず)に保存された各種プログラムやデータ等を用いて多様な動作を行う。
具体的には、ROM242には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインCPU243は、ROM242に保存された命令語に従って保存部(図示せず)に保存されたO/SをRAM241にコピーし、O/Sを実行させてシステムをブートさせる。ブートが完了すると、メインCPU243は保存部(図示せず)に保存された各種プログラムをRAM241にコピーし、RAM241にコピーされたプログラムを実行させて各種動作を行う。
上述のように、制御部240は、保存部(図示せず)に保存されたプログラムをRAM241にコピーして実行させ、多様な動作を行うことができる。
図8は、本発明の一実施形態に係る信号処理アルゴリズムの形態を説明するためのブロック図である。
同図に示すように、センサ測定値を受信するブロック1(711)と、前処理実行ブロック2(712)と、姿勢推定ブロック3(713)と、動き区別ブロック4(714)と、キャリブレーション実行ブロック5(715)と、ユーザ意図分析ブロック6(716)と、ゲイン関数適用ブロック7(717)及びジェスチャー認識ブロック8(718)を含む。図7に示すような信号処理アルゴリズムは、上述のCPUまたはMCUで実行されてよい。
ブロック1(711)は、検知部220からセンシングされた多様なセンサ値を受信する。例えば、ブロック1(711)は、加速度センサ、ジャイロセンサ及び地磁気センサのうち、少なくともいずれか一つを通じてセンシングされたセンサ値を受信してよい。
ブロック2(712)は、受信されたセンサ値に対する前処理を行う処理を具備し、具体的に、センサ値に対する物理量変換、センサ軸変換機能及び低域通過フィルタリング機能を具備する。
例えば、デジタル値に変換されたセンサ値は、信号処理アルゴリズムに適用可能な実際の物理量に変換される(物理量変換)。なお、加速度、角速度、地磁気センサの個別軸を一つの定義された軸に合わせる作業を行うことができる(センサ軸変換)。なお、低域通過フィルタリングを通じてセンサの電気的雑音と意図しない高周波動きを除去することができる(低域通過フィルタリング)。
ブロック3(713)は、各センサ値から姿勢(Pose)または姿勢角(Eular Angle(Roll、Pitch、Yaw(heading))を推定する。この場合、Kalman Filterによる推定方法が適用されてよい。
ブロック4(714)は、センサ信号を用いて動き状態を区別するブロックとして、遠隔制御装置200が動いていないか、ゆっくり動くのか、早く動くのか等を判断することができる。
ブロック5(715)は、キャリブレーション作業を進行させ、ブロック4(714)で遠隔制御装置200が動いていないと判断されると、すなわち、Zero−Rateと判断されると、そのとき角速度センサの出力値の平均を求めた後、その値を角速度センサの出力値から引いて角速度センサのオフセット(Offset)値を補償することができる。
ブロック6(716)は、ユーザが遠隔制御装置200を動かそうとするのか、止めようとするのか、どのようなものをクリックするためのものか等を分析して区分する役割を担う。
ブロック7(717)は、ブロック3(713)から出力されたYaw angle、Pitch angleを各々ディスプレイ装置100のX、Y座標に変換する。このような変換された座標を用いてマウスカーソルの位置を指定することができるようになる。
なお、ブロック8(718)は、ブロック2(712)から出力された信号を用いて指定されたジェスチャーに対するジェスチャー認識を行うこともできる。
その後、ブロック7(717)から出力されたX、Y座標をディスプレイ装置100のUI画面でポインタのX、Y座標にマッチしてポインタの座標を指定することができる。
なお、ブロック8(718)から出力されたEular angles(Roll、Pitch、Yaw)またはブロック7(717)から出力されたX、Y座標を用いてUI画面で予め設定されたイベントを発生させて対応する動作が行われるようにすることができる。
一方、上述の信号処理アルゴリズムによる演算動作は遠隔制御装置200の制御部240またはディスプレイ装置100の制御部130において処理されてよい。
図9は、図6及び図7に示す遠隔制御装置200の外観を示す図として、同図(a)は、遠隔制御装置200の斜視図であり、図9(b)は、図9(a)に示す“b”方向から見た図であり、図9(c)は、図9(a)に示す“c”方向から見た図である。図10は、遠隔制御装置200のモード切り替えボタン部231を複数備えた例を示す図である。
図9(a)を参照すると、遠隔制御装置200は、使用時に手に及ぶ疲労感を最小限化するように手を自然に曲げたときの姿勢を考慮し、遠隔制御装置200の前面上側が前面下側より更に突出するように形成し、上部は後ろ側にいくほど、次第に緩慢な曲率で下向に斜めになるように形成されることが望ましい。
この場合、遠隔制御装置200は、図9(c)に示すように、グリップ感を向上させることができるように、前面と左/右側面が各々凹状にラウンディング形成される。それにより、ユーザは遠隔制御装置200を手でリラックスして包み込んだ状態として、手や手首に無理を与えない状態で使用することができる。
遠隔制御装置200は、ユーザが遠隔制御装置200を手で包み込む場合、5本の指のうち、略中指F2及び薬指F3が位置するようになる遠隔制御装置200の前面または前面と両側面にわたってモード切り替えボタン部231が配置されてよく、親指F1の位置する遠隔制御装置200の上部または上部の前の方に選択ボタン部232が配置されてよい(図11を参照)。
このようなモード切り替えボタン部231と選択ボタン部232の配置は、遠隔制御装置200を手で包んだ状態で、モード切り替えボタン部231と選択ボタン部232を押す動作を自然と行うことができる指F1〜F3の位置を考慮して設定されてよい。
一方、本実施形態においては、モード切り替えボタン部231を単一に形成したこのを例えて説明したが、それに限定されず、図10に示すように、遠隔制御装置200’が複数のモード切り替えボタン部231’、231”を備えることも可能である。この場合、5本指のうち、各々中指と薬指によって複数のモード切り替えボタン部231’、221”が操作されるようにモード切り替えボタン部231’、231”を上下に配置されることが望ましい。
なお、複数からなるモード切り替えボタン部231’、231”を備えた場合、各モード切り替えボタン部231’、231”が単独で操作されたり、または同時に操作されることにより、相違なる所定の信号を発生するように実現することも可能である。
4方向入力233及びタッチ入力部234は、遠隔制御装置200の上部に形成されてよく、好適には、4方向入力部233が選択ボタン部232を囲むように配置され、タッチ入力部234が選択ボタン部232を囲むように配置されてよい。すなわち、選択ボタン部232が最も内側に位置し、選択ボタン部232から次第に外側にいくほど、範囲が拡大されつつ、4方向入力部233及びタッチ入力部234を配置してよい。
このような4方向入力部233及びタッチ入力部234の配置は、遠隔制御装置200を包み込んだ状態で、5本指のうち、相対的に動きが最も自由な親指で容易に操作することができるように考慮したものである。
タッチ入力部234は、図9(b)のように、右側にはチャネル調整領域が設定され、左側には音量調整領域が設定され、上側にはメニュー領域等、相違なる機能がマッピングされた複数のタッチ領域が含まれてよい。
電源ボタン部235は、上述の各ボタン部に比べて指の接近が比較的に容易でない位置に設定するように、遠隔制御装置200の上部の後ろ側に配置してよい。このような電源ボタン部235の配置は、遠隔制御装置200の使用中に間違えて電源ボタン部235が押されて電源がOFFになる場合を最小限化することができる。
上述のように、本実施形態では、5本指をすべて使用することができるユーザを基準とし、遠隔制御装置200を使用する方法について説明するが、それに限定されずに、ユーザに応じて最も適した指を使って遠隔制御装置200の各ボタン部を操作することも可能である。
図11は、本発明の多様な実施形態に係る遠隔制御装置の操作形態を説明するための図である。
図11(a)に示すように、ユーザはモード切り替えボタン231の押圧状態が解除される操作を通じてポインティングモードを選択することができる。このように、遠隔制御装置200がポインティングモードにある場合、ディスプレイ装置100から提供されるUI画面には図示のようなポインティング形態のポインタがディスプレイされてよい。
図11(b)に示すように、モード切り替えボタン231の押圧状態を保持するグリップ操作を通じてジェスチャーモードを選択することができる。このように、ディスプレイ装置100がジェスチャーモードにある場合、ディスプレイ装置100から提供されるUI画面には、図示のように、パーム形態のポインタがディスプレイされてよい。
この場合、当該UI画面では、遠隔制御装置200のジェスチャー動作を通じてフリッキング(flicking)操作、ズームイン/アウト(zoom in/out)操作等が可能であってよい。例えば、表示されたUI画面を別のUI画面に転換するフリッキング操作、新たなメニュー画面をディスプレイするためのフリッキング操作、ディスプレイされたコンテンツに対するズームイン/アウト機能を行うためのズームイン/アウト操作等が可能であってよい。
上述のように、遠隔制御装置200は、基本的にポインティングモードで動作することができ、モード切り替えボタン部231の押圧状態を保持するグリップ操作を通じて、ジェスチャーモードで動作することができるようになる。
図11(c)に示すように、ユーザはモード切り替えボタン部231及び選択ボタン部232の押圧状態を保持する操作を通じてパニング(Panning)操作を行うことができる。この場合、ディスプレイ装置100から提供されるUI画面には、図示のように、グリップ(Grip)形態のポインタがディスプレイされてよい。例えば、遠隔制御装置200を特定方向に移動させる操作がある場合、画面上で拡大されて表示されたコンテンツイメージが当該方向に移動されて表示されてよい。すなわち、特定コンテンツが選択された状態で、遠隔制御装置200を上下左右方向に移動すると、ディスプレイされたコンテンツイメージが遠隔制御装置200の移動方向へ移動されることができる。それにより、グリップ形態のポインタを通じてユーザにコンテンツを握って動かすような直観的な認識を提供することができるようになる。
図12は、本発明の一実施形態に係るポインティングモードにおける動作状態を説明するための図である。
同図に示すように、遠隔制御装置200がポインティングモードにある場合、ディスプレイ装置100はポインティングモードに対応するGUIをディスプレイすることができる。すなわち、画面上にポインティング形態の手の形のポインタ10がディスプレイされてよい。
ポインティング形態のポインタ10がコンテンツA121上に位置した状態で、ユーザが遠隔制御装置200を右側に移動させると、画面上に表示されたポインティング形態のポインタ10はコンテンツA121の右側に位置したコンテンツB122上に移動することができる。
具体的に、画面上に表示されたポインティング形態のポインタ10は、遠隔制御装置200の移動方向及び移動度合いに対応するように移動することができ、絶対座標方式に基づいて移動することができる。ここで、絶対座標方式は、絶対座標領域でポインタが移動する方式として、画面に表示されたポインタが予め設定された基準点を中心にして移動する方式ということから、ポインタの移動が直線ポインタの位置を基準とする相対座標方式と相違している。
図13は、本発明の一実施形態に係るモード切り替えに係る動作状態を説明するための図である。
同図の一番目の図面に示すように、遠隔制御装置200がポインティングモードにある場合、ディスプレイ装置100の画面にはポインティングモードであることを示すポインティング形態のポインタ10がディスプレイされてよい。
次いで、ディスプレイ装置100がジェスチャーモードに切り替わると、ディスプレイ装置100の画面表示されたポインタ10はジェスチャーモードであることを示すパーム形態のポインタ11に変更してディスプレイされ、ジェスチャー入力方向をガイドするガイドGUI21−1、21−2がディスプレイされてよい。例えば、図示のように、左右側にシステム的に新たなUIページが並んでいる場合、左右側フリッキングジェスチャーが可能であることを示す左右矢印方向のガイドGUI21−1、21−2がディスプレイされてよい。
なお、遠隔制御装置200が左側に移動されると、パーム形態のポインタ11が実際ユーザの左側方向フリッキング手の動作と同様の形態で角度が変更されたポインタ12に変更されてディスプレイされ、左側方向をガイドするガイドGUI21−1はハイライトされる形態でディスプレイされてよい。例えば、通常、タッチスクリーン上でフリッキング操作を行う場合、ユーザの手の角度が変更されるため、それと同様にポインタの形態も同一の形態に変更されてディスプレイされてよい。それにより、ユーザにタッチスクリーン上でフリッキング操作を行うというような直観的認識を提供することができるようになる。
なお、遠隔制御装置200の移動方向に応じて画面上に表示されたUI画面の移動方向が制御されてよい。例えば、図示のように、遠隔制御装置200が左側に移動されると、UI画面も左側に移動されて表示されてよい。すなわち、中央にディスプレイされたコンテンツは左側に移動されてディスプレイされ、右側には見えなかったコンテンツがディスプレイされてよい。
図14は、本発明の一実施形態に係るジェスチャーモードにおける動作状態を説明するための図である。
同図に示すように、画面上に特定コンテンツがディスプレイされた状態で、ユーザが遠隔制御装置200に具備されたモード切り替えボタン(例えば、図4(b)に示すモード切り替えボタン部231)を押圧操作すると、遠隔制御装置200はジェスチャーモードで動作し、画面上にジェスチャー入力が可能であることを報知するガイドGUI22−1ないし22−4がディスプレイされる。
次いで、ユーザがモード切り替えボタン部231を押圧操作した状態で、遠隔制御装置200を特定方向に移動させると、移動方向に対応する領域に予め設定されたメニューがディスプレイされてよい。例えば、図示のように、遠隔制御装置200を右向に移動させると、左側領域にコンテンツリストがディスプレイされてよい。
なお、ユーザがモード切り替えボタンの押圧操作を解除するようになると、ディスプレイ装置100はポインティングモードで動作するようになる。この場合、遠隔制御装置200の移動状態に応じてポインティング形態のポインタ14が移動されてよい。例えば、図示のように、ポインティング形態のポインタ14が特定コンテンツC123に位置した状態で、ユーザが遠隔制御装置200を下方に移動させると、ポインティング形態のポインタ14が移動度合いに応じて下方のコンテンツD124に移動されてよい。
その後、ポインティング形態のポインタ14がコンテンツD124に位置した状態で、遠隔制御装置200に具備された選択ボタンを押圧操作すると、選択されたコンテンツD124が実行されて画面上にディスプレイされる。
図15は、本発明の別の実施形態に係るジェスチャーモードにおける動作状態を説明するための図である。
同図に示すように、ポインティングモードでポインティング形態のポインタ15がコンテンツE125に位置した状態で、遠隔制御装置200に具備された選択ボタン(例えば、図9(b)の選択ボタン部232)を押圧操作すると、選択されたコンテンツE125がディスプレイ装置100の画面上にディスプレイされるようになる。
次いで、ユーザが遠隔制御装置200に具備されたモード切り替えボタン(例えば、図9(b)のモード切り替えボタン231)を押圧操作すると、画面上に表示されたポインティング形態のポインタ15はジェスチャーモードであることを示す形態のパーム形態のポインタ16に変更されて、ジェスチャー入力が可能であることをガイドするガイドGUI23−1〜23−2がディスプレイされてよい。
なお、ユーザがモード切り替えボタンを押圧操作した状態で、遠隔制御装置200をユーザから離れた位置に移動させると、画面にディスプレイされたコンテンツがズームアウト(Zoom Out)されてディスプレイされてよい。
なお、ユーザがモード切り替えボタンを押圧操作した状態で、遠隔制御装置200をユーザ寄りに位置に移動させると、画面にディスプレイされたコンテンツがズームイン(Zoom In)されてディスプレイされてよい。
図16は、本発明の更に別の実施形態に係るジェスチャーモードにおける動作状態を説明するための図である。
同図に示すように、ポインティングモードで、ポインティング形態のポインタ15がコンテンツE125に位置した状態で、遠隔制御装置200に具備された選択ボタン(例えば、図9(b)の選択ボタン部232)を押圧操作すると、選択されたコンテンツE125がディスプレイ装置100の画面上にディスプレイされるようになる。
次いで、ユーザがモード切り替えボタン(例えば、図9(b)のモード切り替えボタン231)を押圧操作した状態で、選択ボタンの押圧操作状態を保持する場合、ポインティング形態のポインタ15はパニング操作が可能であることを示す形態のグリップ形態のポインタ18に変更されて、ジェスチャー入力が可能であることをガイドするガイドGUI24−1〜24−4がディスプレイされてよい。
なお、ユーザがモード切り替えボタン及び選択ボタンを押圧操作した状態で、遠隔制御装置200を上下左右方向に移動させると、画面にディスプレイされたコンテンツに対するパニング(panning)操作が行われてよい。例えば、図示のように、ユーザがモード切り替えボタン及び選択ボタンを押圧操作した状態で、遠隔制御装置200を右方に移動させると、画面に表示されたコンテンツも右方に移動されて表示されてよい。
ただ、上述の実施形態においては、ユーザがモード切り替えボタン及び選択ボタンを同時に押圧操作した状態で、パニング操作が行われるものとして説明したが、それは一実施形態に過ぎず、モード切り替えボタンの押圧操作なしに、選択ボタンの押圧操作を保持する状態でもパニング操作は行われてよい。
図17は、本発明の一実施形態に係る遠隔制御装置の制御方法を説明するためのフローチャートである。
同図に示すように、遠隔制御装置200はディスプレイ装置100と通信を行う(S1610)。例えば、遠隔制御装置200及びディスプレイ装置100がブルートゥース方式を通じて通信を行う場合、遠隔制御装置200がパワーオンされると、遠隔制御装置200はディスプレイ装置100を探索し、ディスプレイ装置100とペアリングを行うことができる。
遠隔制御装置200は、ディスプレイ装置100とペアリングされた後、別の操作動作がない場合、ポインティングモードで動作する(S1620)。ポインティングモードで遠隔制御装置200は、その動き状態に応じてディスプレイ装置100の画面に表示されたポインタの移動状態を制御することができる。
次いで、モード切り替え命令が入力される場合(S1630:Y)、遠隔制御装置200はジェスチャーモードに切り替える(S1640)。
ジェスチャーモードで遠隔制御装置200は、その動き状態に応じてディスプレイ装置100の画面の表示状態を制御することができる。例えば、メニュー画面がディスプレイされたり、別のUI画面がディスプレイされる等の画面転換が行われてよい。
一方、モード切り替えではないユーザ命令が入力されると(S1630:Y)、遠隔制御装置200は入力された命令に対応する制御信号をディスプレイ装置100に伝送することができる(S1650)。例えば、コンテンツ選択命令、ポインタ移動命令等が入力されると、当該命令に対応する制御信号をディスプレイ装置100に伝送することができる。
以上説明したように、本発明の多様な実施形態によると、ユーザに直観的な遠隔制御装置を提供することができるようになる。
一方、上述の本発明の多様な実施形態に係る方法は、既存のディスプレイ装置やユーザ端末装置に対するソフトウェアアップグレードだけでも実現されてよい。
なお、本発明に係る制御方法を順次行うプログラムが保存された非一時的な読み取り可能な媒体(Non−transitory computer readable medium)が提供されてよい。
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(Reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
なお、ディスプレイ装置及び遠隔制御装置に対して示した上述のブロック図では、バス(Bus)を示していないが、ディスプレイ装置及び遠隔制御装置で各構成要素間の通信はバスによって行われてよい。なお、各デバイスには、上述の多様なステップを行うCPU、マイクロプロセッサ等のようなプロセッサが更に含まれてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
110 通信部
120 ディスプレイ部
130 制御部
140 保存部
150 映像受信部
160 映像処理部
170 ユーザインターフェース部
180 UI処理部
210 通信部
220 検知部
230 入力部
231 モード切り替えボタン部
232 選択ボタン部
233 4方向入力部
234 タッチ入力部
240 制御部

Claims (15)

  1. 複数の制御モードを提供する遠隔制御装置において、
    ユーザインターフェース画面を提供する外部ディスプレイ装置と通信を行う通信部と、
    前記遠隔制御装置の動きを検知する検知部と、
    制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部と、
    前記検知部から検知された前記遠隔制御装置の動きに応じて前記ユーザインターフェース画面の表示状態を制御し、前記モード切り替えボタン部の押圧状態が解除されている場合、ポインティングモードで動作し、前記モード切り替えボタン部の押圧状態が持続する間、ジェスチャーモードで動作するように制御する制御部と
    を含み、
    前記モード切り替えボタン部は、前記遠隔制御装置の背面のユーザグリップ(grip)位置に配置されることを特徴とする遠隔制御装置。
  2. 前記ポインティングモードは、前記検知部から検知された前記遠隔制御装置の移動状態に応じて、前記ユーザインターフェース画面に表示されたポインタの移動状態を制御するためのモードであり、
    前記ジェスチャーモードは、前記遠隔制御装置の予め設定されたジェスチャーに応じて前記ユーザインターフェース画面の表示状態を制御するためのモードであることを特徴とする請求項1に記載の遠隔制御装置。
  3. 前記ポインティングモードで前記ポインタの位置されたオブジェクトを選択するためのユーザ命令を入力される選択ボタン部を更に含み、
    前記選択ボタン部は、前記遠隔制御装置の前面に配置されることを特徴とする請求項2に記載の遠隔制御装置。
  4. 前記選択ボタン部の外郭に配置される4方向入力部を更に含み、
    前記4方向ボタン部は、タッチセンサ及び光学技術を応用したOJ(Optical Joystic)センサのうち、少なくとも一方を含む形態で実現されることを特徴とする請求項3に記載の遠隔制御装置。
  5. 互いに異なる機能がマッピングされた複数のタッチ領域を含むタッチ入力部を更に含み、
    前記タッチ入力部は、前記遠隔制御装置の前面に配置されることを特徴とする請求項1に記載の遠隔制御装置。
  6. 前記複数のタッチ領域にマッピングされた互いに異なる機能は、チャネル転換機能、音量調整機能及びメニュー機能のうち、少なくとも一つを含むことを特徴とする請求項5に記載の遠隔制御装置。
  7. 前記検知部は、加速度センサ、ジャイロセンサ及び地磁気センサのうち、少なくとも一つを含むことを特徴とする請求項1に記載の遠隔制御装置。
  8. 前記通信部は、RF通信モジュールを含むことを特徴とする請求項1に記載の遠隔制御装置。
  9. 前記モード切り替えボタン部の配置される遠隔制御装置の前面が凹状にラウンディング形成されることを特徴とする請求項1に記載の遠隔制御装置。
  10. 前記モード切り替えボタン部は、遠隔制御装置の前面及び両側面に亘って連続的に配置され、遠隔制御装置の両側面は前面に連続して凹状にラウンディング形成されることを特徴とする請求項9に記載の遠隔制御装置。
  11. 前記モード切り替えボタン部は、複数個からなることを特徴とする請求項1に記載の遠隔制御装置。
  12. 前記選択ボタン部の配置される遠隔制御装置の上部は、後ろ側に進むほど次第に下向き傾斜するようにラウンディング形成されることを特徴とする請求項3に記載の遠隔制御装置。
  13. 複数の制御モードを提供する遠隔制御装置の制御方法において、
    前記遠隔制御装置の移動状態に応じて外部ディスプレイ装置から提供されるユーザインターフェース画面に表示されたポインタの移動状態を制御するためのポインティングモードで動作するステップと、
    制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部の押圧状態を検知するステップと、
    前記モード切り替えボタン部の押圧状態が持続する間、予め設定されたジェスチャーに応じて前記ユーザインターフェース画面の表示状態を制御するためのジェスチャーモードで動作するステップと
    を含み、
    前記モード切り替えボタン部は、前記遠隔制御装置の背面のユーザグリップ(grip)位置に配置されることを特徴とする制御方法。
  14. 前記ポインティングモードでオブジェクトを選択するためのユーザ命令を入力される選択ボタン部の押圧状態を検知するステップと、
    前記選択ボタン部の押圧状態が検知されると、前記ポインタの位置されたオブジェクトを実行するための制御信号を前記ディスプレイ装置に伝送するステップと
    を更に含むことを特徴とする請求項13に記載の制御方法。
  15. 複数の制御モードを提供する遠隔制御装置において、
    ユーザインターフェース画面を提供する外部ディスプレイ装置と通信を行う通信部と、
    前記遠隔制御装置の動きを検知する検知部と、
    制御モード切り替えのためのユーザ命令を入力されるモード切り替えボタン部と、
    前記検知部から検知された前記遠隔制御装置の動きに応じて前記ユーザインターフェース画面の表示状態を制御し、前記モード切り替えボタン部の押圧状態が解除されている場合、ポインティングモードで動作し、前記モード切り替えボタン部の押圧状態が持続する間、ジェスチャーモードで動作するように制御する制御部と、
    前記ポインティングモードで前記ポインタの位置されたオブジェクトを選択するためのユーザ命令を入力される選択ボタン部と
    を含み、
    前記モード切り替えボタン部は、前記遠隔制御装置の前面または前面及び両側面に亘って配置され、前記遠隔制御装置の前面及び両側面は凹状にラウンディング形成され、
    前記選択ボタン部は、前記遠隔制御装置の上部に配置され、前記遠隔制御装置の上部は、後ろ側に進むほど次第に下向き傾斜するように形成されることを特徴とする遠隔制御装置。
JP2013129695A 2012-06-20 2013-06-20 遠隔制御装置及びその制御方法 Pending JP2014002748A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0066375 2012-06-20
KR1020120066375A KR20130142824A (ko) 2012-06-20 2012-06-20 원격 제어 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
JP2014002748A true JP2014002748A (ja) 2014-01-09

Family

ID=48700323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013129695A Pending JP2014002748A (ja) 2012-06-20 2013-06-20 遠隔制御装置及びその制御方法

Country Status (10)

Country Link
US (1) US20130342456A1 (ja)
EP (1) EP2677741A1 (ja)
JP (1) JP2014002748A (ja)
KR (1) KR20130142824A (ja)
CN (1) CN103513895A (ja)
BR (1) BR112014032095A2 (ja)
IN (1) IN2015DN00187A (ja)
MX (1) MX2014015128A (ja)
RU (1) RU2015101530A (ja)
WO (1) WO2013191484A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036720A (ja) * 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140060818A (ko) * 2012-11-12 2014-05-21 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
WO2015102175A1 (ko) * 2013-12-30 2015-07-09 (주)유즈브레인넷 반지형 무선 콘트롤러 장치
KR102161677B1 (ko) * 2014-01-03 2020-10-05 삼성전자주식회사 원격 제어 장치 및 그의 제어 방법
KR20150081708A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US9448687B1 (en) * 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
KR20150115365A (ko) * 2014-04-04 2015-10-14 삼성전자주식회사 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치
CN105446468A (zh) * 2014-08-25 2016-03-30 乐视致新电子科技(天津)有限公司 操控模式的切换方法及装置
USD761272S1 (en) * 2014-09-02 2016-07-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102248741B1 (ko) * 2015-01-29 2021-05-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20160097520A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 디스플레이 장치 및 그의 ui 디스플레이 방법
KR102250091B1 (ko) * 2015-02-11 2021-05-10 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
KR20160109304A (ko) * 2015-03-10 2016-09-21 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치의 화면 제어방법
FR3038399B1 (fr) * 2015-06-30 2017-07-28 Softathome Procede et dispositif de commande d'une consigne de niveau d'un equipement distant par un dispositif tactile portatif
CN105083147A (zh) * 2015-07-08 2015-11-25 北汽福田汽车股份有限公司 车载控制器及具有其的汽车控制***
CN105100855A (zh) * 2015-07-22 2015-11-25 天脉聚源(北京)传媒科技有限公司 一种控制命令生成方法及装置
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
CN107783669B (zh) * 2016-08-23 2021-04-16 群光电子股份有限公司 光标产生***、方法及计算机程序产品
KR102514763B1 (ko) * 2017-07-25 2023-03-28 삼성전자주식회사 입력 장치 활용 방법 및 이를 구현한 전자 장치
JP6936165B2 (ja) * 2018-02-19 2021-09-15 シャープ株式会社 表示制御装置、表示制御システム、及び表示制御方法
KR102187937B1 (ko) * 2019-12-20 2020-12-07 유경현 원격 촬영 지원 장치 및 원격 촬영 지원 방법
CN111128163A (zh) * 2019-12-26 2020-05-08 珠海格力电器股份有限公司 一种语音电器的控制器及其控制方法、装置和存储介质
KR20210115796A (ko) * 2020-03-16 2021-09-27 삼성전자주식회사 원격 인터렉션 제어 방법 및 전자 장치
US20220244791A1 (en) * 2021-01-24 2022-08-04 Chian Chiu Li Systems And Methods for Gesture Input
CN113961163B (zh) * 2021-10-25 2024-06-04 深圳创维-Rgb电子有限公司 智能会议平板显示控制方法、装置及可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512892A (en) * 1994-02-25 1996-04-30 International Business Machines Corporation Hand held control device
JP4789232B2 (ja) * 2004-10-05 2011-10-12 ソニー株式会社 情報処理装置及び入力操作モード制御方法
US7432916B2 (en) * 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
US8194034B2 (en) * 2006-12-20 2012-06-05 Verizon Patent And Licensing Inc. Systems and methods for controlling a display
KR101451271B1 (ko) * 2007-10-30 2014-10-16 삼성전자주식회사 방송수신장치 및 그 제어방법
US20090201249A1 (en) * 2007-12-07 2009-08-13 Sony Corporation Input apparatus, control apparatus, control system, and handheld apparatus
WO2010034795A1 (en) * 2008-09-25 2010-04-01 Movea S.A Command by gesture interface
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
KR20110081140A (ko) * 2008-10-06 2011-07-13 마틴 포인팅 디바이스 스크롤 휠
KR101666995B1 (ko) * 2009-03-23 2016-10-17 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
US8432305B2 (en) * 2009-09-03 2013-04-30 Samsung Electronics Co., Ltd. Electronic apparatus, control method thereof, remote control apparatus, and control method thereof
US20110061025A1 (en) * 2009-09-04 2011-03-10 Walline Erin K Auto Scroll In Combination With Multi Finger Input Device Gesture
US8803655B2 (en) * 2010-05-11 2014-08-12 Universal Electronics Inc. System and methods for enhanced remote control functionality
KR20110135707A (ko) * 2010-06-11 2011-12-19 엘지전자 주식회사 원격제어장치 및 그 동작 제어방법
US8497942B2 (en) * 2011-04-07 2013-07-30 Sony Corporation User interface for audio video display device such as TV

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036720A (ja) * 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム

Also Published As

Publication number Publication date
RU2015101530A (ru) 2016-08-10
US20130342456A1 (en) 2013-12-26
KR20130142824A (ko) 2013-12-30
CN103513895A (zh) 2014-01-15
EP2677741A1 (en) 2013-12-25
BR112014032095A2 (pt) 2017-08-01
MX2014015128A (es) 2015-03-05
IN2015DN00187A (ja) 2015-06-12
WO2013191484A1 (en) 2013-12-27

Similar Documents

Publication Publication Date Title
JP2014002748A (ja) 遠隔制御装置及びその制御方法
US8988342B2 (en) Display apparatus, remote controlling apparatus and control method thereof
US11635869B2 (en) Display device and method of controlling the same
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US9007299B2 (en) Motion control used as controlling device
JP6275839B2 (ja) リモコン装置、情報処理方法およびシステム
US9247303B2 (en) Display apparatus and user interface screen providing method thereof
KR20170043065A (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
EP2538309A2 (en) Remote control with motion sensitive devices
KR20170019242A (ko) 전자 장치에서 유저 인터페이스 제공 방법 및 장치
KR102139110B1 (ko) 전자 디바이스 및 전자 디바이스에서 그립 센싱을 이용한 제어 방법
KR20140060818A (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
KR20140062895A (ko) 외부 장치를 제어하기 위한 웨어러블 디바이스 및 그 방법
US11054930B2 (en) Electronic device and operating method therefor
KR101339985B1 (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
US20150026638A1 (en) Apparatus and method of controlling external input device, and computer-readable recording medium
EP2538308A2 (en) Motion-based control of a controllled device
US10719147B2 (en) Display apparatus and control method thereof
KR20150009199A (ko) 객체 편집을 위한 전자 장치 및 방법
KR20150026110A (ko) 아이콘들을 관리하는 방법 및 이를 위한 모바일 단말기
KR20140117092A (ko) 디스플레이 장치 및 그 제어 방법
KR20190135958A (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
TW201426410A (zh) 電子設備的外接按鍵管理方法及系統
KR20140089870A (ko) 사용자 인터페이스 제공 방법 및 그 장치

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226