JP2012105034A - Remote control system - Google Patents
Remote control system Download PDFInfo
- Publication number
- JP2012105034A JP2012105034A JP2010251457A JP2010251457A JP2012105034A JP 2012105034 A JP2012105034 A JP 2012105034A JP 2010251457 A JP2010251457 A JP 2010251457A JP 2010251457 A JP2010251457 A JP 2010251457A JP 2012105034 A JP2012105034 A JP 2012105034A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- operation target
- remote control
- mobile terminal
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Details Of Television Systems (AREA)
- Selective Calling Equipment (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、携帯電話やPNDなどのモバイル機器(携帯端末装置)を用いてテレビやカーナビゲーション等を操作することができるリモートコントロールシステムに関するものである。 The present invention relates to a remote control system capable of operating a television, a car navigation, and the like using a mobile device (mobile terminal device) such as a mobile phone or a PND.
従来、複数の家電機器を操作する端末としてマルチリモコンなどの操作端末機器がある。このような操作端末機器は、操作対象の機器に合わせてIR信号を送信することで操作コマンドを送り操作することができるように構成されている。また近年、家電機器のネットワーク化が進んだことにより、TCP/IPを用いた双方向通信を利用して機器を操作することができるようになり、GUI操作を活用して機器ごとに高度な操作体系を実現することが行われている(例えば特許文献1参照)。また、特許文献1に係るリモートコントロール端末によれば、赤外線の到達範囲にある機器を特定することで操作対象の機器を自動的に判別することが可能である。 Conventionally, there is an operation terminal device such as a multi-remote control as a terminal for operating a plurality of home appliances. Such an operation terminal device is configured such that an operation command can be sent and operated by transmitting an IR signal in accordance with the operation target device. In recent years, with the advancement of networking of home appliances, it has become possible to operate devices using two-way communication using TCP / IP, and advanced operations for each device using GUI operations. A system has been realized (see, for example, Patent Document 1). Further, according to the remote control terminal according to Patent Document 1, it is possible to automatically determine a device to be operated by specifying a device within the infrared reachable range.
また、モバイル機器を利用したリモートコントロールの技術として、リモートコントロールする端末の現在位置に応じて単独操作画面と遠隔操作画面を自動的に切り替えるものが知られている(例えば特許文献2参照)。 In addition, as a remote control technique using a mobile device, one that automatically switches between a single operation screen and a remote operation screen according to the current position of a terminal to be remotely controlled is known (see, for example, Patent Document 2).
しかしながら、従来技術における例えば録画操作においては、EPGデータをリモコンが要求し、取得したEPGデータをリモコンに表示して操作するように構成されているため、GUIが画面サイズの小さいリモートコントロール側で表示されるため、操作しづらいという問題があった。また、従来技術によれば、GUIリモコンで操作するたびに視点をリコモンの画面に移す必要があり、番組等を視聴中のユーザにとっては使い勝手が悪いという問題があった。 However, for example, in a recording operation in the prior art, the remote controller requests EPG data, and the acquired EPG data is displayed and operated on the remote controller, so that the GUI is displayed on the remote control side with a small screen size. Therefore, there was a problem that it was difficult to operate. Further, according to the prior art, it is necessary to move the viewpoint to the re-common screen every time the GUI remote controller is operated, and there is a problem that it is inconvenient for a user who is watching a program or the like.
また、従来技術によれば、現在位置に基づいて単独操作画面と遠隔操作画面を切り替えるため、同じ位置にいたまま切り替えることができないため、遠隔操作画面を表示しつつ単独操作をする、例えば、番組表を操作しながら受信したメールを表示するといった同時操作、連携操作を行うことができないと問題があった。 In addition, according to the prior art, since the single operation screen and the remote operation screen are switched based on the current position and cannot be switched while being at the same position, the single operation is performed while the remote operation screen is displayed. There was a problem if simultaneous operations such as displaying received mail while operating the table, and cooperative operations could not be performed.
そこで本発明は、これら従来の問題を解決するためになされたものであり、ユーザの周囲にある複数の機器を自動的に判別し、視点を移した機器に対して操作対象の機器の画面を利用して操作することができるリモートコントロールシステムを提供することを目的とする。 Therefore, the present invention has been made to solve these conventional problems, and automatically identifies a plurality of devices around the user, and displays the screen of the operation target device with respect to the device whose viewpoint has been shifted. An object of the present invention is to provide a remote control system that can be used and operated.
本発明のリモートコントロールシステムは、アプリケーションを単独で動作させて少なくとも操作対象機器を操作する携帯端末装置と、前記携帯端末装置の指示に基づいて操作可能な一つ以上の前記操作対象機器からなるリモートコントロールシステムであって、前
記携帯端末装置は、一つ以上の前記操作対象機器からIPアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、前記携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、前記情報取得手段で取得された前記方位と前記視線方位検出手段で検出した前記視線の方位を照合する照合手段と、前記照合手段の照合結果に基づいて前記操作対象機器を切り替える切替手段と、前記切替手段で前記携帯端末装置に切替られた場合には前記携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には前記操作対象機器に対して操作情報を送信して制御する制御手段と、を備えて構成されている。
A remote control system according to the present invention is a remote terminal comprising a mobile terminal device that operates at least an operation target device by operating an application alone, and one or more operation target devices that can be operated based on an instruction from the mobile terminal device. In the control system, the mobile terminal device acquires information acquisition means that acquires an IP address and an orientation with respect to the user from one or more of the operation target devices, and a gaze direction of a user who operates the mobile terminal device A line-of-sight detecting unit for detecting the line-of-sight, a collating unit for collating the direction of the line of sight detected by the line-of-sight detected by the line-of-sight detecting unit with the direction acquired by the information acquiring unit, Switching means for switching the target device; and when the switching means switches to the portable terminal device, the portable terminal And controlling an application running on device, which is otherwise configured to include a controller that controls to transmit the operation information to the operation target device.
このように構成された本発明のリモートコントロールシステムによれば、ユーザの視線の方位に応じて携帯端末装置か操作対象機器を自動的に切換え、携帯端末装置の場合には携帯端末装置で動作しているアプリケーションを制御し、操作対象機器の場合に携帯端末装置から操作情報を送信して制御することができるように構成されている。 According to the remote control system of the present invention configured as described above, the mobile terminal device or the operation target device is automatically switched according to the direction of the user's line of sight, and in the case of the mobile terminal device, the mobile terminal device operates. In the case of a device to be operated, operation information is transmitted from the mobile terminal device and can be controlled.
本発明のリモートコントロールシステムの前記携帯端末装置は、前記携帯端末装置の操作した動作における座標軸の変化を検出する検出手段を備え、前記検出手段の検出結果に基づいて視線方位検出手段で検出された方位を補正するように構成されている。 The portable terminal device of the remote control system according to the present invention includes a detecting unit that detects a change in coordinate axes in an operation operated by the portable terminal device, and is detected by the gaze direction detecting unit based on a detection result of the detecting unit. It is configured to correct the azimuth.
このように構成された本発明のリモートコントロールシステムによれば、携帯端末装置の操作した動作における座標軸の変化を検出手段で検出し、検出結果に基づいて視線方位検出手段で検出された方位を補正することができるように構成されており、携帯端末装置の傾きや方向が変化した場合でも視線方位検出手段で検出された方位を補正することができるので、正しい方位に補正することができる。 According to the remote control system of the present invention configured as described above, the change of the coordinate axis in the operation operated by the mobile terminal device is detected by the detection unit, and the direction detected by the line-of-sight direction detection unit is corrected based on the detection result. The azimuth | direction detected by the gaze azimuth | direction detection means can be correct | amended even if the inclination and direction of a portable terminal device change, and it can correct | amend to a correct azimuth | direction.
本発明のリモートコントロールシステムの前記携帯端末装置は、アプリケーション画面を表示する表示手段を備え、前記切替手段の切替によって操作対象が操作対象機器の場合、前記携帯端末装置の前記アプリケーション画面を前記操作対象機器に送信して表示させるように構成されている。 The mobile terminal device of the remote control system of the present invention includes display means for displaying an application screen, and when the operation target is an operation target device by switching the switching means, the application screen of the mobile terminal device is set as the operation target. It is configured to be sent to the device for display.
このように構成された本発明のリモートコントロールシステムによれば、操作対象が操作対象機器の場合には、携帯端末装置に表示されているアプリケーション画面を操作対象機器に送信して表示させることができる。 According to the remote control system of the present invention configured as described above, when the operation target is the operation target device, the application screen displayed on the portable terminal device can be transmitted to the operation target device and displayed. .
本発明の前記携帯端末装置は、前記携帯端末装置で操作した動作における座標変化に基づいて前記携帯端末装置においてアプリケーション処理を行うか、前記操作対象機器に前記携帯端末装置で操作した際の座標変化を入力座標として送信するのかを判断する判断手段を備えて構成されている。 The mobile terminal device according to the present invention performs application processing in the mobile terminal device based on a coordinate change in an operation operated on the mobile terminal device, or changes in coordinates when the operation target device is operated on the mobile terminal device Is provided with determination means for determining whether to transmit as input coordinates.
このように構成された本発明のリモートコントロールシステムによれば、携帯端末装置の動作における座標変化を検出し、座標変化に基づいて携帯端末装置でアプリケーション処理を行うか、操作対象機器に座標変化を操作対象機器への入力座標として送信するのか判断し、判断結果に基づいて対象機器の操作を行うことができる。 According to the remote control system of the present invention configured as described above, a coordinate change in the operation of the mobile terminal device is detected, and application processing is performed on the mobile terminal device based on the coordinate change, or a coordinate change is applied to the operation target device. It is possible to determine whether to transmit as input coordinates to the operation target device, and to operate the target device based on the determination result.
本発明によれば、ユーザが視線を向けている方向の機器を自動的に識別して操作することが可能になり、従来のマルチリモコンのような操作対象の機器に応じてスイッチを切り替える必要がなく、ユーザの視線が向いている機器に対して操作をすることができ、ユーザが操作行うために携帯操作端末装置に視線を移す必要がなく簡単に操作することができる。さらに、複数の操作対象機器を自動認識でき、同じ位置にいたままでも視線の切り替えだけで操作対象を変更することができる。 According to the present invention, it is possible to automatically identify and operate a device in a direction in which the user is looking at the line of sight, and it is necessary to switch a switch according to a device to be operated such as a conventional multi-remote controller. In addition, it is possible to operate the device that the user's line of sight is facing, and the user can easily operate without having to move the line of sight to the portable operation terminal device in order to perform the operation. Furthermore, a plurality of operation target devices can be automatically recognized, and the operation target can be changed only by switching the line of sight even when the device is in the same position.
(第1の実施形態)
次に本発明の実施の形態に用いるリモートコントロール装置及び操作対象機器の詳細について図面を用いて説明する。図1は、本発明のリモートコントロール装置およびその操作対象機器の機能構成を示した図である。
(First embodiment)
Next, details of the remote control device and the operation target device used in the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a functional configuration of a remote control device of the present invention and an operation target device thereof.
図1に示すように、本発明のリモートコントロールシステムは、リモートコントロール装置100と操作対象機器101からなるシステムで構成されている。
リモートコントロール装置100は、アプリケーションを単独で動作可能であり、操作対象機器のIDを取得する機器ID受信部110と、操作対象機器の方位を取得する機器方位検出部111と、リモートコントロール装置100のユーザの視線を検出する視線検出部112と、機器方位検出部111および視線検出部112で得られた方位を照合して操作対象の機器を切り替える操作機器切替部113と、操作対象機器が遠隔操作となった場合、入力操作部117で取得した入力イベントを操作対象機器101に送信する操作情報送信部114からなり、前記操作対象機器101は、自身のIDを発信する機器ID発信部120と、リモートコントロール装置100から操作される場合に操作情報を取得する操作情報取得部121によって構成されている。なお、図示していないが、リモートコントロール装置100の座標軸の傾きなどを検出するために加速度センサなども備えて構成されている。
As shown in FIG. 1, the remote control system of the present invention includes a system including a
The
ここで前記リモートコントロール装置100および操作対象機器101は、ネットワークの範囲に入るとそれぞれの接続確立部118、122によってネットワーク接続が行われる。図2に示すように、それぞれの接続確立部はDHCPやUPnPといった標準プロトコルを用いることで、IPアドレスが設定され、操作対象機器をネットワーク内で検索し、検索された検索結果のレスポンスとして操作対象機器101のIPアドレスとIDを受信し格納するように構成されている。また、操作対象機器101の機器ID発信部120によって直接発信される信号をリモートコントロール装置100の機器ID受信部110で取得し、その信号を元に機器方位検出部111にて方位を取得することで、ID、IPアドレス、方位の関連付けが得られるように構成されている。
Here, when the
機器方位検出部111は、操作対象機器101から直接波で情報を取得して方位を検出することができるように構成されている。具体的には、操作対象機器101にバーコードを貼り付ける、またはディスプレイに表示させ、そのバーコードをリモートコントロール装置100に備えるカメラで認識させて操作対象機器101のIDを得ることで、カメラに写像されたバーコード情報のIDから操作対象機器101の位置を把握することができ、リモートコントロール装置100に実装されたカメラの位置が既知である場合、リモートコントロール装置100との相対的な方位を算出することができるように構成されている。また、リモートコントロール装置100にアレイアンテナを実装したRFIDリーダを備えるように構成し、操作対象機器101が発信するIDを受信することで、受信電波の到来角からリモートコントロール装置100との相対的な方位を算出することができるようにしてもよい。
The device
なお、リモートコントロール装置100は、操作対象機器101のID、IPアドレス、方位を関連付けて格納した後、ユーザがリモートコントロール装置100を動かした場合にはリモートコントロール装置100自身の座標軸が変わってしまうため、リモートコントロール装置100に内蔵されている加速度センサなどを用いてリモートコントロール装置100の座標軸の変化を検出して補正するか、または、機器方位検出部111で方位を再取得して修正することができるように構成されている。
Since the
視線検出部112は、カメラを用いてリモートコントロール装置100を操作しているユーザの虹彩検出を行うことで視線方向を推定することができるように構成されている。ここでリモートコントロール装置100に実装されたカメラの位置が既知である場合、リモートコントロール装置100を基準とした座標軸において視線の方位を算出することができるように構成されている。
The line-of-
操作機器切替部113は、視線検出部112で得られた方位を機器方位検出部111が既に取得してある操作対象機器の方位と照合して、ユーザが視線を向けている機器を特定して操作を切り替えることができるように構成されている。さらには、操作機器切替部113で操作対象がリモートコントロール装置100である場合と、操作対象機器101である場合によって、それぞれ操作対象に合わせて画面生成部115が出力する画面を切り替えることで、ユーザが一瞬視線を変えた場合など、遠隔操作中であることを容易に判断することができるように構成されている。
The operation
画面生成部115は、アプリケーションの画面を格納するフレームバッファであるアプリケーション画面130と、遠隔操作中に表示するフレームバッファである遠隔操作用画面131を操作機器切替部113に基づいて画面表示部116に切り替えて出力することができるように構成されている。例えば、操作機器切替部113で操作対象が操作対象機器101である場合、画面表示部116には操作対象機器101に対応したアプリケーション画面130と遠隔操作用画面131が表示されると共に、操作情報送信部114に通知し、入力操作部117で取得した入力イベントを操作対象機器101の操作情報取得部121に送信することができる。なお、送信先は操作機器切替部113で特定された機器のIPアドレスが指定されるように構成されている。そして、操作対象機器は操作情報取得部121で受け取った入力イベントに応じて自身のアプリケーションを動作させることができるように構成されている。
The
次に、リモートコントロール装置が操作対象機器を自動的に識別するための構成を図面を用いて説明する。図2に示すように、本発明の実施の形態においてIPアドレス取得にDHCP、機器発見にUPnPのプロトコルを用いた場合の構成を用いて説明する。 Next, a configuration for the remote control device to automatically identify the operation target device will be described with reference to the drawings. As shown in FIG. 2, the configuration of the embodiment of the present invention using a DHCP protocol for IP address acquisition and a UPnP protocol for device discovery will be described.
図2に示すように、リモートコントロール装置100は、ネットワークの範囲に入るとDHCPクライアント150はネットワーク管理機能を備えるルータなどのDHCPサーバ102からIPアドレスを取得する。IPアドレスを取得すると、操作機器探索部151によって操作対象機器をネットワーク内で検索する。なお、様々なサービスに対応した機器を検索する際、最近ではUPnPが多く使われており、これらの既存技術を利用することで操作対象となる機器を発見することが可能となる。
As shown in FIG. 2, when the
操作機器探索部151で探索された操作対象機器101は、操作機器サービス160でリクエストを受信すると、レスポンスとして自身のIPアドレスとIDをリモートコントロール装置100に送信し、操作機器情報取得部152によって受信され接続先情報格納部153にデータを保存することができるように構成されている。なお、接続先情報格納部153は、図3に示すような関係データベース等にID、IPアドレス、方位の情報が関係付けされて格納されるように構成されている。
When the
次に、操作対象機器101の方位を取得する方法について説明する。
図4は、バーコードを用いて操作対象機器の方位の算出する様子を示した模式図である。
また、操作対象機器101の方位を取得するための構成は、図2に示すように、機器ID発信部120と、機器ID受信部110と、機器方位検出部111によって方位を取得することができるように構成されている。
Next, a method for acquiring the orientation of the
FIG. 4 is a schematic diagram illustrating how the orientation of the operation target device is calculated using a barcode.
In addition, as shown in FIG. 2, the configuration for acquiring the orientation of the
リモートコントロール装置100は、例えばUPnPを利用してネットワーク内の操作対象機器に対してバーコードの表示を指示することで操作対象機器101に自身のID情報を含んだバーコードが表示させることができ、リモートコントロール装置100のOUTカメラを利用して操作対象機器101に表示されたIDを読み取り、機器方位検出部111はカメラに写像されたバーコードの位置からリモートコントロール装置100との相対的な方位を算出することができるように構成されている。
The
次に、方位を算出方法として機器ID発信部にRFID、機器ID受信部にRFIDリーダを用いた例について図面を用いて説明する。図5は、本発明の実施の形態におけるRFIDを用いて操作対象機器の方位の算出様子を示した模式図である。
図5に示すように、操作対象機器101はあらかじめRFIDが取り付けられており、リモートコントロール装置100はアレイアンテナを実装したRFIDリーダを用いて操作対象機器101のIDをRFIDから受信することができるように構成されている。また、機器方位検出部111は、操作対象機器101のRFIDからの受信電波の到来角からリモートコントロール装置100との相対的な方位を算出することができるように構成されている。
Next, an example in which an RFID is used for the device ID transmission unit and an RFID reader is used for the device ID reception unit as a method for calculating the azimuth will be described with reference to the drawings. FIG. 5 is a schematic diagram showing how the orientation of the operation target device is calculated using the RFID according to the embodiment of the present invention.
As shown in FIG. 5, the
このように取得したリモートコントロール装置100と操作対象機器101、101の方位情報は、取得したIDに関連付けられると共に図3で示した接続先情報格納部のテーブルのIDが一致する行に格納するように構成されている。このように構成することで操作対象機器の方位とIPアドレスが関連付けることができるように構成されている。
The azimuth information of the
図6は前記IPアドレスと方位の関連付けの処理がなされた後、リモートコントロール装置を動かしてしまうことで発生する方位の変化を更新するための機能構成図である。
図6に示すようにリモートコントロール装置100に備えられた加速度センサ170は、3軸方向の加速度を検出する。座標軸変化検出部171は検出された加速度の累積から座標軸の変化量を測定し、接続先情報格納部153に格納されている操作対象機器の方位すべてに対して、変化量に応じた座標変換をして方位の値を更新する。また、加速度センサを使ったトラッキングでは誤差の蓄積があるため、定期的に機器方位検出部111で方
位を再取得して修正するように構成してもよい。
FIG. 6 is a functional configuration diagram for updating a change in azimuth that occurs when the remote control device is moved after the process of associating the IP address with the azimuth.
As shown in FIG. 6, the
次に視線の方位を検出する方法について説明する。
図1に示される視線検出部112はカメラを用いて虹彩検出を行い、この結果をもとに視線方向を推定する。虹彩検出をした結果、図7に示すように視線を中心とした座標軸での方位、および、リモートコントロール装置100(INカメラ)を原点とした基準座標軸との距離がわかり、視点、および視線を基準座標軸での位置と方位に変換した結果を得ることができる。
Next, a method for detecting the direction of the line of sight will be described.
The
次に、リモートコントロール装置100の操作機器切替部113は、視線検出部112で得られた方位を機器方位検出部111が既に接続先情報格納部153に格納した方位と照合して、ユーザが視線を向けている機器を特定し、特定された操作対象機器に操作を切り替える。
Next, the operation
さらには、操作機器切替部113で操作対象がリモートコントロール装置100であったときと、操作対象機器101であったときで画面生成部115が出力する画面を切り替えることで、ユーザが一瞬視線を変えた場合など、遠隔操作中であることを容易に判断することができるように構成されている。
Furthermore, the user can change the line of sight for a moment by switching the screen output by the
ここで、リモートコントロール装置にコンテンツを取得する動作について図面を用いて説明する。
図8、9、10は、本発明の実施の形態1におけるコンテンツ操作を示した例を示す模式図である。
図8に示すように、視線を携帯電話(リモートコントロール装置)100に向けている際は、タッチパネルでコンテンツの操作を行うことができ、視線をテレビに移した際には、図9に示すように、携帯電話に表示されていた表示が切り替り画面をタッチやスライドさせることで操作することができるマウスパッドとしての表示を行い、テレビ101(操作対象機器101)に表示した項目をマウスポインターを操作することでコンテンツの持ち出し操作を実行することができるように構成されている。また、テレビ101から視線を戻して遠隔操作が終了すると携帯電話に表示されていたマウスパッドの表示からコンテンツ操作の画面に切り替わるように構成されている。
Here, the operation of acquiring content in the remote control device will be described with reference to the drawings.
8, 9, and 10 are schematic diagrams illustrating an example of content operation according to Embodiment 1 of the present invention.
As shown in FIG. 8, when the line of sight is directed toward the mobile phone (remote control device) 100, the content can be operated with the touch panel, and when the line of sight is moved to the television, as shown in FIG. In addition, the display displayed on the mobile phone is switched to display as a mouse pad that can be operated by touching or sliding the screen, and the item displayed on the television 101 (operation target device 101) is moved to the mouse pointer. It is configured so that content operation can be performed by operating. Further, when the line of sight is returned from the
なお、画面表示の切り替えは、図1に示す画面生成部115で実行され、アプリケーションの画面を格納するフレームバッファであるアプリケーション画面130と、遠隔操作中に表示するフレームバッファである遠隔操作用画面131を操作機器切替部の通知に応じて切り替えて画面表示部116に出力するように構成されている。
The screen display is switched by the
また、ユーザの入力操作は以下の構成によって実行される。
操作機器切替部113で操作対象が操作対象機器101である場合、操作情報送信部114に通知し、入力操作部117で取得した入力イベントを操作対象機器101の操作情報取得部121に送信する。操作対象機器101は操作情報取得部121で受け取った入力イベントに応じて自身のアプリケーションを動作させることができる。
The user's input operation is executed with the following configuration.
When the operation target is the
(第2の実施形態)
以下、本発明の第2の実施形態におけるリモートコントロールシステムについて図面を参照しながら説明する。
図11は本発明の第2の実施形態におけるリモートコントロール装置と操作対象機器における機能構成図である。本図面には表記されてはいないが、図1の機能構成図に準じるものであり、図1の構成図に画面情報送信部119と、画面情報取得部122と、画面表示部123が加えられたものである。
(Second Embodiment)
Hereinafter, a remote control system according to a second embodiment of the present invention will be described with reference to the drawings.
FIG. 11 is a functional configuration diagram of the remote control device and the operation target device according to the second embodiment of the present invention. Although not shown in this drawing, it conforms to the functional configuration diagram of FIG. 1, and a screen
図12は、本発明の実施の形態2における表示例であり、実施の形態1で記した図8と異なり、携帯電話の画面も遠隔表示している。このようにすることで、視線をテレビに移した場合に一画面の中で操作を完結することができるため、ユーザにとって簡便である。 FIG. 12 is a display example according to the second embodiment of the present invention. Unlike FIG. 8 described in the first embodiment, the screen of the mobile phone is also displayed remotely. In this way, when the line of sight is moved to the television, the operation can be completed within one screen, which is convenient for the user.
また、操作機器切替部113で操作対象が操作対象機器101である場合、操作情報送信部114に通知し、入力操作部117で取得した入力イベントを操作対象機器101の操作情報取得部121に送信する。さらには、画面生成部115のアプリケーション画面130を画面情報送信部119が取得し、これを送信する。操作対象機器101の画面情報取得部122はアプリケーション画面を取得し、画面表示部123にて表示することができるように構成されている。
Further, when the operation target is the
このとき、操作情報送信部は入力イベントに対する動作についてフローチャートを用いて説明する。
図13は、本発明の第2の実施形態における操作情報送信部の動作を示すフロー図である。
まず、入力操作部117からタッチされた座標を取得(S1)、取得された座標が自画面への入力かどうかを判断する(S2)。ここで、図12を用いて説明すれば、遠隔表示中と記載された枠の中かどうかを判断することになり、自画面の入力であった場合は(S2、YES)リモートコントロール装置100自身のアプリケーションに通知し(S3)、アプリケーションが画面を更新し、この画面が画面情報送信部119で送信されることで、操作対象機器101の画面も更新される。また、自画面の入力でなかった場合は(S2、NO)、タッチされた座標を操作対象機器に送信し(S4)、操作対象機器101のアプリケーションによって入力イベントが処理されて画面が更新される。
At this time, the operation information transmission unit will explain the operation for the input event with reference to a flowchart.
FIG. 13 is a flowchart showing the operation of the operation information transmitting unit in the second embodiment of the present invention.
First, the coordinates touched from the
このように本発明の第2の実施形態におけるリモートコントロールシステムは、携帯電話(携帯端末装置)の画面をテレビに表示して操作することができるので、TVに写し出された携帯電話のアプリケーション画面を見ながら携帯電話の画面に入力することができる。 As described above, since the remote control system according to the second embodiment of the present invention can be operated by displaying the screen of the mobile phone (mobile terminal device) on the TV, the application screen of the mobile phone projected on the TV can be displayed. You can enter on the screen of your mobile phone while watching.
本発明は携帯電話やPNDといったモバイル機器に実装することが可能な技術であり、ユーザが普段持ち歩く機器を利用して家庭内のAV機器や車内でカーナビゲーションを操作する機能を実現する上で有用である。 INDUSTRIAL APPLICABILITY The present invention is a technology that can be mounted on a mobile device such as a mobile phone or a PND, and is useful for realizing a function for operating a car navigation in a home AV device or in a vehicle using a device that a user usually carries. It is.
100 リモートコントロール装置
101 操作対象機器(テレビ)
102 サーバ
110 機器ID受信部
111 機器方位検出部
112 視線検出部
113 操作機器切替部
114 操作情報送信部
115 画面生成部
116 画面表示部
117 入力操作部
118 接続確立部
119 画面情報送信部
120 機器ID発信部
121 操作情報取得部
122 画面情報取得部
123 画面表示部
130 アプリケーション画面
131 遠隔操作用画面
100
DESCRIPTION OF
Claims (4)
前記携帯端末装置は、
一つ以上の前記操作対象機器からIPアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、
前記携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、
前記情報取得手段で取得された前記方位と前記視線方位検出手段で検出した前記視線の方位を照合する照合手段と、
前記照合手段の照合結果に基づいて前記操作対象機器を切り替える切替手段と、
前記切替手段で前記携帯端末装置に切替られた場合には前記携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には前記操作対象機器に対して操作情報を送信して制御する制御手段と、
を備えたことを特徴とするリモートコントロールシステム。 A remote control system comprising a mobile terminal device that operates at least an operation target device by operating an application alone, and one or more operation target devices operable based on an instruction of the mobile terminal device,
The portable terminal device
Information acquisition means for acquiring an IP address and an orientation for a user in association with one or more of the operation target devices;
Gaze direction detecting means for detecting the gaze direction of the user operating the mobile terminal device;
Collation means for collating the azimuth acquired by the information acquisition means and the sight line azimuth detected by the gaze azimuth detection means;
Switching means for switching the operation target device based on the collation result of the collation means;
Control that controls the application running on the portable terminal device when the switching means is switched to the portable terminal device, and otherwise transmits operation information to the operation target device for control Means,
A remote control system characterized by comprising
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010251457A JP2012105034A (en) | 2010-11-10 | 2010-11-10 | Remote control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010251457A JP2012105034A (en) | 2010-11-10 | 2010-11-10 | Remote control system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012105034A true JP2012105034A (en) | 2012-05-31 |
Family
ID=46394937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010251457A Pending JP2012105034A (en) | 2010-11-10 | 2010-11-10 | Remote control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012105034A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103365A1 (en) * | 2012-12-27 | 2014-07-03 | 株式会社 東芝 | Electronic apparatus, apparatus control method, and apparatus control program |
WO2015104884A1 (en) * | 2014-01-08 | 2015-07-16 | ソニー株式会社 | Information processing system, information processing method, and program |
-
2010
- 2010-11-10 JP JP2010251457A patent/JP2012105034A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103365A1 (en) * | 2012-12-27 | 2014-07-03 | 株式会社 東芝 | Electronic apparatus, apparatus control method, and apparatus control program |
WO2015104884A1 (en) * | 2014-01-08 | 2015-07-16 | ソニー株式会社 | Information processing system, information processing method, and program |
JPWO2015104884A1 (en) * | 2014-01-08 | 2017-03-23 | ソニー株式会社 | Information processing system, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5916261B2 (en) | File transmission method, system, and control apparatus | |
EP2040465B1 (en) | Remote control for sensing movement, image display apparatus for controlling pointer by the remote control, and controlling method thereof | |
CN111143005B (en) | Application sharing method, electronic equipment and computer readable storage medium | |
CN107430394B (en) | Method, server, mobile terminal and device for data interaction with vehicle machine | |
US8866773B2 (en) | Remote control apparatus, remote control system, remote control method, and program | |
KR101785332B1 (en) | Short-range wireless communication apparatus and method for establishing connection thereof | |
US20040121725A1 (en) | Remote control device | |
US9088969B2 (en) | Short range wireless communication apparatus and method | |
EP2748933A1 (en) | Gesture-based input mode selection for mobile devices | |
CN108519080B (en) | Navigation route planning method and terminal | |
CN108769893B (en) | Terminal detection method and terminal | |
JP6344319B2 (en) | Mobile communication terminal, position information sharing system, in-vehicle device, and program | |
CN109521684B (en) | Household equipment control method and terminal equipment | |
KR101618783B1 (en) | A mobile device, a method for controlling the mobile device, and a control system having the mobile device | |
US20160147402A1 (en) | Method for dynamic and automatic creation of user interfaces | |
CN108174109B (en) | Photographing method and mobile terminal | |
KR102683583B1 (en) | Application sharing method, first electronic device, and computer-readable storage medium | |
CN111127863B (en) | Control method of device, remote controller and storage medium | |
US20160298975A1 (en) | Navigation System and In-Vehicle Device | |
JP2012105034A (en) | Remote control system | |
CN107920331B (en) | Vehicle positioning method, terminal, server and computer storage medium | |
KR101632220B1 (en) | A mobile device, a method for controlling the mobile device, and a control system having the mobile device | |
CN111599148A (en) | Electronic equipment and connection method thereof | |
KR101549027B1 (en) | Mobile device and method for controlling the mobile device | |
CN108811177B (en) | Communication method and terminal |