JP2012105034A - Remote control system - Google Patents

Remote control system Download PDF

Info

Publication number
JP2012105034A
JP2012105034A JP2010251457A JP2010251457A JP2012105034A JP 2012105034 A JP2012105034 A JP 2012105034A JP 2010251457 A JP2010251457 A JP 2010251457A JP 2010251457 A JP2010251457 A JP 2010251457A JP 2012105034 A JP2012105034 A JP 2012105034A
Authority
JP
Japan
Prior art keywords
terminal device
operation target
remote control
mobile terminal
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010251457A
Other languages
Japanese (ja)
Inventor
Hisaki Kanehara
寿樹 金原
Takanori Maruyama
貴紀 丸山
Yo Yasuda
陽 保田
Sumiteru Matsushita
純輝 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010251457A priority Critical patent/JP2012105034A/en
Publication of JP2012105034A publication Critical patent/JP2012105034A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a remote control system which can operate an operational object apparatus using a screen of the operational object apparatus and automatically determine a plurality of apparatuses in the vicinity of a user so as to operate the apparatus on which a view point of the user is taken.SOLUTION: A remote control system comprises: information acquisition means which acquires an IP address and associated direction to a user for one or more operational object apparatuses; view line direction detection means which detects view line direction of the user who is operating a portable terminal device; collation means which collates the direction acquired by the information acquisition means with the view line direction detected by the view line direction detection means; switching means which switches between the operational object apparatuses based on the collation result of the collation means; and control means which controls an application working on the portable terminal device when being switched to the portable terminal device by the switching means, and otherwise transmits operation information to the operational object apparatus to control it.

Description

本発明は、携帯電話やＰＮＤなどのモバイル機器（携帯端末装置）を用いてテレビやカーナビゲーション等を操作することができるリモートコントロールシステムに関するものである。   The present invention relates to a remote control system capable of operating a television, a car navigation, and the like using a mobile device (mobile terminal device) such as a mobile phone or a PND.

従来、複数の家電機器を操作する端末としてマルチリモコンなどの操作端末機器がある。このような操作端末機器は、操作対象の機器に合わせてＩＲ信号を送信することで操作コマンドを送り操作することができるように構成されている。また近年、家電機器のネットワーク化が進んだことにより、ＴＣＰ／ＩＰを用いた双方向通信を利用して機器を操作することができるようになり、ＧＵＩ操作を活用して機器ごとに高度な操作体系を実現することが行われている（例えば特許文献１参照）。また、特許文献１に係るリモートコントロール端末によれば、赤外線の到達範囲にある機器を特定することで操作対象の機器を自動的に判別することが可能である。   Conventionally, there is an operation terminal device such as a multi-remote control as a terminal for operating a plurality of home appliances. Such an operation terminal device is configured such that an operation command can be sent and operated by transmitting an IR signal in accordance with the operation target device. In recent years, with the advancement of networking of home appliances, it has become possible to operate devices using two-way communication using TCP / IP, and advanced operations for each device using GUI operations. A system has been realized (see, for example, Patent Document 1). Further, according to the remote control terminal according to Patent Document 1, it is possible to automatically determine a device to be operated by specifying a device within the infrared reachable range.

また、モバイル機器を利用したリモートコントロールの技術として、リモートコントロールする端末の現在位置に応じて単独操作画面と遠隔操作画面を自動的に切り替えるものが知られている（例えば特許文献２参照）。   In addition, as a remote control technique using a mobile device, one that automatically switches between a single operation screen and a remote operation screen according to the current position of a terminal to be remotely controlled is known (see, for example, Patent Document 2).

特開２００６−２０３８３１号公報JP 2006-203831 A 特開平１１−１１０１０９号公報Japanese Patent Laid-Open No. 11-110109

しかしながら、従来技術における例えば録画操作においては、ＥＰＧデータをリモコンが要求し、取得したＥＰＧデータをリモコンに表示して操作するように構成されているため、ＧＵＩが画面サイズの小さいリモートコントロール側で表示されるため、操作しづらいという問題があった。また、従来技術によれば、ＧＵＩリモコンで操作するたびに視点をリコモンの画面に移す必要があり、番組等を視聴中のユーザにとっては使い勝手が悪いという問題があった。   However, for example, in a recording operation in the prior art, the remote controller requests EPG data, and the acquired EPG data is displayed and operated on the remote controller, so that the GUI is displayed on the remote control side with a small screen size. Therefore, there was a problem that it was difficult to operate. Further, according to the prior art, it is necessary to move the viewpoint to the re-common screen every time the GUI remote controller is operated, and there is a problem that it is inconvenient for a user who is watching a program or the like.

また、従来技術によれば、現在位置に基づいて単独操作画面と遠隔操作画面を切り替えるため、同じ位置にいたまま切り替えることができないため、遠隔操作画面を表示しつつ単独操作をする、例えば、番組表を操作しながら受信したメールを表示するといった同時操作、連携操作を行うことができないと問題があった。   In addition, according to the prior art, since the single operation screen and the remote operation screen are switched based on the current position and cannot be switched while being at the same position, the single operation is performed while the remote operation screen is displayed. There was a problem if simultaneous operations such as displaying received mail while operating the table, and cooperative operations could not be performed.

そこで本発明は、これら従来の問題を解決するためになされたものであり、ユーザの周囲にある複数の機器を自動的に判別し、視点を移した機器に対して操作対象の機器の画面を利用して操作することができるリモートコントロールシステムを提供することを目的とする。   Therefore, the present invention has been made to solve these conventional problems, and automatically identifies a plurality of devices around the user, and displays the screen of the operation target device with respect to the device whose viewpoint has been shifted. An object of the present invention is to provide a remote control system that can be used and operated.

本発明のリモートコントロールシステムは、アプリケーションを単独で動作させて少なくとも操作対象機器を操作する携帯端末装置と、前記携帯端末装置の指示に基づいて操作可能な一つ以上の前記操作対象機器からなるリモートコントロールシステムであって、前
記携帯端末装置は、一つ以上の前記操作対象機器からＩＰアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、前記携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、前記情報取得手段で取得された前記方位と前記視線方位検出手段で検出した前記視線の方位を照合する照合手段と、前記照合手段の照合結果に基づいて前記操作対象機器を切り替える切替手段と、前記切替手段で前記携帯端末装置に切替られた場合には前記携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には前記操作対象機器に対して操作情報を送信して制御する制御手段と、を備えて構成されている。 A remote control system according to the present invention is a remote terminal comprising a mobile terminal device that operates at least an operation target device by operating an application alone, and one or more operation target devices that can be operated based on an instruction from the mobile terminal device. In the control system, the mobile terminal device acquires information acquisition means that acquires an IP address and an orientation with respect to the user from one or more of the operation target devices, and a gaze direction of a user who operates the mobile terminal device A line-of-sight detecting unit for detecting the line-of-sight, a collating unit for collating the direction of the line of sight detected by the line-of-sight detected by the line-of-sight detecting unit with the direction acquired by the information acquiring unit, Switching means for switching the target device; and when the switching means switches to the portable terminal device, the portable terminal And controlling an application running on device, which is otherwise configured to include a controller that controls to transmit the operation information to the operation target device.

このように構成された本発明のリモートコントロールシステムによれば、ユーザの視線の方位に応じて携帯端末装置か操作対象機器を自動的に切換え、携帯端末装置の場合には携帯端末装置で動作しているアプリケーションを制御し、操作対象機器の場合に携帯端末装置から操作情報を送信して制御することができるように構成されている。   According to the remote control system of the present invention configured as described above, the mobile terminal device or the operation target device is automatically switched according to the direction of the user's line of sight, and in the case of the mobile terminal device, the mobile terminal device operates. In the case of a device to be operated, operation information is transmitted from the mobile terminal device and can be controlled.

本発明のリモートコントロールシステムの前記携帯端末装置は、前記携帯端末装置の操作した動作における座標軸の変化を検出する検出手段を備え、前記検出手段の検出結果に基づいて視線方位検出手段で検出された方位を補正するように構成されている。   The portable terminal device of the remote control system according to the present invention includes a detecting unit that detects a change in coordinate axes in an operation operated by the portable terminal device, and is detected by the gaze direction detecting unit based on a detection result of the detecting unit. It is configured to correct the azimuth.

このように構成された本発明のリモートコントロールシステムによれば、携帯端末装置の操作した動作における座標軸の変化を検出手段で検出し、検出結果に基づいて視線方位検出手段で検出された方位を補正することができるように構成されており、携帯端末装置の傾きや方向が変化した場合でも視線方位検出手段で検出された方位を補正することができるので、正しい方位に補正することができる。   According to the remote control system of the present invention configured as described above, the change of the coordinate axis in the operation operated by the mobile terminal device is detected by the detection unit, and the direction detected by the line-of-sight direction detection unit is corrected based on the detection result. The azimuth | direction detected by the gaze azimuth | direction detection means can be correct | amended even if the inclination and direction of a portable terminal device change, and it can correct | amend to a correct azimuth | direction.

本発明のリモートコントロールシステムの前記携帯端末装置は、アプリケーション画面を表示する表示手段を備え、前記切替手段の切替によって操作対象が操作対象機器の場合、前記携帯端末装置の前記アプリケーション画面を前記操作対象機器に送信して表示させるように構成されている。   The mobile terminal device of the remote control system of the present invention includes display means for displaying an application screen, and when the operation target is an operation target device by switching the switching means, the application screen of the mobile terminal device is set as the operation target. It is configured to be sent to the device for display.

このように構成された本発明のリモートコントロールシステムによれば、操作対象が操作対象機器の場合には、携帯端末装置に表示されているアプリケーション画面を操作対象機器に送信して表示させることができる。   According to the remote control system of the present invention configured as described above, when the operation target is the operation target device, the application screen displayed on the portable terminal device can be transmitted to the operation target device and displayed. .

本発明の前記携帯端末装置は、前記携帯端末装置で操作した動作における座標変化に基づいて前記携帯端末装置においてアプリケーション処理を行うか、前記操作対象機器に前記携帯端末装置で操作した際の座標変化を入力座標として送信するのかを判断する判断手段を備えて構成されている。   The mobile terminal device according to the present invention performs application processing in the mobile terminal device based on a coordinate change in an operation operated on the mobile terminal device, or changes in coordinates when the operation target device is operated on the mobile terminal device Is provided with determination means for determining whether to transmit as input coordinates.

このように構成された本発明のリモートコントロールシステムによれば、携帯端末装置の動作における座標変化を検出し、座標変化に基づいて携帯端末装置でアプリケーション処理を行うか、操作対象機器に座標変化を操作対象機器への入力座標として送信するのか判断し、判断結果に基づいて対象機器の操作を行うことができる。   According to the remote control system of the present invention configured as described above, a coordinate change in the operation of the mobile terminal device is detected, and application processing is performed on the mobile terminal device based on the coordinate change, or a coordinate change is applied to the operation target device. It is possible to determine whether to transmit as input coordinates to the operation target device, and to operate the target device based on the determination result.

本発明によれば、ユーザが視線を向けている方向の機器を自動的に識別して操作することが可能になり、従来のマルチリモコンのような操作対象の機器に応じてスイッチを切り替える必要がなく、ユーザの視線が向いている機器に対して操作をすることができ、ユーザが操作行うために携帯操作端末装置に視線を移す必要がなく簡単に操作することができる。さらに、複数の操作対象機器を自動認識でき、同じ位置にいたままでも視線の切り替えだけで操作対象を変更することができる。   According to the present invention, it is possible to automatically identify and operate a device in a direction in which the user is looking at the line of sight, and it is necessary to switch a switch according to a device to be operated such as a conventional multi-remote controller. In addition, it is possible to operate the device that the user's line of sight is facing, and the user can easily operate without having to move the line of sight to the portable operation terminal device in order to perform the operation. Furthermore, a plurality of operation target devices can be automatically recognized, and the operation target can be changed only by switching the line of sight even when the device is in the same position.

本発明のリモートコントロールシステムの構成を示した構成図The block diagram which showed the structure of the remote control system of this invention 本発明の実施の形態における機器発見および機器方位設定の機能構成を示した図The figure which showed the function structure of the device discovery and apparatus azimuth | direction setting in embodiment of this invention 本発明の実施の形態における接続先情報格納部のテーブルを示した図The figure which showed the table of the connecting point information storage part in embodiment of this invention 本発明の実施の形態におけるバーコードを用いて操作対象機器の方位の算出様子を示した模式図The schematic diagram which showed the calculation mode of the direction of operation target apparatus using the barcode in embodiment of this invention 本発明の実施の形態におけるＲＦＩＤを用いて操作対象機器の方位の算出様子を示した図The figure which showed the calculation mode of the azimuth | direction of the operation target apparatus using RFID in embodiment of this invention 本発明の実施の形態１における加速度センサを用い操作対象機器の方位を修正する際の機能構成を示した図The figure which showed the function structure at the time of correcting the direction of the operation target apparatus using the acceleration sensor in Embodiment 1 of this invention. 本発明の実施の形態１における視線方位算出を示した模式図Schematic diagram showing line-of-sight calculation in Embodiment 1 of the present invention 本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図Schematic diagram showing an example of content operation in Embodiment 1 of the present invention 本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図Schematic diagram showing an example of content operation in Embodiment 1 of the present invention 本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図Schematic diagram showing an example of content operation in Embodiment 1 of the present invention 本発明の実施の形態２におけるリモートコントロール装置およびその操作対象機器の機能構成を示した構成図The block diagram which showed the function structure of the remote control apparatus in Embodiment 2 of this invention and its operation target apparatus 本発明の実施の形態２におけるコンテンツ操作を示した模式図Schematic diagram showing content operation in Embodiment 2 of the present invention 本発明の実施の形態２における操作情報送信部の動作を示すフロー図The flowchart which shows operation | movement of the operation information transmission part in Embodiment 2 of this invention.

（第１の実施形態）
次に本発明の実施の形態に用いるリモートコントロール装置及び操作対象機器の詳細について図面を用いて説明する。図１は、本発明のリモートコントロール装置およびその操作対象機器の機能構成を示した図である。 (First embodiment)
Next, details of the remote control device and the operation target device used in the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a functional configuration of a remote control device of the present invention and an operation target device thereof.

図１に示すように、本発明のリモートコントロールシステムは、リモートコントロール装置１００と操作対象機器１０１からなるシステムで構成されている。
リモートコントロール装置１００は、アプリケーションを単独で動作可能であり、操作対象機器のＩＤを取得する機器ＩＤ受信部１１０と、操作対象機器の方位を取得する機器方位検出部１１１と、リモートコントロール装置１００のユーザの視線を検出する視線検出部１１２と、機器方位検出部１１１および視線検出部１１２で得られた方位を照合して操作対象の機器を切り替える操作機器切替部１１３と、操作対象機器が遠隔操作となった場合、入力操作部１１７で取得した入力イベントを操作対象機器１０１に送信する操作情報送信部１１４からなり、前記操作対象機器１０１は、自身のＩＤを発信する機器ＩＤ発信部１２０と、リモートコントロール装置１００から操作される場合に操作情報を取得する操作情報取得部１２１によって構成されている。なお、図示していないが、リモートコントロール装置１００の座標軸の傾きなどを検出するために加速度センサなども備えて構成されている。 As shown in FIG. 1, the remote control system of the present invention includes a system including a remote control device 100 and an operation target device 101.
The remote control device 100 can operate an application independently, and includes a device ID receiving unit 110 that acquires the ID of the operation target device, a device direction detection unit 111 that acquires the direction of the operation target device, and the remote control device 100. The line-of-sight detection unit 112 that detects the line of sight of the user, the operation device switching unit 113 that switches the operation target device by collating the directions obtained by the device direction detection unit 111 and the line-of-sight detection unit 112, and the operation target device is remotely operated The operation information transmission unit 114 transmits the input event acquired by the input operation unit 117 to the operation target device 101. The operation target device 101 includes a device ID transmission unit 120 that transmits its own ID, An operation information acquisition unit 121 that acquires operation information when operated from the remote control device 100 is used. It is configured. Although not shown in the figure, an acceleration sensor or the like is also provided to detect the inclination of the coordinate axis of the remote control device 100.

ここで前記リモートコントロール装置１００および操作対象機器１０１は、ネットワークの範囲に入るとそれぞれの接続確立部１１８、１２２によってネットワーク接続が行われる。図２に示すように、それぞれの接続確立部はＤＨＣＰやＵＰｎＰといった標準プロトコルを用いることで、ＩＰアドレスが設定され、操作対象機器をネットワーク内で検索し、検索された検索結果のレスポンスとして操作対象機器１０１のＩＰアドレスとＩＤを受信し格納するように構成されている。また、操作対象機器１０１の機器ＩＤ発信部１２０によって直接発信される信号をリモートコントロール装置１００の機器ＩＤ受信部１１０で取得し、その信号を元に機器方位検出部１１１にて方位を取得することで、ＩＤ、ＩＰアドレス、方位の関連付けが得られるように構成されている。   Here, when the remote control device 100 and the operation target device 101 enter the network range, the connection establishment units 118 and 122 connect to the network. As shown in FIG. 2, each connection establishment unit uses a standard protocol such as DHCP or UPnP, so that an IP address is set, an operation target device is searched in the network, and an operation target is returned as a response to the searched search result. The IP address and ID of the device 101 are received and stored. In addition, a signal directly transmitted by the device ID transmission unit 120 of the operation target device 101 is acquired by the device ID reception unit 110 of the remote control device 100, and a direction is acquired by the device direction detection unit 111 based on the signal. Thus, the association of ID, IP address, and direction is obtained.

機器方位検出部１１１は、操作対象機器１０１から直接波で情報を取得して方位を検出することができるように構成されている。具体的には、操作対象機器１０１にバーコードを貼り付ける、またはディスプレイに表示させ、そのバーコードをリモートコントロール装置１００に備えるカメラで認識させて操作対象機器１０１のＩＤを得ることで、カメラに写像されたバーコード情報のＩＤから操作対象機器１０１の位置を把握することができ、リモートコントロール装置１００に実装されたカメラの位置が既知である場合、リモートコントロール装置１００との相対的な方位を算出することができるように構成されている。また、リモートコントロール装置１００にアレイアンテナを実装したＲＦＩＤリーダを備えるように構成し、操作対象機器１０１が発信するＩＤを受信することで、受信電波の到来角からリモートコントロール装置１００との相対的な方位を算出することができるようにしてもよい。   The device orientation detection unit 111 is configured to acquire information from the operation target device 101 by direct waves and detect the orientation. Specifically, a barcode is pasted on the operation target device 101 or displayed on a display, the barcode is recognized by a camera included in the remote control device 100, and the ID of the operation target device 101 is obtained. When the position of the operation target device 101 can be grasped from the ID of the mapped barcode information and the position of the camera mounted on the remote control device 100 is known, the relative orientation with respect to the remote control device 100 can be determined. It is configured so that it can be calculated. Further, the remote control device 100 is configured to include an RFID reader mounted with an array antenna, and receives an ID transmitted from the operation target device 101, so that the remote control device 100 can be compared with the remote control device 100 from the angle of arrival of the received radio wave. The azimuth may be calculated.

なお、リモートコントロール装置１００は、操作対象機器１０１のＩＤ、ＩＰアドレス、方位を関連付けて格納した後、ユーザがリモートコントロール装置１００を動かした場合にはリモートコントロール装置１００自身の座標軸が変わってしまうため、リモートコントロール装置１００に内蔵されている加速度センサなどを用いてリモートコントロール装置１００の座標軸の変化を検出して補正するか、または、機器方位検出部１１１で方位を再取得して修正することができるように構成されている。   Since the remote control device 100 stores the ID, IP address, and orientation of the operation target device 101 in association with each other, if the user moves the remote control device 100, the coordinate axis of the remote control device 100 itself changes. The change of the coordinate axis of the remote control device 100 can be detected and corrected using an acceleration sensor or the like built in the remote control device 100, or the orientation can be reacquired and corrected by the device orientation detection unit 111. It is configured to be able to.

視線検出部１１２は、カメラを用いてリモートコントロール装置１００を操作しているユーザの虹彩検出を行うことで視線方向を推定することができるように構成されている。ここでリモートコントロール装置１００に実装されたカメラの位置が既知である場合、リモートコントロール装置１００を基準とした座標軸において視線の方位を算出することができるように構成されている。   The line-of-sight detection unit 112 is configured to be able to estimate the line-of-sight direction by detecting the iris of the user who is operating the remote control device 100 using a camera. Here, when the position of the camera mounted on the remote control device 100 is known, the direction of the line of sight can be calculated on the coordinate axes with the remote control device 100 as a reference.

操作機器切替部１１３は、視線検出部１１２で得られた方位を機器方位検出部１１１が既に取得してある操作対象機器の方位と照合して、ユーザが視線を向けている機器を特定して操作を切り替えることができるように構成されている。さらには、操作機器切替部１１３で操作対象がリモートコントロール装置１００である場合と、操作対象機器１０１である場合によって、それぞれ操作対象に合わせて画面生成部１１５が出力する画面を切り替えることで、ユーザが一瞬視線を変えた場合など、遠隔操作中であることを容易に判断することができるように構成されている。   The operation device switching unit 113 collates the direction obtained by the line-of-sight detection unit 112 with the direction of the operation target device already acquired by the device direction detection unit 111, and specifies the device where the user is pointing the line of sight. It is comprised so that operation can be switched. Further, the operation device switching unit 113 switches the screen output by the screen generation unit 115 according to the operation target depending on whether the operation target is the remote control device 100 or the operation target device 101, so that the user However, it is configured so that it can be easily determined that remote control is being performed, for example, when the line of sight is changed for a moment.

画面生成部１１５は、アプリケーションの画面を格納するフレームバッファであるアプリケーション画面１３０と、遠隔操作中に表示するフレームバッファである遠隔操作用画面１３１を操作機器切替部１１３に基づいて画面表示部１１６に切り替えて出力することができるように構成されている。例えば、操作機器切替部１１３で操作対象が操作対象機器１０１である場合、画面表示部１１６には操作対象機器１０１に対応したアプリケーション画面１３０と遠隔操作用画面１３１が表示されると共に、操作情報送信部１１４に通知し、入力操作部１１７で取得した入力イベントを操作対象機器１０１の操作情報取得部１２１に送信することができる。なお、送信先は操作機器切替部１１３で特定された機器のＩＰアドレスが指定されるように構成されている。そして、操作対象機器は操作情報取得部１２１で受け取った入力イベントに応じて自身のアプリケーションを動作させることができるように構成されている。   The screen generation unit 115 displays an application screen 130 that is a frame buffer that stores application screens and a remote operation screen 131 that is a frame buffer displayed during remote operation on the screen display unit 116 based on the operation device switching unit 113. It is configured so that it can be switched and output. For example, when the operation target is the operation target device 101 in the operation device switching unit 113, the screen display unit 116 displays an application screen 130 and a remote operation screen 131 corresponding to the operation target device 101, and transmits operation information. The input event acquired by the input operation unit 117 can be transmitted to the operation information acquisition unit 121 of the operation target device 101. Note that the IP address of the device specified by the operation device switching unit 113 is designated as the transmission destination. The operation target device is configured to be able to operate its own application according to the input event received by the operation information acquisition unit 121.

次に、リモートコントロール装置が操作対象機器を自動的に識別するための構成を図面を用いて説明する。図２に示すように、本発明の実施の形態においてＩＰアドレス取得にＤＨＣＰ、機器発見にＵＰｎＰのプロトコルを用いた場合の構成を用いて説明する。   Next, a configuration for the remote control device to automatically identify the operation target device will be described with reference to the drawings. As shown in FIG. 2, the configuration of the embodiment of the present invention using a DHCP protocol for IP address acquisition and a UPnP protocol for device discovery will be described.

図２に示すように、リモートコントロール装置１００は、ネットワークの範囲に入るとＤＨＣＰクライアント１５０はネットワーク管理機能を備えるルータなどのＤＨＣＰサーバ１０２からＩＰアドレスを取得する。ＩＰアドレスを取得すると、操作機器探索部１５１によって操作対象機器をネットワーク内で検索する。なお、様々なサービスに対応した機器を検索する際、最近ではＵＰｎＰが多く使われており、これらの既存技術を利用することで操作対象となる機器を発見することが可能となる。   As shown in FIG. 2, when the remote control device 100 enters the network range, the DHCP client 150 acquires an IP address from a DHCP server 102 such as a router having a network management function. When the IP address is acquired, the operation device search unit 151 searches for an operation target device in the network. It should be noted that when searching for devices that support various services, UPnP has been frequently used recently, and it is possible to discover devices to be operated by using these existing technologies.

操作機器探索部１５１で探索された操作対象機器１０１は、操作機器サービス１６０でリクエストを受信すると、レスポンスとして自身のＩＰアドレスとＩＤをリモートコントロール装置１００に送信し、操作機器情報取得部１５２によって受信され接続先情報格納部１５３にデータを保存することができるように構成されている。なお、接続先情報格納部１５３は、図３に示すような関係データベース等にＩＤ、ＩＰアドレス、方位の情報が関係付けされて格納されるように構成されている。   When the operation target device 101 searched by the operation device search unit 151 receives a request by the operation device service 160, the operation target device 101 transmits its own IP address and ID as a response to the remote control device 100 and is received by the operation device information acquisition unit 152. The connection destination information storage unit 153 can store data. The connection destination information storage unit 153 is configured to store the ID, IP address, and direction information in a relational database as shown in FIG.

次に、操作対象機器１０１の方位を取得する方法について説明する。
図４は、バーコードを用いて操作対象機器の方位の算出する様子を示した模式図である。
また、操作対象機器１０１の方位を取得するための構成は、図２に示すように、機器ＩＤ発信部１２０と、機器ＩＤ受信部１１０と、機器方位検出部１１１によって方位を取得することができるように構成されている。 Next, a method for acquiring the orientation of the operation target device 101 will be described.
FIG. 4 is a schematic diagram illustrating how the orientation of the operation target device is calculated using a barcode.
In addition, as shown in FIG. 2, the configuration for acquiring the orientation of the operation target device 101 can acquire the orientation by the device ID transmission unit 120, the device ID reception unit 110, and the device orientation detection unit 111. It is configured as follows.

リモートコントロール装置１００は、例えばＵＰｎＰを利用してネットワーク内の操作対象機器に対してバーコードの表示を指示することで操作対象機器１０１に自身のＩＤ情報を含んだバーコードが表示させることができ、リモートコントロール装置１００のＯＵＴカメラを利用して操作対象機器１０１に表示されたＩＤを読み取り、機器方位検出部１１１はカメラに写像されたバーコードの位置からリモートコントロール装置１００との相対的な方位を算出することができるように構成されている。   The remote control device 100 can display a barcode including its own ID information on the operation target device 101 by instructing the operation target device in the network to display the barcode using UPnP, for example. The ID displayed on the operation target device 101 is read using the OUT camera of the remote control device 100, and the device orientation detection unit 111 is relative to the remote control device 100 from the position of the barcode mapped on the camera. It is comprised so that can be calculated.

次に、方位を算出方法として機器ＩＤ発信部にＲＦＩＤ、機器ＩＤ受信部にＲＦＩＤリーダを用いた例について図面を用いて説明する。図５は、本発明の実施の形態におけるＲＦＩＤを用いて操作対象機器の方位の算出様子を示した模式図である。
図５に示すように、操作対象機器１０１はあらかじめＲＦＩＤが取り付けられており、リモートコントロール装置１００はアレイアンテナを実装したＲＦＩＤリーダを用いて操作対象機器１０１のＩＤをＲＦＩＤから受信することができるように構成されている。また、機器方位検出部１１１は、操作対象機器１０１のＲＦＩＤからの受信電波の到来角からリモートコントロール装置１００との相対的な方位を算出することができるように構成されている。 Next, an example in which an RFID is used for the device ID transmission unit and an RFID reader is used for the device ID reception unit as a method for calculating the azimuth will be described with reference to the drawings. FIG. 5 is a schematic diagram showing how the orientation of the operation target device is calculated using the RFID according to the embodiment of the present invention.
As shown in FIG. 5, the operation target device 101 has an RFID attached in advance, and the remote control device 100 can receive the ID of the operation target device 101 from the RFID by using an RFID reader equipped with an array antenna. It is configured. In addition, the device orientation detection unit 111 is configured to be able to calculate a relative orientation with respect to the remote control device 100 from the arrival angle of the received radio wave from the RFID of the operation target device 101.

このように取得したリモートコントロール装置１００と操作対象機器１０１、１０１の方位情報は、取得したＩＤに関連付けられると共に図３で示した接続先情報格納部のテーブルのＩＤが一致する行に格納するように構成されている。このように構成することで操作対象機器の方位とＩＰアドレスが関連付けることができるように構成されている。   The azimuth information of the remote control device 100 and the operation target devices 101 and 101 acquired in this way is associated with the acquired ID and is stored in a row where the IDs in the table of the connection destination information storage unit shown in FIG. 3 match. It is configured. With such a configuration, the azimuth of the operation target device and the IP address can be associated with each other.

図６は前記ＩＰアドレスと方位の関連付けの処理がなされた後、リモートコントロール装置を動かしてしまうことで発生する方位の変化を更新するための機能構成図である。
図６に示すようにリモートコントロール装置１００に備えられた加速度センサ１７０は、３軸方向の加速度を検出する。座標軸変化検出部１７１は検出された加速度の累積から座標軸の変化量を測定し、接続先情報格納部１５３に格納されている操作対象機器の方位すべてに対して、変化量に応じた座標変換をして方位の値を更新する。また、加速度センサを使ったトラッキングでは誤差の蓄積があるため、定期的に機器方位検出部１１１で方
位を再取得して修正するように構成してもよい。 FIG. 6 is a functional configuration diagram for updating a change in azimuth that occurs when the remote control device is moved after the process of associating the IP address with the azimuth.
As shown in FIG. 6, the acceleration sensor 170 provided in the remote control device 100 detects acceleration in three axis directions. The coordinate axis change detection unit 171 measures the change amount of the coordinate axis from the accumulated acceleration detected, and performs coordinate conversion according to the change amount for all the orientations of the operation target devices stored in the connection destination information storage unit 153. To update the bearing value. In addition, since there is an error accumulation in tracking using an acceleration sensor, the device orientation detection unit 111 may periodically reacquire and correct the orientation.

次に視線の方位を検出する方法について説明する。
図１に示される視線検出部１１２はカメラを用いて虹彩検出を行い、この結果をもとに視線方向を推定する。虹彩検出をした結果、図７に示すように視線を中心とした座標軸での方位、および、リモートコントロール装置１００（ＩＮカメラ）を原点とした基準座標軸との距離がわかり、視点、および視線を基準座標軸での位置と方位に変換した結果を得ることができる。 Next, a method for detecting the direction of the line of sight will be described.
The gaze detection unit 112 shown in FIG. 1 performs iris detection using a camera, and estimates the gaze direction based on this result. As a result of the iris detection, as shown in FIG. 7, the orientation on the coordinate axis centered on the line of sight and the distance from the reference coordinate axis with the remote control device 100 (IN camera) as the origin are known, and the viewpoint and line of sight are the reference. The result of conversion into the position and orientation on the coordinate axis can be obtained.

次に、リモートコントロール装置１００の操作機器切替部１１３は、視線検出部１１２で得られた方位を機器方位検出部１１１が既に接続先情報格納部１５３に格納した方位と照合して、ユーザが視線を向けている機器を特定し、特定された操作対象機器に操作を切り替える。   Next, the operation device switching unit 113 of the remote control device 100 collates the direction obtained by the line-of-sight detection unit 112 with the direction that the device direction detection unit 111 has already stored in the connection destination information storage unit 153, and the user Is identified, and the operation is switched to the identified operation target device.

さらには、操作機器切替部１１３で操作対象がリモートコントロール装置１００であったときと、操作対象機器１０１であったときで画面生成部１１５が出力する画面を切り替えることで、ユーザが一瞬視線を変えた場合など、遠隔操作中であることを容易に判断することができるように構成されている。   Furthermore, the user can change the line of sight for a moment by switching the screen output by the screen generation unit 115 when the operation target is the remote control device 100 and the operation target device 101 in the operation device switching unit 113. In this case, it is possible to easily determine that the remote operation is in progress.

ここで、リモートコントロール装置にコンテンツを取得する動作について図面を用いて説明する。
図８、９、１０は、本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図である。
図８に示すように、視線を携帯電話（リモートコントロール装置）１００に向けている際は、タッチパネルでコンテンツの操作を行うことができ、視線をテレビに移した際には、図９に示すように、携帯電話に表示されていた表示が切り替り画面をタッチやスライドさせることで操作することができるマウスパッドとしての表示を行い、テレビ１０１（操作対象機器１０１）に表示した項目をマウスポインターを操作することでコンテンツの持ち出し操作を実行することができるように構成されている。また、テレビ１０１から視線を戻して遠隔操作が終了すると携帯電話に表示されていたマウスパッドの表示からコンテンツ操作の画面に切り替わるように構成されている。 Here, the operation of acquiring content in the remote control device will be described with reference to the drawings.
8, 9, and 10 are schematic diagrams illustrating an example of content operation according to Embodiment 1 of the present invention.
As shown in FIG. 8, when the line of sight is directed toward the mobile phone (remote control device) 100, the content can be operated with the touch panel, and when the line of sight is moved to the television, as shown in FIG. In addition, the display displayed on the mobile phone is switched to display as a mouse pad that can be operated by touching or sliding the screen, and the item displayed on the television 101 (operation target device 101) is moved to the mouse pointer. It is configured so that content operation can be performed by operating. Further, when the line of sight is returned from the television 101 and the remote operation is ended, the display of the mouse pad displayed on the mobile phone is switched to the content operation screen.

なお、画面表示の切り替えは、図１に示す画面生成部１１５で実行され、アプリケーションの画面を格納するフレームバッファであるアプリケーション画面１３０と、遠隔操作中に表示するフレームバッファである遠隔操作用画面１３１を操作機器切替部の通知に応じて切り替えて画面表示部１１６に出力するように構成されている。   The screen display is switched by the screen generation unit 115 shown in FIG. 1, and an application screen 130 that is a frame buffer for storing an application screen and a remote operation screen 131 that is a frame buffer displayed during remote operation. Are switched according to the notification from the operation device switching unit and output to the screen display unit 116.

また、ユーザの入力操作は以下の構成によって実行される。
操作機器切替部１１３で操作対象が操作対象機器１０１である場合、操作情報送信部１１４に通知し、入力操作部１１７で取得した入力イベントを操作対象機器１０１の操作情報取得部１２１に送信する。操作対象機器１０１は操作情報取得部１２１で受け取った入力イベントに応じて自身のアプリケーションを動作させることができる。 The user's input operation is executed with the following configuration.
When the operation target is the operation target device 101 by the operation device switching unit 113, the operation information transmission unit 114 is notified, and the input event acquired by the input operation unit 117 is transmitted to the operation information acquisition unit 121 of the operation target device 101. The operation target device 101 can operate its own application according to the input event received by the operation information acquisition unit 121.

（第２の実施形態）
以下、本発明の第２の実施形態におけるリモートコントロールシステムについて図面を参照しながら説明する。
図１１は本発明の第２の実施形態におけるリモートコントロール装置と操作対象機器における機能構成図である。本図面には表記されてはいないが、図１の機能構成図に準じるものであり、図１の構成図に画面情報送信部１１９と、画面情報取得部１２２と、画面表示部１２３が加えられたものである。 (Second Embodiment)
Hereinafter, a remote control system according to a second embodiment of the present invention will be described with reference to the drawings.
FIG. 11 is a functional configuration diagram of the remote control device and the operation target device according to the second embodiment of the present invention. Although not shown in this drawing, it conforms to the functional configuration diagram of FIG. 1, and a screen information transmission unit 119, a screen information acquisition unit 122, and a screen display unit 123 are added to the configuration diagram of FIG. It is a thing.

図１２は、本発明の実施の形態２における表示例であり、実施の形態１で記した図８と異なり、携帯電話の画面も遠隔表示している。このようにすることで、視線をテレビに移した場合に一画面の中で操作を完結することができるため、ユーザにとって簡便である。   FIG. 12 is a display example according to the second embodiment of the present invention. Unlike FIG. 8 described in the first embodiment, the screen of the mobile phone is also displayed remotely. In this way, when the line of sight is moved to the television, the operation can be completed within one screen, which is convenient for the user.

また、操作機器切替部１１３で操作対象が操作対象機器１０１である場合、操作情報送信部１１４に通知し、入力操作部１１７で取得した入力イベントを操作対象機器１０１の操作情報取得部１２１に送信する。さらには、画面生成部１１５のアプリケーション画面１３０を画面情報送信部１１９が取得し、これを送信する。操作対象機器１０１の画面情報取得部１２２はアプリケーション画面を取得し、画面表示部１２３にて表示することができるように構成されている。   Further, when the operation target is the operation target device 101 in the operation device switching unit 113, the operation information transmission unit 114 is notified and the input event acquired by the input operation unit 117 is transmitted to the operation information acquisition unit 121 of the operation target device 101. To do. Furthermore, the screen information transmission unit 119 acquires the application screen 130 of the screen generation unit 115 and transmits it. The screen information acquisition unit 122 of the operation target device 101 is configured to acquire an application screen and display it on the screen display unit 123.

このとき、操作情報送信部は入力イベントに対する動作についてフローチャートを用いて説明する。
図１３は、本発明の第２の実施形態における操作情報送信部の動作を示すフロー図である。
まず、入力操作部１１７からタッチされた座標を取得（Ｓ１）、取得された座標が自画面への入力かどうかを判断する（Ｓ２）。ここで、図１２を用いて説明すれば、遠隔表示中と記載された枠の中かどうかを判断することになり、自画面の入力であった場合は（Ｓ２、ＹＥＳ）リモートコントロール装置１００自身のアプリケーションに通知し（Ｓ３）、アプリケーションが画面を更新し、この画面が画面情報送信部１１９で送信されることで、操作対象機器１０１の画面も更新される。また、自画面の入力でなかった場合は（Ｓ２、ＮＯ）、タッチされた座標を操作対象機器に送信し（Ｓ４）、操作対象機器１０１のアプリケーションによって入力イベントが処理されて画面が更新される。 At this time, the operation information transmission unit will explain the operation for the input event with reference to a flowchart.
FIG. 13 is a flowchart showing the operation of the operation information transmitting unit in the second embodiment of the present invention.
First, the coordinates touched from the input operation unit 117 are acquired (S1), and it is determined whether or not the acquired coordinates are input to the own screen (S2). Here, if it demonstrates using FIG. 12, it will judge whether it is in the frame described as remote display, and when it is the input of a self-screen (S2, YES), the remote control apparatus 100 itself (S3), the application updates the screen, and this screen is transmitted by the screen information transmission unit 119, whereby the screen of the operation target device 101 is also updated. If the input is not on the own screen (S2, NO), the touched coordinates are transmitted to the operation target device (S4), the input event is processed by the application of the operation target device 101, and the screen is updated. .

このように本発明の第２の実施形態におけるリモートコントロールシステムは、携帯電話（携帯端末装置）の画面をテレビに表示して操作することができるので、ＴＶに写し出された携帯電話のアプリケーション画面を見ながら携帯電話の画面に入力することができる。   As described above, since the remote control system according to the second embodiment of the present invention can be operated by displaying the screen of the mobile phone (mobile terminal device) on the TV, the application screen of the mobile phone projected on the TV can be displayed. You can enter on the screen of your mobile phone while watching.

本発明は携帯電話やＰＮＤといったモバイル機器に実装することが可能な技術であり、ユーザが普段持ち歩く機器を利用して家庭内のＡＶ機器や車内でカーナビゲーションを操作する機能を実現する上で有用である。   INDUSTRIAL APPLICABILITY The present invention is a technology that can be mounted on a mobile device such as a mobile phone or a PND, and is useful for realizing a function for operating a car navigation in a home AV device or in a vehicle using a device that a user usually carries. It is.

１００ リモートコントロール装置
１０１ 操作対象機器（テレビ）
１０２ サーバ
１１０ 機器ＩＤ受信部
１１１ 機器方位検出部
１１２ 視線検出部
１１３ 操作機器切替部
１１４ 操作情報送信部
１１５ 画面生成部
１１６ 画面表示部
１１７ 入力操作部
１１８ 接続確立部
１１９ 画面情報送信部
１２０ 機器ＩＤ発信部
１２１ 操作情報取得部
１２２ 画面情報取得部
１２３ 画面表示部
１３０ アプリケーション画面
１３１ 遠隔操作用画面 100 Remote control device 101 Operation target device (TV)
DESCRIPTION OF SYMBOLS 102 Server 110 Equipment ID receiving part 111 Equipment direction detection part 112 Eye-gaze detection part 113 Operation equipment switching part 114 Operation information transmission part 115 Screen generation part 116 Screen display part 117 Input operation part 118 Connection establishment part 119 Screen information transmission part 120 Equipment ID Transmission unit 121 Operation information acquisition unit 122 Screen information acquisition unit 123 Screen display unit 130 Application screen 131 Remote operation screen

Claims (4)

アプリケーションを単独で動作させて少なくとも操作対象機器を操作する携帯端末装置と、前記携帯端末装置の指示に基づいて操作可能な一つ以上の前記操作対象機器からなるリモートコントロールシステムであって、
前記携帯端末装置は、
一つ以上の前記操作対象機器からＩＰアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、
前記携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、
前記情報取得手段で取得された前記方位と前記視線方位検出手段で検出した前記視線の方位を照合する照合手段と、
前記照合手段の照合結果に基づいて前記操作対象機器を切り替える切替手段と、
前記切替手段で前記携帯端末装置に切替られた場合には前記携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には前記操作対象機器に対して操作情報を送信して制御する制御手段と、
を備えたことを特徴とするリモートコントロールシステム。 A remote control system comprising a mobile terminal device that operates at least an operation target device by operating an application alone, and one or more operation target devices operable based on an instruction of the mobile terminal device,
The portable terminal device
Information acquisition means for acquiring an IP address and an orientation for a user in association with one or more of the operation target devices;
Gaze direction detecting means for detecting the gaze direction of the user operating the mobile terminal device;
Collation means for collating the azimuth acquired by the information acquisition means and the sight line azimuth detected by the gaze azimuth detection means;
Switching means for switching the operation target device based on the collation result of the collation means;
Control that controls the application running on the portable terminal device when the switching means is switched to the portable terminal device, and otherwise transmits operation information to the operation target device for control Means,
A remote control system characterized by comprising 前記携帯端末装置は、前記携帯端末装置の操作した動作における座標軸の変化を検出する検出手段を備え、前記検出手段の検出結果に基づいて視線方位検出手段で検出された方位を補正することを特徴とする請求項１に記載のリモートコントロールシステム。   The mobile terminal device includes a detecting unit that detects a change in coordinate axes in an operation operated by the mobile terminal device, and corrects the direction detected by the line-of-sight direction detecting unit based on a detection result of the detecting unit. The remote control system according to claim 1. 前記携帯端末装置は、アプリケーション画面を表示する表示手段を備え、前記切替手段の切替によって操作対象が操作対象機器の場合、前記携帯端末装置の前記アプリケーション画面を前記操作対象機器に送信して表示させることを特徴とする請求項１又は請求項２に記載のリモートコントロールシステム。   The mobile terminal device includes display means for displaying an application screen, and when the operation target is an operation target device by switching the switching means, the application screen of the mobile terminal device is transmitted to the operation target device for display. The remote control system according to claim 1 or 2, characterized by the above. 前記携帯端末装置は、前記携帯端末装置で操作した動作における座標変化に基づいて前記携帯端末装置においてアプリケーション処理を行うか、前記操作対象機器に前記携帯端末装置で操作した際の座標変化を入力座標として送信するのかを判断する判断手段を備えることを特徴とした請求項２又は請求項３に記載のリモートコントロールシステム。   The mobile terminal device performs application processing in the mobile terminal device based on a coordinate change in an operation operated on the mobile terminal device, or inputs a coordinate change when the mobile terminal device is operated on the operation target device. The remote control system according to claim 2, further comprising a determination unit that determines whether the data is to be transmitted.
JP2010251457A 2010-11-10 2010-11-10 Remote control system Pending JP2012105034A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010251457A JP2012105034A (en) 2010-11-10 2010-11-10 Remote control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010251457A JP2012105034A (en) 2010-11-10 2010-11-10 Remote control system

Publications (1)

Publication Number Publication Date
JP2012105034A true JP2012105034A (en) 2012-05-31

Family

ID=46394937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010251457A Pending JP2012105034A (en) 2010-11-10 2010-11-10 Remote control system

Country Status (1)

Country Link
JP (1) JP2012105034A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103365A1 (en) * 2012-12-27 2014-07-03 株式会社 東芝 Electronic apparatus, apparatus control method, and apparatus control program
WO2015104884A1 (en) * 2014-01-08 2015-07-16 ソニー株式会社 Information processing system, information processing method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103365A1 (en) * 2012-12-27 2014-07-03 株式会社 東芝 Electronic apparatus, apparatus control method, and apparatus control program
WO2015104884A1 (en) * 2014-01-08 2015-07-16 ソニー株式会社 Information processing system, information processing method, and program
JPWO2015104884A1 (en) * 2014-01-08 2017-03-23 ソニー株式会社 Information processing system, information processing method, and program

Similar Documents

Publication Publication Date Title
JP5916261B2 (en) File transmission method, system, and control apparatus
EP2040465B1 (en) Remote control for sensing movement, image display apparatus for controlling pointer by the remote control, and controlling method thereof
CN111143005B (en) Application sharing method, electronic equipment and computer readable storage medium
CN107430394B (en) Method, server, mobile terminal and device for data interaction with vehicle machine
US8866773B2 (en) Remote control apparatus, remote control system, remote control method, and program
KR101785332B1 (en) Short-range wireless communication apparatus and method for establishing connection thereof
US20040121725A1 (en) Remote control device
US9088969B2 (en) Short range wireless communication apparatus and method
EP2748933A1 (en) Gesture-based input mode selection for mobile devices
CN108519080B (en) Navigation route planning method and terminal
CN108769893B (en) Terminal detection method and terminal
JP6344319B2 (en) Mobile communication terminal, position information sharing system, in-vehicle device, and program
CN109521684B (en) Household equipment control method and terminal equipment
KR101618783B1 (en) A mobile device, a method for controlling the mobile device, and a control system having the mobile device
US20160147402A1 (en) Method for dynamic and automatic creation of user interfaces
CN108174109B (en) Photographing method and mobile terminal
KR102683583B1 (en) Application sharing method, first electronic device, and computer-readable storage medium
CN111127863B (en) Control method of device, remote controller and storage medium
US20160298975A1 (en) Navigation System and In-Vehicle Device
JP2012105034A (en) Remote control system
CN107920331B (en) Vehicle positioning method, terminal, server and computer storage medium
KR101632220B1 (en) A mobile device, a method for controlling the mobile device, and a control system having the mobile device
CN111599148A (en) Electronic equipment and connection method thereof
KR101549027B1 (en) Mobile device and method for controlling the mobile device
CN108811177B (en) Communication method and terminal