JP2010212815A - 制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2010212815A
JP2010212815A JP2009054240A JP2009054240A JP2010212815A JP 2010212815 A JP2010212815 A JP 2010212815A JP 2009054240 A JP2009054240 A JP 2009054240A JP 2009054240 A JP2009054240 A JP 2009054240A JP 2010212815 A JP2010212815 A JP 2010212815A
Authority
JP
Japan
Prior art keywords
control
distance
unit
displacement amount
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009054240A
Other languages
English (en)
Inventor
Koji Sato
康二 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009054240A priority Critical patent/JP2010212815A/ja
Publication of JP2010212815A publication Critical patent/JP2010212815A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)

Abstract

【課題】ユーザが簡易的かつ直感的な操作にて被制御装置を制御する。
【解決手段】リモコン装置11は、ユーザ操作による、自装置と被制御装置21との間の距離変位量を測定する距離測定部102と、距離測定部102が測定した距離変位量に応じて、被制御装置21に対する制御を行うための制御内容を決定する操作情報決定部106と、を備える。
【選択図】図1

Description

本発明は、ユーザが簡易的かつ直感的な操作にて被制御装置を制御することが可能な制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体に関するものである。本発明は、特に、リモートコントローラにて制御される制御システムに関し、ユーザが所望する装置に対し簡易に操作を行うことができるものである。
近年、インターネットやモバイル端末の発達により、いつでもどこでも、ネットワーク上のサービスへアクセスできる環境が整備されつつある。そして、例えば映像装置あるいは家電装置(機器)に対する操作を行う場合には、ユーザは、赤外線を利用して当該装置との通信を行うリモートコントローラ(リモコン)を用いるで操作を行うことが一般的である。
しかし、このリモコンには、上記装置を操作するために数多くのボタンを具備されているので、ユーザによっては、当該ボタンの機能を十分に発揮する(つまり、当該ボタンを使いこなす)ことができない。すなわち、このリモコンは、ユーザの利便性の面で未だ十分なものにはなっていないといえる。
また、様々な装置を操作するために、ユーザは、例えば装置あるいは機種によって異なる複数のリモコンの操作を習熟したり、メニューを使って対象となる所望の操作を選択するために複数の階層を辿る必要がある。このため、複数の装置を操作する環境においては、リモコンの使い勝手の悪さが大きな課題となっている。
従って、リモコンにて複数の装置を操作する環境において、ユーザに対し負担を強いることなく、簡素な操作にて所望の装置を制御することができる仕組みの実現が重要になってきている。このような仕組みを実現するための技術として、例えば特許文献1が挙げられる。
特許文献1には、リモコンによって操作するホームネットワーク装置を、ユーザの所望する装置へと切り替えるために、ホームネットワーク装置との距離に応じて制御対象を切り替えるための切り替え情報をユーザへ提示する制御システムが開示されている。この制御システムにより、制御の対象とするホームネットワーク装置である制御対象装置を、ユーザが所望する装置に切り替えることができる。
特開2005−303423号公報(平成17年10月27日公開)
しかしながら、特許文献1の技術では、ネットワークを介して用いられる統合型のリモコンは、制御対象装置との距離に基づく切り替え情報をユーザに示すのみである。また、このリモコンは、選択操作において、各装置に対応するプロファイルに応じた選択画面を用意し、当該選択画面に基づく選択をユーザに依存している。このため、ユーザは、実際に目の前にある制御対象装置の制御を行いたい場合であってもユーザに複雑な操作をさせる必要があるという問題が生じる。
従って、特許文献1の技術では、よりシンプルで使い勝手のよい手法(ユーザが簡易に、かつ、直感的に制御対象装置を制御できる手法)が望まれている。
なお、複数の装置に連携させる仕組みにおいても、当該複数の装置間の連携において有効な通信手段を用いた機構の実現が必要となる。
また、複数の装置から1の装置を選択して当該装置を制御する場合、物理的な装置配置をリモコンに格納する必要があり、計算機リソースやそのための入出力機能が必要となるため、システムが複雑化しコスト高に繋がりやすいという問題を生じる。
さらに、リモコンを用いる空間であるリビングルームには様々な装置が存在するため、リモコンと制御対象装置との距離が近いからといって、制御対象装置を簡単に絞り込めない場合もある。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、ユーザが簡易的かつ直感的な操作にて被制御装置を制御することが可能な制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体を提供することにある。
本発明に係る制御装置は、上記の課題を解決するために、制御対象としての被制御装置を制御する制御装置であって、ユーザ操作による、自装置と上記被制御装置との間の距離変位量を測定する距離測定手段と、上記距離測定手段が測定した距離変位量に応じて、上記被制御装置に対する制御を行うための制御内容を決定する制御内容決定手段と、を備えることを特徴としている。
また、本発明に係る制御装置の制御方法は、上記の課題を解決するために、制御対象としての被制御装置を制御する制御装置の制御方法であって、ユーザ操作による、自装置と上記被制御装置との間の距離変位量を測定する距離測定ステップと、上記距離測定ステップにて測定された距離変位量に応じて、上記被制御装置に対する制御を行うための制御内容を決定する制御内容決定ステップと、を含むことを特徴としている。
さらに、本発明に係る制御システムは、上記に記載の制御装置と、上記制御装置により制御される、制御対象としての被制御装置と、を備えることが好ましい。
上記構成によれば、制御内容決定手段(制御内容決定ステップ)は、距離測定手段(距離測定ステップ)が測定した、ユーザ操作による、自装置と被制御装置との間の距離変位量に応じて、被制御装置に対する制御を行うための制御内容を決定するものである。
これにより、制御装置(制御方法)は、自装置と被制御装置との間の距離の変位に応じた制御内容を決定することができる。このため、ユーザは、例えば距離変位量に対応したジェスチャ動作を行うことにより、被制御装置に対して所望の制御を行うことができる。
すなわち、制御装置(制御方法)は、ユーザに簡易的かつ直感的な操作にて被制御装置の制御を行わせることができる。
ここで、制御内容とは、例えば被制御装置におけるコンテンツ(動画など)の再生などの制御、メッセージ表示の制御などの被制御装置に対する制御を行うためのものであり、ユーザが所望する操作に対応付けられているものである。なお、ユーザが所望する操作とは、例えば制御装置でのコンテンツの表示を被制御装置でのコンテンツ表示(またはその逆)に切り替えるなどの操作である。
さらに、本発明に係る制御装置は、画面を表示する表示手段を備え、上記制御内容決定手段は、上記制御内容に基づく画面を上記表示手段に表示させることが好ましい。
上記構成によれば、制御内容決定手段が、制御内容に基づく画面を表示手段に表示させるので、ユーザは、距離変位量に応じて決定された制御内容が実行される過程を確認することができる。
なお、制御内容に基づく画面には、距離測定手段により測定される距離変位量そのものが含まれていてもよい。
さらに、本発明に係る制御装置は、上記被制御装置は、複数のコンテンツを制御するものであって、上記制御内容決定手段は、上記被制御装置から受信した複数のコンテンツから1のコンテンツを選択するための選択画面を上記表示手段に表示させることが好ましい。
上記構成によれば、制御内容決定手段が、被制御装置から受信した複数のコンテンツから1のコンテンツを選択するための選択画面を表示手段に表示させるので、ユーザは、簡単な操作を行うだけで、例えば再生することを所望する1のコンテンツを選択することができる。
さらに、本発明に係る制御装置は、上記制御内容決定手段が決定した制御内容を、上記被制御装置を制御するための制御信号を用いて送信する送信手段を備えることが好ましい。
上記構成によれば、送信手段が、制御内容に応じた、被制御装置を制御するための制御信号を送信する。このため、制御装置は、被制御装置との間で利用されるインタフェースを介して、被制御装置に制御内容を送信することができる。
さらに、本発明に係る制御装置は、上記距離測定手段が測定した距離変位量を順次格納する変位量格納手段と、予め設定された、上記制御内容決定手段が上記制御内容を決定するための規定情報を格納する規定情報格納手段と、を備え、上記制御内容決定手段は、上記変位量格納手段に格納された距離変位量と、上記規定情報格納手段に格納された規定情報とを照合することにより、上記制御内容を決定することが好ましい。
上記構成によれば、変位量格納手段には、距離測定手段が測定した距離変位量が順次格納され、規定情報格納手段には、予め設定された、制御内容決定手段が制御内容を決定するための規定情報が格納されている。制御内容決定手段は、変位量格納手段および規定情報格納手段を参照して、距離変位量と規定情報との照合を行うことにより、制御内容を決定する。
これにより、制御装置は、例えばユーザが予め決められたジェスチャ動作を行うことにより、制御内容を決定することができる。
さらに、本発明に係る制御装置は、上記距離測定手段が測定した距離変位量を順次格納する変位量格納手段と、予め設定された、上記制御内容決定手段が上記制御内容を決定するための規定情報を格納する規定情報格納手段と、を備え、上記制御内容決定手段は、上記変位量格納手段に格納された距離変位量と、上記規定情報格納手段に格納された規定情報とを照合することにより、上記制御内容を決定するときの、自装置に対する制御を行うための第2制御内容を決定することが好ましい。
上記構成によれば、変位量格納手段には、距離測定手段が測定した距離変位量が順次格納され、規定情報格納手段には、予め設定された、制御内容決定手段が制御内容を決定するための規定情報が格納されている。制御内容決定手段は、変位量格納手段および規定情報格納手段を参照して、距離変位量と規定情報との照合を行うことにより、制御内容を決定するときの、自装置に対する制御を行うための第2制御内容を決定する。
これにより、制御装置は、例えばユーザが予め決められたジェスチャ動作を行うことにより、被制御装置に対しての制御内容を決定するときに、自装置に対しての第2制御内容を決定することができる。
ここで、第2制御内容とは、例えば制御装置におけるコンテンツ(動画など)の再生、停止などの制御、メッセージ表示、選択画面に対する制御などの自装置に対する制御を行うためのものであり、ユーザが所望する操作に対応付けられているものである。なお、ユーザが所望する操作とは、例えば制御装置でのコンテンツの表示を被制御装置でのコンテンツ表示(またはその逆)に切り替えるなどの操作である。
さらに、本発明に係る制御装置は、上記制御内容決定手段は、上記変位量格納手段に順次格納される距離変位量の少なくとも1つを、上記制御内容を決定するためのイベントとして用いることが好ましい。
また、本発明に係る制御装置は、上記制御内容決定手段は、上記変位量格納手段に順次格納される距離変位量の少なくとも1つを、上記第2制御内容を決定するためのイベントとして用いることが好ましい。
上記構成によれば、制御装置は、距離変位量をイベント駆動形式(イベント駆動ベース)にて処理することで、被制御装置に対しての制御内容、または、自装置に対しての第2制御内容を決定することができる。
さらに、本発明に係る制御装置は、外部に対して報知音を出力する報知音出力手段を備え、上記報知音出力手段は、上記制御内容決定手段が上記第2制御内容を決定したときに上記報知音を出力することが好ましい。
上記構成によれば、報知音出力手段が、制御内容決定手段が第2制御内容を決定したときに報知音を出力するので、制御装置は、第2制御内容が決定したことをユーザに知らせることができる。
これにより、例えばユーザが表示手段を参照しなくても(あるいは、表示手段を参照できない場合であっても)、ユーザは、第2制御内容が決定したことを確実に知ることができる。
さらに、本発明に係る制御装置は、上記制御内容決定手段は、上記変位量格納手段に順次格納される距離変位量の少なくとも1つを上記第2制御内容を決定するためのイベントとして用い、当該イベントが遷移するときに上記報知音出力手段に上記報知音を出力させることが好ましい。
上記構成によれば、制御装置は、報知音出力手段に報知音を出力させることで、制御内容決定手段が第2制御内容を決定するためのイベントの遷移を、ユーザに知らせることができる。すなわち、制御装置は、上記イベントの遷移をシーケンシャルに処理する場合に、当該イベントの切れ目をユーザに知らせることができる。
さらに、本発明に係る制御装置は、上記規定情報は、外部から導入されることが好ましい。
これにより、制御装置は、規定情報を例えばXML言語などにより定義し、外部から導入することで、規定情報を予め設定する必要がない。このため、制御装置の利便性を向上させることができる。
本発明に係る制御装置は、上記の課題を解決するために、外部装置との距離に応じて自装置の制御を行う制御装置であって、ユーザ操作による、自装置と上記外部装置との間の、単位時間あたりの距離の変位量である距離変位量を測定する距離測定手段と、上記距離測定手段が測定した距離変位量に応じて、上記外部装置の制御に対応した、自装置に対する制御を行うための制御内容を決定する制御内容決定手段と、を備えることを特徴としている。
上記構成によれば、制御内容決定手段(制御内容決定ステップ)は、距離測定手段(距離測定ステップ)が測定した、ユーザ操作による、自装置と外部装置との間の、単位時間あたりの距離の変位量である距離変位量に応じて、外部装置の制御に対応した、自装置に対する制御を行うための制御内容を決定するものである。
これにより、制御装置は、自装置と外部装置との間の距離の変位に応じた制御内容を決定することができるので、外部装置の制御に対応した自装置に対する制御を自律的に行うことができる。このため、ユーザは、例えば距離変位量に対応したジェスチャ動作を行うことにより、自装置に対して所望の制御を行うことができる。
すなわち、制御装置は、ユーザに簡易的かつ直感的な操作にて、外部装置の制御に対応した自装置の制御を行わせることができる。
ここで、制御内容とは、例えば自装置におけるコンテンツ(動画など)の再生などの制御、メッセージ表示の制御などの自装置に対する制御を行うためのものであり、ユーザが所望する操作に対応付けられているものである。なお、ユーザが所望する操作とは、例えば制御装置でのコンテンツの表示を外部装置でのコンテンツ表示(またはその逆)に切り替えるなどの操作である。
また、「自律的に」とは、外部装置からの制御を受けることなく、例えばコンテンツ表示あるいは停止などの処理を行うことができることを指す。
さらに、本発明に係る制御装置は、上記距離測定手段が測定した距離変位量を順次格納する変位量格納手段と、予め設定された、上記制御内容決定手段が上記制御内容を決定するための規定情報を格納する規定情報格納手段と、を備え、上記制御内容決定手段は、上記変位量格納手段に格納された距離変位量と、上記規定情報格納手段に格納された規定情報とを照合することにより、上記制御内容を決定することが好ましい。
上記構成によれば、変位量格納手段には、距離測定手段が測定した距離変位量が順次格納され、規定情報格納手段には、予め設定された、制御内容決定手段が制御内容を決定するための規定情報が格納されている。制御内容決定手段は、変位量格納手段および規定情報格納手段を参照して、距離変位量と規定情報との照合を行うことにより、制御内容を決定する。
これにより、制御装置は、例えばユーザが予め決められたジェスチャ動作を行うことにより、制御内容を自律的に決定することができる。
さらに、本発明に係る制御装置は、上記規定情報は、外部から導入されることが好ましい。
これにより、制御装置は、規定情報を例えばXML言語などにより定義し、外部から導入することで、規定情報を予め設定する必要がない。このため、制御装置の利便性を向上させることができる。
さらに、本発明に係る制御システムは、上記外部装置は、上記に記載の制御装置を含むものであり、上記制御装置と上記外部装置とを含むことが好ましい。
上記構成によれば、制御システムは、同等の構成を有する制御装置を複数備えた構成となる。このため、制御システムは、各制御装置が、距離変位量に応じて制御内容を自律的に決定することができ、複数の制御装置の連携した制御を行うことを提供することができる。
なお、上記制御システムはコンピュータによって実現されていてもよく、この場合には、コンピュータを上記各手段として動作させることにより上記制御システムをコンピュータにて実現させる制御システムの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る制御装置は、ユーザ操作による、自装置と上記被制御装置との間の距離変位量を測定する距離測定手段と、上記距離測定手段が測定した距離変位量に応じて、上記被制御装置に対する制御を行うための制御内容を決定する制御内容決定手段と、を備える構成である。
本発明に係る制御装置の制御方法は、ユーザ操作による、自装置と上記被制御装置との間の距離変位量を測定する距離測定ステップと、上記距離測定ステップにて測定された距離変位量に応じて、上記被制御装置に対する制御を行うための制御内容を決定する制御内容決定ステップと、を含む方法である。
それゆえ、制御装置(制御方法)は、自装置と被制御装置との間の距離の変位に応じた制御内容を決定することができる。このため、ユーザは、例えば距離変位量に対応したジェスチャ動作を行うことにより、被制御装置に対して所望の制御を行うことができる。
すなわち、制御装置(制御方法)は、ユーザに簡易的かつ直感的な操作にて被制御装置の制御を行わせることができる。
また、本発明に係る制御装置は、ユーザ操作による、自装置と上記外部装置との間の、単位時間あたりの距離の変位量である距離変位量を測定する距離測定手段と、上記距離測定手段が測定した距離変位量に応じて、上記外部装置の制御に対応した、自装置に対する制御を行うための制御内容を決定する制御内容決定手段と、を備える構成である。
それゆえ、制御装置は、自装置と外部装置との間の距離の変位に応じた制御内容を決定することができるので、外部装置の制御に対応した自装置に対する制御を自律的に行うことができる。このため、ユーザは、例えば距離変位量に対応したジェスチャ動作を行うことにより、自装置に対して所望の制御を行うことができる。
すなわち、制御装置は、ユーザに簡易的かつ直感的な操作にて、外部装置の制御に対応した自装置の制御を行わせることができる。
本発明の実施形態1に係る制御システムの概略構成の一例を示すブロック図である。 本発明の実施形態2、3に係る制御システムの概略構成の一例を示すブロック図である。 本発明の実施形態4に係る制御システムの概略構成の一例を示すブロック図である。 図2に示す制御システムのリモコン装置にて実行される処理の流れを示すフローチャートである。 図1に示す制御システムのリモコン装置にて実行される処理の流れを示すフローチャートである。 図3に示す制御システムのリモコン装置(被制御装置)にて実行される処理の流れを示すフローチャートである。 図1に示す制御システムのリモコン装置のセンサ履歴DBにて管理されるセンサ履歴テーブルの詳細を示す図である。 図1に示す制御システムのリモコン装置の操作情報ルールDBにて管理される操作情報ルールテーブルの詳細を示す図である。 図2に示す制御システムのリモコン装置のセンサ履歴DBにて管理されるセンサ履歴テーブルの詳細を示す図である。 図2に示す制御システムのリモコン装置の操作情報ルールDBにて管理される操作情報ルールテーブルの詳細を示す図である。 図3に示す制御システムのリモコン装置(被制御装置)の操作情報ルールDBにて管理される操作情報ルールテーブルの詳細を示す図である。 図1に示す制御システムのリモコン装置および被制御装置それぞれにおける画面遷移の様子の一例を示す図である。 図2に示す制御システムのリモコン装置および被制御装置それぞれにおける画面遷移の様子の一例を示す図である。 図2に示す制御システムのリモコン装置および被制御装置それぞれにおける画面遷移の様子の一例を示す図である。 図3に示す制御システムのリモコン装置(被制御装置)における画面遷移の様子の一例を示す図である。 距離変位イベントシーケンスからUI操作へのマッピングルールを示すXML形式での記述スクリプトの一例を示す図である。
〔実施形態1〕
本発明の一実施形態について、図1、図5、図7、図8、図12および図16に基づいて説明すると以下の通りである。
〔制御システムの概略〕
まず、本実施形態に係る制御システム1の構成について、図1を用いて説明する。図1は、本実施形態に係る制御システムの概略構成の一例を示すブロック図である。
図示のように、制御システム1は、例えば赤外線通信の規格に準拠した無線通信を用いてデータの送受信を行うことにより、一方の装置が他方の装置を制御することが可能にするものである。図1では、制御システム1は、リモコン装置11(制御装置)と被制御装置21とを備えている。まず、リモコン装置11の構成について説明する。
リモコン装置11は、制御対象としての被制御装置21を制御するための装置であり、距離センサ101からの測定情報を参照し被制御装置21に対する制御内容(操作内容)を決定するものである。リモコン装置11は、例えば、上記制御内容に関する情報を表示部103に表示し、必要に応じて入力操作用画面を表示部103に表示してユーザの入力操作を受け付ける。そして、リモコン装置11は、入力部104にて取得した上記入力操作に基づいて制御内容を決定し、当該制御内容に基づく制御処理を行うものである。なお、リモコン装置11は、これに限らず、ユーザに対する情報提示と入力操作とを必要としない構成であってもよい。
リモコン装置11は、距離センサ101、距離測定部102(距離測定手段)、表示部103(表示手段)、入力部104、送信部108(送信手段)、制御部111および音声出力部114(報知音出力手段)を備えている。
距離センサ101は、リモコン装置11の制御対象である被制御装置21との間の距離測定を行うことを可能とするセンシングデバイスである。距離センサ101としては、例えばTOF(Time-Of-Flight)を測定可能とするRF(Radio frequency)手段、多重光の反射波を利用して制御対象との間の距離を測定することを可能とする変調光受信手段、RF手段におけるTOFと超音波の受信時におけるTOFとから距離差を算出可能なハイブリッド構成のデバイスが挙げられる。
距離測定部102は、実際に距離センサ101が得た測定情報(距離情報及び距離を測定したときの時間情報を含む)から、ユーザ操作による、自装置と被制御装置21との間の距離変位量を算出するための機能モジュールである。また、距離測定部102は、予め設定された時間解像度に応じて距離センサ101への接続を行うことにより、距離変位量のセンシングを行うものであるともいえる。なお、距離測定部102は、周囲の環境にあわせてセンシングした距離変位量あるいはその誤差を修正するといった調整機能も有している。また、上記距離変位量は、自装置と被制御装置21との間の、例えば単位時間あたりの距離の変位量であってもよい。
なお、距離測定部102は、予め設定された変位量閾値以上に距離変位量の差があった場合には、その旨を接続先のモジュールへ通知する機能を有していてもよい。また、距離測定部102は、実際にセンシングを行う距離センサ101を含むようにモジュールが構成されていてもよい。
表示部103は、リモコン装置11における各種情報をユーザに提示するために、当該情報としての画面を表示するものである。具体的には、表示部103は、制御部111(後述の操作情報決定部106)により決定された制御内容に基づく画像(画面)やリモコン装置11に対する基本操作用のGUI(Graphical User Interface)を表示したり、リモコン装置11自身に対する制御内容を表示する。表示部103としては、例えば、液晶ディスプレイやLED(Light Emitting Diode)ディスプレイ、プロジェクタ、電子ペーパーなどの出力デバイスを適用できる。
入力部104は、リモコン装置11を使用するユーザの入力操作を受け付ける(取得する)と、当該取得した入力操作を示す入力操作情報を、操作情報決定部106に通知するものである。入力部104は、例えば、キーボード、マウス、キーパッド、操作ボタンなどの入力装置で構成することもできるが、ここでは、タッチパネルであることを想定している。この場合、入力部104(タッチパネル)は、表示部103に対して接触のあった位置を検出し、検出した位置を示す情報(例えば座標情報)と操作に関する情報(例えば、ユーザの指により押下された、指が離された等を示す情報)とを操作情報として操作情報決定部106に出力する。
送信部108は、制御部111の送信データ生成部107によって生成された装置制御用信号(制御信号)を予め用意された通信インタフェースを介し、被制御装置21へと送信するものである。すなわち、送信部108は、操作情報決定部106が決定した制御内容を、被制御装置21を制御するための装置用制御信号を用いて送信するといえる。
なお、送信部108は、外部装置と通信を行う機能を有し通信インタフェースを介して外部装置との入出力を行うものであってもよく、また、その接続形態は、有線通信接続を介して行うものであってもよいし、無線通信接続を介して行うものでもよい。無線通信接続としては、RF通信方式、IR(Infrared Rays)通信方式、微弱無線手段による通信方式などが挙げられる。
制御部111は、例えば距離センサ101、距離測定部102、表示部103、入力部104、送信部108、音声出力部114などのリモコン装置11を各種機能の制御するための所定の演算処理を行うものであり、例えばCPU等によって実現される。本実施形態に係る制御部111は、距離測定部102で算出された距離変位量(距離センシング情報)、または、入力部104で得られた入力操作情報が入力されると、これらの情報に基づいてリモコン装置11の制御内容を決定し、音声出力部114、表示部103および送信部108を制御するものである。なお、制御部111の要部構成については後述する。
音声出力部114は、外部に対して報知音を出力するものであり、例えば入力された音声信号等に基づいて音声を出力するものである。音声出力部114は、操作情報決定部106の再生制御により、例えば音声ファイルや動画像ファイル等の音声を出力する。音声出力部114としては、例えばスピーカー、イヤホンなどの一般的な音声出力装置を適用することができる。
また、音声出力部114は、後述する操作情報決定部106が、被制御装置21に対する制御内容を決定するときの、リモコン装置11に対する制御を行うための制御内容(第2制御内容)を決定したときに報知音を出力するものである。
次に、制御部111の要部構成について説明する。制御部111は、センシング情報解釈部105、操作情報決定部106(制御内容決定手段)、送信データ生成部107、操作情報ルールDB109(規定情報格納手段)およびセンサ履歴DB(Data Base)11(変位量格納手段)0を含む構成である。
センシング情報解釈部105は、センサ履歴DB110に距離測定部102からの距離変位量を常時蓄積するとともに、予め設定された時間解像度に応じて当該距離変位量を観測するものである。また、センシング情報解釈部105は、距離変位量が予め設定された変位量閾値を超えた場合には、距離変位量を操作情報決定部106へイベントとして通知する。
なお、距離変位量を観測するための変位量閾値、観測単位としての時間解像度は、所与のものとしてシステムを定義する際に定義されてもよいが、本実施形態では操作情報決定部106が適宜パラメータを設定する構成をとる。この場合、操作情報決定部106は、所定の距離変位があったことを示す任意のイベント(距離変位イベント)とシーケンシャルに連関するイベント発生のみを次のイベントの発火条件として設定できるので、状況に応じた変位量閾値および時間解像度を設定できる仕組みを構築できる。
操作情報決定部106は、センシング情報解釈部105によりセンサ履歴DB110に格納された距離変位量を参照し、当該距離変位量をイベントとして解釈し、予め規定された操作情報ルールセットとのマッチングを行うことで、被制御装置21に対する制御内容を決定する。
上記操作情報ルールセットは、操作情報ルールDB109に格納され、センシング情報解釈部105を介してやりとりされる距離変位イベントを参照し、イベント駆動形式にて被制御装置21に対する制御内容を決定するために使われるものである。なお、操作情報ルールセットは、記述言語形式にて外部から定義が与えられる構成であっても、静的にシステムに設定される構成であってもよい。
すなわち、操作情報決定部106は、距離測定部102が測定した距離変位量に応じて、被制御装置21に対する制御を行うための制御内容を決定するものであるといえる。具体的には、操作情報決定部106は、センサ履歴DB110に格納された距離変位量と、操作情報ルールDB109に格納された操作情報ルール(規定情報)とを照合することにより、被制御装置21に対する制御内容を決定するものである。
また、操作情報決定部106は、センサ履歴DB110に格納された距離変位量と、操作情報ルールDB109に格納された操作情報ルール(規定情報)とを照合することにより、被制御装置21に対する制御内容を決定するときの、リモコン装置11に対する制御を行うための制御内容(第2制御内容)を決定するものでもある。
さらに、操作情報決定部106は、距離変位イベントを取り扱うことにより、複数のイベントをシーケンシャルに連結することによる条件化を可能し、また、複数のイベントの組み合わせにてリモコン装置11の挙動を制御することも可能にする。
また、操作情報決定部106は、被制御装置21に対する制御内容の決定の他、適切なタイミングにて表示部103を用いての情報提示、入力部104におけるユーザの入力操作の取得を経て、音声出力部114を用いての音声出力といったリモコン装置11の制御を行う。操作情報決定部106は、ユーザの入力操作を取得して音声出力させるとき、送信データ生成部107に被制御装置21への装置用制御信号を生成させ、送信部108に当該制御信号を送出させるといった制御も行う。
センサ履歴DB110は、センシング情報解釈部105からの指示にて距離測定部102からの距離変位量(距離変位情報)をセンサ履歴テーブルの形態にて格納するDBである。すなわち、センサ履歴DB110は、距離測定部102が測定した距離変位量を順次格納するものである。
センシング情報解釈部105は、センサ履歴DB110に格納・管理されたセンサ履歴テーブルを参照し、操作情報決定部106に、被制御装置21に対する制御内容を決定のための条件情報としての距離変位量を通知する。
操作情報ルールDB109は、操作情報決定部106にて参照される操作情報ルールセットを規定する操作情報ルールテーブルを格納するDBである。すなわち、操作情報ルールDB109は、予め設定された、操作情報決定部106が制御内容を決定するための操作情報ルールを格納するものといえる。なお、操作情報ルールは、外部から導入される構成であってもよい。
操作情報決定部106は、発生する距離変位イベントに応じて、操作情報ルールDB109に格納される操作情報ルールを参照することで、被制御装置21に対する制御内容を決定する。
操作情報ルールテーブルの内容は、所与のものとしてシステムを定義する際に定義されるものであってもいいし、記述言語を用いることでシステム稼働後に外部から動的に導入されるものであってもよい。後者の場合は、SD(Secure Digital)カードやIC(Integrated Circuit)カード、フラッシュメモリなどの外部記録メディアやI/O(Input/Output)装置が主に用いられるが、本実施形態では図示しない。
また、センサ履歴DB110および操作情報ルールDB109は、例えばRAM(Random Access Memory)などの揮発性メモリと、ROM(Read-Only Memory)やフラッシュメモリなどの不揮発性メモリ、あるいは、HDDなどの磁気記録ディスクや光ディスクとで実現される。また、センサ履歴DB110および操作情報ルールDB109は、制御部111の内部に設けられる構成となっているが、これに限らず、制御部111の外部(例えば、制御部111で利用される各種データ、プログラムの実行によって得られたデータなどが格納された記憶部(図示せず))に設けられていてもよい。
送信データ生成部107は、操作情報決定部106からの指示により、被制御装置21に対する制御内容を決定した後で、被制御装置21に対する装置制御信号形式にて送信データ(装置制御用信号)を生成する。
次に、被制御装置21の構成について説明する。被制御装置21は、リモコン装置11により制御されるものであり、距離センサ201、受信部203および制御部204を備えている。
距離センサ201は、リモコン装置11の距離センサ101とのペアリングにて距離変位量のセンシングを行うためのセンシングデバイスであり、距離センサ101(距離測定部102)と同等の機能を有するものであってもよい。なお、本実施形態に係る被制御装置21では、制御部204は、距離センサ201からの距離変位量を受信することにより自装置の挙動を変更する構成ではないが、これに限らず、自装置の挙動を変更する構成であってもよい。この構成については、後述の実施形態にて説明する。
受信部203は、リモコン装置11から送出された装置制御用信号を受信し、制御部204に通知するものである。
制御部204は、被制御装置21を各種機能の制御するための所定の演算処理を行うものであり、例えばCPU等によって実現される。本実施形態に係る制御部204は、受信部203から通知された装置制御用信号に基づき被制御装置21の制御部204を行う。
〔センサ履歴テーブルA及び操作情報ルールテーブルB〕
次に、操作情報決定部106が参照する、センサ履歴DB110にて管理されるセンサ履歴テーブルAと、操作情報ルールDB109にて管理される操作情報ルールテーブルBとについて説明する。
まず、センサ履歴DB110にて管理されるセンサ履歴テーブルAの詳細について、図7を用いて説明する。図7は、センサ履歴DB110にて管理されるセンサ履歴テーブルAの詳細を示す図である。
図示のように、センサ履歴テーブルAは、「距離イベントID」、「ソースデバイスID」、「対象デバイスID」、「検知時刻」、「距離」、「期間」、「ステータス」および「拡張フィールド」の項目が含まれている。
列AC1には「距離イベントID」が格納される。「距離イベントID」は、所定の距離変位があったことをイベントとして扱うためのIDであり、センシング情報解釈部105が距離測定部102から距離変位量を通知されたときにユニークなIDとして付与されるものである。
列AC2には「スペースID」が格納される。「スペースID」は、同一空間内にあるセンサデバイスに対して同一に登録されるIDである。また、「スペースID」には、リモコン装置11および被制御装置21の設置環境に応じて同一のIDが設定される。本実施形態に係る制御システム1では、リモコン装置11および被制御装置21は同一空間内に配置されるため、各装置に搭載されるセンサデバイス(距離センサ101及び距離センサ201)には予め共通のスペースIDが割り当てられているものとする。
列AC3には「ソースデバイスID」が格納される。「ソースデバイスID」には、距離変位量(距離センシング信号)の送出元であるセンサデバイス(本実施形態では距離センサ101)のデバイスIDが割り当てられる。このデバイスIDは、各距離センサに対して割り当てられるユニークなIDである。
列AC4には「対象デバイスID」が格納される。「対象デバイスID」には、距離変位量の宛先デバイス(本実施形態では距離センサ201)のデバイスIDが割り当てられる。このデバイスIDも、各距離センサに対して割り当てられるユニークなIDである。
列AC5には、「検知時刻」が格納される。「検知時刻」は、センシング情報解釈部105に対して距離測定部102から距離変位量とともに与えられるシステム時間であり、センシング情報解釈部105を経由してセンサ履歴DB110に格納されるものである。「検知時刻」の単位は、システムに依存するものであり、ここではmsオーダにて記述されているが、別のシステムにおいてはこの限りではない。
列AC6には「距離情報」が格納される。「距離情報」には、センシング情報解釈部105が、距離測定部102から与えられる距離変位量をそのままの形で格納するが、当該距離変位量を単位時間あたりの変位差分として算出した差分情報を格納する形であってもよい。「距離情報」の単位は、システムに依存するものであり、ここではmmオーダにて記述されているが、別のシステムにおいてはこの限りではない。
列AC7には「期間」が格納される。「期間」は、距離センサ101から送信されたパルス信号の飛行時間から算出される期間である。また、「期間」には、システム時間を管理する列AC5(「検知時刻」)とは違う情報が格納される。「距離情報」の単位は、システムに依存するものであり、ここではmsオーダにて記述されているが、別のシステムにおいてはこの限りではない。
列AC8は「ステータス」が格納される。「ステータス」は、操作情報決定部106にて更新処理される属性情報(ステータス情報)であり、距離変位イベントが操作情報決定部106にて参照され、条件イベント(発火イベント)としてマッチングしたと判定(ルール判定)された場合に更新される。
例としては、列AC1の「距離イベントID:000000002」発生時に、操作情報決定部106は、後述される操作情報ルールテーブルB(図8)を参照し、操作情報ルールテーブルBにおける「ルールID:1」と照合し、これが発火イベントとして扱われる際には、列BC3にて記載される「イベント名:throw00」を列AC8に記述するように更新される。
実際の距離変位量の解釈時には、操作情報決定部106は、列AC8を参照し、直前の距離変位量のステータスがどうなっているかを確認する。これにより、操作情報決定部106は、複数の操作情報ルールを発火条件とする装置制御条件が設定されていた場合でもすべての判定履歴を遡ることなく、新規のイベント条件のみを判定することができるので、簡易な処理かつ累積的なルール判定処理を行うことができる。
また、「距離イベントID(列AC1):000000004」の「ステータス(列AC8):throw02>throw」は、操作情報決定部106が、発火イベントをthrow02イベントと判定した後、操作情報ルールテーブルBをトレースし、最終的にthrowイベントとして被制御装置21に対する制御が実行されたことを意味する。
列AC9には「拡張フィールド」が格納される。「拡張フィールド」には、操作情報決定部106の処理過程で必要となるデータ、計算によって得られた数値などが格納される。すなわち、「拡張フィールド」には、操作情報決定部106が参照する操作情報ルールの解釈に必要な情報が算出され格納される。
例えば、図7に示す「拡張フィールド(列AC9)」では、「距離(列AC6)」に格納される任意の距離イベントにおける距離変位量とその一つ前の距離イベントにおける距離変位量との差分を、「期間(列AC7)」の値で割ったときの値が速度情報として格納される一例を示す。
次に、操作情報ルールDB109にて管理される操作情報ルールテーブルBの詳細について、図8を用いて説明する。図8は、操作情報ルールDB109にて管理される操作情報ルールテーブルBの詳細を示す図である。
図示のように、操作情報ルールテーブルBは、「ルールID」、「コマンドID」、「イベントID」、「操作バインド」、「発火条件」および「発火イベント」の項目が含まれている。
列BC1には「ルールID」が格納される。「ルールID」は、操作情報決定部106が被制御装置21に対する制御内容(制御動作)を決定するために記述される各操作情報ルールについて与えられるIDである。
列BC2には「コマンドID」が格納される。「コマンドID」は、操作情報決定部106が最終的に決定し、適用する操作情報ルールに対して与えられるIDである。
図8においては、「コマンドID」は、各操作情報ルールが最終的にどのコマンドに結びつくことになるのかを含めて定義されている。すなわち、最終的に実行される被制御装置21に対する制御内容を示す装置制御コマンドを記述する4桁のIDに従属するものとして、上位4桁をマスクした5桁目が定義されている。これは、単一のルールとしての装置制御ルールと同じ扱いで距離変位イベントをも取り扱うことを意味する。
列BC3には「イベント名」が格納される。「イベント名」は、各操作情報ルールに対する名称を与えるものであり、操作情報決定部106以外のサブシステムからもIDの代わりに参照される。
列BC4には「操作バインド」が格納される。「操作バインド」は、最終的あるいは中間イベントとしての各種制御内容(操作コマンド)が記述されるフィールドである。「操作バインド」には、操作情報決定部106が複数のルール判定を必要とする場合には、最終的なルール判定時においてのみ決定される操作コマンドの内容が記述されることになる。
図8では、例えば「ルールID:5〜7」は、操作情報決定部106でのルール判定処理における状態遷移の中では中間イベントとして取り扱われるため、「操作バインド」には“NULL”(第2制御内容)が与えられている。また、「ルールID:1〜3」も上記状態遷移の中では中間イベントとして取り扱われるが、各イベントが照合されるタイミングにおいて、「操作バインド」に操作コマンドとして“Play BeepN”(N=1〜3)(第2制御内容)が記述されているので、ルールヒットの都度、異なるビープ音を鳴らす制御がリモコン装置11で実行される。
また、「ルールID:4」の操作情報ルールについては、操作情報ルールのシーケンシャルな組み合わせの結果発火する形となるため、最終的な装置制御コマンド列として設定された制御内容が実行される。
この「ルールID:4」が発火した場合、操作情報決定部106は、まず自装置であるリモコン装置11の表示部103における表示を停止させた後、“Msg1”として用意されているメッセージを表示部103に表示させる。その後、操作情報決定部106は、現在再生しているコンテンツ(コンテンツ情報)を、制御対象装置である被制御装置21に対して送信した後、被制御装置21にてコンテンツ再生を行うための遠隔操作コマンド(装置制御用信号)を送信する。
なお、「操作バインド」は、制御対象や操作内容を予め静的に記述する形式で構成されていてもよいし、システムにて解釈可能なパラメータを記述しておくことで、システムの状況に応じて動的に変更可能な構成であってもよい。また、「操作バインド」は、スクリプト形式で複数のコマンド列を予め記述しておくことで、リモコン装置11に応じて操作の変更を柔軟に行うことが可能である。
列BC5には「発火条件」が格納される。「発火条件」は、操作情報ルールを発火させるか否かを示す条件節である。操作情報決定部106は、発生した距離変位イベントを観測し、上記条件節としての操作情報ルールと照合することで当該操作情報ルールの真偽を判定する。「ルールID:1」における条件節は、距離変位量が前回の距離変位イベントに比較して、
監視時間(watch−time)1000ms内において、
動作下限(lower−amount)50mm以上、
動作上限(upper−amount)300mm以下で、
増加方向(increase)である距離変位量
と認められた場合に当該操作情報ルールが発火されることを意味する。
列BC6には「発火イベント」が格納される。「発火イベント」は、実際に操作情報ルールが発火した場合に、操作情報決定部106によって次に判定されるべき操作情報ルールを規定するものである。
例えば、「ルールID:1」が発火した場合に、操作情報決定部106により次に参照されるべきルールは「ルールID:2」の操作情報ルールである。このため、「ルールID:1」の「発火イベント」には、「ルールID:2」の操作情報ルールのイベント名である“throw01”が記述されている。
なお、「ルールID:1」の操作情報ルールが発火した場合、この「発火イベント(列BC6)」の内容が図7に示すセンサ履歴テーブルAの「ステータス(列AC8)」に転記される。
上記のように、操作情報決定部106は、センサ履歴DB110に順次格納される距離変位量の少なくとも1つを、被制御装置21に対する制御内容またはリモコン装置11に対する第2制御内容を決定するためのイベントとして用いるものであるといえる。
〔リモコン装置における処理の流れ〕
次に、リモコン装置11にて実行される処理の流れについて、図5を用いて説明する。図5は、リモコン装置11にて実行される処理の流れを示すフローチャートである。
まず、制御部111は、ステップS301にて各種リソース(リモコン装置11の各部)の初期化を実行する。これにより、リモコン装置11では、距離センサ101を含む各種ハードウェア、及びソフトウェアを使用可能な状態に設定した上でステップS302に遷移する。
次に、距離測定部102は、ステップS302にて、距離センサ101を介して距離変位量のセンシングを開始し、被制御装置21との間の距離測定を実行する。
その後、センシング情報解釈部105は、ステップS303にて、距離測定部102からの距離変位量(距離変位データ)が予め設定された変位閾値を超えたか否かを判定する。センシング情報解釈部105は、距離変位量が変位量閾値を超えたと判定した場合に(S303にてYES)、当該距離変位量をセンサ履歴DB110へ格納する(ステップS304)。なお、ステップS303では、距離変位量が変位量閾値を超えたか否かを判定しているが、これに限らず、予め設定された時間解像度単位の間隔で、距離変位量をセンサ履歴DB110に格納してもよい。
一方、センシング情報解釈部105は、距離変位量が変位量閾値を超えていないと判定した場合には(S303にてNO)、ステップS302に遷移し、距離測定部102による距離センシングが再び実行される。
ここで、センシング情報解釈部105は、ステップS304での距離センシング情報更新プロセス(距離変位量のセンサ履歴DB110への格納処理)では、変位量閾値以上の距離変位量(あるいは、単純に予め設定された時間解像度での距離変位量)が観測された場合に、当該距離変位量をセンサ履歴DB110へ格納するが、これに限られたものではない。
すなわち、センシング情報解釈部105は、周辺環境に依存するパラメータとして補正された値をセンサ履歴DB110へ格納することも可能である。また、センシング情報解釈部105は、距離測定部102からの距離変位量と時間情報とを用いて、例えばリモコン装置11に対する速度あるいは加速度、方位、角度などを、センサ履歴テーブルAの「拡張フィールド(列AC9)」に格納することが可能である。これらの数値は、操作情報決定部106により操作情報ルールテーブルBの「発火条件」として必要と判断される場合に、センシング情報解釈部105により算出され、定性・定量的データのマッチング方式にあわせた単位変換、調整が行われる。
センシング情報解釈部105は、ステップS304にて距離変位量をセンサ履歴DB110へ格納した後、ステップS305へ遷移し、当該距離変位量を操作情報決定部106へイベントとして通知する。
操作情報決定部106は、上記通知を受けると、操作情報ルールDB109を参照し、適合可能か否かのルール判定を行う(ステップS305)。操作情報決定部106は、通知された新たな距離変位量と、操作情報ルールセット内の各「発火条件」とを照合することで、条件を満足する操作情報ルールを抽出した場合には(S305でYES)、ステップS306へと遷移する。一方、操作情報決定部106が、条件を満足する操作情報ルールがない場合には(S305でNO)、制御部111は、距離センサ101を再びセンシング可能な状態にした後(ステップS308)、ステップS302へと遷移する。
次に、ステップS306では、操作情報決定部106は、抽出した操作情報ルールとセンサ履歴DB110のエントリ(各距離変位量)との間でルール適用処理が行われ、センサ履歴テーブルAのエントリに関するフィールドが更新される。具体的には、操作情報決定部106は、センサ履歴テーブルAの「ステータス(列AC8)」の更新を行う。
このとき、操作情報決定部106は、センサ履歴テーブルAの一つ前の履歴情報(距離変位量)を確認し、シーケンシャルに判定すべき条件としての「イベント名」が与えられていることを確認した場合には、この判定を優先的に行うことで複数イベントの判定を行う。そして、操作情報決定部106は、引き続き「発火条件」としてのイベントが操作情報ルールとして設定されているか否かを参照し、それが真なら次の条件としての「イベント名」を「ステータス」フィールドへ設定する。
一方、操作情報決定部106は、「発火条件」としてのイベントが操作情報ルールとして設定されていないと判定した場合には、他の抽出された条件の比較にて必要に応じて「ステータス」のアップデートを行う。そして、操作情報決定部106は、ステップS307にて、装置制御コマンド(装置制御用信号)発行のためのイベント条件が全て満足しているか否かを判定する。
操作情報決定部106は、上記イベント条件が全て満足していると判定した場合には(S307でYES)、ステップS309にて操作情報ルールテーブルBの「操作バインド」を参照し、記述された内容でのコマンド(遠隔操作コマンド)データ生成を送信データ生成部107に行わせる。そして、送信データ生成部107は、ステップS310にて当該コマンドを、送信部108を介して被制御装置21に送信する。操作情報決定部106は、送信データ生成部107に装置制御用信号を送信させると、ステップS311にてセンサ履歴DB110上のエントリをクリアする。その後、制御部111は、ステップS308にて距離センサ101(センサモジュール)をセンシング可能な状態に再設定した上で、距離測定部102に再度距離センシングを実行させる。
一方、操作情報決定部106は、ステップS307にてイベント条件が全て満足していない(まだクリアできていない)と判定した場合(すなわち次のイベント発火条件が設定可能な場合)には(S307でNO)、ステップS312へ遷移する。すなわち、ステップS309と同様、操作情報ルールテーブルBの「操作バインド」に記述があれば、音声出力部114に音声出力を行わせる(ステップS312)。
すなわち、操作情報決定部106は、センサ履歴DB110に順次格納される距離変位量の少なくとも1つを、リモコン装置11に対する第2制御内容を決定するためのイベントとして用い、当該イベントが遷移するときに音声出力部114に報知音(音声)を出力させる。
これにより、リモコン装置11では、距離変位イベント発生過程において、距離変位イベント発生の切れ目(ルール判定を行った(または開始する)時点)をユーザに対し知らせる効果が期待できる。すなわち、リモコン装置11が、距離変位イベント発生の切れ目で音声出力が変更して通知するので、ユーザは、例えばジェスチャ動作を行っているときに規定の動作の途中で失敗しているか否か(任意の処理が成功したのか失敗したのか)を知ることができる。
なお、操作情報決定部106がステップS312の処理を完了すると、ステップS308の制御部111の処理へ遷移する。
〔リモコン装置及び被制御装置における操作画面例〕
次に、制御システム1のリモコン装置11および被制御装置21それぞれにおける画面遷移の様子について、図12を用いて説明する。図12は、制御システム1のリモコン装置11および被制御装置21それぞれにおける画面遷移の様子の一例を示す図である。なお、図12の上段は、リモコン装置11としてのRC01の画面例であり、下段は、被制御装置21としてのTV01の画面例である。なお、本実施形態では図示していないが、被制御装置21には表示部が備えられているものとする。
まず、画面1120は、リモコン装置11の表示部103における基本画面構成を示す。画面1120は、その内部に画面1122および画面1124を含む。画面1122は、表示エリア01としてのリモコン装置11におけるメイン画面であり、装置(リモコン装置11)制御用のUI(User Interface)表示領域あるいは動画、静止画といったマルチメディアデータ(コンテンツ)を再生する場合の表示領域として用いられる。画面1124は、表示エリア02としての、主に被制御装置21に対する操作内容に関する補足情報(メッセージ情報)を表示するための表示領域であり、システムあるいは外部(リモコン装置11あるいは被制御装置21)でのイベント発生時におけるユーザへの通知情報が表示される。
次に、画面1150は、被制御装置21の表示部(図示せず)における基本画面構成を示す。画面1150は、その内部に画面1152および画面1154を含む。画面1152は、表示エリア03として被制御装置21におけるメイン画面であり、装置(被制御装置21)制御用のUI表示領域あるいは動画、静止画といったマルチメディアデータを再生する場合の表示領域として用いられる。画面1154は、表示エリア04として、主に操作内容に関する補足情報を表示するための表示領域であり、システムあるいは外部でのイベント発生時におけるユーザへの通知情報が表示される。
画面1130は、リモコン装置11においてマルチメディアデータを再生中のスナップショット画面であり、画面1132に当該マルチメディアデータとしての動画が再生されているものとする。ユーザは、リモコン装置11を被制御装置21に向けて投げ入れる操作(throw操作)を実行することで、リモコン装置11における表示部103の画面が画面1140に遷移する。
ここで、throw操作として定義されるものは、リモコン装置11および被制御装置21間の距離変位イベント列である。操作情報決定部106は、距離変位イベントシーケンスをルール判定した結果として、当該距離変位イベントがシステム挙動としてリモコン装置11および被制御装置21の装置制御を行い、当該装置制御を各表示部の画面(UI画面)へと反映する。距離変位イベントシーケンスからUI操作へのマッピングルールについては後述する。
画面1140では、リモコン装置11におけるthrow操作の画面として、画面1142にて一旦動画再生を停止した状態が表示され、画面1144にて「TV01への再生要求送信しました」というメッセージが表示される。このとき、送信部108から被制御装置21に対し、図8の操作情報ルールテーブルBに記述される「ルールID:4」の「操作バインド」がルールヒット後のアクション情報(装置制御用信号(制御信号))として送信されている。被制御装置21は、当該アクション情報を受信部203にて受信すると、画面1160に含まれる画面1164にて「RC01からデータ受信しました」というメッセージ通知を行う。そして、制御部204は、画面1162にて受信済みコマンドを実行した結果として、画面1162にてリモコン装置11の表示部103にて再生されていた動画再生を開始する。
次に、距離変位イベントシーケンスからUI操作へのマッピングルールを示すXML形式での記述スクリプトについて、図16を用いて説明する。図16は、距離変位イベントシーケンスからUI操作へのマッピングルールを示すXML形式での記述スクリプトの一例を示す図である。
図示されたXML形式にて記述される情報は、操作情報決定部106にて解釈され、操作情報ルールDB109へと格納されるものである。また、操作情報決定部106は、任意の外部装置から当該XML形式を導入することにより、操作情報ルールを新規に導入することが可能である。
距離変位量をもとにしたイベント列定義は、motion‐eventタグによって囲まれた部分に記述される。イベント名の定義は、event要素のname属性にて与えられ、コマンドIDも同じく属性として与えられる。
距離変位量を、その増減方向(リモコン装置11から被制御装置21の方向への距離異変位量を増加方向とする)及び範囲、ならびに、その距離変位に関する時間(監視時間)を与えることでイベントとして定義する。これにより、操作情報決定部106は、距離変位量を用いて擬似的な操作インタフェースを定義し、取り扱うことができる。図16では、擬似的に以下の操作インタフェース(投げ込み(throw)操作および引き込み(draw)操作)を定義している。
すなわち、操作情報決定部106は、リモコン装置11と被制御装置21との間の距離変位イベントシーケンスを、以下のように定義することで、throw操作として取り扱うことができる。
投げ込み(throw)操作
1. 単位時間(1秒間)あたりの移動量0
2. 単位時間あたりの移動量が5〜15cmの範囲で増加
3. 次の単位時間あたりの移動量が15〜30cmの範囲で減少
4. 次の単位時間あたりの移動量が25〜40cmの範囲で増加
また、操作情報決定部106は、リモコン装置11と被制御装置21との間の距離変位イベントシーケンスを以下のように定義することで、引き込み(draw)操作として取り扱うことができる。
引き込み(draw)操作
1. 単位時間(1秒間)あたりの移動量0
2. 単位時間あたりの移動量が5〜15cmの範囲で減少
3. 次の単位時間あたりの移動量が20〜40cmの範囲で増加
4. 次の単位時間あたりの移動量が15〜30cmの範囲で減少
リモコン装置11では、上記例のようにXML形式にて記述される情報が設定され、リモコン装置11および被制御装置21の間の距離に応じた装置制御の仕方を定義できることにより、ユーザは、リモコン装置11を前後に振るといった簡易的かつ直感的な操作にて被制御装置21を制御できる。
次に、操作画面における距離変位イベントシーケンスからUI操作へのマッピングルールの詳細について、図7、図8および図12を用いて説明する。
図12における画面1130から画面1140へは、リモコン装置11におけるthrow操作によって遷移する。この際、ユーザは、リモコン装置11を被制御装置21に向けて突き出した(投げ出した)上で、当該リモコン装置11をユーザ自身の方向へ引き、再度被制御装置21へと向けて投げ出す操作をしたものとする。
このとき、センシング情報解釈部105は、上記各操作を、図7に示すセンサ履歴テーブルAの「距離イベントID:000000002」から「距離イベントID:000000004」までの3つの距離変位イベントとして解釈する。操作情報決定部106における各距離変位イベントのルール判定処理の過程において、図8に示す操作情報ルールテーブルBの「ルールID:1」から「ルールID:3」までの各操作情報ルールに順にヒットする。このため、操作情報決定部106は、最終的には「ルールID:3」のルール判定の後、「ルールID:4」の「イベント名:throw」を起動し、当該「ルールID:4(列BC4)」の「操作バインド」の内容(制御内容)を装置制御コマンドとして実行する。
ここで、操作情報決定部106は、装置制御コマンドとしての「ルールID:4」の「操作バインド」における“Put $currentContentInfo”にて、被制御装置21へのコンテンツ(マルチメディアデータ)を送信させる。また、操作情報決定部106は、装置制御コマンドとしての「ルールID:4」の「操作バインド」における“Send ‘Play: $content’”にて、送信済みのコンテンツを被制御装置21にて再生させるためのコマンドを被制御装置21に送信する。被制御装置21は、当該コマンドを受信し、実行することによって、画面1160の画面1162に動画を表示させる。
これにより、ユーザは、リモコン装置11を被制御装置21に向けて予め規定された操作情報ルールに沿って前後に振るジェスチャ動作をする(再生中のコンテンツをあたかも投げ込む動作を行う)ことにより、リモコン装置11にて再生していたコンテンツを、被制御装置21などのAV装置(例えばTV)にて継続して(被制御装置21に切り替えて)再生するといった操作を直感的に行うことが可能である。
〔実施形態2〕
本発明の別の実施形態について、図2、図4、図8、図9、および図13に基づいて説明すると以下の通りである。以降の実施形態2〜4において、説明済みの図と同じ番号が付与されているものについては名称および機能も同一であるため、新たな説明は行わないものとする。なお、図16の距離変位イベントシーケンスからのUI操作へのマッピングルールを示すXML形式記述スクリプトは、以降の実施形態2〜4においても共通のものを参照するものとし、説明は省略する。
〔制御システムの概略〕
まず、本実施形態に係る制御システム2の構成について、図2を用いて説明する。図2は、本実施形態に係る制御システムの概略構成の一例を示すブロック図である。
図示のように、制御システム2は、制御システム1と同様、例えば赤外線通信の規格に準拠した無線通信を用いてデータの送受信を行うことにより、一方の装置が他方の装置を制御することが可能にするものである。図2では、制御システム2は、リモコン装置12(制御装置)と被制御装置22とを備えている。まず、リモコン装置12の構成について説明する。
リモコン装置12は、受信データ解釈部113および受信部112を備え、装置制御用信号の送受信が可能な構成になっている点で、図1に示すリモコン装置11とは異なる。つまり、制御部115が受信データ解釈部113を備える点で、図1に示す制御部111とは異なる。一方、被制御装置22は、図1に示す被制御装置21と異なり、送信部202を有する。
受信部112は、被制御装置22の送信部202(後述)からのリモコン制御用信号(制御信号)を受信し、受信データ解釈部113に通知するものである。
受信データ解釈部113は、リモコン制御用信号に対してデータ復調処理を行い、抽出された受信情報(データ)を操作情報決定部106に通知するものである。そのため、操作情報決定部106は、新たに抽出された受信情報をリモコン装置12の制御に用いるための機能を有する。
次に、被制御装置22の構成について説明する。被制御装置22は、図1に示す被制御装置21と異なり、送信部202を備えている。
送信部202は、リモコン装置12を制御するためのリモコン用制御信号を送信する機能を有する。そのため、被制御装置22における制御部204は、送信データ変調処理など、リモコン装置12へ送信するためのデータを受信信号として送出するための処理機能を有する。
〔リモコン装置における処理の流れ〕
次に、リモコン装置12にて実行される処理の流れについて、図4を用いて説明する。図4は、リモコン装置12にて実行される処理の流れを示すフローチャートである。
図4に示すリモコン装置12にて実行される処理は、図5に示すステップS309による音声出力ステップがない(すなわち、ステップS307でNOの場合、S308の処理へ遷移する)点で図5に示すフローチャートとは異なる。この場合、リモコン装置12では、音声出力部114の機能をオフにしている状態であるか、あるいは機能ブロックとしての音声出力部114がない状態であるかに相当する。
従って、図4に示すフローチャートでは、操作情報決定部106は、図8の操作情報ルールテーブルBの「操作バインド(列BC4)」に“Play beepN”が設定されていたとしても、この処理をスキップする。
〔センサ履歴テーブルC〕
次に、操作情報決定部106が参照する、センサ履歴DB110にて管理されるセンサ履歴テーブルCの詳細について、図9を用いて説明する。図9は、センサ履歴DB110にて管理されるセンサ履歴テーブルCの詳細を示す図である。
図示のように、センサ履歴テーブルCは、「距離イベントID」、「ソースデバイスID」、「対象デバイスID」、「検知時刻」、「距離」、「期間」、「ステータス」および「拡張フィールド」の項目が含まれている。なお、これらの項目は、図7に示すセンサ履歴テーブルAと同じ意味を有するものであり、ここでは、図7とは異なるフィールドについてのみ説明する。
列CC1には「距離イベントID」が格納される。図7のセンサ履歴テーブルAの「距離イベントID(列AC1)」とは便宜的に異なるIDを付与するものとする。
その他、列CC8には「ステータス」が格納されるが、図7のセンサ履歴テーブルAの「ステータス」とは異なる内容が設定される場合を示している(“draw”イベント)。詳細については後述する。
〔リモコン装置及び被制御装置における操作画面例〕
次に、制御システム2のリモコン装置12および被制御装置22それぞれにおける画面遷移の様子について、図13を用いて説明する。図13は、制御システム2のリモコン装置12および被制御装置22それぞれにおける画面遷移の様子の一例を示す図である。なお、図13の上段は、リモコン装置12としてのRC02の画面例であり、下段は、被制御装置22としてのTV02の画面例である。なお、本実施形態では図示していないが、被制御装置22には表示部が備えられているものとする。
画面1220は、リモコン装置12においてリモコン装置12用のUI操作画面(リモコンUI画面)を表示しているスナップショット画面であり、画面1222にボタン等のUI要素が表示されているものとする。ユーザは、リモコン装置12を被制御装置22に向けて引き込み操作(draw操作)を実行することで、リモコン装置12における表示部103の画面が画面1230に遷移する。
ここで、draw操作として定義されるものは、リモコン装置12および被制御装置22間の距離変位イベント列である。操作情報決定部106は、距離変位イベントシーケンスをルール判定した結果として、当該距離変位イベントがシステム挙動としてリモコン装置12および被制御装置22の装置制御を行い、当該装置制御を各表示部の画面(UI画面)へと反映する。距離変位イベントシーケンスからUI操作へのマッピングルールについては実施形態1と同様であるが、draw操作については後述する。
画面1230では、リモコン装置12におけるdraw操作後の画面として、画面1232にてリモコンUI画面が表示され、画面1234にて「TV02へのデータ要求送信しました」というメッセージが表示される。このとき、送信部108から被制御装置22に対し、図8の操作情報ルールテーブルBに記述される「ルールID:8」の「操作バインド」がルールヒット後のアクション情報(装置制御用信号(制御信号))として送信されている。
一方、TV02としての被制御装置22は、表示部(図示せず)の画面1250にてコンテンツ(動画)を再生中であるものとし(コンテンツ表示領域としての画面1252を利用する)、リモコン装置12からの装置制御用信号(コンテンツ情報取得要求)を、受信部203を介して受信する。制御部204は、受信部203から装置制御用信号を受信すると、画面1260へ遷移させ、画面1270の画面1264に「RC02からコンテンツ要求受信しました/送信中」というメッセージを表示させた上で、コンテンツ情報取得要求に対する応答を生成する。そして、制御部204は、上記応答としてのリモコン制御用信号を、送信部202を介してリモコン装置12に対し送信する。
リモコン装置12は、受信部112を介して上記リモコン制御用信号を受信すると、画面1240の画面1244に「TV02からデータ受信しました」というメッセージを表示させる。この場合、制御部115は、受信部112からリモコン制御用信号を受信したタイミングで、このメッセージを表示させる。
制御部115が上記メッセージを表示させると、受信データ解釈部113は、受信部112から受信したリモコン制御用信号に対するデコード処理を行った結果を、操作情報決定部106に通知する。操作情報決定部106は、この通知を受けたタイミングで、画面1242にて、被制御装置22から受信したコンテンツ情報をもとにコンテンツ再生を開始する。
次に、操作画面における距離変位イベントシーケンスからUI操作へのマッピングルールの詳細について、図8、図9および図13を用いて説明する。
図13における画面1220から画面1230へは、リモコン装置12におけるdraw操作によって遷移する。この際、ユーザは、リモコン装置12を被制御装置22に向けて一度手前に引き、当該リモコン装置12を前方向に一旦動かし、再度被制御装置22から手前に引き込む操作をしたものとする。
このとき、センシング情報解釈部105は、上記各操作を、図9に示すセンサ履歴テーブルCの「距離イベントID:000000002」から「距離イベントID:000000004」までの3つの距離変位イベントとして解釈する。操作情報決定部106における各距離変位イベントのルール判定処理の過程において、図8に示す操作情報ルールテーブルBの「ルールID:5」から「ルールID:7」までの各操作情報ルール(これらの「ルールID」における「操作バインド」の内容が第2制御内容に該当)に順にヒットする。このため、操作情報決定部106は、最終的には「ルールID:7」のルール判定の後、「ルールID:8」の「イベント名:draw」を起動し、当該「ルールID:4(列BC4)」の「操作バインド」の内容(制御内容)を装置制御コマンドとして実行する。
ここで、操作情報決定部106は、装置制御コマンドとしての「ルールID:8」の「操作バインド」における“Send ‘Get $currentContentInfo,$content”にて、被制御装置22にて現在再生中のコンテンツを取得するためのコンテンツ情報取得要求を送信し、被制御装置22からのリモコン制御用信号の受信を待つ。
被制御装置22では、受信部203を介して上記コンテンツ情報取得要求を受信すると、制御部204は、画面1264にてユーザに対する通知(メッセージ表示)を行った上で、必要となるコンテンツ情報(現在再生中のコンテンツおよび当該コンテンツに関する情報など)をリモコン制御用信号として、送信部202を介して送信する。
リモコン装置12では、受信部112を介して上記リモコン制御用信号を受信すると、制御部115は、「ルールID:4」の「操作バインド」における“Msg2”として定義されているメッセージを画面1244にて表示させる。その後、操作情報決定部106は、受信データ解釈部113にて抽出されたコンテンツに対して、装置制御コマンドとしての「ルールID:4」の「操作バインド」における“Play $content”にてコンテンツ再生制御を行う。その結果、操作情報決定部106は、上記コンテンツを画面1242にて表示させる。
これにより、ユーザは、リモコン装置12を被制御装置22に向けて予め規定された操作情報ルールに沿って前後に振るジェスチャ動作をする(被制御装置22にて再生中のコンテンツをあたかもリモコン装置12へ引き込む動作を行う)ことにより、被制御装置22にて再生していたコンテンツを、リモコン装置12にて継続して(リモコン装置12に切り替えて)再生するといった直感的な操作を行うことが可能である。
〔実施形態3〕
本発明のさらに別の実施形態について、図2、図4、図9、図10、および図14に基づいて説明すると以下の通りである。本実施形態では、距離変位イベント処理において入力部104を用いた場合の処理について説明する。
なお、本実施形態に係る制御システムは、図2に示す実施形態2の制御システム2(リモコン装置12および被制御装置22)と同じであり、リモコン装置12にて実行される処理についても、図4に示すフローチャートに準ずるものである。また、センサ履歴DB110に格納されるセンサ履歴テーブルは、図9に示すセンサ履歴テーブルCと同じであるものとする。すなわち、本実施形態では、操作情報ルールDB109に操作情報ルールテーブルDが格納されている点で、実施形態2のリモコン装置12とは異なる。
〔操作情報ルールテーブルD〕
次に、操作情報決定部106が参照する、操作情報ルールDB109にて管理される操作情報ルールテーブルDの詳細について、図10を用いて説明する。図10は、操作情報ルールDB109にて管理される操作情報ルールテーブルDの詳細を示す図である。
図10に示す操作情報ルールテーブルDは、図8の操作情報ルールテーブルBにおけるdrawイベント関連を抽出したものであり、さらに「ルールID:8」の「操作バインド(列BC4)」を列DC4に示す「操作バインド」に変更した操作情報ルールセットを示すものである。
操作情報決定部106は、drawイベントが発火したときの「操作バインド(列DC4)」における装置制御コマンドシーケンスでは、被制御装置22に対し、まず”Send ‘Get $possibleContentsInfo, $contents’”にて、リモコン装置12に転送可能なコンテンツに関する情報およびコンテンツを取得するためのコンテンツ情報取得要求を送信させる。そして、操作情報決定部106は、“Msg3”にて定義されるメッセージをリモコン装置12の表示部103に表示させる。
操作情報決定部106は、“Msg3”にて定義されるメッセージを表示させた後、”Select $content”にて、被制御装置22から受信したコンテンツ情報の中からユーザにコンテンツを選択させる操作を求める。ユーザが入力部104を介してコンテンツを選択すると、操作情報決定部106は、“Msg4”にて定義されるメッセージを表示部103に表示させた上で、ユーザにより選択済みコンテンツの再生処理を行う。
なお、実際にdrawイベントが発火したときのリモコン装置11における制御シーケンスは後述する。
〔リモコン装置及び被制御装置における操作画面例〕
次に、本実施形態に係る制御システム2のリモコン装置12および被制御装置22それぞれにおける画面遷移の様子について、図14を用いて説明する。図14は、本実施形態に係る制御システム2のリモコン装置12および被制御装置22それぞれにおける画面遷移の様子の一例を示す図である。なお、図14の上段は、リモコン装置12としてのRC03の画面例であり、下段は、被制御装置22としてのTV03の画面例である。なお、実施形態2と同様、被制御装置22には表示部が備えられているものとする。
画面1320は、リモコン装置12においてリモコン装置12用のUI操作画面(リモコンUI画面)を表示しているスナップショット画面であり、画面1322にボタン等のUI要素が表示されているものとする。ユーザは、リモコン装置12を被制御装置22に向けて引き込み操作(draw操作)を実行することで、リモコン装置12における表示部103の画面が画面1330に遷移する。
ここで、draw操作として定義されるものは、リモコン装置12および被制御装置22間の距離変位イベント列である。操作情報決定部106は、距離変位イベントシーケンスをルール判定した結果として、当該距離イベントがシステム挙動としてリモコン装置12および被制御装置22の装置制御を行い、当該装置制御を各表示部の画面(UI画面)へと反映する。距離変位イベントシーケンスからUI操作へのマッピングルールについては実施形態2と同様であるが、画面遷移間での操作情報ルール適用における補足情報(画面1344および画面1354への画面遷移、表示内容など)については後述する。
画面1330では、リモコン装置12におけるdraw操作後(操作情報決定部106による図10の操作情報ルールテーブルDにおける「ルールID:8」の「操作バインド」に対するルール判定後)の画面として、画面1322にてリモコンUI画面を表示される。このとき、操作情報決定部106は、送信部108から被制御装置22に対し、リモコン装置12に転送可能なコンテンツに関する情報およびコンテンツを取得するためのコンテンツ情報取得要求を送信させる。そして、操作情報決定部106は、画面1334に「TV03へのデータ要求送信しました」と表示する(操作情報ルールテーブルDにおける「ルールID:8」の「操作バインド」に記述された”Send ‘Get $possibleContentsInfo, $contents’”が該当。このコマンドには、画面1334にてメッセージ表示を行う機能も含まれる。)。
一方、TV03としての被制御装置22は、リモコン装置12からの装置制御用信号(コンテンツ情報取得要求)を、受信部203を介して受信する。制御部204は、受信部203から装置制御用信号を受信すると、画面1260へ遷移させ、画面1270の画面1264に「RC03からコンテンツ要求受信しました/送信中」というメッセージを表示させた上で、コンテンツ情報取得要求に対する応答を生成する。そして、制御部204は、上記応答としてのリモコン制御用信号を、送信部202を介してリモコン装置12に対し送信する。
リモコン装置12は、受信部112を介して上記リモコン制御用信号を受信すると、画面1340の画面1344に「TV03からデータ受信しました/コンテンツを選択してください」というメッセージを表示させる(Msg3に該当)。そして、受信データ解釈部113は、リモコン制御用信号に対するデコード処理を行った結果を、操作情報決定部106に通知する。操作情報決定部106は、画面1342にて取得済みのコンテンツ情報(すなわち画面1342にコンテンツ選択用の画面)をユーザに対して表示させる(“Select $content”に該当)。これにより、リモコン装置12は、ユーザの入力操作を促す画面1340を表示して入力待ち状態となる。
ユーザが入力部104を介してコンテンツを選択すると、操作情報決定部106は、画面1350の画面1354に「コンテンツを再生します」というメッセージを表示させた上で(Msg4に該当)、選択済みのコンテンツを画面1352にて再生する(”Play $content”に該当)。
すなわち、本実施形態に係るリモコン装置12は、操作情報決定部106が、被制御装置22から受信した複数のコンテンツから1のコンテンツを選択するための選択画面を表示部103に表示させるものといえる。なお、被制御装置22は、複数のコンテンツを制御するものである。
次に、操作画面における距離変位イベントシーケンスからUI操作へのマッピングルールの詳細について、図9、図10および図14を用いて説明する。
図14における画面1320から画面1330へは、リモコン装置12におけるdraw操作によって遷移する。この際、ユーザは、リモコン装置12を被制御装置22に向けて一度手前に引き、当該リモコン装置12を前方向に一旦動かし、再度被制御装置22から手前に引き込む操作をしたものとする。
このとき、センシング情報解釈部105は、上記各操作を、図9に示すセンサ履歴テーブルCの「距離イベントID:000000002」から「距離イベントID:000000004」までの3つの距離変位イベントとして解釈する。操作情報決定部106における各距離変位イベントのルール判定処理の過程において、図10に示す操作情報ルールテーブルDの「ルールID:5」から「ルールID:7」までの各操作情報ルール(これらの「ルールID」における「操作バインド」の内容が第2制御内容に該当)に順にヒットする。このため、操作情報決定部106は、最終的には「ルールID:7」のルール判定の後、「ルールID:8」の「イベント名:draw」を起動し、当該「ルールID:4(列DC4)」の「操作バインド」の内容(制御内容)を装置制御コマンドとして実行する。
ここで、操作情報決定部106は、装置制御コマンドとしての「ルールID:8」の「操作バインド」における“Send ‘Get $possibleContentInfo,$content”にて、被制御装置22において現在転送可能なコンテンツ情報を取得するためのコンテンツ情報取得要求を送信し、被制御装置22からのリモコン制御用信号の受信を待つ。後の処理は、実施形態2と同様である。
これにより、ユーザは、リモコン装置12を被制御装置22に向けて予め規定されたルールに沿って前後に振るジェスチャ動作をする(被制御装置22のコンテンツをあたかもリモコン装置12へ引き込む動作を行う)ことにより、直感的な操作にて被制御装置22(例えばTV、ホームサーバなどの装置)に蓄積されるコンテンツをリモコン装置12にて再生することができる。
〔実施形態4〕
本発明のさらに別の実施形態について、図3、図6、図9、図11、および図15に基づいて説明すると以下の通りである。本実施形態は、リモコン装置13(制御装置)および被制御装置23(制御装置)が共通の機能をもつ場合の制御システム3を示すものであり、リモコン装置13および被制御装置23それぞれが距離変位量を処理することで自律的に動作する場合について説明する。なお、「自律的に」とは、他の装置からの制御を受けることなく、コンテンツ表示あるいは停止などの処理を行うことができることを指す。
なお、センサ履歴DB110に格納されるセンサ履歴テーブルは、図9に示すセンサ履歴テーブルCと同じであるものとする。
〔制御システムの概略〕
まず、本実施形態に係る制御システム3の構成について、図3を用いて説明する。図3は、本実施形態に係る制御システムの概略構成の一例を示すブロック図である。
図示のように、制御システム3は、外部装置との距離に応じて自装置の制御を行う、同等の機能を有するリモコン装置13および被制御装置23を備えている。すなわち、リモコン装置13および被制御装置23は、自装置での距離測定を行った結果に従い、自律的な制御を行うものとする。そのため、制御システム3では、リモコン装置13および被制御装置23は、実施形態1〜3と異なり、必ずしもリモコン装置13が被制御装置23を制御するものではないため、3つ以上の複数の装置が同一システムに存在できる。
すなわち、制御システム3では、上記外部装置が制御装置を含む構成である場合、同等の機能を有する複数の制御装置を含むシステムであるといえる。
なお、本実施形態の制御システム3では、これまでの説明との関連に鑑み、「リモコン装置」および「被制御装置」という記述を行うが、これは便宜的な用法に過ぎず、共通の機能を有する装置(制御装置)群として位置付けられる。よって、図3では、リモコン装置13および被制御装置23に同等の番号を付与している。
リモコン装置13(すなわち被制御装置23)は、送信データ生成部107、送信部108および音声出力部114を備えておらず、その代わりに、操作実行部117を備えた構成となっている点で、実施形態1〜3に係る制御システム1、2と異なる。つまり、制御部116が操作実行部117を備える点で、図1に示す制御部111および制御部115とは異なる。
操作実行部117は、操作情報決定部106にて決定された自装置に対する制御内容に基づき、実際に入出力処理を含む自装置における制御を実行する機能ブロックである。
なお、リモコン装置13および被制御装置23は、それぞれ自律的に自装置の処理を決定し、自装置内部の振る舞いを制御すべく構成されるが、これに限らず、図2における送信データ生成部107、送信部108、受信データ解釈部113、受信部112および音声出力部114を備えていてもよい。この場合、リモコン装置13および被制御装置23は、外部装置との通信および外部への音声出力を行うことが可能となる。
〔リモコン装置(被制御装置)における処理の流れ〕
次に、リモコン装置13(被制御装置23)にて実行される処理の流れについて、図6を用いて説明する。図6は、リモコン装置13にて実行される処理の流れを示すフローチャートである。
図6に示すリモコン装置13にて実行される処理では、図4に示す処理であるステップS309からステップS311までのステップが、ステップS409からステップS411までの処理に置き換えられる。ここでは、図4に示す処理と異なるステップS409からステップS411までの処理のみを説明する。
操作情報決定部106は、ステップS307にて装置制御コマンド発行のためのイベント条件が全て満足していると判定した場合には(S307でYES)、ステップS409にて、操作情報ルールテーブルE(図11)の「操作バインド」を参照し、記述された内容(コマンド)の抽出を行うことで、ステップS307で判定された操作情報ルールを適用する。そして、ステップS410にて、操作実行部117は、操作情報決定部106が決定(適用)した操作情報ルールに基づき、自装置の入出力を伴う制御処理(入出力処理)を行う。
操作実行部117がステップS410の入出力処理を完了すると、その旨を操作情報決定部106に通知する。操作情報決定部106は、この通知を受けると、ステップS411にて、センサ履歴DB110のエントリをクリアする。その後、制御部116は、ステップS308にて距離センサ101(センサモジュール)をセンシング可能な状態に再設定した上で、距離測定部102に再度距離センシングを実行する。なお、ステップS410では、外部装置向けのコマンド制御は行われない。
〔操作情報ルールテーブルE〕
次に、操作情報決定部106が参照する、操作情報ルールDB109にて管理される操作情報ルールテーブルEの詳細について、図11を用いて説明する。図11は、操作情報ルールDB109にて管理される操作情報ルールテーブルEの詳細を示す図である。
図11に示す操作情報ルールテーブルEは、図8の操作情報ルールテーブルBの「操作バインド(列BC4)」を、各装置が自律的に制御可能なように、列EC4に示す「操作バインド」に変更した操作情報ルールセットを示すものである。
リモコン装置13(被制御装置23)の操作情報決定部106は、throwイベントが発火したとき、「操作バインド(列EC4)」における装置制御コマンドシーケンスでは、”Stop”にて画面動作(動画再生)を停止させ、“Msg5”にて定義されたメッセージを表示部103に表示すべく制御する。このとき、リモコン装置13は、他の装置に対しコマンド列を送信しない。
同様に、drawイベントが発火したときは、リモコン装置13(被制御装置23)の操作情報決定部106は、「操作バインド(列EC4)」の“Msg6”にて定義されるメッセージを表示部103に表示させた上で、コンテンツの再生処理を行う。なお、実際にthrowイベントおよびdraw操作が発火したときのリモコン装置13(被制御装置23)における制御シーケンスは後述する。
〔リモコン装置(被制御装置)における操作画面例〕
次に、制御システム3のリモコン装置13(被制御装置23)における画面遷移の様子について、図15を用いて説明する。図15は、制御システム3のリモコン装置13(被制御装置23)における画面遷移の様子の一例を示す図である。なお、図15の上段は、リモコン装置13としてのRC04の画面例であり、下段は、被制御装置23としてのTV04の画面例である。
画面1420は、リモコン装置13においてリモコン装置12用のUI操作画面(リモコンUI画面)を表示しているスナップショット画面であり、画面1422にボタン等のUI要素が表示されているものとする。ユーザは、リモコン装置13を被制御装置23に向けて引き込み操作(draw操作)を実行することで、リモコン装置13における表示部103の画面が画面1430に遷移する。
ここで、draw操作として定義されるものは、リモコン装置13および被制御装置23間の距離変位イベント列である。操作情報決定部106は、距離変位イベントシーケンスをルール判定した結果として、当該距離イベントがシステム挙動としてリモコン装置13(被制御装置23)の装置制御を行い、当該装置制御を各表示部の画面(UI画面)へと反映する。
画面1430では、リモコン装置13におけるdraw操作後の画面として、画面1434に「コンテンツ再生を開始しました」というメッセージを表示させ、画面1432にてコンテンツ再生画面を表示する。このとき、距離変位イベントシーケンスからUI操作へのマッピングルールについては、図11の操作情報ルールテーブルEが参照されるが、外部装置に対して作用しない点に注意すべきである。
RC04としてのリモコン装置13にてユーザがdraw操作を行うと、TV04としての被制御装置23では、自装置に対しあたかもthrow操作が行われたように操作情報ルールセットが規定されている。そのため、被制御装置23では、リモコン装置13にてdraw操作が行われると、throw操作がヒットし、リモコン装置13においてdraw操作されたタイミングにて画面1460の画面1464に「動作再生停止しました」というメッセージを表示させ、画面1462にて再生中だった動画再生を停止する。
引き続き被制御装置23にてdraw操作を行われると、画面1470ではdraw操作後の画面として、画面1470の画面1474に「動画再生を開始しました」というメッセージが表示され、画面1472にてコンテンツ再生画面を表示する。このとき、RC04としてのリモコン装置13では、自装置に対しあたかもthrow操作が行われたように操作情報ルールセットが規定されている。そのため、リモコン装置13では、throw操作がヒットし、被制御装置23においてdraw操作されたタイミングにて、画面1440の画面1444に「動作再生停止しました」というメッセージを表示し、画面1442にて再生中だった動画再生を停止する。
次に、操作画面における距離変位イベントシーケンスからUI操作へのマッピングルールの詳細について、図9、図11および図15を用いて説明する。
図15における画面1420から画面1430へは、リモコン装置13におけるdraw操作によって遷移する。この際、ユーザは、リモコン装置13を被制御装置23に向けて一度手前に引き、当該リモコン装置13を前方向に一旦動かし、再度被制御装置23より遠ざかるよう手前に引き込む操作をしたものとする。
このとき、センシング情報解釈部105は、上記各操作を、図9に示すセンサ履歴テーブルCの「距離イベントID:000000002」から「距離イベントID:000000004」までの3つの距離変位イベントとして解釈する。操作情報決定部106における各距離変位イベントのルール判定処理の過程において、図11に示す操作情報ルールテーブルEの「ルールID:5」から「ルールID:7」までの各操作情報ルール(これらの「ルールID」における「操作バインド」の内容が第2制御内容に該当。「ルールID:1〜3」についても同じ。)に順にヒットする。このため、操作情報決定部106は、最終的には「ルールID:7」のルール判定の後、「ルールID:8」の「イベント名:draw」を起動し、当該「ルールID:8(列EC8)」の「操作バインド」の内容(制御内容)を装置制御コマンドとして実行する。
このとき、同時に被制御装置23では、センシング情報解釈部105が、リモコン装置13が一度遠ざかり、接近した後、再度被制御装置23より遠ざかるような(すなわち投げられたような)操作をしたものと解釈する(そのときの距離変位イベントとしては図示しない)。被制御装置23の操作情報決定部106は、最終的には「ルールID:3」のヒット判定の後、「ルールID:4」の「イベント名:throw」を起動し、当該「ルールID:4(列EC4)」の「操作バインド」の内容(制御内容)を装置制御コマンドとして実行する。
以上のように、リモコン装置13(被制御装置23)は、距離測定部102が、ユーザ操作による、自装置と外部装置との間の、単位時間あたりの距離の変位量である距離変位量を測定し、操作情報決定部106が、当該距離変位量に応じて、外部装置の制御に対応した、自装置に対する制御を行うための制御内容を決定する。
これにより、ユーザは、リモコン装置13を被制御装置23に向けて予め規定された操作情報ルールに沿って前後に振るジェスチャ動作をする(例えば被制御装置23にて再生中のコンテンツをあたかもリモコン装置13へ引き込む動作を行う)ことにより、被制御装置23でのコンテンツ再生動作を停止させ、リモコン装置13にてコンテンツ再生を開始する、あるいはその逆を間接的な手法にて行うことができる。これにより、制御システム3では、装置間の連携操作を直感的な操作にて実現できる。
また、制御システム3では、装置間の距離変位量と、当該距離変位量に対応した操作情報ルールセットとを予め用意しておくことで、装置間の連携動作の仕組みを簡単な手法にて実現できる。また、図15に示すような処理例は、距離センシングの手段(距離センサ)さえあれば容易に実現できるため、制御システム3では、リモコン装置13(被制御装置23)が複数の通信メディアを搭載する必要がないなど、実装面でのメリットも高い。
さらに、制御システム3は、操作情報ルールとして排他的な操作シーケンス例を定義した一例を示しただけであり、制御操作の一例を示すに過ぎない。すなわち、制御システム3では、上記に限らず、同じ操作情報ルールで異なる処理を行うような操作情報ルールを操作情報ルールDB109に格納する形式であってもよい。
また、制御システム3では、装置間の連携動作を、距離変位量とその操作情報ルールセットとにより定義する際に、コマンド制御として通信を行うモデルも実現可能である。このとき、リモコン装置13(被制御装置23)において、距離変位量に応じて通信制御を連携させることで、通信帯域の使用効率を高めることができる。
〔補足〕
最後に、本実施形態に係るリモコン装置11、11、12(被制御装置23)の各ブロック、特に距離センサ101、距離測定部102、表示部103、入力部104、センシング情報解釈部105、操作情報決定部106、送信データ生成部107、送信部108、受信部112、受信データ解釈部113、音声出力部114および操作実行部117、並びに、本実施形態に係る被制御装置21、21の各ブロック、特に距離センサ201、送信部202、受信部203および制御部204は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、本実施形態に係るリモコン装置11、11、12および被制御装置21、21、22は、各機能を実現する制御プログラムの命令を実行するCPU(Central Processing Unit)、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるリモコン装置11、11、12および被制御装置21、21、22の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記リモコン装置11、11、12および被制御装置21、21、22に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、本実施形態に係るリモコン装置11、11、12および被制御装置21、21、22を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
〔本発明の別の表現〕
なお、本発明は、以下のようにも表現できる。
すなわち、本発明に係る制御システムは、被制御装置と当該被制御装置を制御するためのリモコン装置からなる制御システムであって、前記被制御装置と前記リモコン装置との間の距離を測定する距離測定手段と、前記被制御装置と前記リモコン装置間の距離の変位に応じて前記被制御装置に対する制御内容を決定するための制御内容決定手段とを備える。
また、本発明に係る制御システムは、前記リモコン装置は情報表示のための表示手段を備え、前記距離測定手段により測定された前記被制御装置と前記リモコン装置間の距離の変位に応じて前記被制御装置に対する制御内容を決定し前記出力手段にて情報を出力することが好ましい。
また、本発明に係る制御システムは、前記リモコン装置はユーザの操作指示を入力する入力手段を備え、前記距離測定手段により測定された前記被制御装置と前記リモコン装置間の距離の変位に応じて前記被制御装置に対する制御内容に関する情報を前記出力手段にて出力するとともに前記入力手段にてユーザからの操作指示を入力することが好ましい。
また、本発明に係る制御システムは、前記リモコン装置は前記制御内容決定手段の決定に応じて前記被制御装置への信号を送信するための制御信号送信手段を備えることが好ましい。
また、本発明に係る制御システムは、前記リモコン装置は前記被制御装置と前記リモコン装置間の距離の変位を測定する距離測定手段によって測定された情報を蓄積する距離測定情報格納手段と、装置への制御ルールを格納する操作情報ルール格納手段を備え、前記距離測定情報格納手段にて蓄積された距離測定情報と前記操作情報ルール格納手段に格納された制御ルールを照合することで前記制御内容決定手段が装置に対する制御内容を決定することが好ましい。
また、本発明に係る制御システムは、前記操作情報ルール格納手段は被制御装置への制御ルールを格納し、前記距離測定情報格納手段にて蓄積された距離測定情報と前記操作情報ルール格納手段に蓄積された制御ルールを照合することで前記制御内容決定手段が前記被制御装置に対する制御内容を決定することが好ましい。
また、本発明に係る制御システムは、前記距離測定手段は前記距離測定情報格納手段へ測定された距離変位量を蓄積し、前記制御内容決定手段は前記距離測定情報格納手段にて蓄積された距離測定情報を元に時系列イベント処理を行うことで前記被制御装置に対する制御内容を決定することが好ましい。
また、本発明に係る制御システムは、前記リモコン装置は音声を出力する音声出力手段を備え、前記距離測定手段による距離測定タイミングにて音声情報を前記音声手段にて出力することが好ましい。
また、本発明に係る制御システムは、前記リモコン装置は前記音声出力手段にて前記距離測定手段は前記距離測定情報格納手段へ測定された距離変位量を蓄積し、前記制御内容決定手段は前記距離測定情報格納手段にて蓄積された距離測定情報を元に時系列処理を行う際にイベント遷移のタイミングにて音声情報を前記音声手段にて出力することが好ましい。
また、本発明に係る制御システムは、前記操作情報ルール格納手段は制御ルールを外部導入することにより、前記制御内容決定手段が前記被制御装置に対し決定する制御内容を動的に変更することが好ましい。
また、本発明に係る制御システムは、前記被制御装置は前記リモコン装置と同じ構成をとる制御システムであって、前記被制御装置と前記リモコン装置はそれぞれ距離を測定する距離測定手段と、前記被制御装置と前記リモコン装置間の距離の変位に応じて前記被制御装置に対する制御内容を決定するための制御内容決定手段とを備え、各装置における制御内容決定手段は測定された距離情報に基づき、各装置における制御内容を各々独自に決定、制御する。
また、本発明に係る制御システムは、前記被制御装置は前記リモコン装置と同じ構成をとる制御システムであって、前記被制御装置と前記リモコン装置はそれぞれ距離を測定する距離測定手段と、前記被制御装置と前記リモコン装置間の距離の変位に応じて装置に対する制御内容を決定するための制御内容決定手段と、前記被制御装置と前記リモコン装置間の距離の変位を測定する距離測定手段によって測定された情報を蓄積する距離測定情報格納手段と、装置への制御ルールを格納する操作情報ルール格納手段を備え、前記距離測定情報格納手段にて蓄積された距離測定情報と前記操作情報ルール格納手段に格納された制御ルールを照合することで前記制御内容決定手段が装置に対する制御内容を決定することが好ましい。
また、本発明に係る制御システムは、前記被制御装置は前記リモコン装置と同じ構成をとる制御システムであって、前記被制御装置と前記リモコン装置はそれぞれ距離を測定する距離測定手段と、前記被制御装置と前記リモコン装置間の距離の変位に応じて前記被制御装置に対する制御内容を決定するための制御内容決定手段と、前記被制御装置と前記リモコン装置間の距離の変位を測定する距離測定手段によって測定された情報を蓄積する距離測定情報格納手段と、装置への制御ルールを格納する操作情報ルール格納手段を備え、前記距離測定情報格納手段にて蓄積された距離測定情報と前記操作情報ルール格納手段に蓄積された制御ルールを照合することで前記制御内容決定手段が前記被制御装置に対する制御内容を決定することが好ましい。
また、本発明に係る制御システムは、前記被制御装置は前記リモコン装置と同じ構成をとる制御システムであって、前記被制御装置と前記リモコン装置はそれぞれ距離を測定する距離測定手段と、前記被制御装置と前記リモコン装置間の距離の変位に応じて前記被制御装置に対する制御内容を決定するための制御内容決定手段と、前記被制御装置と前記リモコン装置間の距離の変位を測定する距離測定手段によって測定された情報を蓄積する距離測定情報格納手段と、前記被制御装置に対する制御ルールを蓄積する操作情報ルール格納手段を備え、前記操作情報ルール格納手段は制御ルールを外部導入することにより、前記制御内容決定手段が前記被制御装置に対し決定する制御内容を動的に変更することが好ましい。
また、本発明に係る制御システムの制御方法は、制御装置および制御対象となる装置を制御するためのリモコン装置からなるシステムの制御方法であって、前記制御対象装置との間の距離を測定する距離測定ステップと、前記装置との間の距離の変位に応じて制御対象装置に対する制御信号を決定するための制御決定ステップと、制御決定ステップでの決定に応じて前記制御対象装置への信号を送信するステップとを含む。
また、本発明に係る制御プログラムは、コンピュータを、上記に記載の制御システムの各手段として機能させるための制御プログラムである。
また、本発明に係る記録媒体は、上記に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明に係る制御装置としてのリモコン装置および被制御装置によれば、装置間での距離変位に応じて制御内容を決定、または、制御内容を自律的に変化させることにより、ユーザが簡易的な操作にて被制御装置(または自装置)を制御できるため、コンテンツの管理や出力等を行う装置に好適に適用することができる。例えば、パーソナルコンピュータ(PC)、モバイルPC、スマートフォン、携帯電話機、電子辞書、携帯型ゲーム機、テレビジョン受像機等にも好適に適用できる。
1、2、3 制御システム
10、11、12 リモコン装置(制御装置)
20、21 被制御装置
22 被制御装置(制御装置)
102 距離測定部(距離測定手段)
103 表示部(表示手段)
106 操作情報決定部(制御内容決定手段)
108 送信部(送信手段)
109 操作情報ルールDB(規定情報格納手段)
110 センサ履歴DB(変位量格納手段)
114 音声出力部(報知音出力手段)

Claims (19)

  1. 制御対象としての被制御装置を制御する制御装置であって、
    ユーザ操作による、自装置と上記被制御装置との間の距離変位量を測定する距離測定手段と、
    上記距離測定手段が測定した距離変位量に応じて、上記被制御装置に対する制御を行うための制御内容を決定する制御内容決定手段と、を備えることを特徴とする制御装置。
  2. 画面を表示する表示手段を備え、
    上記制御内容決定手段は、上記制御内容に基づく画面を上記表示手段に表示させることを特徴とする請求項1に記載の制御装置。
  3. 上記被制御装置は、複数のコンテンツを制御するものであって、
    上記制御内容決定手段は、上記被制御装置から受信した複数のコンテンツから1のコンテンツを選択するための選択画面を上記表示手段に表示させることを特徴とする請求項2に記載の制御装置。
  4. 上記制御内容決定手段が決定した制御内容を、上記被制御装置を制御するための制御信号を用いて送信する送信手段を備えることを特徴とする請求項1から3の何れか1項に記載の制御装置。
  5. 上記距離測定手段が測定した距離変位量を順次格納する変位量格納手段と、
    予め設定された、上記制御内容決定手段が上記制御内容を決定するための規定情報を格納する規定情報格納手段と、を備え、
    上記制御内容決定手段は、上記変位量格納手段に格納された距離変位量と、上記規定情報格納手段に格納された規定情報とを照合することにより、上記制御内容を決定することを特徴とする請求項1から4の何れか1項に記載の制御装置。
  6. 上記距離測定手段が測定した距離変位量を順次格納する変位量格納手段と、
    予め設定された、上記制御内容決定手段が上記制御内容を決定するための規定情報を格納する規定情報格納手段と、を備え、
    上記制御内容決定手段は、上記変位量格納手段に格納された距離変位量と、上記規定情報格納手段に格納された規定情報とを照合することにより、上記制御内容を決定するときの、自装置に対する制御を行うための第2制御内容を決定することを特徴とする請求項1から5の何れか1項に記載の制御装置。
  7. 上記制御内容決定手段は、上記変位量格納手段に順次格納される距離変位量の少なくとも1つを、上記制御内容を決定するためのイベントとして用いることを特徴とする請求項5に記載の制御装置。
  8. 上記制御内容決定手段は、上記変位量格納手段に順次格納される距離変位量の少なくとも1つを、上記第2制御内容を決定するためのイベントとして用いることを特徴とする請求項6に記載の制御装置。
  9. 外部に対して報知音を出力する報知音出力手段を備え、
    上記報知音出力手段は、上記制御内容決定手段が上記第2制御内容を決定したときに上記報知音を出力することを特徴とする請求項6または8に記載の制御装置。
  10. 上記制御内容決定手段は、上記変位量格納手段に順次格納される距離変位量の少なくとも1つを上記第2制御内容を決定するためのイベントとして用い、当該イベントが遷移するときに上記報知音出力手段に上記報知音を出力させることを特徴とする請求項9に記載の制御装置。
  11. 上記規定情報は、外部から導入されることを特徴とする請求項5から10の何れか1項に記載の制御装置。
  12. 制御対象としての被制御装置を制御する制御装置の制御方法であって、
    ユーザ操作による、自装置と上記被制御装置との間の距離変位量を測定する距離測定ステップと、
    上記距離測定ステップにて測定された距離変位量に応じて、上記被制御装置に対する制御を行うための制御内容を決定する制御内容決定ステップと、を含むことを特徴とする制御装置の制御方法。
  13. 請求項1から11の何れか1項に記載の制御装置と、
    上記制御装置により制御される、制御対象としての被制御装置と、を備えることを特徴とする制御システム。
  14. 外部装置との距離に応じて自装置の制御を行う制御装置であって、
    ユーザ操作による、自装置と上記外部装置との間の、単位時間あたりの距離の変位量である距離変位量を測定する距離測定手段と、
    上記距離測定手段が測定した距離変位量に応じて、上記外部装置の制御に対応した、自装置に対する制御を行うための制御内容を決定する制御内容決定手段と、を備えることを特徴とする制御装置。
  15. 上記距離測定手段が測定した距離変位量を順次格納する変位量格納手段と、
    予め設定された、上記制御内容決定手段が上記制御内容を決定するための規定情報を格納する規定情報格納手段と、を備え、
    上記制御内容決定手段は、上記変位量格納手段に格納された距離変位量と、上記規定情報格納手段に格納された規定情報とを照合することにより、上記制御内容を決定することを特徴とする請求項14に記載の制御装置。
  16. 上記規定情報は、外部から導入されることを特徴とする請求項15に記載の制御装置。
  17. 上記外部装置は、請求項14から16の何れか1項に記載の制御装置を含むものであり、
    上記制御装置と上記外部装置とを含むことを特徴とする制御システム。
  18. 請求項1から11、14から16の何れか1項に記載の制御装置の上記の各手段としてコンピュータを機能させるための制御装置の制御プログラム。
  19. 請求項18に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2009054240A 2009-03-06 2009-03-06 制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体 Pending JP2010212815A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009054240A JP2010212815A (ja) 2009-03-06 2009-03-06 制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009054240A JP2010212815A (ja) 2009-03-06 2009-03-06 制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JP2010212815A true JP2010212815A (ja) 2010-09-24

Family

ID=42972577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009054240A Pending JP2010212815A (ja) 2009-03-06 2009-03-06 制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP2010212815A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266799A (ja) * 2003-02-10 2004-09-24 Matsushita Electric Ind Co Ltd 双方向リモコン装置
JP2005033685A (ja) * 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> リモートコントロールシステムおよびリモートコントロール方法
JP2007104523A (ja) * 2005-10-07 2007-04-19 Sony Corp 遠隔操作システム,遠隔操作装置,情報処理装置,遠隔操作方法,情報処理方法,およびコンピュータプログラム
JP2008294711A (ja) * 2007-05-24 2008-12-04 Sharp Corp 携帯端末装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266799A (ja) * 2003-02-10 2004-09-24 Matsushita Electric Ind Co Ltd 双方向リモコン装置
JP2005033685A (ja) * 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> リモートコントロールシステムおよびリモートコントロール方法
JP2007104523A (ja) * 2005-10-07 2007-04-19 Sony Corp 遠隔操作システム,遠隔操作装置,情報処理装置,遠隔操作方法,情報処理方法,およびコンピュータプログラム
JP2008294711A (ja) * 2007-05-24 2008-12-04 Sharp Corp 携帯端末装置

Similar Documents

Publication Publication Date Title
US8154381B2 (en) System and method for interactive appliance control
KR101958902B1 (ko) 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
KR101287497B1 (ko) 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
TWI491224B (zh) 電視介面操作控制裝置、遙控裝置及方法
US11557200B2 (en) Apparatus, system and method for using a universal controlling device for displaying a graphical user element in a display device
US9760174B1 (en) Haptic feedback as accessibility mode in home automation systems
KR101472912B1 (ko) 통합 리모트 컨트롤러 장치, 통합 리모콘 제어 시스템, 및그 제어 방법
US10616636B2 (en) Setting integrated remote controller of display device
CN103137128A (zh) 用于设备控制的手势和语音识别
CN114327345A (zh) 显示设备及健康检测提醒方法
JP2011139312A (ja) 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
KR20130028555A (ko) 애플리케이션 기능 실행을 위한 사용자 정의 패턴 설정 장치 및 방법
KR101362221B1 (ko) 배치 인스트럭션 기반의 통합 리모트 제어 장치, 통합리모콘 제어 시스템, 및 그 제어 방법
KR101852482B1 (ko) 포스 입력 및 소프트웨어 업그레이드에 따라 다른 동작을 수행시키는 이미지 처리 단말 및 소프트웨어 업그레이드 방법
US20240045944A1 (en) Systems, methods, and media for obfuscated personal identification number entry on media devices
JP2010212815A (ja) 制御装置、制御方法、制御システム、制御プログラムおよびコンピュータ読み取り可能な記録媒体
WO2017096867A1 (zh) 红外遥控方法及其装置和移动终端
TWM449618U (zh) 用於互動遊戲的可設定手持式電子系統
WO2021218111A1 (zh) 确定搜索字符的方法及显示设备
KR20240076411A (ko) 통합 컨트롤러
TW201421283A (zh) 用於互動遊戲的可設定手持式電子系統的執行方法
KR20110001618A (ko) 장치-특화 및 애플리케이션-특화된 컴퓨팅 장치, 재생 장치 및 컴퓨팅 장치를 이용한 재생 장치의 제어 방법
CN117406883A (zh) 应用程序的启动及控制方法、装置、存储介质和服务器
JP2006314149A (ja) 遠隔操作制御システム、遠隔操作器、遠隔操作制御方法及び被制御機器
US20160364202A1 (en) Apparatus for outputting audio, driving method of apparatus for outputting audio, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120726

A131 Notification of reasons for refusal

Effective date: 20120731

Free format text: JAPANESE INTERMEDIATE CODE: A131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121127