JP2022152114A - 情報表示システム、情報表示方法、および情報表示プログラム - Google Patents

Abstract

【課題】操作装置への制約を抑制しながら、理解しやすい情報を提供することを目的とする。【解決手段】機器１の操作を行う操作装置２と、スマートデバイス１０と、状態画面に関連する画面説明情報３８と状態画面とが対応付けられた画面説明情報データベース４１、および、状態画面の特有部分８と状態画面とが対応付けられた特定情報データベース４２を記憶する記憶部３４と、操作装置２の表示部に表示された状態画面を撮像装置２１が撮影した画面画像３７を取得し、画面画像３７から特有部分８を抽出する画面抽出部２９と、特定情報データベース４２から、抽出された特有部分８に対応する状態画面を特定する画面特定部３０と、画面説明情報データベース４１から、特定された状態画面に関連する画面説明情報３８を抽出して状態画面と共にスマートデバイス１０の表示画面２２に表示させる画面説明情報制御部３２とを備える。【選択図】図４

Description

本発明は、機器の遠隔操作を行う操作装置における、情報表示システム、情報表示方法、および情報表示プログラムに関する。

操作装置（リモコン装置）は、機器（被制御機器）の遠隔操作を行う。特許文献１に開示されるように、表示部を備え、操作方法を容易に知らせるために、表示部に、操作装置の操作方法や機器の機能等の説明を体系的に整理して表示する操作装置がある。

また、特許文献２に開示されるように、機器（ナビゲーション装置）に表示された二次元バーコードを撮影することにより、機器の操作説明（操作ボタンの状態情報やヘルプセンタＵＲＬ）が表示されるスマートデバイス（携帯電話）もある。

特開２００９－２５３９４６号公報 特開２００６－１２５８７１号公報

しかしながら、操作装置に説明を表示させるためには、操作装置の表示部の大きさや性能がある程度以上必要となる。また、たとえ整理されていたとしても、体系的に表示される説明では、直感的に操作方法や表示内容の説明を理解することは容易ではない。

また、二次元バーコード等の識別情報を操作装置に表示させる場合、表示領域を確保する必要があり、操作装置の画面を自由かつ効率的に設計することの妨げとなる。

本発明は、操作装置への制約を抑制しながら、理解しやすい情報を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態に係る情報表示システムの特徴構成は、機器と、前記機器の状態に応じて変化する状態画面を表示する表示部を有し、前記機器の操作を行う操作装置と、撮像装置および表示画面を有するスマートデバイスと、前記状態画面に関連する画面説明情報と前記状態画面とが対応付けられた画面説明情報データベース、および、前記状態画面の特有部分と前記状態画面とが対応付けられた特定情報データベースを記憶する記憶部と、前記操作装置の前記表示部に表示された前記状態画面を前記撮像装置が撮影した画面画像を取得し、前記画面画像から前記特有部分を抽出する画面抽出部と、前記特定情報データベースから、抽出された前記特有部分に対応する前記状態画面を特定する画面特定部と、前記画面説明情報データベースから、特定された前記状態画面に関連する前記画面説明情報を抽出して前記状態画面と共に前記スマートデバイスの前記表示画面に表示させる画面説明情報制御部とを備える点にある。

さらに、本発明の一実施形態に係る情報表示方法の特徴構成は、機器の操作を行う操作装置に表示される前記機器の状態画面をスマートデバイスで画面画像として撮影する工程と、前記画面画像から特有部分を抽出する工程と、前記状態画面と前記状態画面の前記特有部分とが対応付けられた特定情報データベースから、抽出された前記特有部分に対応する前記状態画面を特定する工程と、前記状態画面と前記状態画面に関連する画面説明情報とが関連付けられた画面説明情報データベースから、特定された前記状態画面に関連する前記画面説明情報を抽出する工程と、抽出された前記画面説明情報を前記状態画面と共に前記スマートデバイスの表示画面に表示させる工程とを備える点にある。

さらに、本発明の一実施形態に係る情報表示プログラムの特徴構成は、機器の操作を行う操作装置に表示される前記機器の状態画面がスマートデバイスで撮影された画面画像を取得する機能と、前記画面画像から特有部分を抽出する機能と、前記状態画面と前記状態画面の前記特有部分とが対応付けられた特定情報データベースから、抽出された前記特有部分に対応する前記状態画面を特定する機能と、前記状態画面と前記状態画面に関連する画面説明情報とが関連付けられた画面説明情報データベースから、特定された前記状態画面に関連する前記画面説明情報を抽出する機能と、抽出された前記画面説明情報を前記状態画面と共に前記スマートデバイスの表示画面に表示させる機能とをコンピュータに実行させる点にある。

このような構成により、特定情報データベースにより、操作装置に表示されている状態画面（撮影された画面画像）を容易に特定できると共に、画面説明情報データベースにより、特定された状態画面に対応する画面説明情報を容易に抽出することができる。さらに、画面説明情報を操作装置に表示せずにスマートデバイスに表示することにより、操作装置の情報表示領域（表示部）が制約されることを抑制しながら、容易かつ分かりやすい態様で、画面説明情報を表示することができる。その結果、使用者は、状態画面の意味や操作方法を容易に理解し、適切に操作を行うことが可能となる。

また、前記状態画面は複数の状態表示画面のいずれかに変化し、いずれの前記状態表示画面においても固定された固定部分と、同じ前記状態表示画面においては固定された前記特有部分と、前記機器の状態に応じて変化する変化部分とを含んでも良い。

このような構成により、画面画像のうち、操作装置に表示された状態画面の特定に用いる部分が明確となる。

また、前記記憶部、前記画面抽出部、前記画面特定部、前記画面説明情報制御部のうちの少なくともいずれかは、前記スマートデバイスに搭載されても良い。

このような構成により、簡単に、システムを構築することができる。

また、前記操作装置および前記スマートデバイスと通信可能なサーバをさらに備え、前記記憶部、前記画面抽出部、前記画面特定部、前記画面説明情報制御部のうちの少なくともいずれかは、前記スマートデバイスおよび前記サーバのいずれかに搭載されても良い。

このような構成により、スマートデバイスや操作装置の構成を最適化することが容易となる。

また、前記画面説明情報は、前記状態画面の内容の説明、および前記操作装置の操作方法の説明の少なくともいずれかを含んでも良い。

このような構成により、使用者は、容易かつ的確に操作装置の操作を行うことが可能となる。

また、前記スマートデバイスは携帯端末であっても良い。

このような構成により、遠隔操作する構成を容易に構築することができる。

また、前記スマートデバイスは、分離可能な２つのデバイスを含み、一方の前記デバイスは前記撮像装置を有し、他方の前記デバイスは前記表示画面を有しても良い。

このような構成により、画面画像の撮影と、画面説明情報の表示とを、より自由度の高い構成で行うことができ、より分かりやすい構成で画面説明情報を表示させることができる。

機器と機器を操作するリモコンとの関係を例示する概念図である。 状態画面を例示する図である。 状態画面における固定部分・特有部分・変化部分を説明する図である。 情報表示システムの構成を例示する図である。 状態画面に関連する画面説明情報を表示する処理フローを示す図である。 画面説明情報を例示する図である。 画面説明情報を例示する図である。

〔リモコン〕
まず、機器１を操作するリモコン２について、図１を用いて説明する。

図１に示すように、給湯装置等の機器１は、有線または無線で接続されたリモコン（「操作装置」に相当）２により操作される。リモコン２は、操作対象である機器１に対応付けられ、対応する機器１に対する操作を行うことができる。リモコン２は、表示部３と各種スイッチ４とを備える。表示部３は、タッチパネルであり、前記機器１の状態に応じて変化する状態画面６（図２参照）が表示される。リモコン２の操作は、表示部３に表示される状態画面６を参照しながら、状態画面６上に表示されるボタンとスイッチ４とを操作することにより行われる。

リモコン２は、サーバ５と、インターネット等の通信回線を介して、有線または無線でのデータ通信が可能な状態で接続される。サーバ５は複数のリモコン２と通信可能であり、それぞれのリモコン２、およびそれぞれのリモコン２が接続される機器１の少なくともいずれかから情報を集め、かつ、それぞれのリモコン２および機器１の少なくともいずれかに情報を提供することができる。

次に、図１を参照しながら、図２，図３を用いてリモコン２の表示部３に表示される状態画面６について説明する。ここで、機器１として、給湯および暖房が可能な給湯システムを例に説明する。また、この給湯システムは、発電機により発電された電気を使用可能であると共に、電力会社に発電した電気を売電し、電力が不足する場合には電力会社から電気を買電することができるとする。なお、給湯システムは、電気を充放電可能な蓄電池を備えても良い。

図２に示すように、リモコン２の表示部３に表示される状態画面６は、複数種類の状態表示画面に変化する。例えば、状態画面６は、発電中であり買電中であることを示す状態表示画面６Ａ（図２（ａ））、発電中であり売電中であることを示す状態表示画面６Ｂ（図２（ｂ））、発電停止中であり買電中であることを示す状態表示画面６Ｃ（図２（ｃ））、故障中であることを示す状態表示画面６Ｄ（図２（ｄ））等に変化する。

発電中であり買電中であることを示す状態表示画面６Ａ（図２（ａ））は、発電された電気および買電した電気を使用中であることを示し、かつ、発電している電力および買電している電力を示す。

発電中であり売電中であることを示す状態表示画面６Ｂ（図２（ｂ））は、発電された電気を使用および売電中であることを示し、かつ、発電している電力および売電中の電力を示す。

発電停止中であり買電中であることを示す状態表示画面６Ｃ（図２（ｃ））は、発電停止中であり買電した電気を使用中であることを示し、かつ、買電している電力を示す。

故障中であることを示す状態表示画面６Ｄ（図２（ｄ））は、給湯システムの発電システムが故障中であり買電した電気を使用中であることを示し、かつ、買電した電力を示す。

このような状態表示画面６Ａ～６Ｄは、それぞれ、固定部分７、特有部分８、変化部分９を含んで構成される。固定部分７は、状態画面６において、全ての状態表示画面６Ａ～６Ｄで同一の表示がされる部分であり、状態画面６が変化しても変化しない部分である。特有部分８は、状態表示画面６Ａ～６Ｄのそれぞれにおいて異なり、同じ状態表示画面６Ａ～６Ｄ中（各状態表示画面６Ａ～６Ｄ）では変化しない固定された部分であり、例えば、アニメーション表示される部分である。変化部分９は、給湯システムの状態によって変化する部分であり、例えば電力が示される部分である。

具体的な状態表示画面の構成を、図３を用い、図２（ａ）に示す状態表示画面６Ａを例に説明する。固定部分７は、図２（ａ）に示す状態表示画面６Ａ（状態画面６）において、図３（ａ）に示す部分であり、他の状態表示画面６Ｂ～６Ｄにおいても同じある。例えば、図３（ａ）に示す固定部分７は、電気を使用する家等の施設をイメージした図柄１２、発電・蓄電システムをイメージした図柄１３、電力会社の電柱をイメージした図柄１４である。

特有部分８は、図２（ａ）に示す状態表示画面６Ａ（状態画面６）において、図３（ｂ）に示す部分であり、状態表示画面６Ａ～６Ｄ毎に異なるが、それぞれの状態表示画面６Ａ～６Ｄにおいては固定された部分である。例えば、図３（ｂ）に示す特有部分８は、「発電中」の文字１５、電気の供給方向を示す矢印１６、電力の単位１７である。

変化部分９は、図２（ａ）に示す状態表示画面６Ａ（状態画面６）において、図３（ｃ）に示す部分であり、給湯システムの状態によって変化する部分である。例えば、図３（ｃ）に示す変化部分９は、発電している電力、買電している電力、および家で使用している合計電力に相当する数値１１である。

ここで、上述のように、サーバ５は、機器１である給湯システムからリモコン２を介して情報を集める。情報には、状態画面６を表示するための表示情報３６（図４参照）として、給湯システムの状態を示す各種の情報が含まれる。

リモコン２は、サーバ５を介して、または機器１から直接的に表示情報３６を受け取り、まず、現在の機器１の運転状態が状態画面６として、状態表示画面６Ａ～６Ｄのいずれに相当するかを判断する。そして、リモコン２は、固定部分７を表示部３に表示すると共に、表示情報３６に応じて決定される状態表示画面６Ａ～６Ｄのいずれかに相当する特有部分８を表示部３に表示する。同時に、リモコン２は、表示情報３６から変化部分９の表示内容を抽出し、抽出した表示内容を表示部３に表示する。このように、リモコン２は、受け取った表示情報３６に対応した固定部分７、特有部分８、変化部分９を合成して表示部３に表示する。

〔情報表示〕
上述のように、リモコン２の表示部３に状態画面６が表示された状態で、給湯システムの使用者は、状態画面６を確認しながら、リモコン２を介して給湯システムの操作を行う。この際、使用者は状態画面６の意味や操作方法を理解している必要がある。そのため、状態画面６（状態表示画面６Ａ～６Ｄ）に表示された図柄１２～１４や文字１５、矢印１６、単位１７、数値１１等の意味や、ボタンの操作方法等を、使用者に、容易かつ分かりやすく説明することが求められる。しかしながら、リモコン２の表示部３の面積には限りがあり、また、各種の説明の表示はリモコン２の表示性能に制約され、リモコン２の表示部３に各種の説明を適切に表示させるためには、リモコン２の表示性能を高くする必要があり、適切に表示させることが困難な場合がある。

そこで、本実施形態においては、状態画面６の説明表示（情報表示）が、別途設けられた携帯端末（「スマートデバイス」に相当）１０の表示画面２２に行われる。

以下、図１～図３を参照しながら、図４～図７を用いて、携帯端末１０に状態画面６の説明を表示する情報表示システム・情報表示方法・情報表示プログラムについて説明する。

まず、本実施形態に係る情報表示システムは、図４に示すように、機器１、機器１の操作を行うリモコン２、携帯端末１０、およびサーバ５を含んで構成される。

機器１は種々の機能を有する各種機器であるが、以下の例では給湯システムとして説明する。リモコン２は、上述のように、機器１に有線または無線で接続され、通常は機器１と１対１で対応付けられ、対応する機器１に対する操作を行う。リモコン２は、表示部３と各種スイッチ４とを備える。表示部３は、例えばタッチパネルであり、状態画面６を表示することができ、状態画面６は、各種の操作を行うボタンを含んで表示される。

携帯端末１０は、種々のスマートデバイスを用いることができるが、例えば、携帯電話やスマートフォン等の、インターネット等の通信回線に、無線または有線で接続可能な端末である。携帯端末１０は、種々の表示を行うことができる表示画面２２と撮像装置２１とを備える。本実施形態において、携帯端末１０は、撮像装置２１で、リモコン２の表示部３に表示される状態画面６を画面画像３７として撮影する。

サーバ５は、複数の機器１と、直接またはリモコン２を介して、インターネット等の通信回線を通じてデータ通信可能な状態で接続される。以下の説明では、リモコン２を介して、機器１またはリモコン２の各種情報を取得するとして説明する。サーバ５は、リモコン２を介して、機器１の動作状態を示す情報や、リモコン２に表示される状態画面６に関する情報を取得し、各種の情報を、リモコン２または機器１に送信することができる。また、サーバ５は、携帯端末１０にインターネット等の通信回線を通じてデータ通信可能な状態で接続される。サーバ５は、携帯端末１０に対して種々の情報を送信でき、携帯端末１０から種々の情報を取得することができる。例えば、サーバ５は、携帯端末１０が撮影した画面画像３７を取得し、リモコン２から状態画面６に関連する表示情報３６を取得する。

サーバ５は、制御部２５、通信部２６、画面抽出部２９、画面特定部３０、画面説明情報制御部３２、記憶部３４を備える。

制御部２５は、ＣＰＵ等のプロセッサを備え、通信部２６、画面抽出部２９、画面特定部３０、画面説明情報制御部３２、および記憶部３４を制御し、サーバ５の動作を制御する。通信部２６は、リモコン２および携帯端末１０とのデータ通信を制御し、リモコン２および携帯端末１０から情報を受信し、リモコン２および携帯端末１０に情報を送信する。記憶部３４は各種の情報を記憶する。

画面抽出部２９は、通信部２６を介して受信した、携帯端末１０が撮影した画面画像３７から、リモコン２に表示される状態画面６（状態表示画面６Ａ～６Ｄ）の、固定部分７、特有部分８、および変化部分９のうち、特有部分８、または、固定部分７および特有部分８を抽出する。

画面特定部３０は、後述する特定情報データベース４２から、画面抽出部２９で抽出した少なくとも特有部分８を用いて、携帯端末１０により撮影されたリモコン２の状態画面６（状態表示画面６Ａ～６Ｄ）を特定する。

画面説明情報制御部３２は、後述の画面説明情報データベース４１から、画面特定部３０で特定された状態画面６（状態表示画面６Ａ～６Ｄ）に関連する画面説明情報３８を抽出する。画面説明情報制御部３２は、画面特定部３０で特定された状態画面６（状態表示画面６Ａ～６Ｄ）に、抽出した画面説明情報３８を合成し、携帯端末１０の表示画面２２に合成した画像を通信部２６を介して送信して、表示画面２２に合成した画像を表示させる。

ここで、画面説明情報３８は、状態画面６に表示された、図柄１２～１４や文字１５、矢印１６、単位１７、数値１１等の意味や、ボタンの操作方法等を説明する情報であり、表示可能な状態画面６のそれぞれと関連付けられて、画面説明情報データベース４１に記述され、記憶部３４に格納されている。

このような画面説明情報３８が、リモコン２に表示されている状態画面６に合成されて携帯端末１０に表示されることにより、使用者は、携帯端末１０に表示された画面説明情報３８を確認しながら、リモコン２の操作を行うことができる。これにより、リモコン２への制約を抑制しながら、理解しやすい情報を携帯端末１０に表示する態様で提供することができる。

次に、情報表示システムの処理フローを、図５を用いて説明する。なお、本実施形態に係る情報の表示は、図４に示す情報表示システムにより実施されても良いが、図５に示す処理フローを行う情報表示方法および情報表示プログラムにより実施されても良い。このような情報表示方法および情報表示プログラムは、図４に示す情報表示システムを用いて実施されても良いが、任意の構成により実施することができる。また、情報表示プログラムは記憶部３４に格納され、サーバ５の制御部２５または携帯端末１０が備えるプロセッサにより実行される。

まず、リモコン２は、対応する機器１から、継続的に、機器１の状態に応じて変化する表示情報３６を取得し、取得した表示情報３６に応じた状態画面６を、表示部３に随時表示する。リモコン２は、この状態画面６を表示した状態で機器１の操作を受け付ける（図５のステップ＃１）。

具体的には、表示情報３６は、発電中であるか、発電停止中であるか、機器１が故障しているかの情報や、買電中であるか売電中であるかの情報、買電している電力、売電している電力、発電している電力等を含む情報である。そして、リモコン２は、表示情報３６に応じて、状態画面６として、状態表示画面６Ａ～６Ｄのいずれを表示させるか、変化部分９としてどのような表示をするかを決定する。

また、表示情報３６は、通信部２６を介してサーバ５にも送信され、記憶部３４に格納される。この際、表示情報３６と共に表示されている状態画面６もサーバ５に送信される。サーバ５は、状態画面６から、状態画面６における特有部分８を抽出し、特有部分８、または、特有部分８および固定部分７と、状態画面６とが対応付けられた特定情報データベース４２を生成して記憶部３４に格納される。なお、特定情報データベース４２は、あらかじめ、特有部分８および固定部分７と状態画面６との組み合わせが対応付けられて生成され、記憶部３４に格納されていても良い。

また、サーバ５の記憶部３４には、画面説明情報データベース４１があらかじめ格納される。画面説明情報データベース４１は、リモコン２に表示されていることが想定される複数の状態画面６のそれぞれに関連する画面説明情報３８が、状態画面６と対応付けられたデータベースである。画面説明情報３８は、上述のように、状態画面６において、状態画面６に表示された、図柄１２～１４や文字１５、矢印１６、単位１７、数値１１等の意味や、ボタンの操作方法等を、使用者に、容易かつ分かりやすく説明する情報である。

次に、使用者は、状態画面６の説明を表示させたい場合、携帯端末１０の撮像装置２１で、リモコン２に表示されている状態画面６を画面画像３７として撮影する（図５のステップ＃２）。撮影された画面画像３７は、通信部２６を介してサーバ５に送信され、記憶部３４に格納される。

サーバ５の制御部２５は、携帯端末１０から画面画像３７を受け取ると、画面抽出部２９を制御して、画面画像３７から、表示情報３６を参照して、固定部分７を抽出し（図５のステップ＃３）、画面画像３７から固定部分７を除いた画像から特有部分８を抽出する（図５のステップ＃４）。なお、特有部分８は、変化部分９を含んでも良いが、変化部分９を含まなくても良い。

次に、画面特定部３０は、特定情報データベース４２および画面抽出部２９が抽出した特有部分８により、画面画像３７に対応する状態画面６、つまりリモコン２に表示されている状態画面６を特定する（図５のステップ＃５）。

具体的には、画面特定部３０は、画面抽出部２９が抽出した特有部分８と、特定情報データベース４２に対応付けられた特有部分８とを比較し、一致しする特有部分８が特定情報データベース４２にある場合は、一致した特有部分８に対応付けられた状態画面６を、画面画像３７に対応する状態画面６、つまりリモコン２に表示されている状態画面６として特定する。言い換えると、画面特定部３０は、画面画像３７のうち、状態画面６において変化しない固定部分７と、機器１の動作状態において不規則に変化する変化部分９とを除いた、状態表示画面６Ａ～６Ｄに固有の特有部分８を比較対象として、特定情報データベース４２からいずれの状態画面６（状態表示画面６Ａ～６Ｄ）であるかを特定する。

画面特定部３０における比較で一致する特有部分８が発見されなかった場合、その旨が通知され、使用者は再度、携帯端末１０の撮像装置２１で、リモコン２に表示されている状態画面６を画面画像３７として撮影する（図５のステップ＃６）。ここで、このような通知は任意の方法で行うことができるが、例えば、携帯端末１０の表示画面２２にその旨が表示されたり、携帯端末１０からその旨を通知する音声が流れたりすることにより通知が行われる。

画面特定部３０における比較で一致する特有部分８が発見された場合、画面説明情報制御部３２は、特定された状態画面６に対応する画面説明情報３８を、画面説明情報データベース４１から抽出する。

具体的には、画面説明情報制御部３２は、特定された状態画面６と、画面説明情報データベース４１に対応付けられた状態画面６とを比較し、画面説明情報データベース４１において、一致する状態画面６に対応付けられた画面説明情報３８を、特定された状態画面６、つまりリモコン２に表示されている状態画面６に関連する画面説明情報３８として抽出する。

そして、画面説明情報制御部３２は、抽出された画面説明情報３８を状態画面６と合成し、携帯端末１０の表示画面２２に表示させる。具体的には、画面説明情報制御部３２は、合成した合成画像を、通信部２６を介して携帯端末１０に送信し、携帯端末１０は、受信した合成画像を表示画面２２に表示する（図５のステップ＃７）。

図６，図７に、画面説明情報３８と状態画面６とを合成した合成画像を例示する。図６（ａ）は、状態表示画面６Ａ（図２（ａ））がリモコン２に表示されている際の合成画像、図６（ｂ）は、状態表示画面６Ｂ（図２（ｂ））がリモコン２に表示されている際の合成画像、図７（ｃ）は、状態表示画面６Ｃ（図２（ｃ））がリモコン２に表示されている際の合成画像、図７（ｄ）は、状態表示画面６Ｄ（図２（ｄ））がリモコン２に表示されている際の合成画像である。このように、合成画像には、状態画面６に表示された各種情報についての説明や、その状態に対するガイダンス等が表示される。

このように、携帯端末１０に、リモコン２に表示されている状態画面６と、その状態画面６に関連する説明である画面説明情報３８が表示されることにより、使用者は、容易に、状態画面６に表示された図柄１２～１４や文字１５、矢印１６、単位１７、数値１１等の意味（「状態画面６の内容の説明」に相当）や、ボタンの操作方法（「操作装置（リモコン２）の操作方法」に相当）等を理解することができる。

また、携帯端末１０でリモコン２に表示されている状態画面６が撮影され、画面画像３７の特有部分８から表示されている状態画面６が特定され、状態画面６に関連した画面説明情報３８が抽出されて、状態画面６と共に携帯端末１０に表示されることにより、容易に、リモコン２に表示されている状態画面６に関連する画面説明情報３８を携帯端末１０に表示することができる。

〔別実施形態〕
（１）上記情報表示システムにおいて、各機能ブロックは、図４に示す機能ブロックに示す構成に限らず、任意の機能ブロックが統合されても良く、各機能ブロックのいずれかが、さらに複数の機能ブロックに分割される構成であっても良い。

（２）上記各実施形態において、状態画面６を撮影し、画面説明情報３８が表示されるスマートデバイスは、携帯端末１０に限らず、種々のスマートデバイスを用いることができる。また、スマートデバイスは少なくとも２つのデバイスを含んで構成され、それぞれのデバイスは分離可能に構成され、一方のデバイスに表示画面２２が設けられ、他方のデバイスに撮像装置２１が設けられても良い。これにより、撮像装置２１で画面画像３７が撮影され、別のデバイスの表示画面２２に画面説明情報３８が表示されることにより、画面説明情報３８をより確認しやすい状態で表示させることができる。

（３）上記各実施形態において、画面抽出部２９、画面特定部３０、画面説明情報制御部３２、および記憶部３４は、サーバ５に設けられる構成に限らず、そのうちの一部または全部が、携帯端末１０またはリモコン２に設けられても良く、サーバ５、携帯端末１０、およびリモコン２に振り分けて設けられても良い。また、サーバ５を設けず、携帯端末１０およびリモコン２に画面抽出部２９、画面特定部３０、画面説明情報制御部３２、および記憶部３４が振り分けて設けられても良い。

（４）上記各実施形態において、状態画面６と画面説明情報３８とが合成された画像は、携帯端末１０に限らず、別途設けられる表示装置に表示されても良い。また、画面説明情報３８は、状態画面６に合成されて表示される構成に限らず、状態画面６に対応する情報が明確となる状態で、画面説明情報３８のみが表示されても良い。また、表示画面２２に表示される画面説明情報３８は、状態画面６と合成されて表示される構成に限らず、状態画面６等の説明が分かる態様であれば、任意に表示されても良い。例えば、画面説明情報３８と状態画面６とが、上下または左右に並べて表示されても良い。また、画面説明情報３８は、携帯端末１０が撮影した画面画像３７と合成されて表示されても良い。このような構成により、画面説明情報３８の表示態様の自由度が向上し、状況に応じて、より確認しやすい状態で画面説明情報３８を表示させることができる。

なお、上記の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

本発明の情報表示システム、情報表示方法、および情報表示プログラムは、各種の機器を操作するリモコン等の操作装置に表示される画面の情報表示に用いることができる。

１ 機器
２ リモコン（操作装置）
３ 表示部
６ 状態画面
７ 固定部分
８ 特有部分
９ 変化部分
１０ 携帯端末（スマートデバイス）
２１ 撮像装置
２２ 表示画面
２９ 画面抽出部
３０ 画面特定部
３２ 画面説明情報制御部
３４ 記憶部
３６ 表示情報
３７ 画面画像
３８ 画面説明情報
４１ 画面説明情報データベース
４２ 特定情報データベース

Claims (8)

1. 機器と、
   前記機器の状態に応じて変化する状態画面を表示する表示部を有し、前記機器の操作を行う操作装置と、
   撮像装置および表示画面を有するスマートデバイスと、
   前記状態画面に関連する画面説明情報と前記状態画面とが対応付けられた画面説明情報データベース、および、前記状態画面の特有部分と前記状態画面とが対応付けられた特定情報データベースを記憶する記憶部と、
   前記操作装置の前記表示部に表示された前記状態画面を前記撮像装置が撮影した画面画像を取得し、前記画面画像から前記特有部分を抽出する画面抽出部と、
   前記特定情報データベースから、抽出された前記特有部分に対応する前記状態画面を特定する画面特定部と、
   前記画面説明情報データベースから、特定された前記状態画面に関連する前記画面説明情報を抽出して前記状態画面に合成して前記スマートデバイスの前記表示画面に表示させる画面説明情報制御部とを備える情報表示システム。
2. 前記状態画面は複数の状態表示画面のいずれかに変化し、いずれの前記状態表示画面においても固定された固定部分と、同じ前記状態表示画面においては固定された前記特有部分と、前記機器の状態に応じて変化する変化部分とを含む請求項１に記載の情報表示システム。
3. 前記記憶部、前記画面抽出部、前記画面特定部、前記画面説明情報制御部のうちの少なくともいずれかは、前記スマートデバイスに搭載される請求項１または２に記載の情報表示システム。
4. 前記操作装置および前記スマートデバイスと通信可能なサーバをさらに備え、
   前記記憶部、前記画面抽出部、前記画面特定部、前記画面説明情報制御部のうちの少なくともいずれかは、前記スマートデバイスおよび前記サーバのいずれかに搭載される請求項１または２に記載の情報表示システム。
5. 前記画面説明情報は、前記状態画面の内容の説明、および前記操作装置の操作方法の説明の少なくともいずれかを含む請求項１から４のいずれか一項に記載の情報表示システム。
6. 前記スマートデバイスは携帯端末である請求項１から５のいずれか一項に記載の情報表示システム。
7. 機器の操作を行う操作装置に表示される前記機器の状態画面をスマートデバイスで画面画像として撮影する工程と、
   前記画面画像から特有部分を抽出する工程と、
   前記状態画面と前記状態画面の前記特有部分とが対応付けられた特定情報データベースから、抽出された前記特有部分に対応する前記状態画面を特定する工程と、
   前記状態画面と前記状態画面に関連する画面説明情報とが関連付けられた画面説明情報データベースから、特定された前記状態画面に関連する前記画面説明情報を抽出する工程と、
   抽出された前記画面説明情報を前記状態画面に合成して前記スマートデバイスの表示画面に表示させる工程とを備える情報表示方法。
8. 機器の操作を行う操作装置に表示される前記機器の状態画面がスマートデバイスで撮影された画面画像を取得する機能と、
   前記画面画像から特有部分を抽出する機能と、
   前記状態画面と前記状態画面の前記特有部分とが対応付けられた特定情報データベースから、抽出された前記特有部分に対応する前記状態画面を特定する機能と、
   前記状態画面と前記状態画面に関連する画面説明情報とが関連付けられた画面説明情報データベースから、特定された前記状態画面に関連する前記画面説明情報を抽出する機能と、
   抽出された前記画面説明情報を前記状態画面に合成して前記スマートデバイスの表示画面に表示させる機能とをコンピュータに実行させる情報表示プログラム。

Images