JP6065640B2 - コンピュータプログラムおよび制御装置 - Google Patents

Description

本発明は、撮像画像を利用する技術に関し、特に、撮像画像を用いて製品に関する情報を利用者に提供する技術に関する。

製品に備えられた表示ランプの状態を、撮影した撮像画像を用いて検出する技術が知られている。例えば、特許文献１に開示された技術では、対象製品としてのサーバコンピュータのラックに取り付けられた監視装置は、監視カメラによって、サーバコンピュータに搭載された、異常を報知するための報知ＬＥＤの点灯状態を検出する。監視装置は、検出された点灯状態に応じた警告内容を示す情報を、管理コンピュータに送信する。

特開２００５−２４２９１５号公報

しかしながら、上記技術では、警告内容を管理コンピュータに送信するため、表示ランプの表示状態に関する具体的な情報を撮像端末にてユーザに認識させることができなかった。

本発明の目的は、製品に備えられた表示ランプの表示状態が示す製品の状態に関する情報を、撮像端末にてユーザに認識させることである。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］撮像部を含む撮像端末のためのコンピュータプログラムであって、前記撮像部による撮像の対象である対象製品上の特定領域を前記撮像部を用いて撮像することによって生成される撮像画像データを取得する画像データ取得機能であって、前記特定領域は、前記対象製品の状態を示す１個以上の表示ランプを含む、前記画像データ取得機能と、前記撮像画像データを解析することによって、前記撮像画像データによって表される撮像画像内の前記表示ランプの表示状態を特定する特定機能と、特定された前記表示ランプの表示状態に応じて、関係情報を識別するための識別情報を取得する識別情報取得機能であって、前記関係情報は、特定された前記表示ランプの表示状態に対応する前記対象製品の状態に関する情報である、前記識別情報取得機能と、取得された前記識別情報に基づいて前記関係情報を取得する関係情報取得機能と、取得された前記関係情報を前記撮像端末にて出力する出力制御機能と、を前記撮像端末に搭載されたコンピュータに実現させる、コンピュータプログラム。

上記構成によれば、表示ランプを含む特定領域を撮像することによって生成された撮像画像データを解析することによって、撮像画像内の表示ランプの表示状態に応じた関係情報を撮像端末にて出力することができる。この結果、撮像端末にて、製品の状態に関する関係情報を利用者に認識させることができる。

［適用例２］適用例１に記載のコンピュータプログラムであって、前記関係情報取得機能は、ネットワークを介して接続されるサーバから、前記関係情報を取得し、前記サーバ内の記憶部は、第１の格納領域と、第２の格納領域と、を含み、前記関係情報取得機能は、
第１の識別情報に基づいて識別される前記第１の格納領域から、第１の関係情報を取得し、第２の識別情報に基づいて識別される前記第２の格納領域から、第２の関係情報を取得する、コンピュータプログラム。

この構成によれば、ネットワークを介して接続されるサーバから、関係情報を取得するので、撮像端末側に関係情報を保持する必要がない。この結果、撮像端末のリソースを節約できる。

［適用例３］適用例２に記載のコンピュータプログラムであって、前記識別情報取得機能は、前記撮像端末内の記憶部から、前記識別情報を取得するコンピュータプログラム。

この構成によれば、識別情報を撮像端末内の記憶部から取得するので、識別情報をサーバから取得する場合と比較して、サーバとの通信量を低減することができる。

［適用例４］適用例２に記載のコンピュータプログラムであって、前記識別情報取得機能は、特定された前記表示ランプの表示状態に対応する状態情報を前記サーバに送信する送信機能を備え、前記識別情報取得機能は、前記サーバから、前記状態情報に対応する前記識別情報を取得する、コンピュータプログラム。

この構成によれば、サーバから識別情報を取得するので、サーバ側で識別情報が更新された場合でも、適切な識別情報を取得することができる。

［適用例５］適用例１ないし適用例４のいずれかに記載のコンピュータプログラムであって、さらに、前記対象製品の種類を識別するための製品情報を取得する製品情報取得機能を前記撮像端末に搭載されたコンピュータに実現させ、前記識別情報取得機能は、特定された前記表示ランプの表示状態と、前記製品情報と、に応じて、前記関係情報を識別するための前記識別情報を取得する、コンピュータプログラム。

この構成によれば、対象製品の種類と、対象製品の状態とに、応じて、適切な関係情報を利用者に提供することができる。

［適用例６］適用例１ないし適用例５のいずれかに記載のコンピュータプログラムであって、さらに、前記撮像画像データを解析することによって特定された前記表示ランプの少なくとも一部の表示状態の修正を利用者から受け付ける受付機能を前記撮像端末に搭載されたコンピュータに実現させ、前記特定機能は、前記表示状態の修正が利用者から受け付けられた場合には、利用者による修正結果に従って、前記表示ランプの表示状態を特定する、コンピュータプログラム。

この構成によれば、撮像画像データの解析結果に加えて、利用者から受け付けられた表示状態の修正結果にに従って、精度良く表示ランプの表示状態を特定できる。

［適用例７］適用例１ないし適用例６のいずれかに記載のコンピュータプログラムであって、前記画像データ取得機能は、第１の撮像画像データと、前記第１の撮像画像データが撮像されてから所定時間後に撮像される第２の撮像画像データと、を含む複数個の前記撮像画像データを取得し、前記特定機能は、複数個の前記撮像画像データを解析することによって、点滅状態を含む前記表示ランプの表示状態を特定する、コンピュータプログラム。

この構成によれば、第１の撮像画像データと第２の撮像画像データを含む複数個の撮像画像データを解析することによって、点滅状態を含む表示ランプの表示状態を特定することができる。この結果、点滅状態を含む表示ランプの表示状態を適切に特定することができる。

［適用例８］適用例７に記載のコンピュータプログラムであって、前記対象製品が、第１種の製品である場合には、前記画像データ取得機能は、前記第１の撮像画像データが撮像されてから第１の所定時間後に撮像される前記第２の撮像画像データを取得し、前記対象製品が、第２種の製品である場合には、前記画像データ取得機能は、前記第１の撮像画像データが撮像されてから第２の所定時間後に撮像される前記第２の撮像画像データを取得する、コンピュータプログラム。

この構成によれば、対象製品の種類ごとに異なる所定時間に従って撮像される第２の撮像画像データを取得するので、対象製品の種類に応じて、精度良く表示ランプの表示状態を特定することができる。

［適用例９］適用例７または適用例８に記載のコンピュータプログラムであって、前記対象製品が、第１種の製品である場合には、前記画像データ取得機能は、Ｎ個（Ｎは、１以上の整数）の前記撮像画像データを取得し、前記特定機能は、Ｎ個の前記撮像画像データを解析することによって、前記撮像画像内の前記表示ランプの表示状態を特定し、前記対象製品が、第２種の製品である場合には、前記画像データ取得機能は、Ｍ個（Ｍは、Ｎ＜Ｍの整数）の前記撮像画像データを取得し、前記特定機能は、Ｍ個の前記撮像画像データを解析することによって、前記撮像画像内の前記表示ランプの表示状態を特定する、コンピュータプログラム。

この構成によれば、対象製品の種類によって適切な数の撮像画像データを解析して、表示ランプの表示状態を特定するので、対象製品の種類に応じて、精度良く表示ランプの表示状態を特定することができる。

［適用例１０］適用例１ないし適用例９のいずれかに記載のコンピュータプログラムであって、さらに、前記対象製品の種類ごとに異なる前記表示ランプに関連する特徴を示す特徴情報を取得する特徴情報取得機能を前記撮像端末に搭載されたコンピュータに実現させ、前記特定機能は、前記特徴情報を用いて、前記撮像画像データを解析することによって、前記撮像画像内の前記表示ランプの表示状態を特定する、コンピュータプログラム。

この構成によれば、表示ランプに関連する特徴に応じて、表示ランプの表示状態を精度良く特定することができる。

［適用例１１］適用例１０に記載のコンピュータプログラムであって、前記特徴情報は、前記表示ランプを含む前記特定領域内の特徴点の位置を示す位置情報を含み、前記特定機能は、前記位置情報を用いて、前記撮像画像内の前記表示ランプの位置を補正する処理を含む解析処理を実行する、コンピュータプログラム。

この構成によれば、特定領域内の特徴点の位置に基づいて、撮像画像内の前記表示ランプの位置を補正するので、表示ランプの表示状態を精度良く特定することができる。

［適用例１２］適用例１ないし適用例１１のいずれかに記載のコンピュータプログラムであって、前記識別情報取得機能は、前記撮像画像内の前記表示ランプの表示状態が、前記対象製品が第１の状態であることを示す場合に、第１の関係情報を識別するための前記識別情報を取得し、前記撮像画像内の前記表示ランプの表示状態が、前記対象製品が第２の状態であることを示す場合に、第２の関係情報を識別するための前記識別情報を取得する、コンピュータプログラム。

この構成によれば、対象製品が第１の状態である場合と、第２の状態である場合に、それぞれ、異なる関係情報を識別するための識別情報が取得される。この結果、第１の状態と第２の状態に関する関係情報を利用者に適切に提供することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、撮像部を備える撮像端末の制御方法、これらの端末の機能または方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

第１実施例における情報提供システムの構成を示すブロック図である。 プリンタ２００の外観斜視図である。 プリンタ２００の特定領域１００の拡大図である。 ＵＲＬテーブルＤＴ１の一例を示す図である。 ランプ情報テーブルの一例を示す図である。 撮像情報テーブルＤＴＣの一例を示す図である。 特徴点情報テーブルＤＴＤの一例を示す図である。 情報提供処理のフローチャートである。 情報提供部３００によって表示されるＵＩ画像の一例を示す図である。 自動認識処理のフローチャートである。 撮像画像補正処理のフローチャートである。 撮像画像補正処理の第１の説明図である。 撮像画像補正処理の第２の説明図である。 表示状態特定処理のフローチャートである。 サポート情報の表示画像ＡＩ５の一例である。 変形例における表示ランプの表示状態と撮像条件について説明する図である。

Ａ．第１実施例
Ａ−１．システムの構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、第１実施例における情報提供システムの構成を示すブロック図である。このシステムは、プリンタ２００と、インターネット７０に接続されたサーバ６０と、携帯端末４００と、を備えている。

プリンタ２００は、ＣＰＵ２１０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置２２０と、ＲＡＭなどの揮発性記憶装置２３０と、レーザー方式のプリントエンジンである印刷実行部２４０と、後述する１個の操作ボタン３０（図３）を含む操作部２６０と、後述する複数個の表示ランプ１１〜１５を含む表示部２７０と、パーソナルコンピュータ（図示省略）などの外部装置とデータ通信を行うためのインタフェースを含む通信部２８０と、を備えている。なお、本実施例の操作部２６０は、多数のボタンや、タッチパネルを備えていない。また、表示部２７０は、液晶ディスプレイなどの表示パネルを備えていない。各種の設定などの複雑な操作は、図示しないパーソナルコンピュータなどにインストールされたプリンタドライバを介して、実行される。

揮発性記憶装置２３０には、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２３１が設けられている。不揮発性記憶装置２２０は、プリンタ２００を制御するためのコンピュータプログラム２２１を格納している。

コンピュータプログラム２２１は、例えば、プリンタ２００の出荷時に予め不揮発性記憶装置２２０に格納されている。また、コンピュータプログラム２２１は、ＣＤ−ＲＯＭなどに記録された形態や、サーバからダウンロードされる形態で提供され得る。

ＣＰＵ２１０は、コンピュータプログラム２２１を実行することにより、プリンタ２００の全体を制御する。具体的には、ＣＰＵ２１０は、装置制御部１１０と、ＵＩ制御部１２０として機能する。装置制御部１１０は、印刷実行部２４０を制御して、印刷処理などのプリンタ２００の主たる機能を実現する。ＵＩ制御部１２０は、操作部２６０や表示部４７０などを用いたユーザインタフェースに関する制御、すなわち、操作部２６０を介した利用者からの操作の受け付けや、表示部２７０を介した利用者に対するプリンタ２００に関連する情報の提供などを実行する。

図２は、プリンタ２００の外観斜視図である。図３は、プリンタ２００の特定領域１００の拡大図である。図２に示すように、プリンタ２００は、略直方体の筐体１０を備えている。筐体１０の底部には、用紙を収納する用紙トレイ１８が、前方の側面から引き出し状に開閉可能に装着されている。また、筐体１０の後方の側面には、開閉可能なカバー１９が装着されている。カバー１９は、例えば、用紙詰まりを解消する際や、トナーなどを交換する際に、開閉される。筐体１０の上面１０Ａには、印刷原稿が排出される開口１６が形成されるとともに、開口１６から排出された印刷原稿が収容される排出トレイとして機能する上面部材１７が組み付けられている。

さらに、筐体１０の上面１０Ａにおける角付近の特定領域１００には、図３に示すように、複数個の表示ランプ１１〜１５と、１個の操作ボタン３０と、が配置されている。複数個の表示ランプは、図３のＹ方向に沿ったランプ配置ラインＬＬに沿って、略等間隔に配置されている。複数個の表示ランプ１１〜１５は、例えば、ＬＥＤで構成され、プリンタ２００の複数の装置状態、例えば、正常状態（例えば、印刷ジョブの待ち受け状態、印刷中の状態）や、エラー状態（例えば、トナー切れの状態、用紙切れの状態）を、表示するために用いられる。

複数個の表示ランプ１１〜１５のそれぞれの近傍、具体的には、図３の右側には（＋Ｘ方向）、対応する表示ランプに関する文字列２１〜２５が刻印されている。文字列２１〜２５は、視認性の観点から筐体１０の上面１０Ａの色（例えば、白色）に対して、高いコントラストを有する色（例えば、黒色）に着色されている。例えば、表示ランプ１１に対応する文字列２１は、「Cover」であり、表示ランプ１１が主としてカバー１９に関する状態を表示するために用いられることを示している。

図３に示すように、上面１０Ａにおける、複数個の表示ランプ１１〜１５と、文字列２１〜２５と、操作ボタン３０と、が配置された領域（以下、パネル領域とも呼ぶ）の右側には、上述した上面部材１７が配置されている。この結果、パネル領域と、上面部材１７と、の間には、見切り線ＤＬが現れる。

サーバ６０は、周知の計算機であり、図示しないサーバプログラムを実行することにより、携帯端末４００や図示しないパーソナルコンピュータなどのクライアント計算機に対して、ＷＥＢサービスを提供する。ＷＥＢサービスは、利用者に対してサポート情報を提供するサービスであり、サーバ６０の記憶部６５には、プリンタ２００の利用者をサポートするためのサポート情報群６５１がＷＥＢページの形式で格納されている。サーバ６０は、例えば、プリンタ２００を製品として販売した販売者によって、運営されている。

携帯端末４００は、例えば、プリンタ２００の利用者が所有するスマートフォンなどの多機能携帯電話である。携帯端末４００は、ＣＰＵ４１０と、フラッシュメモリなどの不揮発性記憶装置４２０と、ＲＡＭなどを含みバッファ領域４２７などに用いられる揮発性記憶装置４２５と、無線ＩＦ部４３０と、電話ＩＦ部４４０と、スピーカやマイクを含み電話機能などを実現するための音声処理部４５０と、タッチパネルや操作キーなどを含む操作部４６０と、タッチパネルと重畳された液晶パネルなどを含む表示部４７０と、イメージセンサを用いて撮像を行うカメラ４９０と、を主に備えている。

無線ＩＦ部４３０は、アンテナを含み、例えば、図示しないアクセスポイントを介した無線通信（インフラストラクチャーモードに準拠する無線通信）を行う。無線ＩＦ部４３０は、後述するように、携帯端末４００がサーバ６０にアクセスするためなどに用いられる。

電話ＩＦ部４４０は、アンテナを含み、基地局（図示省略）との間で携帯電話通信の方式（例えば、Ｗ−ＣＤＭＡ）に準拠する無線通信を行う。電話ＩＦ部４４０は、例えば、電話や、基地局（図示省略）を介したインターネット７０への接続などを実現する。無線ＩＦ部４３０と同様に、電話ＩＦ部４４０は、携帯端末４００がサーバ６０にアクセスするためなどに用いられる。

カメラ４９０は、ＣＣＤやＣＭＯＳなどの撮像素子を用いて、撮像対象物（被写体）を表す画像データを生成・取得することができる。

不揮発性記憶装置４２０には、制御プログラムＰＧ１と、情報提供プログラムＰＧ２と、ブラウザプログラムＰＧ３と、ＵＲＬ（Uniform Resource Locator）が記述されたＵＲＬテーブルＤＴ１と、プリンタ２００に関する特徴情報が記述された特徴情報テーブルＤＴ２と、が格納されている。

制御プログラムＰＧ１は、ＯＳ（オペレーティングシステム）の機能や、電話機能、カメラ４９０の制御機能、携帯端末４００の基本機能を実現するプログラムである。ブラウザプログラムＰＧ３は、ＷＥＢページを閲覧するためのＷＥＢブラウザとしての機能を実現するプログラムである。制御プログラムＰＧ１およびブラウザプログラムＰＧ３は、例えば、携帯端末４００の製造者によって提供され、出荷時に予め格納されている。情報提供プログラムＰＧ２は、プリンタ２００に関する情報を利用者に提供する処理を、サーバ６０と協働して、実現するプログラムである。情報提供プログラムＰＧ２は、携帯端末４００に新たな機能を追加するプログラム（「アプリ」とも呼ばれる。）であり、例えば、携帯端末４００の製造者とは異なる提供者（例えば、プリンタ２００の製造者）によって、所定のサーバからダウンロードする形態で、提供される。また、情報提供プログラムＰＧ２は、例えば、携帯端末４００の製造者によって提供され、出荷時に予め格納されていても良い。

図４は、ＵＲＬテーブルＤＴ１の一例を示す図である。ＵＲＬテーブルＤＴ１は、後述する情報提供処理の対象となる複数種類のプリンタ（プリンタ２００を含む）のそれぞれに対応する複数のテーブルＤＴ１ａ〜ＤＴ１ｃを含んでいる。例えば、複数のテーブルＤＴ１ａ〜ＤＴ１ｃは、プリンタの状態（ステータス）と、プリンタの状態に対応する情報を取得するために用いられるＵＲＬとが、複数個の表示ランプの表示状態と対応付けて記録されている。例えば、プリンタの特定の機種（例えば、プリンタ２００）に対応するテーブルＤＴ１ａには、複数個の表示ランプ１１〜１５の第１の表示状態に対して、プリンタの第１の状態「トナー残 少」（トナー残量が基準値よりも少なくなった状態）と、第１のＵＲＬ「http://aa...」とが対応付けられている。第１の表示状態は、表示ランプ１２が「黄色の点滅」であり、表示ランプ１５が「緑の点灯」であり、他の表示ランプ１１、１３、１４が「消灯」である表示状態である。また、テーブルＤＴ１ａには、複数個の表示ランプ１１〜１５の第２の表示状態に対して、プリンタの第２の状態「紙詰まり」（用紙が印刷実行部内の機構に詰まって印刷を実行できない状態）と、第２のＵＲＬ「http://bb...」とが対応付けられている。第２表示状態は、表示ランプ１１と表示ランプ１４が「黄色の点滅」であり、表示ランプ１５が「赤の点灯」であり、他の表示ランプ１２、１３が「消灯」である表示状態である。

ＵＲＬ（Uniform Resource Locator）は、対応するプリンタの状態（複数個の表示ランプの対応する表示状態と言うこともできる）に関係するサポート情報を含むＷＥＢページのサーバ６０内の位置を表す位置情報である。サポート情報は、例えば、エラー状態に関係する情報、具体的には、エラーの解決方法、エラーの解決に必要な消耗品（トナーや感光ドラム）に関する情報などを含む。なお、これらのサポート情報は、関係情報の例である。なお、プリンタの種類（機種）ごとにテーブルが用意されていることから解るように、プリンタの状態が同じであっても、機種が異なれば、対応するＵＲＬは異なる場合がある。例えば、機種によって、使用すべきトナーや感光ドラムの種類（品番）が異なる場合があり、エラーの解決方法も異なる場合があるからである。

特徴情報テーブルＤＴ２（図１）は、配置情報テーブルＤＴＡ（図５（Ａ））と、表示状態情報テーブルＤＴＢ（図５（Ｂ））と、撮像情報テーブルＤＴＣ（図６）と、特徴点情報テーブルＤＴＤ（図７）と、を含んでいる。

図５は、ランプ情報テーブルの一例を示す図である。図５（Ａ）は、ランプの配置位置が記録された配置情報テーブルＤＴＡを示している。配置情報テーブルＤＴＡは、情報提供処理の対象となる複数種類のプリンタ（例えば、プリンタ２００）のそれぞれに対応する複数のテーブルＤＴＡａ〜ＤＴＡｃを含んでいる。例えば、プリンタの特定の機種に対応するテーブルＤＴＡａには、複数個の表示ランプ１１〜１５（図３）のそれぞれの位置およびサイズを示す配置情報が記録されている。配置情報は、例えば、図３の特定領域１００の所定位置を原点（０、０）とするＸ−Ｙ座標系で表される。所定位置は、例えば、特定領域１００内の文字の位置などの特徴点に基づいて相対的に決定されている。なお、このＸ−Ｙ座標系は、後述する撮像画像ＳＩ（図１２（Ａ））内の各画素の位置を整数で表す座標系と同じ座標系である。各表示ランプの配置情報は、表示ランプの左上の角のＸ座標およびＹ座標（例えば、図５（Ａ）のＸ１１およびＹ１１）と、幅（Ｘ軸方向の長さ、例えば、図５（Ａ）のＷ１１）と、高さ（Ｙ軸方向の長さ、例えば、図５（Ａ）のＨ１１）と、を含んでいる。また、テーブルＤＴＡａは、表示ランプの配置情報に加えて、閾値ＳｔｈおよびＶｔｈを算出するための参照範囲を規定する配置情報を含んでいる。閾値ＳｔｈおよびＶｔｈは、後述する表示状態特定処理（図１４）において、表示ランプの表示状態（発光しているか否か、および、発光の色）を特定するために用いられる。この参照範囲は、例えば、図３の矩形範囲ＲＡであり、プリンタ２００の筐体１０の表面部分であって、表示ランプ１１〜１５が配置されておらず、かつ、表示ランプ１１〜１５に比較的近い部分である。

なお、プリンタの種類（機種）ごとにテーブルが用意されていることから解るように、プリンタの種類によって、表示ランプの個数、各表示ランプの位置およびサイズは、異なる場合がある。例えば、表示ランプの個数は、５個（図３）に限られず、４個である機種や、３個である機種が存在する。ただし、本実施例では、複数個の表示ランプは、機種に拘わらずに、一本のランプ配置ライン（例えば、図３のラインＬＬ）に沿って、配置されている。

図５（Ｂ）は、ランプの表示状態が記録された表示状態情報テーブルＤＴＢを示している。表示状態情報テーブルＤＴＢは、情報提供処理の対象となる複数種類のプリンタのそれぞれに対応する複数のテーブルＤＴＢａ〜ＤＴＢｃを含んでいる。例えば、プリンタの特定の機種に対応するテーブルＤＴＢａには、複数個の表示ランプ１１〜１５（図３）のそれぞれが取り得る表示状態が記録されている。

１個の表示ランプの表示状態は、表示ランプの発光時の色（発光色とも呼ぶ）の観点からは、「黄」「赤」「緑」「青」の４種類のうちのいずれかである。また、１個の表示ランプの表示状態は、発光の態様の観点からは、「消灯」、「点灯」、「点滅」の３種類のうちのいずれかである。「消灯」は、表示ランプが発光していない状態が維持される表示状態である。「点灯」は、表示ランプが発光している状態が維持される表示状態である。「点滅」は、表示ランプが発光している状態と、発光していない状態が、所定間隔で繰り返される表示状態である。これらの発光色と、発光の態様と、の組合わせによって、本実施例では、９種類（「消灯」１種類、「点灯」４種類（４色）、「点滅」４種類（４色））の表示状態がある。

「消灯」は、全ての表示ランプが取り得る表示状態であるので、図５（Ｂ）の表示状態情報テーブルＤＴＢには、記録されていない。図５（Ｂ）の表示状態情報テーブルＤＴＢにおいて、各発光色に対応して記述された丸印は、対応する発光色について「点灯」が取り得る表示状態であることを示し、各発光色に対応して記述された二重丸の印は、対応する発光色について「点灯」と「点滅」の両方が取り得る表示状態であることを示している。また、各発光色に対応して記述されたばつ印は、対応する発光色では、「点灯」も「点滅」もしないことを示している。図５（Ｂ）に示す用に、１個の表示ランプが、複数の発光色で「点灯」または「点滅」することもある（例えば、図５（Ｂ）の表示ランプ１５）。なお、プリンタの種類（機種）ごとにテーブルが用意されていることから解るように、プリンタの種類によって、各表示ランプが取り得る表示状態は、異なる場合がある。

図６は、撮像情報テーブルＤＴＣの一例を示す図である。撮像情報テーブルＤＴＣには、情報提供処理の対象となる複数種類のプリンタのそれぞれについて、撮像情報として、撮像回数と撮像間隔とが記録されている。撮像回数および撮像間隔については、後述する自動認識処理（図１０）にて説明する。

図７は、特徴点情報テーブルＤＴＤの一例を示す図である。特徴点情報テーブルＤＴＤは、情報提供処理の対象となる複数種類のプリンタのそれぞれに対応する複数のテーブルＤＴＤａ〜ＤＴＤｃを含んでいる。例えば、プリンタの特定の機種に対応するテーブルＤＴＤａには、特定領域１００（図３）内の複数個の特徴点の位置を示す位置情報が記録されている（図７）。例えば、複数個の特徴点は、図７に示すように、上述した見切り線ＤＬ上に配置された３個の点Ｐ１〜Ｐ３（図３）を含んでいる。また、複数個の特徴点は、複数個の文字列２１〜２５（図３）のそれぞれに対応する文字領域Ｓ１〜Ｓ５を規定する点を含んでいる。具体的には、文字領域Ｓ１〜Ｓ５は、文字列２１〜２５にそれぞれ外接する矩形である。本実施例では、図７に示すように、矩形の文字領域Ｓ１〜Ｓ５を規定する情報として、文字領域の左上の頂点Ｐ６〜Ｐ１０（図３）のＸ座標およびＹ座標（例えば、図７のＸ３１およびＹ３１）と、幅（Ｘ軸方向の長さ、例えば、図７のＷ３１）と、高さ（Ｙ軸方向の長さ、例えば、図７のＨ３１）と、を含んでいる。また、複数個の特徴点は、略矩形の操作ボタン３０の上辺の両端の点Ｐ４、Ｐ５（図３）を含んでいる。これらの特徴点は、後述する撮像画像補正処理（図１１、図１２）において、参照される点であるので、「参照点」とも呼ぶ。

なお、プリンタの種類（機種）ごとにテーブルが用意されていることから解るように、プリンタの種類によって、これらの参照点の位置は、異なっている。ただし、本実施例では、プリンタの種類に拘わらずに、ランプ配置ライン（例えば、図３のラインＬＬ）と平行なデザイン上の特徴的な線（例えば、図３の見切り線ＤＬ）が存在する。このために、各機種のテーブルＤＴＤａ〜ＤＴＤｃには、これらのデザイン上の特徴的な線上の３個の特徴点の位置情報が記録されている。

図１に戻って説明を続ける。図１のＣＰＵ４１０は、制御プログラムＰＧ１を実行することによって、携帯端末４００の基本機能を実現するメイン制御部５５として機能し、ブラウザプログラムＰＧ３を実行することによって、ＷＥＢブラウザ５０として機能する。また、ＣＰＵ４１０は、情報提供プログラムＰＧ２を実行することによって、情報提供部３００として機能する。

情報提供部３００は、画像データ取得部３１０と、製品情報取得部３２０と、特徴情報取得部３３０と、特定部３４０と、受付部３５０と、識別情報取得部３６０と、ブラウザ制御部３７０と、を備えている。これらの各処理については、後述する。

Ａ−３．携帯端末４００の情報提供部３００の処理：
図８は、情報提供処理のフローチャートである。この情報提供処理は、例えば、情報提供プログラムＰＧ２が利用者によって起動されたときに、情報提供部３００（図１）によって実行される。利用者は、例えば、複数個の表示ランプ１１〜１５が、プリンタ２００が特定の状態であることを示す表示状態である場合に、当該プリンタ２００の特定の状態に関係する情報を取得するために、情報提供プログラムＰＧ２を起動する。より具体的には、例えば、利用者は、プリンタ２００がトナー切れなどのエラー状態であるために、複数個の表示ランプ１１〜１５が当該エラー状態を示す表示状態となった場合に、当該エラー状態の解決方法を詳しく知るために、情報提供プログラムＰＧ２を起動する。

ステップＳ１０にて、情報提供部３００（情報提供プログラムＰＧ２）が起動されて、情報提供部３００が動作可能な状態になると、製品情報取得部３２０は、機種選択画像ＡＩ１を表示部４７０に表示する（ステップＳ２０）。

図９は、情報提供部３００によって表示されるＵＩ画像の一例を示す図である。図９（Ａ）には、機種選択画像ＡＩ１の一例が示されている。この機種選択画像ＡＩ１は、情報提供部３００が対応しているプリンタの機種を識別するための機種情報（例えば、型番、製品情報とも呼ぶ）の一覧ＭＮと、複数個の機種情報にそれぞれ対応する複数個のラジオボタンＲＢと、を含んでいる。利用者は、１個のラジオボタンＲＢをＯＮにしたうえで、決定ボタンＢＴ１にタッチすることによって、プリンタの機種（対象機種）を選択する。

ステップＳ２５では、製品情報取得部３２０は、利用者の選択に基づいて、対象機種を識別するための機種情報（例えば、型番、製品情報とも呼ぶ）を取得する。以下では、図１〜図３を参照して説明したプリンタ２００が対象機種である場合を例に説明する。

ステップＳ３０では、情報提供部３００は、取得された機種情報によって識別される対象機種に応じたメイン画像ＡＩ２を、表示部４７０に表示する。図９（Ｂ）には、メイン画像ＡＩ２の一例が示されている。メイン画像ＡＩ２は、対象機種のプリンタ２００の部分画像ＰＩと、複数個の表示ランプ１１〜１５に対応する複数個のフィールドＤＦ１〜ＤＦ５と、ＷＥＢブラウザの起動を受け付ける起動ボタンＢＴ２と、撮像モードへの移行（すなわち、後述する自動認識処理への移行）を受け付ける撮像ボタンＢＴ３と、機種選択ボタンＢＴ４と、を含んでいる。機種選択ボタンＢＴ４は、上述した機種選択画像ＡＩ１を表示して、機種選択を利用者から受け付ける機種選択モードへ移行するためのボタンであり、対象機種を変更する際に押下される。

部分画像ＰＩは、例えば、上述した特定領域１００（図３）のうち、複数個の表示ランプ１１〜１５が配置された部分を含む画像である。複数個のフィールドＤＦ１〜ＤＦ５は、部分画像ＰＩに表された複数個の表示ランプ１１〜１５に対応する位置、すなわち、複数個の表示ランプ１１〜１５の右側に、それぞれ配置されている。表示される部分画像の種類、および、表示されるフィールドの数は、対象機種によって、すなわち、ステップＳ２５にて取得された機種情報によって、異なる。

利用者は、複数個のフィールドＤＦ１〜ＤＦ５に、各表示ランプの表示状態を入力することができ、撮像ボタンＢＴ３を押下して後述する自動認識処理に移行することもできる。また、利用者は、機種選択ボタンＢＴ４を押下して、対象機種を変更することもできる。すなわち、これらの処理は利用者の選択に応じて実行される。ここでは、煩雑を避けるために、先ず、利用者の操作に応じて、自動認識処理が実行され、その後に、複数個のフィールドＤＦ１〜ＤＦ５に対する利用者の入力（自動認識処理の結果の修正）が受け付けられるものとして全体の処理を説明する（図８）。

ステップＳ３５では、利用者の操作に応じて、自動認識処理が実行される。自動認識処理は、プリンタ２００の特定領域１００を撮像することによって生成される１個または複数個の撮像画像データを解析することによって、撮像画像内の複数個の表示ランプ１１〜１５の表示状態を認識（特定）する処理である。図１０は、自動認識処理のフローチャートである。

図１０のステップＳ１００では、画像データ取得部３１０は、上述した撮像情報テーブルＤＴＣ（図６）を参照して、対象機種の撮像回数と、撮像間隔と、を決定する。対象機種の複数個の表示ランプの中に、取り得る表示状態に「点滅」を含む表示ランプがない場合、すなわち、取り得る表示状態が「点灯」と「消灯」のいずれかである場合には、撮像回数は１回に設定され、撮像間隔は設定されない（例えば、図６の機種Ｂ）。対象機種の複数個の表示ランプの中に、取り得る表示状態に「点滅」を含む表示ランプがある場合には、撮像回数は、２回に設定され、撮像間隔は、点滅間隔と同じ間隔に設定される（例えば、図６の機種Ａ）。

本実施例では、表示ランプの「点滅」の態様は１種類であり、発光している状態と、発光していない状態とが、一定の点滅間隔（例えば、１秒）で繰り返される態様である。このために、点滅間隔と等しい間隔で、２回に亘って表示ランプを撮像すると、表示ランプが「点滅」している場合には、特定の場合を除いて、一方の撮像画像には、発光した状態の表示ランプが含まれ、他方の撮像画像には、発光していない状態の表示ランプが含まれる。この結果、２つの撮像画像から、表示ランプが「点滅」していることが判定可能である。特定の場合とは、発光の開始の瞬間と終了の瞬間とに２回の撮像が行われる場合である。この場合には、両方の撮像画像に発光した状態の表示ランプが含まれたり、両方の撮像画像に発光していない状態の表示ランプが含まれ得る。ただし、このようなケースが起こる確率は比較的低い。

ステップＳ１５０では、画像データ取得部３１０は、カメラ４９０を起動し、カメラ４９０を撮像可能な状態にするとともに、表示部４７０に撮像用画像ＡＩ３を表示する。図９（Ｃ）には、撮像用画像ＡＩ３の一例が図示されている。撮像用画像ＡＩ３には、ガイド画像として、矩形状の枠画像ＢＸと、図９（Ｃ）の上下方向に延びるライン画像ＬＮと、を含んでいる。撮像用画像ＡＩ３の他の領域ＮＡには、カメラ４９０が捉えている被写体（例えば、表示ランプ１１〜１５）の画像が表示される。枠画像ＢＸおよびライン画像ＬＮは、カメラ４９０が捉えている撮像対象（例えば、表示ランプ１１〜１５を含む特定領域１００）と重畳されて表示部４７０に表示される。枠画像ＢＸおよびライン画像ＬＮは、プリンタ２００の特定領域１００（図３）を利用者が撮像する際に、被写体としての複数個の表示ランプ１１〜１５が位置すべき位置を、利用者にガイドするための画像である。利用者は、複数個の表示ランプ１１〜１５の全体が枠画像ＢＸ内に位置し、かつ、複数個の表示ランプ１１〜１５のランプ配置ラインＬＬ（図３）と、ライン画像ＬＮとが一致するように、特定領域１００の撮像を行う。なお、図９（Ｃ）に破線で示す複数個の表示ランプ１１〜１５は、撮像時における複数個の表示ランプ１１〜１５の理想的な位置（目標位置とも呼ぶ）を示している。

ステップＳ２００では、画像データ取得部３１０は、特定領域１００を撮像して得られる撮像画像データを生成・取得する。例えば、画像データ取得部３１０は、利用者の撮像操作（表示部４７０内の任意の位置の押下など）を契機に、ステップＳ１００で決定された撮像回数分の撮像画像データを、決定された撮像間隔で生成する。生成される撮像画像データは、Ｒ、Ｇ、Ｂの各成分値を画素値とするビットマップデータである。

ステップＳ３００では、情報提供部３００は、後述する撮像画像補正処理（Ｓ４００）および表示状態特定処理（Ｓ５００）の処理対象とするために、生成された１個以上の撮像画像データの中から１個の撮像画像データを選択する。ステップＳ４００では、情報提供部３００は、選択された撮像画像データに対して、撮像画像補正処理を実行する。撮像画像補正処理は、特徴点情報テーブルＤＴＤ（図７）に記録された特徴点の位置情報を用いて、撮像画像内の被写体（具体的には、表示ランプ１１〜１５）の位置を補正する処理である。図１１は、撮像画像補正処理のフローチャートである。図１２は、撮像画像補正処理の第１の説明図である。図１３は、撮像画像補正処理の第２の説明図である。

図１２（Ａ）には、撮像画像補整処理前の撮像画像ＳＩ、すなわち、ステップＳ２００にて生成された撮像画像データによって表される撮像画像ＳＩの一例が示されている。図１２（Ａ）のセンターラインＣＬは、撮像画像ＳＩのＸ方向の中央を通り、Ｙ方向に延びる線であり、撮像用画像ＡＩ３のライン画像ＬＮに対応する仮想的な線である。撮像画像ＳＩ内の表示ランプ１１〜１５の実際の位置は、上述した目標位置および目標サイズ（図９（Ｃ））とは異なる場合がある。例えば、図１２（Ａ）の撮像画像ＳＩでは、複数個の表示ランプ１１〜１５のランプ配置ラインＬＬは、センターラインＣＬに対して傾いているので、複数個の表示ランプ１１〜１５の位置は、目標位置からずれている。また、図１２（Ａ）の撮像画像ＳＩ内の複数個の表示ランプ１１〜１５のサイズは、目標サイズより小さくなっているので、複数個の表示ランプ１１〜１５の位置は、目標位置からずれている。以下に説明する撮像画像補正処理によって、複数個の表示ランプ１１〜１５の位置は、目標位置に近づくように補正される。。

ステップＳ４１０では、特定部３４０は、撮像画像データに対して、エッジ抽出処理を実行して、エッジ画像ＥＩを表すエッジ画像データを生成する。エッジ画像データは、撮像画像データに含まれる各画素値（ＲＧＢ値）を輝度値Ｙに変換し、輝度値Ｙに対して公知のｓｏｂｅｌフィルタを適用して得られる。なお、エッジ画像データの生成には、Ｓｏｂｅｌフィルタに限らず、Ｐｒｅｗｉｔｔフィルタ、Ｒｏｂｅｒｔｓフィルタなど種々のエッジ抽出フィルタが利用できる。

図１２（Ｂ）には、エッジ画像データによって表されるエッジ画像ＥＩの一例が示されている。エッジ画像ＥＩには、文字列２１〜２５のエッジ２１ｅ〜２５ｅと、見切り線ＤＬのエッジＤＬｅと、操作ボタン３０の外縁のエッジ３０ｅと、が比較的明確に現れる。一方、エッジ画像ＥＩには、複数個の表示ランプ１１〜１５のエッジは、明確に現れない場合がある。例えば、表示ランプ１１〜１５のうちの点灯しているランプのエッジは、ランプの光によるフレア（ランプの光がランプの周辺に広がって写る現象）によって、明確に現れない場合がある。表示ランプ１１〜１５のうちの消灯しているランプの色は、文字列２１〜２５と比較すると、周囲（背景）の色とのコントラストが低いために、消灯しているランプのエッジは、明確に現れない場合がある。

ステップＳ４２０では、特定部３４０は、見切り線ＤＬに対応するエッジ画像ＥＩ内のエッジＤＬｅ上に３個の特徴点Ｐｅ１〜Ｐｅ３（図１２（Ｂ））の座標を算出する。具体的には、情報提供部３００は、エッジ画像データを解析することによって、エッジ画像ＥＩ内の線状のエッジＤＬｅを特定する。エッジＤＬｅの特定は、周知の直線検出アルゴリズム（例えば、Hough変換など）を用いて実行される。そして、情報提供部３００は、検出されたエッジＤＬｅの上端部と中央部と下端部にそれぞれ１個ずつ、計３個の特徴点Ｐｅ１〜Ｐｅ３を設定し、これらの座標を算出する。

ステップＳ４３０では、特定部３４０は、エッジ画像ＥＩ上で算出された３個の特徴点Ｐｅ１〜Ｐｅ３と、対応する３個の参照点とに基づいて、回転補正量θを算出する。３個の参照点は、特徴点情報テーブルＤＴＤのうちの対象機種のテーブル（図７）に記録された対応する３個の特徴点（参照点）Ｐ１〜Ｐ３（図３）である。具体的には、情報提供部３００は、３個の特徴点Ｐｅ１〜Ｐｅ３を結ぶ直線と、３個の参照点Ｐ１〜Ｐ３を結ぶ直線と、の間の角度を、回転補正量θとして算出する。

ステップＳ４４０では、特定部３４０は、ステップＳ４３０にて算出された回転補正量θに従って、エッジ画像ＥＩを回転させる回転補正を実行する。図１２（Ｃ）には、回転補正後のエッジ画像ＥＩ２が示されている。図１２（Ｃ）のエッジ画像ＥＩ２は、３個のＰｅ１〜Ｐｅ３が位置するエッジＤＬｅがＹ方向と平行になるように、補正されていることが解る。この結果、エッジ画像ＥＩ２内のランプ配置ラインＬＬは、センターラインＣＬと平行になる。なお、図１２（Ｃ）〜（Ｄ）、図１３（Ａ）において、太線の矩形の枠ＦＬは、補正前の撮像画像ＳＩおよびエッジ画像ＥＩの外縁であり、補正による被写体の移動の理解のために、図示されている。太線の矩形の枠ＦＬの左上の角が、画像処理に用いられるＸ−Ｙ座標系の原点である。

ステップＳ４５０では、特定部３４０は、回転補正後のエッジ画像ＥＩ２において、文字領域の２個の特徴点Ｐｅ６、Ｐｅ１１の座標を算出する。具体的には、特定部３４０は、エッジ画像ＥＩ２内の複数個の文字列２１〜２５に対応する複数個の文字領域Ｓｅ１〜Ｓｅ５を特定する。文字領域の特定は、周知の文字領域の検出アルゴリズムを用いることができる。例えば、文字領域には、エッジ量が基準値以上であるエッジ画素が密集して存在する。このため、特定部３４０は、例えば、エッジ画像ＥＩ２を所定サイズの複数個のブロックに分割して、エッジ画素の密度が基準値以上である複数個の文字ブロックを特定する。そして、特定部３４０は、互いに隣接する複数個の文字ブロックを１個の文字ブロック領域として特定する。特定部３４０は、特定された１個の文字ブロック領域内のエッジ画素群に外接する矩形によって規定される領域を１個の文字領域として特定する。特定部３４０は、特定された複数個の文字領域Ｓｅ１〜Ｓｅ５のうち、上端に位置する文字領域Ｓｅ１の左上の頂点と、下端に位置する文字領域Ｓｅ５の右下の頂点と、をそれぞれ、文字領域の２個の特徴点Ｐｅ６、Ｐｅ１１として特定し、これらの特徴点の座標を算出する。

ステップＳ４６０では、特定部３４０は、文字領域の２個の特徴点Ｐｅ６、Ｐｅ１１の間の距離Ｄｓと、対応する２個の参照点Ｐ６、Ｐ７（図３）の間の距離Ｄｒとに基づいて、拡大縮小補正のための倍率ＦＰ（Ｄｒ／Ｄｓ）を算出する。対応する２個の参照点Ｐ６、Ｐ７の座標は、特徴点情報テーブルＤＴＤのうちの対象機種のテーブル（図７）に記録された文字領域Ｓ１、Ｓ５（図３）を規定する情報に基づいて算出される。

ステップＳ４７０では、特定部３４０は、ステップＳ４６０にて算出された倍率ＦＰに従って、エッジ画像ＥＩ２を拡大または縮小する拡大縮小補正を実行する。倍率ＦＰ＞１である場合には、エッジ画像ＥＩ２は拡大され、倍率ＦＰ＜１である場合には、エッジ画像ＥＩ２は縮小される。図１２（Ｄ）には、拡大縮小補正後のエッジ画像ＥＩ３が示されている。図１２（Ｄ）のエッジ画像ＥＩ３は、補正前の２個の特徴点Ｐｅ６とＰｅ１１との間の距離Ｄｓが、対応する２個の参照点Ｐ６、Ｐ７の間の距離Ｄｒと等しくなるように補正される。この結果、エッジ画像ＥＩ３内の複数個の表示ランプ１１〜１５に対応する部分のサイズが、図９（Ｃ）に示す目標のサイズに近づくように、拡大されていることが解る。

ステップＳ４８０では、特定部３４０は、拡大縮小補正後のエッジ画像ＥＩ３内の複数個の特徴点と、対応する複数個の参照点と、に基づいて、シフト量（Ｘ方向のシフト量ΔＸと、Ｙ方向のシフト量ΔＹ）とを算出する。複数個の特徴点は、例えば、文字領域Ｓｅ１〜Ｓｅ５（図１２（Ｄ））のそれぞれの左上の頂点と、操作ボタン３０の２個の頂点Ｐｅ４，Ｐｅ５と、が用いられる。複数個の参照点は、特徴点情報テーブルＤＴＤのうちの対象機種のテーブル（図７）に記録された対応する参照点である。具体的には、複数個の特徴点のそれぞれのＸ座標と、対応する参照点のＸ座標と、の差分値の平均値が、Ｘ方向のシフト量ΔＸとして算出される。同様に、複数個の特徴点のそれぞれのＹ座標と、対応する参照点のＹ座標と、の差分値の平均値が、Ｙ方向のシフト量ΔＹとして算出される。

ステップＳ４９０では、特定部３４０は、算出されたシフト量だけ、エッジ画像ＥＩ３を平行移動させるシフト補正を実行する。図１３（Ａ）には、シフト補正後のエッジ画像ＥＩ４が示されている。図１３（Ａ）には、図９（Ｃ）の枠画像ＢＸが参考のために破線で示されている。図１３（Ａ）のエッジ画像ＥＩ４は、複数個の表示ランプ１１〜１５の位置が、図９（Ｃ）に示す目標位置とほぼ等しくなっていることが解る。すなわち、図１３（Ａ）のエッジ画像ＥＩ４において、複数個の表示ランプ１１〜１５に対応する部分は、センターラインＣＬに沿って、適度な間隔で並んでいる。

図１３（Ｂ）には、撮像画像ＳＩ（図１２（Ａ））に対して、上述したエッジ画像ＥＩに対する補正（回転補正、拡大縮小補正、シフト補正）を実行した場合の、補正後の撮像画像ＳＩ２が示されている。補正前のエッジ画像ＥＩ内の画素の座標（Ｘ１、Ｙ１）と、補正後のエッジ画像ＥＩ４内の画素の座標（Ｘ２、Ｙ２）と、の対応関係は、補正前の撮像画像ＳＩ（図１２（Ａ））内の画素の座標（Ｘａ、Ｙａ）と、補正後の撮像画像ＳＩ２内の画素の座標（Ｘｂ、Ｙｂ）との対応関係と等しい。したがって、特定部３４０は、補正後の撮像画像ＳＩ２内の任意の座標（Ｘａ、Ｘｂ）に対応する画素の値（ＲＧＢの各成分値）を特定することができる。特定部３４０は、実際に補正後の撮像画像ＳＩ２を表す画像データを生成しても良いが、補正後の撮像画像ＳＩ２を表す画像データを生成しなくても、後述する表示状態特定処理（図１０のステップＳ５００、図１４）において用いられるランプ範囲内の画素の値を特定することができれば良い。

撮像画像補正処理が終了すると、図１０のステップＳ５００では、特定部３４０は、表示状態特定処理を実行する。表示状態特定処理は、処理対象の撮像画像データによって表される撮像画像ＳＩ内の複数個の表示ランプ１１〜１５のそれぞれの表示状態、具体的には、発光の色（黄、赤、青、緑）を特定する処理である。図１４は、表示状態特定処理のフローチャートである。

ステップＳ５１０では、特定部３４０は、配置情報テーブルＤＴＡのうちの対象機種に対応するテーブルから、閾値算出用の参照範囲を示す参照範囲情報（図５（Ａ））を取得する。

ステップＳ５１５では、特定部３４０は、補正後の撮像画像ＳＩ２において、参照範囲情報によって規定される参照範囲内の複数個の画素の値（ＲＧＢ値）の平均値を、ＲＧＢの３個の成分のそれぞれについて算出する。

ステップＳ５２０では、特定部３４０は、ＲＧＢの３個の成分の平均値（Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅ）に基づいて、明度の閾値Ｖｔｈと、彩度の閾値Ｓｔｈを算出する。具体的には、特定部３４０は、ＲＧＢ色空間の表色値をＨＳＶ色空間の表色値に変換する変換式（１）を用いて、３個の成分の平均値（Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅ）によって表される色の明度と彩度を、明度の閾値Ｖｔｈと彩度の閾値Ｓｔｈとして、算出する。なお、変換式（１）において、ＭＡＸは、Ｒ、Ｇ、Ｂの３個の成分値のうちの最大値を表し、ＭＩＮは、Ｒ、Ｇ、Ｂの３個の成分値のうちの最小値を表す。

ステップＳ５２５では、特定部３４０は、処理対象のランプを選択する。図１３（Ｂ）の撮像画像ＳＩ２の例では、５個の表示ランプ１１〜１５の中から１個の表示ランプが処理対象として選択される。

ステップＳ５３０では、特定部３４０は、配置情報テーブルＤＴＡのうちの対象機種に対応するテーブルから、処理対象の表示ランプの位置およびサイズを示す配置情報（図５（Ａ））を取得する。

ステップＳ５３５では、特定部３４０は、補正後の撮像画像ＳＩ２において、配置情報によって規定される処理対象の表示ランプが配置された範囲（ランプ範囲とも呼ぶ）内の複数個の画素の値（ＲＧＢ値）の平均値を、ＲＧＢの３個の成分のそれぞれについて算出する。

ステップＳ５４０では、特定部３４０は、３個の成分の平均値（Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅ）に基づいて、処理対象の表示ランプの色の明度Ｖａと、彩度Ｓａと、色相Ｈａと、を算出する。具体的には、特定部３４０は、上述した変換式（１）を用いて、３個の成分の平均値（Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅ）によって表される色の明度Ｖａと、彩度Ｓａと、色相Ｈａと、を算出する。

ステップＳ５４５では、特定部３４０は、処理対象の表示ランプの彩度Ｓａが彩度の閾値Ｓｔｈ以上であり、かつ、処理対象の表示ランプの明度Ｖａが明度の閾値Ｖｔｈ以上であるか否かを判断する。

彩度Ｓａが閾値Ｓｔｈ未満である、あるいは、明度Ｖａが閾値Ｖｔｈ未満である場合には（ステップＳ５４５：ＮＯ）、特定部３４０は、処理対象の表示ランプは、発光していないと判定する（ステップＳ５５５）。一方、彩度Ｓａが閾値Ｓｔｈ以上であり、かつ、明度Ｖａが閾値Ｖｔｈ以上である場合には（ステップＳ５４５：ＹＥＳ）、特定部３４０は、処理対象の表示ランプは、発光していると判断して、ステップＳ５５０を実行する。

ステップＳ５５０では、特定部３４０は、処理対象の表示ランプの色相Ｈａに基づいて、処理対象の表示ランプの発光色を判定する。具体的には、図１４に示すように、特定部３４０は、発光色ごとに規定された色相範囲を参照して発光色を判定する。色相Ｈａが、５０＜Ｈａ≦７０の範囲内である場合には、発光色は黄色であると判定され、７０＜Ｈａ≦２００の範囲内である場合には、発光色は緑色であると判定される。また、色相Ｈａが、２００＜Ｈａ≦３００の範囲内である場合には、発光色は青色であると判定され、３００＜Ｈａ≦３６０または０＜Ｈａ≦５０の範囲内である場合には、発光色は赤色であると判定される。

ステップＳ５６０では、特定部３４０は、対象機種の全ての表示ランプを処理したか否かを判断する。未処理の表示ランプがある場合には（ステップＳ５６０：ＮＯ）、特定部３４０は、ステップＳ５２５に戻って、未処理の表示ランプを処理対象として、上述したステップＳ５３０〜Ｓ５５５までの処理を繰り返す。全ての表示ランプを処理した場合には（ステップＳ５６０：ＹＥＳ）、特定部３４０は、表示状態特定処理を終了する。

表示状態特定処理が終了すると、図１０のステップＳ６００では、特定部３４０は、全ての撮像画像を処理したか否かを判断する。未処理の撮像画像がある場合には（ステップＳ６００：ＮＯ）、特定部３４０は、ステップＳ３００に戻って、未処理の撮像画像を処理対象として、上述したステップＳ３００〜Ｓ５００までの処理を繰り返す。全ての撮像画像を処理した場合には（ステップＳ６００：ＹＥＳ）、特定部３４０は、ステップＳ７００に処理を移行する。

ステップＳ７００では、特定部３４０は、撮像画像を用いた特定結果に基づいて、複数個の表示ランプのそれぞれについて、最終的な表示状態を特定する。具体的には、撮像画像が１個である場合には、特定部３４０は、該１個の撮像画像を用いた特定結果を、そのまま最終的な特定結果に採用する。撮像画像が２個である場合には、特定部３４０は、２個の撮像画像を用いた２個の特定結果に基づいて、最終的な特定結果を決定する。例えば、図１０内に表で示すように、対象の表示ランプについて、１番目の撮像画像（画像Ａと呼ぶ）を用いた特定結果と、２番目の撮像画像（画像Ｂと呼ぶ）を用いた特定結果との両方が「発光」である場合には、対象の表示ランプの表示状態は、「点灯」であると特定される。また、画像Ａを用いた特定結果と、画像Ｂを用いた特定結果との両方が「発光していない」である場合には、対象の表示ランプの表示状態は、「消灯」であると特定される。また、画像Ａと画像Ｂのうちの一方の画像を用いた特定結果が「発光」であり、他方の画像を用いた特定結果が「発光していない」である場合には、対象の表示ランプの表示状態は、「点滅」であると特定される。全ての表示ランプの最終的な特定結果が決定されると、自動認識処理は終了される。

自動認識処理が終了すると、図８のステップＳ４０では、情報提供部３００は、自動認識処理によって特定された表示ランプの表示状態を表示部４７０に表示する。図９（Ｄ）には、自動認識処理後のメイン画像ＡＩ４の一例が示されている。図９（Ｄ）の例では、複数個の表示ランプ１１〜１５に対応する複数個のフィールドＤＦ１〜ＤＦ５のそれぞれに、表示ランプの表示状態（特定結果）が表示されていることが解る。さらに、メイン画像ＡＩ４内の部分画像ＰＩ２では、表示ランプの画像（例えば、図９（Ｄ）の表示ランプ１２、１５の画像）が、表示ランプの表示状態（特定結果）に応じて更新されている。

ステップＳ４５では、受付部３５０は、複数個のフィールドＤＦ１〜ＤＦ５を介して、自動認識処理によって特定された表示ランプの表示状態の修正を受け付ける。利用者が複数個のフィールドＤＦ１〜ＤＦ５のうち、修正対象の表示ランプに対応するフィールド（例えば、フィールドＤＦ４）にタッチすると、図９（Ｄ）に示すように、受付部３５０は、プルダウンメニューＰＭを表示する。利用者は、プルダウンメニューＰＭ内に表示された表示状態の一覧の中から、所望の表示状態を選択することによって、自動認識処理によって特定された表示ランプの表示状態を修正することができる。ここで、プルダウンメニューＰＭには、修正対象の表示ランプが取り得る表示状態が表示され、修正対象の表示ランプが取り得ない表示状態は表示されない。受付部３５０は、表示状態情報テーブルＤＴＢのうちの対象機種のテーブル（図５（Ｂ））に記録された表示状態情報を参照することによって、プルダウンメニューＰＭ内に表示すべき表示状態（例えば、図９（Ｄ）の例では、赤の点灯と、赤の点滅）を決定する。この結果、利用者は、円滑に所望の表示状態を選択することができる。なお、利用者による表示状態の修正は入力される場合と、入力されない場合がある。利用者による表示状態の修正が入力された場合には、利用者による修正後の表示状態が、自動認識処理によって特定された表示状態より優先される。すなわち、表示状態の修正が利用者から受け付けられた場合には、利用者による修正結果に従って、最終的な表示ランプの表示状態が特定される。

情報表示指示を受け付けられる（ステップＳ５０）と、すなわち、メイン画像ＡＩ４において、利用者によって起動ボタンＢＴ２が押下されると、識別情報取得部３６０は、特定された表示ランプの表示状態と、対象機種と、に基づいて、識別情報としてのＵＲＬを取得する（ステップＳ５５）。具体的には、識別情報取得部３６０は、ＵＲＬテーブルＤＴ１のうちの対象機種のテーブル（図４）を参照して、特定された表示ランプの表示状態に対応付けられたＵＲＬを取得する。例えば、図４のテーブルＤＴ１ａが参照される場合であって、図３に示す複数個の表示ランプ１１〜１５の特定された表示状態が、「消灯」「黄の点滅」「消灯」「消灯」「緑の点灯」である場合には、ＵＲＬとして「http://aa...」が取得される。

ステップＳ６０では、ブラウザ制御部３７０は、ブラウザプログラムＰＧ３（図１）をＣＰＵ４１０に実行させることによってＷＥＢブラウザ５０（図１）を起動して、ステップＳ５０で取得されたＵＲＬをＷＥＢブラウザ５０に渡す。

ステップＳ６５では、ＷＥＢブラウザ５０は、ブラウザ制御部３７０から取得したＵＲＬに基づいて、サポート情報をサーバ６０から取得する。例えば、ブラウザ制御部３７０から取得したＵＲＬが第１のＵＲＬ（例えば、図４の「http://aa...」）である場合には、第１のＵＲＬによって識別されるサーバ６０の記憶部６５内の第１の格納領域（例えば、特定のフォルダに対応する格納領域）から、第１のＵＲＬによって識別される第１のサポート情報が取得される。同様に、例えば、ブラウザ制御部３７０から取得したＵＲＬが第２のＵＲＬ（例えば、図４の「http://cc...」）である場合には、第２のＵＲＬによって識別されるサーバ６０の記憶部６５内の第２の格納領域から、第２のＵＲＬによって識別される第２のサポート情報が取得される。ステップＳ７０では、ＷＥＢブラウザ５０は、取得されたサポート情報を表示部４７０に表示する。換言すれば、ブラウザ制御部３７０は、ＷＥＢブラウザ５０を用いて、関係情報としてのサポート情報を取得するとともに、ＷＥＢブラウザ５０を用いて、取得されたサポート情報を表示部４７０に表示する。すなわち、ブラウザ制御部３７０は、関係情報取得部と、出力制御部の例である。

図１５は、サポート情報の表示画像ＡＩ５の一例である。この表示画像ＡＩ５は、サーバ６０が提供する複数のＷＥＢページのうち、特定された表示ランプの表示状態によって示される対象機種の特定の状態に対応するサポート情報を含むページの画像である。このページは、図１５に示すように、対象機種が特定の状態になった場合に、対象機種の利用者が参考とすることを想定して作成されたページである。図１５に例示されたページは、トナーの残量が基準値より少なくなった状態に対応するページであり、当該状態の説明、および、トナーの交換方法や購入方法などの対処方法を含むメッセージＭＳを含んでいる。

以上説明した本実施例によれば、１個以上の表示ランプ（例えば、５個の表示ランプ１１〜１５（図３））を撮像して得られる撮像画像データを解析することによって、表示ランプによって示される対象機種のプリンタ（例えば、図１〜図３に示すプリンタ２００）の特定の状態（例えば、トナー切れなどのエラー状態）に対応するサポート情報のＵＲＬが取得される。そして、取得されたＵＲＬに基づいて、サポート情報が取得されて携帯端末４００の表示部４７０に表示される。この結果、携帯端末４００は、プリンタ２００の状態に応じた適切な情報を、利用者に提供することができる。

例えば、プリンタ２００にエラーが発生した場合に、プリンタ２００に現在発生しているエラーに関係する十分な情報を、プリンタ２００が利用者に提供することは困難である場合がある。特に、本実施例のプリンタ２００のように、液晶ディスプレイを備えていないプリンタの場合には、プリンタ２００単体で十分な情報を利用者に提供することは比較的困難である。この結果、表示ランプの表示状態が意味するところを、マニュアル等を参照して調べる等の煩わしい作業が、利用者に対して要求される可能性があった。

また、プリンタ２００によって、必要な情報を印刷することで、利用者に情報を提供することが考えられるが、プリンタ２００が、トナー切れ、紙詰まりなどの印刷が不可能なエラー状態にある場合には、情報を提供できない。また、プリンタドライバが搭載されたパーソナルコンピュータに対して、プリンタ２００からエラー情報を送信して、当該パーソナルコンピュータにてエラー情報を表示することが考えられるが、パーソナルコンピュータとプリンタ２００との位置が離れている場合には不便である。また、プリンタ２００とパーソナルコンピュータ間の通信障害が発生している場合には、情報を提供できない。

本実施例によれば、携帯端末４００は、容易に、プリンタ２００の状態に応じた適切なサポート情報を提供することができる。すなわち、携帯端末４００の利用者は、プリンタ２００の表示ランプ１１〜１５を含む特定領域（図３）を撮像するだけで良い。また、携帯端末４００は、プリンタ２００のエラ−状態の種類（外部機器との通信障害、紙詰まりなどの印刷が不可能なエラー）に拘わらず、必要なサポート情報を提供することができる。また、携帯端末４００は、持ち運びも容易であるので、１個の携帯端末４００で、異なる場所に設置された複数個のプリンタを撮像することも容易である。このように、撮像端末、特に、携帯型の撮像端末は、プリンタ２００のサポート情報の提供に適切なデバイスであると言うことができる。

プリンタ２００の不揮発性記憶装置２２０や、携帯端末４００の不揮発性記憶装置４２０にサポート情報を格納すると、容量制限の観点から十分なサポート情報が提供することが困難になる可能性がある。また、サポート情報を更新するために、煩雑な仕組み（例えば、更新ファイルのダウンロードなど）が必要になる可能性や、更新に伴う利用者の作業負担が増大する可能性がある。本実施例では、携帯端末４００は、サポート情報を、ネットワーク（例えば、インターネット７０）を介して接続されるサーバから取得するので、十分かつ最新の情報を利用者に容易に提供することができる。

また、サーバ６０が充実したサポート情報をＷＥＢサービスとして提供していても、サポート情報が利用者によって十分に活用されない可能性があった。例えば、多数のサポート情報を含むサポート情報群６５１の中から、所望のサポート情報に到達するのは、利用者にとって負担が大きい。例えば、複数の階層に分類された複数のＷＥＢページのリンクをたどって、所望のサポート情報を探す作業は、比較的煩雑である。本実施例によれば、撮像画像内の表示ランプの表示状態が、プリンタが第１の状態であることを示す場合に、第１のＵＲＬが取得され、撮像画像内の表示ランプの表示状態が、プリンタが第２の状態であることを示す場合に、第２のＵＲＬが取得される。この結果、複数個の表示ランプ１１〜１５を含む特定領域を撮像することによって、利用者は、容易に、撮像時のプリンタ２００の状態に関係するサポート情報を入手することができる。

また、複数個の表示ランプ１１〜１５の表示状態に基づいて、提供すべきサポート情報が表示されるので、提供すべきサポート情報を特定するための特別な情報（例えば、ＵＲＬやＱＲコード（登録商標）などの情報）を、プリンタ２００が予め保持する必要がない。この結果、特別な情報を持たない、既に出荷されたプリンタ２００のサポート情報であっても、当該出荷済みのプリンタの表示ランプの表示状態に基づいて、適切なサポート情報を容易に提供できる。

さらに、情報提供部３００は、プリンタ２００の種類の識別するための機種情報（製品情報）を取得し、撮像画像データの解析結果と、プリンタ２００の種類を表す機種情報と、に応じて、ＵＲＬを取得する。したがって、プリンタ２００の種類に応じて、適切な関係情報を携帯端末４００に表示することができる。例えば、プリンタの状態が同一であっても、プリンタの種類が異なれば、提供すべきサポート情報が異なる場合がある。例えば、トナー切れに関するサポート情報は、例えば、対応しているトナーの品番などが機種ごとに異なる場合がある。

さらに、情報提供部３００は、撮像画像データを解析することによって特定された表示ランプの少なくとも一部の表示状態の修正を利用者から受け付けることができる（図８のステップＳ５０、図９（Ｄ））。そして、表示状態の修正が利用者から受け付けられた場合には、修正結果に従って、表示ランプの表示状態が最終的に特定される。したがって、表示ランプの表示状態を精度良く特定して、適切なサポート情報を携帯端末４００に表示することができる。

情報提供部３００は、表示ランプの表示状態に「点滅」が含まれる場合には、第１の撮像画像データと、第１の撮像画像データが撮像されてから所定時間後に撮像される第２の撮像画像データとを取得する。そして、情報提供部３００は、これらの撮像画像データを解析することによって、点滅状態を含む前記表示ランプの表示状態を特定する。この結果、「点滅」を含む表示ランプの表示状態を適切に特定することができる。ここで、図６の撮像情報テーブルＤＴＣに示すように、上記の所定時間（撮像間隔）は、機種に応じて適切な時間が用いられる。すなわち、対象のプリンタが、第１種のプリンタである場合には、第１の所定時間が用いられ、対象のプリンタが、第２種のプリンタである場合には、第２の所定時間が用いられる。この結果、プリンタの機種に応じて、精度良く表示ランプの表示状態を特定することができる。また、図６の撮像情報テーブルＤＴＣに示すように、機種ごとに定められた適切な個数の撮像画像データが取得される。この結果、動画などの多数の撮像画像データを取得して解析する場合と比較して、解析負荷を抑制することができる。

さらに、情報提供部３００は、撮像画像補正処理（図１１）を実行して、撮像画像内の表示ランプの位置を補正するので、表示状態特定処理（図１４）において、表示ランプの表示状態を精度良く特定することができる。例えば、撮像時における利用者の手振れなどによって、撮像画像ＳＩ内の表示ランプの位置およびサイズが、目標位置およびサイズからずれていたとしても、表示ランプの表示状態を精度良く特定することができる。

Ｃ．変形例：
（１）上記実施例の情報提供処理では、識別情報取得部３６０は、携帯端末４００の不揮発性記憶装置４２０に格納されたＵＲＬテーブルＤＴ１からＵＲＬを取得しているが、これに代えて、サーバ６０からＵＲＬを取得しても良い。具体的には、識別情報取得部３６０は、図１に破線で示すように、状態情報送信部３６５を備えても良い。そして、図８の情報提供処理において、ステップＳ５５に代えて、ステップＳ５２Ａ〜Ｓ５６Ａが実行されても良い。ステップＳ５２Ａでは、識別情報取得部３６０は、特定された表示ランプの表示状態と、対象機種と、に基づいて、対象機種のプリンタの状態を取得する。例えば、識別情報取得部３６０は、ＵＲＬテーブルＤＴ１のうちの対象機種のテーブル（図４）を参照して、特定された表示ランプの表示状態に対応付けられたプリンタの状態を取得する。例えば、図４のテーブルＤＴ１ａが参照される場合であって、図３に示す複数個の表示ランプ１１〜１５の特定された表示状態が、「消灯」「黄の点滅」「消灯」「消灯」「緑の点灯」である場合には、プリンタの状態として「トナー残 少」が取得される。ステップＳ５４Ａでは、識別情報取得部３６０の状態情報送信部３６５は、プリンタの状態を示す状態情報と、対象機種を示す機種情報と、をサーバ６０に対して送信する。サーバ６０は、受信した状態情報と機種情報との組合わせに対応するＵＲＬを携帯端末４００に対して返信する。ステップＳ５６Ａでは、識別情報取得部３６０は、サーバ６０から、対応するＵＲＬを取得（受信）する。この場合には、サーバ６０において、サーバの管理者がサポート情報を提供するＷＥＢページを更新することによって、ＵＲＬが変更されても、携帯端末４００は、問題なくサポート情報を取得することができる。なお、ＵＲＬの取得元となるサーバと、サポート情報の取得元となるサーバとは、異なっても良い。

（２）上記実施例では、撮像回数は、１回または２回であるが、表示ランプが取り得る表示状態に応じて、１回または２回とは異なる回数であっても良い。図１６は、変形例における表示ランプの表示状態と撮像条件について説明する図である。変形例における表示ランプは、複数の点滅状態を含む複数の表示状態、具体的には、「点灯」「消灯」「第１の点滅」「第２の点滅」の４種類の表示状態を取り得る。「点灯」「消灯」は、第１実施例における同名の表示状態と同じである。「第１の点滅」は、第１の間隔ＬＴ１で、発光している状態と、発光していない状態とが繰り返される表示状態である。図１６（Ａ）に示すように、「第２の点滅」は、第２の間隔ＬＴ２で、発光している状態と、発光していない状態とが繰り返される表示状態である。第１の間隔ＬＴ１は、第２の間隔ＬＴ２より２倍以上長い。

この場合には、これらの４種類の表示状態を判断するために、特に、２種類の点滅状態を適切に判断するために、撮像間隔は、最小の点滅間隔、図１６の例では、第２の間隔ＬＴ２に設定される。そして、撮像回数Ｋは、撮像間隔（＝最小の点滅間隔）のＫ倍の時間が、少なくとも最長の点滅間隔、図１６の例では、第１の間隔ＬＴ１より長くなるように設定される。図１６の例では、（ＬＴ２×３）＞ＬＴ１＞（ＬＴ２×２）であるので、撮像回数は、少なくとも３以上に設定される。図１６（Ｂ）には、撮像間隔が第２の間隔ＬＴ２に設定され、撮像回数が３回に設定されている場合に、３個の撮像画像Ａ〜Ｃを解析して得られる特定結果に基づいて、最終的な特定結果の決定する方法が示されている。３個の撮像画像Ａ〜Ｃは、この順序（アルファベット順）で撮像されたものとする。

具体的には、３個の撮像画像Ａ〜Ｃの全てが「発光」である場合には、対象の表示ランプの表示状態は、「点灯」であると特定される。また、３個の撮像画像Ａ〜Ｃの全てが「発光していない」である場合には、対象の表示ランプの表示状態は、「消灯」であると特定される。また、３個の撮像画像Ａ〜Ｃに、「発光」である画像と、「発光していない」である画像と、の両方が含まれる場合には、対象の表示ランプの表示状態は、「第１の点滅」か「第２の点滅」のいずれかに特定される。すなわち、３個の撮像画像Ａ〜Ｃを時系列に並べた場合に、「発光」である画像と、「発光していない」である画像と、が交互に並ぶ場合には、対象の表示ランプの表示状態は、「第２の点滅」であると特定される。また、３個の撮像画像Ａ〜Ｃを時系列に並べた場合に、「発光」である画像が連続して２個並ぶ場合、または、「発光していない」である画像が連続して２個並ぶ場合には、対象の表示ランプの表示状態は、「第１の点滅」であると特定される。

このように、撮像回数は、機種ごとに異なる表示ランプが取り得る表示状態に応じて、１以上の各種の値に設定されても良い。一般的に言えば、対象のプリンタが、第１種のプリンタである場合には、Ｎ個（Ｎは、１以上の整数）の撮像画像データが取得され、Ｎ個の撮像画像データの解析によって、撮像画像内の表示ランプの表示状態が特定され、対象のプリンタが、第２種のプリンタである場合には、Ｍ個（Ｍは、Ｎ＜Ｍの整数）の撮像画像データが取得され、Ｍ個の前記撮像画像データの解析によって、撮像画像内の表示ランプの表示状態が特定されても良い。

（３）上記各実施例は、製品の例示としてプリンタをあげているが、これに代えて、他の電子機器、例えば、プリント機能とスキャナ機能を備えるスキャナ、単体のスキャナなどの他の電子機器であっても良い。

（４）上記実施例において、プリンタの機種を識別するための機種情報（製品情報）は、利用者による入力に基づいて取得されるが、これに代えて、撮像画像データの解析結果に基づいて、取得されても良い。この場合には、例えば、携帯端末４００の不揮発性記憶装置４２０には、プリンタの機種の特定領域１００の色分布を示すヒストグラムデータや周波数成分のデータが、参照データとして機種ごとに格納される。製品情報取得部３２０は、撮像画像データのヒストグラムデータや周波数成分のデータを、解析データとして作成する。製品情報取得部３２０は、解析データと参照データとの類似度を算出し、解析データとの類似度が最も高い参照データに対応する機種情報を取得する。解析データと参照データとの類似度を評価する手法は、例えば、特開２００１−１６７１１８号公報（画像の周波数成分を表す係数を、比較する手法）や、特開２００８−２３４３２７号公報（画像の色度を色度図上でヒストグラム化したヒストグラムデータを、比較する手法）に開示されている。上記実施例において、プリンタの機種を識別するための機種情報（製品情報）は、所望の機種に対応するラジオボタンＲＢが利用者に選択されることによって、取得されているが、型番などの機種情報が、携帯端末４００のボタンを介して利用者に入力されることによって、取得されても良い。

（５）上記実施例では、携帯端末４００とサーバ６０とが協働して、利用者に対するサポート情報の提供を実現しているが、携帯端末４００単体で、サポート情報を提供してもよい。この場合には、全ての対象機種の全ての項目のサポート情報が携帯端末４００の不揮発性記憶装置４２０に格納されても良い。この場合には、携帯端末４００の情報提供部３００は、撮像画像データに基づいて特定された表示ランプの表示状態に対応する識別情報（例えば、エラー項目名、不揮発性記憶装置２２０内におけるアドレス）に基づいて、不揮発性記憶装置４２０から対応するサポート情報を取得すれば良い。なお、これらのサポート情報は、プリンタ２００の不揮発性記憶装置２２０に格納されていても良い。この場合には、携帯端末４００は、例えば、プリンタのＩＰアドレスを特定することによって、サーバ６０に代えて、プリンタ２００からサポート情報を取得しても良い。

（６）なお、上記実施例では、関係情報として、エラーの解決方法などのサポート情報を例示している。これに限らず、関係情報は、プリンタの正常な状態に関係する情報、例えば、印刷処理の具体的な操作方法の説明や、各種設定項目の説明および設定項目の具体的な設定方法の説明であっても良い。また、これらの関係情報は、表示部４７０に表示される態様に限らず、別の態様で携帯端末４００から出力されても良い。例えば、音声によって、プリンタ２００の操作方法などの案内が関係情報として携帯端末４００から出力されても良い。

（７）なお、撮像画像データの解析結果に基づく表示状態の特定結果に対する利用者による修正の受け付けは、省略されても良い。すなわち、撮像画像データの解析結果に基づく表示状態の特定結果が、常に最終的な特定結果とされても良い。また、機種情報の取得は省略されても良い。すなわち、情報提供部３００は、１つの機種のための専用のアプリケーションプログラム（例えば、製品の付属プログラム）によって実現されても良い。

（８）また、表示状態情報テーブルＤＴＢに記録された各表示ランプが取り得る表示状態の情報（図５（Ｂ））は、上記実施例では、表示状態の特定結果に対する利用者による修正を受け付ける際のプルダウンメニューＰＭ（図９（Ｄ））の作成に使用されている。これに代えて、または、これとともに、これらの表示状態情報は、機種ごとに異なる特徴情報として、撮像画像データの解析に用いられても良い。例えば、撮像画像データを解析することによって特定された表示ランプの表示状態（図５（Ｂ））が、表示状態情報によって示された取り得る表示状態と異なる場合には、解析の結果が誤りである可能性が高い。この場合には、例えば、情報提供部３００は、利用者に対して、もう一度、撮像を促すことによって、撮像画像データを再取得しても良いし、利用者に対して特定結果が誤りであることを通知して、利用者による修正を促しても良い。このように、撮像画像データの解析に用いられる特徴情報は、特徴点情報テーブルＤＴＤに記述された特徴点の位置情報に限らず、機種ごとに異なる表示ランプに関する特徴を示す様々な情報が用いられ得る。

（９）また、上記情報提供処理に用いられる各種の情報、例えば、機種選択画像ＡＩ１に表示される機種情報の一覧や、図４〜図７に示す各種のテーブルに記録された情報は、予め不揮発性記憶装置４２０に格納されている。これに代えて、これらの情報は、必要に応じて、サーバ６０から取得されて、揮発性記憶装置４２５に一時的に格納されても良い。

（１０）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

（１１）本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含んでいる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１１〜１５...表示ランプ、３０...操作ボタン、５０...ＷＥＢブラウザ、５５...メイン制御部、６０...サーバ、６５...記憶部、７０...インターネット、１００...特定領域、１１０...装置制御部、１２０...ＵＩ制御部、２００...プリンタ、２１０...ＣＰＵ、２２０...不揮発性記憶装置、２２１...コンピュータプログラム、２３０...揮発性記憶装置、２３１...バッファ領域、２４０...印刷実行部、２６０...操作部、２７０...表示部、２８０...通信部、３００...情報提供部、３１０...画像データ取得部、３２０...製品情報取得部、３３０...特徴情報取得部、３４０...特定部、３５０...受付部、３６０...識別情報取得部、３６５...状態情報送信部、３７０...ブラウザ制御部、４００...携帯端末、４１０...ＣＰＵ、４２０...不揮発性記憶装置、４２５...揮発性記憶装置、４２７...バッファ領域、４３０...無線ＩＦ部、４５０...音声処理部、４６０...操作部、４７０...表示部、４９０...カメラ、６５１...サポート情報群、４４０...電話ＩＦ部、ＰＧ１...制御プログラム、ＰＧ２...情報提供プログラム、ＰＧ３...ブラウザプログラム、ＤＴ１...ＵＲＬテーブル、ＤＴ２...特徴情報テーブル

Claims (11)

1. 撮像部を含む撮像端末のためのコンピュータプログラムであって、
   前記撮像部による撮像の対象である対象製品上の特定領域を前記撮像部を用いて撮像することによって生成される撮像画像データを取得する画像データ取得機能であって、前記特定領域は、前記対象製品の状態を示す１個以上の表示ランプを含む、前記画像データ取得機能と、
   前記撮像画像データを解析することによって、前記撮像画像データによって表される撮像画像内の前記表示ランプの表示状態を特定する特定機能と、
   前記撮像端末のメモリに格納される対応テーブルを参照することによって、特定された前記表示ランプの表示状態に応じたＵＲＬを取得するＵＲＬ取得機能であって、前記対応テーブルは、第１の表示状態と第２の表示状態とを含む前記表示ランプの複数個の表示状態のそれぞれについて、対応する前記ＵＲＬが記録されたテーブルであり、前記ＵＲＬは、特定された前記表示ランプの表示状態に対応する前記対象製品の状態に関する情報である関係情報が格納されるサーバ内の格納領域の位置を示す、前記ＵＲＬ取得機能と、
   取得された前記ＵＲＬによって示される前記サーバ内の格納領域にネットワークを介してアクセスすることによって、前記関係情報を取得する関係情報取得機能と、
   取得された前記関係情報を前記撮像端末にて出力する出力制御機能と、
   を、前記撮像端末に搭載されたコンピュータに実現させ、
   前記ＵＲＬ取得機能は、
   特定された前記表示ランプの表示状態が前記第１の表示状態である場合に、前記対応テーブルから前記第１の表示状態に対応する第１のＵＲＬを取得し、
   特定された前記表示ランプの表示状態が前記第２の表示状態である場合に、前記対応テーブルから前記第２の表示状態に対応する第２のＵＲＬであって前記第１のＵＲＬとは異なる前記第２のＵＲＬを取得する、コンピュータプログラム。
2. 請求項１請求項に記載のコンピュータプログラムであって、
   前記サーバ内の格納領域は、前記第１のＵＲＬによって示される第１の格納領域と、前記第２のＵＲＬによって示される第２の格納領域であって前記第１の格納領域とは異なる前記第２の格納領域と、を含み、
   前記関係情報取得機能は、
   特定された前記表示ランプの表示状態が前記第１の表示状態である場合に、前記第１のＵＲＬに基づいて、前記第１の格納領域から、第１の関係情報を取得し、
   特定された前記表示ランプの表示状態が前記第２の表示状態である場合に、前記第２のＵＲＬに基づいて、前記第２の格納領域から、第２の関係情報を取得する、コンピュータプログラム。
3. 請求項１または請求項２に記載のコンピュータプログラムであって、さらに、
   前記対象製品の種類を識別するための製品情報を取得する製品情報取得機能を前記撮像端末に搭載されたコンピュータに実現させ、
   前記ＵＲＬ取得機能は、特定された前記表示ランプの表示状態と、前記製品情報と、に応じた前記ＵＲＬを、前記対応テーブルから取得する、コンピュータプログラム。
4. 請求項１ないし請求項３のいずれかに記載のコンピュータプログラムであって、さらに、
   前記撮像画像データを解析することによって特定された前記表示ランプの少なくとも一部の表示状態の修正を利用者から受け付ける受付機能を前記撮像端末に搭載されたコンピュータに実現させ、
   前記特定機能は、前記表示状態の修正が利用者から受け付けられた場合には、利用者による修正結果に従って、前記表示ランプの表示状態を特定する、コンピュータプログラム。
5. 請求項１ないし請求項４のいずれかに記載のコンピュータプログラムであって、
   前記画像データ取得機能は、第１の撮像画像データと、前記第１の撮像画像データが撮像されてから所定時間後に撮像される第２の撮像画像データと、を含む複数個の前記撮像画像データを取得し、
   前記特定機能は、複数個の前記撮像画像データを解析することによって、点滅状態を含む前記表示ランプの表示状態を特定する、コンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムであって、
   前記対象製品が、第１種の製品である場合には、前記画像データ取得機能は、前記第１の撮像画像データが撮像されてから第１の所定時間後に撮像される前記第２の撮像画像データを取得し、
   前記対象製品が、第２種の製品である場合には、前記画像データ取得機能は、前記第１の撮像画像データが撮像されてから第２の所定時間後に撮像される前記第２の撮像画像データを取得する、コンピュータプログラム。
7. 請求項５または請求項６に記載のコンピュータプログラムであって、
   前記対象製品が、第１種の製品である場合には、
   前記画像データ取得機能は、Ｎ個（Ｎは、１以上の整数）の前記撮像画像データを取得し、
   前記特定機能は、Ｎ個の前記撮像画像データを解析することによって、前記撮像画像内の前記表示ランプの表示状態を特定し、
   前記対象製品が、第２種の製品である場合には、
   前記画像データ取得機能は、Ｍ個（Ｍは、Ｎ＜Ｍの整数）の前記撮像画像データを取得し、
   前記特定機能は、Ｍ個の前記撮像画像データを解析することによって、前記撮像画像内の前記表示ランプの表示状態を特定する、コンピュータプログラム。
8. 請求項１ないし請求項７のいずれかに記載のコンピュータプログラムであって、さらに、
   前記対象製品の種類ごとに異なる前記表示ランプに関連する特徴を示す特徴情報を取得する特徴情報取得機能を前記撮像端末に搭載されたコンピュータに実現させ、
   前記特定機能は、前記特徴情報を用いて、前記撮像画像データを解析することによって、前記撮像画像内の前記表示ランプの表示状態を特定する、コンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムであって、
   前記特徴情報は、前記表示ランプを含む前記特定領域内の特徴点の位置を示す位置情報を含み、
   前記特定機能は、前記位置情報を用いて、前記撮像画像内の前記表示ランプの位置を補正する処理を含む解析処理を実行する、コンピュータプログラム。
10. 請求項１ないし請求項９のいずれかに記載のコンピュータプログラムであって、
    前記第１の表示状態は、前記対象製品が第１の状態であることを示し、
    前記第２の表示状態は、前記対象製品が前記第１の状態とは異なる第２の状態であることを示す、コンピュータプログラム。
11. 撮像部を含む撮像端末の制御装置であって、
    対象製品上の特定領域を前記撮像部を用いて撮像することによって生成される撮像画像データを取得する画像データ取得部であって、前記特定領域は、前記対象製品の状態を示す１個以上の表示ランプを含む、前記画像データ取得部と、
    前記撮像画像データを解析することによって、前記撮像画像データによって表される撮像画像内の前記表示ランプの表示状態を特定する特定部と、
    対応テーブルが格納されるメモリであって、前記対応テーブルは、第１の表示状態と第２の表示状態とを含む前記表示ランプの複数個の表示状態のそれぞれについて、対応するＵＲＬが記録されたテーブルであり、前記ＵＲＬは、特定された前記表示ランプの表示状態に対応する前記対象製品の状態に関する情報である関係情報が格納されるサーバ内の格納領域の位置を示す、前記メモリと、
    前記対応テーブルを参照することによって、特定された前記表示ランプの表示状態に応じた前記ＵＲＬを取得するＵＲＬ取得部と、
    取得された前記ＵＲＬによって示される前記サーバ内の格納領域にネットワークを介してアクセスすることによって、前記関係情報を取得する関係情報取得部と、
    取得された前記関係情報を前記撮像端末にて出力する出力制御部と、
    を備え、
    前記ＵＲＬ取得部は、
    特定された前記表示ランプの表示状態が前記第１の表示状態である場合に、前記対応テーブルから前記第１の表示状態に対応する第１のＵＲＬを取得し、
    特定された前記表示ランプの表示状態が前記第２の表示状態である場合に、前記対応テーブルから前記第２の表示状態に対応する第２のＵＲＬであって前記第１のＵＲＬとは異なる前記第２のＵＲＬを取得する、制御装置。

Images