JP2010016563A - 携帯端末 - Google Patents

Abstract

【課題】汎用の撮像手段として携帯端末を用いた場合であっても、対象機器の稼働状態の判別精度を向上させること。
【解決手段】この携帯電話機１は、撮像ユニット２８と、撮像ユニット２８によってキャプチャされている撮像範囲を表示するともに、対象機器Ａに対応した撮影ガイドマークを重畳表示する画像合成部５１と、撮影ガイドマークに従った撮像範囲内における状態表示部の位置及び表示状態に関する情報を対象機器Ａに関する稼働状態情報に対応付けて格納する稼働状態情報格納部５６と、撮像ユニット２８によって生成された画像フレームに基づいて、画像フレームにおける状態表示部の位置及び表示状態に対応する稼働状態情報を稼働状態情報格納部５６から抽出し、該稼働状態情報に基づいて対象機器Ａの稼働状態を判定する機器状態判別部５２と、稼働状態に対応する対処情報を出力する状態表示部５３とを備える。
【選択図】図２

Description

本発明は、対象機器の稼働状態を判定して出力する携帯端末に関するものである。

従来から、コンピュータ等の電子機器の異常状態や障害を、その電子機器の画像データに基づいて判別してユーザに通知する監視システムが知られている。この種の監視システムの詳細については下記特許文献１，２に記載されている。例えば、下記特許文献１に記載の現場監視装置は、監視対象機器の画像を撮影し、その画像に障害ランプの点灯や障害表示が写っていないかどうかを解析し、それに基づいて障害通報を送信する。また、下記特許文献２に記載の異常監視システムは、ロボットのセンサ部から送信される映像データ中の文字やＬＥＤが発する光を解析して被監視機器に異常が発生したかどうかを判別し、この判別結果に対応するメッセージを電子メールで送信する。
特開２００６−３３２７３３号公報 特開２００６−１１９７５６号公報

しかしながら、上記従来の監視システムにおいては、予め限られた種類の対象機器の監視を目的としており、対象機器を撮像するための撮像装置を対象機器の近くに常時設置することを想定している。従って、家庭内等の電子機器を対象としてその稼働状態を随時知りたいという場合であっても、撮像用専用機器を用意しなければならないので現実的ではなかった。

一方、このような場合に撮像素子を内蔵する携帯電話機等の汎用端末を用いて対象機器の画像データを取得して稼働状態を判別させようとすると、汎用端末による撮影条件が変動してしまう場合が多いので、判別の精度が著しく低下してしまうという問題があった。

そこで、本発明は、かかる課題に鑑みて為されたものであり、汎用の撮像手段として携帯端末を用いた場合であっても、対象機器の稼働状態の判別精度を向上させることが可能な携帯端末を提供することを目的とする。

上記課題を解決するため、本発明の携帯端末は、対象機器の画像データを取得して、該画像データに基づいて対象機器の稼働状態を判定して出力する携帯端末であって、対象機器の画像データを生成する撮像手段と、撮像手段によって設定されている撮像範囲を表示するともに、対象機器に対応した撮影ガイドを重畳表示する画像データ表示手段と、対象機器の撮影ガイドに従った特定の撮像範囲内における状態表示部の位置及び状態表示部の表示状態に関する情報を、対象機器に関する稼働状態を示す稼働状態情報に対応付けて格納する稼働状態情報格納手段と、撮像手段によって生成された画像データに基づいて、画像データにおける状態表示部の位置及び状態表示部の表示状態に対応する稼働状態情報を稼働状態情報格納手段から抽出し、該稼働状態情報に基づいて対象機器の稼働状態を判定する稼働状態判定手段と、状態判定手段によって判定された稼働状態に対応する情報を出力する稼働状態情報出力手段とを備える。

このような携帯端末によれば、撮像手段による撮像範囲と対象機器の操作パネルや表示パネル等に対応した撮影ガイドとが同時に表示されることにより、対象機器の撮影範囲がこの撮影ガイドによって調整されながら対象機器の画像データが取得される。そして、この画像データの中から状態表示部の位置及び表示状態が検出され、この位置及び表示状態に対応する稼働状態情報が稼働状態情報格納手段に格納されたデータから抽出されることにより、対象機器の稼働状態が判定されて、その判定結果に対応する情報が出力される。これにより、撮像素子を内蔵する汎用携帯端末を用いた場合でも状態表示部が適切な撮影範囲に設定された画像データに基づいて状態を判定することができるので、対象機器の稼働状態の判定精度を向上させることができる。

画像データ表示手段は、対象機器の撮像時間に関する情報を併せて表示する、ことが好ましい。こうすれば、対象機器の状態表示部の表示状態を判別する際の判別精度をさらに向上させることができる。

また、画像データを予め格納する画像データ格納手段をさらに備え、画像データ表示手段は、画像データ格納手段に格納された画像データを重畳表示する、ことも好ましい。かかる構成を採れば、対象機器の画像データの例等を表示することで、より適切な撮影範囲及び撮影条件で画像データを取得することができる。

さらに、状態判定手段は、撮像手段による画像データの生成時に、画像データの品質をさらに判断し、画像データ表示手段は、画像データの品質の判断結果に応じて、画像データの再取得を促す情報を表示する、ことも好ましい。この場合、撮影環境が変化して対象機器の画像データの品質が劣化したような場合でも、再度画像データの取得を促すことで対象機器の稼働状態の判別精度を維持することができる。

本発明によれば、汎用の撮像手段として携帯端末を用いた場合であっても、対象機器の稼働状態の判別精度を向上させることができる。

以下、図面とともに本発明による移動通信端末の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明にかかる携帯端末の好適な一実施形態である携帯電話機１を含む電子機器監視システム１０の概略構成図であり、図２は、図１の携帯電話機の機能構成を示すブロック図である。これらの図に示す携帯電話機１は、図示しない無線基地局装置を介して、ＩＭＴ２０００（International Mobile Telecommunications 2000）やＰＤＣ（Personal DigitalCellular）等の移動体通信方式が採用された移動体通信網ＮＷとの間でデータの送受信が可能にされた通信端末である。この携帯電話機１は、プリンタやパーソナルコンピュータ等の電子機器である対象機器Ａの稼働状態をその画像データを基に判定し、その判定結果をユーザＢに提示するための機能を有する。また、携帯電話機１は、移動体通信網ＮＷを介して、移動体通信網ＮＷに接続されたサーバ装置２からプログラムＰを予めダウンロード可能に構成され、このプログラムＰを動作させることによって上記機能を発揮させることが可能である。なお、図１においては対象機器Ａを１台図示しているが、複数台を同時に監視対象としてもよい。

ここで、携帯電話機１の機能構成を説明する。図２に示すように、携帯電話機１は、機能的には、画像合成部（画像データ表示手段）５１と、機器状態判別部（稼働状態判定手段）５２と、状態表示部（稼働状態情報出力手段）５３と、ガイド画像格納部（画像データ格納手段）５５と、稼働状態情報格納部（稼働状態情報格納手段）５６、状態表示部配置情報格納部５７と、対処情報格納部５８とを含んで構成されている。これらの全ての機能部５１〜５８は、プログラムＰを読み込むことによって携帯電話機１内で動作する機器監視部５を構成している。

また、図３は、携帯電話機１のハードウェア構成図である。携帯電話機１は、物理的には、同図に示すように、ＣＰＵ２１、主記憶装置であるＲＡＭ２２及びＲＯＭ２３、ハードディスク装置、メモリカード等の補助記憶装置２５、入力デバイスである入力キー、マイク等の入力装置２６、スピーカ、ディスプレイ等の出力装置２７、移動通信方式によるデータの送受信を司る移動通信モジュール２４、ＣＣＤ、ＣＭＯＳ等を含むカメラユニット（撮像手段）である撮像ユニット２８などを含む端末装置として構成されている。図２において示した各機能は、図３に示すＣＰＵ２１、ＲＡＭ２２等のハードウェア上に所定のプログラムＰを読み込ませることにより、ＣＰＵ２１の制御のもとで移動通信モジュール２４、入力装置２６、出力装置２７、撮像ユニット２８を動作させるとともに、ＲＡＭ２２や補助記憶装置２５におけるデータの読み出し及び書き込みを行うことで実現される。

以下、図２を参照しながら、携帯電話機１の各構成要素について詳細に説明する。

画像合成部５１は、ユーザＢにより撮像ユニット２８を用いて対象機器Ａの画像データが撮像される際に、出力装置２７に撮像ユニット２８によって撮像範囲として設定されている対象機器Ａの画像を出力装置２７に表示させる。すなわち、この撮像範囲が撮像ユニット２８によって生成される画像データのフレームに該当している。具体的には、画像合成部５１は、撮像ユニット２８によって捕捉（キャプチャー）されている画像をフレーム画像毎に随時モニターし、そのフレーム画像を出力装置２７に表示させる。

さらに、画像合成部５１は、このような対象機器Ａの撮像範囲のフレーム画像に、対象機器Ａに対応した撮影ガイドマークを重畳して表示させる。このとき、画像合成部５１は、撮影ガイドマークの表示位置及び幅を、ガイド画像格納部５５に格納されたデータを参照することにより決定する。図４は、ガイド画像格納部５５に格納されたデータの構成を示す図である。このようにガイド画像格納部５５には、対象機器“プリンタＡ”に対応したガイドマーク表示開始位置“（Ｘ１，Ｙ１）”とガイドマーク表示幅“（ΔＸ１，ΔＹ１）”が格納されている。画像合成部５１は、ユーザＢによって“プリンタＡ”が判定対象として選択されている場合には、撮像範囲として設定されたフレーム画像に、ガイドマーク表示開始位置“（Ｘ１，Ｙ１）”及びガイドマーク表示幅“（ΔＸ１，ΔＹ１）”で決まるフレーム画像上の位置及び大きさを有する撮影ガイドマークを重畳させる。図５は、画像合成部５１によって重畳されたフレーム画像及び撮影ガイドマークの表示例を示す。これにより、ユーザＢは、撮影ガイドマークＧ１の位置と対象機器Ａのフロントパネル等の位置とを合致させることで、汎用の携帯電話機１を用いても撮像範囲のズレの少ない画像データを生成させることができる。

また、画像合成部５１は、対象機器Ａの画像データを動画像データとして取得する場合には、残りの撮影時間を出力装置２７に併せて随時表示させてもよい。具体的には、画像合成部５１は、ガイド画像格納部５５を参照して対象機器Ａ“プリンタＡ”に対応する撮影時間“10sec”を読み出し、フレーム画像及び撮影ガイドマークに併せて撮影時間Ｇ２（図５参照）を表示する。これにより、対象機器Ａのフロントパネル上のＬＥＤ等の状態表示部の点滅状態に基づいて稼働状態を判定する際の判定精度を高めることができる。さらに、対象機器Ａの撮影例を示す画像データをガイド画像格納部５５に予め格納しておいて、画像合成部５１が、その画像データをフレーム画像及び撮影ガイドマークに重畳させて出力装置２７に表示させてもよい。また、このような画像データをリファレンス画像として、撮像ユニット２８によって捕捉（キャプチャー）されているフレーム画像とは別に撮影前のタイミングで表示させてもよい。このようにすれば、ユーザＢが視覚的に確認しながら、又は確認した後により適切な撮影範囲及び撮影条件で対象機器Ａを撮影することができる。

機器状態判別部５２は、画像合成部５１による表示制御に伴って撮像ユニット２８によって生成された対象機器Ａのフレーム画像に基づいて、対象機器Ａの稼働状態を判定する。このとき、機器状態判別部５２は、稼働状態情報格納部５６及び状態表示部配置情報格納部５７を参照しながら対象機器Ａの稼働状態を判定する。

図６及び図７は、状態表示部配置情報格納部５７及び稼働状態情報格納部５６に格納されたデータの構成を示している。このように、状態表示部配置情報格納部５７には、対象機器Ａが撮影ガイドマークに合わせて撮像された場合を想定して、撮像範囲内における電源ランプやエラーランプ等の状態表示部の位置を示す位置情報が、対象機器Ａの種類毎に格納されている。また、稼働状態情報格納部５６には、対象機器Ａのそれぞれの状態表示部毎に、その状態表示部の点滅状態と、対象機器Ａの稼働状態を示す稼働状態情報とが対応付けて格納されている。例えば、状態表示部配置情報格納部５７には、対象機器“プリンタＡ”の状態表示部“エラーランプ”に対応する位置情報として“（Ｘ５，Ｘ５）”が格納され、稼働状態情報格納部５６には、その状態表示部“エラーランプ”の点滅状態が“点滅周期2sec”に対応する稼働状態情報として“給紙ユニット異常”が格納されている。

そこで、機器状態判別部５２は、状態表示部配置情報格納部５７における状態表示部毎の位置情報を参照することによって、対象機器Ａのフレーム画像から判定対象の状態表示部の画像ブロックを切り取った後に、その状態表示部の画像ブロックから状態表示部の点滅状態（表示状態）を特定する。そして、機器状態判別部５２は、稼働状態情報格納部５６の中から判定対象の状態表示部の名称に対応するデータを抽出し、抽出したデータの中から点滅状態が一致するデータをさらに特定する。そして、機器状態判別部５２は、特定したデータに含まれる稼働状態情報を状態表示部５３に出力する。具体的には、対象機器Ａのフレーム画像中において状態表示部“エラーランプ”の点滅状態が“点滅周期2sec”であると特定された場合には、機器状態判別部５２は、対象機器“プリンタＡ”の稼働状態を“給紙ユニット異常”と判断する。

状態表示部５３は、機器状態判別部５２から受け取った稼働状態情報を、その稼働状態に対応して対処情報格納部５８に格納された対処情報に変換して、出力装置２７に表示させる。例えば、状態表示部５３は、稼働状態情報“用紙切れ”を対処情報“用紙補給せよ”に変換して出力させ、稼働状態情報“給紙ユニット異常”を“修理手配せよ”に変換して出力させる。また、状態表示部５３は、対処情報を稼働状態情報に付加して出力してもよい。

次に、図８を参照して、携帯電話機１における電子機器監視方法について詳述する。図８は、携帯電話機１による対象機器Ａの稼働状態の判定時の動作を示すフローチャートである。

まず、携帯電話機１に予めダウンロードされたプログラムＰの起動指示をユーザＢから受け付けると、携帯電話機１内において機器監視部５（図２）の機能が起動する（ステップＳ１０１）。次に、機器監視部５の制御によって対象機器Ａの選択を促す情報が出力装置２７に表示され、ユーザＢから入力装置２６を経由して対象機器Ａの種類に対する選択入力が受け付けられる（ステップＳ１０２）。その後、機器監視部５と撮像ユニット２８との連携により、ユーザＢからの撮影開始指示入力に応じて対象機器Ａの画像の撮影が開始される（ステップＳ１０３）。

撮影が開始される際には、画像合成部５１により、対象機器Ａの種類に対応する撮影ガイドマークの位置及び幅がガイド画像格納部５５から読み出されることにより、撮像ユニット２８の撮影範囲として捕捉（キャプチャー）されている画像に重畳して撮影ガイドマークが表示される（ステップＳ１０４）。このとき、画像合成部５１により、捕捉されている画像及び撮影ガイドマークに重畳して、対象機器Ａの稼働状態の判定に必要な残りの撮影時間を示す情報も表示される（ステップＳ１０５）。

その後、撮像ユニット２８により対象機器Ａの画像フレームが取得されると（ステップＳ１０６）、機器状態判別部５２により、この画像フレームと状態表示部配置情報格納部５７に格納されたデータに基づいて、画像フレーム内の状態表示部の位置が認識される（ステップＳ１０７）。次に、機器状態判別部５２によって、この画像フレーム中の画像表示部の点滅状態が特定される（ステップＳ１０８）。そして、機器状態判別部５２によって、特定された点滅状態に基づいて稼働状態情報格納部５６が参照されることにより、対象機器Ａの稼働状態が判定される（ステップＳ１０９）。最後に、状態表示部５３によってこの稼働状態に対応する対処情報が出力装置２７に表示される（ステップＳ１１０）。

以上説明した携帯電話機１によれば、撮像ユニット２８による撮像範囲と対象機器Ａの操作パネルや表示パネル等に対応した撮影ガイドマークとが同時に表示されることにより、対象機器Ａの撮影範囲がこの撮影ガイドマークによって調整されながら対象機器Ａの画像フレームが取得される。そして、この画像フレーム中から電源ランプやアラームランプ等の状態表示部の位置及び表示状態が検出され、この位置及び表示状態に対応する稼働状態情報が稼働状態情報格納部５６に格納されたデータから抽出されることにより、対象機器Ａの稼働状態が判定されて、その判定結果に対応する対処情報がユーザＢに対して提示される。これにより、撮像素子を内蔵する汎用携帯端末を用いた場合でも状態表示部が適切な撮影範囲に設定された画像フレームに基づいて状態を判定することができるので、対象機器Ａの稼働状態の判定精度を向上させることができる。その結果、家庭内のように様々な種類の電子機器の稼働状態の監視が随時要求される場合であっても、個々の電子機器及び個々のユーザの汎用携帯端末に対応して精度良く稼働状態を判定することができ、家庭内の電子機器の故障に対する迅速な対処が可能になる。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、機器状態判別部５２は、撮像ユニット２８によって生成された画像フレームの品質をさらに判断し、画像合成部５１が、その判断結果に応じて撮像ユニット２８による画像フレームの再生成を促すメッセージを重畳表示させるように動作してもよい。この場合、ユーザＢに対して再度対象機器Ａを撮影するように促してもよいし、撮像ユニットに２８よる画像フレームの補正を促すようにしてもよい。このような画像フレームの品質の例としては、画像データ中のモアレ、ピンぼけ、手ぶれ等を検出したり、画像データ中のＳＮＲ値を検出したりすることが挙げられる。

また、機器状態判別部５２は、対象機器Ａの画像フレームから液晶表示パネル等の情報表示部の画像ブロックを抽出し、その画像ブロックに基づいて文字認識を行うことによって稼働状態を判定してもよい。

また、本発明にかかる携帯端末としては、携帯電話機以外にもＰＤＡ（Personal Digital Assistants）やＰＨＳ（Personal Handyphone System）等の撮像ユニットを内蔵する携帯端末機器を使用してもよい。

本発明にかかる携帯端末の好適な一実施形態である携帯電話機を含む電子機器監視システムの概略構成図である。 図１の携帯電話機の機能構成を示すブロック図である。 図１の携帯電話機のハードウェア構成を示すブロック図である。 図２のガイド画像格納部に格納されたデータの構成を示す図である。 図２の画像合成部によって重畳されたフレーム画像及び撮影ガイドマークの表示例を示す図である。 図２の状態表示部配置情報格納部に格納されたデータの構成を示す図である。 図２の稼働状態情報格納部に格納されたデータの構成を示す図である。 図１の携帯電話機の動作を示すフローチャートである。

符号の説明

１…携帯電話機、２８…撮像ユニット（撮像手段）、５１…画像合成部（画像データ表示手段）、５２…機器状態判別部（稼働状態判定手段）、５３…状態表示部（稼働状態情報出力手段）、５５…ガイド画像格納部（画像データ格納手段）、５６…稼働状態情報格納部（稼働状態情報格納手段）、Ａ…対象機器、Ｂ…ユーザ、Ｇ１…撮影ガイドマーク、Ｇ２…撮影時間。

Claims (4)

1. 対象機器の画像データを取得して、該画像データに基づいて前記対象機器の稼働状態を判定して出力する携帯端末であって、
   前記対象機器の画像データを生成する撮像手段と、
   前記撮像手段によって設定されている撮像範囲を表示するともに、前記対象機器に対応した撮影ガイドを重畳表示する画像データ表示手段と、
   前記対象機器の前記撮影ガイドに従った特定の撮像範囲内における状態表示部の位置及び前記状態表示部の表示状態に関する情報を、前記対象機器に関する稼働状態を示す稼働状態情報に対応付けて格納する稼働状態情報格納手段と、
   前記撮像手段によって生成された前記画像データに基づいて、前記画像データにおける前記状態表示部の位置及び前記状態表示部の表示状態に対応する前記稼働状態情報を稼働状態情報格納手段から抽出し、該稼働状態情報に基づいて前記対象機器の稼働状態を判定する稼働状態判定手段と、
   前記状態判定手段によって判定された稼働状態に対応する情報を出力する稼働状態情報出力手段と、
   を備えることを特徴とする携帯端末。
2. 前記画像データ表示手段は、前記対象機器の撮像時間に関する情報を併せて表示する、
   ことを特徴とする請求項１記載の携帯端末。
3. 画像データを予め格納する画像データ格納手段をさらに備え、
   前記画像データ表示手段は、前記画像データ格納手段に格納された前記画像データを重畳表示する、
   ことを特徴とする請求項１又は２記載の携帯端末。
4. 前記状態判定手段は、撮像手段による前記画像データの生成時に、前記画像データの品質をさらに判断し、
   前記画像データ表示手段は、前記画像データの品質の判断結果に応じて、前記画像データの再取得を促す情報を表示する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の携帯端末。

Images