JP4122897B2 - 情報端末装置、情報サービスシステム、設定方法及びプログラム - Google Patents

情報端末装置、情報サービスシステム、設定方法及びプログラム Download PDF

Info

Publication number
JP4122897B2
JP4122897B2 JP2002241433A JP2002241433A JP4122897B2 JP 4122897 B2 JP4122897 B2 JP 4122897B2 JP 2002241433 A JP2002241433 A JP 2002241433A JP 2002241433 A JP2002241433 A JP 2002241433A JP 4122897 B2 JP4122897 B2 JP 4122897B2
Authority
JP
Japan
Prior art keywords
information
terminal device
unit
authentication
processing server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002241433A
Other languages
English (en)
Other versions
JP2004078803A (ja
Inventor
泰浩 伴
雅弘 山本
信明 村林
利彦 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002241433A priority Critical patent/JP4122897B2/ja
Publication of JP2004078803A publication Critical patent/JP2004078803A/ja
Application granted granted Critical
Publication of JP4122897B2 publication Critical patent/JP4122897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ガス、電気、水道などの保安監視システムやセンシング情報又は機器制御を行うシステムで用いられる情報端末装置、情報サービスシステム、設定方法及びプログラムに関するものである。
【0002】
【従来の技術】
ガスメータの保守管理を行うシステムは、集中監視システム、または自動検針システムと呼ばれ導入が進んでおり、ノーリンリンギング回線を利用し、前記回線で着信可能なTNCUと呼ばれるモデム装置を利用し、ガスメータと電話回線を結び、ガス業者の集中監視センターよりガスメータを遠隔制御、または自動検針できるようにしたものである。またTNCUと、ガスメータの接続を有線ではなく、無線端末を利用し接続するようにしたものもあり導入が進んでいる。
【0003】
また近年、ガス等の生活機器の保守管理に関する情報を家庭内に報知するようにしたシステムが存在する。このようなシステムは、情報端末装置を各ユーザの宅内に設置し、ガスメータから受信した検針情報に加えて、ガス漏れ等の異常情報を、宅内の情報端末装置によってユーザに報知すると共にインターネット回線網等を通じて情報管理サーバ装置に移送することにより、これに対応した保守管理サービス情報を受信するようにしたものである。
【0004】
また、このような機器利用の促進を図るため、前記情報端末装置を利用して様々なサービス提供が行われてきている。
【0005】
これら付随するサービスとしては、例えば、ガスメータ等の保守管理サービスに加え、家の警備等を行うセキュリティサービス、或いは、ガス料金の通知や各種生活関連の情報、たとえば料理に関するレシピ等のコンテンツ情報を情報端末装置の画面等に報知するコンテンツサービスなどがある。そしてこれらの各種情報は情報端末装置にダウンロードされ、ユーザによって利用される。
【0006】
【発明が解決しようとする課題】
ところが、情報端末装置を設置し宅内の異常をカメラで撮影し監視を行うサービスを提供する場合、情報端末装置にカメラを備え、異常を検知した時にカメラで撮影した画像情報を情報処理サーバ装置へ通報するサービスを提供する。しかし情報端末装置を設置する部屋以外でカメラを使用して監視を行いたい場合対応できないという課題があった。また通報先の情報処理サーバ装置に画像情報を通信する為には、サービスの正規ユーザーを認証する必要があるが、情報処理端末装置からの通報のみでしか認証処理できないという課題があった。
【0007】
【課題を解決するための手段】
そこで本発明は、このような課題を解決するために、保安監視、機器制御等を行う情報端末装置に、カメラを接続するインターフェイス部を設け、前記画像撮影装置に認証情報記録部を設け、情報処理端末装置に備えるサービスを利用するためのユーザー認証情報を記録できるようにしている。このようにすることでカメラでセキュリティ監視を行うサービスを、情報端末装置以外の情報機器に接続し、ユーザー認証できるようにすることでサービスの利便性を高めたものである。
【0008】
ここで、情報端末装置で利用できるサービスとは、例えば地域に関する情報や、料理のレシピ情報、商品の販売情報、ガス料金情報などユーザに役立つ様々な情報提供サービスや、侵入検知センサ、緊急コール、ガス漏れ警報機、火災警報機などのセキュリティ情報、保安監視センサからの異常検知情報を管理サービス会社へ通報したり、ユーザーの携帯電話に通報するセキュリティサービスや、携帯電話やパソコンなどで遠隔地より情報端末装置に接続された機器、たとえば洗濯機、エアコン、給湯器、電子レンジ、冷蔵庫、炊飯器などの家電機器に対して制御を行ったり、家電機器の状態を閲覧したり、家電機器に対応した情報をダウンロードするサービスや、ガス、電気、水道などのエネルギー媒体の供給の安全を監視し、使用量を計測し遠隔地で検針する保安監視サービスなどである。
【0009】
このようにすることで、アプリケーション装置であるカメラに認証情報を記録する認証情報記録部を持つので、認証情報を記録して他の情報機器でアプリケーションサービスを利用できるようになるので利便性が高まる。
【0010】
【発明の実施の形態】
請求項1の発明は、センサから受信するセンシング情報、又は機器への制御情報などを処理する情報処理部と、前記情報を保持・記憶する為の情報記憶部と、通信回線を介して通信する送受信部と、前記認証情報記録部を備えた画像撮影装置と、前記画像撮影装置を接続するインターフェイス部を備えた情報端末装置と、前記画像撮影装置で記録した画像情報を蓄積する情報処理サーバ装置とを備えたシステムであって、前記画像撮影装置を情報端末装置のインターフェイス部に接続し、前記画像撮影装置の認証記録部にユーザの認証情報を記録し、取り外された前記画像撮影装置を広域通信網に接続されたPCなどの情報機器に接続して、前記情報機器上で動作するソフトウェア制御手段によって前記認証情報記録部に記録された認証情報を読み出し、前記情報処理サーバ装置ユーザーの認証処理を行い、前記情報機器に接続された前記画像撮影装置で撮影された画像情報を前記情報機器から情報処理サーバ装置へ報知する情報サービスシステムである。
【0017】
この構成によれば、画像撮影装置の認証情報記録部に情報端末装置より記録した認証情報を用いて、他の情報機器などで動作するソフトウェアより認証情報を読み出し、情報処理サーバ装置が提供するアプリケーションサービスが利用できるようになり、画像撮影装置で異常検知時などに記録した画像情報を、情報端末装置からだけでなく他の情報機器からも送信し、前記サーバ装置に蓄積記録することができるようになり、サービス性、利便性が向上する。
【0028】
【実施例】
以下本発明の実施例を図を参照しながら説明する。
【0029】
(実施例1)
図1に示す本システムは、家庭内に設置される情報端末装置2に、メータ1やセンサ4などと通信する機能を持たせ、検針情報、異常情報を情報端末装置2を介して、サービス業者の情報処理サーバ装置3と通信し、保安監視サービスや情報サービスを行うようにしている。情報処理サーバ装置3と、ガス業者集中監視センター8は通信回線で接続され検針情報、ガス異常情報、または無線通信で接続される機器制御情報、機器状態情報等を通信する。
【0030】
また情報端末装置2は、情報処理サーバ装置3よりコンテンツ情報や、情報端末装置2への設定情報などをダウンロードする機能を持ち、ダウンロードした情報を情報端末装置2でユーザが利用できるコンテンツ情報に加工、記憶して、情報サービスを行うと共に、ガス異常などの各種異常情報を情報端末装置2に表示したり、情報処理サーバ装置1へ通報処理する機能を備えている。さらに、情報端末装置2は、定期的に、指定日時に情報処理サーバ装置3より、コンテンツ情報や、設定情報をダウンロードする機能を備える。
【0031】
設定情報とは、情報端末に設定する情報、たとえばコンテンツをダウンロードする日時、コンテンツを利用するときに接続するISP(インターネットサービスプロバイダ)の電話番号、PPP(Point To Point Protocol)接続用のユーザー認証情報であるID、パスワード、さらにDNS(ドメインネームシステム)サーバのIPアドレスまたは利用するンテンツサービスのアプリケーションサーバのURI(Uniform Resource Identifier)やアプリケーション利用用ユーザー認証情報であるID、パスワードなどである。また情報端末装置2に接続される機器が何であるかを示す情報、ID情報、無線通信の場合の無線チャンネルや間欠受信間隔や送信時間などの通信条件、異常を検知した時の発呼先、情報端末装置の動作を規定する動作条件などが挙げられる。またガス、電気、水道などのエネルギー供給を管理する機器への異常情報ごとの発呼有無や、報知内容を規定する制御設定情報などである。
【0032】
さらに情報端末装置2と無線装置5a間で無線通信を行う無線装置5aを接続し、無線通信により情報端末装置2を介して電話回線に接続される。電話回線を利用してインターネット網を介して検針値や、ガス異常情報を通信するシステムを構成している。また本システムは、宅内などに設置される端末機器である、ガスメータ、電力メータ、水道メータなどのエネルギー供給の安全監視を行うメータ1、留守中の侵入者を検知する侵入センサ、または人感センサ、火災センサ、ガス漏れセンサ、COセンサなどのセンサ4、洗濯機、炊飯器、電子レンジ、冷蔵庫、エアコン、給湯器、掃除機などの機器9と無線によって通信を行いセンシング情報、制御情報、状態情報を通信する機能を有する。そして情報端末装置2に、メモリである認証情報記録部314を備えた画像撮影装置(CCDカメラ、以下CCDカメラと呼ぶ)313を接続するインターフェイス部を備え、情報端末装置に保持する認証情報を認証情報記録部314に保存し、前記認証情報記録部314を他の情報機器に接続し、情報処理サーバ装置3にアクセス認証し、情報端末装置2の設置される場所以外の場所においても、CCDカメラ313を利用したセキュリティサービス等を利用できるようにしたものである。
【0033】
このため、本システムにおいては、メータ1や情報端末装置2、情報処理サーバ装置3などによって以下のようにシステムを構築している。
【0034】
メータ1、センサ4、機器9と情報端末装置2の間を無線伝送路によって接続するとともに、情報端末装置2と情報処理サーバ装置3などの間を、情報通信回線網によって接続可能にする。そしてこの情報端末装置2に、電子注文するための商品情報や、ユーザに対するメール情報、広告情報、料理のレシピ等のコンテンツ情報を表示させるとともに、メータ1やセンサ4側から送信されてきた異常情報、例えば、ガス漏れ等を警告するためのガス保安情報や、その家屋への侵入者を知らせるための侵入検知、異常状態が発生した時または定常的に所定の部屋を撮影監視するセキュリティ情報などを表示させる機能、そして機器9の動作ON/OFFや運転状態を表示する機能を持たせている。
【0035】
メータ1は、家庭毎、もしくは集合住宅等に設置されるもので、ガス漏れ等の異常情報や、検針情報を情報端末装置2に出力する機能を有するものである。具体的に説明すると、図示はしないが内部にガス開閉用弁の付帯したガス管、ガス開閉弁用のアクチュエータ、ガス自動遮断機構、自動検針機構を少なくとも備える。ガス自動遮断機構は、ガス漏れ等の異常を検知した場合に、自動的にガス開閉用弁を閉止する機能アルゴリズムを備えるものであり、自動検針機構は、内部のガス管を流れるガスの流量を計測し、これを電気的なデータに変換して出力し検針することができるものである。そして、少なくとも自動検針情報の送出や、ガス漏れ時の異常発呼の処理を行うために、当該メータ1は図2に示すようにCPU1aやメモリ1b、ガスの供給圧力を監視する圧力センサ、地震を検知する感震センサなどのセンサ1cや無線装置1dなどの必要なハードリソースを備えている。無線装置1dは、次に述べる情報端末装置2の無線装置2eとの間でワイヤレスで通信可能な有効伝送距離内に設置されているものである。なお無線装置1dは、図示はしないが、メータ1と別々に設けて構成してもよい。
【0036】
情報端末装置2は、家庭内(好ましくは台所付近)に設置されるもので、コンテンツ情報、異常情報等、機器の運転情報・センシング情報等を受信し、情報端末装置2を経由して通信される機器への設定を、他の情報機器からでも可能にする機能を備える。そのため情報端末装置2は情報処理サーバ装置3にアクセスしアプリケーション利用する時の認証情報(ID、パスワードなど)を、インターフェイス部に認証情報記録部314を備えたCCDカメラ313を接続して、前記認証情報を読み出し他の情報機器でもアプリケーションサービスが利用できる機能を備えるようにしたものである。例えば、CCDカメラ313を利用したアプリケーションに、セキュリティ監視がある。通常情報端末装置2が設置されるリビングや台所付近を撮影し監視しているが、離れた駐車場に設置される自家用車に設置した情報機器に前記認証情報記録部314を備えたCCDカメラ13を接続すると、特定の設定をすることなくセキュリティ監視のアプリケーションサービスを利用できるものである。車以外にも携帯電話やPDAに前記CCDカメラ313を接続し、簡単に認証情報を付属の認証情報記録部より、情報処理サーバ装置3の認証情報を読み出し、アプリケーションサービスを利用できるようにし、例えば画像を蓄積させるサービスや、画像を所定のアドレスやメール先に転送するサービスなどを簡単に提供できるようになる。また複雑な設定なしにどこでもCCDカメラ313を利用したサービスを提供できるようになる。但し、上記サービスを提供できる環境としてCCDカメラ313を接続する情報機器には、インターネットに接続する機能、又は情報端末装置2と無線通信する通信手段を備えるものである必要がある。また情報端末装置2は、図2に示すようにCPU2a、メモリ2b、flashROM(Read Only Memory)、ROM、HDD(Hard Disk Drive)などの外部記憶装置2dの他に、ディスプレイ2cやボタン、タッチパネル等のユーザインターフェースで入力装置2f、無線装置2e、モデムやイーサネット(登録商標)などの通信インターフェース2gなどのハードリソースを具備し、これらを協働させて、図3に示すような送受信部300、ダウンロード処理301、情報記憶部302、第2の情報記憶部303、コンテンツ情報処理部304、認証情報処理部305、表示部306、設定情報処理部307、インターフェイス部308、記録媒体情報処理部309、無線通信部310、操作部311、異常情報処理部312を機能させている。
【0037】
送受信部300は、当該情報端末装置2をインターネット網若しくは電話回線網などの外部への通信網に接続して、図4に示すように、情報処理サーバ装置3やとの間でデータ送受信可能な状態を実現する。具体的には、図3において送受信部300は、NCU(ネットワークコントロールユニット)6aを介してISP(インターネットサービスプロバイダ)7にダイヤルアップ接続(PPP(Point to Point Protocol)接続)し、そこからインターネット網を通じて情報処理サーバ装置3にTCP/IP接続することができるものであり、また、電話回線網を介して直接に情報処理サーバ装置3に接続されたNCU6bにダイヤルアップ接続することもできるものである。
【0038】
ダウンロード処理部301は、インターネット網もしくは電話回線の直接接続を介し、TCP/IP接続によって情報処理サーバ装置3より送信されるコンテンツ情報、設定情報を受信処理する機能を提供している。ダウンロード処理部301は、時刻情報をもとに予め情報端末装置2に設定された時刻になるとダウンロード情報要求電文を情報処理サーバ装置3へ送信し、アプリケーションサービスを利用するユーザID、パスワードを認証した後、ユーザ毎に更新されたコンテンツ情報、設定情報をダウンロード処理し、情報記憶部302に一時記憶する。
【0039】
情報記憶部302は、メモリ2bで構成される。前述したようにダウンロード処理された情報を一時的に記憶したり、情報端末装置2で実行処理されるプログラム、プロセスを展開する作業領域として使用されるものである。情報記憶部302上に展開されたプロセス等はその処理を停止した場合、その処理に動的に割り当てられメモリ空間を開放し、別のプロセスが次に起動された時使用できるようになる。また、電池などでバックアップされるメモリ(たとえばSRAM)には、認証情報であるユーザーID、パスワードや、端末固有に保持される端末IDや、情報端末装置2と無線通信する機器の機器ID等が記憶され保持される。また認証情報は情報端末装置2と情報処理サーバ装置3で互いに保持する鍵情報などであってもよい。さらに個人を識別する情報であれば、指紋情報、網膜情報などどのような情報であってもよい。
【0040】
前記情報は、EEPROMや他の書き換え可能なROMデバイスに記録することもできる。
【0041】
第2の情報記憶部303は、FlashROMなどの外部記憶装置2dで構成される。情報記憶部302にダウンロード処理部301によって一時記憶されたコンテンツ情報、設定情報などを、ユーザが利用できるように加工処理し、電源が万一切れた場合でも保持されるように第2の情報記憶部303に記録保持する。
【0042】
コンテンツ情報処理部304は、ユーザの操作部311によって第2の情報記憶部303や情報記憶部302よりコンテンツ情報を取り出し、ユーザが利用できるように処理し、表示部306で情報表示を行う。コンテンツ情報は、緊急ボタンの押下による報知や、レシピ情報の表示、電子注文可能なショッピングメニュー表示、またサービス業者が情報処理サーバー装置3を介してユーザに提供する広告情報、電子メール、新着情報などの情報サービス、または通信される機器の運転状態、センシング情報を表示する機能を提供する。
【0043】
認証情報処理部305は、情報端末装置2の設置時に情報処理サーバ装置3よりダウンロードされ、情報記憶部302または第2の情報記憶部303に記録されたユーザーID、パスワードを利用し、認証処理を行うものである。情報端末装置2が情報処理サーバ装置3へ接続し、アプリケーションサービスを受けようとする時、前記サーバ装置3より正規ユーザがアクセスして来たのかを確認する為、情報端末装置2にID、パスワードを要求する。そのとき、認証情報処理部305は、情報記憶部302よりユーザーID、パスワードを読み出し、サーバ装置3へ送信する。認証が確認されるとサービスの利用が可能となる。またこの時の認証にID、パスワードを提供し認証するものは、場合に応じてパスワードを暗号化した情報を生成し、送信して認証させる機能も備える。また読み出した認証情報(ユーザーID、パスワード)は、記録媒体情報処理部309に渡され、インターフェイス部308を介してCCDカメラ313の認証情報記録部314に書き込み処理される。本システムでのこれらの機能の詳細は後述する。
【0044】
表示部306は、ディスプレイ2cで構成され、ユーザが利用するショッピングメニューや、広告情報、メータ1より報知されるガス異常情報や、センサ4より報知される侵入検知、ガス異常、緊急コールなどのセキュリティ異常情報、または機器9の運転情報、センシング情報などを表示し、ユーザへ情報提供する。また機器9への制御画面を提供し、情報端末装置2より無線通信によって機器9を制御する機能を備える。
【0045】
設定情報処理部307は、情報端末装置2に設定処理されたアプリケーションサーバのURI、ISPの電話番号、DNSサーバのIPアドレス、PPP接続時のID、パスワードなどの設定情報を情報記憶部302または第2の情報記憶部303より読み出したり、記録媒体情報処理部309に渡して認証情報記録部314に記録させたりする。また設定情報として、情報端末装置2と通信する端末機器の種類、端末IDなどをも同様に記憶しているものを読み出し、機器の制御画面や運転状態表示画面や、センサが報知してきた情報に対し設定情報を元に、画面に報知するしないの判断を行う。
【0046】
インターフェイス部308は、記録媒体部分である認証情報記録部314(SDカード、スマートメディア、マルチメディアカード、CFカードなどのI/Fを持つ不揮発性メモリ、例えばFlashメモリなど)を挿入するスロット型のコネクタ部である。認証情報記録部314は、インターフェイス部の通信端子に接続され、認証情報記録部314に記録された情報を読み出したり、認証情報記録部への書き込み処理を行う。
【0047】
記録媒体情報処理部309は、記録媒体である認証情報記録部314と通信したデータを書き込みまたは読み出す処理を行うものである。情報記憶部302に保持される認証情報も、記録媒体情報処理部309によって認証情報記録部314に記録され、他の情報機器でも利用できるようにするものである。
【0048】
無線通信部310は無線装置2eを構成するものであり、前述したようにメータ1、センサ4、機器9の無線装置1d、4d、9dとセンサ1c、4c、9dが検知した異常情報または状態変化情報、運転情報等の通信処理を行うものである。またメータ1では、メータで計測する検針値も無線装置1dより無線装置2eへ通信処理される。
【0049】
操作部311は、入力装置2fを構成するボタンやタッチパネル等を通じて所望の入力を可能にするもので、コンテンツの内容を取得するための操作や、緊急ボタンの押下などの操作を行えるようにしている。そして、コンテンツの内容を取得するための操作や、緊急ボタンの押下などが行われると、その操作に応じてディスプレイ2cを構成する表示部306にコンテンツの内容や異常を報知するための情報が出力される。また機器9に対する制御操作も行えるようにしている。たとえばエアコンの運転ON/OFF、温度上げ下げなどである。
【0050】
異常情報処理部312は、メータ1、センサ4のセンサ1c、4cで検知した異常情報を無線装置1d、4dにより無線発呼される。そして検知されたガス異常、家屋への侵入者などの検出する侵入検知情報、緊急コール情報、火災検知情報などの異常情報を表示部306に表示したり、送受信部300、NCU6a、インターネット網を介して保安監視サービスを行うサービス業者の情報処理サーバ装置3へ通報処理を行うものである。さらに機器9が故障やメンテナンスが必要になった時は、機器内で判断処理され情報端末装置2へ故障診断された旨を情報表示する。そして、所定のメンテナンス業者、修理業者などに通報処理される。
【0051】
一方、情報処理サーバ装置3は、前記情報端末装置2から送信されてきた異常情報の種別を判断し、その異常情報に対する指示情報や、その異常情報の報知を終了させるための終了情報を送信するものである。そのため、図4に示すようにCPU3a、メモリ3b、外部記憶装置3c、通信インターフェース3dなどのハードリソースを具備し、これらを協働させて、図5に示す送受信部501、受信データ判断部502、ユーザ情報管理部503,ユーザ管理データベース504、送信データ作成部505、コンテンツ情報データベース506、設定入力部507を機能させる。
【0052】
送受信部501は、インターネット回線網を介して情報端末装置2からTCP/IP接続があったときに情報端末装置2との間で送受信を行う状態、NCU及び電話回線網を介して直接的なダイヤルアップ接続が確立したときに情報端末装置2との間で送受信を行う状態をとりうるものである。
【0053】
受信データ判断部502は、情報端末装置2から受信するデータの種別をそのデータに付帯するデータ識別子によって判断する。本実施形態の受信データには、異常情報や検針情報、または情報端末装置2より認証情報を記録した認証情報記録部314を備えたCCDカメラ313を利用した情報機器からの通信情報などが含まれる。具体的には、所定の記憶領域には、データ識別子とそれに対応する処理コマンドとの関係が対をなして格納されており、ユーザ情報管理部503は受信したデータのデータ識別子に対応する処理コマンドを取り出して実行する。例えば、ユーザ情報管理部503は、それがCCDカメラ313で撮影した画像情報の通報処理であるときには送信データ作成部505に受理応答の送信データを作成させ、これを送受信部501からNCU6b及び電話回線網やインターネット網を介して情報端末装置2や、CCDカメラ313を接続した情報機器に送信するとともに、必要に応じてユーザ情報管理データベース504に前記画像情報や通報情報を蓄積する。そして、ユーザーは、情報処理サーバ装置3で蓄積された画像情報を、任意の情報機器でインターネットを介して前記サーバ装置に接続し、情報を閲覧する。画像情報のサーバ装置3への報知がセキュリティ情報の場合、画像情報と共に異常検知情報が通報処理され、その内容はユーザーの所定の連絡先へ電子メールや電話などで通報処理される。その内容を確認したユーザは情報機器で情報処理サーバ装置3に接続し、蓄積された画像情報を確認する。
【0054】
また、受信したデータが検針情報であるときには、その検針値をユーザ情報管理データベース504に蓄積する。このほかに、ユーザ情報管理部503は、一定のイベント発生時に緊急遮断すべき旨を自発的に出力する機能も備えており、この緊急遮断の判断に基づいて送信データ作成部505に緊急遮断命令を作成させ、これを送受信部501からNCU及び電話回線網を介して情報端末装置2に送信する。
【0055】
送信データ作成部505は、メモリ3bや外部記憶装置3c等の適宜の記憶領域にデータ作成プログラムを有しているもので、予め定めた処理コマンドが実行されると、CPU3aがこれを開始条件として前記記憶領域からデータ作成プログラムを読み出し、このプログラムに従って情報端末装置2に対して送信すべき情報を作成する。
【0056】
コンテンツ情報データベース506は、情報端末装置2からの要求に応じてコンテンツ情報を送信する機能を有するものである。
【0057】
受信データ判断部502は、情報端末装置2から受信するデータの種別をそのデータに付帯するデータ識別子に基づいて判断する。本実施形態の受信データは、ユーザが随意に行うコンテンツ活用操作に基づいて送られてくるコンテンツ要求データが含まれる。
【0058】
情報端末装置2から送信されたコンテンツ要求信号に応じて、ユーザ情報管理部503は、それが商品購入情報であるときには送信データ作成部505に注文受理応答の送信データを作成させ、これを送受信部501からNCU6b及び電話回線網やインターネット網を介して情報端末装置2に送信するとともに、必要に応じてユーザ情報管理データベース504に情報を蓄積する。
【0059】
コンテンツ情報データベース506には、情報端末装置の表示部306で報知させる画像情報、メータ設定情報、サービス情報(レシピ、商品情報、ニュース、広告、お知らせ情報)などのコンテンツデータが格納されており、適宜更新されていくものである。また情報端末装置2よりのダウンロード要求を送受信部501で受信処理し、受信データ判断部502により、そのデータに付帯するデータ識別子に基づいて判断すると、送信されてくるユーザが使用しているコンテンツ情報と、現在提供できるコンテンツ情報をコンテンツ情報データベース506の管理情報を比較し、ユーザに必要なコンテンツを差分収集し、送信するコンテンツ情報、設定情報を送信データ作成部505で作成する。これを送受信部501からNCU6b及び電話回線網やインターネット網を介して情報端末装置2に送信するとともに、必要に応じてユーザ情報管理データベース504に情報を蓄積する。
【0060】
設定入力部507は、情報処理サーバ装置3のコンテンツ情報データベース505に、ユーザごとに設定されるメータ1、情報端末装置2、センサ4、機器9などへの設定情報を入力するものである。設定入力部507は、キーボード、マウス、タッチパネルのような入力デバイスで構成される。ガス業者の運用管理者が、ユーザのメータ1の検針日時等の設定を変更する場合、設定入力部507によって変更する日時情報を、変更したいユーザの項目へ入力する。入力された情報は、コンテンツ情報データベース505へ登録される。そして、情報端末装置2が情報処理サーバ装置3にコンテンツ情報をダウンロードするタイミングで、前記の変更設定情報より設定情報ファイルを少なくとも1つ以上生成し、インターネット網を介して情報端末装置2にダウンロードさせる。
【0061】
以下本システムの動作・作用について説明する。
【0062】
まず、図6は情報端末装置2に、CCDカメラ313を挿入接続し、情報端末装置2に保持するアプリケーションサービスの認証情報を前記CCDカメラ313に備える認証情報記録部314に記録する。そして前記認証情報記録部314を、他の部屋や車に設置したパソコンなどの他の情報機器へ接続し、情報端末装置2又は前記情報機器からの画像送受信サービスの動作を模式的に示す図である。
【0063】
情報端末装置2は、情報端末装置2の設置設定時に設定されたアプリケーションサービスを利用するユーザーID、パスワードを本体内部のメモリ(情報記憶部302または第2の情報記憶部303)に保持している。この情報は、ユーザーが関与するものではなく、情報処理サーバ装置3により自動で付与されるとともに、情報端末装置2に記録され管理される。そしてユーザーが情報端末装置2を操作し、商品購入サービス、レシピ情報の閲覧などを利用する場合、情報処理サーバ装置3との通信開始時に正規のユーザーであることを確認する為にやりとりされる。
【0064】
ユーザーは、昼間は自宅、夜は車の監視を行いたいとする。日中は、CCDカメラ313は、情報端末装置2のメモリスロット(インターフェイス部308)に接続され異常を検知したとき、又は定常的に画像を取得して情報処理サーバ装置3にインターネット経由で送信して画像情報を蓄積する。この時、異常検知する手段として、人感センサや窓・ドアセンサなどの異常などの検知に連動して、カメラで撮影するシステムなどを構築できる。そして、夜は情報端末装置2が設置された部屋でなく、自宅から少し離れた駐車場に駐車した自家用車を監視する為、情報端末装置2に保持するユーザID、パスワードなどをCCDカメラ313の認証情報記録部314に記録する。そしてCCDカメラ313を取り、車に搭載したパソコンなどの情報機器に前記CCDカメラ313を接続し、情報端末装置2と同様にインターネットを介してセキュリティの監視を行ったり、画像情報を送信して情報処理サーバ装置3に蓄積するサービスを行うことができる。この情報機器は、無線LANや衛星通信などの無線回線でインターネット接続できる機能を有する。
【0065】
情報端末装置2は、メモリスロット(インターフェイス部308)を備え、CCDカメラ313を挿入することで、内部の認証情報を認証情報記録部314に記録できる。この時、情報端末装置2の表示部306を確認し、認証情報をCCDカメラ313に書き込む旨の内容説明が表示され、「確認」キーなどの押下処理によって認証情報の書き込みが開始される。この時、セキュリティ上問題な為、認証情報の書き込み処理を行うCCDカメラ313の作成には制限を持たせたりすることもできる。またID、パスワードの内容が複製されたり、内容が解読されないように、前記ID、パスワード情報を暗号化して記録するようにすることも可能であり、セキュリティ性が向上する。暗号化する手法として、インターネット上のセキュア通信で用いられるハッシュ関数を用いる方法でもよい。ハッシュ関数は、与えられた原文から固定長の疑似乱数を生成する演算手法であり、通信を行う両端でデータのハッシュ値を求めて両者を比較すれば、データが通信途中で改ざんされていないか調べることができるものである。不可逆な一方向関数を含むため、ハッシュ値から原文を再現することはできないものであり、この関数には、MD5、SHA−1などがある。
【0066】
そして情報端末装置2より認証情報をCCDカメラ313の認証情報記録部314に記録したり、前記認証情報記録部314に記録された認証情報が利用されると、情報処理サーバ装置3に対して、認証情報が複製されたことをNCU6aを介してISPに接続しPPP接続し、前記認証情報が複製されたことを通報処理するものである。このようにすると、ユーザーによって認証情報が複製されたことを情報処理サーバ装置3で記録管理できるようになるので、認証情報の不正使用などを防止し、安全にかつ利便性を高くしてサービス提供できる。
【0067】
次に情報端末装置2より認証情報をCCDカメラ313の認証情報記録部314に記録し、他の情報機器例えば車などに搭載した情報機器などのメモリカードI/F部に接続し、CCDカメラ313で撮影した画像情報を情報処理サーバ装置3にアップロードし、そのアップロードされた情報によって通信情報を生成し、ユーザーの携帯電話に通知される動作について図8のフローチャートを用いて説明を行う。
【0068】
図7に、本システムの一動作の簡易的なフローチャートを示し、動作、作用の説明を行う。
【0069】
まず、ユーザーは情報端末装置2の表示画面等を操作し、前記情報端末装置2のメモリに記録された情報処理サーバ装置3を利用する為の認証情報(ID、パスワード)を、インターフェイス部308に接続したCCDカメラ313の認証情報記録部314に記録するように操作する。CCDカメラ313のインターフェイス部は、メモリカードI/Fを形成しており、SDカードI/FやコンパクトフラッシュI/Fなどで構成されている。この時前記認証情報は、ユーザーがパソコン等で閲覧しても内容が分からないように暗号化処理され記録される(ステップS701)。
【0070】
次にユーザーは、前記CCDカメラ313を情報端末装置2より取り出す。そして、前記CCDカメラ313のI/F部分をスロットインターフェイスを備える別の情報機器であるパソコン、携帯電話、PDA又は車載コンピュータなどに接続しインターネット網に接続できる環境を構築する。それぞれの情報機器は、ADSL、FTTH、CATV、電話線、ISDN、PHS、無線LAN、携帯電話などの通信回線などによってインターネットに接続可能な環境であればよい。このようにインターネットに接続する媒体は何でもよく、有線通信であっても、無線通信であっても構わない(ステップS702)。
【0071】
設置された車載コンピュータなどに接続されたCCDカメラ313は、車内の異常検知を行うセンシング手段と連携する機能を有する。例えば、事故や、火災、盗難などを検知するセンサと連携する。そして、車内の異常を監視したり、車内の映像を撮影する(ステップS703)。
【0072】
そして、車を盗もうとする不審者をセンシング手段で検知した場合、センシング手段のトリガによってCCDカメラ313で映像を撮影する。そして警報情報と共に撮影された画像情報をインターネット網を介して情報処理サーバ装置3にあげる為、情報処理サーバ装置3と通信を行い認証処理を行う。この時、CCDカメラ313の認証情報記録部314に記録された情報処理サーバ3が提供するサービス用ID、パスワードなどの認証情報を読み出しインターネッを介して情報処理サーバ装置3へ、認証情報を送信する。前記認証情報を受信した情報処理サーバ3は、図5のユーザー情報管理部503によりユーザー情報データベースを参照し、前記認証情報が正規のユーザーからのアクセスであるかを判定する。認証がOKであると、認証完了情報をコンピュータ601に応答する。この時車載コンピュータでは、前記認証情報を読み出すとと共にアプリケーションサービスを受ける為のソフトウェア手段たとえば専用の画像撮影・通信プログラムをインストールしており、CCDカメラ313が撮影した画像情報を情報処理サーバ装置3に記録したり、ID、パスワードを認証情報記録部314より読み出し認証処理を行ったり、連携するセンサ手段の異常情報を報知する機能を備える(ステップS704)。
【0073】
インターネット網を介して情報を受信した情報処理サーバ装置3は、受信した情報が異常情報であるかを判定処理宇する。異常情報であった場合、情報処理サーバ装置3で、個人情報記録部に同時に報知された画像情報を記録処理する。図6において、ISP7と情報処理サーバ装置3は直接接続されているように図示しているが、インターネットを介在して接続されている。また直接専用線などで接続されてもよい(ステップS705)。
【0074】
そして、情報処理サーバ装置3は、異常情報を元あらかじめユーザーによって設定された通報先、自分の携帯電話、自宅の電話、メールアドレスなどに、異常検知情報(電文)を作成し、直接NCU6bから電話または電子メールなどで報知する。この時の接続は、NCU6aに接続し直接異常があったことを通知する電文を送信する方法でなく、NCU6bより所定の連絡手段を呼出した後、ユーザによって携帯電話などで、インターネットを介して情報処理サーバ装置3で生成した情報をを取りにくるようにしてもよい。この時の異常検知内容の情報は、HTMLなどで生成すると携帯電話などに搭載されるブラウザなどで閲覧できるようになる。この時の通報先として、専用セキュリティサービス業者や警察などであってもよい(ステップS706)。
【0075】
そして、異常があったことを報知されたユーザは、情報処理サーバ装置3へアクセス認証し、異常が発生した時の状況の画像情報、異常情報の通知情報より検索し、手元の情報機器で撮影された画像情報を閲覧し、状況を確認する(ステップS707)。
【0076】
また本実施例では、車載したコンピュータ601で異常検知情報に連動して画像情報を報知する例を説明したが、車載のコンピュータである必要はなく他の情報機器例えば宅内に設置されたパソコン、情報端末装置、またはSTB、携帯電話、ゲーム機、PDAなどであってもよい。
【0077】
またインターネットに接続された通信手段は、アナログ電話、ISDN、イーサネット(商標)などや、無線媒体は無線LAN、Bluetooth、PHS、携帯電話、エコーネット等、サービス業者の情報処理サーバ装置3に接続できるものであれば何でもよい。
【0078】
(実施例2)
本願発明の第2の実施例について、図8のフローチャートを用いて説明を行う。本実施例において、同一の処理内容ステップについては説明を省略する。
【0079】
本実施例が前記実施例と異なるのは、情報処理サーバ装置3が受信する情報が異常情報でない場合に、画像情報を蓄積処理してサービスを行う点について異なるものである。図8のフローチャートにその動作を示す。
【0080】
CCDカメラ313の認証情報記録部314に記録された認証情報をコンピュータ601等で読み出し、前記コンピュータ601にインストールされたソフトウェアでインターネットを経由して接続し、情報処理サーバ装置2と認証処理した後、CCDカメラ313で撮影した画像情報を情報処理サーバ装置3へ通信し、情報処理サーバ装置で記録保持する。この時、情報が異常情報でないので、所定の連絡先に報知する処理は行わない。この画像情報をサーバ装置へ通信し、蓄積する間隔はサービスによって任意に設定できるものである(ステップS801)。
【0081】
そして、自宅の部屋または自分の車などに設置したコンピュータ601に取り付けたCCDカメラ313が撮影した画像情報が情報処理サーバ装置3に時系列に蓄積され、ユーザーは任意のタイミングで前記情報処理サーバ装置3に、インターネットと通信可能なPDAや携帯電話より、情報処理サーバ装置3へアクセスし、認証処理を行い監視を行っている部屋、車などの場所の時系列な画像情報を閲覧する(ステップS802、S803)。
【0082】
なお本実施例はいずれも情報端末装置の手段の全てもしくは一部として、コンピュータを機能させるためのプログラムとしても同様構成できるものである。
【0083】
以上のように、情報端末装置に認証情報を通信するインターフェイス部を備え、CCDカメラに備えた認証情報記録部(メモリ媒体)を接続するようにすることで、認証情報を他の情報機器でも利用できるようになると共に、CCDカメラを利用したアプリケーションサービスを別の場所や別の情報機器で簡単に利用できるようになるのでユーザーの利便性が向上する。
【0084】
認証情報記録部への認証情報の書き込み、または逆に認証情報の読み出しを行った場合、情報処理サーバ装置へ通報処理することで、認証情報が不正に利用されることを監視できるようになり、安全に利用できると共にサービス性を向上することができるようになる。
【0085】
また情報機器であるパソコン、携帯電話などで前記認証情報記録部(メモリ媒体)を接続しユーザー認証を行い、前記情報機器のソフトウェア制御手段で画像情報をCCDカメラ313より取得し、情報処理サーバ装置3へ通信し、蓄積できるようにすることで、情報端末装置2以外の情報機器でもCCDカメラ313を利用さいたアプリケーションサービスを利用できるようになり、ユーザの利便性とサービス業者のサービス性が向上する。
【0086】
認証情報記録部(メモリ媒体)に記録されたユーザー認証情報で認証した後、通報された情報によって、電文を生成し予め設定した通報先の携帯電話、メールアドレスへ送信できるようにするので、情報によって内容を通知してもらえるようになり、さらにシステムが提供するサービスの利便性が向上する。
【0087】
またプログラムとすることで、マイクロコンピュータ、パーソナルコンピュータ又は他の装置の一部の機能として実現できるようになり、利便性、汎用性が向上し、システムが構築しやすくなる。また記録媒体に記録したり通信回線を用いてプログラムを配信したりすることでプログラムの配布やインストール作業が簡単にできる。
【0088】
なお、各部の具体的な構成は、上述した実施形態のみに限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。例えば、上記実施形態はガス機器に関するものであったが、電気、水道などを始めとする他の生活関連インフラ整備に関して使用される情報端末装置及び周辺機器からなるシステムの構築の際にも同様に適用が可能なものである。
【0089】
なお、図では、NCUが情報端末装置と別設で記述しているが、同一筐体内に構成してもよい。また、メータ、センサは、無線装置と一体で記述しているが別設でも構わない。
【0090】
また図3において、NCU6bは情報処理サーバ装置3と別に設けて記載しているが、情報処理サーバ装置3内にあってもよい。
【0091】
また図1において、情報処理サーバ装置3とガス業者集中監視センター8間の通信回線は、電話回線でなくてもよく、インターネット回線、専用線等何でもよい。
【0092】
情報端末装置2は1つの装置としているが、複数の装置で構成することもできる。
【0093】
また図7、図8のフローチャートにおいて、処理内容またはその順番がこのとおりである必要はなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
【0094】
なお図3で記載した異常情報処理部312、記録媒体情報処理部309、設定情報処理部307、認証情報処理部305、ダウンロード処理部301、コンテンツ情報処理部304などの情報処理を行う部分は、情報処理部として構成することもでき、同様に情報端末装置を構成できる。
【0095】
また図3の情報端末装置2や図5の情報処理サーバー装置3などはひとつの装置で構成しなくても別々の装置として構成し、各手段を通信線で接続するようなネットワークの形態で実施してもよい。
【0096】
また、情報端末装置と情報処理サーバ装置は、ISPを経由し、インターネットで接続されると説明したが、それに限定にされものでなく、NCUで情報処理サーバ装置と直接接続してもよい。また通信回線は、電話回線、ISDN回線、ADSL、CATV、FTTH(光ケーブル)、無線LAN,イーサネット(商標)などでもよい。
【0097】
【発明の効果】
本発明は、以上説明した構成であるから、情報端末装置に保持する認証情報を、画像撮影装置の認証情情報記録部に記録し、他の情報機器に接続し、前記認証情報を読み出せるようできる。そしてサービス業者がサーバ装置でユーザーに画像撮影装置によるアプリケーションサービスである画像情報の蓄積、閲覧、または情報によって所定連絡先に報知するサービスなどを提供する場合、任意の場所や他の情報機器でもサービス利用ができるようになるので利便性を向上させユーザーの満足度を向上し、サービス業者のサービス性を向上するという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施形態に係るシステム全体を概略的に示す構成説明図
【図2】同実施形態で用いる情報端末装置のハードリソースを示す図
【図3】同実施形態で用いる情報端末装置の機能ブロック図
【図4】同情報管理サーバ装置のハードリソースを示す図
【図5】同実施形態で用いる情報管理サーバ装置の機能ブロック図
【図6】同実施形態のコンピュータより画像情報を報知・蓄積・閲覧する構成を示す図
【図7】同実施形態での認証情報を記録したCCDカメラを利用した時のアプリケーションサービスの手順を示すフローチャート
【図8】別実施形態での認証情報を記録したCCDカメラを利用した時のアプリケーションサービスの手順を示すフローチャート
【符号の説明】
2 情報端末装置
3 情報処理サーバ装置
300 送受信部
302 情報記憶部
303 第2の情報記憶部
308 インターフェイス部
312 異常情報処理部(情報処理部)
313 画像撮影装置(CCDカメラ)
314 認証情報記録部

Claims (1)

  1. センサから受信するセンシング情報、又は機器への制御情報などを処理する情報処理部と、前記情報を保持・記憶する為の情報記憶部と、通信回線を介して通信する送受信部と、前記認証情報記録部を備えた画像撮影装置と、前記画像撮影装置を接続するインターフェイス部を備えた情報端末装置と、前記画像撮影装置で記録した画像情報を蓄積する情報処理サーバ装置とを備えたシステムであって、
    前記画像撮影装置を情報端末装置のインターフェイス部に接続し、前記画像撮影装置の認証記録部にユーザの認証情報を記録し、取り外された前記画像撮影装置を広域通信網に接続されたPCなどの情報機器に接続して、前記情報機器上で動作するソフトウェア制御手段によって前記認証情報記録部に記録された認証情報を読み出し、前記情報処理サーバ装置ユーザーの認証処理を行い、前記情報機器に接続された前記画像撮影装置で撮影された画像情報を前記情報機器から情報処理サーバ装置へ報知する情報サービスシステム。
JP2002241433A 2002-08-22 2002-08-22 情報端末装置、情報サービスシステム、設定方法及びプログラム Expired - Fee Related JP4122897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002241433A JP4122897B2 (ja) 2002-08-22 2002-08-22 情報端末装置、情報サービスシステム、設定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002241433A JP4122897B2 (ja) 2002-08-22 2002-08-22 情報端末装置、情報サービスシステム、設定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2004078803A JP2004078803A (ja) 2004-03-11
JP4122897B2 true JP4122897B2 (ja) 2008-07-23

Family

ID=32023917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002241433A Expired - Fee Related JP4122897B2 (ja) 2002-08-22 2002-08-22 情報端末装置、情報サービスシステム、設定方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4122897B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299744A1 (en) * 2011-05-23 2012-11-29 Jimmy Sfaelos Head-end system for advanced metering infrastructure network
JP2015138456A (ja) * 2014-01-23 2015-07-30 アプリックスIpホールディングス株式会社 通信システム、ビーコン装置、および、通信方法
JP7157633B2 (ja) * 2018-11-09 2022-10-20 株式会社クボタ 通知装置、通知方法、及び通知プログラム

Also Published As

Publication number Publication date
JP2004078803A (ja) 2004-03-11

Similar Documents

Publication Publication Date Title
US11373514B2 (en) Network device management technology
US10841381B2 (en) Security system with networked touchscreen
US20060230270A1 (en) Method and apparatus for providing status information from a security and automation system to an emergency responder
KR100301674B1 (ko) 인터넷을 통한 무인 경비 시스템
US11184366B1 (en) Service authorization for IoT devices operating locally
JP2004214937A (ja) 集合住宅用ホームオートメーションシステム及びそれに用いるセンターサーバ
CN101427538A (zh) 高价值资产的监管
WO2004107071A1 (ja) 異常処理システム
KR101909027B1 (ko) 전기제품 정보 관리 시스템
JPH10161880A (ja) リモート制御方式
JP4122897B2 (ja) 情報端末装置、情報サービスシステム、設定方法及びプログラム
JP3843900B2 (ja) 情報サービスシステム及びその設定方法
JP2003307061A (ja) 鍵管理システム
JP4402135B2 (ja) 機器制御システム、携帯端末及び制御装置
JP2006121169A (ja) 情報端末装置、通信可否確認方法およびプログラム
JP2005333305A (ja) セキュリティシステム、情報端末、及びプログラム
Chatzigiannakis Apps for smart buildings: A case study on building security
JP4556799B2 (ja) 通信端末、安否情報送信方法およびプログラム
JP2002142271A (ja) 電子・電気機器の遠隔制御システム
JP3298587B2 (ja) 装置制御システム
KR20080007825A (ko) 홈네트워크 시스템
JP2004200755A (ja) 家電機器用ネットワークシステム
JP2009244992A (ja) 認証システム
KR20160033390A (ko) 방범방재 서비스 제공 시스템 및 그 운용방법
JP2003052082A (ja) 通信サービス提供装置及び通信サービス提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041209

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140516

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees