JP2018064177A - データ監視及び管理装置、イベントデータ監視方法 - Google Patents

Abstract

【課題】少なくとも１つのイベントの発生に基づいて監視データを記録する場合、イベントに関連するイベント関連データも記録し、イベント関連データを有効に活用して記録した監視データを効果的にチェックできる装置を提供する。
【解決手段】データ監視及び管理装置のシステムコントローラ６０２は、イベントが検出されたときのイベント関連データとイベント発生時の監視データとを記録媒体に記録させる記録指令器６２１と、イベント関連データを記憶媒体から再生し表示用データを出力する表示用データ出力部６２７を有し、表示されたイベント関連データに対して指定入力があった場合に、前記イベント関連データに対応する監視データを再生する。
【選択図】図３

Description

実施形態は、データ監視及び管理装置、イベントデータ監視方法に関する。

映像及び又はオーディオ等のデータを記録装置に記録する監視装置がある。監視装置は、例えば、家庭内、学校、病院、空港、ショッピングモールなどの各種施設において利用される。また監視装置は、飛行機のボイスレコーダ、タクシーのドライブレコーダ等としても利用される。さらに、監視装置としては、監視カメラの映像を移動端末に転送するものもある。

特開２０１６−１００７９１号公報 特開２０１４−２９５４０８号公報

映像及び又はオーディオデータの監視データを記録する監視装置は、記録したデータを効果的にチェックできることが好ましい。

そこで本実施形態では、センサが検出する少なくとも１つのイベントの発生に基づいて該監視データの記録を行う場合、前記イベントに関連するイベント関連データも記録し、前記イベント関連データを有効に活用し、記録した監視データを効果的にチェックできるデータ監視及び管理装置を提供する。

一実施形態では、イベントが検出されたときのイベント関連データと該イベントの発生時の監視データとを記憶媒体に記録させる指令器（６２１）と、前記イベント関連データを前記記憶媒体から再生し表示用として出力する表示用データ出力部（６２７）とを有し、
表示された前記イベント関連データに対する指定入力があった場合に、前記イベント関連データに対応する監視データを前記表示用データ出力部（６２７）から出力するデータ監視及び管理装置。

図１は一実施形態であるデータ監視及び管理装置が適用されたネットワークシステムの全体構成例を示す図である。 図２は図１に示した一実施形態においてイベント関連データと監視データのストリームが記録される一例をタイムラインに示す説明図である。 図３は一実施形態における要部を取り出して示すブロック構成図である。 図４はイベント関連データ及び又は監視データをアクセスすることができるユーザインターフェースとしてのスマートフォーンのメニュー例を示す図である。 図５Ａは、スマートフォーンで監視データをアクセスするための手順の一例を示す説明図である。 図５Ｂは、スマートフォーンで監視データをアクセスするための手順の他の例を示す説明図である。 図６Ａは、スマートフォーンに表示される操作画面の一例を示す図である。 図６Ｂは、スマートフォーンに表示される操作画面の他の例を示す図である。 図７は、あるイベントに関する監視データ（映像データ）が再生されたときの画像例を示す図である。 図８Ａは、スマートフォーンとこのスマートフォーンに表示されるイベント関連データの関係及び操作方法の一例を説明する図である。 図８Ｂは、スマートフォーンとこのスマートフォーンに表示されるイベント関連データの他の関係及び他の操作方法の一例を説明する図である。 図９は、スマートフォーンとこのスマートフォーンに表示されるイベント関連データのさらに他の関係及びさらに他の操作方法の一例を説明する図である。 図１０は、イベント関連データと監視データの記録位置の関連性の一例を説明する階層図である。 図１１は、他の実施形態が適用されたネットワークシステムの全体構成例を示す図である。 図１２は、センサの利用形態をリスト表示した他の実施形態の例である。 図１３は、センサとホームゲートウエイ間で通信を行うための無線規格が複数ある他の実施形態を示す図である。 図１４Ａは、ホームゲートウエイの第１のタイプを示す図である。 図１４Ｂは、ホームゲートウエイの第２のタイプを示す図である。 図１４Ｃは、ホームゲートウエイの第３のタイプを示す図である。 図１５Ａは、スイッチセンサの一例を示す図である。 図１５Ｂは、照明センサの一例を示す図である。 図１６は、さらに他の実施形態を示す図である。 図１７は、図１６の実施形態においてセンサの利用形態をリスト表示した例を示す図である。

以下、実施の形態について図面を参照して説明する。図１は、一実施形態であるデータ監視及び管理装置が適用されたネットワークシステムの全体構成例を示す図である。

図１において、サーバ１０００は、インターネット３００を介してホームゲートウエイ（以下ＨＧＷと記す）６００と接続可能である。ＨＧＷ６００は、システムコントローラ６０２、デバイス管理器６０３、ネットワークインターフェース（以下ネットワークＩ／Ｆ）６０５、記録管理器６０７、カメラ６１１、マイク６１３、スピーカ６１５などを備える。またＨＧＷ６００は、センサ制御テーブル６０９を含む。

制御データ管理部６０１は、アプリケーションマネージャ（以下ＡＰＰ−Ｍｇ）、イベントマネージャ（以下ＥＶＴ−Ｍｇ）、コンフィギュレーションマネージャ（以下ＣＯＮＦＩＧ−Ｍｇ）を含む。ＡＰＰ−Ｍｇは、ＨＧＷ６００の各種動作を制御するための複数のアプリケーションを管理している。ＥＶＴ−Ｍｇは、後述する各種イベントの発生に起因する各種動作を制御するためのイベント用アプリケーションなどを管理している。さらにＣＯＮＦ−Ｍｇは、ＨＧＷ６００内の機能とこのＨＧＷ６００が関連している各種機能を認識して、例えば動作順位、動作制限などを行う構成用アプリケーションを管理している。

システムコントローラ６０２は、ＨＧＷ６００内の各ブロックを統括してシーケンス制御することができる。

ＥＶＴ−Ｍｇは、カメラ６１１、マイク６１３、スピーカ６１５、記録管理器６０７等の制御を行うことができる。またＥＶＴ−Ｍｇは、ネットワークＩ／Ｆ６０５から取り込まれた外部センサからの検出データ及び又はカメラ６１１、マイク６１３、スピーカ６１５からのデータを判定し、次のアクションや振る舞いを制御することができる。ＣＯＮＦＧ−Ｍｇは、ＨＧＷ６００内部の各機能ブロックの初期設定、機能の制限、機能の拡張、優先順位、動作時間などの設定を行うことができる。

デバイス管理器６０３は、ＨＧＷ６００に関連して動作する他の装置を認証し、メモリに登録することができる。したがって、デバイス管理器６０３は、ネットワークＩ／Ｆ６０５を介して、接続される他のセンサ１０１、１０２、１０３、・・・・を管理することができる。またデバイス管理器６０３は、インターネット３００を介して接続されるサーバ１０００の識別データも登録しており、認識することができる。さらにまたデバイス管理器６０３は、インターネット３００を介して接続されるスマートフォーンＧＵＩ−１等の識別データも登録しており、認識することができる。

またセンサ制御テーブル６０９は、後述するセンサ１０１、１０２、１０３、１０４が登録された各センサの名前、各センサの位置情報、各センサを制御するためのデータを記憶している。また各センサの名前や位置情報は、スマートフォーンＧＵＩ−１に表示されることができ、これにより、ユーザはセンサの種類や取り付け位置を確認することができる。

ネットワークＩ／Ｆ６０５は、近距離無線を介して例えば家庭内の他のセンサ１０１、１０２、１０３、・・・・と接続される。他のセンサ１０１の構成を代表して示している。センサ１０１も制御データ管理部１１２、ネットワークＩ／Ｆ１１５を含む。またセンシング要素としての機能１１６、１１７を含む。しかしセンサの種類は、このような種類に限定されるものではなく各種の種類を使用することが可能である。

制御データ管理部１１２は、アプリケーションマネージャ（ＡＰＰ−Ｍｇ）、イベントマネージャ（ＥＶＴ−Ｍｇ）、コンフィギュレーションマネージャ（ＣＯＮＦＩＧ−Ｍｇ）を含む。ＣＯＮＦＩＧ−Ｍｇは、センサシステム全体動作をコントロールするための各種アプリケーションを管理している。ＥＶＴ−Ｍｇは、機能１１６、１１７からの検出データに基づいて、センサ１０１の次の動作を実行させるためのイベントアプリケーションを管理している。機能１１６、１１７は、センシング目的に応じて各種の要素がある。各種要素としては、例えば、ＨＧＷ６００と同様に、カメラ、マイクである場合もある。さらに各種要素としては、熱センサ、温度センサ、湿度センサ、照明センサ、圧力センサ、スイッチ、などが含まれる。センサ１０１は、その利用目的において、１つ或いは複数のセンシング要素を備える場合もある。

上記のセンサ１０１，１０２、１０３・・・・は、ドアの開閉を検知するセンサ、一定の大きさの音の発音を検知するセンサ、人の動きを検知するセンサ、窓の開閉を検知するセンサ、撮影を行うセンサとして、例えば家庭内の種々の箇所に配置される。

上記したシステムでは、センサ６１１（カメラ）、６１３（マイク）、他のセンサ１０１，１０２、・・・のいずれか１又は複数から検出信号が出力された場合、制御データ管理部６０１はイベント発生として認識する。すると制御データ管理部６０１は、記録管理器６０７を介してカメラ６１１を制御する。これにより、カメラ６１１は、イベント発生時点より以前（例えば１０分前）からキャッシュしている監視データを記録管理器６０７、制御データ管理部６０１を介して記憶媒体に送るとともに、続けて一定時間（例えば３分、５分、１０分、２０分或いは３０分など）撮像した監視データを送り続ける。この監視データとともに、本システムでは前記イベントが検出されたときのイベント関連データ（イベント属性データと称してもよい）も記憶媒体１０１０に送られる。

イベント関連データは、例えばイベントの発生時刻、該イベントを検出したセンサの種類、センサの位置データ、記録開始時間、記録終了時間などのいずれか１つ或いは複数を含むことができる。

ここで、図１では、上記記憶媒体１０１０は、例えばサーバ１０００内のメモリであるが、必ずしもサーバ内の記憶媒体である必要はない。監視データの記憶場所は、ＨＧＷ６００内の記憶媒体でもよいし、ネットワークＩ／Ｆ６０５を介して接続された記憶媒体であってもよい。記憶媒体１０１０は、データ領域１０１１、管理領域１０２１を備える。データ領域１０１１に監視データ１０１２が格納され、管理領域１０２１にイベント関連データ１０２２が格納される。

監視データ１０１２は、映像データのみならず、センサからの計測データも含む場合がある。例えば特定の箇所の温度の変化状況、湿度の変化状況、或いは圧力の変化状況などである。管理領域１０２１には、監視データを再生するための管理データが記述されている。この管理データが、先のイベント関連データも含む。管理データは、イベント関連データ、及びイベント関連データに対応する監視データの記録アドレスを含む。複数のイベントが発生した場合、複数のイベント関連データ、及び複数のイベント関連データに対応する複数の監視データが、存在する。

イベント関連データは、イベント（センサと称してもよい）の種類を含む。またイベントに基づいて監視データ（例えば監視映像）が記録されるが、イベント関連データは、その記録開始時間、記録終了時間なども含む。

図２は、イベントが発生したときに、記憶媒体に監視データが記録された場合の時間経過を示している。ここでは、ホームのリビングルームの各種センサを想定している。センサとして、ドア１の開閉検出センサ、ドア２の開閉検出センサ、窓１の開閉検出センサ、窓２の開閉検出センサ、マイク、動き検出センサ（撮像映像或いは赤外線センサなどが利用される）が存在するものとする。またＨＧＷ６００は、リビングルームの天井のコーナに配置され、そのカメラがリビングルーム内を撮影できるものとする。

今、ドア１から子供１が入室して、時刻ｔ１にドア１が開き時刻ｔ２に閉じたものとする。時刻ｔ１には、カメラにより人の動きが検出される。ドアの開閉があると、例えば３分程度の録画が行われる。動き検出が連続するとこの検出期間は、録画が連続して行われる。録画が行われている間は、マイク６１３からも音声がピックアップされる。この結果、例えば記憶媒体１０１０（但しＨＧＷ６００内或いはＨＧＷ６００に直接接続された記憶媒体があればその記憶媒体でも可）には、第１イベント（２つのイベントが発生している）に起因する監視データが記録データＲｅｃ１として記録される。またこの時のイベント関連データとしては、ドア１に取り付けられているセンサＩＤ、カメラ６１１のＩＤ、記録Ｒｅｃ１の開始時間、終了時間を含む。また管理データ（イベント関連データ）には、記録Ｒｅｃ１が格納されている記憶媒体１０１０上のアドレスを含む。

暫くして、今、ドア２から子供２が入室して、ドア２から時刻ｔ３にドア２が開き時刻ｔ４でドア２が閉じられたものとする。また時刻ｔ３では、カメラにより人の動きが検出される。この第２イベント（２つのイベントが発生している）に起因する監視データが記録データＲｅｃ２として記憶媒体１０１０に記録される。

次に、時刻ｔ５で大きな音がマイク６１３によりピックアップされ、時刻ｔ６で人の動きが検出され、時刻ｔ７、ｔ８でドア１の開、閉が検出されたものとする。例えば、子供２が大声で歌を歌い、子供２の動きが検出され、子供１がドア１から出て行ったものとする。これにより、第３イベント（３つのイベントが発生している）に起因する監視データが記録データＲｅｃ３として記憶媒体１０１０に記録される。

暫く経過後、時刻ｔ９で大きな音がマイク６１３によりピックアップされ、時刻ｔ１０でカメラ６１１により人の動きが検出され、時刻ｔ１１で窓１が開かれ、そして時刻ｔ１２で再度大きな音がマイク６１３によりピックアップされたものとする。例えば、子供２が大きな声で歌を歌い、次に子供２が窓１まで動き、窓１を開き、また大声で歌を歌ったものとする。これによりこの第４イベント（４つのイベントが発生している）に起因する監視データが記録データＲｅｃ４として記憶媒体１０１０に記録される。

次に、時刻ｔ１３で子供１がドア１から入出し、時刻ｔ１４で窓１が閉じられたものとする。これによりこの第５イベント（３つのイベントが発生している）に起因する監視データが記録データＲｅｃ５として記憶媒体１０１０に記録される。

上記のようにイベント関連データと監視データが記憶媒体１０１０に記録された場合、ユーザが監視データをチェックするとき、ＨＧＷ６００は、スマートフォーンＧＵＩ−１に対して種々の形で監視データを提示することができる。

図３は、図１に示したシステムコントローラ６０２の内部の構成例を示している。
図２で説明したような各センサからの検出信号は、イベント判定器６２５で判定される。イベントが検出された場合、記録指令器６２１が記録媒体１０１０へ監視データ１０１２を送り、記録を指令する。また同時にイベント関連データも記録媒体１０１０に送られて記録される。

上記イベント判定器６２５は、スマートフォーンＧＵＩ−１から特定の指令信号が送られた場合、イベントとして判定することもできる。例えばスマートフォーンＧＵＩ−１を有する第１ユーザが、家に在宅する第２ユーザと電話会話しているとき、第１ユーザは、スマートフォーンＧＵＩ−１の特定キーを操作してイベント起動信号をＨＧＷ６００に送ることができる。また第１ユーザは、会話していないときであっても、スマートフォーンＧＵＩ−１の特定キーを操作してイベント起動信号をＨＧＷ６００に送ることができる。さらにまた、家庭内に在宅する第２ユーザは、センサを意識的に操作して、イベント起動信号をＨＧＷ６００に送ることができる。例えば、点検のために、照明のオンオフを感知するセンサを第２ユーザが意識的に操作して（例えば受光部を遮蔽・解放して）、イベント起動信号をＨＧＷ６００に送ることができる。

監視データをチェックしたい場合、ユーザは、スマートフォーンＧＵＩ−１或いはネット接続されたテレビジョン受信装置ＧＵＩ−２を介して、所望のイベントに関する監視データの再生を、ＨＧＷ６００（システムコントローラ６０２）へ要求することができる。

そのためにシステムコントローラ６０２は、記憶媒体１０１０から任意のイベント関連データ及び監視データを再生するための再生制御器６２３を備える。この再生制御器６２３は、早送り機能、逆送り機能、コマ送り機能、さらにはイベントを丸め込み処理を行うイベント処理器を含む。また大量のイベント関連データ及び監視データが記憶媒体１０１０に格納されているので、システムコントローラ６０２は、ユーザが効率的に希望の監視データをチェックできるように振る舞うことができる。

このために、システムコントローラ６０２は、各種イベントの分類、選択を行い、表示リスト或いは表示配列を生成することができるフィルタリング部６３１、表示スタイル処理部６２９、を備える。生成された表示配列や再生された監視データは、表示用データ出力部６２７を介してスマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２などのモニタへ送信される。またシステムコントローラ６０２は、データやリストを一時的に保存するためのメモリ６２４を含む。

システムコントローラ６０２は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２と互いに通話を行い、上記した生成された表示配列や再生された監視データを当該モニタへ送信する。また、上記再生制御器６２３は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２からの指令に応じて、イベントを撮影している映像の早送り機能、逆送り機能、コマ送り機能を実行することができる。また再生制御器６２３は、イベント関連データを処理するイベント処理器を含み、イベントの配列順、イベントの選択処理などを実行することができる。

図４は、例えばスマートフォーンＧＵＩ−１の画面にメニューが表示された状態を示す。このメニュー内の選択ボタンとして、例えば監視データ要求ボタン５０１、インターネット（１）接続ボタン５０２、インターネット（２）接続ボタン５０３、ホーン起動ボタン５０４、ゲーム（１）スタートボタン５０５、ゲーム（２）スタートボタン５０６などがある。また、センサリストボタン５０７を有し、このボタン５０７を操作すると、イベントを検出するための各種センサのリストを表示することができる。

ここで監視データ要求ボタン５０１がタッチ操作されたものとする。すると、スマートフォーンＧＵＩ−１には、例えば図５Ａ或いは図５Ｂに示すように「どのようなイベントの画像をチェックしますか？」というメッセージと共に、ユーザに対して「全て」、「指定する」、「いつもの」と言うようなボタン５１２、５１３、５１４が表示される。

ユーザが「全て」のボタン５１２をタッチ操作により選択すると、制御データ管理部６０１による制御の基で、イベント（センサを問わない全てのイベント）発生日時データと、各イベント発生時の監視データ（カメラにより撮像された画像データ）の一部（サムネール）が、スマートフォーンＧＵＩ−１に送られてくる。大量のイベント関連データ及び監視データが記憶媒体１０１０に格納されているので、表示スタート時の表示用データとしては、現在時刻よりも例えば５時間前に発生したイベントを中心に、その前後の時間の複数（３乃至５個）のイベントに関わるイベント関連データ及び対応する監視データの代表サムネールが選択されて表示される。代表サムネールは、例えばイベント発生時刻に対応する監視データ（画像データ）である。

スマートフォーンＧＵＩ−１に「どのようなイベントの画像をチェックしますか？」というメッセージが表示されたとき、ユーザは「指定する」のボタン５１３をタッチ操作により選択することができる。この時は、起動しているセンサを取り付けた箇所の例えば名称（ドア１開閉、ドア２開閉、窓１開閉、窓２開閉、・・・等）のリスト５１７が表示される。ユーザは、画像チェックを希望する発生イベントを、タッチ操作により、１つまたは複数選択することができる。図５Ａでは、ドア１開閉、窓１開閉、動き検出・・等の項目が選択されて、決定された例を示している。この例では、イベントの簡単な例を示しているが、現実ではさらに多くのイベントとイベント名称が設定されている。

ユーザは、画像チェックを希望する発生イベントを、選択し、決定操作５１８を行うと、後で示すように、選択されたイベントが発生したときの監視データの代表サムネールと、対応するイベント関連データが表示される。この場合も、大量のイベント関連データ及び監視データが記憶媒体１０１０に格納されているので、表示スタート時の表示用データとしては、現在時刻よりも例えば５時間前に発生したイベントを中心に、その前後の時間の複数（３乃至５個）のイベントに関わるイベント関連データ及び対応する監視データの代表サムネールが選択されて表示される。

スマートフォーンＧＵＩ−１に「どのようなイベントの画像をチェックしますか？」というメッセージが表示されたとき、ユーザは「いつもの」のボタン５１４をタッチ操作により選択することができる。このボタン５１４は、以前に「指定する」のボタン５１４が操作され、且つ決定操作５１８が行われた後、に有効となる。この場合は、すでに指定されているイベントに基づいて、現在時刻よりも例えば５時間前に発生したイベントを中心に、その前後の時間の複数（３乃至５個）のイベントに関わるイベント関連データ及び対応する監視データの代表サムネールが選択されて表示される。

図５Ａは、選択されたイベントの種類毎に独立して管理され、イベント関連データが時間順に配列される例を説明した。この配列のスマートフォーン上の表示例は、後の図８Ａで説明する。しかしイベント関連データの表示例をこれに限らず図５Ｂに示す設定により、種類が異なるイベントのイベント関連データを組み合わせて表示させることも可能である（図８Ｂ）。

即ち、図５Ｂに示すように、決定ボタン５１８ｂを操作する前に、組み合わせボタン５１８ａが表示されてもよい。組み合わせボタン５１８ａが操作された場合は、イベントリストの中で選択されている項目（今はドア２開閉と、動き検出の２つの項目が選択されている）のイベント関連データが時間順で組み合わせられて表示されるように設定することができる。即ち、組み合わせボタン５１８ａと決定ボタン５１８ｂが連続して操作された場合は、例えば後の図８Ｂで説明するようなイベント関連データの配列と表示が行われる。

上記したように、ユーザは、所望のイベントに関する監視データの再生を、制御データ管理部６０１に要求するのに先立って、ユーザは、どのようなイベントの画像再生を希望するのかを、制御データ管理部６０１に通知することができる。

図６Ａは、図４に示したスマートフォーンＧＵＩ−１のメニューで、監視データ要求ボタン５０１が操作された後に、続いて表示される操作画面を示している。ここでは、先に説明したように、「どのようなイベントの画像をチェックしますか？」というメッセージと共に、ユーザに対して「全て」、「指定する」、「いつもの」と言うようなボタン５１２、５１３、５１４が表示される。ここで、例えば「いつもの」のボタン５１４が選択されたものとする。すると、例えば図６Ｂに示すようなイベントリストが表示される。このイベントリストは、図３に示した再生制御器６２３が記憶媒体１０３０からイベント関連データ及び監視データを読み取り、フィルタリング部６３１でフィルタ処理を行い、表示スタイル処理部６２９で生成したリストである。なお、フィルタリングは、まず再生制御部６２３がイベント関連データを記憶媒体１０１０から読み取り、イベント関連データに対するフィルタ処理を行い、抽出したイベント関連データに対応する監視データを記憶媒体１０１０から再生する順番であってもよい。

上記の説明は、スマートフォーンＧＵＩ−１により、イベントリストを要求し、表示したが、テレビジョン受信装置ＧＵＩ−２によっても同様な動作が可能である。なおテレビジョン受信装置ＧＵＩ−２により操作を行うときは、リモートコントローラを介して画面上のカーソルを操作することで実現できる。

また図６Ｂでは、監視データのサムネールは、簡略化して示しているが、実際には、カメラ６１１の視野角の範囲の映像が撮影されている。

今、図６Ｂのリストの中からイベント５２１のサムネール５２２が、タッチ操作により選択されたとする。するとこのイベント５２１が発生した時点の例えば５分前から例えば１０分程度の監視データの連続再生が、再生制御器６２３（図３に示した）により開始され、モニタへ送られる。このときの映像を図７に示している。

図７の映像は、人物５２５が、ドア５２６を開けて部屋に入室し、ベッド５２７まで歩き、ベッド５２７に就寝した様子が撮影されている。再生制御器６２３は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２からの指令に応じて、複数のイベント関連データに対応する複数の監視データがリスト表示され、前記リスト表示された前記複数の前記監視データの中から任意の監視データが選択された場合、当該指定された監視データの記録期間を連続再生する。

また、再生制御器６２３（図３に示した）は、スマートフォーンＧＵＩ−１或いはテレビジョン受信装置ＧＵＩ−２からの指令に応じて、以下に述べるように、イベントを撮影している映像の早送り機能、逆送り機能、コマ送り機能を実行することができる。

さらに、再生制御器６２３はイベント関連データを参照することができるので、複数の前記イベントに関連する複数の前記監視データを、順次連続して早送り再生又は通常再生することができる。

さらにまた、再生制御器６２３は、指定された特定のイベントに関連する複数の監視データを、順次連続して早送り再生又は通常再生することができる。

また、図３に示した再生制御器６２３は、複数のイベント関連データを処理するイベント処理器を有し、イベント処理器は、特定のイベントに対応する複数のイベント関連データを纏めて丸めこむことができる。例えば、イベントは、パルス的に発生する場合もある。例えば大きな音の検出や、動き検出（例えばブラインドが風で揺れたときの動き検出）は単発的に発生する。このような場合は、検出時刻を一連の連続的な流れとして、丸め処理し、丸め処理したイベント関連情報に基づいて、監視データをチェックするとよい場合がある。

上記した実施形態においては、イベント検出時にカメラ６１１で撮像した一定時間長（５分、１０分、１５分或いは２０分）の画像データを監視データとして保存した。ここでイベント毎に監視データを保存する時間長は、任意に変更可能であってもよい。またイベントの種類に応じて前記期間が異なっていてもよい。さらにまた、時間帯に応じて、監視データを保存する時間長が異なってもよい。

イベントの配列方法（イベント関連データと対応するサムネールの配列方法）は、配列用アプリケーションにより、どのようにでも配列することが可能であり、当該イベント関連データと対応するサムネールを配列に応じて表示することができる。

図８Ａは、イベント関連データと、当該イベント関連データに関連する監視データのサムネールが、イベント毎に分類された場合の表示例を示している。分類は、動き検出のイベント、ドア１開閉のイベント、窓１開閉のイベント、照明１オンオフのイベントが例として示されている。

今、スマートフォーンＧＵＩ−１には、ドア１開閉に関するイベント関連データ５２６ａ−５２６ｄと対応するサムネール５２５ａ―５２５ｄが示されている。イベント関連データ５２６ａ−５２６ｄはイベント発生時間順に配列されている。ここでユーザが、スマートフォーンＧＵＩ−１のタッチ操作面を矢印５３１ａの方向へ擦るように操作すれば、さらに時刻の遅いイベント関連データ及び対応サムネールが表示され、矢印５３１ｂの方向へ擦るように操作すれば、さらに時刻の早いイベント関連データ及び対応サムネールが表示される。

また、ユーザが、スマートフォーンＧＵＩ−１のタッチ操作面を矢印５３２ａの方向へ擦るように操作すれば、さらに窓１開閉に関するイベント関連データ及び対応サムネールが表示され、矢印５３２ｂの方向へ擦るように操作すれば、動き検出に関するイベント関連データ及び対応サムネールが表示される。

上記した実施形態においては、図３、図５Ｂで説明したように、イベント関連データ及び対応するサムネールを表示する場合、複数のイベントを組み合わせて表示することも可能である。図３に示すように、システムコントローラ６０２は、フィルタリング部６３１を含む。このフィルタリング部６３１により、イベント関連データをその種類別にフィルタリングして分類したり、種類が異なるイベントのイベント関連データを組み合わせてリストアップ表示することができる。図８Ｂではドア２開閉のイベントが生じたときと、音検出のイベントがあったときのイベント関連データ及び対応する監視データのサムネールを表示した例である。

この場合もユーザが、スマートフォーンＧＵＩ−１のタッチ操作面を矢印５３１ａの方向へ擦るように操作すれば、さらに時刻の遅いイベント関連データ及び対応サムネールが表示され、矢印５３１ｂの方向へ擦るように操作すれば、さらに時刻の早いイベント関連データ及び対応サムネールが表示される。

図９は、スマートフォーンとこのスマートフォーンに表示されるイベント関連データのさらに他の関係及びさらに他の操作方法の一例を説明する図である。先の表示例（図８Ａ−図８Ｂ）は、イベント関連データがリスト表示された。しかし、監視データの表示が指定された後に、各イベントの発生ソース名が図９に示すようにタイルスタイルで表示されていてもよい。この複数のタイル（ドア１、ドア２、窓１−窓４、照明１−５、音５６１、音・女子５６２、音・男子５６３・・・）の中から、ユーザが希望するタイルをプレスしたときに、例えば図６Ｂに示すような表示状態に移行してもよい。音５６１が選択されたときは、全ての音に関するイベント関連データが表示対象となる。しかし、音・女子５６２が選択された場合は、女子の音に関するイベント関連データが表示対象となり、音・男子５６３が選択された場合は、男子の音に関するイベント関連データが表示対象となる。

図１０には、管理領域１０２１に記録されるイベント関連データの構造と、データ領域１０１１に記録される監視データを示している。イベント関連データは、イベントの種類毎に分類されている。例えばドアの開閉、窓の開閉、照明のオンオフ、エアコンディショナーのオンオフ、テレビジョン受信装置のオンオフ、動き検出などである。各種類の項目には、センサ識別データが付加されたセンサ項目（センサ１、センサ２、・・・・）が所属している。さらに各センサ項目に対しては、イベントデータが記述されている。イベントデータは、例えば、イベントの発生時刻、監視データの記録開始時刻、監視データの記録終了時刻、監視データの記録開始アドレス、監視データの記録終了アドレス、更にはサムネールアドレスなどが記述されている。監視データの記録開始アドレス、監視データの記録終了アドレス、更にはサムネールアドレスは、データ領域１０１１のアドレスを示しており、再生制御器６２３は、上記アドレスを参照して、必要なデータを記憶媒体１０３０から読出し再生することができる。

図１１は、ＨＧＷ６００に接続される記録再生装置１０３０内の記憶媒体１０１０’が設けられた実施形態を示している。図１で説明した記憶媒体１０１０は、インターネット３００を介してＨＧＷ６００に接続されるサーバ１０００内に設けられていた。しかし、図１１の実施形態では、ＨＧＷ６００に接続される記録再生装置１０３０内に記憶媒体１０１０’が設けられている。

この実施形態では、例えばテレビジョン受信装置ＧＵＩ−２において、監視データを高画質で表示可能とすることが容易である。また監視データは、インターネット３００を介して外部に送信されないので、特に個人的な監視データを管理する場合に有効である。なおインターネット３００を介して、サーバ１０００に送られるデータや、サーバ１０００からＨＧＷ６００に送られてくるデータは、秘匿処理が施されている。

さらに、図１１の実施形態では、ＨＧＷ６００は、カメラ６１１、マイク６１３、スピーカ６１５を接続、切り離しが可能である。つまり、カメラ６１１、マイク６１３、スピーカ６１５は、接続ラインを介して、ＨＧＷ６００本体から離れた箇所へ配置できる。

さらに別の実施形態としては、図１に示す記憶媒体１０１０と、図１１に示す記憶媒体１０１０’の両方が存在してもよい。この場合は、監視データ及びイベント関連データの記憶場所を、任意に選択可能としてもよい。

例えばセキュリティー請負会社との契約対象となるイベントの監視データ及びイベント管理データは、サーバ１０００の記憶媒体１０１０に記憶させ、前記契約対象を除くイベントの監視データ及びイベント管理データは、個人的な記録再生装置１０３０内の記憶媒体１０１０’に記憶させるようにしてもよい。

図１２は、スマートフォーンＧＵＩ−１のセンサリストボタン５０７が操作されたときにスマートフォーンＧＵＩ−１に表示されるセンサリストの例である。このセンサリストは、表示スタイル処理部６２９が管理している。

センサリストは、家庭内に使用されている各センサが識別名（例えばドア１、ドア２、動き検出１、窓スイッチ１、・・・・など）とともに表示される。そして当該センサが利用されているか否かを示すチェックマークＶが表示されている。つまりイベント検出用としてシステム内に組み込まれている場合は、「オン」項目にチェックマークが付され、組み込まれていない場合は、「オフ」項目にチェックマークＶが付されている。このチェックマークＶは、ユーザが任意に設定することができる。例えば、所望の項目をタッチ操作することで、オン又はオフを設定することができる。

さらに、各センサがイベントを検出した場合、そのイベント関連データ及びその対応する監視データを、外部のサーバに保存するのか、或いは、図１１で示した家庭内の記録再生装置１０３０に保存するのかをユーザは任意設定することができる。この設定に応じて、外部のサーバ１０００に保存される場合は、サーバの項目にチェックマークＶが表示され、家庭内の記録再生装置１０３０に保存される場合は、例えばオプションの項目にチェックマークＶが表示される。

図１３は、ＨＧＷ６００が各種の通信方式に対応可能に構成されていることを示している。センサは、メーカにより通信方式が異なる場合がある。例えば、ＩＥＥＥ８０２．１５．４を採用しているセンサ１０１ａ，１０２ａ，１０３ａ，１０４ａ・・・・が存在したり、ＩＥＥＥ８０２．１５１を採用しているセンサ１０１ｂ，１０２ｂ，１０３ｂ，１０４ｂ・・・・が存在したり、ＩＥＥＥ８０２．１５．３ａを採用しているセンサ１０１ｃ，１０２ｃ，１０３ｃ，１０４ｃ・・・・が存在したりする。さらには、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｇ、を採用しているセンサもある。

そこで本実施形態のＨＧＷ６００は、ネットワークインターフェースとして各方式に対応できるインターフェース６０５ａ、６０５ｂ，６０５ｃを装備している。

図１４Ａ、図１４Ｂ、図１４Ｃは、ＨＧＷ６００の各種タイプを示している。ＨＧＷ６００は、図１４Ａに示すようにカメラ６１１、マイク６１３、スピーカ６１５を一体に備えるタイプ、図１４Ｂに示すようにカメラ６１１、マイク６１３、スピーカ６１５が必要に応じて接続可能としたタイプがある。さらに図１４Ｂに示すようにカメラ６１１、マイク６１３、スピーカ６１５を一体に備えるとともに、走行装置６１８と一体となった移動タイプもある。上記したように、ＨＧＷ６００は、種々のタイプに構成されるので、全体名称としてはアシスタント装置６５０と称してもよい。

図１５Ａは、イベントを検出するセンサ８００の一例である。例えば基板８０１にスイッチ８０２が設けられている。翌片８０３は、一端がヒンジを介して基板８０１の一端に取り付けられている。翌片８０３は、例えばドア或いは窓が開いたときは、その回動部が基板８０１から離れ、スイッチ８０２をオンにする。これにより、基板８０１に構成されている電源回路に対して電源からの電力が供給され、基板８０１の電波発信器が起動し、所定のセンサＩＤを含む電波が出力される。このときは、スイッチ８０５がオン（つまりドア或いは窓が開いた）ことであり、この電波がＨＧＷ６００でキャッチされ、ＨＧＷ６００は、ドア或いは窓が開いていることを認識できる。前記した所定のセンサＩＤを含む電波が受信されていないときは、ＨＧＷ６００は、ドア或いは窓が閉じていることを認識できる。

図１５Ｂは、他のイベントを検出するセンサ８１０の一例である。例えば基板８１１に光電変換器（光電変換パネル）８１２が取り付けられている。この光電変換器８１２の出力は、電波発信器８１３を駆動する。光電変換器８１２は、光が照射されていないとすぐに放電して電力を失うように構成されている。したがって、例えば、カーテンが開いた、或いは照明が照射したような場合は、電波発信器８１３からセンサＩＤを含む電波が出力される。逆にカーテンが閉じた、或いは照明がオフしたような場合は、電波発信器８１３が停止し、電波出力が停止する。したがって、上記センサ８１０は、カーテンが開閉、或いは照明のオンオフなどを検出するセンサとして利用可能である。

さらには、光電変換器８１２の受光面に、カラーフィルタを設けて、不要な光には反応しないように構成してもよい。

なお、カーテンの開閉検出のために、上記センサ８１０と、さらに同様な第２センサを追加してもよい。そして第２センサは、カーテンが開いたときは、カーテンにより光が遮られスイッチがオフし、カーテンが閉じたときは光が照射されるようになりスイッチがオンし、一定時間第２センサのＩＤを含む電波が出力されるように構成してもよい。このようにすると、一方のセンサが故障した場合、ＨＧＷ６００は、容易にその異常を判断することができる。したがって、ＨＧＷ６００システムは、カーテン開閉検出機能の検出能力を高めることができる。

上記した説明では、カメラが１つであり監視データは主としてカメラで撮影した映像データであるものとして説明した。しかし複数のカメラ（カメラ１、カメラ２、カメラ３・・・）がセンサとして存在し、複数のカメラが撮影した複数の映像データが監視データとして扱われてもよい。この場合、監視データがチェックされるとき、いずれのカメラの監視データをチェックするのかが選択されてもよい。または、複数のカメラの監視データが、画面分割されて表示されてもよい。

さらに監視データは、映像だけでなく、温度・湿度の変化、圧力の変化が対象となってもよいことは勿論である。したがって監視データをチェックする場合、例えば図９で説明した方法と同様に、監視データの種類を選択できるようにしてもよい。

別の変形例として、本装置は監視データをメモリアルデータとして編集する手段を備えてもよい。例えば、家族団らんの風景などは、月日や時代とともに変化する。このような監視データが存在する場合、特定のイベント発生時のものを抽出して編集し、メモリアル映像として保存することができる。したがって、特定の種類の監視データに対しては、メモリアル映像保存処理を実行させることができる。

図１６は、さらに他の実施形態である。この実施形態では、システムコントローラ６０２がさらに、保存する特定イベントを指定する機能６４１、特定イベントの指定を解除する機能６４２、特定ベント再生機能６４３を有する。その他は、先の実施形態と同様であるために、先の実施形態と同じブロックには、同一符号を付して説明は省略する。

家庭内では、例えば家族団らんの風景があったり、或は子供が生まれて新しく家族が増えることがある。家族団らんの風景は、例えばダイニングルームで見られる。そこで、本実施形態では、図１７に示すように、各センサに対して特定イベント指定の欄を設けている。

図１７の例では、例えばダイニングルームに設けられた監視カメラＣ２は、撮影した映像に関して、特定イベント指定がなされている。監視カメラＣ２は、画像データに基づき動き検出を検出した場合に、家族団らん風景を撮影することができる。また、例えば子供部屋のマイク２は、ピックアップする音声（鳴き声をイベントとして捉える）に関して、特定イベント指定がされている。これにより、例えば子供が生まれた家族では、赤ちゃんのメモリアルイベントを記録することができる。なおさらにダイニングルームや、子供部屋では、それぞれの部屋において、カメラとマイクを一体に動作させてもよい。これにより音と映像の両方のメモリアルイベントを記録した情報を自動的に保存することができる。

本発明は上記の実施形態に限定されるものではない。上記したシステムは、イベント発生時に音声及び又は映像などの情報を記憶媒体に記録することができる。したがって、イベントの重要度が高い場合、一部のカメラ及び又はマイクだけでなく、全てのカメラ及び又はマイクが、起動してもよい。これにより全てのカメラ及びマイクが設置されている各エリアの状況（映像や音声）をイベント情報として記録することができる。イベントの重要度は、例えば、玄関の開閉、金庫の開閉、タンスの開閉などである。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１−１０４・・・センサ、６００・・・ＨＧＷ、６０１・・・制御データ管理部、６０２・・・システムコントローラ、６０３・・・デバイス管理部、６０５・・・ネットワークインターフェース、６０７・・・記録管理器、６０９・・・センサ制御テーブル、６１１・・・カメラ、６１３・・・マイク、６１５・・・スピーカ、６２１・・・記録指令器、６２３・・・再生制御器、６２４・・・メモリ、６２５・・・イベント判定器、６２７・・・表示用データ出力部、６２９・・・表示スタイル処理部、６３１・・・フィルタリング部、１０１０，１０１０’・・・記憶媒体、１０１１・・・データ領域、１０２１・・・管理領域、１０２２・・・イベント管理データ、ＧＵＩ−１・・・スマートフォーン、ＧＵＩ−２・・・テレビジョン受信装置。

Claims (14)

1. イベントが検出されたときのイベント関連データと該イベントの発生時の監視データとを記憶媒体に記録させる指令器と、
   前記イベント関連データと、前記イベント関連データに対応する該イベントの監視データの一部とを、前記記憶媒体から再生し表示用として出力する表示用データ出力部とを有する、
   データ監視及び管理装置。
2. さらに再生制御器を有し、この再生制御器と前記表示用データ出力部とは、表示された前記イベント関連データ又は前記監視データの前記一部に対する指定入力があった場合に、前記イベント関連データに対応する連続監視データを前記表示用データ出力部から出力する請求項１記載のデータ監視及び管理装置。
3. 前記イベント関連データは、該イベントの発生時刻、該イベントを検出したセンサの種類を含む請求項１記載のデータ監視及び管理装置。
4. さらに表示スタイル処理部を有し、複数の前記イベントに対応する複数の前記イベント関連データを前記イベントの種類で識別した配列を生成する、請求項１記載のデータ監視及び管理装置。
5. さらに表示スタイル処理部を有し、複数の前記イベント関連データの配列を生成する場合、操作入力に応答してイベントの種類をフィルタリングして前記配列を生成する、請求項１記載のデータ監視及び管理装置。
6. 前記指令器は、ユーザの手動操作入力を前記イベントとして判断する請求項１記載のデータ監視及び管理装置。
7. 前記指令器は、ユーザが操作する携帯端末からの入力を前記イベントとして判断する請求項１記載のデータ監視及び管理装置。
8. さらに表示スタイル処理部を有し、該表示スタイル処理部と前記表示用データ出力部は、複数の前記イベント関連データに対応する複数の前記監視データを出力する請求項１記載のデータ監視及び管理装置。
9. さらに再生制御器、表示スタイル処理部を有し、前記再生制御器、前記表示スタイル処理部と前記表示用データ出力部は、複数の前記イベント関連データに対応する複数の前記監視データがリスト表示され、前記リスト表示された前記複数の前記監視データの中から任意の監視データが選択された場合、当該選択された監視データの記録期間を連続再生する、請求項１記載のデータ監視及び管理装置。
10. さらに再生制御器を有し、前記再生制御器は、複数の前記イベントに関連する複数の前記監視データを、順次連続して早送り再生又は通常再生する、請求項１記載のデータ監視及び管理装置。
11. さらに再生制御器を有し、前記再生制御器は、指定された特定のイベントに関連する複数の監視データを、順次連続して早送り再生又は通常再生する、請求項１記載のデータ監視及び管理装置。
12. さらに複数の前記イベント関連データを処理するイベント処理器を有し、前記イベント処理器は、特定のイベントに対応する複数のイベント関連データを纏めて丸めこむ、請求項１記載のデータ監視及び管理装置。
13. 前記指令器は、前記監視データをキャッシュするメモリを備え、前記イベントが発生したとき、少なくともイベント発生時点よりも一定時間前の時点から前記イベント発生時点より一定時間後の時点までの監視データを記録対象とする、請求項１記載のデータ監視及び管理装置。
14. イベントが検出されたときのイベント関連データと該イベントの発生時の監視データとを記憶媒体に記録させることと、
    前記イベント関連データと、前記イベント関連データに対応する該イベントの監視データの一部とを、前記記憶媒体から再生し表示用として出力すること、
    を備えるイベントデータ監視方法。

Images