JP4789511B2 - 状況モニタリング装置及び状況モニタリングシステム - Google Patents

状況モニタリング装置及び状況モニタリングシステム Download PDF

Info

Publication number
JP4789511B2
JP4789511B2 JP2005164875A JP2005164875A JP4789511B2 JP 4789511 B2 JP4789511 B2 JP 4789511B2 JP 2005164875 A JP2005164875 A JP 2005164875A JP 2005164875 A JP2005164875 A JP 2005164875A JP 4789511 B2 JP4789511 B2 JP 4789511B2
Authority
JP
Japan
Prior art keywords
situation
recognition
recognized
installation location
monitoring apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005164875A
Other languages
English (en)
Other versions
JP2006018818A (ja
JP2006018818A5 (ja
Inventor
政美 加藤
優和 真継
克彦 森
博 佐藤
裕輔 御手洗
雄司 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005164875A priority Critical patent/JP4789511B2/ja
Priority to US11/597,061 priority patent/US8553085B2/en
Priority to AT05748479T priority patent/ATE543171T1/de
Priority to EP05748479A priority patent/EP1743307B1/en
Priority to PCT/JP2005/010724 priority patent/WO2005119620A1/en
Publication of JP2006018818A publication Critical patent/JP2006018818A/ja
Publication of JP2006018818A5 publication Critical patent/JP2006018818A5/ja
Application granted granted Critical
Publication of JP4789511B2 publication Critical patent/JP4789511B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Bathtubs, Showers, And Their Attachments (AREA)
  • Burglar Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、対象物の状況を認識し、その状況を通知する状況モニタリング装置、及び当該状況モニタリング装置がネットワークに接続された状況モニタリングシステムに関するものである。
インターネットの常時接続化ならびに広帯域化が進む一方で、セキュリティに関する意識の高まりに伴い、最近ではオフィスや家庭の状況を遠隔地からモニタリングする映像通信装置が実用化され、広く販売されている。このような既存の映像通信装置を利用すれば、遠隔地から、不審者の侵入を監視したり、病人・老人・子供等の弱者を見守ったりするセキュリティシステムを構築することが可能である。
しかしながら、上述のようなセキュリティシステムの場合、遠隔地のユーザは定期的に映像データを観察するようにしなければ、問題が発生した場合に速やかに対応することが困難である。これに対して、例えば特許文献１では、動物体を検知して通報する機能を有するセキュリティシステムが提案されている。この様なシステムの場合、不審者の可能性がある人物の侵入を検知・通知する程度の機能しか実現できない。また、映像データを無条件に配信してしまうことから生じるプライバシー侵害の問題のため、適用可能なケースが限定されてくる。
これらの問題点を解決するために、映像データそのものの配信ではなく、対象物の特定の状況を認識し、状況に応じて適切な処理を行う専用システムが提案されている。例えば特許文献２では、被介護人の状況を、音声による応答或いは画像認識による不在検出等に基づいて認識し、異常と認められる場合に通知するシステムが提案されている。また、特許文献３では、映像データからユーザの浴室内の状況を認識し異常を認識した場合に、警報するシステムが提案されている。
しかしながら、これらのシステムは何れも個別の状況毎に専用システムとして構築されたものであり、１つの装置で様々な状況に適用可能なものではない。従って、例えば複数の目的に適合したセキュリティシステムを構築しようとすると、夫々のケースに対応して、複数の専用装置を取り揃える必要があり大規模かつ高価なものとなってしまう。更にはこれらの専用システムは、導入に手間（導入のための工事等）がかかり、簡便に設置できるものではない。一方、家族の構成や家人の状況は時と共に変化するものであり、このような専用システムを取り揃えることは現実的ではない。
これに対して、近年の画像処理技術の進歩や演算処理能力の向上に伴い、人物の一般的な動作や状態を認識する装置が多数提案されてきている。例えば特許文献４では、時系列画像から得た特徴量ベクトル列をシンボル列に変換し、隠れマルコフモデルに基づいて認識対象カテゴリの中から最も尤度の高いものを選び出す装置が提案されている。また、顔の表情を認識する手法等も多数提案されており、例えば特許文献５では、苦痛や生気等の表情を認識する装置が提案されている。
しかしながら、このような手法を利用して汎用の（様々な状況の認識を１つの装置で実現する）状況モニタリング装置を実現しようとすると、認識対象となる動作のカテゴリ（認識する状況の種類）の増加に伴い誤認識が増加し、更に必要な処理能力も増大してしまうという問題がある。
更に、これら従来のセキュリティシステムは何らかの異常が発生した場合、当該異常を予め決められた通報先(例えば警備会社等)に一様に通報してしまうため、装置を多目的に利用することが困難であるという問題もある。例えば、子供の見守りを目的としたセキュリティシステムの場合、子供の状況は母親に連絡することが望まれ、不審者の侵入や火災等の異常発生の監視を目的としたセキュリティシステムの場合には、速やかに警備会社等に連絡することが望まれる。しかし、従来のセキュリティシステムでは、このような幅広い目的に応じた柔軟な運用が困難であった。
特開２００２−７４５６６号公報 特開２００２−３５２３５４号公報 特開平１０−１５１０８６号公報 特開平６−２５１１５９号公報 特開平１１−２１４３１６号公報
本発明はこのような問題点を解決するためになされたものであり、１つの装置構成で様々な状況のモニタリングと状況に応じた通知とを可能にし、かつ簡便に設置・利用することが可能な状況モニタリング装置及びそのシステムを廉価に実現することを目的とする。
上記の目的を達成するために本発明に係る状況モニタリング装置は以下のような構成を備える。すなわち、
自装置の設置された設置場所で画像を撮像する撮像手段と、
撮像した前記画像に基づいて前記設置場所を認識する設置場所認識手段と、
前記設置場所と、認識する状況の内容とを関連付ける情報を保持する情報保持手段と、
前記設置場所認識手段により認識された設置場所と前記関連付ける情報とに従って、前記認識する状況を決定する決定手段と、
撮像した前記画像に基づいて前記決定手段で決定された状況を認識する状況認識手段と、
前記状況認識手段による前記状況の認識結果をユーザに通知する通知手段とを有する。
また、上記の目的を達成するために本発明に係る他の状況モニタリング装置は以下の構成を備える。すなわち、
自装置の設置された設置場所で画像を撮像する撮像手段と、
撮像した前記画像に基づいて前記設置場所を認識する設置場所認識手段と、
撮像した前記画像に基づいて対象物を認識する対象物認識手段と、
前記設置場所と、認識する前記対象物及び認識する状況とを関連付ける情報を保持する情報保持手段と、
前記設置場所認識手段により認識された設置場所と前記関連付ける情報とに従って、前記認識する対象物と認識する状況とを決定する決定手段と、
撮像した前記画像に基づいて前記決定手段で決定された対象物が前記決定手段で決定された状況であることを認識する状況認識手段と、
前記状況認識手段による前記状況の認識結果をユーザに通知する通知手段とを有する。
本発明によれば、１つの装置構成で様々な状況のモニタリングと状況に応じた通知とを可能にし、かつ簡便に設置・利用することが可能な状況モニタリング装置及びそのシステムを廉価に実現することが可能になる。
以下、添付図面に従って本発明の各実施形態を詳細に説明する。本実施形態にかかる状況モニタリング装置は、当該装置の設置場所に応じて、所定の対象物の所定の状況を認識し、ネットワークを介してユーザに状況の変化を通知するものである。
［第ｌの実施形態］
図２は、本発明の一実施形態にかかる状況モニタリング装置を含む状況モニタリングシステムの概略構成図である。
図２において、２０１は状況モニタリング装置であり、ケーブルモデム／ＡＤＳＬモデム等の回線接続装置２０２を介してインターネット等のネットワーク２０３に接続されている。２０４は携帯電話等の携帯端末装置であり、状況モニタリング装置２０１が送信する状況認識結果情報を受信する。２０５はサーバ装置であり、メールサーバ等のサービス提供機能を有する。
状況モニタリング装置２０１は、認識する対象物体（認識対象）に所定の状況変化が発生した場合に、予め決められた所定の情報を示すテキスト文書を生成し、インターネットプロトコルに従ってメールサーバ２０５に対して当該情報をメール文書として送信する。メール文書を受信したメールサーバ２０５では、メール送信先の携帯端末装置２０４に対して所定のプロトコルでメールの到着を通知する。そして、携帯端末装置２０４では、メールの到着情報に従って、メールサーバ２０５に保持されたメール文書を受信する。このように、携帯端末装置２０４を所有するユーザは、状況モニタリング装置２０１の検知した認識対象の状況変化を遠隔地で確認することができる。なお、状況モニタリング装置２０１はネットワーク２０３に直接アクセスする機能を内蔵していても良く、その場合、宅内の回線接続装置２０２を介することなくネットワーク２０３に接続される。また、状況認識結果情報を受信する端末は、携帯端末装置２０４に限るものではなくパーソナルコンピュータ２０６やＰＤＡ（Personal Digital Assistant）等の端末でも良い。
図３は、第１の実施形態における状況モニタリング装置２０１の概略構成図である。図３において、３０１はカメラ部のレンズであり、３０２に示す枠内でチルト動作（上下動作）をする。３０３はパン動作するための外枠であり、当該外枠と共にレンズ３０１がパン動作（左右動作）する。３０４は置き台であり、当該筐体内にカメラ部以外の主要ユニットや電源等が内蔵されているものとする。この様に、状況モニタリング装置２０１は小型・軽量な形態をなしており、かつパン／チルト可能なカメラを内蔵することにより、様々な場所に簡便に設置することが可能である。
ユーザは、この状況モニタリング装置２０１を目的に応じて任意の場所にアドホックに設置し、特定の対象物体の状況をモニタリングする。
具体的には、
・乳幼児の側に置いて安全を確認する。
・病人の側に置いて無事を確認する。
・老人の側に置いて安全を確認する。
・玄関内に置いて家人の出入りを確認すると共に、不審者の侵入を監視する。
・窓辺に置いて不審者の侵入を監視する。
・風呂場に置いて入浴者の異常無きことを確認する。
等の様々なケースに利用することができる。
以上、本実施形態にかかる状況モニタリング装置の概要と一般的な利用形態について説明してきたが、以降、図面を利用して当該状況モニタリング装置の処理について具体的に説明する。
図４は、第１の実施形態にかかる状況モニタリング装置２０１のハードウェア構成図である。 図４において、４０１はＣＰＵ（Central Processing Unit）、４０２はブリッジであり、高速なＣＰＵバス４０３と低速なシステムバス４０４とをブリッジする機能を有する。また、ブリッジ４０２は、メモリコントローラ機能を内蔵し、ブリッジに接続されたＲＡＭ（Randam Access Memory）４０５へのアクセスを制御する機能を有する。
ＲＡＭ４０５は、ＣＰＵ４０１の動作に必要なメモリでありＳＤＲＡＭ（Synchronous DRAM）／ＤＤＲ（Double Data Rate SDRAM）／ＲＤＲＡＭ（Rambus DRAM）等の大容量高速メモリにより構成される。また、ＲＡＭ４０５は、画像データバッファ等としても利用される。更に、ブリッジ４０２は、システムバス４０４につながるデバイスとＲＡＭ４０５間のデータ転送を司るＤＭＡＣ（Direct Access Memory Controller）機能を内蔵する。ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）４０６は、ＣＰＵ４０１の動作に必要なインストラクションデータ及び各種設定データを格納するためのメモリである。なお、インストラクションデータは、ＣＰＵ４０１の初期化時にＲＡＭ４０５に転送され、以降、ＣＰＵ４０１は、ＲＡＭ４０５上のインストラクションデータに従って処理を行う。
４０７はＲＴＣ（Real Time Clock）ＩＣであり、時間管理／カレンダ管理を行う専用デバイスである。通信インターフェース部４０８は、宅内の回線接続装置（各種モデムやルータ）２０２と本実施形態の状況モニタリング装置２０１とを接続するために必要な処理部であり、例えば無線ＬＡＮ（ＩＥＥＥ８０２.１１ｂ／ＩＥＥＥ８０２.１１ａ／ＩＥＥＥ８０２.１１ｇ等）の物理層及び下位レイヤプロトコルを処理するための処理部である。本実施形態の状況モニタリング装置２０１は、通信インターフェース部４０８及び回線接続装置２０２を介して外部のネットワーク２０３に接続される。４０９は操作部であり、本装置と利用者とのユーザインターフェースを司る処理部である。操作部４０９は本装置の置き台３０４の背面等に組み込まれる。
図５は、図４の操作部４０９の操作パネル（５０１）を示した図である。５０２はＬＣＤ部であり、ユーザに対してメッセージを表示する。５０３〜５０６はメニュー選択のためのボタンであり、ＬＣＤ部５０２に表示されるメニューを操作するためのボタンである。５０７、５０８は、それぞれＯＫボタンならびにキャンセルボタンである。ユーザは、当該操作パネル５０１を操作することにより認識すべき状況の設定等を行う。
また、図４の４１０は映像入力部であり、ＣＣＤ（Charge-Coupled Devices）／ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサ等の光電変換デバイス及び当該デバイスを制御するドライバ回路・各種画像補正を司る信号処理回路及びパン・チルト機構を実現するための機械的・電気的構成を含む。４１１は映像入力インターフェース部であり、映像入力部４１０から同期信号と共に出力されるラスタ画像データをディジタル画像データに変換しバッファリング処理をする。また、映像入力部４１０のパン・チルト機構を制御するための信号を生成する。
映像入力インターフェース部４１１でバッファリングされたディジタル画像データは、例えばブリッジ４０２に内蔵されるＤＭＡＣを利用してＲＡＭ４０５上の所定のアドレスに転送される。当該ＤＭＡ転送は、例えば、映像信号の垂直同期信号をトリガーとして起動される。ＣＰＵ４０１は、ブリッジ４０２の生成するＤＭＡ転送終了割り込み信号を元に、ＲＡＭ４０５に保持された画像データに対して各種処理を開始する。なお、状況モニタリング装置２０１は不図示の電源部も有している。この電源部は、例えば充電可能な２次電池により、あるいは通信インターフェース部４０８が有線ＬＡＮの場合にあっては、Power Over Ethernet（登録商標）等により給電されるものとする。
図１は、第１の実施形態にかかる状況モニタリング装置２０１の処理の流れを示すフローチャートである。このフローチャートは、ＲＡＭ４０５にロードされたプログラムであり、ＣＰＵ４０１によって処理されるものである。状況モニタリング装置２０１の電源が投入されると、ステップＳ１０１では、各種初期化処理が実行される。具体的に説明すると、ステップＳ１０１では、インストラクションデータのロード（ＥＥＰＲＯＭ４０６からＲＡＭ４０５への転送）・各種ハードウェアの初期化処理・ネットワーク接続のための処理等が実行される。
続いて、ステップＳ１０２では、当該状況モニタリング装置２０１の設置場所の認識処理が実行される。本実施形態では、映像入力部４１０で入力された画像データを用いて当該装置が設置された設置場所を認識する。
図６は、図１のステップＳ１０２の詳細を示すフローチャートである。まず、ステップＳ６０１では、映像入力部４１０から画像データを取得し、ＲＡＭ４０５上に保持する。続いて、ステップＳ６０２では、映像入力インターフェース部４１１が映像入力部４１０のパン・チルト機構を制御し、ステップＳ６０１で取得した領域以外の領域の画像データを取得する。図７は、図６のステップＳ６０２で取得した画像データを模式的に示した図であり、カメラの撮像領域をＡ→Ｂ→Ｃ→Ｄの順に制御しながら、室内の領域を広く撮像する。
続いて、ステップＳ６０３では、ステップＳ６０２における画像データの取得が完了したか否かを判断する。ステップＳ６０３において、画像データの取得が完了していないと判断された場合には、ステップＳ６０１に戻る。一方、ステップＳ６０３において、画像データの取得が完了したと判断された場合には、ステップＳ６０４に進む。
続いて、ステップＳ６０４では、特徴パラメータの抽出処理を行う。なお、特徴パラメータの抽出処理を行うにあたっては、画像検索のアルゴリズム等に提案されている様々な手法を利用することが可能である。ここでは、例えば、色ヒストグラム、高次局所自己相関特徴（大津展之、栗田多喜夫、関田巌：“パターン認識”，朝倉書店，１６５〜１８１頁，１９９６年）等の位置不変な特徴抽出方式を適用するものとする。具体的には、所定の範囲の色ヒストグラム値や局所自己相関値を特徴量とした特徴パラメータを抽出する。また、このようなプリミティブな特徴を利用するだけではなく、より高次の特徴抽出手法を利用しても良い。例えば、窓やベッド、椅子、机等の特定のオブジェクトを探索し（柳井、出口：“物体間の指示関係を利用した室内画像の認識”電子情報通信学会論文誌Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１７４１−１７５２ ２００１年８月）、それらのオブジェクトの詳細な特徴（形状や色等）やオブジェクトの配置関係を特徴パラメータとして抽出するような手法を用いても良い。具体的には、オブジェクトの存在有無／存在位置／大きさ／色等を特徴量とする特徴パラメータを抽出する。なお、いずれの場合も、特徴パラメータの抽出は、ＲＡＭ４０５に保持された画像データから行われる。
続いて、ステップＳ６０５では、ステップＳ６０４で得られた特徴パラメータと既に登録されている設置場所に対応する特徴パラメータとを用いて判別処理を行い、設置場所が過去に設置されたことのない新規の場所であるか否かを判断する。この判断処理は、特徴パラメータと設置場所との関係を示すテーブルを参照することにより行う。具体的にはユークリッド距離が最も近く、かつ所定の閾値以上の特徴パラメータを有する設置場所がテーブル上に存在した場合には、当該設置場所を状況モニタリング装置２０１の置かれた場所として認識する。なお、この判断方式は、距離による判別に限るわけではなく、従来より提案されている様々な手法を用いて良い。
ステップＳ６０５において、設置場所が過去に設置されたことのない新規の場所であると判断された場合には、ステップＳ６０６に進む。一方、ステップＳ６０５において、設置場所が過去に設置されたことのある場所であると判断された場合には、当該処理を終了する。
続いて、ステップＳ６０６では、特徴パラメータと対応する場所コードとを登録する。図１４は、場所コードと特徴パラメータとの関連を示すテーブルを示した図である。「場所コード」は状況モニタリング装置２０１が管理する番号であり、新たな場所が認識された場合、未使用の任意の番号を新たに定義して使用する。「特徴パラメータ」のＰｎｍは、場所コードｎにおける特徴ｍの特徴量を示すスカラデータであり、例えば色ヒストグラムの場合、所定の色範囲内の正規化されたヒストグラム値に相当する。なお、当該テーブルは、例えばＥＥＰＲＯＭ４０６等に保持されているものとする。
このように、ステップＳ１０２では、画像データから設置場所を認識し、設置場所を規定するユニークな場所コードとその場所が新規に設置された場所であるか否かの情報（図示しない）とを生成する。
続いて、図１のステップＳ１０３では、状況を認識する対象を決定する。図８は、図１のステップＳ１０３の詳細を示すフローチャートである。
まず、ステップＳ８０１では、図１のステップＳ１０２での結果を用いて、設置された場所が初めて設置された新規の場所であるか否かを判断する。ステップＳ８０１において、新規の場所であると判断された場合には、ステップＳ８０２に進み、認識対象の設定動作を開始する。一方、ステップＳ８０１において、新規の場所でないと判断された場合には、ステップＳ８０７に進む。
ステップＳ８０２では、操作部４０９を介してユーザに認識対象の設定操作を促す。図９は、操作部４０９のＬＣＤ部５０２に表示される表示内容の一例を示した図である。新規の場所であると判断された場合、この様に認識対象を設定する旨を促すメッセージがＬＣＤ部５０２に表示される。ここで、操作キー５０４〜５０５を操作すると、予め登録されている人物が順次表示され、また、操作キー５０６を押下すると、現在表示されている人物が認識対象として設定される。
人物の選択が終了し操作キー５０７が押下されると、現在の設置場所での認識対象者がテーブル（図１０）に設定される。なお、予め登録された人物以外を選択する場合、新規登録画面（図示しない）から認識対象人物の登録処理（９０５）に進む。図９の登録処理（９０５）では、登録対象者を撮像し、当該画像データから当該登録者の認識に必要な特徴パラメータを抽出する。更に、登録処理（９０５）では、登録者に対する属性情報（名前など）の入力を促す。
図１０は、設置場所と認識対象人物及び状況認識内容の関係を示す認識情報テーブルの一例を示した図である。場所コードは、設置場所認識処理（ステップＳ１０２）で認識された設置場所に与えられるユニークなコードであり、また、認識対象人物コードは、予め登録されている人物に割り当てられているユニークなコードである。なお、設置場所に対して複数の人物を認識対象として設定することも可能である（図１０の場所コードＰ０００２の場合）。この場合、認識対象の優先順位を認識情報テーブルに追加しても良い。優先度が設定されている場合、実際の状況認識処理では優先度の高い人物をより高い頻度で認識する。更に、設置場所に対して特定の認識対象人物を設定しないようにすることもできる（図１０の場所コードＰ０００３の場合）。
続いて、ステップＳ８０３では、認識対象の設定を行う。また、所定の時間、設定操作が認められない場合は、変更無きものと判断し、ステップＳ８０４で実際の認識対象を決定する。続いて、ステップＳ８０４では、認識情報テーブルを参照して認識対象を決定する。例えば、場所としてＰ０００２が認識された場合、人物Ｈ０００１及びＨ０００２の状況を認識する。なお、特定の認識対象人物が登録されていない設置場所の場合には、全ての人物の状況を認識する。例えば、全ての人物の進入検知や全ての不審者の検知などの認識処理を実行する。
一方、ステップＳ８０７では、設置場所が変更されたか否かを判断する。ステップＳ８０７において、設置場所が変更されたと判断された場合には、ステップＳ８０５に進む。一方、ステップＳ８０７において、設置場所が変更されていないと判断された場合には、ステップＳ８０６に進む。
続いて、ステップＳ８０５では、所定のユーザインターフェースを介して、設置場所の変更があった旨をユーザに通知し、更に、認識情報テーブルを参照して設置場所に対応する認識対象人物を同様にユーザに通知する。この通知するユーザインターフェース手段としては、例えば操作部４０９のＬＣＤ部５０２に表示する、或いは音声合成処理などにより音声情報として通知する等の方法で良い。これらの処理は、ＣＰＵ４０１により行われる。
続いて、ステップＳ８０６では、操作部４０９のＬＣＤ部５０２に、設定内容を変更するか否かについての表示を所定時間行い、所定時間内にユーザから対象の変更の指示かあったか否かを判断する。ステップＳ８０６において、対象の変更の指示があったと判断された場合には、ステップＳ８０２に進み、認識対象を選択する。一方、ステップＳ８０６において、対象の変更の指示がないと判断された場合には、ステップＳ８０４に進む。そして、上述したステップＳ８０４で認識対象を決定した後、当該処理を終了する。
以上のようにして、ステップＳ１０３では、認識対象が決定される。再び図１の処理を説明する。図１のステップＳ１０４では、認識する状況の内容を決定する。図１１は、図１のステップＳ１０４の詳細を説明するフローチャートである。
まず、ステップＳ１１０１では、ステップＳ１０２で得られた場所コードから認識情報テーブルを参照して、認識対象人物コードを取得する。図１０で示す例の場合、場所コードＰ０００２が認識されると認識対象人物コードＨ０００１とＨ０００２の２人が認識対象人物として決定される。
続いて、ステップＳ１１０２では、当該認識対象人物の当該設置場所における状況認識内容が既に設定されているか否かを判断する。ステップＳ１１０２において、当該設置場所における状況認識内容が設定されていないと判断された場合（新規状況の場合）には、ステップＳ１１０３に進み、状況認識内容の選択を行う。
図１２は、図１１のステップＳ１１０３で操作部４０９のＬＣＤ部５０２に表示される表示内容の一例を示した図である。まず、指定された人物の状況認識内容選択を促すメッセージが表示される（１２０１）。操作キー５０４〜５０５を操作すると予め設定されている状況認識内容が順次表示され、操作キー５０６を押下すると、現在表示されている内容が状況認識内容として設定される。状況認識内容の選択が終了し操作キー５０７が押下されると、現在の設置場所での認識対象人物の状況認識内容が認識情報テーブルに設定される（ステップＳ１１０４）。なお、「デフォルト」（１２０２）が設定された場合や所定時間ユーザからの入力が無い場合には、自動的にデフォルトの内容が設定される。デフォルトの内容は「入退室」の認識等、一般的に多くのケースで設定される状況が自動的に指定される。これにより、設定操作に伴う煩わしさが軽減される。
一方、ステップＳ１１０２において、当該設置場所における状況認識内容が既に設定されていると判断された場合には、ステップＳ１１０８に進み、認識対象人物の変更があったか否かを判断する。ステップＳ１１０８において、認識対象人物の変更があったと判断された場合には、ステップＳ１１０６に進む。一方、ステップＳ１１０８において、認識対象人物の変更がなかったと判断された場合には、ステップＳ１１０７に進む。
続いて、ステップＳ１１０６では、所定のユーザインターフェースを介して、新たな認識対象人物が設定されたことをユーザに通知し、更に認識情報テーブルを参照して対応する状況認識内容を同様にユーザに通知する。このユーザインターフェース手段としては、例えば、操作部４０９のＬＣＤ部５０２に表示する、或いは音声合成処理などにより音声情報として通知する等の方法でよい。
続いて、ステップＳ１１０７では、ユーザに対して設定した状況認識内容を変更するか否かの表示を所定時間行い、ユーザから状況認識内容の変更があったか否かを判断する。ステップＳ１１０７において、ユーザから状況認識内容の変更があったと判断された場合には、ステップＳ１１０３に進む。一方、ステップＳ１１０７において、ユーザから状況認識内容の変更がなかったと判断された場合には、ステップＳ１１０５に進む。
続いて、ステップＳ１１０３及びステップＳ１１０４では、認識対象の新規設定と同様に状況認識内容の設定処理が実行される。所定時間、設定操作が認められない場合、変更無きものと判断し、ステップＳ１１０５で実際の状況認識内容を決定する。続いて、ステップＳ１１０５では、認識情報テーブルを参照して認識対象人物に対する状況認識内容を決定する。
このように、図１のステップＳ１０２〜ステップＳ１０４の処理により、認識対象及び状況認識内容が決定され、決定された条件に従って、ステップＳ１０６で実際の状況認識処理が実行される。
続いて、ステップＳ１０５では、例えば取得した画像データの背景領域の大きな変化の検出に基づいて当該状況モニタリング装置の設置場所が移動したか否かを判断する。この背景領域の変化は、フレーム間の差分情報等を利用して低負荷かつ容易に抽出可能である。ステップＳ１０５において、設置場所が移動したと判断された場合には、ステップＳ１０２に戻り、再び設置場所認識処理を開始する。一方、ステップＳ１０５において、設置場所が移動していないと判断された場合には、ステップＳ１０６に進む。このステップＳ１０５は、必要な場合にのみ実行するよう構成することで、処理負荷を低減することができる。
続いて、図１のステップＳ１０６では、ステップＳ１０３で決定された認識対象人物を追尾し、当該認識対象人物の所定の状況を認識する。この追尾処理は映像入力インターフェース部４０９を介してカメラのパン・チルト機構を制御することで実現する。このステップＳ１０６では、例えば設置場所としてＰ０００２が認識された場合、認識対象人物Ｈ０００１に対して「倒れていないか？」の状況認識を実行し、認識対象人物Ｈ０００２に対して「物を口に入れてないか？」の状況認識を実行する。ここで、当該ステップに必要な人物の認識に関する処理としては従来より提案されている様々な手法を適用可能である（赤松：“コンピュータによる顔の認識の研究動向”電子情報通信学会誌Ｖｏｌ．８０ Ｎｏ．３ ｐｐ２５７−２６６ １９９７年３月等）。ここで、識別に必要な特徴パラメータは前述した様に認識対象の登録時に抽出されているものとする。
また、ステップＳ１０６で処理する状況認識の手法も従来より提案されている様々な方式を利用可能である。例えば、特定人物の入退室や不審者の入室を検出する場合、顔認識手法による個人識別結果等を利用して容易に実現可能である。また、気分が悪いあるいは倒れている等限定された状況の認識に関する方式についても既に多数提案されている（特開平１１−２１４３１６号公報、特開２００１−３０７２４６号公報等）。
また、幼児が異物を口に加えているといった状況も、従来より手話認識等で提案されている手の動作認識と顔検出により得られる口の位置情報等とを組み合わせることで認識可能である。これらの状況認識処理に関するアルゴリズムを実行するソフトウェアは、ＥＥＰＲＯＭ４０６やネットワーク上のサーバ装置２０５に格納され、状況認識処理（ステップＳ１０６）の開始に先立ちＲＡＭ４０５にロードされるものとする。
本実施形態における状況モニタリング装置２０１のソフトウェアは、例えば、図１３に示す様な階層的な構造をなしているものとする。１３０１はＲＴＯＳ（Real Time Operating System）であり、タスクの管理やスケジューリング等を処理する。１３０２はデバイスドライバであり、例えば、映像入力インターフェース部４１１等のデバイス制御を処理するものである。１３０３はミドルウェアであり、本実施形態に関する信号処理を行ったり各種通信プロトコル等を処理するものである。１３０４はアプリケーションソフトウェアである。本実施形態に関する状況認識処理に必要なソフトウエアは、ミドルウェア１３０３として実装されている。また、ＣＰＵ４０１はローダープログラムを介して、必要に応じて所望のアルゴリズムを実装したソフトウェアを動的にロード／アンロードする。
具体的には、ステップＳ１１０５で認識状況が決定されると、上述の例の場合、認識対象人物Ｈ０００１に対する状況「倒れていないか？」、認識対象人物Ｈ０００２に対する状況「物を口に入れていないか」を認識する２種類の処理ソフトウェアモジュールをＥＥＰＲＯＭ４０６からロードする。このように、装置の設置場所や認識対象人物から状況認識内容を限定することにより、認識処理アルゴリズムの複雑化を回避し、廉価なシステムで現実的なシステムの構築が可能になる。
また、このような処理ソフトウェアをネットワークに接続された他のサーバ装置等に格納することでより拡張性の高いシステムを廉価に提供することも可能である。この場合、状況認識内容が決定されると（ステップＳ１１０５）、ＣＰＵ４０１は所定のサーバ装置にアクセスし、ＦＴＰ（File Transfer Protocol）或いはＨＴＴＰ（Hyper Text Transfer Protocol）等の通信プロトコルを利用して所定のソフトウェアモジュールをサーバ装置からＲＡＭ４０６に転送する。図１のステップＳ１０６では、当該ソフトウェアを状況認識処理ソフトウェアとして利用する。処理ソフトウェアモジュールをサーバ装置に格納することで、ＥＥＰＲＯＭ４０６の容量を削減することができ、また装置の機能拡張（処理アルゴリズムの拡張）を容易に実現することが可能になる。
続いて、図１のステップＳ１０７では、所定の状況が認識されたか否かの判断を行い、ステップＳ１０７において、認識されたと判断された場合には、ステップＳ１０８に進み、ＣＰＵ４０１において通報処理を実行する。ステップＳ１０８では、例えば、認識した状況を文字情報として電子メールやインスタントメッセージ等のプロトコルに従って通信インターフェース部４０８を介して送信する。この際、文字情報に加えて撮像した画像データを同時に転送するようにしてもよい。また、ユーザが本装置と同じ宅内に存在するような場合には、不図示の音声インターフェース部を介して異常が発生したことを通報するよう構成しても良い。
一方、ステップＳ１０７において、所定の状況が認識されなかった場合には、ステップＳ１０５に戻って、設置場所の移動可能性の確認を行い、設置場所が不変の場合には、状況認識処理（ステップＳ１０６）を継続する。
以上、本実施形態では、状況モニタリング装置の設置場所の認識結果に従って、認識する状況や認識対象が自動的に決定され、更に認識対象人物の認識結果に従って適切な認識状況が自動的に設定される。これにより、状況モニタリング装置を少ないリソースのシステムで廉価に実現することが可能になる。また、任意の場所に置くだけで当該場所に応じた適切な状況見守り機能を提供することが可能であり、１つの装置を様々な状況に対応して簡便かつ利便性高く利用することができる。
［第２の実施形態］
図１５は、第２の実施形態における状況モニタリング装置の概略構成図である。図１５（ａ）に示す１５０１は状況モニタリング装置の主要部であり、第１の実施形態で示す構成が内蔵されているものとする。一方、図１５（ａ）〜図１５（ｃ）に示す１５０２ａ〜１５０２ｃはクレイドルと呼ばれる置き台であり、主要部５０１が当該クレイドル上に装着されている。主要部１５０１には、クレイドル部１５０２から電源を供給するためのインターフェースと情報を入力するためのインターフェースとが付加されているものとする。クレイドル部１５０２は、電源部及びそのクレイドルをユニークに識別するための情報を保持するデバイスが具備されている。当該デバイスとしては、シリアルＲＯＭ等の廉価な情報記録デバイスが使用され、主要部１５０１とはシリアルインターフェースを介して通信する。
第２の実施形態にかかる状況モニタリング装置の処理動作は、図１に示した第１の実施形態での処理動作に対してステップＳ１０２の処理が異なるのみである。
図１６は、第２の実施形態にかかる状況モニタリング装置の処理の流れを示すフローチャートである。
まず、ステップＳ１６０１では、ＣＰＵ４０１において、不図示のシリアルインターフェースを介してクレイドル部１５０２に内蔵するシリアルＲＯＭにアクセスし、ＲＯＭ内に記録されているＩＤデータを読み出す。ここで、読み出されたＩＤコードは、設置場所を規定するユニークなコードとなる。続いて、ステップＳ１６０２では、ＩＤコードを管理する管理テーブルを参照する。
続いて、ステップＳ１６０３では、当該ＩＤコードの設置場所が新規の場所であるか否かを判断する。なお、当該管理テーブルは、ＥＥＰＲＯＭ４０６に格納されているものとする。図１７は、管理テーブルの一例を示した図であり、状況モニタリング装置２０１が管理する任意の場所コードに対して対応するＩＤコードが記録されている。ステップＳ１６０３において、当該ＩＤコードの設置場所が新規の場所であると判断された場合には、ステップＳ１６０４に進み、当該ＩＤコードをＥＥＰＲＯＭ４０６上の管理テーブルに記録する。一方、ステップＳ１６０３において、当該ＩＤコードの設置場所が新規の場所でないと判断された場合には、ステップＳ１６０４に進む。
本実施形態の場合には、主要部１５０１をクレイドル部１５０２に装着することにより、装着されたクレイドルを認識し、これによって、設置された場所を認識する。なお、図１の設置場所認識処理（ステップＳ１０２）以降の処理ステップは、第１の実施形態と同様であり、設置場所に応じた認識対象と状況認識内容が決定される。
また、本実施形態の場合、ユーザは状況モニタリング装置を利用する複数の場所に予めクレイドルを設置しておき、利用目的に応じて主要部１５０１のみを移動する。例えば、クレイドル１５０２ａは玄関に、クレイドル１５０２ｂは子供部屋等に設置する。これにより、例えば主要部１５０１がクレイドル１５０２ａに装着された場合には、不審者の侵入を監視する状況認識モードで動作し、クレイドル１５０２ｂに装着された場合には子供の安全を見守る状況認識モードで動作する。
以上の説明から明らかなように、第２の実施形態によれば、ＩＤコードの取得により場所を認識する簡単な手法により確実に設置場所を認識することが可能になる。
［第３の実施形態］
図１８は、第３の実施形態にかかる状況モニタリング装置の処理の流れを示すフローチャートである。このフローチャートは、ＲＡＭ４０５にロードされたプログラムであり、ＣＰＵ４０１によって処理されるものである。本実施形態の場合もハードウェアの構成は第１の実施形態と同様である。以下、第１の実施形態との違いについてのみ説明する。
状況モニタリング装置の電源が投入されると、ステップＳ１８０１では各種初期化処理が実行される。具体的に説明すると、ステップＳ１８０１では、インストラクションデータのロード（ＥＥＰＲＯＭ４０６からＲＡＭ４０５への転送）・各種ハードウェアの初期化処理・ネットワーク接続のための処理等が実行される。
続いて、ステップＳ１８０２では、認識対象と当該認識対象に対応する状況認識内容とを選択する。図１９は、図１８のステップＳ１８０２の詳細の内容を示すフローチャートである。
ステップＳ１９０１では、操作部４０９を介してユーザに認識対象の設定操作を促す。図９は、操作部４０９のＬＣＤ部５０２に表示される表示内容の一例を示した図である。まず、認識対象を選択することを促すメッセージが表示される（９０１）。ここで操作キー５０４〜５０５を操作すると、予め登録されている人物が順次表示され、操作キー５０６を押下すると、現在表示されている人物が認識対象として設定される。
人物の選択が終了し操作キー５０７が押下されると、現在の設置場所での認識対象人物が認識情報テーブルに記録される（ステップＳ１９０２）。なお、予め登録された人物以外を登録する場合、第１の実施形態と同様に新規登録画面（９０５）から認識対象人物の登録処理に入る。
図２０は、認識対象人物と状況認識内容の関係を示す認識情報テーブルの一例を示した図である。認識対象人物コードは、予め登録されている人物に割り当てられているユニークなコードである。また、当該認識対象人物コードに対しては、特別な意味をもつコードを割り当てることも可能であり、例えば、図２０に示す例の場合、Ｈ９９９９は全ての人物を認識対象とする特別なコードであり、当該コードが選択された場合、全ての人物の所定の状況を認識する。
続いて、ステップＳ１９０３では、選択された認識対象人物の種別と状況認識内容がユーザに通知される。この通知手段としては、例えば、操作部４０９のＬＣＤ部５０２に表示する（ステップＳ１９０４）、或いは音声合成処理などにより音声情報として通知する等の方法で良い。
ステップＳ１９０５では、ユーザに対して状況認識の選択内容を変更するか否かの表示を所定時間行い、所定時間内にユーザから状況認識の選択内容を変更する指示があるか否かを判断する。ステップＳ１９０５において、ユーザから状況認識の選択内容を変更する指示があった場合には、ステップＳ１９０６に進む。一方、ステップＳ１９０５において、ユーザから状況認識の選択内容を変更する指示がなかった場合には、当該処理を終了する。
続いて、ステップＳ１９０６では、認識対象人物毎に対応する状況認識内容を設定する。例えば、操作キー５０４〜５０５を操作すると予め登録されている状況認識内容が順次表示され、操作キー５０６を押下すると、現在表示されている内容が状況認識内容として設定される。内容の選択が終了し操作キー５０７が押下されると、現在の設置場所での認識対象人物の状況認識内容が認識情報テーブルに設定される（ステップＳ１１０４）。なお、「デフォルト」（１２０２）が設定された場合や所定の時間ユーザからの入力が無い場合、自動的にデフォルトの内容が設定される。デフォルトの内容は「入退室」の認識等、一般的に多くのケースで設定される状況が自動的に指定される。これにより設定操作に伴う煩わしさが軽減される。
状況認識内容の設定が完了すると実際の認識動作を開始する。まず、図１８のステップＳ１８０３では、認識対象人物の検出及び認識処理を行う。ここでの認識対象認識処理も第１の実施形態で述べたように従来より提案されている人物認証アルゴリズム等を利用することが可能である。なお、ここで認識情報テーブルに設定されていない人物が新たに検出された場合には、認識情報テーブルの設定ステップ（ステップＳ１８０２）で設定処理を行う。但し、ステップＳ１８０４で設定動作に移行するか否かの判断は、ユーザが予め設定可能であるとする。即ち、設定外の人物を検出した場合、常に無視する或いは予め定めるデフォルトの状況認識を行う等に設定することが可能である。
続いて、ステップＳ１８０５では、認識情報テーブルを参照し、認識された人物の状況認識内容を決定する。続いて、ステップＳ１８０６では、ステップＳ１８０５で決定された状況認識内容に基づく状況認識処理を実行する。ここでの認識処理も第１の実施形態と同様に従来より提案されている様々な方式を利用して実現することが可能である。続いて、ステップＳ１８０７では、所定の人物の所定の状況を認識したと判別された場合に、第１の実施形態と同様に、ステップＳ１８０８において、ユーザに対して通報される。
以上、第３の実施形態では、認識対象人物毎に認識する状況が自動的に決定され、適切な状況認識内容が自動的に設定される。これにより、状況モニタリング装置を少ないリソースのシステムで廉価に実現することが可能になる。また、任意の場所に置くだけで所望の認識対象の所望の状況を見守ることができ、１つの装置を様々な状況に対応して簡便に利用することができる。
なお、上記各実施形態では、認識対象として人物の場合を例に説明したが、本発明はこれに限るわけではなく、動物や特定の物等、認識対象はどのようなものであっても良い。例えば、特定の物の場合、当該物体が「所定の位置から移動させられた」、「無くなった」等の状況を認識し通報する場合等が考えられる。なお、移動や存在の認識は従来より提案されているパターンマッチング手法を利用することにより容易に実現することが可能である。
また、上記各実施形態では、画像データを利用して装置の設置場所や認識対象人物の状況を認識する場合について説明したが、本発明はこれに限るわけではなく、画像データ以外のセンシング情報を利用して状況を認識するようにしても良い。更には、画像データと他のセンシング情報とを組み合わせて状況を認識するようにしても良い。他のセンシング情報としては、音声情報・赤外光情報・電波情報等様々なセンシング技術を利用することが可能である。
また、上記各実施形態では、設置場所と認識対象及び状況認識内容の関係を一般的なテーブルを利用して定義する場合について説明したが、本発明はこれに限るわけではなく、より高次の認識技術を利用して決定しても良い。例えば、設置場所に存在する特定オブジェクトの認識結果や当該設置場所に現れる人物の識別結果や人物の属性（年齢の認識結果等）等から当該設置場所の意味（子供部屋である・病人が寝ている部屋である）に関する高次の判別を行い、この結果を利用して、認識対象と状況認識内容とを決定する等の手法を取り入れても良い。この場合、認識情報テーブル設定の手間を大きく軽減することができる。
また、上記第１の実施形態では、取得した背景の変化を利用して装置の設置場所の認識処理を開始することとしたが、本発明はこれに限るわけでなく、他の手法を用いてもよい。例えば、装置の底面に機械的或いは光学的なセンサを取り付け、当該装置を持ち上げた後再び置いた状態を検知し、当該タイミングで設置場所の認識を開始するようにしても良い。また、操作部の所定のボタンを押下した場合に場所認識処理を開始するようにしてもよい。いずれの場合にも常に設置場所の認識処理を実行する場合に比べて処理負荷を低減することが可能になる。更には、ＲＴＣ４０７を利用して、所定の時間間隔で場所認識処理を自動的に開始するようにしてもよい。この場合でも常に認識処理を実行する場合に比べて処理負荷を低減できる。
また、上記第２の実施形態では、状況モニタリング装置を装着するクレイドルの違いにより、設置場所を認識することとしたが、本発明はこれに限るわけではなく、他の手法を用いても良い。例えば当該装置に無線タグ受信機を内蔵し、例えば宅内の所定の位置に貼られた無線タグを検出することで設置位置を検出するようにしても良い。この場合、無線タグはシール等で提供することが可能であり極めて廉価簡便に確実な設置位置検出機能を実現することが可能になる。更には、当該装置にＧＰＳ（Global Positioning System）等による自立的な位置情報取得手段を内蔵し、当該手段によって得られる情報を用いて宅内等における位置を獲得するようにしても良い。この場合、ＧＰＳによる位置検出結果と画像による検出結果等とを組合わせることでより確かな設置場所認識機能を実現することが可能になる。
また、上記各実施形態では、認識対象の状況変化を通知する手段としてインターネットメールを利用する場合について説明したが、メールプロトコルを利用した場合、リアルタイム性に問題が生じることが考えられる。そこで、他のプロトコルを利用するようにしてもよい。例えば、インスタントメッセージングプロトコル等を利用することで即時性に優れた情報通知を実現することが可能になる。また、テキストメッセージによる通知ではなく、本装置に電話機能と音声合成機能とを内蔵し、遠隔地の電話に直接発呼し情報を通知するように構成してもよい。
また、上記各実施形態では、機械的な制御構造を有するカメラ（所謂パン・チルトカメラ）を用いた場合について説明したが、本発明はこれに限るわけではなく、全方位カメラ等の広角カメラを利用するようにしても良い。その場合、認識対象を機械的に補足するのではなく、広角で取得した画像データを利用して同等の処理を実現することが可能である。
また、上記各実施形態では、操作部として入出力機能を有する操作部ユニットを本体に具備する場合について説明したが、本発明はこれに限るわけではなく、装置と分離したリモコン等を操作部ユニットとしても良い。図２１は、リモコンによる操作部を実現する場合のハードウェア構成図である。図２１は、上記第１の実施形態にて説明したハードウェア構成（図４）に対して操作部２１０９のみが異なっている。２１０９ｂ、ｃは操作Ｉ／Ｆ部２１０９ａと本体との通信を司るための通信部であり、電波・赤外線などの無線インターフェースにより実現される。当該通信部は、低速な無線通信手段を利用して廉価・容易に実現することが可能である。２１０９ａは操作Ｉ／Ｆ部であり、第１の実施形態で示した操作部４０９と同様に表示・入力機能を有する。操作Ｉ／Ｆ部２１０９ａ及び通信部２１０９ｂからなるリモコン２１０９ｄは、小型軽量であり、ユーザは当該リモコン２１０９ｄを操作することにより、当該装置の動作に必要なパラメータの設定を行うことができる。このように操作部を本体と分離することにより、当該装置の設置の自由度が増すと共に利便性が向上する。
更には、ネットワークを利用して動作に必要なパラメータを設定するよう構成しても良い。この場合、状況モニタリング装置は、例えばＨＴＴＰ（Hyper Text Transfer Protocol）サーバ機能を有し、通信部インターフェース部２１０８を介してＨＴＴＰに基づくＷｅｂベースのユーザインターフェースをユーザに提供する。ＨＴＴＰサーバは、ミドルウェア（図１３の１３０３）の１つとして組み込まれ、ＨＴＴＰに基づく遠隔地からの操作に対応して所定のパラメータ設定プログラムを起動する。この場合、ユーザは携帯電話、ＰＤＡ、パーソナルコンピュータ等の汎用端末から本装置の動作に必要なパラメータを設定することが可能になり、更に、遠隔地から当該設定動作を行うことが可能になる。また、専用の操作部を設ける必要が無いため装置を廉価に実現できる。
また、上記各実施形態では、状況モニタリング装置に内蔵する組み込みプロセッサを利用して全ての処理を実行する場合について説明したが、本発明はこれに限るわけではなく、例えばパーソナルコンピュータ等の外部処理装置と組み合わせて実現してもよい。この場合、画像データの取り込みのみを専用の装置で実現し、その他の画像認識処理や通信処理等はパーソナルコンピュータの資源を利用する。専用装置とパーソナルコンピュータとは、例えばＢｌｕｅＴｏｏｔｈ等の無線インターフェースやＨＰＡ（Home Power Plug Alliance）等の電力線通信インターフェースを利用することにより、同様の利便性を実現することが可能である。このような機能分散による状況モニタリングシステムの実現はもちろんパーソナルコンピュータを利用した場合だけではなく、他の様々なインターネットアプライアンスを利用することによっても実現可能である。
また、上記各実施形態では、ＣＰＵを用いたソフトウェア処理により本発明を実現する場合について説明したが、本発明はこれに限るわけではなく、専用のハードウェアで処理しても良い。この場合、状況認識のためのアルゴリズムはＦＰＧＡ（Filed Programable Gate Array）の内部回路を決定するオブジェクトデータやリコンフィギャラブルプロセッサの内部回路を決定するオブジェクトデータ等に相当する。状況認識内容が決定されると（ステップＳ１１０５）、システム制御用プロセッサがこれらのデータをＥＥＰＲＯＭ４０６やネットワークに接続されたサーバ装置等から専用のハードウェアにロードする。専用のハードウェアは、ロードされたオブジェクトデータに従って所定のアルゴリズムの認識処理を開始する。
以上説明したように、上記各実施形態によれば、自機器の設置場所に対応して状況認識内容が限定されるため、廉価で信頼性の高い状況モニタリング装置を実現することが可能になる。また、設置場所を自動的に判断して適切な状況認識内容が決定されるため、ユーザは１つの装置を置くだけで様々な状況を認識することか可能になる。
また、上記各実施形態によれば、装置の設置場所に対応して認識対象と状況認識内容が限定されるため、廉価でより信頼性の高い状況モニタリング装置を実現することが可能になる。また、設置場所を自動的に判断して適切な認識対象と状況認識内容が決定されるため、ユーザは装置を置くだけで所望の状況を信頼度高く認識することか可能になる。
また、上記各実施形態によれば、認識対象に対応して状況認識内容が限定されるため、廉価で信頼性の高い状況モニタリング装置を実現することが可能になる。また、ユーザは装置を認識対象人物の近く或いは認識対象人物が現れる可能性の高い場所に置くだけで所望の状況を認識することか可能になる。
また、上記各実施形態によれば、特別なセンサ等を必要とすることなく装置を廉価に実現できる。また、必要な場合にのみ場所認識処理を行うことにより、処理負荷を低減することが可能になる。その結果、更に簡単な方法で確実に場所認識処理を開始できる。更に特別なセンサ等を追加することなく、確実に場所認識処理を開始できる。
そして、設置場所の誤認識による提供する認識機能の誤りを防止することが可能になる。また、認識対象の誤認識による提供する認識機能の誤りを防止することが可能になる。また、適切なタイミングで情報設定のためのユーザインターフェースを提供することが可能になり、利便性が向上する。
また、上記各実施形態によれば、設置場所の変更時に自動的に情報設定のためのユーザインターフェースを提供することが可能になり、利便性が向上する。また、設置場所の変更時でかつ必要な場合にのみ情報設定のためのユーザインターフェースを提供することにより、利便性が向上する。また、認識対象の認識結果に応じて、必要な場合にのみ情報設定のためのユーザインターフェースを提供することにより、利便性が向上する。
また、上記各実施形態によれば、必要な場合にのみ情報設定のためのユーザインターフェースを提供することにより、利便性が向上する。また、優先度に応じて、より好ましい状況認識を実現することが可能になる。また、簡単な方法で装置の設置場所を確実に認識することが可能になる。
また、上記各実施形態によれば、装置の動作に必要なパラメータをユーザが設定する際の利便性が向上する。また、装置の動作に必要なパラメータの設定を遠隔地から行うことが可能になる。また、装置の動作に必要なパラメータの設定を汎用の端末から行うことが可能になる。また、より汎用性・拡張性の高い装置を廉価に実現することが可能になる。
［第４の実施形態］
図２２は第４の実施形態にかかる状況モニタリング装置の処理フローの概要を示す図である。当該処理フローはＲＡＭ４０５にロードされたプログラムであり、ＣＰＵ４０１によって処理される。
本装置の電源が投入されると、ステップＳ２２０１では各種初期化処理を実行する。具体的には、インストラクションデータのロード（ＥＥＰＲＯＭ４０６からＲＡＭ４０５への転送)・各種ハードウェアの初期化処理・ネットワーク接続のための処理等が実行される。
次にステップＳ２２０２では、設置場所の識別処理を実行する。本実施形態では映像入力部４１０で入力された画像データを用いて装置の設置場所を識別する。なお、設置場所識別処理（ステップＳ２２０２）の詳細は、上記第１の実施形態において説明した図６と同じであるため、ここでは、説明を省略する（場所コードと特徴パラメータとの関連を示すテーブルも図１４と同様（図２９参照））。
なお、設置場所の識別は、自動で行う代りにユーザが手動で設定するようにしても良い。この場合、操作部４０９の操作パネル５０１に提示されるインターフェースを介して(図示しない）設置場所を指定する情報を入力することとなる。
また状況認識内容の通報先或いは通報手段の選択に際し、設置場所に関する情報を利用しない場合には、当該設置場所識別処理（ステップＳ２２０２）或いは設置場所設定処理は省略しても良い。
次にステップＳ２２０３では所定の状況を認識した場合の通報先を決定する。図２４は通報先設定処理（ステップＳ２２０３）の詳細を示すフローチャートである。
ステップＳ２４０１では操作部４０９の操作パネル５０１に設定内容の変更を行うか否かのインターフェースを提示し(図示しない）、変更する場合、以下のステップ（Ｓ２４０２〜Ｓ２４０５）で通報先を規定する設定情報を更新する。
先ず、ステップＳ２４０２では操作部４０９を介してユーザに認識対象の設定操作を促す（図９の９０１）。なお、操作部４０９のＬＣＤ部２３０１（図２３）に表示される表示内容は図９と同様である。
ここで、操作キー５０４〜５０５を操作すると予め登録されている人物が順次表示され（９０２〜９０４）、操作キー５０６を押下すると、現在表示されている人物が通報イベント発生の対象となる認識対象人物として設定される。人物の選択が終了し操作キー５０７が押下されると、現在の設置場所における認識対象人物が通報制御情報テーブル(図２５）に設定される。
当該テーブルはＥＥＰＲＯＭ４０６等に格納されるテーブルデータであり、後述する通報先の決定時に参照されるものである。即ち通報イベント発生時の通報先は当該テーブルを参照して制御される。なお、予め登録された人物以外を選択する場合、新規登録画面(図示しない）から認識対象人物の登録処理（９０５）に入る。登録処理（９０５）では登録対象人物を撮像し、当該画像データから当該登録者の認識に必要な特徴パラメータを抽出する。更に登録処理では登録者に対する属性情報(名前など）の入力をユーザインターフェースを介して促す。
図２５は場所、認識対象人物、通報する状況の内容及び通報先の関係を示す通報制御情報テーブルの例を示す。場所コードは設置場所認識処理（ステップＳ２２０２）で認識された場所に与えられるユニークなコードであり、認識対象人物コードは予め登録されている人物に割り当てられているユニークなコードである。
なお、設置場所に対して複数の人物を認識対象として設定することも可能である(図２５の場所コードＰ０００２の場合）。この場合、認識対象の優先順位を通報制御情報テーブルに追加するようにしても良い。優先度が設定されている場合、状況内容解析処理（ステップＳ２２０５）では優先度の高い人物の状況を確率的により高い頻度で認識する。更に、設置場所に対して特定の認識対象人物を設定しないようにすることもできる（図２５の場所コードＰ０００４の場合）。この場合、当該設置場所で所定の状況(人物の侵入)が認識されると、対象物識別処理（ステップＳ２２０６）の出力に関わらず、ステップＳ２２０９で通報処理が実行される。以上ステップＳ２４０２では状況を認識し通報する認識対象人物が設定される。
次にステップＳ２４０３では認識対象人物毎に通報動作を行う状況の内容を設定する。図２６は操作部４０９のＬＣＤ部２３０１に表示される表示内容の一例を示すものである。ここで、操作キー５０４〜５０５を操作すると予め登録されている状況内容が順次表示され（２６０２〜２６０４）、操作キー５０６を押下すると、現在表示されている状況が当該認識対象人物の通報発生状況として設定される。
状況内容の選択が終了し操作キー５０７が押下されると、現在の設置場所での状況内容が通報制御情報テーブル（図２５）に設定される。なお、「デフォルト」（２６０２）が設定された場合や所定時間ユーザからの入力が無い場合には、自動的にデフォルトの内容が設定される。デフォルトの内容は「入退室」の認識等、一般的に多くのケースで設定される状況が自動的に指定される。これにより設定操作に伴う煩わしさが軽減する。
次にステップＳ２４０４では認識対象及びその状況内容毎に通報動作を行う通報先を設定する。図２７は操作部４０９のＬＣＤ部２３０１に表示される通報先設定画面の表示例を示すものである。ここで、操作キー５０４〜５０５を操作すると予め登録されている通報先が順次表示され（２７０２〜２７０５）、操作キー５０６を押下すると、現在表示されている通報先が、当該認識対象人物が該当する状況を認識された場合の通報先として設定される。
認識すべき状況内容の選択が終了し操作キー５０７が押下されると、通報先が通報制御情報テーブル（図２５）に設定される。なお、「新規登録」（２７０５）が設定された場合、所定の操作パネル５０１に所定のインターフェースを提示し(図示しない）、新たな通報先の登録を行う。また、１つの状況に対して複数の通報先を設定することも可能である。
以上ステップＳ２４０２〜Ｓ２４０４で当該設置場所に対応する通報制御情報テーブル（図２５）が設定される。図２５を用いて具体的に説明すると、場合コードがＰ０００２の場合、認識対象人物Ｈ１００１に対しては「倒れていないか？」が通報条件として設定され、もし当該条件を認識した場合には、「父」にその旨を通報する。
また、認識対象人物Ｈ１００２に対しては「物を口に入れていないか？」「禁止エリアにいないか？」が条件として設定され、当該条件の状況を認識した場合、それぞれ「母」、「兄」にその旨が通報される。尚、特定の認識対象人物が登録されていない設置場所の場合、全ての人物の状況や当該場所の状況(火災の発生等）を認識する。例えば、図２５において場所Ｐ０００４では、全ての人物の進入検知や不審者の検知などの認識処理を実行し、人物の侵入を検知した場合「警備会社」にその旨通報する。
以上ステップＳ２２０３では認識対象、認識状況、対応する通報先が通報制御情報テーブルに記録される。
次にステップＳ２２０４では状況変化の有無を判定する。ここでは、例えば画像データのフレーム間差分を利用して、認識対象領域の画像変化を検出する。当該ステップで所定領域以上の変化が確認された場合、ステップＳ２２０５で認識対象の状況内容解析処理を開始する。なお、ステップＳ２２０４では、例えば画像データ以外の情報を利用して状況変化を検出するようにしても良い。例えば赤外線を利用したセンサ等を利用して人物の侵入を検知する等の手法を用いても良い。当該ステップでは簡単な処理で状況の変化(人物の存在等)を検知し、必要な場合にのみ状況内容解析処理(ステップＳ２２０５)を実行する。
状況変化が検知された場合、ステップＳ２２０５で状況内容の解析処理を実行する。ステップＳ２２０５では撮像範囲内の人物を追尾し当該人物の状況を解析する。なお、ここで必要な状況認識の手法としては従来より提案されている様々な方式を利用可能である。例えば、特定人物の入退室や不審者の入室の検出は、顔検出・顔認識手法による個人識別結果を利用して容易に実現可能である。又、顔の表情を認識する手法等も多数提案されており、例えば特開平１１−２１４３１６号公報では苦痛や生気等の表情を認識する装置が提案されている。
更に、幼児が異物を口に加えているといった状況も、従来より手話認識等で提案されている手の動作認識と顔検出により得られる口の位置情報等とを組み合わせることで認識可能である。更に、特開平６−２５１１５９号公報では、時系列画像から得た特徴量ベクトル列をシンボル列に変換し、隠れマルコフモデルに基づいて認識対象カテゴリの中から最も尤度の高いものを選び出す動作認識手法が提案されている。
また、特開平０１−２６８５７０号公報では、画像データから火災を認識する方法が提案されている。ステップＳ２２０５ではこれら複数の状況認識アルゴリズムを含む処理モジュールを実行し、各処理の出力値を判定して所定の状況が発生しているか否かを出力する。
図３５はステップＳ２２０５が具備する認識処理ソフトウェアモジュールの一例を示す図であり、３５０１〜３５０５はそれぞれ、人物の姿勢を認識するモジュール、所定の領域に対する侵入者を検知するモジュール、人物の表情を認識するモジュール、人物の特定の動作を認識するモジュール、環境の状況（火災等の特定状況の認識）を認識するモジュールに相当し、映像入力部４１０で撮像された画像データ（ＲＡＭ４０５に格納）に対して処理を行う。
各モジュールはミドルウェアタスクとして時分割或いはシリアルに動作する。当該ステップでは各モジュールの出力値を所定のフォーマットにコード化したデータを解析結果として出力する。なお、前記各モジュールは専用のハードウェアモジュールとして実現しても良い。その場合、当該ハードウェアモジュールはシステムバス４０４に接続されるものとし、所定のタイミングでＲＡＭ４０５に格納された画像データに対して処理を行う。
ステップＳ２２０６では状況内容解析処理（ステップＳ２２０５）で認識された状況の認識対象人物を認識する。当該ステップの処理に必要な人物の認識に関する方式も従来より提案されている様々な手法を適用可能である（赤松：“コンピュータによる顔の認識の研究動向”電子情報通信学会誌Ｖｏｌ．８０ Ｎｏ．３ ｐｐ２５７−２６６ １９９７年３月等）。なお、個人の識別に必要な特徴パラメータは前述したように認識対象人物の新規登録時（(図９の９０５)に抽出されているものとする。
ステップＳ２２０７では通報制御情報テーブルを参照し、通報すべき所定の認識対象人物の所定の状況が認識されたか否かの判断を行い、認識されたと判断した場合、ステップＳ２２０８で状況内容の符号化処理を行う。なお、図２５において、通報する状況内容は説明の便宜上、所定の状況を表す言葉で示しているが、実際のテーブルは前記状況内容解析処理（ステップＳ２２０５）の出力する所定のコードデータ(図示しない）に対応するコード（対応する状況をユニークに指定するコード)が記録されている。
次に、状況内容符号化処理（ステップＳ２２０８）では状況内容解析処理（ステップＳ２２０６）の出力を利用して状況内容を所定の文字情報に変換する。ここでの変換は、例えば予め定める変換テーブルを用意し、状況内容解析処理（ステップＳ２２０６）の出力と当該変換テーブルの内容とから文字情報を取得する。
図２８は変換テーブルの例を示す図である。例えば、状況認識処理モジュールＲ０００１（図３５の３５０１の認識モジュールに相当）は人物の３種類の状況を認識し出力する。状況認識処理モジュールＲ０００３（図３５の３５０３の認識モジュールに相当）は人物の２種類の状況を認識し出力する。各認識処理モジュール（図３５の３５０１〜３５０５）から所定の出力が得られた場合、当該変換テーブルを参照して対応する所定の文字列を出力する。この様に状況内容符号化処理（ステップＳ２２０８）では、状況内容解析処理（ステップＳ２２０５）の出力値（所定のコード）に基づいて、変換テーブルを参照することにより文字情報を取得する。なお、当該変換テーブルはＥＥＰＲＯＭ４０６等に予め記録されているものとする。
図３６に通報処理（ステップＳ２２０９）の詳細を示す。当該ステップでは設置場所識別処理（ステップＳ２２０２）、状況内容解析処理（ステップＳ２２０５）及び対象物識別処理（ステップＳ２２０６）の出力を元にして、ステップＳ３６０１でＥＥＰＲＯＭ４０６に格納された通報制御情報テーブル（図２５）を参照し、当該設置場所における所定の認識対象の所定の状況に対応する通報者を決定する。
次にステップＳ３６０２では当該通報者に対して、状況符号化処理（ステップＳ２２０８）で得られた文字情報を送信する。当該文字情報は電子メールやインスタントメッセージ等のプロトコルに従って通信インターフェース部４０８を介して送信する。なお、通報先の選択は、電子メールの場合、定められた通報先に対応する電子メールアドレスを設定することにより実現される。
なお、本装置は電源投入後、ステップＳ２２０４〜Ｓ２２０９の処理を繰り返し実行し、所定の状況を認識すると、状況に対応する通報者に状況の内容を通報する。
以上の説明から明らかなように、本実施形態によれば、所定の状況を認識した場合、その内容を容易に把握することが可能になり、更に装置の設置場所、認識対象及び認識する状況に応じて適切な通報先に当該状況内容を通知することが可能になる。
［第５の実施形態］
図３０は第５の実施形態にかかる状況モニタリング装置の構成を示す図である。本実施形態のハードウェア構成は上記第１の実施形態の図４に対して、通信インターフェース部４０８が異なるのみである。
３００１はＣＰＵ、３００２はブリッジであり、ブリッジ３００２は高速なＣＰＵバス３００３と低速なシステムバス３００４とをブリッジする機能を有する。
また、ブリッジ３００２はメモリコントローラ機能を内蔵し、ブリッジに接続されたＲＡＭ３００５へのアクセスを制御する機能を有する。ＲＡＭ３００５はＣＰＵ３００１の動作に必要なメモリでありＳＤＲＡＭ／ＤＤＲ／ＲＤＲＡＭ等の大容量高速メモリにより構成される。また、ＲＡＭ３００５は画像データバッファ等としても利用される。
更にブリッジ３００２はシステムバス３００４につながるデバイスとＲＡＭ３００５間のデータ転送を司るＤＭＡ機能を内蔵する。ＥＥＰＲＯＭ３００６はＣＰＵ３００１の動作に必要なインストラクションデータ及び各種設定データを格納するためのメモリである。尚、インストラクションデータはＣＰＵ３００１の初期化時にＲＡＭ３００５に転送され、以降ＣＰＵ３００１はＲＡＭ３００５上のインストラクションデータに従って処理を行う。
３００７はＲＴＣ ＩＣであり、時間管理／カレンダ管理を行う専用デバイスである。３００９は操作部であり、本装置と利用者とのユーザインターフェースを司る処理部である。操作部３００９は本装置の置き台３０４の背面等に組み込まれる。３０１０は映像入力部であり、ＣＣＤ／ＣＭＯＳセンサ等の光電変換デバイス及び当該デバイスを制御するドライバ回路・各種画像補正を司る信号処理回路及びパン・チルト機構を実現するための機械的・電気的構成を含む。
３０１１は映像入力インターフェース部であり、映像入力部３０１０から同期信号と共に出力されるラスタ画像データをディジタル画像データに変換しバッファリング処理すると共に、映像入力部３０１０のパン・チルト機構を制御するための信号を生成する。映像入力インターフェース部３０１１でバッファリングされたディジタル画像データは、例えばブリッジ３００２に内蔵するＤＭＡを利用してＲＡＭ３００５上の所定のアドレスに転送される。
当該ＤＭＡ転送は、例えば、映像信号の垂直同期信号をトリガーとして起動される。ＣＰＵ３００１はブリッジ３００２の生成するＤＭＡ転送終了割り込み信号を元に、ＲＡＭ３００５に保持された画像データに対して各種処理を開始する。なお、当該装置は図示しない電源部も有する。
３００８ａは第一の通信インターフェース部であり、無線／有線ＬＡＮ等インターネットプロトコルのネットワークに接続する機能を有する。３００８ｂは既存電話網や携帯電話網に直接接続する機能を有する。本実施形態では、認識対象やその状況に応じて通報手段を選択する。具体的には、通常の状況の場合，緊急度に応じて電子メールやインスタントメッセージ等のインターネットプロトコルを用いて情報を通報し、緊急度が極めて高い状況の場合、電話等により直接状況内容を通報する。
図３１は本実施形態による通報先設定処理（ステップＳ２２０３）の詳細を説明するフローチャートである。本実施形態では、上記第４の実施形態と比較して、新たに通報手段設定処理（ステップＳ３１０５）が追加される。他のステップＳ３１０１〜Ｓ３１０４はそれぞれ第４の実施形態で説明したステップＳ２４０１〜Ｓ２４０４と同一であるため、説明を省略する。
図３２は本実施形態で利用する通報制御情報テーブルの内容を示す図である。通報手段選択処理（ステップＳ３１０５）では設置場所、認識対象及び状況内容に応じて通報手段を設定する。図３２の場合「倒れていないか？」、「不審者の検知」等緊急度の高い状況に対しては「電話」による通報を指定する。一方、「苦しんでいないか？」、「物を口に入れていないか？」、「禁止エリアにいる？」等緊急度が中程度の状況に対しては「インスタントメッセージ」を設定し、「出入りの確認」等緊急度の低い状況に対しては「電子メール」を設定する。
ステップＳ３１０５で設定された情報は上記第４の実施形態と同様に通報制御情報テーブルとしてＥＥＰＲＯＭ３００５に記録される。
本実施形態の状況内容符号化処理（ステップＳ２２０８）では通報先設定処理（ステップＳ２２０３）で設定された通報手段に応じて状況内容を符号化する。例えば、通報手段として「インスタントメッセージ」、「電子メール」が設定された場合には、文字情報に符号化し、「電話」が設定された場合には音声情報に符号化する。音声情報への符号化は、図示しない音声合成処理で図２８のテーブルに示す文字列に対応する音声データを生成する。なお、当該音声データはＩＴＵ標準のＧ．７２３やＧ．７２９等の高能率符号化方式で圧縮しても良い。生成された音声情報はＲＡＭ３００５等に一時的に格納される。
図３７は本実施形態に係る通報処理（ステップＳ２２０９）の詳細を説明する図である。ステップＳ３７０１ではＥＥＰＲＯＭ３００６に格納された通報制御情報テーブル（図３２）を参照し、設置場所識別処理（ステップＳ２２０２）の出力、対象物識別処理（ステップＳ２２０６）の出力及び状況内容解析処理（ステップＳ２２０５）の出力に応じた所定の通報先を決定する。
次にステップＳ３７０２では同様に通報制御情報テーブルを参照して通報手段を決定する。ステップＳ３７０２では選択された通報先に、選択された通報手段（３００８ａ又は３００８ｂ）を介して状況の内容を表現する符号化された情報を送信する。即ち、通報手段として、「インスタントメッセージ」、「電子メール」等が選択された場合、第一の通信インターフェース部３００８ａを介してインターネットプロトコルで通報内容を送信する。また、通報手段として「電話」が選択された場合、所定の通報先の電話に自動発呼し、着信の確認後、ＲＡＭ３００５に保持された音声データを第２の通信インターフェース部３００８ｂを介して直接音声信号として送信する。
以上、本実施形態によれば、所定の通報先に、状況に応じた通信手段を介して通報することが可能になり、緊急度等に応じたより適切な通報機能を実現することが可能になる。
［第６の実施形態］
図３３は本発明の第６の実施形態にかかる状況モニタリング装置の処理フローの概要を示す図である。当該フローチャートはＲＡＭ３００５にロードされたプログラムであり、ＣＰＵ３００１によって処理される。本実施形態にかかる状況モニタリング装置のハードウェアの構成は第５の実施形態と同様であるため、その違いについてのみ説明する。
図３３は本実施形態による通報先設定処理（ステップＳ２２０３）の詳細を説明するフローチャートである。本実施形態では、第５の実施形態の通報先設定処理に対して、新たに通報判断時間設定処理（ステップＳ３３０６）が追加される。他のステップＳ３３０１〜Ｓ３３０５はそれぞれ第５の実施形態で説明したステップＳ３１０１〜Ｓ３１０５と同一であるため、その違いのみ説明する。
図３４は本実施形態における通報制御情報テーブルの一例を示す図である。状況内容に対応して時間情報を設定し、所定の状況が認識された場合、当該認識された時間を判断し、時間に応じた通報先に状況内容を通知する。例えば場所コードＰ０００３の場合、８時から２４時の間に侵入者が検出された場合、電子メールを介して母に状況を通知する様に設定される。一方、同じ条件で２４時から８時の間に侵入者が検出された場合、警備会社に通知する様に設定される。ステップＳ３３０６で設定された情報は第５の実施形態と同様に通報制御情報テーブルとしてＥＥＰＲＯＭ３００６に記録される。
図３８は本実施形態による通報処理（ステップＳ２２０９）の詳細を示すフローチャートである。ステップＳ３８０１では所定の状況が認識された時間をＲＴＣ３００７から取得する。ステップＳ３８０２では設置場所、認識対象人物、状況内容及びステップＳ３８０１で取得した時間を元にＥＥＰＲＯＭ３００６に格納された通報制御情報テーブル（図３４）を参照して所定の通報先を決定する。
更にステップＳ３８０３では同様に通報制御情報テーブルを参照して所定の通報手段を決定する。ステップＳ３８０４ではステップＳ３８０３で決定した通報先にステップＳ３８０４で決定した通報手段を介して、ステップＳ２２０８で符号化した状況の内容を示すデータを送信する。
以上の説明から明らかなように、本実施形態では、所定の状況を認識した時間を元に、より適切な通報先に適切な通報手段を使用して通報することが可能になる。
なお、上記第４乃至第６の実施形態では認識対象として人物の場合を例に説明したが、本発明はこれに限るわけではなく、動物や特定の物等、認識対象はどのようなものであっても良い。例えば、特定の物の場合、当該物体が「所定の位置から移動させられた」、「無くなった」等の状況を認識し通報する場合等が考えられる。なお、移動や存在の認識は従来より提案されているパターンマッチング手法を利用することで容易に実現することが可能である。
また、上記第４乃至第６の実施形態にて示した通報制御情報テーブルは装置の設置場所、認識対象及び時間と状況に応じて通報先及び通報手段を規定したが、本発明はこれに限るわけではなく、目的に応じて、設置場所、認識対象、時間の少なくとも１つと状況に対応する通報先又は通報手段を規定するテーブルを用意すればよい。
また、上記第４乃至第６の実施形態では、状況内容解析処理として複数の状況認識処理を用意し、当該処理の出力を利用して状況内容の解析を行うこととしたが、本発明はこれに限るわけではなく、どのような方法であっても良い。例えば、より汎用性の高い認識アルゴリズムを実装して、認識対象となる全ての状況を認識するよう構成しても良い。
また、上記第４乃至第６の実施形態では状況内容解析処理結果を所定の文字列や音声情報に符号化する場合について説明したが、他の情報に変換しても良い。例えば、該当する情報を模式的に表す図形データに変換して、当該図形データを通報データとして送信するようにしても良い。また、ネットワークを介して通報する代りに、所定の光源の発光パターンを警報情報として通報するようにしても良い。
また、上記第４の実施形態では画像データを利用して装置の設置場所や認識対象人物の状況を認識する場合について説明したが、本発明はこれに限るわけではなく、画像データ以外のセンシング情報を利用して状況を認識するようにしても良い。更には、画像データと他のセンシング情報とを組み合わせて状況を認識するようにしても良い。他のセンシング情報としては、音声情報・赤外光情報・電波情報等様々なセンシング技術を利用することが可能である。
また、上記第４乃至第６の実施形態では、認識対象の状況変化を通報する手段としてインターネットメールやインスタントメッセージ又は電話等を利用する場合について説明したが、本発明はこれに限るわけではなく、必要に応じて他の手段を利用する構成としてもよい。
また、上記第４乃至第６の実施形態では操作部４０９を介して通報制御情報テーブルを設定する場合について説明したが、ネットワークを利用して動作に必要なパラメータを設定するよう構成しても良い。この場合、本装置は、例えばＨＴＴＰ（Hyper Text Transfer Protocol）サーバ機能を有し、通信インターフェース部３００８を介してＨＴＴＰに基づくＷｅｂベースのユーザインターフェースをユーザに提供する。ＨＴＴＰサーバはミドルウェアの一つとして組み込まれ、ＨＴＴＰに基づく遠隔地からの操作に対応して所定のパラメータ設定プログラムを起動する。この場合、ユーザは携帯電話、ＰＤＡ、パーソナルコンピュータ等の汎用端末から本装置の動作に必要なパラメータを設定することが可能になり、更に遠隔地から当該設定動作を行うことが可能になる。これにより、ユーザは遠隔地から状況認識結果の通報先や通報手段を変更することが可能になる。
また、上記第４乃至第６の実施形態では、状況モニタリング装置に内蔵する組み込みプロセッサを利用して全ての処理を実行する場合について説明したが、例えばパーソナルコンピュータ等の外部処理装置と組み合わせて実現してもよい。この場合、画像データの取り込みのみを専用の装置で実現し、その他の画像認識処理や通信処理等はパーソナルコンピュータの資源を利用する。専用装置とパーソナルコンピュータとは、例えばＢｌｕｅＴｏｏｔｈ等の無線インターフェースやＨＰＡ（Home Power Plug Alliance）等の電力線通信インターフェースを利用することで同様の利便性を実現することが可能である。このような機能分散による状況モニタリングシステムの実現はもちろんパーソナルコンピュータを利用した場合だけではなく、他の様々なインターネットアプライアンスを利用することによっても可能である。
また、上記第４乃至第６の実施形態では、ＣＰＵを用いたソフトウェア処理により本発明を実現する場合について説明したが、本発明はこれに限るわけではなく、専用のハードウェアで処理しても良い。この場合、状況認識のためのアルゴリズムはＦＰＧＡ（Filed Programable Gate Array）の内部回路を決定するオブジェクトデータやリコンフィギャラブルプロセッサの内部回路を決定するオブジェクトデータ等に相当する。システム制御用プロセッサは初期化処理（ステップＳ２２０１）でＥＥＰＲＯＭ４０６から当該専用ハードウェアにオブジェクトをロードする。専用ハードウェアはロードされたオブジェクトデータに従って所定のタイミングで所定のアルゴリズムの認識処理を開始する。
また、上記第４乃至第６の実施形態では機械的な制御構造を有するカメラ（所謂パン・チルトカメラ）を用いた場合について説明したが、本発明はこれに限るわけではなく、全方位カメラ等の広角カメラを利用しても良い。その場合、認識対象を機械的に補足するのではなく、広角で取得した画像データを利用して同等の処理を実現することが可能である。
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
第１の実施形態にかかる状況モニタリング装置の処理の流れを示すフローチャートである。 本発明の一実施形態にかかる状況モニタリング装置を含む状況モニタリングシステムの概略構成図である。 第１の実施形態にかかる状況モニタリング装置の概略構成図である。 第１の実施形態にかかる状況モニタリング装置のハードウェア構成図である。 図４の操作部の操作パネルを示した図である。 図１のステップＳ１０２の詳細を示すフローチャートである。 図６のステップＳ６０２で取得した画像データを模式的に示した図である。 図１のステップＳ１０３の詳細を示すフローチャートである。 操作部のＬＣＤ部に表示される表示内容の一例を示した図である。 設置場所と認識対象人物及び状況認識内容の関係を示す認識情報テーブルの一例を示した図である。 図１のステップＳ１０４の詳細を説明するフローチャートである。 図１１のステップＳ１１０３で操作部のＬＣＤ部に表示される表示内容の一例を示した図である。 状況モニタリング装置のソフトウェアの階層構造を示す図である。 場所コードと特徴パラメータとの関連を示すテーブルを示した図である。 第２の実施形態にかかる状況モニタリング装置の概略構成図である。 第２の実施形態にかかる状況モニタリング装置の処理の流れを示すフローチャートである。 管理テーブルの一例を示した図である。 第３の実施形態にかかる状況モニタリング装置の処理の流れを示すフローチャートである。 図１８のステップＳ１８０２の詳細を示すフローチャートである。 認識対象人物と状況認識内容の関係を示す認識情報テーブルの一例を示した図である。 リモコンによる操作部を実現する場合のハードウェア構成図である。 第３の実施形態にかかる状況モニタリング装置の処理の流れを示すフローチャートである。 図４の操作部の操作パネルを示した図である。 通報先設定処理（ステップＳ２２０３）の詳細を示すフローチャートである。 通信制御情報テーブルの一例を示す図である。 操作部のＬＣＤ部に表示される表示内容の一例を示す図である。 操作部のＬＣＤ部に表示される通報先設定画面の表示例を示す図である。 変換テーブルの一例を示す図である。 場所コードと特徴パラメータとの関連を示すテーブルを示した図である。 第４の実施形態かかる状況モニタリング装置の構成を示す図である。 通報先設定処理（ステップＳ２２０３）の詳細を説明するフローチャートである。 通報制御情報テーブルの内容を示す図である。 第５の実施形態にかかる状況モニタリング装置の処理フローの概要を示す図である。 通報制御情報テーブルの一例を示す図である。 ステップＳ２２０５が具備する認識処理ソフトウェアモジュールの一例を示す図である。 通報処理（ステップＳ２２０９）の詳細を示すフローチャートである。 通報処理（ステップＳ２２０９）の詳細を示すフローチャートである。 通報処理（ステップＳ２２０９）の詳細を示すフローチャートである。
符号の説明
Ｓ１０１ 初期化処理
Ｓ１０２ 設置場所認識処理
Ｓ１０３ 状況認識対象の決定処理
Ｓ１０４ 状況認識内容の決定処理
Ｓ１０５ 設置場所移動の判断処理
Ｓ１０６ 状況認識処理
Ｓ１０７ 所定の状況認識の判断処理
Ｓ１０８ 通報処理
２０１ 状況モニタリング装置
２０２ 回線接続装置
２０３ 通信網（ネットワーク）
２０４ 携帯端末装置
２０５ サーバ装置
Ｓ２２０１ 初期化処理
Ｓ２２０２ 設置場所識別処理
Ｓ２２０３ 通報先設定処理
Ｓ２２０４ 状況変化の有無判定処理
Ｓ２２０５ 状況内容解析処理
Ｓ２２０６ 対象物識別処理
Ｓ２２０７ 所定の状況認識の判断処理
Ｓ２２０８ 状況内容符号化処理
Ｓ２２０９ 通報処理

Claims (28)

  1. 自装置の設置された設置場所で画像を撮像する撮像手段と、
    撮像した前記画像に基づいて前記設置場所を認識する設置場所認識手段と、
    前記設置場所と、認識する状況の内容とを関連付ける情報を保持する情報保持手段と、
    前記設置場所認識手段により認識された設置場所と前記関連付ける情報とに従って、前記認識する状況を決定する決定手段と、
    撮像した前記画像に基づいて前記決定手段で決定された状況を認識する状況認識手段と、
    前記状況認識手段による前記状況の認識結果をユーザに通知する通知手段と
    を有することを特徴とする状況モニタリング装置。
  2. 自装置の設置された設置場所で画像を撮像する撮像手段と、
    撮像した前記画像に基づいて前記設置場所を認識する設置場所認識手段と、
    撮像した前記画像に基づいて対象物を認識する対象物認識手段と、
    前記設置場所と、認識する前記対象物及び認識する状況とを関連付ける情報を保持する情報保持手段と、
    前記設置場所認識手段により認識された設置場所と前記関連付ける情報とに従って、前記認識する対象物と認識する状況とを決定する決定手段と、
    撮像した前記画像に基づいて前記決定手段で決定された対象物が前記決定手段で決定された状況であることを認識する状況認識手段と、
    前記状況認識手段による前記状況の認識結果をユーザに通知する通知手段と
    を有することを特徴とする状況モニタリング装置。
  3. 前記設置場所認識手段は、予め定められた条件を検出した場合に前記設置場所の認識処理を開始することを特徴とする請求項１又は２に記載の状況モニタリング装置。
  4. 前記予め定められた条件とは、撮像された画像の変化であることを特徴とする請求項３に記載の状況モニタリング装置。
  5. 前記設置場所認識手段は、自装置の移動を感知するセンサを備え、前記予め定められた条件とは、当該センサからの情報の変化であることを特徴とする請求項３に記載の状況モニタリング装置。
  6. 自装置の動作に必要なパラメータを入力する操作部を更に有し、前記予め定められた条件とは、当該操作部に対するユーザの特定の入力操作であることを特徴とする請求項３に記載の状況モニタリング装置。
  7. 前記予め定められた条件とは、自装置の電源投入であることを特徴とする請求項３に記載の状況モニタリング装置。
  8. 前記予め定められた条件とは、予め定めるタイミングであることを特徴とする請求項３に記載の状況モニタリング装置。
  9. 前記通知手段は、前記設置場所認識手段により前記設置場所の変更が認識されたことをユーザに更に通知することを特徴とする請求項１乃至８のいずれか１項に記載の状況モニタリング装置。
  10. 前記通知手段は、認識する対象物が変更されたことをユーザに更に通知することを特徴とする請求項１に記載の状況モニタリング装置。
  11. 自装置の動作に必要なパラメータを入力する操作部を更に有し、予め定められた条件で前記関連付ける情報の更新を促すインターフェースを当該操作部に提示することを特徴とする請求項１または２に記載の状況モニタリング装置。
  12. 前記予め定められた条件とは、前記設置場所認識手段が前記設置場所の移動を認識した場合であることを特徴とする請求項１１に記載の状況モニタリング装置。
  13. 前記予め定められた条件とは、前記設置場所認識手段が前記関連付ける情報に登録されてない設置場所を認識した場合であることを特徴とする請求項１１に記載の状況モニタリング装置。
  14. 前記決定手段は、前記設置場所認識手段が前記関連付ける情報に登録されてない設置場所を認識した場合、予め定めるデフォルトの状況を決定することを特徴とする請求項１または２に記載の状況モニタリング装置。
  15. 前記状況認識手段は、認識された設置場所に対応する対象物が複数存在する場合、予め定める優先度に従って状況の認識を行うことを特徴とする請求項２に記載の状況モニタリング装置。
  16. 自装置が主要部と周辺部とに分離する構造を有しており、前記設置場所認識手段で設置場所を認識するための情報が前記周辺部に保持されていることを特徴とする請求項１又は２に記載の状況モニタリング装置。
  17. 自装置と分離した操作部及び当該操作部と通信する操作部通信手段を更に有し、前記操作部を介して当該自装置の動作に必要なパラメータの設定を行うことを特徴とする請求項１又は２に記載の状況モニタリング装置。
  18. ネットワークに接続する接続手段とサーバ手段とを更に有し、当該サーバ手段を介して外部装置から自装置の動作に必要なパラメータの設定を行うことを特徴とする請求項１又は２に記載の状況モニタリング装置。
  19. 前記サーバ手段は、ＨＴＴＰ（Hyper Text Transfer Protocol）サーバであることを特徴とする請求項１８に記載の状況モニタリング装置。
  20. 請求項１又は２に記載の状況モニタリング装置と、
    ネットワークに接続する接続手段とを有し、
    前記状況認識手段で実行する処理アルゴリズムが前記ネットワークに接続された他の外部装置に保持されることを特徴とする状況モニタリングシステム。
  21. 前記状況認識手段による前記状況の認識結果を、予め定められた信号に変換する状況符号化手段を有し、
    前記通知手段が、前記状況符号化手段の出力を用いて前記状況の認識結果をユーザに通知することを特徴とする請求項１又は２に記載の状況モニタリング装置。
  22. 前記予め定められた信号は状況を表す図形シンボル情報、文字情報、音声情報、発光パターン情報の少なくとも１つを予め定められた方法で符号化した信号であることを特徴とする請求項２１に記載の状況モニタリング装置。
  23. 更に、前記状況の認識結果に基づいて、前記通知手段の通知先として、予め定められた通知先から少なくとも１つの通知先を選択する第１の選択手段を備えることを特徴とする請求項１又は２に記載の状況モニタリング装置。
  24. 前記第１の選択手段は、前記設置場所認識手段により認識された設置場所と前記状況認識手段により認識された状況とに基づいて予め定められた通知先から少なくとも１つの通知先を選択することを特徴とする請求項２３に記載の状況モニタリング装置。
  25. 時間を管理する時間管理手段を更に有し、
    前記第１の選択手段は、前記時間管理手段により管理された時間と前記状況認識手段により認識された状況とに基づいて予め定められた通知先からから少なくとも１つの通知先を選択することを特徴とする請求項２３に記載の状況モニタリング装置。
  26. 前記通知手段を複数種類有し、前記状況認識手段の出力に基づいて当該複数種類の通知手段の中から少なくとも１つの通知手段を選択する第２の選択手段を備えることを特徴とする請求項２３または２４に記載の状況モニタリング装置。
  27. 前記第２の選択手段は、前記設置場所認識手段により認識された設置場所と前記状況認識手段により認識された状況とに基づいて、前記複数の通知手段の中から少なくとも１つの通知手段を選択することを特徴とする請求項２６に記載の状況モニタリング装置。
  28. 時間を管理する時間管理手段を更に有し、
    前記第２の選択手段は、前記時間管理手段により管理された時間と前記状況認識手段により認識された状況とに基づいて、前記複数の通知手段の中から少なくとも１つの通知手段を選択することを特徴とする請求項２６に記載の状況モニタリング装置。
JP2005164875A 2004-06-04 2005-06-03 状況モニタリング装置及び状況モニタリングシステム Expired - Fee Related JP4789511B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005164875A JP4789511B2 (ja) 2004-06-04 2005-06-03 状況モニタリング装置及び状況モニタリングシステム
US11/597,061 US8553085B2 (en) 2004-06-04 2005-06-06 Situation monitoring device and situation monitoring system
AT05748479T ATE543171T1 (de) 2004-06-04 2005-06-06 Situationsüberwachungsgerät und situationsüberwachungssystem
EP05748479A EP1743307B1 (en) 2004-06-04 2005-06-06 Situation monitoring device and situation monitoring system
PCT/JP2005/010724 WO2005119620A1 (en) 2004-06-04 2005-06-06 Situation monitoring device and situation monitoring system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004167544 2004-06-04
JP2004167544 2004-06-04
JP2005164875A JP4789511B2 (ja) 2004-06-04 2005-06-03 状況モニタリング装置及び状況モニタリングシステム

Publications (3)

Publication Number Publication Date
JP2006018818A JP2006018818A (ja) 2006-01-19
JP2006018818A5 JP2006018818A5 (ja) 2008-07-17
JP4789511B2 true JP4789511B2 (ja) 2011-10-12

Family

ID=35463090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005164875A Expired - Fee Related JP4789511B2 (ja) 2004-06-04 2005-06-03 状況モニタリング装置及び状況モニタリングシステム

Country Status (5)

Country Link
US (1) US8553085B2 (ja)
EP (1) EP1743307B1 (ja)
JP (1) JP4789511B2 (ja)
AT (1) ATE543171T1 (ja)
WO (1) WO2005119620A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4780921B2 (ja) 2004-03-17 2011-09-28 キヤノン株式会社 並列パルス信号処理装置、及びその制御方法
JP2009087212A (ja) * 2007-10-02 2009-04-23 Sony Broadband Solution Corp 機器監視システム
JP5213105B2 (ja) * 2008-01-17 2013-06-19 株式会社日立製作所 映像ネットワークシステム及び映像データ管理方法
JP5058838B2 (ja) * 2008-02-01 2012-10-24 キヤノン株式会社 情報処理装置および方法
JP5374080B2 (ja) 2008-06-25 2013-12-25 キヤノン株式会社 撮影装置、その制御方法及びコンピュータプログラム
JP5845506B2 (ja) * 2009-07-31 2016-01-20 兵庫県 行動検知装置及び行動検知方法
JP5588196B2 (ja) * 2010-02-25 2014-09-10 キヤノン株式会社 認識装置及びその制御方法、コンピュータプログラム
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
DK2681722T3 (en) * 2011-03-04 2018-03-05 Deutsche Telekom Ag Method and system for identifying falls and transmitting an alarm
JP5973849B2 (ja) 2012-03-08 2016-08-23 キヤノン株式会社 座標入力装置および座標入力装置に用いられるセンサバー
JP5875445B2 (ja) 2012-03-30 2016-03-02 キヤノン株式会社 座標入力装置
JP6027764B2 (ja) 2012-04-25 2016-11-16 キヤノン株式会社 ミラーシステム、および、その制御方法
EP2876608A4 (en) 2012-07-23 2016-02-10 Fujitsu Ltd PROGRAM, METHOD, AND DISPLAY CONTROL DEVICE
JP6167563B2 (ja) * 2013-02-28 2017-07-26 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
US9811989B2 (en) * 2014-09-30 2017-11-07 The Boeing Company Event detection system
KR20180105636A (ko) 2015-10-21 2018-09-28 15 세컨즈 오브 페임, 인크. 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치
JP2017108240A (ja) * 2015-12-08 2017-06-15 シャープ株式会社 情報処理装置、及び情報処理方法
EP3616095A4 (en) * 2017-04-28 2020-12-30 Cherry Labs, Inc. MONITORING SYSTEM AND PROCEDURES BASED ON COMPUTERVISION
CN109271881B (zh) * 2018-08-27 2021-12-14 国网河北省电力有限公司沧州供电分公司 一种变电站内人员安全管控方法、装置及服务器
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
JP7233251B2 (ja) 2019-02-28 2023-03-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5930249A (ja) 1982-08-12 1984-02-17 Canon Inc 光学的情報再生装置
US5210785A (en) 1988-02-29 1993-05-11 Canon Kabushiki Kaisha Wireless communication system
JP2624293B2 (ja) 1988-04-21 1997-06-25 松下電器産業株式会社 消火装置
JP2618005B2 (ja) 1988-07-25 1997-06-11 キヤノン株式会社 復号方法
JPH06251159A (ja) 1993-03-01 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 動作認識装置
JP3320138B2 (ja) 1993-05-07 2002-09-03 キヤノン株式会社 座標入力装置及び方法
US5565893A (en) 1993-05-07 1996-10-15 Canon Kabushiki Kaisha Coordinate input apparatus and method using voltage measuring device
JPH07141089A (ja) 1993-11-12 1995-06-02 Canon Inc 座標入力装置
JP3630712B2 (ja) 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
JP3271730B2 (ja) 1994-04-28 2002-04-08 キヤノン株式会社 発電システムの充電制御装置
JPH08275390A (ja) 1995-03-29 1996-10-18 Canon Inc 充放電制御方法、充放電制御装置及び該充放電制御装置を有する発電システム
JPH08286817A (ja) 1995-04-17 1996-11-01 Canon Inc 座標入力装置
JPH0929169A (ja) 1995-07-19 1997-02-04 Canon Inc 振動伝達板及びその製造方法及び座標入力装置
US5818429A (en) 1995-09-06 1998-10-06 Canon Kabushiki Kaisha Coordinates input apparatus and its method
JPH10151086A (ja) 1996-11-25 1998-06-09 Toto Ltd 浴室の安全システム
JPH1165748A (ja) 1997-08-22 1999-03-09 Canon Inc 座標入力装置及びセンサ装着構造及び方法
JP3406504B2 (ja) 1998-01-29 2003-05-12 日本電信電話株式会社 半導体の製造方法
JPH11283154A (ja) * 1998-03-30 1999-10-15 Mitsubishi Electric Corp 監視・制御装置
JP3937596B2 (ja) 1998-06-16 2007-06-27 キヤノン株式会社 変位情報測定装置
EP1122038A4 (en) * 1998-06-23 2009-06-17 Sony Corp ROBOT AND INFORMATION PROCESSING SYSTEM
US7428002B2 (en) * 2002-06-05 2008-09-23 Monroe David A Emergency telephone with integrated surveillance system connectivity
GB0004142D0 (en) 2000-02-23 2000-04-12 Univ Manchester Monitoring system
JP2001307246A (ja) 2000-04-20 2001-11-02 Matsushita Electric Works Ltd 人体検知装置
JP2002074566A (ja) 2000-09-01 2002-03-15 Mitsubishi Electric Corp セキュリティシステム
JP4776832B2 (ja) 2000-10-19 2011-09-21 キヤノン株式会社 座標入力装置、および、画像入力装置の座標板
JP4590114B2 (ja) 2001-02-08 2010-12-01 キヤノン株式会社 座標入力装置及びその制御方法、記録媒体
JP2002352354A (ja) 2001-05-30 2002-12-06 Denso Corp 遠隔介護方法
JP2002370183A (ja) 2001-06-15 2002-12-24 Yamaha Motor Co Ltd 監視装置及び監視システム
US6856249B2 (en) 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
JP2003296855A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 監視装置
JP3952896B2 (ja) 2002-07-30 2007-08-01 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
JP2004080074A (ja) * 2002-08-09 2004-03-11 Shin-Nihon Tatemono Co Ltd モニタ設備設置住宅
JP2004094799A (ja) * 2002-09-03 2004-03-25 Toshiba Consumer Marketing Corp セキュリティシステム
JP2004167544A (ja) 2002-11-20 2004-06-17 Index:Kk リテーナ装置
US20040185900A1 (en) * 2003-03-20 2004-09-23 Mcelveen William Cell phone with digital camera and smart buttons and methods for using the phones for security monitoring
JP2005164875A (ja) 2003-12-02 2005-06-23 Canon Inc 非磁性一成分現像剤及び画像形成方法
JP4455392B2 (ja) 2005-04-15 2010-04-21 キヤノン株式会社 座標入力装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
US8553085B2 (en) 2013-10-08
JP2006018818A (ja) 2006-01-19
EP1743307A4 (en) 2008-10-29
US20080211904A1 (en) 2008-09-04
EP1743307A1 (en) 2007-01-17
EP1743307B1 (en) 2012-01-25
WO2005119620A1 (en) 2005-12-15
ATE543171T1 (de) 2012-02-15

Similar Documents

Publication Publication Date Title
JP4789511B2 (ja) 状況モニタリング装置及び状況モニタリングシステム
TWI240227B (en) Remote monitoring method and monitoring control server
US20200394894A1 (en) Emergency communications using client devices that are associated with audio/video recording and communication devices
US20050096790A1 (en) Robot apparatus for executing a monitoring operation
US11011044B2 (en) Information processing system, information processing apparatus, and information processing method
JP3908707B2 (ja) 防犯監視システム、防犯監視方法、および、防犯監視プログラム
JP2007072647A (ja) セキュリティシステム
CN100559410C (zh) 情况监视装置和情况监视***
US11510256B2 (en) Configuration method of Wi-Fi doorbell, doorbell, housing complex communication system, and climate information providing system
JPH11134349A (ja) 環境適応型情報呈示装置及び実世界データベース
US20050086698A1 (en) Automatic monitoring and alerting device
JP7264065B2 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
JP2007183845A (ja) 監視装置
JP2004056370A (ja) インターフォンシステムおよび情報提供方法
JP4540456B2 (ja) 不審者検出装置
JP7425413B2 (ja) 被監視者監視支援装置、被監視者監視支援方法、被監視者監視支援システムおよび被監視者監視支援サーバ装置
JP6783492B1 (ja) 電話機、報知システム及びコンピュータプログラム
JP3679761B2 (ja) 遠隔管理システム
JP4743566B2 (ja) パーソナルコンピュータを利用したホーム・セキュリティ・システム及びホーム・セキュリティ・プログラムを記録した記録媒体
JP7264066B2 (ja) 被監視者監視支援システム
JP6750931B1 (ja) デジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラム
Shimpi et al. Door Surveillance with Smart Bell
JP7176297B2 (ja) 情報処理装置、情報処理方法、プログラムおよび住戸端末
JP2009277101A (ja) 監視装置、監視方法、及び記録媒体
JP2002203287A (ja) 移動体通信端末を利用した介護支援システムおよび介護支援方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4789511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees