JP2018082233A - 監視システム、監視センサ装置、監視方法、およびプログラム - Google Patents

監視システム、監視センサ装置、監視方法、およびプログラム Download PDF

Info

Publication number
JP2018082233A
JP2018082233A JP2016221354A JP2016221354A JP2018082233A JP 2018082233 A JP2018082233 A JP 2018082233A JP 2016221354 A JP2016221354 A JP 2016221354A JP 2016221354 A JP2016221354 A JP 2016221354A JP 2018082233 A JP2018082233 A JP 2018082233A
Authority
JP
Japan
Prior art keywords
image
unit
stable
imaging
failure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016221354A
Other languages
English (en)
Inventor
恭子 石田
Kyoko Ishida
恭子 石田
健 益浦
Takeshi MASUURA
健 益浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016221354A priority Critical patent/JP2018082233A/ja
Priority to PCT/JP2017/039469 priority patent/WO2018088283A1/ja
Priority to CN201780068864.9A priority patent/CN109964480B/zh
Priority to US16/341,612 priority patent/US20210368139A1/en
Publication of JP2018082233A publication Critical patent/JP2018082233A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】撮像された画像に基づいてＩＲ照明の故障を検知する。【解決手段】監視センサ装置は、監視対象が存在し得る範囲に赤外光を照射する赤外光照射部２１と、赤外光に感度を有し、監視対象が存在し得る範囲を撮像する撮像部２０と、撮像された画像に基づき、監視対象の状態を検知する検知部３８と、検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部３９１と、撮像された画像を、他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部３９２と、第２伝達制御部により第２の伝達動作の実行が停止されている状態において、撮像された複数の画像を比較した比較結果を基にして、赤外光照射部の故障を検出する故障検出部３０とを備える。【選択図】図１

Description

本技術は、監視システム、監視センサ装置、監視方法、およびプログラムに関し、特に、撮像範囲に非可視光の赤外線(以下、ＩＲ光と称する）を投光して撮像した画像に基づいて監視を行う場合に用いて好適な監視システム、監視センサ装置、監視方法、およびプログラムに関する。
例えば老人介護施設等では、監視対象者（被介護者）の状態（就寝中、起床、着座、転倒、入室、退出、トイレ中等）を監視者（介護者や介護システムの使用者等）が見守るために、被介護者の居室にカメラを設置して被介護者を撮像し、被介護者を撮像した動画像を、介護者が見る表示装置に送信して表示する監視システムを導入することがある。該監視システムでは、被介護者の居室に照明が点灯されていない夜間等において、被介護者の睡眠を妨げないように不可視光のＩＲ光を投光して撮像を行うようになされている（例えば、特許文献１参照）。
特開平１１−３４１４７４号公報
本技術は、このような監視システムにおいて、監視対象者の状態を監視しつつ、従来の監視システムよりも被介護者のプライバシをより高く保護できるようにするものである。また、本技術は、このように被介護者のプライバシをより高く保護する監視システムにおいて、監視システムの照明部に故障が発生した場合、その故障を検出して監視者等に通知できるようにするものである。さらに、本技術は、上記監視システムを用いる環境や被写体の条件が変化しても、監視システムの照明部の故障を正しく検出できるようにするものである。
本技術の第１の側面である監視システムは、監視センサ装置と、前記監視センサ装置で取得した情報を使用者に提示する端末装置と、前記監視センサ装置と前記端末装置との間に介在する外部装置とを備える監視システムにおいて、前記監視センサ装置が、監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、前記検知部の検知結果を前記外部装置または前記端末装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、前記撮像部によって撮像された前記画像を前記外部装置または前記端末装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部とを含む第３伝達制御部と、前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を基にして前記赤外光照射部の故障を検出する故障検出部とを備える。
前記第３伝達制御部は、前記故障検出部での前記故障の検出結果を前記外部装置または前記端末装置に伝達する動作の実行の有無をさらに制御することができる。
前記監視センサ装置は、前記撮像部における前記撮像動作を起動もしくは停止する制御、前記撮像部が撮像を行う際の撮像条件の制御、または、前記撮像した画像に対して、画像処理を加える際の画像処理条件の制御のうちの少なくとも一つの制御を行う撮像制御部をさらに備えることができる。
前記監視センサ装置は、前記撮像制御部からの情報を、前記故障検出部へ入力する構造を有することができる。
前記監視センサ装置の前記故障検出部は、前記撮像制御部からの情報を基にして、前記赤外光照射部の故障を検出することができる。
前記監視センサ装置は、安定画像生成部をさらに備えることができ、前記安定画像生成部は、前記撮像部によって一定期間撮像された撮像画像ストリームに含まれる複数の撮像画像について、該撮像画像内の被写体の変化を画像間で比較し、より変化が少ない被写体を備えた画像である安定画像を出力することができる。
前記撮像制御部は、前記撮像部が撮像を行う際の撮像条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件を比較し、該比較の結果を基にして前記赤外光照射部の故障を検出するか、または、前記撮像制御部は、前記撮像部が撮像した画像に対して、画像処理を加える際の画像処理条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像に対して加えられた前記画像処理の条件を比較し、該比較の結果を基にして前記赤外光照射部の故障を検出することができる。
前記撮像制御部は、前記撮像部が撮像を行う際の撮像条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件がより低照度の被写体に適した方向へ変化した場合に、前記赤外光照射部に故障が発生していると検出するか、または、前記撮像制御部は、前記撮像部が撮像した画像に対して、画像処理を加える際の画像処理条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像に対して加えられた前記画像処理の条件がより低照度の被写体に適した方向へ変化した場合に、前記赤外光照射部に故障が発生していると検出することができる。
前記故障検出部は、前記安定画像生成部が出力した第１の複数枚の安定画像の間で、前記第１の複数枚の安定画像の明るさを比較した結果、または、前記安定画像生成部が出力した前記第１の複数枚の安定画像のそれぞれを第２の複数個の小分け領域に分け、前記第２の複数個の小分け領域毎に該小分け領域に含まれる画像の明るさを比較した結果を基にして、前記赤外光照射部の故障を検出することができる。
前記故障検出部は、前記安定画像生成部が出力した第１の複数枚の安定画像の間で、前記第１の複数枚の安定画像の明るさを比較し、該比較の結果、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合、または、前記安定画像生成部が出力した前記第１の複数枚の安定画像のそれぞれを第２の複数個の小分け領域に分け、前記第２の複数個の小分け領域毎に該小分け領域に含まれる画像の明るさを比較し、該比較の結果、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合には、前記赤外光照射部に故障が発生していると検出することができる。
前記故障検出部は、前記安定画像生成部が出力した安定画像について、該安定画像の明るさを表す指標の値が予め定めた閾値を下回った場合には、前記赤外光照射部に故障が発生していると検出することができる。
前記故障検出部は、前記安定画像生成部が出力した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、前記安定画像生成部が出力した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果と、前記比較を行う複数の安定画像の間で、前記複数の安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像条件、または、前記各画像に対して画像処理が加えられた際の画像処理条件を比較した結果とを基にして、
ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている場合と、
イ） 前記各画像の撮像条件または前記画像処理条件の少なくとも一方が、より低照度の被写体に適した方向へ変化している場合と、
ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、
かつ、前記各画像の撮像条件および前記画像処理条件が、より高照度の被写体に適した方向へは変化していない場合と、
においては、前記赤外光照射部に故障が発生していると検出することができる。
前記監視センサ装置は、前記安定画像のそれぞれから、前記安定画像内の被写体の特徴を抽出し、複数の前記安定画像の間で、前記特徴を比較する特徴比較部をさらに備えることができる。
前記被写体の特徴は、前記被写体の輪郭とすることができる。
前記故障検出部は、前記安定画像生成部が出力した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、前記安定画像生成部が出力した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果と、前記比較を行う複数の安定画像の間で、前記複数の安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像条件、または、前記各画像に対して画像処理が加えられた際の画像処理条件、を比較した結果と、前記安定画像のそれぞれから、前記安定画像内の被写体の特徴を抽出し、複数の安定画像の間で前記特徴を比較した結果とを基にして、
条件（ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている
条件（イ） 前記各画像の撮像条件または前記画像処理条件の少なくとも一方が、より低照度の被写体に適した方向へ変化している
条件（ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件および前記画像処理条件が、より高照度の被写体に適した方向へは変化しておらず、かつ、前記明るさを表す指標の差が、前記安定画像の特徴点の変化によるものではない
の前記条件（ア）乃至（ウ）の少なくとも一つの条件を満たす場合には前記赤外光照射部に故障が発生していると検出することができる。
前記監視センサ装置は、前記安定画像生成部から出力される最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、どれだけの時間を掛けて発生したかを検出する、変化検出部をさらに備えることができる。
前記故障検出部は、前記安定画像生成部が出力した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、前記安定画像生成部が出力した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果と、前記比較を行う複数の安定画像の間で、前記複数の安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像条件、または、前記各画像に対して画像処理が加えられた際の画像処理条件、を比較した結果と、前記安定画像生成部から出力される最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、どれだけの時間を掛けて発生したかを検出し、その時間を予め定めた変化時間の閾値と比較した結果とを基にして、
条件（ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている
条件（イ） 前記各画像の撮像条件または前記画像処理条件の少なくとも一方が、より低照度の被写体に適した方向へ変化している
条件（ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件および前記画像処理条件が、より高照度の被写体に適した方向へは変化しておらず、かつ、前記最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が前記変化時間の閾値よりも短い時間で発生していた
の前記条件（ア）乃至（ウ）の少なくとも一つの条件を満たす場合には前記赤外光照射部に故障が発生していると検出することができる。
本技術の第１の側面においては、監視センサ装置により、赤外光照射下の監視対象が存在し得る範囲が撮像され、撮像された画像に基づき、前記監視対象の状態が検知される。そして、撮像された前記画像を前記外部装置または前記端末装置に伝達する第２の伝達動作の実行が停止されている状態において、撮像された複数の画像を基にして赤外光照射部の故障が検出される。
本技術の第２の側面である監視センサ装置は、監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出部とを備える。
本技術の第２の側面である監視方法は、監視センサ装置の監視方法において、監視センサ装置による、監視対象が存在し得る範囲に赤外光を照射する赤外光照射ステップと、赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像ステップと、前記撮像ステップによって撮像された画像に基づき、前記監視対象の状態を検知する検知ステップと、前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御ステップと、前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御ステップと、前記第２伝達制御ステップにより前記第２の伝達動作の実行が停止されている状態において、前記撮像ステップによって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出ステップとを含む。
本技術の第２の側面であるプログラムは、コンピュータを、監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出部として機能させる。
本技術の第２の側面においては、赤外光照射下の監視対象が存在し得る範囲が撮像され、撮像された画像に基づき、前記監視対象の状態が検知される。そして、撮像された前記画像を前記外部装置または前記端末装置に伝達する第２の伝達動作の実行が停止されている状態において、撮像された複数の画像を基にして赤外光照射部の故障が検出される。
本技術の第１および第２の側面によれば、監視対象の被介護者等の状態を監視しつつ、被介護者のプライバシをより高く保護することができる。
また、本技術の第１および第２の側面によれば、照明部に故障が発生した場合、その故障を介護者等に通知することができる。
本技術の実施形態である監視システムの構成例を示す図である。 監視センサ装置の設置例を示す図である。 監視センサ装置の正面外観の構成例を示す図である。 ＩＲ照明部を分離した場合の設置例を示す図である。 監視センサ装置の第１の実施形態を示すブロック図である。 監視センサ装置の第１の実施形態の変形例を説明する図である。 監視センサ装置の第２の実施形態を示すブロック図である。 ＩＲ照明部の故障が見逃される場合とＩＲ照明部に故障が発生したと誤判定される場合を説明する図である。 監視センサ装置の第３の実施形態を示すブロック図である。 第１および第２の実施形態におけるＩＲ照明故障検出部の問題点を説明する図である。 第１および第２の実施形態におけるＩＲ照明故障検出部の問題点を説明する図である。 第１および第２の実施形態におけるＩＲ照明故障検出部の問題点を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 撮像画像ストリームから安定画像を作り出す方法を説明する図である。 安定画像の第１の例を示す図である。 安定画像の第２の例を示す図である。 故障判定部の第１の構成例を示すブロック図である。 故障判定部の動作を説明する図である。 故障判定部の動作を説明する図である。 故障判定部の第２の構成例を示すブロック図である。 第２の構成例の画像比較部と特徴比較部とによる画像比較の違いを説明する図である。 第２の構成例の画像比較部と特徴比較部とによる画像比較の違いを説明する図である。 故障判定部の第３の構成例を示すブロック図である。 被写体の状態変化を説明する図である。 光源の射出光量の変化を説明する図である。 第１および第２の撮像画像を生成する処理を説明するフローチャートである。 動被写体を除去して撮像画像を生成する処理を説明するフローチャートである。 安定画像を生成する処理を説明するフローチャートである。 画像の明るさに基づいて故障の有無を判定する処理を説明するフローチャートである。 失報対策処理を説明するフローチャートである。 誤報対策処理を説明するフローチャートである。 経年劣化に基づいて故障の有無を判定する処理を説明するフローチャートである。 画像の明るさの絶対値に基づいて故障の有無を判定する処理を説明するフローチャートである。 安定画像の特徴点に基づいて故障の有無を判定する処理を説明するフローチャートである。 撮像画像の変化の速度に基づいて故障の有無を判定する処理を説明するフローチャートである。 第１乃至第３の実施の形態による共通動作を説明するフローチャートである。 第１の実施の形態による動作を説明するフローチャートである。 第１の実施の形態による他の動作を説明するフローチャートである。 第２の実施の形態による動作を説明するフローチャートである。 第２の実施の形態による他の動作を説明するフローチャートである。 第２の実施の形態によるさらに他の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第１の構成例を有する場合の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第１の構成例を有する場合の他の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第１の構成例を有する場合のさらに他の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第２の構成例を有する場合の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第２の構成例を有する場合の他の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第２の構成例を有する場合のさらに他の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第３の構成例を有する場合の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第３の構成例を有する場合の他の動作を説明するフローチャートである。 第３の実施の形態における故障判定部４１が第３の構成例を有する場合のさらに他の動作を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための最良の形態（以下、実施形態と称する）について、図面を参照しながら以下に示す順序に従い詳細に説明する。
１．本技術の実施の形態である監視システムについて
１−１．監視システムの構成
１−２．監視システムの動作モード
１−３．監視システムの動作の制御
２．本技術の監視システムに備わる監視センサ装置について
２−１．監視センサ装置の配置について
２−２．監視センサ装置の外観について
２−３．監視センサ装置の実施の形態について
２−３−１．監視センサ装置の第１の実施形態
２−３−１Ａ．第１の実施形態の構成概要
２−３−１Ｂ．撮像機能部
２−３−１Ｃ．ＩＲ照明故障検出部
２−３−１Ｄ．状態検知部
２−３−１Ｅ．監視センサ装置の第１の実施形態の変形例
２−３−２．監視センサ装置の第２の実施形態
２−３−２Ａ．第２の実施形態の構成概要
２−３−２Ｂ．第２の実施形態の特徴
２−３−２Ｃ．ＩＲ照明故障検出部
２−３−２Ｄ．経年的な変化を検出する仕組み
２−３−３．監視センサ装置の第３の実施形態
２−３−３Ａ．第３の実施形態の構成概要
２−３−３Ｂ．第３の実施形態の特徴
２−３−３Ｃ．安定画像生成部
２−３−３Ｄ．安定画像の種類
２−３−３Ｅ．故障判定部の概要
２−３−３Ｆ．故障判定部の第１の構成例
２−３−３Ｇ．故障判定部の第２の構成例
２−３−３Ｈ．故障判定部の第３の構成例
２−４．ソフトウェア処理を用いた監視センサ装置について
＜１．本技術の実施の形態である監視システムについて＞
＜１−１．監視システムの構成＞
図１は、本技術の実施の形態である監視システムの構成例を示している。
この監視システム１０００は、例えば老人介護施設や病院等の複数人の被介護者が複数室の居室に分かれて入居して、介護者によって介護される施設に設置することが想定されている。
監視システム１０００は、
（１）各居室における被介護者（監視対象者）を監視またはモニタし、
（２）被介護者の状態（換言すれば、被介護者の姿勢または体勢）が介護者に通知すべき状態であるか否か、例えば、ベッド内で就寝しているか離床しているか、室内を移動しているか椅子等に着座していて移動していないか、床上に転倒しているか等を検知（判断）し、
（３）被介護者の状態が介護者に通知すべき状態であると判断した場合には、その検知（判断）結果である被介護者の状態を、介護者（監視システムの使用者）に通知するためのものである。
ここで、監視システム１０００は、被介護者の状態が介護者に通知すべき状態であると判断した場合に、単に被介護者の状態が介護者へ通知すべき状態となっている、という情報のみを通知してもよい。また、監視システム１０００は、被介護者の状態が介護者に通知すべき状態であると判断した場合に限らず、常に検知（判断）結果である被介護者の状態を、通知してもよい。
なお、監視システム１０００は、
（４）被介護者の状態が介護者に通知すべき状態である場合には、被介護者の状態を撮像した動画像（撮像画像ストリーム）を、介護者に通知できることが望ましい。
監視システム１０００は、図１に示されるように、各居室のそれぞれに設置される１または複数の監視センサ装置１００と、各監視センサ装置１００が送信した情報を受信する外部装置２９０と、外部装置２９０からの通報を受信する複数台の端末装置３００を備える。端末装置３００は、各介護者が所持することを想定する。
さらに、監視システム１０００は、監視センサ装置１００と外部装置２９０の間、および外部装置２９０と端末装置３００の間で情報を伝達（送信、転送）する情報伝達部２８０を備える。情報伝達部２８０は、既存の無線通信技術または有線通信技術のどちらを採用してもよい。具体的には、通信される情報がデジタルデータである場合、そのデジタルデータをシリアルまたはパラレルに通信できる回線であって、例えばイーサネットやWi-Fi（いずれも商標）等のように規格化された回線を用いることができる。もちろん、規格化されていない独自の回線を用いてもよい。通信される情報がアナログデータである場合には、一般的なアナログ回線を用いればよい。
監視システム１０００において、監視センサ装置１００と外部装置２９０と端末装置３００との間で情報伝達部２８０を介して伝達する情報には、主として２種類ある。
第１の情報は、被介護者の状態についての情報である。この情報が例えばデジタルデータであるとすると、伝達する情報を「被介護者の状態が介護者に通知すべき状態である」旨を示す１種類の情報とした場合には、この情報のデータ量は１ビットで済む。伝達する情報が「被介護者の状態を示す情報」とした場合には、例えば、被介護者の状態を１６種類以下に分類するとすれば、この情報のデータ量は多くとも４ビットで足りる。なお、後述する監視センサ装置１００に備わるＩＲ照明故障検出部３０がＩＲ照明部２１の故障のを検出した結果も、上記第１の情報に含めて、監視センサ装置１００から外部装置２９０と端末装置３００へ伝達してもよい。
第２の情報は、被介護者の状態を継続して撮影した動画像（撮像画像ストリーム）である。この情報のデータ量は、第１の情報よりも格段に大きいものである。なお、端末装置３００に備わるマイク（不図示）と監視センサ装置１００に備わるマイク（不図示）を用いて集音される音のデータも第２の情報として通信することができる。
監視センサ装置１００は、監視センサ装置１００から情報伝達部２８０を介して外部装置２９０または端末装置３００への、上述した第１および第２の情報の伝達（送信、転送）を、実行するか停止するかの制御を行う伝達制御部３９を備える。
監視センサ装置１００が備える伝達制御部３９は、第１の情報について伝達の実行と停止を制御する第１の伝達制御部３９１と、第２の情報について伝達の実行と停止を制御する第２伝達制御部３９２と、これら第１および第２の情報を物理的に送出する通信部３９３とを含む。
外部装置２９０は、監視センサ装置１００が送信した情報を表示する情報表示部２９２と、監視センサ装置１００からの情報送信に対して、介護者が応答を入力するための応答入力部２９３と、介護者が監視システム１０００の動作を制御するための指示を入力する制御入力部２９４を備える。同様に、端末装置３００は、監視センサ装置１００が送信した情報を表示する情報表示部３０１と、監視センサ装置１００からの情報送信に対して、介護者が応答を入力するための応答入力部３０２と、介護者が監視システム１０００の動作を制御するための指示を入力する制御入力部３０３を備える。
さらに、監視センサ装置１００は、夜間に居室に備わる可視光の照明が消灯された状況で、被介護者を撮像して被介護者の状態を判断するためにＩＲ光を照射するＩＲ照明部２１と、ＩＲ光に感度を有しており、ＩＲ光が照射された被写体を適切に撮像する撮像機能部２０を備える。なお、監視センサ装置１００の撮像機能部２０は、可視光にも感度を有しており、可視光が照射された被写体を適切に撮像できる。
さらに、監視センサ装置１００は、撮像した画像を基にして被介護者の状態を判断し、上述した第１および第２の情報を生成する状態検知部３８を備える。
撮像機能部２０は、その撮像機能を起動させたり停止させたりする制御や、撮像条件（露光時間、絞り等）の制御や、撮像画像に対しての画像処理条件（画像に掛けるゲイン)の制御を行う撮像制御部２４を内蔵する。さらに、監視センサ装置１００は、可視光の照度を計測する可視光照度検出部（不図示）を内蔵してもよい。
撮像制御部２４は、可視光照度検出部よる検出結果か、外部装置２９０の制御入力部２９４か、端末装置３００の制御入力部３０３からの入力のいずれかに基づいて、撮像機能部２０の撮像機能とＩＲ照明部２１のＩＲ照明の起動と停止を制御することができる。
＜１−２．監視システムの動作モード＞
ところで、老人介護施設等において、被介護者を撮像して得られた動画像を常に介護者に送信したのでは、被介護者のプライバシが守られない。そこで、監視システム１０００では、被介護者のプライバシ保護を可能とした４種類の動作モード（第１乃至第４の動作モード）を備えている。以下、第１乃至第４の動作モードについて説明する。
第１の動作モードは、監視モードである。第１の動作モードにおいて、監視センサ装置１００は、被介護者を撮像し、被介護者の状態を検知する。そして、その被介護者の状態を示す第１の情報、または、被介護者の状態が介護者に通知すべき状態であると判断した場合には「被介護者の状態が介護者に通知すべき状態である」旨を示す第１の情報を、監視センサ１００から外部装置２９０に送信する。この第１の情報の受信に応じ、外部装置２９０は、この第１の情報を端末装置３００に転送する。
この場合、監視センサ装置１００から外部装置２９０に送信され、端末装置３００に転送される情報は、被介護者の状態を表す第１の情報、または、「被介護者の状態が介護者に通知すべき状態である」旨を示す第１の情報であって、被介護者を撮像した動画像（第２の情報）ではない。したがって、被介護者を撮像した動画像をそのまま送信する従来のシステムに比較して、被介護者のプライバシをより高いレベルで保護することができる。
第２の動作モードは、音声通話モードである。第２の動作モードは、例えば第１の動作モード（監視モード）によって被介護者の状態が介護者に通知すべき状態となり、そのことが介護者に通知された後、この通知をトリガとして、端末装置３００に備わるマイクおよびスピーカ（不図示）と被介護者の居室の監視センサ装置１００が有するマイクおよびスピーカ（不図示）とを用いて、介護者と被介護者とが音声通話を行う動作モードである。
第２の動作モードにおいて、音声を通信するに際しては、音声信号をそのままアナログデータとして通信してもよいし、音声信号を圧縮符号化して得られるデジタルデータとして通信してもよい。また、この音声のデータは、端末装置３００と監視センサ装置１００が直接通信してもよいし、外部装置２９０を介して通信してもよい。
第３の動作モードは、画像転送モードである。第３の動作モードは、例えば第１の動作モード（監視モード）によって被介護者の状態が介護者に通知すべき状態となり、そのことが介護者に通知された後、この通知をトリガとして、非介護者の居室に設置した監視センサ装置１００が被介護者の動画像（撮像画像ストリーム）を撮像し、その結果得られた画像を外部装置２９０に送信し、端末装置３００に転送するものである。なお、第３の動作モードにおいて監視センサ装置１００が撮像して送信する画像は、動画像ではなく、１枚または複数枚の静止画でもよい。
第３の動作モードにおいて、画像を送信、転送するに際しては、画像をそのまま送信、転送してもよいし、監視センサ装置１００または外部装置２９０において圧縮符号化してから送信、転送してもよい。
第４の動作モードは、画像蓄積モードである。第４の動作モードにおいては、常時撮像されている動画像を監視センサ装置１００内に備わる第１記憶部３７１に一定期間バッファリングして蓄積する。そして、例えば第１の動作モード（監視モード）によって被介護者の状態が介護者に通知すべき状態となり、そのことが介護者に通知されると同時に、この通知をトリガとして、このバッファリングされた動画像のうち、トリガの前後の所定の時間分の動画像を外部装置２９０に送信するものである。第４の動作モードによれば、例えば転倒等の事故が起きた場合に、その前後の動画像を確認することができる。
または、第１の動作モード（監視モード）によって被介護者の状態が介護者に通知すべき状態となり、そのことが介護者に通知されると、この通知をトリガとして、先のバッファリングされた動画像のうち、トリガ前後の所定の時間分の動画像を、監視センサ装置１００の第１記憶部３７１装置よりも長期間データを蓄積できる第２記憶部３７２に蓄積して、後で蓄積した動画像を確認できるようにしてもよい。
第４の動作モードにおいて、蓄積される動画像は、撮像結果として得られたままの状態でもよいし、圧縮符号化した状態でもよい。
なお、監視システム１０００は、その変形例として、上述した第１乃至第４の動作モードのうち、第１の動作モードを必須とし、第２乃至第４の動作モードについては、適宜組み合わせて備えることができる。
すなわち、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち、第１のモードのみを備えるようにしてもよい。
また、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち第１のモード、および第２のモードを備えるようにしてもよい。
また、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち、第１のモード、第２のモード、および第３の動作モードを備えるようにしてもよい。
さらに、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち、第１のモード、第２の動作モード、および第４の動作モードを備えるようにしてもよい。
さらに、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち、第１のモード、および第３の動作モードを備えるようにしてもよい。
さらに、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち、第１のモード、第３の動作モード、および第４の動作モードを備えるようにしてもよい。
さらに、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのうち、第１のモード、および第４のモードを備えるようにしてもよい。
さらに、監視システム１０００の変形例は、上述した第１乃至第４の動作モードのいずれをも備えるようにしてもよい。
＜１−３．監視システムの動作の制御＞
監視システム１０００の動作の制御について説明する。ここでは一例として、監視システム１０００が、動作モード１と動作モード３を備える形態を想定して、この形態における動作の制御を説明する。
（１）太陽光が入射したり、照明が点灯されていたりする日中においては、監視システム１０００は、監視センサ装置１００に備わる撮像機能部２０と状態検知部３８により、居室内の被介護者の状態を監視またはモニタしている。より具体的には、撮像機能部２０を用いて、被介護者を撮像し、状態検知部３８により被介護者の状態が介護者に通知すべき状態か否かを検知(判断)している。
（２）照明が消灯された夜間においては、介護者が外部装置２９０または端末装置３００に備わる制御入力部２９４または３０３から、監視センサ装置１００に備わるＩＲ照明部２１の起動指示を入力し、この入力を受けて、監視センサ装置１００がＩＲ照明部２１を起動する。
これとは別に介護者が起動を指示するのではなく、居室に備わる可視光の照明が被介護者等によって消灯されたことを、監視センサ装置１００に備わる可視光照度検出部が検出し、この検出結果に基づいて、監視センサ装置１００がＩＲ照明部２１を起動してもよい。ＩＲ照明部２１が起動されたた時点で、監視システム１０００は、第１の動作モード（監視モード）で動作している。第１の動作モードにおいては、音声や画像等の第２の情報を情報伝達部２８０を介して外部装置２９０または端末装置３００に転送する動作は、第２伝達制御部３９２の制御により、停止された状態となっている。
（３）監視システム１０００が第１の動作モードで動作している間に、被介護者の状態が介護者に通知すべき状態となると、撮像機能部２０によりＩＲ光の下で撮像した画像を基に、状態検知部３８がこの状態を検知し、被介護者の状態が介護者に通知すべき状態であることを、介護者の外部装置２９０と端末装置３００に通知する。
（４）上記（３）に記載の通知が行われると、この通知をトリガとして、監視システム１０００は、第３の動作モード（画像転送モード）に遷移してこれを実行する。第３のモードにおいて、前記第２の情報を情報伝達部２８０を介して外部装置２９０または端末装置３００に転送する動作は、第２伝達制御部３９２からの制御により、転送が実行された状態となっている。
（５）介護者が上記（３）に記載の通知を受け、且つ、介護者が上記（４）に記載の第３の動作モードによって被介護者の状況を確認すると、介護者は被介護者に対して何らかの処置を講じる必要があるか否かを判断する。
介護者が被介護者に対して何の処置も講じる必要が無いと判断した場合には、介護者は、外部装置２９０または端末装置３００に備わる制御入力部２９４または３０３から、監視システム１０００を第１の動作モードに復帰させる指示を入力する。これにより、監視システム１０００は第１の動作モードに復帰し、被介護者の監視を行う。
介護者が被介護者に対して何らかの処置を講じる必要があると判断した場合には。介護者は被介護者の居室に入室して必要な処置を講じる。処置を終了した介護者は、外部装置２９０または端末装置３００に備わる制御入力部２９４または３０３から、監視システム１０００を第１の動作モードに復帰させる指示を入力する。これにより、監視システム１０００は第１の動作モードに復帰し、被介護者の監視を行う。
なお、介護者が被介護者の居室に入室して、可視光の照明を点灯し、必要な処置を行った後、可視光の照明を消灯すると、監視センサ装置１００に備わる可視光照度検出部が、これを検出できるので、この検出結果に基づいて、監視システム１０００が第１の動作モードに復帰し被介護者の監視を行うようにしてもよい。
なお、監視システム１０００は、上記に類似の方法を、第１乃至第４の動作モードを適宜組み合わせて実行し得る。ここではその説明は省略する。
＜２．本技術の監視システムに備わる監視センサ装置１００について＞
以下、監視システム１０００に備わる監視センサ装置１００の実施の形態を説明する。
＜２−１．監視センサ装置１００の配置について＞
まず、監視センサ装置１００の各実施の形態に共通する第１の事項として、監視センサ装置１００の設置例を説明する。
図２は、監視センサ装置１００の設置例を示している。監視センサ装置１００は、例えば老人介護施設の被介護者が入居している各居室に設置するものであり、ＩＲ光を投光して撮像を行い、その結果得られる画像に基づいて被介護者の状態を検出し、その検出結果を介護者側に通知する機能を有する。
＜２−２．監視センサ装置１００の外観について＞
次に、監視センサ装置１００の各実施の形態に共通する第２の事項として、監視センサ装置１００の外観の構成例を説明する。
図３は、監視センサ装置１００の正面外観の構成例を示している。監視センサ装置１００が備えるＩＲ照明部２１は、１個のＩＲ光源（LED等）から構成してもよいし、同図に示すように、複数のＩＲ光源から構成するようにしてもよい。
監視センサ装置１００の正面中央に配置された撮像部２２は、可視光およびＩＲ光に対して感度を有しており、これらの光を電気信号に変換して画像を撮像する。
これにより監視センサ装置１００は、日中光の入射、および、夜間且つ可視光照明点灯により、被介護者の居室内が可視光で十分明るくなった状態と、夜間且つ可視光照明が消灯されＩＲ照明が点灯された状態の双方において、居室内の被介護者の状態を明瞭に撮像することができる。なお、ＩＲ照明部２１によるＩＲ光の投光範囲１１は、撮像部２２による撮像範囲１２の全体が含まれる。
撮像部２２は、可視光に感度を有するイメージセンサと、ＩＲ光に感度を有するイメージセンサとを個別に備えていてもよい。また、ＩＲ照明部２１は監視センサ装置１００から分離し、配置してもよい。
図４は、ＩＲ照明部２１を監視センサ装置１００から分離した場合の設置例を示している。同図に示されるように、ＩＲ照明部２１が監視センサ装置１００から分離されている場合においても、図４に示されるように、投光範囲１１が撮像範囲１２を含むようにＩＲ照明部２１とＩＲ照明部２１を分離した監視センサ装置１００を設置するようにする。
＜２−３．監視センサ装置１００の実施の形態について＞
以下、監視センサ装置１００の第１乃至第３の実施の形態について説明する。
＜２−３−１．監視センサ装置１００の第１の実施の形態＞
監視センサ装置１００の第１の実施形態について説明する。
＜２−３−１Ａ．第１の実施形態の構成概要＞
図５は、監視センサ装置１００の第１の実施形態を示すブロック図である。該第１の実施形態は、ＩＲ照明部２１、撮像機能部２０、状態検知部３８、ＩＲ照明故障検出部３０、および伝達制御部３９を備える。
＜２−３−１Ｂ．撮像機能部２０＞
撮像機能部２０は、撮像部２２、画像処理部２３、および撮像制御部２４を有する。
ＩＲ照明部２１は、例えば複数のLEDから構成され、居室に対してＩＲ光を投光する。撮像部２２は、可視光およびＩＲ光に対して感度を有するイメージセンサ等からなり、撮像範囲１２を所定のフレームレートに従って連続して撮像し、その結果得られる動画像を画像処理部２３に出力する。
画像処理部２３は、撮像部２２から入力される動画像に対して、所定の画像処理（現像処理、階調補正処理、色調補正処理、ノイズ低減処理、歪補正処理、サイズ変換処理等）を行い、その結果得られる画像処理済の動画像をＩＲ照明故障検出部３０と状態検知部３８に出力する。以下、撮像機能部２０が出力する動画像を、撮像画像ストリームと称し、撮像画像ストリームを構成する個々のフレーム画像を、単に撮像画像と称する。
撮像制御部２４は、適切な撮像画像ストリームを得られるように、撮像部２２における撮像条件（露光時間、絞り等）や画像処理部２３において画像に掛けるゲインを、撮像環境や被写体の条件（被写体の照度や、被写体表面の光の反射率等）に応じて、自動的に制御する。
＜２−３−１Ｃ．ＩＲ照明故障検出部３０＞
ＩＲ照明故障検出部３０は、撮像機能部２０から出力される撮像画像ストリームに含まれる各撮像画像をモニタしており、撮像画像ストリームに含まれる複数枚の撮像画像を比較し、その結果を基にして、ＩＲ照明部２１の故障の有無を判定する。例えば、第１の時刻に撮像した第１の撮像画像と、第２の時刻に撮像した第２の撮像画像とを比較して、ＩＲ照明部２１の故障の有無を判定する。
なお、複数枚の撮像画像の比較結果を基にして、ＩＲ照明部２１の故障の有無を判定することに加えて、１枚の撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を追加してもよい。１枚の撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理については、図４０を参照して後述する。
＜ア．故障判定方法の第１の例＞
第１の撮像画像と第２の撮像画像を比較してＩＲ照明部２１の故障の有無を判定する方法の２例を説明する。なお、第１および第２の撮像画像を生成する方法については図３３を参照して後述する。
第１の例は、撮像画像の明るさ（例えば撮像画像に含まれる全ての画素、またはそれらの中から間引き抽出した複数の画素の輝度の平均値（以下、平均輝度と称する））を撮像画像毎に算出し、それらを比較する方法である。なお、第１および第２の撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する方法については図３６を参照して後述する。
第１の時刻と第２の時刻の間で、ＩＲ照明部２１からの射出光量が低下する故障が発生した場合、第２の撮像画像は第１の撮像画像よりも暗くなることがある。この場合、第２の撮像画像の明るさを表す指標（例えば平均輝度）が、第１の撮像画像よりも小さくなる。そこで、第１および第２の撮像画像の明るさを表す指標の差が、所定の閾値よりも大きくなった時に、ＩＲ照明故障検出部３０は、ＩＲ照明部２１に故障が発生したと判定する。
なお、撮像画像の明るさを表す指標（例えば平均輝度）を算出する方法として、撮像画像に含まれる全ての画素を対象として、これらの画素の輝度の平均値を算出してよい。または、撮像画像の全面に亘って適度に画素を間引いて抽出し、これらの間引き抽出された画素を対象としてその指標の平均値を算出してもよい。間引き抽出された画素を対象としてその指標の平均値を算出する方法を用いた場合、平均輝度の算出に要するデータ処理量や故障検出のための画像比較に要するデータ処理量が削減されるという作用がもたらされる。
なお、平均輝度の算出に要するデータ処理量や故障検出のための画像比較に要するデータ処理量を削減する形態としては、画素を間引き抽出する方法以外に、撮像画像を基にして、一般的な画像の解像度変更技術を用いて撮像画像よりも解像度の小さな画像（換言すれば画像サイズの小さな画像）を撮像画像とは別に作り出して、この解像度の小さな画像を用いて画像比較を行うようにしてもよい。
＜イ．故障判定方法の第２の例＞
撮像画像ストリームに含まれる複数枚の撮像画像を比較してＩＲ照明部２１の故障の有無を判定する方法の第２の例は、撮像画像ストリームに含まれる各撮像画像から、動体（動的な被写体）を撮像した部分を削除し、それ以外の被写体（静体、静的な被写体）を撮像した部分について、その明るさを表す指標（例えば平均輝度）を算出して、得られた指標を比較する方法である。なお、動被写体を除去して撮像画像を生成する方法については図３４を参照して後述する。
例えば、撮像画像ストリームの中から、ｎフレーム目の撮像画像の明るさを表す指標と、ｍフレーム目の撮像画像の明るさを表す指標を比較して、ＩＲ照明部２１の故障の有無を判定する場合に、以下のようにして、動体を削除した部分の明るさの指標を求めて、ＩＲ照明部２１の故障の有無を判定することができる。
すなわち、
（１）（ｎ−１）フレーム目から（ｎ＋１）フレーム目までの３枚の画像を比較する。そして例えば画像に含まれる各画素の画像データを、３枚の画像間で比較して、その差が所定の閾値以上に大きい場合には、当該画素は動体を撮像したと判定する。前記の差が、閾値以下の場合には、当該画素は静体を撮像したと判定する。
（２）（ｎ−１）フレーム目から（ｎ＋１）フレーム目までの３枚の画像の中で、静体を撮像したと判定された画素の位置とその画素データを、第１の撮像画像についての情報として、ＩＲ照明故障検出部３０に備わるメモリ（不図示）に保持する。例えば、撮像機能部２０から出力される各撮像画像が２００万画素の画像で、そのうちの２０万画素が動体を撮像したと判定された場合、残りの１８０万画素の位置とその画素データを保持する。
（３）同様にして、（ｍ−１）フレーム目から（ｍ＋１）目までの３枚の画像についても、各画素が動体と静体のどちらを撮像したかを判定し、静体を撮像したと判定された画素の位置とその画素データを、第２の撮像画像についての情報として、前記メモリに保持する。
（４）第１および第２の撮像画像についての情報を比較して、双方の画像において共通して静体を撮像したと判定された画素を抽出する。
（５）第１および第２の撮像画像のそれぞれにおいて、前記抽出された画素の平均輝度を求める。
（６）得られた第１および第２の撮像画像の平均輝度を比較してＩＲ照明部２１の故障の有無を判定する。すなわち、平均輝度の差が、予め決めておいた閾値よりも大きい場合には、ＩＲ照明故障検出部３０は、ＩＲ照明部２１に故障が発生したと判定する。
なお、故障の有無を判定する方法の第２の例においても、第１の例と同様に、平均輝度の算出に要するデータ処理量や故障検出のための画像比較に要するデータ処理量を削減することを目的として、画素を間引き抽出して画像を比較してよいし、撮像画像を基にして、一般的な画像の解像度変更技術を用いて撮像画像よりも解像度の小さな画像（換言すれば画像サイズの小さな画像）を撮像画像とは別に作り出して、この解像度の小さな画像を用いて画像比較を行うようにしてもよい。
＜２−３−１Ｄ．状態検知部３８＞
状態検知部３８は、撮像画像に基づき、被介護者の状態を検知し、検知結果を伝達制御部３９に通知する。検知される被介護者の状態（換言すれば、被介護者の姿勢や体勢）の例としては、ベッド内で就寝しているか、離床しているか、室内を移動しているか、椅子等に着座していて移動していないか、床上に転倒しているか、ベッド内で寝ている等の転倒以外の状態にあるか等が想定される。
伝達制御部３９は、ＩＲ照明故障検出部３０による判定結果（ＩＲ照明部２１の故障の有無）を外部装置２９０に通知する。また、伝達制御部３９は、状態検知部３８の検知結果（被介護者の状態）を外部装置２９０に通知する。
＜２−３−１Ｅ．監視センサ装置１００の第１の実施形態の変形例＞
次に、監視センサ装置１００の第１の実施形態の変形例について説明する。該変形例は、その構成要素は第１の実施形態と同様であるが、ＩＲ照明故障検出部３０におけるＩＲ照明部２１の故障を検出する仕組みが監視センサ装置１００の第１の実施形態と異なる。
図６は、第１の実施形態とその変形例の監視センサ装置１００に備わるＩＲ照明故障検出部３０おいて、ＩＲ照明部２１の故障を検出する仕組みの違いを説明する図である。
図６Ａは、監視センサ装置１００の第１の実施形態におけるＩＲ照明故障検出部３０において、ＩＲ照明部２１の故障を検出する仕組みを説明する図である。
監視センサ装置１００の第１の実施形態におけるＩＲ照明故障検出部３０は、ＩＲ照明故障検出部３０に入力される撮像画像ストリームの各撮像画像に記録されている撮像範囲（居室）２００の全体に亘って、その領域の明るさを表す指標（例えば平均輝度）を撮像画像毎に算出する。そして異なる時刻に撮像した複数枚の撮像画像において、その明るさを表す指標に、所定の閾値以上の差があった場合には、ＩＲ照明部２１に故障があると判定するようになされていた。
図６Ｂは、監視センサ装置１００の第１の実施形態におけるＩＲ照明故障検出部３０において、ＩＲ照明部２１の故障を検出する場合の問題点を説明する図である。
監視センサ装置１００に備わるＩＲ照明部２１が、図３に示されたように、複数のＩＲ光源からなる場合、仮にそのうちのごく少数のＩＲ光源に射出光量が低下する故障が発生しても、その影響が及ぶ範囲は、撮像範囲２００の一部に過ぎない。撮像範囲２００の一部において、ＩＲ光源の射出光量が低下しても、撮像範囲２００の全体に亘って、その領域の明るさを表す指標を算出すると、その指標は少ししか低下せず、その結果、指標の低下量がＩＲ照明部２１の故障を判定する閾値に届かずに、故障を見逃してしまうことが考え得る。
そこで、該変形例におけるＩＲ照明故障検出部３０は、図６Ｃに示すように、撮像画像に記録される撮像範囲２００を、複数の小分け領域４００に分割し、これらの各小分け領域４００それぞれについて、その明るさを表す指標を算出するようにする。さらに、ＩＲ照明故障検出部３０は、撮像画像の各小分け領域４００それぞれについて、異なる時刻に撮像した複数枚の撮像画像の間で、明るさを表す指標の差（例えば平均輝度の差）が、閾値以上になっていないか否かを判定することにより、ＩＲ照明部２１の故障の有無を判定するようになっている。ここで、明るさを表す指標の差が、所定の閾値よりも大きい場合には、ＩＲ照明故障検出部３０は、ＩＲ照明部２１に故障が発生したと判定する。
図６Ｄは、該変形例におけるＩＲ照明故障検出部３０がもたらす作用効果を説明する図である。
ＩＲ照明部２１が、図３に示されたように複数のＩＲ光源からなる場合、仮にそのうちのごく少数のＩＲ光源に射出光量が低下する故障が発生すると、故障したＩＲ光源が照射する範囲を含む小分け領域４００の明るさを表す指標は、撮像範囲２００全体の明るさを表す指標よりも、大きく変化する。このため、異なる時刻に撮像した複数枚の撮像画像を比較した場合に、この小分け領域４００の明るさの変化を検出する感度が高くなっており、ＩＲ照明部２１の故障を検出する感度が高くなっている。
なお、該変形例においても、第１の実施形態と同様に、平均輝度の算出に要するデータ処理量や故障検出のための画像比較に要するデータ処理量を削減することを目的として、画素を間引き抽出した上で、これを小分け領域４００毎に比較してよいし、撮像画像を基にして一般的な画像の解像度変更技術を用いて撮像画像よりも解像度の小さな画像（換言すれば画像サイズの小さな画像）を撮像画像とは別に作り出した上で、これを小分け領域４００毎に比較してもよい。
＜２−３−２．監視センサ装置１００の第２の実施形態＞
次に、監視センサ装置１００の第２の実施形態について説明する。
＜２−３−２Ａ．第２の実施形態の構成概要＞
図７は、監視センサ装置１００の第２の実施形態を示すブロック図である。該第２の実施形態の構成要素のうち、第１の実施形態とその変形例と共通となる構成要素は、その説明を適宜省略する。
該第２の実施形態は、第１の実施形態の構成に加えて、撮像制御部２４から出力される情報であって、撮像部２２において撮像画像を撮像した場合の撮像条件についての情報と、画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件についての情報とを、ＩＲ照明故障検出部３０に入力するようにしたものである。
＜２−３−２Ｂ．第２の実施形態の特徴＞
上述したように、第１の実施形態とその変形例におけるＩＲ照明故障検出部３０は、撮像機能部２０から出力される撮像画像ストリームに含まれる各撮像画像をモニタし、異なる時刻に撮像された複数枚の撮像画像を比較することで、ＩＲ照明部２１の故障の有無を判定していた。しかしながら、監視センサ装置１００は、撮像制御部２４により自動的に適切な撮像条件で画像を撮像する。撮像制御部２４が自動的に適切な露光条件で画像を撮像することにより、ＩＲ照明部２１の故障を見逃す可能性が考えられ、また、ＩＲ照明部２１に故障が発生していないにも拘わらず、ＩＲ照明部２１に故障が発生したと誤って判定する可能性が考えられる。
＜ア．ＩＲ照明部２１の故障を見逃す可能性＞
図８は、ＩＲ照明部２１の故障が見逃される場合と、ＩＲ照明部２１に故障が発生したと誤判定される場合を説明する図である。まず、図８Ａから図８Ｃを用いて、第１の実施形態の監視センサ装置１００が、ＩＲ照明部２１の故障を見逃してしまう可能性を説明する。
図８Ａと図８Ｂは、それぞれ第１と第２の時刻において、第１の実施形態の監視センサ装置１００が撮像する被写体の状況を説明する図である。
図８Ａは、第１の時刻において、ＩＲ照明部２１から適切な光量のＩＲ光が照射され、被写体が適切な照度条件下におかれた状況を表している。この場合、撮像制御部２４は適切な露光条件を設定し、これにより撮像機能部２０は図示されるとおりの画像を撮像して、撮像した画像をＩＲ照明故障検出部３０に出力する。
図８Ｂは、第２の時刻において、ＩＲ照明部２１に故障が発生し、ＩＲ照明部２１から射出される光量がある程度低下し、被写体がこの低照度下におかれた状況を表している。図８Ｂに示すように低照度下におかれた被写体を、これよりも高い照度下におかれた被写体（図８Ａ）と同じ撮像条件で撮像すると、得られる画像は全体的に暗くなってしまう。その結果、どのような被写体が撮像されたのかが判りにくい画像が撮像されてしまう。
このような画像が撮像されてしまうことを避けるため、撮像領域２００の全体における被写体の明るさの平均値が低くなると、撮像制御部２４は、照度の低い被写体の撮像に適した方向に（換言すれば、撮像される画像が明るくなるように）、露光条件を変更する場合がある。すなわち、撮像制御部２４は、照度の低い被写体を撮像する場合（撮像領域２００の全体の被写体の明るさの平均値が低い場合）には、照度の高い被写体を撮像する場合（撮像領域全体の被写体の明るさの平均値が高い場合）よりも、撮像部２２の撮像感度（ＩＳＯ感度）を高くしたり、撮像部２２の露光時間を長くしたり、撮像部２２に備わる絞りの開口を大きくしたり、画像処理部２３で画像に掛けるゲインを大きくしたりする場合がある。
撮像制御部２４がこのような撮像条件の変更を行った結果、図８Ｂに示す低照度の被写体を撮像した場合であったも、図８Ｃに示すように図８Ａと同等に明るい画像が撮像され得る。このように、撮像制御部２４が行う撮像条件の自動制御によって、低照度下の被写体（図８Ｂ）を撮像したにも拘わらず、それよりも高い照度の被写体を撮像した場合（図８Ａ）と同様に明るい画像（図８Ｃ）が撮像されてＩＲ照明部故障検出部３０に出力されると、ＩＲ照明故障部３０では、２つの画像の間で、画像の明るさの差異を検出することができない。このため、ＩＲ照明部２１に射出光量低下の故障が発生していても、これを検出することができず、ＩＲ照明部２１の故障を見逃してしまう可能性が考え得る。
＜イ．故障していないＩＲ照明部２１を故障と誤判定する可能性＞
次に、図８Ｄから図８Ｆを用いて、監視センサ装置１００の第１の実施形態が、ＩＲ照明部２１が故障していないにも拘わらず、故障したと誤って判定してしまう可能性を説明する。
図８Ｄと図８Ｅは、それぞれ第３と第４の時刻において、該第１の実施形態が撮像する被写体の状況を説明する図である。
図８Ｄは、第３の時刻において、ＩＲ照明部２１から適切な光量のＩＲ光が照射され、被写体が適切な照度条件下におかれた状況を表している。この場合、撮像制御部２４は適切な露光条件を設定し、これにより撮像機能部２０は図示するとおりの画像を撮像して、撮像した画像をＩＲ照明故障検出部３０に出力する。
図８Ｅは、第４の時刻において、被写体となる被介護者の居室内にＩＲ照明部２１とは異なる光（例えば外光）が入射して、居室内の一部の小分け領域ａの照度が高くなった状況を表している。これは例えば、夜が明けて来て、居室の窓から居室内へ外光が入射する状態であったり、夜中に屋外で自動車の往来があって、そのヘッドライトが居室内に入射する状態であったりする。
図８Ｅに示すように、明るい部分（外光によって照らされた小分け領域ａ）が一部に存在する被写体を、このような明るい部分が存在しない図８Ｄと同じ撮像条件で撮像すると、明るい小分け領域ａを撮像した画素は出力が飽和してしまい、その領域に本来存在する物体の形状を表すことができなくなってしまう。いわゆる白飛びした画像が撮像されてしまう。
このような画像が撮像されてしまうことを避けるため、被写体の一部に明るい領域が入り、撮像領域全体における被写体の明るさの平均値が高くなると、撮像制御部２４は、照度の高い被写体の撮像に適した方向に（換言すれば、撮像される画像が暗くなるように）、露光条件を変更する場合がある。すなわち、撮像制御部２４は、照度の高い被写体を撮像する場合（撮像領域全体の被写体の明るさの平均値が高い場合）には、照度の低い被写体を撮像する場合（撮像領域全体の被写体の明るさの平均値が低い場合）よりも、撮像部２２の撮像感度（ISO感度）を低くしたり、撮像部２２の露光時間を短くしたり、撮像部２２に備わる絞りの開口を小さくしたり、画像処理部２３で画像に掛けるゲインを小さくしたりする場合がある。
撮像制御部２４がこのような撮像条件の変更を行った結果、図８Ｅに示すように明るい小分け領域ａが撮像領域２００に存在することにより撮像領域全体の被写体の明るさの平均値が高くなった被写体を撮像した場合でも、領域ａのような明るい領域が無い図８Ｄに示すような被写体を撮像した場合と、画像全体の明るさの平均値が等しい画像（図８Ｆ）が撮像され得る。
ただし、図８Ｅの被写体を撮像する場合には、図８Ｄの被写体を撮像する場合よりも、撮像される画像が暗くなるように撮像条件を変更して図８Ｆに示す画像を得たため、図８Ｄと図８Ｆにおいて、図８Ｆにおける小分け領域ａ以外の小分け領域（例えば小分け領域ｂ）の画像を比較すると、図８Ｆの小分け領域ｂは、図８Ｄの小分け領域ｂよりも暗い画像（明るさの低い画像、平均輝度の低い画像）となっている。図８Ｄと図８Ｆに示す２枚の画像を比較して、小分け領域ｂの明るさが低下する変化があると、ＩＲ照明故障検出部３０は、この変化を、小分け領域ｂを照射するＩＲ照明部２１に備わる一部の光源の故障と判定してしまう可能性が考え得る。
＜ウ．第２の実施形態の特徴＞
そこで、監視センサ装置１００の第２の実施形態では、撮像機能部２０から出力される撮像画像をＩＲ照明故障検出部３０が監視して、その変化からＩＲ照明部２１の故障の有無を判定することに加えて、撮像制御部２４から出力される撮像条件と画像処理条件についての情報の変化からもＩＲ照明部２１の故障の有無を判定するようになされている。ＩＲ照明故障検出部３０が、ＩＲ照明部２１に故障が発生したと判定した場合には、その旨を伝達制御部３９に出力する。伝達制御部３９は、ＩＲ照明部２１に故障が発生したとの判定結果を、外部装置２９０を介して端末装置３００に出力する。
＜２−３−２Ｃ．ＩＲ照明故障検出部３０＞
＜ア．被介護者の居室における照明の点灯状態および外光の入射状態＞
監視センサ装置１００を使用する場合、監視対象とする被介護者の居室における照明の点灯状態および外光の入射状態と、監視センサ装置１００の動作状態は、以下のようになる。
（１）被介護者が就寝する前は、居室において可視光の照明が点灯している。
このとき、監視センサ装置１００は、可視光画像を用いて被介護者を監視している。
（２）被介護者が就寝する直前に、居室の可視光の照明を消灯する。
このとき、監視センサ装置１００は、可視光の照度低下を検出して、ＩＲ光の照射とＩＲ光画像を用いた被介護者の監視を開始する。
（３）被介護者が就寝中且つ日の出までの間は、居室内はＩＲ照明部２１によって一定のＩＲ光が照射され、これにより居室内の被写体の照度は一定に保たれている。
（４）日の出により、窓のブラインドやカーテンの隙間から外光が居室内に入射すると、居室内の可視光照度が部分的に上昇する。監視センサ装置１００は、引き続きＩＲ光の照射およびＩＲ光画像による被介護者の監視を行う。
（５）被介護者が起床し、窓のブラインドやカーテンを開けたり、居室の可視光の照明を点灯したりすると、居室内が可視光で十分明るくなる。監視センサ装置１００は、この居室内の可視光の照度上昇を検出して、ＩＲ光の照射およびＩＲ光画像による被介護者の監視を終了する。
＜イ．ＩＲ照明部２１の故障の見逃しを防ぐ仕組み＞
上記（２）によってＩＲ光の照射とＩＲ光画像を用いた被介護者の監視が開始されると、それ以降、居室の照度は、ＩＲ照明部２１によって一定の照度に保たれるか、または、外光の入射により照度が上昇するか一方の変化しかない。ＩＲ照明部２１が正常に動作していれば、照度が低下する方向の変化は発生しない。換言すれば、照度が低下する方向の変化が検出された場合には、ＩＲ照明部２１に故障が発生している可能性が高いと言える。
このため、第１の時刻に撮像した図８Ａに示す第１の画像と、第２の時刻に撮像した図８Ｃに示す第２の画像との間で、各小分け領域４００の明るさに差異がなくても、第１の画像を撮像した場合の撮像機能部２０における撮像条件および画像処理条件と、第２の画像を撮像した場合の撮像機能部２０における撮像条件および画像処理条件とを比較して、これらの条件のいずれかが、より低照度の被写体の撮像に適した方向に変化している場合には、ＩＲ照明部２１に故障が発生している可能性が高いと言える。
そこで、該第２の実施形態におけるＩＲ照明故障検出部３０は、各撮像画像を撮像した場合の撮像機能部２０における撮像条件および画像処理条件を、撮像画像間で比較するようになされており、これらの条件のいずれかが、より低照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、ＩＲ照明部２１に故障が発生していると判定するようになっている。
例えば、撮像部２２の撮像感度（ISO感度）が高くなる方向に変化するか、撮像部２２での露光時間が長くなる方向に変化するか、撮像部２２に備わる絞りの開口が大きくなる方向に変化するか、または画像処理部２３で画像に掛けるゲインが大きくなる方向に変化するかのいずれかの変化が検出され、且つ、その変化の大きさが所定の閾値以上（例えば２０％以上）である場合には、被写体の照度が低下したと判定され、ＩＲ照明部２１に故障が発生したと判定される。
なお、ＩＲ照明部２１に発生している故障の見逃しを防ぐ方法（以下、失報対策とも称する）については図３７を参照して後述する。
＜ウ．外光に起因した誤判定を防ぐ仕組み＞
先に述べたように、上記（２）によってＩＲ光の照射とＩＲ光画像を用いた被介護者の監視が開始されると、それ以降、居室の照度は、ＩＲ照明部２１によって一定の照度に保たれるか、または外光の入射により照度が上昇するかの一方の変化しかない。且つ、ＩＲ照明部２１が故障する場合、照射光量が増える方向に故障することは、ほぼないと言える。
従って、第３の時刻に撮像した図８Ｄに示す第３の画像と、第４の時刻に撮像した図８Ｆに示す第４の画像との間で、一部の小分け領域４００の明るさに差異があっても、第３の画像を撮像した場合の撮像機能部２０における撮像条件および画像処理条件と、第４の画像を撮像した場合の撮像機能部２０における撮像条件および画像処理条件とを比較して、これらの条件のいずれかが、より高照度の被写体の撮像に適した方向に変化している場合には、ＩＲ照明部２１に故障による照度の変化ではなく、ＩＲ照明部２１以外の光による被写体の照度の変化が発生している可能性が高いと言える。
そこで、該第２の実施形態におけるＩＲ照明故障検出部３０は、各撮像画像を撮像した場合の撮像機能部２０における撮像条件および画像処理条件を、撮像画像間で比較する。そして、これらの条件のいずれかが、より高照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、前記画像の比較の結果一部の小分け領域４００の明るさに差異があったとしても、これをＩＲ照明部２１の故障と判定しないようにする。
なお、上述した誤判定を防ぐ方法（以下、誤報対策とも称する）については図３８を参照して後述する。
このような判定を行うことにより、図８Ａから図８Ｃに示すような、ＩＲ照明部２１の故障による変化を見逃す可能性が低減され、また、図８Ｄから図８Ｆに示すような外光による撮像画像の変化をＩＲ照明部２１の故障と誤って判定する可能性を低減させることができる。
＜２−３−２Ｄ．経年的な変化を検出する仕組み＞
該第２の実施形態におけるＩＲ照明故障検出部３０は、さらに、毎日決められた時刻に撮像された撮像画像の撮像条件を監視し、この情報を基に、ＩＲ照明部２１に経年的な異常が発生していないか否かを判定することができる。
例えば、計測時刻を夜の１２時と設定した場合、ＩＲ照明故障検出部３０は、システム稼働初日の夜の１２時における撮像画像の撮像条件を撮像条件の初期値とし、これ以降毎日夜の１２時に撮像された撮像画像の撮像条件を前記の初期値と比較する。そして新たに撮像された撮像画像の撮像条件（例えば露光時間）が、初期値よりも一定の大きさ以上、例えば２０％以上変化した場合には、これを経年的な異常（経年劣化）に基づく故障発生として検出する。
これにより、例えば、ＩＲ光源の経年的な劣化により照度が低下したり、ＩＲ照明部２１に備わるカバーガラス上への継続的なほこりの堆積によって照度が低下したりした場合に、これを経年劣化による故障発生として検出することが可能となる。なお、初期値となる撮像条件の設定は、システム稼働初日に限らず、例えば初期値をリセットするための入力スイッチを設け、システムの使用者がこれを押した場合には、それ以後次の設定時刻に撮像した撮像条件を初期値とできるようにしてもよい。
なお、ＩＲ照明部２１の経年劣化を検出する方法については図３９を参照して後述する。
＜２−３−３．監視センサ装置１００の第３の実施形態＞
次に、監視センサ装置１００の第３の実施形態について説明する。
＜２−３−３Ａ．第３の実施形態の構成概要＞
図９は、監視センサ装置１００の第３の実施形態を示すブロック図である。該第３の実施形態の構成要素のうち、第２の実施形態と共通となる構成要素は、その説明を適宜省略する。該第３の実施形態は、ＩＲ照明故障検出部３０が、安定画像生成部４０と故障判定部４１を備える。
＜２−３−３Ｂ．第３の実施形態の特徴＞
上述したように、第１および第２の実施形態におけるＩＲ照明故障検出部３０は、撮像画像ストリームに動体が撮像されている場合、ＩＲ照明部２１の故障の有無を判定する方法の第２の例として、撮像画像ストリームに含まれる各撮像画像から動体（動被写体）を撮像した部分を削除し、動体を削除した後の画像を比較していた。
より具体的には、撮像画像ストリームの中から、
（１）（ｎ−１）フレーム目から（ｎ＋１）フレーム目までの３枚の画像を比較して、これらの中から動体を撮像した部分を削除することで、第１の撮像画像を得て、
（２）（ｍ−１）フレーム目から（ｍ＋１）目までの３枚の画像を比較して、これらの中から動体を撮像した部分を削除することで、第２の撮像画像を得て、
（３）第１および第２の撮像画像に共通して残されている小分け領域の画素データについて、それらの平均輝度を、第１および第２の撮像画像のそれぞれについて算出して比較していた。
この方法に対して考え得る問題点について図１０から図１２を参照して説明する。図１０から図１２は、被介護者２３０が使用している居室２００を撮像した撮像画像ストリームにおいて、連続して撮像された２７フレーム分の撮像画像を、３フレームずつ重ね合わせて表記したものである。
図１０Ａは第１から第３フレーム、図１０Ｂは第４から第６フレーム、図１０Ｃは第７から第９フレーム、図１１Ｄは第１０から第１２フレーム、図１１Ｅは第１３から第１５フレーム、図１１Ｆは第１６から第１８フレーム、図１２Ｇは第１９から第２１フレーム、図１２Ｈは第２２から第２４フレーム、図１２Ｉは第２５から第２７フレームを重ね合わせて表記したものである。図１０Ｂと図１０Ｃと図１１Ｄには、被介護者２３０が、それぞれ３個ずつ横方向に位置を変えて記載されている。これは、第４フレームから第１２のフレームの間に、居室２００内の被介護者２３０が連続して移動したことを表している。
図１０Ｃに示した第７から第９フレームにおいて、座標（Ｘ１，Ｙ１）となる場所を撮像した画素が撮像した被写体は、被介護者２３０の頭部である。このような状況において、第１および第２の実施形態におけるＩＲ照明故障検出部３０が、ＩＲ照明部２１の故障の有無を判定する方法の第２の例を用いると、上記第７から第９のフレームの座標（Ｘ１，Ｙ１）となる場所を撮像した画素のデータには変化が見られず、その結果被写体が静止していると判断してしまうことが考え得る。
しかしながら、実際には、第７から第９フレームの間も、被介護者は連続して移動中であったので、第７から第９フレームの間に、座標（Ｘ１，Ｙ１）となる場所において、被写体が静止していると判断することは、必ずしも適切ではない。
そこで、監視センサ装置１００の第３の実施形態では、ＩＲ照明故障検出部３０に安定画像生成部４０と故障判定部４１が備えられている。安定画像生成部４０は、動体（動的な被写体）とそれ以外の被写体（静的な被写体）とをより正確に分離した上で、動体を含まない複数枚の画像（安定画像）を生成する。なお、安定画像を生成する方法については図３５を参照して後述する。故障判定部４１は、生成された複数枚の安定画像を比較して、ＩＲ照明部２１の故障の有無を判定する。
監視センサ装置１００の第１の実施形態では、特に、ＩＲ照明部２１の故障の有無を判定する方法の第２の例において、異なる時刻に撮像された２枚の撮像画像の各画素が動体と静体のどちらを撮像したかを判定し、２枚の画像の双方において静体を撮像したと判定された画素を抽出して、２枚の画像のそれぞれについて抽出された画素の平均輝度を求めて比較していた。
これに対して、該第３の実施形態が備える安定画像生成部４０は、撮像機能部２０が出力する撮像画像ストリームを、一定の期間モニタし続け、且つ、この間の画素データを分析し続けることで、この一定の期間において、最も動きが少なく安定して撮像され続けた被写体は何であったのかを計測する。その結果、安定画像生成部４０は、撮像画像に含まれる全ての画素について、前記一定の期間において最も動きが少なく安定して撮像され続けたと判定された被写体のデータを集めて、これを安定画像として、後段の故障判定部４１に出力する。
＜２−３−３Ｃ．安定画像生成部４０＞
該第３の実施形態が備える安定画像生成部４０において、撮像機能部２０から入力された撮像画像ストリームの中から、動体を除いた画像（安定画像）を作り出す方法について説明する。
安定画像生成部４０は、注目する画素を、複数のフレームに亘って、継続してモニタおよび分析する。撮像画像に含まれるいずれの画素を注目画素とするかについては、撮像画像に含まれる全ての画素を注目画素として、これらの画素のそれぞれを継続してモニタおよび分析してもよい。または、撮像画像の全面に亘って適度に画素を間引いて抽出し、これらの間引き抽出された画素を注目画素として、それぞれを継続してモニタおよび分析してもよい。あるいは、撮像画像を基にして、一般的な画像の解像度変更技術を用いて撮像画像よりも解像度の小さな画像（換言すれば画像サイズの小さな画像）を作り出し、この解像度の小さな画像の全画素または適度に間引いた画素を抽出し、これらの画素を注目画素として、それぞれを継続してモニタおよび分析してもよい。
ここでは簡単のために、図１０から図２１に記載の座標（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）となる場所を撮像する２つの画素を注目画素と仮定して、安定画像生成部４０において動体を除いた画像（安定画像）を作り出す方法を説明する。
安定画像生成部４０が、座標（Ｘ１，Ｙ１）となる場所を撮像する第１の画素と、座標（Ｘ２，Ｙ２）となる場所を撮像する第２の画素を注目画素と設定すると、安定画像生成部４０は、撮像画像ストリームに含まれる各撮像画像において、第１および第２の画素のデータを継続してモニタする。そして第１および第２の画素が撮像した被写体を表す指標として、例えばどのような輝度の値が、何個のフレームにおいて撮像されたのかを累積して計測する。
なお、以下の説明においては、安定画像生成部４０の形態の一例として、安定画像生成部４０が被写体の輝度を累積して計測する被写体輝度累積計測期間が、９フレームである場合を仮定して説明する。
また、説明のため、座標（Ｘ１，Ｙ１）に配置された第１の被写体（ここでは居室の床）の輝度を輝度レベル１、座標（Ｘ２，Ｙ２）に配置された第２の被写体（ここでは枕）の輝度を輝度レベル２、居室内にある第３の被写体（ここでは被介護者の頭部）の輝度を輝度レベル３と仮定する。
図１３から図１５は、図１０から図１２に示された第１から第２７フレームにおいて第１の画素が撮像した被写体の輝度の分布として、安定画像生成部４０が計測した結果を、説明のために３フレームずつ累積期間をずらしながら累積度数分布グラフに表したものである。
図１３Ｃは、第１から第９フレームの間に、第１の画素では、第１の被写体（居室の床）が６回、第３の被写体（被介護者の頭部）が３回撮像されたことを表している。図１４Ｆは、第１０から第１８フレームの間に、第１の画素では、第１の被写体（居室の床）が９回撮像されたことを表している。図１３から図１５に含まれる他の図が表わすものも同様であるため、ここでの説明を省略する。
図１６から図１８は、図１０から図１２に示された第１から第２７フレームにおいて第２の画素が撮像した被写体の輝度の分布として、安定画像生成部４０が計測した結果を、説明のために３フレームずつ累積期間をずらしながら累積度数分布グラフに表したものである。
図１６Ｃは、第１から第９フレームの間に、第２の画素では、第２の被写体（枕）が９回撮像されたことを表している。図１７Ｆは、第１０から第１８フレームの間に、第２の画素では、第２の被写体（枕）が３回、第３の被写体（被介護者の頭部）が６回撮像されたことを表している。図１６から図１８に含まれる他の図が表すものも同様であるため、ここでの説明を省略する。
次に、図１３から図１８を用いて説明した安定画像生成部４０による計測結果から、安定画像生成部４０が動体（動的な被写体）とそれ以外の被写体（静的な被写体）とをどのように分離して、動体を含まない画像（安定画像）を出力するかについて説明する。
図１３Ａから図１５Ｉに示したように、安定画像生成部４０は、第１フレームから第２７フレームに至る、いずれの被写体輝度累積計測期間（９フレーム分）においても、第１の画素は第１の被写体（居室の床）を撮像していることが最も多いと計測した。その結果、安定画像生成部４０は、動体を含まない画像（安定画像）として、第１の画素の部分には、第１フレーム以降、第１の被写体（居室の床）の撮像データを出力する。
一方、図１６Ａから図１８Ｉに示したように、安定画像生成部４０は、第１フレームから第１５フレームまでの間は、いずれの被写体輝度累積計測期間においても、第２の画素は第２の被写体（枕）を撮像していることが最も多いと計測したが、第１８フレーム以降は、いずれの被写体輝度累積計測期間においても、第３の被写体（被介護者の頭部）を撮像していることが最も多いと計測した。その結果、安定画像生成部４０は、動体を含まない画像（安定画像）として第２の画素の部分には、第１フレームから第１８フレームまでの間は、第２の被写体（枕）の撮像データを出力し、それ以降は、第３の被写体（被介護者の頭部）の撮像データを出力する。
図１９から図２１は、安定画像生成部４０が、図１０から図１２に示す第１から第２７フレームの画像を基にして、第１から第２７フレームの間に出力した動体を含まない画像（安定画像）を、３フレームずつ重ね合わせて表記したものである。
安定画像生成部４０は、動体を含まない画像（安定画像）として、座標（Ｘ１，Ｙ１）となる場所を撮像した第１の画素については、第１フレーム以降、第１の被写体（居室の床）の撮像データを、故障判定部４１に出力する。
また、安定画像生成部４０は、動体を含まない画像（安定画像）として、座標（Ｘ２，Ｙ２）となる場所を撮像した第２の画素については、第１８フレームまで（図２０Ｆまで）は第２の被写体（枕）の撮像データを故障判定部４１に出力し、それ以降（図２１Ｇ以降）は、第３の被写体（被介護者の頭部）の撮像データを故障判定部４１に出力する。
なお、以上の説明においては、安定画像生成部４０は、撮像機能部２０から入力される撮像画像ストリームに含まれる全てのフレーム画像（撮像画像）をモニタして被写体輝度の累積計測を行う例を説明したが、必ずしも全てのフレーム画像（撮像画像）をモニタして被写体輝度の累積計測を行う必要は無く、時間的に離散化した複数枚のフレーム画像（撮像画像）をモニタして被写体輝度の累積計測を行ってもよい。
＜２−３−３Ｄ．安定画像の種類＞
次に、安定画像生成部４０が出力する安定画像の２例（図２２と図２３）を用いて、該第３の実施形態の故障判定部４１による、ＩＲ照明部２１の故障を判定する方法についてを説明する。
＜ア．安定画像の第１の例＞
図２２は、監視センサ装置１００の第３の実施形態における撮像機能部２０が撮像する撮像画像と、この撮像画像を基にして安定画像生成部４０が作り出す安定画像の第１の例を示している。
時刻ｔ１から監視センサ装置１００の撮像動作が開始される。撮像動作開始時点となる時刻ｔ１で撮像された撮像画像が、安定画像生成部４０から出力される最初の安定画像（第１の安定画像）となる。安定画像生成部４０は、時刻ｔ１以降、先に述べた被写体輝度の累積計測を行い、動体を含まない安定画像を出力する。
時刻ｔ１から時刻ｔ４の間に撮像された撮像画像においては、被介護者が移動し続けている。このため、安定画像生成部４０は、時刻ｔ１から時刻ｔ４の間、動体を含まない画像として、時刻ｔ１から時刻ｔ４の間に撮像された撮像画像から、移動中の被介護者を取り除き、被介護者がいた小分け領域には被介護者の後ろにある静物（背景）を画像として、安定画像を作り出して継続して出力する。
より具体的には、図２２において、安定画像生成部４０が、時刻ｔ１に第１の安定画像を出力した後、その後安定画像を更新することなく、第１の安定画像を出力した状態を時刻ｔ４まで維持するようにすればよい。または、時刻ｔ１からｔ４までの間、撮像画像が撮像される度に、安定画像生成部４０が最初の安定画像（第１の安定画像）を繰り返し出力するようにしてもよい。
被介護者は、時刻ｔ４において寝床に入って動きを止め、時刻ｔ４以降、同一の姿勢を取り続けている。安定画像生成部４０は、被写体輝度の累積計測を継続した結果、時刻ｔ４から時刻ｔ６の間、被介護者が同一の姿勢を取り続け、この間の撮像画像に動体が含まれていないことを検出する。その結果、時刻ｔ６において、同一の姿勢を取り続ける被介護者を含めた撮像画像を、２枚目の安定画像（第２の安定画像）として故障判定部４１に出力するとともに、安定画像が変更されたことを故障判定部４１に出力する。安定画像生成部４０は、これ以降、第２の安定画像を継続して出力する。すなわち、安定画像生成部４０が、時刻ｔ６に第２の安定画像を出力した後、その後安定画像を更新することなく、第２の安定画像を出力した状態を維持するようにすればよい。または、時刻ｔ６以降、撮像画像が撮像される度に、安定画像生成部４０が第２の安定画像を繰り返し出力するようにしてもよい。
＜イ．安定画像の第２の例＞
図２３は、監視センサ装置１００の第３の実施形態における撮像機能部２０が撮像する撮像画像と、この撮像画像を基にして安定画像生成部４０が作り出す安定画像の第２の例を示している。
第２の例では、第１の例と同様に、時刻ｔ１から監視センサ装置１００の撮像動作が開始され、安定画像生成部４０が時刻ｔ１で第１の安定画像を出力する。
また、第２の例では、第１の例と同様に、時刻ｔ１から時刻ｔ４の間に撮像された撮像画像においては、被介護者が移動し続けている。このため、安定画像生成部４０は、時刻ｔ１から時刻ｔ４の間、第１の安定画像を継続して出力する。すなわち、図２３において、安定画像生成部４０が、時刻ｔ１に第１の安定画像を出力した後、その後安定画像を更新することなく、第１の安定画像を出力した状態を時刻ｔ４まで維持するようにすればよい。または、時刻ｔ１から時刻ｔ４までの間、撮像画像が撮像される度に、安定画像生成部４０が最初の安定画像（第１の安定画像）を繰り返し出力するようにしてもよい。
また、第２の例では、第１の例と同様に、被介護者は、時刻ｔ４において寝床に入って動きを止め、時刻ｔ４以降、同一の姿勢を取り続けている。しかし、第２の例では、時刻ｔ５において、ＩＲ照明部２１の一部が故障し、時刻ｔ５以降、被写体の一部の照度が低下している。ｔ４からｔ５の間で、ＩＲ照明部２１が故障し、撮像画像に被写体照度が低下した部分２４０が生じたため、安定画像生成部４０は、時刻ｔ６においては、まだ被写体に動きがあると判定し、時刻ｔ６においても引き続き第１の安定画像を出力する。
時刻ｔ５以降、被写体の照度と被介護者の姿勢の双方に変化はない。このため、安定画像生成部４０は、被写体輝度の累積計測を継続した結果、時刻ｔ５から時刻ｔ７の間、撮像画像に動体が含まれていないことを検出する。その結果、時刻ｔ７において、ＩＲ照明部２１の一部が故障して被写体照度が低下し、且つ、被介護者が同一の姿勢を取り続ける撮像画像を、２枚目の安定画像（第２の安定画像）として故障判定部４１に出力するとともに、安定画像が変更されたことを故障判定部４１に出力する。安定画像生成部４０は、これ以降、第２の安定画像を継続して出力する。すなわち、安定画像生成部４０が、時刻ｔ７に第２の安定画像を出力した後、その後安定画像を更新することなく、第２の安定画像を出力した状態を維持するようにすればよい。または、時刻ｔ７以降、撮像画像が撮像される度に、安定画像生成部４０が第２の安定画像を繰り返し出力するようにしてもよい。
以上説明したように、安定画像生成部４０から故障判定部４１に出力される画像には、２種類ある。
安定画像生成部４０から故障判定部４１に出力される１種類目の画像は、ＩＲ照明部２１に故障は無く、且つ、被写体の状態（被写体の形状や被写体表面の反射率等）がこれまでの安定画像に撮像されていた被写体とは異なる状態となったため、新たな被写体を撮像して出力された安定画像である（図２２時刻ｔ６から新たに表示された安定画像）。
安定画像生成部４０から故障判定部４１に出力される２種類目の画像は、ＩＲ照明部２１に故障があり、これにより被写体の照度が低下したことで、撮像された画像がこれまでの安定画像とは異なるものとなった画像である（図２３時刻ｔ７から新たに表示された安定画像）。
＜２−３−３Ｅ．故障判定部４１の概要＞
次に、監視センサ装置１００の第３の実施形態における故障判定部４１が、安定画像生成部４０からの出力に基づいて、ＩＲ照明部２１の故障の有無を判定する方法について、図２４から図３２を参照して説明する。
故障判定部４１は、安定画像生成部４０から出力された安定画像を少なくとも２枚分記憶するための画像記憶部４１１を備える。先に述べたように、安定画像生成部４０は、故障判定部４１に出力する安定画像を変更する度に、安定画像を変更したことを故障判定部４１に通知する。故障判定部４１は、安定画像生成部４０から安定画像を変更した通知を受け取る度に、最新の安定画像を画像記憶部４１１に記憶させるとともに、例えば、最新の安定画像と、１つ前の安定画像とを比較して、ＩＲ照明部２１に故障が発生しているか否かを判定する。
なお、故障判定部４１における故障判定のための安定画像の比較は、上述した例に限らない。すなわち、安定画像生成部４０から出力される複数枚の安定画像の中から、時間的な間隔を設けて比較対象とする安定画像を少なくとも２枚サンプリングして、これらを比較するようにしてもよい。例えば、一定の時間間隔（５分間毎等）でサンプリングして比較するようにしてもよい。または、一定の枚数毎（１００枚毎等）にサンプリングして比較するようにしてもよい。あるいは、安定画像に変化がない場合でも、撮像部２２において撮像画像が撮像される度に、これに同期して安定画像生成部４０から安定画像が出力される場合（安定画像に変化がない場合には同じ安定画像が繰り返し出力される場合）においては、安定画像の変化の有無に拘わらず、安定画像が出力される度に、最新の安定画像と１つ前の安定画像を比較するようにしてもよい。
故障判定部４１は、安定画像生成部４０から出力される２種類の安定画像の変化のうち、（１）被写体の変化に起因した安定画像の変化は、ＩＲ照明部２１の故障とは判定せず、（２）ＩＲ照明部２１の故障による被写体照度低下に起因した安定画像の変化は、ＩＲ照明部２１の故障と判定することで、ＩＲ照明部２１の故障を検出する。
＜２−３−３Ｆ．故障判定部４１の第１の構成例＞
図２４は、故障判定部４１の構成の第１の例を示すブロック図である。
＜ア．第１の構成例の概要＞
故障判定部４１の第１の構成例は、画像記憶部４１１と画像比較部４１２を備える。
故障判定部４１の画像記憶部４１１には、複数枚の安定画像の画像データと、新たに安定画像が作成された場合にはそのことを通知する情報とが安定画像生成部４０から入力される。故障判定部４１の画像比較部４１２には、撮像部２２において撮像画像ストリームを撮像した場合の各撮像画像の撮像条件についての情報と、画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件についての情報が撮像制御部２４から入力される。
画像記憶部４１１は、安定画像生成部４０が出力する安定画像のうち、少なくとも、最新の安定画像と、その１つ前の安定画像の２枚を記憶できる容量を有し、これらを記憶する。
画像比較部４１２は、画像記憶部４１１に記憶された少なくとも２枚の安定画像の画像を比較する。画像比較部４１２は、比較の結果、安定画像の差異が所定の閾値よりも大きい場合は、安定画像の変化が、前記（２）ＩＲ照明部２１の故障による被写体照度低下に起因した安定画像の変化であると判定する。その結果、画像比較部４１２は、ＩＲ照明部２１に故障が発生したと判定する。故障判定部４１は、ＩＲ照明部２１に故障が発生したとの判定結果を、伝達制御部３９に出力する。伝達制御部３９は、ＩＲ照明部２１に故障が発生したとの判定結果を、外部装置２９０を介して、端末装置３００に出力する。
＜イ．画像比較部４１２の詳細＞
画像比較部４１２は、画像記憶部４１１に記憶された少なくとも２枚の安定画像のそれぞれを、複数の小分け領域４００に分割し、これら複数の小分け領域４００のそれぞれについて、その明るさを表す指標（例えば平均輝度）を算出する。
また、故障判定部４１は、少なくとも２枚の安定画像に含まれる複数の小分け領域４００のそれぞれについて、少なくとも２枚の安定画像の間で、明るさを表す指標の差（例えば平均輝度の差）が、閾値以上であるか否かを判定する。明るさを表す指標の差が、予め決めておいた第１の閾値以下となる場合には、「差分が小さい」と判定し、明るさを表す指標の差が、第１の閾値よりも大きい場合には、「差分が大きい」と判定する。
画像比較部４１２は、「差分が大きい」と判定する小分け領域４００を検出した場合には、少なくとも２枚の安定画像の間で発生している変化が、前記（１）被写体の変化に起因した安定画像の変化ではなく前記（２）ＩＲ照明部２１の故障による被写体照度低下に起因した安定画像の変化であると判定し、ＩＲ照明部２１に故障が発生していると判定する。
安定画像生成部４０が安定画像の第１の例（図２２）および第２の例（図２３）を出力する場合の、故障判定部４１の動作を、図２５と図２６を参照して説明する。
図２５Ａは、安定画像第１の例（図２２）のｔ１において出力された第１の安定画像、図２５Ｂは、図２２のｔ６において出力された第２の安定画像を示している。図２５Ｃは、画像比較部４１２が図２５Ａと図２５Ｂを比較した判定結果を示している。図２５Ａと図２５Ｂを比較すると、図２５Ｂにおいて、被写体として新たにベッドの上で就寝する被介護者が撮像されている。
この被介護者を撮像した小分け領域４００においては、図２５Ａと図２５Ｂの安定画像の間で、小分け領域４００の明るさを表す指標（例えば平均輝度）に差があると検出されている。ただし、図２５Ｂにおいて新たに撮像された被介護者の大きさは、小分け領域４００の大きさに比べて小さい。よって、図２５Ｂにおいて新たに被介護者が被写体として撮像されても、それによって当該小分け領域４００の明るさを表す指標が変化する大きさは限定的である。したがって、画像比較部４１２は、図２４Ａと図２５Ｂとの間で、当該小分け領域４００の明るさを表す指標は、「差分が小さい」と判定する。画像比較部４１２は、「差分が大きい」と判定する小分け領域４００を検出しなかった場合には、ＩＲ照明部２１の故障は発生しなかったと判定し、この間の安定画像の変化は前記（１）被写体の変化に起因した安定画像の変化と判定する。
図２６Ａは、安定画像第２の例（図２３）のｔ１において出力された第１の安定画像、図２６Ｂは、図２３のｔ７において出力された第２の安定画像を示している。図２６Ｃは、画像比較部４１２が図２６Ａと図２６Ｂを比較した判定結果を示している。図２６Ａと図２６Ｂを比較した結果、図２６Ｂにおいて、ＩＲ照明部２１の故障によって照度が低下した被写体が、複数の小分け領域４００に亘って撮像されている。
これら複数の小分け領域４００においては、図２６Ａと図２６Ｂの安定画像の間で、小分け領域４００の明るさを表す指標（例えば平均輝度）に差があると検出されている。しかも、図２６Ｂにおいて低照度下で撮像された範囲は、小分け領域４００の１個の大きさよりも大きい。よって、図２６Ｂにおいて新たに生じた被写体の変化は、複数の小分け領域４００において、それぞれの小分け領域４００の全体に亘っている。この小分け領域４００全体に渡る被写体の変化により、当該小分け領域４００の明るさを表す指標の変化量が大きい。したがって、画像比較部４１２は、図２６Ａと図２６Ｂとの間で、複数の小分け領域４００において、当該小分け領域４００の明るさを表す指標は、「差分が大きい」と判定する。画像比較部４１２は、「差分が大きい」と判定する小分け領域４００を検出した場合には、ＩＲ照明部２１の故障が発生したと判定する。
なお、画像比較部４１２は、「差分が大きい」と判定された小分け領域４００の数が、予め決めておいた第２の閾値よりも大きい場合には、少なくとも２枚の安定画像の間で、大規模な画像の変化が発生していると判定する。この場合、画像比較部４１２は、少なくとも２枚の安定画像の間で発生している変化が、前記（１）被写体の変化に起因した安定画像の変化ではなく前記（２）ＩＲ照明部２１の故障による被写体照度低下に起因した安定画像の変化、ＩＲ照明部２１の故障と判定するようにしてもよい。
例えば第２の閾値を２（個）と設定した場合、図２５Ｃにおいて、「差分が大きい」と判定された小分け領域４００は存在せず、当然、「差分が大きい」と判定された小分け領域４００の個数は、第２の閾値よりも小さい。この場合、画像比較部４１２は、ＩＲ照明部２１の故障は発生しなかったと判定し、この間の安定画像の変化は前記（１）被写体の変化に起因した安定画像の変化と判定する。
一方、図２６Ｃにおいて、「差分が大きい」と判定された小分け領域４００は４個存在し、その個数が予め決めておいた第２の閾値（２個）よりも大きい。この場合、画像比較部４１２は、前記（２）ＩＲ照明部２１の故障による被写体照度低下に起因した安定画像の変化であると判定し、ＩＲ照明部２１に故障が発生していると判定する。
また、画像比較部４１２は、予め決めておいた第３の閾値を有し、この第３の閾値を用いて安定画像を評価して、ＩＲ照明部２１に故障が発生していると判定するようにしてもよい。
第３の閾値を有する場合については、図２６を参照して説明する。図２６Ｂにおいて、ＩＲ照明部２１の一部の光源の射出光量が限定的に低下するのではなく、光量が著しく低下した場合またはほとんど光が射出されなくなった場合を想定する。この場合、図２６Ｂにおいて故障したＩＲ光源の照射範囲を撮像した画像は、いわゆるほぼ真っ黒の状態となり、その範囲を撮像した画素のデータは、ほぼゼロに近い状態となる。
このような状態の場合は、故障前後の安定画像（つまり図２６Ａと図２６Ｂ）を比較するまでもなく、図２６Ｂの画像における各画素のデータの値を評価して、各画素の値が予め決めておいた第３の閾値を下回っているか否かを評価するだけで、ＩＲ照明部２１に故障が発生していることを検出することができる。故障判定部４１において、図２６Ａと図２６Ｂの安定画像を比較する前に、この第３の閾値を用いてＩＲ照明部２１の故障を検出するようにすれば、ＩＲ照明部２１に著しい故障が発生した場合には、図２６Ａと図２６Ｂの安定画像を比較する前に故障を検出することできる。これにより故障判定部４１で故障を検出するために実行する処理を削減し、故障判定部４１の動作に伴う電力消費を低減させることができる。
なお、小分け領域４００の大きさは以下のように設定してよい。すなわち、１個のＩＲ照明部が照射する範囲が、複数の小分け領域４００を含むように、小分け領域４００の大きさを設定してよい。さらに、１個のＩＲ照明部が照射する範囲が、撮像される被写体面上において、縦方向と横方向のそれぞれに複数の小分け領域４００を含むように、小分け領域４００の大きさを設定してよい。
小分け領域４００の大きさは、監視センサ装置１００が製造された時点で、上記の好ましい大きさに設定されてよい。または、監視センサ装置１００を実際に使用する現場に取り付けた後に、取り付けを行った者または監視センサ装置１００を使用する者が、ＩＲ照明部に含まれる複数のＩＲ光源のそれぞれが照射する範囲を順番に確認しながら、小分け領域４００の大きさを上記の好ましい大きさに設定してよい。または、監視センサ装置１００自体が、装置に備える複数のＩＲ光源をそれぞれ順番に照射しながら、それぞれの照射状態で画像を撮像して、それぞれのＩＲ光源が照射する大きさを把握し、小分け領域４００の大きさを上記の好ましい大きさに自動的に設定できるようにしてもよい。
なお、画像比較部４１２において、複数枚の安定画像の明るさ比較する別の方法として、安定画像を小分けせずに、第１の実施形態における故障判定方法の第１の例と同様にして比較してもよい。すなわち、比較対象とする安定画像のそれぞれについて、安定画像全体に亘ってその明るさを表す指標の値を求め、得られた指標を比較してもよい。
＜ウ．撮像条件を監視する構成の詳細＞
上述したように、故障判定部４１には、撮像部２２において撮像画像ストリームを撮像した場合の各撮像画像の撮像条件についての情報と、画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件についての情報が、撮像制御部２４から入力される。
故障判定部４１は、これらの情報を監視し、監視センサ装置１００の第２の実施形態と同様に、画像比較部４１２が比較する複数枚の安定画像が撮像された間に、これらの撮像条件と画像処理条件のいずれかが、より低照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、ＩＲ照明部２１に故障が発生していると判定するようにする。
また、故障判定部４１は、これらの情報を監視し、監視センサ装置１００の第２の実施形態と同様に、画像比較部４１２が比較する複数枚の安定画像が撮像された間に、これらの撮像条件と画像処理条件のいずれかが、より高照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、前記画像の比較の結果一部の小分け領域４００の明るさに差異があったとしても、これをＩＲ照明部２１の故障と判定せず、ＩＲ照明部２１の動作は正常と判定するようにする。
＜２−３−３Ｇ．故障判定部４１の第２の構成例＞
図２７は、故障判定部４１の構成の第２の例を説明する図である。故障判定部４１の第２の構成例の構成要素のうち、第１の構成例と共通となるものについては、その説明を省略する。
＜ア．第２の構成例の概要＞
故障判定部４１の第２の構成例は、第１の構成例に特徴比較部４１３と判定部４１４を追加したものである。該第２の構成例においては、第１の構成例と同様に、安定画像生成部４０からの、複数枚の安定画像の画像データと、新たに安定画像が作成された場合にはそのことを通知する情報とが画像記憶部４１１に入力される。また、撮像制御部２４からの、撮像部２２において撮像画像ストリームを撮像した場合の各撮像画像の撮像条件についての情報と、画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件についての情報が判定部４１４に入力される。さらに、安定画像生成部４０からの安定画像の更新情報（新たに安定画像を作成して出力したとの情報）が判定部４１４に入力される。
該第２の構成例における画像記憶部４１１は、該第１の構成例におけるそれと同様に、安定画像生成部４０が出力する安定画像のうち、少なくとも、最新の安定画像と、その１つ前の安定画像の画像を記憶する。
該第２の構成例における画像比較部４１２は、該第１の構成例におけるそれと同様に、画像記憶部４１１に記憶された少なくとも２枚の安定画像の画像を小分け領域４００毎に比較する。画像比較部４１２は、比較の結果、安定画像の各小分け領域４００の差異が予め決めてある第１の閾値よりも大きいか否かを、判定部４１４に通知する。または、安定画像の各小分け領域４００について、その差異が予め決めてある第１の閾値よりも大きいと判定された小分け領域４００の個数が、予め決めてある第２の閾値よりも大きいか否かを、判定部４１４に通知する。
これと並行して、該第２の構成例における特徴比較部４１３は、安定画像生成部４０が出力する複数枚の安定画像のそれぞれについて、画像に含まれる被写体の特徴点を抽出して、各安定画像の間で、その特徴点の差異を比較する。そして、特徴比較部４１３は、各安定画像間の特徴点の比較結果を判定部４１４に通知する。なお、複数枚の安定画像の特徴点の差異に基づく、ＩＲ照明部２１の故障の有無の判定については図４１を参照して後述する。
＜イ．第２の構成例の特徴＞
図２８と図２９は、該第２の構成例における画像比較部４１２と特徴比較部４１３とによる画像比較の違いと、それによりもたらされる作用効果の違いを説明する図である。
図２８は、該第２の構成例における画像比較部４１２が、第１の構成例における画像比較部４１２と同様にして、複数枚の安定画像を比較した場合に得られる結果を、説明する図である。
安定画像生成部４０が作り出す２種類の安定画像のうち、同図Ａ、同図Ｂ、および同図Ｃは、（１）ＩＲ照明部２１に故障は無く、且つ、被写体の状態（被写体の形状や被写体表面の反射率等）が大きく変化したため、新たな安定画像が出力された場合を示している。同図Ｄ、同図Ｅおよび同図Ｆは、（２）ＩＲ照明部２１に故障があり、これにより撮像される画像が変化したため、新たな安定画像が出力された場合を示している。
なお、同図Ａは、ベッドのシーツの上に、被写体となる被介護者が寝ている状態を表している。ここで、シーツは、寝具や絨毯等の被介護者の居室に存在する布類の中で、最も反射率が高い布の例と仮定している。同図Ｂは、就寝中の被介護者が、毛布等、シーツに比べて反射率の低い寝具を、ベッド上の広い範囲に広げた場合の状態を表している。同図Ｄは、ベッドの布団の中に、被写体となる被介護者が寝ている状態を表している。同図Ｅは、被写体が同図Ｄと同じ状態であるものの、ＩＲ照明部２１の一部に故障が生じ、その射出光量が低下したため、故障したＩＲ照明部２１が照射している範囲の画像が暗くなった状態を表している。
同図Ｂにおいて、ベッド上の広い範囲において反射率の低い寝具が広げられたため、画像比較部４１２は、同図Ａと同図Ｂに含まれる各小分け領域４００を比較した結果として、同図Ｃに示すように、２つの小分け領域４００において、それぞれの明るさの指標（例えば平均輝度）が大きく低下し、且つ、その周囲の４つの小分け領域４００においても、その領域の明るさの指標がある程度低下したと出力する。
一方、同図Ｅにおいて、ＩＲ照明部に備わるＩＲ光源の一部において射出光量が低下したものの、これにより被写体の照度が低下した領域の大きさは、同図Ｂに示された、反射率の低い被写体が広げられた面積よりも小さい。画像比較部４１２は、同図Ｄと同図Ｅに含まれる各小分け領域４００を比較した結果として、同図Ｆに示すように、１つの小分け領域４００において、その明るさの指標（例えば平均輝度）が大きく低下し、且つ、その周囲の３つの小分け領域４００においても、その領域の明るさの指標がある程度低下したと出力する。
なお、該第２の構成例における画像比較部４１２は、第１の構成例における画像比較部４１２と同様に、第３の閾値を保持している。すなわち、安定画像生成部４０から故障判定部４１に、新たな安定画像が出力された場合、画像比較部４１２において、上に述べた最新の安定画像と１つ前の安定画像を比較する処理を行う前に、最新の安定画像の画像データが予め決めておいた第３の閾値を下回っているか否かを評価するようになされている。これにより、ＩＲ照明部２１に著しい故障が発生した場合において、最新の安定画像の画像データの大きさを評価するだけで、ＩＲ照明部２１に故障が発生したことを検出することができる、という作用効果をもたらす。
ここで、該第２の構成例における画像比較部４１２が、第１の構成例における画像比較部４１２と同様にして複数枚の安定画像を比較した場合に、得られる結果を考察する。仮に、同図Ｆで検出した安定画像の変化をＩＲ照明部２１の故障であると判定できるように第２の閾値を予め設定すると、同図Ｃで検出した安定画像の変化も、ＩＲ照明部２１の故障であると誤って判定する事態が考え得る。
そこで、該第２の構成例は、ＩＲ照明部２１に故障が発生したか否かを判定するために、画像比較部４１２とは別に、特徴比較部４１３を備えることが特徴となっている。
＜ウ．特徴比較部４１３の詳細＞
特徴比較部４１３には、画像比較部４１２と同様に、画像記憶部４１１に記憶された複数枚の安定画像が入力される。特徴比較部４１３は、これらの入力された安定画像から、その画像に撮像されている被写体の特徴を抽出する。また、特徴比較部４１３は、複数の安定画像の間で前記抽出結果を比較し、この比較の結果として複数の安定画像の間で有意な差異があるか否かを判定する。
被写体の特徴を抽出して比較して判定する方法の例としては、たとえば下記（１）乃至（３）のいずれであってもよい。
（１）安定画像の小分け領域４００毎に、画像の輪郭成分を抽出する。例えば安定画像をハイパスフィルタに通す。抽出した輪郭成分を、例えば２値化する。そして、複数の安定画像それぞれの各小分け領域４００の間、前記２値化された輪郭成分の変化を計測する。例えば、輪郭として抽出された画素の数の変化を計測する。または、比較の結果、輪郭として抽出した画素から輪郭として抽出されなくなった画素へと変化した画素の数と、これと逆の変化が生じた画素の数を計測する。これらのいずれかの計測結果の大きさから、画像の差異の有無を判定する。
（２）安定画像の小分け領域４００毎に、画像の輪郭成分を抽出する。例えば安定画像をハイパスフィルタに通す。または公知のテクスチャ抽出手段を用いてテクスチャを抽出してもよい。そして、複数の安定画像それぞれのに備わる各小分け領域４００の間で、抽出した輪郭成分の形状またはテクスチャの形状を比較して、差異の有無を判定する。
（３）安定画像の小分け領域４００毎に、各領域に含まれる画素データ（ＹＣ変換前の画素データ）またはＹＣ変換後の画素の輝度データの度数分布をデータの値別に計測する。そして、複数の安定画像それぞれのに備わる各小分け領域４００の間で、計測したデータの値別の度数分布を比較して、差異の有無を判定する。
図２９は、第２の構成例の故障判定部４１に備わる特徴比較部４１３が、複数枚の安定画像を比較した場合に得られる結果を説明する図である。なお、図２９は、特徴比較部４１３の例として、上記（１）安定画像の輪郭成分を抽出し、輪郭として抽出した画素から輪郭として抽出されなくなった画素へと変化した画素の数およびこれと逆の変化が生じた画素の数を計測して、計測結果の大きさから、画像の差異の有無を判定する例を示している。図２９についての説明のうち、図２８と共通の事項については、その説明を省略する。
図２９Ａおよび図２９Ｂは、安定画像生成部が作り出す２種類の安定画像のうち、図２８Ａおよび図２８Ｂと同様に被写体の状態（被写体の形状や被写体表面の反射率等）が大きく変化した安定画像を、特徴比較部４１３に入力し、被写体の特徴を抽出する処理を行った結果を表している。なお、図２９Ａおよび図２９Ｂは、特徴比較部４１３で行う処理の一例として、２枚の安定画像を特徴比較部４１３に備わるハイパスフィルタ（不図示）を通し、得られた輪郭成分を２値化したものである。
このため、図２９Ａおよび図２９Ｂは、高周波成分（いわゆる輪郭成分）であるか否かを表す２値化した画像となっている。図２９Ｃは、特徴比較部４１３により図２９Ａの画像と図２９Ｂの画像の差異を求めた結果である。被介護者が反射率の低い寝具を広げるという動作を行った結果、被写体の形状が変化し、それが被写体の輪郭の変化として、図２９Ｃに示されている。
図２９Ｄおよび図２９Ｅは、安定画像生成部４０が作り出す２種類の安定画像のうち、図２８Ｄおよび図２８Ｅと同様にＩＲ照明部２１に故障があり被写体照度が変化した安定画像を、特徴比較部４１３に入力し、被写体の特徴を抽出する処理を行った結果を表している。
なお、図２９Ｄおよび図２９Ｅは、特徴比較部４１３で行う処理の一例として、２枚の安定画像を特徴比較部４１３に備わるハイパスフィルタ（不図示）を通し、得られた輪郭成分を２値化したものである。このため、図２９Ｄおよび図２９Ｅは、高周波成分（いわゆる輪郭成分）であるか否かを表す２値化した画像となっている。図２９Ｆは、特徴比較部４１３により、図２９Ｄの画像と図２９Ｆの画像の差異を求めた結果である。ＩＲ照明部２１の一部において射出光量が低下する故障が発生したものの、被写体である居室と被介護者の形状に変化がなかったため、被写体の輪郭の変化は検出されなかったことが、図２９Ｆに示されている。
該第２の構成例における特徴比較部４１３は、安定画像生成部４０が作り出す２種類の安定画像のうち、図２９Ａおよび図２９Ｂに示されたように、被写体の状態（被写体の形状や被写体表面の反射率等）が変化することによって安定画像に変化が生じた場合には、図２９Ｃに示すように被写体の輪郭成分に変化があったとの比較結果を得て、得られた結果を判定部４１４に通知する。
一方、特徴比較部４１３は、図２９Ｄおよび図２９Ｅに示されたように、ＩＲ照明部２１に故障が発生しこれにより撮像される画像が変化して安定画像に変化が生じた場合には、図２９Ｆに示すように被写体の輪郭成分に変化がなかったとの比較結果を得て、得られた結果を判定部４１４に通知する。
＜エ．判定部４１４の詳細＞
該第２の構成例における判定部４１４は、４種類の入力、すなわち、安定画像生成部４０からの安定画像の更新情報（新たな安定画像を作成して出力したとの情報）と、画像比較部４１２での判定結果と、特徴比較部４１３での判定結果と、撮像制御部２４からの撮像条件についての情報とを用いて、ＩＲ照明部２１に故障が発生したか否かを判定し、故障が発生した場合には、そのことを外部装置２９０を介して端末装置３００に出力する。
第２の構成例における判定部４１４によるＩＲ照明部２１に故障が発生したか否かを判定する方法の例を説明する。
第２の構成例における判定部４１４は、前記判定を行う構成の初段として、撮像制御部２４からの撮像条件と画像処理条件についての情報を用いてＩＲ照明部２１の故障の有無を判定する第１の判定部（不図示）を備える。該第１の判定部は、安定画像生成部４０からの更新情報（新たな安定画像を作成し出力したとの情報）が入力されると、１つ前の安定画像の基となる撮像画像が撮像され始めてから最新の安定画像の基となる撮像画像が撮像し終わるまでの間に、撮像部２２における撮像画像の撮像条件と画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件とに変化がなかったか、撮像制御部２４からの撮像条件と画像処理条件についての情報を基に、変化の有無を判定する。
そして、上述した故障検出部４１の第１の構成例と同様にして、１つ前の安定画像の基となる撮像画像が撮像され始めてから最新の安定画像の基となる撮像画像が撮像し終わるまでの間に、これらの撮像条件と画像処理条件のいずれかが、より低照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、ＩＲ照明部２１に故障が発生していると判定する。
また、上述した故障検出部４１の第１の構成例と同様にして、１つ前の安定画像の基となる撮像画像が撮像され始めてから最新の安定画像の基となる撮像画像が撮像し終わるまでの間に、これらの撮像条件と画像処理条件のいずれかが、より高照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、前記画像の比較の結果、一部の小分け領域４００の明るさに差異があったとしても、これをＩＲ照明部２１の故障と判定せず、ＩＲ照明部２１の動作は正常と判定する。
第２の構成例における判定部４１４は、さらに、該第１の判定部の後段に、毎日決められた時刻に撮像された撮像画像の撮像条件を監視し、この情報を基に、ＩＲ照明部２１に経年的な異常が発生していないか否かを判定する第２の判定部（不図示）を備える。
例えば、計測時刻を夜の１２時と設定した場合、ＩＲ照明故障検出部３０は、システム稼働初日の夜の１２時における撮像画像の撮像条件を撮像条件の初期値とし、これ以降毎日夜の１２時に撮像された撮像画像の撮像条件を前記の初期値と比較する。そして新たに撮像された撮像画像の撮像条件（例えば露光時間）が、初期値よりも一定の大きさ以上、例えば２０％以上変化した場合には、これを故障として検出する。これにより、例えば、ＩＲ光源の経年的な劣化により照度が低下したり、ＩＲ照明部２１に備えられたカバーガラス上への継続的なほこりの堆積によって照度が低下したりした場合に、これを異常として検出できる作用効果がもたらされる。なお、初期値となる撮像条件の設定は、システム稼働初日に限らず、例えば初期値をリセットするための入力スイッチを設け、システムの使用者がこれを押した場合には、それ以後次の設定時刻に撮像した撮像条件を初期値とできるようにしてもよい。
第２の構成例における判定部４１４は、該第２の判定部の後段に、画像比較部４１２における第３の閾値を用いた判定結果を利用してＩＲ照明部２１の故障の有無を判定する第３の判定部（不図示）を備える。前記安定画像生成部４０から出力された最新の安定画像の画像データが、第３の閾値を下回っている、との判定結果が、画像比較部４１２から第３の判定部に通知されると、第３の判定部は、ＩＲ照明部２１に射出光量が著しく低下する故障が発生したと判定する。
ここで、第３の判定部によるさらなる作用効果を説明する。ＩＲ照明部２１が備える一部の光源において射出光量が著しく低下する故障が発生すると、第２の構成例における特徴比較部４１３では、被写体の輪郭またはテクチャの抽出が難しくなる。仮に、故障発生前となる第１の時刻には輪郭またはテクスチャを検出していて、故障発生後となる第２の時刻には輪郭またはテクスチャを一切検出できなくなると、特徴比較部４１３は画像の特徴の変化を判定するため、第１の時刻と第２の時刻の間に大規模な被写体の形状変化が発生して、被写体の輪郭やテクスチャが大幅に減少したと誤って判定してしまい、ＩＲ照明部２１の故障を見逃すことが起こり得る。
これに対して、判定部４１４は第３の判定部の判定課結果も用いることで、仮に特徴比較部４１３において輪郭またはテクスチャの検出が難しくなるほどＩＲ光の照度が低下する故障がＩＲ照明部２１で発生した場合においても、ＩＲ照明部２１の故障を正しく検出できる。
第２の構成例における判定部４１４は、さらに、該第３の判定部の後段に、画像比較部４１２における第１および第２の閾値を用いた判定結果と、特徴比較部４１３での判定結果と、を用いてＩＲ照明部２１の故障の有無を判定する第４の判定部（不図示）を備える。
第４の判定部は、画像比較部４１２における第１および第２の閾値を用いた判定により、最新の安定画像と１つ前の安定画像との間で画像の差分が大きいとの判定結果の通知に応じ、特徴比較部４１３での判定結果を参照する。そして、第４の判定部は、最新の安定画像と１つ前の安定画像との間で発生した画像の差分が、被写体の状態（被写体の形状や被写体表面の反射率等）の変化によるものではないとの判定結果が得られた場合には、ＩＲ照明部２１に故障が発生したと判定する。
なお、画像比較部４１２において、複数枚の安定画像の明るさ比較する別の方法として、安定画像を小分けせずに、第１の実施形態における故障判定方法の第１の例と同様にして比較してもよい。すなわち、比較対象とする安定画像のそれぞれについて、安定画像全体に亘ってその明るさを表す指標の値を求め、得られた指標を比較してもよい。
＜オ．判定結果の外部への出力＞
判定部４１４は、上記第１または第２または第３または第４の判定部が、ＩＲ照明部２１に故障が発生したと判定した場合には、その旨を伝達制御部３９に出力する。伝達制御部３９は、ＩＲ照明部２１に故障が発生したとの判定結果を、外部装置２９０を介して端末装置３００に出力する。
＜２−３−３Ｈ．故障判定部４１の第３の構成例＞
図３０は、故障判定部４１の第３の構成例を説明する図である。故障判定部４１の第３の構成例を説明するにあたり、第２の構成例と共通となる事項については、一部は第２の構成例についての図を引用して説明し、他の一部についてはその説明を省略する。
＜ア．第３の構成例の特徴＞
上述した故障判定部４１の第２の構成例は、安定画像に変化が生じた場合に、これが被写体の変化に起因した変化なのか、またはＩＲ照明部２１の故障に起因した変化なのかを判定するため、安定画像の各小分け領域４００の明るさの変化を検出する画像比較部４１２を備えていた。
該画像比較部４１２は、複数枚の安定画像の画像を比較して、ＩＲ照明部２１の故障とみなされるレベル以上の画像の変化が生じているか否かを判定する。ここで図２８Ｆに記載した安定画像の変化を検出できるように判定レベルを設定すると、図２８Ｃで検出した安定画像の変化も、ＩＲ照明部２１の故障であると誤って判定してしまう第１の課題が考え得る。
そこで、故障判定部４１の第２の構成例では、特徴比較部４１３をさらに備え、被写体の輪郭またはテクスチャの形状に変化があったかどうかの判定を加えることで、ＩＲ照明部２１の故障の誤検出を防ぐ構成となっていた。
ただし、ＩＲ照明部２１が備える一部の光源において射出光量が著しく低下する故障が発生すると、第２の構成例における特徴比較部４１３は、被写体の輪郭またはテクチャの抽出が難しくなる。このため、第２の構成例における特徴比較部４１３は、ＩＲ照明部２１の故障発生前後に取得した安定画像を比較して、大規模な被写体の形状変化が発生したと誤って判定してしまう第２の課題が考え得る。
そこで、第２の構成例の故障判定部４１は、ＩＲ照明部２１の射出光量が閾値を越えて低下した場合には、判定部４１４に備わる第３の判定部がこれをＩＲ照明部の故障と検出するようにし、これにより、特徴比較部４１３からの出力に基づいた誤判定を防ぐようになされていた。
図３０に示す故障判定部４１の第３の構成例では、上記第１および第２の課題を、第２の構成例の故障判定部４１とは異なる方法によって解決するものである。
＜イ．第３の構成例の概要＞
第３の構成例の故障判定部４１は、図３０に示すように、画像記憶部４１１、画像比較部４１２、変化検出部４１５、および判定部４１４を備える。該第３の構成例において、画像記憶部４１１に対しては、安定画像生成部４０から、複数枚の安定画像の画像データと、新たに安定画像が作成された場合にはそのことを通知する情報とが入力される。
判定部４１４に対しては、撮像制御部２４から、撮像部２２において撮像画像ストリームを撮像した場合の各撮像画像の撮像条件の情報と、画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件についての情報が入力される。さらに、判定部４１４に対しては、安定画像生成部４０からの安定画像の更新情報（新たに安定画像を作成して出力したとの情報）が入力される。また、変化検出部４１５に対しては、安定画像生成部４０からの安定画像の更新情報（新たに安定画像を作成して出力したとの情報）が入力され、撮像機能部２０から、撮像機能部２０において撮像された撮像画像ストリームが入力される。
該第３の構成例における画像記憶部４１１は、第２の構成例における画像記憶部４１１と同様に、安定画像生成部４０が出力する安定画像のうち、少なくとも、最新の安定画像と、その１つ前の安定画像の画像を記憶する。
該第３の構成例における画像比較部４１２は、第２の構成例における画像比較部４１２と同様に、画像記憶部４１１に記憶された少なくとも２枚の安定画像の画像を比較し、その差異の大きさから、ＩＲ照明部２１に故障が発生しているか否かを判定する。
画像比較部４１２については、図２８Ｆで検出した安定画像の変化をＩＲ照明部２１の故障と判定できるように判定レベルを設定すると、図２８Ｃで検出した安定画像の変化もＩＲ照明部２１の故障と誤って判定しまう課題が考え得る。これを解決するために、該第３の構成例では、変化検出部４１５をさらに備える。
変化検出部４１５は、撮像機能部２０から入力される撮像画像ストリームに含まれる各撮像画像を比較し、画像の変化を検出する。この検出結果を基に、撮像機能部２０から入力される安定画像の変化が、短時間で発生したかそれともある程度の時間を掛けて発生したものかを判定する。すなわち、安定画像が新たな安定画像へと更新された場合、最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、短時間で発生したかそれともある程度の時間を掛けて発生したものかを、最新の安定画像と１つ前の安定画像との間に撮像された撮像画像を比較しその変化を検知することで判定する。
該第３の構成例における判定部４１４は、画像比較部４１２での判定結果に加えて、変化検出部４１５での判定結果も用いることで、図２８Ｃに示されるような大規模な被写体の変化をＩＲ照明部２１の故障として誤って検出してしまうことを防ぎ、故障をより正しく検出するようになされている。なお、撮像画像の変化の速度に基づく、ＩＲ照明部２１の故障の有無の判定については図４２を参照して後述する。
＜ウ．変化検出部４１５の詳細＞
図３１は、図２８Ａから図２８Ｂに示す、被介護者が寝具を掛けること等によって生じる、被写体の状態（被写体の形状や被写体表面の反射率等）の大規模な変化が、どのような時間経過で発生するかを説明する図である。
図３２は、図２８Ｄから図２８Ｅに示す、ＩＲ照明部２１に備わる一部の光源の射出光量低下が、一般的にどのような時間経過で発生するかを、説明する図である。
図３１において、被介護者が寝具を掛けることによってベッド付近で生じる被写体の変化は、時刻ｔ２から時刻ｔ６の間で徐々に変化して発生している。一方、図３２において、ＩＲ照明部２１の故障によって生じる照度低下は、時刻ｔ５までは発生しておらず、時刻ｔ６において突然発生している。
変化検出部４１５は、撮像機能部２０から入力される撮像画像ストリームに含まれる各撮像画像について、新しい撮像画像が入力される度に、最新の撮像画像と１つ前の撮像画像を比較する。そして各２枚の画像の間の変化の有無を検出する。そして、変化検出部４１５は、画像の変化が突然発生したと判定するか、それとも時間を掛けて発生したと判定するかを判断するための境界となる閾値を予め決めてこれを保持するようになされている。画像の変化がこの閾値を越える時間を掛けて発生した変化であるか、この閾値以下の短時間で発生した変化であるかを判定して、その結果を、判定部４１４に通知する。
例えば、図３１および図３２において、時刻ｔｉで記載される時刻経過の２コマ分を閾値とした場合、図３１に記載の時刻ｔ２から時刻ｔ６の間の撮像画像で発生した被介護者が寝具を掛ける変化は、時刻ｔｉで記載される時刻経過の４コマ分に亘って発生した変化であるため、閾値を越える時間を掛けて発生した変化と判定される。一方、図３２に記載の時刻ｔ５から時刻ｔ６の間の撮像画像で発生したＩＲ照明部２１の故障による照度低下は、時刻ｔｉで記載される時刻経過の１コマ分以内で発生した変化であるため、閾値以下の短時間で発生した変化と判定される。
＜エ．判定部４１４の詳細＞
該第３の構成例における判定部４１４は、４種類の入力、すなわち、安定画像生成部４０からの安定画像の更新情報（新たな安定画像を作成して出力したとの情報）と、画像比較部４１２での判定結果と、変化検出部４１５での判定結果と、撮像制御部２４からの撮像条件についての情報とを用いて、ＩＲ照明部２１に故障が発生したか否かを判定し、故障が発生した場合には、そのことを外部装置２９０を介して端末装置３００に出力する。
第３の構成例における判定部４１４に備わる、ＩＲ照明部２１に故障が発生したか否かを判定する構成について説明する。
第３の構成例における判定部４１４は、前記判定を行う構成の初段として、撮像制御部２４からの撮像条件と画像処理条件についての情報を用いてＩＲ照明部２１の故障の有無を判定する第１の判定部（不図示）を備える。該第１の判定部は、安定画像生成部４０からの更新情報（新たな安定画像を作成し出力したとの情報）が入力されると、１つ前の安定画像の基となる撮像画像が撮像され始めてから最新の安定画像の基となる撮像画像が撮像し終わるまでの間に、撮像部２２における撮像画素の撮像条件と画像処理部２３において撮像画像に対して画像処理（例えばゲインを掛ける処理）を行った場合の画像処理条件とに変化がなかったか、撮像制御部２４からの撮像条件と画像処理条件についての情報を基に、変化の有無を判定する。
そして、該第１の判定部は、１つ前の安定画像の基となる撮像画像が撮像され始めてから最新の安定画像の基となる撮像画像が撮像し終わるまでの間に、これらの撮像条件と画像処理条件のいずれかが、より低照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、ＩＲ照明部２１に故障が発生していると判定する。
また、該第１の判定部は、１つ前の安定画像の基となる撮像画像が撮像され始めてから最新の安定画像の基となる撮像画像が撮像し終わるまでの間に、これらの撮像条件と画像処理条件のいずれかが、より高照度の被写体の撮像に適した方向に、所定の閾値よりも大きく変化している場合には、前記画像の比較の結果、一部の小分け領域４００の明るさに差異があったとしても、これをＩＲ照明部２１の故障と判定せず、ＩＲ照明部２１の動作は正常と判定する。
第３の構成例における判定部４１４は、さらに、該第１の判定部の後段に、毎日決められた時刻に撮像された撮像画像の撮像条件を監視し、この情報を基に、ＩＲ照明部２１に経年的な異常が発生していないか否かを判定する第２の判定部（不図示）を備える。
該第２の判定部は、例えば、計測時刻を夜の１２時と設定した場合、ＩＲ照明故障検出部３０は、システム稼働初日の夜の１２時における撮像画像の撮像条件を撮像条件の初期値とし、これ以降毎日夜の１２時に撮像された撮像画像の撮像条件を前記の初期値と比較する。そして、該第２の判定部は、新たに撮像された撮像画像の撮像条件（例えば露光時間）が、初期値よりも一定の大きさ以上、例えば２０％以上変化した場合には、これを故障として検出する。これにより、例えば、ＩＲ光源の経年的な劣化により照度が低下したり、ＩＲ照明部２１に備わるカバーガラス上への継続的なほこりの堆積によって照度が低下したりした場合に、これを異常として検出することができる。なお、初期値となる撮像条件の設定は、システム稼働初日に限らず、例えば初期値をリセットするための入力スイッチを設け、システムの使用者がこれを押した場合には、それ以後次の設定時刻に撮像した撮像条件を初期値とできるようにしてもよい。
第３の構成例における判定部４１４は、さらに、該第２の判定部の後段に、第３の判定部（不図示）を備える。該第３の判定部は、画像比較部４１２での検出結果と変化検出部４１５での検出結果を基に、安定画像が変化した場合に、その変化がＩＲ照明部２１の故障によるものか否かを判定する。第３の判定部は、画像比較部４１２における第１および第２の閾値を用いた判定により、最新の安定画像と１つ前の安定画像との間で画像の差分が大きいとの判定結果の通知に応じ、変化検出部４１５での判定結果を参照する。画像比較部４１２において、安定画像が閾値を越えて大きく変化したと検出され、且つ、変化検出部４１５において安定画像の変化が、閾値を越えて時間を掛けて変化したと検出された場合、第３の判定部は、安定画像の変化が、被写体の変化であると判定し、ＩＲ照明部２１の故障とは判定しない。反対に、第３の判定部は、画像比較部４１２において、安定画像が閾値を越えて大きく変化したと検出され、且つ、変化検出部４１５において安定画像の変化が、閾値以下の短時間で変化したと検出された場合、安定画像の変化が、ＩＲ照明部２１の故障によるものと判定する。
なお、画像比較部４１２において、複数枚の安定画像の明るさ比較する別の方法として、安定画像を小分けせずに、第１の実施形態における故障判定方法の第１の例と同様にして比較してもよい。すなわち、比較対象とする安定画像のそれぞれについて、安定画像全体に亘ってその明るさを表す指標の値を求め、得られた指標を比較してもよい。
＜オ．判定結果の外部への出力＞
第３の構成例における判定部４１４は、上述した第１乃至第３の判定部のいずれかが、ＩＲ照明部２１に故障が発生したと判定した場合、その旨を伝達制御部３９に出力する。伝達制御部３９は、ＩＲ照明部２１に故障が発生したとの判定結果を、外部装置２９０を介して端末装置３００に出力する。
＜カ．変形例＞
故障判定部４１の第３の構成例では、故障判定部４１が変化検出部４１５を備え、撮像機能部２０から入力される撮像画像ストリームに含まれる各撮像画像の間の画像の変化を検出するようになされている。
監視センサ装置１００の変形例として、該変化検出部４１５を監視センサ装置１００における安定画像生成部４０にも設けるようにしてもよい。この場合、安定画像生成部４０は、安定画像を作り出すとともに、画像の変化を突然発生したと判定するかそれとも時間を掛けて発生したと判定するか境界となる閾値を予め決めてこれを保持するようにする。そして、各安定画像を得るまでの発生した撮像画像の変化が、この閾値を越えて時間を掛けて変化したかそれともこの閾値以下の短時間で発生したかを判定して、その結果を、故障判定部４１における判定部４１４に通知するようにしてもよい。
＜２−４．ソフトウェア処理を用いた監視センサ装置１００について＞
以上に説明した監視センサ装置１００の第１乃至第３の実施形態による動作について説明するが、その前に、第１乃至第３の実施形態による動作を細分化した各種のサブルーチンについて図３３乃至図４２を参照して説明する。
＜第１および第２の撮像画像の生成処理＞
図３３は、第１の実施形態による故障判定方法の第１の例として、第１の撮像画像と第２の撮像画像を比較してＩＲ照明部２１の故障の有無を判定する場合における第１および第２の撮像画像の生成処理を説明するフローチャートである。
ステップＳ１において、ＩＲ照明故障検出部３０は、第１の時刻に撮像した撮像画像、前記撮像画像の画素を間引き抽出して形成した画像、または、前記撮像画像を解像度変換して形成した画像を、画像比較に用いる第１の撮像画像に決定する。
ステップＳ２において、ＩＲ照明故障検出部３０は、第２の時刻に撮像した撮像画像、前記撮像画像の画素を間引き抽出して形成した画像、または前記撮像画像を解像度変換して形成した画像を、画像比較に用いる第２の撮像画像に決定する。
第１の実施形態による故障判定方法の第１の例では、このようにして決定された第１および第２の撮像画像が比較されて、ＩＲ照明部２１の故障の有無が判定される。
＜動被写体を除去した第１および第２の撮像画像の生成処理＞
次に、図３４は、第１の実施形態による故障判定方法の第２の例として、動被写体を除去した複数の撮像画像を比較してＩＲ照明部２１の故障の有無を判定する場合における動被写体を除去した第１および第２の撮像画像の生成処理を説明するフローチャートである。
ステップＳ１１において、ＩＲ照明故障検出部３０は、第１の時刻とその前後に撮像した撮像画像を比較することで動被写体を特定して、前記第１の時刻に撮影した撮像画像から前記動被写体を削除した画像、前記動被写体を削除した画像の画素を間引き抽出して形成した画像、または、前記動被写体を削除した画像を解像度変換して形成した画像を、画像比較に用いる第１の撮像画像に決定する。
ステップＳ１２において、ＩＲ照明故障検出部３０は、第２の時刻とその前後に撮像した撮像画像を比較することで動被写体を特定して、前記第２の時刻に撮影した撮像画像から前記動被写体を削除した画像、前記動被写体を削除した画像の画素を間引き抽出して形成した画像、または、前記動被写体を削除した画像を解像度変換して形成した画像を、画像比較に用いる第２の撮像画像に決定する。
第１の実施形態による故障判定方法の第２の例では、このようにして決定された、動被写体が除去されている第１および第２の撮像画像が比較されて、ＩＲ照明部２１の故障の有無が判定される。
＜第１および第２の安定画像の生成処理＞
次に、図３５は、第３の実施形態におけるＩＲ照明故障検出部３０の安定画像生成部４０による第１および第２の安定画像の生成処理を説明するフローチャートである。
ステップＳ２１において、安定画像生成部４０は、第１の時刻を含む一定期間、撮像画像ストリームをモニタし、この期間において最も動きが少なく安定して撮像された被写体のデータを集めて得た安定画像、前記安定画像の画素を間引き抽出して形成した画像、または、前記安定画像を解像度変換して形成した画像を、画像比較に用いる第１の安定画像に決定する。
ステップＳ２２において、安定画像生成部４０は、第２の時刻を含む一定期間、撮像画像ストリームをモニタし、この期間において最も動きが少なく安定して撮像された被写体のデータを集めて得た安定画像、前記安定画像の画素を間引き抽出して形成した画像、または、前記安定画像を解像度変換して形成した画像を、画像比較に用いる第２の安定画像に決定する。
第３の実施形態では、このようにして決定された、第１および第２の安定画像が比較されて、ＩＲ照明部２１の故障の有無が判定される。
＜複数の撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理＞
次に、図３６は、第１の実施の形態において、第１および第２の撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理を説明するフローチャートである。
ステップＳ３１において、ＩＲ照明故障検出部３０は、第１の撮像画像と第２の撮像画像それぞれについて、画像全体の明るさの指標（または小分け領域毎の明るさの指標）を算出する。
ステップＳ３２において、ＩＲ照明故障検出部３０は、ステップＳ３１で算出した第１および第２の撮像画像の画像全体の明るさの指標（またはは小分け領域毎の明るさの指標）の差が閾値以上であるか否かを判定する。両画像の差が閾値以上である場合、処理はステップＳ３３に進められて、ＩＲ照明部２１に故障ありと判定される。反対に、両画像の差が閾値よりも小さい場合、処理はステップＳ３４に進められて、ＩＲ照明部２１に故障なしと判定する。
＜失報対策処理＞
次に、図３７は、第２の実施の形態における失報対策処理を説明するフローチャートである。
ステップＳ４１において、ＩＲ照明故障検出部３０は、第１の時刻および第２の時刻のそれぞれに撮像された撮像画像（第１の画像と第２の画像）の撮像条件と画像処理条件を取得する。
ステップＳ４２において、ＩＲ照明故障検出部３０は、撮像条件と画像処理条件の少なくとも一方の変化が、低照度の被写体の撮像に適した方向に変化し、変化量が閾値以上であるか否かを判定する。そして、この判定結果が肯定である場合、処理はステップＳ４３に進められて、ＩＲ照明部２１に故障ありと判定される。反対に、ステップＳ４２の判定結果が否定である場合、ステップＳ４３の処理はスキップされる。
このような失報対策処理を行うことにより、ＩＲ照明部２１に発生している故障の見逃しを防ぐことができる。
＜誤報対策処理＞
次に、図３８は、第２の実施の形態における誤報対策処理を説明するフローチャートである。
ステップＳ５１において、ＩＲ照明故障検出部３０は、第１の時刻および第２の時刻のそれぞれに撮像された撮像画像（第１の画像と第２の画像）の撮像条件と画像処理条件を取得する。なお、上述した失報対策処理に続けて当該誤報対策処理を行う場合、失報対策処理のステップＳ４１で取得した情報を流用すればよい。
ステップＳ５２において、ＩＲ照明故障検出部３０は、撮像条件と画像処理条件の少なくとも一方の変化が、高照度の被写体の撮像に適した方向に変化し、変化量が閾値以上であるか否かを判定する。そして、この判定結果が肯定である場合、処理はステップＳ５３に進められて、ＩＲ照明部２１に故障なしと判定される。反対に、ステップＳ５２の判定結果が否定である場合、ステップＳ５３の処理はスキップされる。
このような誤報対策処理を行うことにより、ＩＲ照明部２１に故障が発生していないにも拘らず、故障ありと通知してしまうことを防ぐことができる。
＜経年劣化検出処理＞
次に、図３９は、第２の実施の形態におけるＩＲ照明部２１の経年劣化検出処理を説明するフローチャートである。
ステップＳ６１において、ＩＲ照明故障検出部３０は、システム稼働時の撮像条件と画像処理条件を取得して保存する（第１のデータとする）。ステップＳ６２において、ＩＲ照明故障検出部３０は、定期的に撮像条件と画像処理条件を取得する（第２のデータとする）。
ステップＳ６３において、ＩＲ照明故障検出部３０は、第１のデータと第２のデータを比較し、撮像条件と画像処理条件の少なくとも一方の変化が、低照度の被写体の撮像に適した方向に変化し、変化量が閾値以上であるか否かを判定する。この判定結果が肯定である場合、処理はステップＳ６４に進められて、ＩＲ照明部２１に経年劣化（による故障あり）と判定される。反対に、ステップＳ６３の判定結果が否定である場合、ステップＳ６４の処理はスキップされる。
上述した経年劣化検出処理を行うことにより、長い時間を要して徐々に発生したＩＲ照明部２１の故障、すなわち、経年劣化を検出することができる。
＜１枚の撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理＞
次に、図４０は、１枚の撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を説明するフローチャートである。
ステップＳ７１において、ＩＲ照明故障検出部３０は、第１の撮像画像（または第２の撮像画像）の各画素値と閾値を比較する。ステップＳ７２において、ＩＲ照明故障検出部３０は、画素値が閾値以下の画素の数が一定の領域分以上存在するか否かを判定する。この判定結果が肯定である場合、処理はステップＳ７３に進められて、ＩＲ照明部２１に故障ありと判定される。反対に、ステップＳ７２の判定結果が否定である場合、ステップＳ７３の処理はスキップされる。
＜複数枚の安定画像の特徴点の差異に基づいてＩＲ照明部２１の故障の有無を判定する処理＞
次に、図４１は、第１および第２の安定画像の特徴点の差異に基づいてＩＲ照明部２１の故障の有無を判定する処理を説明するフローチャートである。
ステップＳ８１において、判定部４１４は、該処理の前段の処理（例えば、複数の撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理（図３６））における故障判定結果が故障ありであるか否かを判定する。この判定結果が肯定である場合、処理はステップＳ８２に進められる。
ステップＳ８２において、特徴比較部４１３は、第１および第２の安定画像それぞれの特徴点を抽出して比較し、比較結果を判定部４１４に通知する。ステップＳ８３において、比較部４１４は、第１および第２の安定画像間の特徴点の差分が閾値以上であるか否かを判定する。この判定結果が否定である場合、処理はステップＳ８４に進められて、ＩＲ照明部２１に故障ありと判定される。反対に、ステップＳ８３の判定結果が肯定である場合、処理はステップＳ８５に進められて、ＩＲ照明部２１に故障なしと判定される。なお、ステップＳ８１の判定結果が否定である場合にも、処理はステップＳ８５に進められて、ＩＲ照明部２１に故障なしと判定される。
＜撮像画像の変化の速度に基づいてＩＲ照明部２１の故障の有無を判定する処理＞
次に、図４２は、撮像画像の変化の速度に基づいてＩＲ照明部２１の故障の有無を判定する処理を説明するフローチャートである。
ステップＳ９１において、判定部４１４は、該処理の前段の処理（例えば、複数の撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理（図３６））における故障判定結果が故障ありであるか否かを判定する。この判定結果が肯定である場合、処理はステップＳ９２に進められる。
ステップＳ９２において、変化検出部４１５は、撮像画像ストリームに含まれる各撮像画像を比較し、画像の変化を検出する。ステップＳ９３において、変化検出部４１５は、この検出結果を基に、撮像機能部２０から入力される安定画像の変化が、短時間で発生したかそれともある程度の時間を掛けて発生したものかを判定する。この判定結果が肯定である場合、処理はステップＳ９４に進められて、ＩＲ照明部２１に故障ありと判定される。反対に、ステップＳ９３の判定結果が否定である場合、処理はステップＳ９５に進められて、ＩＲ照明部２１に故障なしと判定される。なお、ステップＳ９１の判定結果が否定である場合にも、処理はステップＳ９５に進められて、ＩＲ照明部２１に故障なしと判定される。
＜監視センサ装置１００の第１乃至第３の実施形態による共通動作＞
次に、図４３は、監視センサ装置１００の第１乃至第３の実施形態による共通動作を説明するフローチャートである。この共通動作は、例えば、被介護者が居る居室の照明が消灯されたときに開始される。
ステップＳ１０１において、被介護者が居る居室の撮像を開始する。すなわち、ＩＲ照明部２１が撮像範囲１２に対してＩＲ光の照射を開始し、撮像部２２が撮像範囲１２を所定のフレームレートに従って連続して撮像し、その結果得られる動画像ストリームを画像処理部２３に出力する。画像処理部２３は、撮像部２２から入力される動画像ストリームに対して所定の画像処理を行い、その結果をＩＲ照明故障検出部３０と状態検知部３８に出力する。
ステップＳ１０２において、状態検知部３８は、動画像ストリームに基づき、被介護者の状態を検知し、検知結果を伝達制御部３９に通知する。ステップＳ１０３において、伝達制御部３９は、状態検知部３８の検知結果（被介護者の状態）を外部装置２９０に通知する。
ステップＳ１０４において、ＩＲ照明故障検出部３０は、撮像機能部２０から出力される撮像画像ストリームを外部装置２９０および端末装置３００に伝達することなく、撮像画像ストリームに含まれる複数枚の撮像画像を比較し、この比較結果を基にして、ＩＲ照明部２１の故障の有無を判定する。そして、ＩＲ照明部２１に故障ありと判定した場合、ステップＳ１０５において、ＩＲ照明故障検出部３０は、その旨を伝達制御部３９を介して外部装置２９０や端末装置３００に通知する。
ステップＳ１０６において、監視センサ装置１００に備わる可視光照度検出部は、撮像している居室内が可視光により閾値以上に明るくなったか否かを判定する。撮像している居室内が可視光により閾値以上に明るくなっていないと判定された場合、処理はステップＳ１０１に戻されて、ステップＳ１０１乃至Ｓ１０６が繰り返される。その後、撮像している居室内が可視光により閾値以上に明るくなったと判定された場合、該共通動作は終了される。
＜監視センサ装置１００の第１の実施形態の動作＞
次に、図４４は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第１の実施形態による動作を説明するフローチャートである。
ステップＳ１１１において、撮像機能部２０は、撮像画像を生成する処理を実行する。具体的には、図３３または図３４を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１１２において、ＩＲ照明故障検出部３０は、撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４０を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１１３において、ＩＲ照明故障検出部３０は、撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図３６を参照して上述したとおりであるので、その説明は省略する。
以上で、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第１の実施形態による動作の説明を終了する。
＜監視センサ装置１００の第１の実施形態の他の動作＞
図４５は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第１の実施形態による他の動作を説明するフローチャートである。
図４５に示される他の動作は、図４４に示された動作からステップＳ１１２の処理を省略したものである。
監視センサ装置１００の第１の実施形態には、図４３を参照して上述した共通動作のステップＳ１０４の処理において、図４４に示された動作、または図４５に示された他の動作のどちらを実行させてもよい。
＜監視センサ装置１００の第２の実施形態の動作＞
次に、図４６は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第２の実施形態による動作を説明するフローチャートである。
ステップＳ１２１において、撮像機能部２０は、撮像画像を生成する処理を実行する。具体的には、図３３または図３４を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１２２において、ＩＲ照明故障検出部３０は、撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４０を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１２３において、ＩＲ照明故障検出部３０は、失報対策処理を実行する。具体的には、図３７を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１２４において、ＩＲ照明故障検出部３０は、誤報対策処理を実行する。具体的には、図３８を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１２５において、ＩＲ照明故障検出部３０は、経年劣化検出処理を実行する。具体的には、図３９を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１２６において、ＩＲ照明故障検出部３０は、撮像画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図３６を参照して上述したとおりであるので、その説明は省略する。
以上で、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第２の実施形態による動作の説明を終了する。
＜監視センサ装置１００の第２の実施形態の他の動作＞
図４７は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第２の実施形態による他の動作を説明するフローチャートである。
図４７に示される他の動作は、図４６に示された動作からステップＳ１２２の処理を省略したものである。
＜監視センサ装置１００の第２の実施形態のさらに他の動作＞
図４８は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第２の実施形態によるさらに他の動作を説明するフローチャートである。
図４８に示されるさらに他の動作は、図４６に示された動作の各ステップの処理の実行順序を、Ｓ１２１，Ｓ１２２，Ｓ１２３，Ｓ１２５，Ｓ１２６、Ｓ１２４の順に変更したものである。
監視センサ装置１００の第２の実施形態には、図４３を参照して上述した共通動作のステップＳ１０４の処理において、図４６に示された動作、図４７に示された他の動作、または図４８に示されたさらに他の動作のいずれを実行させてもよい。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合の動作＞
次に、図４９は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合の動作を説明するフローチャートである。
ステップＳ１３１において、安定画像生成部４０は、安定画像を生成する処理を実行する。具体的には、図３５を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１３２において、ＩＲ照明故障検出部３０は、撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４０を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１３３において、ＩＲ照明故障検出部３０は、失報対策処理を実行する。具体的には、図３７を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１３４において、ＩＲ照明故障検出部３０は、誤報対策処理を実行する。具体的には、図３８を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１３５において、ＩＲ照明故障検出部３０は、経年劣化検出処理を実行する。具体的には、図３９を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１３６において、ＩＲ照明故障検出部３０は、安定画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図３６を参照して上述した説明と同様であるので、その説明は省略する。
以上で、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合の動作の説明を終了する。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合の他の動作＞
図５０は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合の他の動作を説明するフローチャートである。
図５０に示される他の動作は、図４９に示された動作からステップＳ１３５の処理を省略したものである。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合のさらに他の動作＞
図５１は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合のさらに他の動作を説明するフローチャートである。
図５１に示されるさらに他の動作は、図４９に示された動作の各ステップの処理の実行順序を、Ｓ１３１，Ｓ１３２，Ｓ１３３，Ｓ１３５，Ｓ１３６、Ｓ１３４の順に変更したものである。
監視センサ装置１００の第３の実施形態における故障判定部４１が第１の構成例を有する場合には、図４３を参照して上述した共通動作のステップＳ１０４の処理において、図４９に示された動作、図５０に示された他の動作、または図５１に示されたさらに他の動作のいずれを実行させてもよい。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合の動作＞
次に、図５２は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合の動作を説明するフローチャートである。
ステップＳ１４１において、安定画像生成部４０は、安定画像を生成する処理を実行する。具体的には、図３５を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１４２において、ＩＲ照明故障検出部３０は、失報対策処理を実行する。具体的には、図３７を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１４３において、ＩＲ照明故障検出部３０は、誤報対策処理を実行する。具体的には、図３８を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１４４において、ＩＲ照明故障検出部３０は、経年劣化検出処理を実行する。具体的には、図３９を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１４５において、ＩＲ照明故障検出部３０は、撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４０を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１４６において、ＩＲ照明故障検出部３０は、安定画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図３６を参照して上述した説明と同様であるので、その説明は省略する。
ステップＳ１４７において、ＩＲ照明故障検出部３０は、安定画像の特徴点の差異に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４１を参照して上述した説明と同様であるので、その説明は省略する。
以上で、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合の動作の説明を終了する。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合の他の動作＞
図５３は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合の他の動作を説明するフローチャートである。
図５３に示される他の動作は、図５２に示された動作の各ステップの処理の実行順序を、Ｓ１４１，Ｓ１４５，Ｓ１４２，Ｓ１４３，Ｓ１４４、Ｓ１４６，Ｓ１４７の順に変更したものである。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合のさらに他の動作＞
図５４は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合のさらに他の動作を説明するフローチャートである。
図５４に示される他の動作は、図５２に示された動作の各ステップの処理の実行順序を、Ｓ１４１，Ｓ１４５，Ｓ１４２，Ｓ１４４，Ｓ１４６、Ｓ１４７，Ｓ１４３の順に変更したものである。
監視センサ装置１００の第３の実施形態における故障判定部４１が第２の構成例を有する場合には、図４３を参照して上述した共通動作のステップＳ１０４の処理において、図５２に示された動作、図５３に示された他の動作、または図５４に示されたさらに他の動作のいずれを実行させてもよい。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合の動作＞
次に、図５５は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合の動作を説明するフローチャートである。
ステップＳ１５１において、安定画像生成部４０は、安定画像を生成する処理を実行する。具体的には、図３５を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１５２において、ＩＲ照明故障検出部３０は、撮像画像の明るさの絶対値に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４０を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１５３において、ＩＲ照明故障検出部３０は、失報対策処理を実行する。具体的には、図３７を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１５４において、ＩＲ照明故障検出部３０は、誤報対策処理を実行する。具体的には、図３８を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１５５において、ＩＲ照明故障検出部３０は、経年劣化検出処理を実行する。具体的には、図３９を参照して上述したとおりであるので、その説明は省略する。
ステップＳ１５６において、ＩＲ照明故障検出部３０は、安定画像の明るさに基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図３６を参照して上述した説明と同様であるので、その説明は省略する。
ステップＳ１５７において、ＩＲ照明故障検出部３０は、安定画像の変化の速度に基づいてＩＲ照明部２１の故障の有無を判定する処理を実行する。具体的には、図４２を参照して上述した説明と同様であるので、その説明は省略する。
以上で、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合の動作の説明を終了する。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合の他の動作＞
図５６は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合の他の動作を説明するフローチャートである。
図５６に示される他の動作は、図５５に示された動作からステップＳ１５２の処理を省略したものである。
＜監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合のさらに他の動作＞
図５７は、上述した共通動作のステップＳ１０４の処理における、監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合のさらに他の動作を説明するフローチャートである。
図５７に示される他の動作は、図５５に示された動作の各ステップの処理の実行順序を、Ｓ１５１，Ｓ１５２，Ｓ１５３，Ｓ１５５，Ｓ１５６、Ｓ１５７，Ｓ１５４の順に変更したものである。
監視センサ装置１００の第３の実施形態における故障判定部４１が第３の構成例を有する場合には、図４３を参照して上述した共通動作のステップＳ１０４の処理において、図５５に示された動作、図５６に示された他の動作、または図５７に示されたさらに他の動作のいずれを実行させてもよい。
ところで、上述した監視センサ装置１００による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図５８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ１２００において、CPU（Central Processing Unit）１２０１，ROM（Read Only Memory）１２０２，RAM（Random Access Memory）１２０３は、バス１２０４により相互に接続されている。
バス１２０４には、さらに、入出力インタフェース１２０５が接続されている。入出力インタフェース１２０５には、入力部１２０６、出力部１２０７、記憶部１２０８、通信部１２０９、およびドライブ１２１０が接続されている。
入力部１２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１２０７は、ディスプレイ、スピーカなどよりなる。記憶部１２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１２０９は、ネットワークインタフェースなどよりなる。ドライブ１２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１２１１を駆動する。
以上のように構成されるコンピュータ１２００では、CPU１２０１が、例えば、記憶部１２０８に記憶されているプログラムを、入出力インタフェース１２０５およびバス１２０４を介して、RAM１２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１２００（CPU１２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１２００では、プログラムは、リムーバブルメディア１２１１をドライブ１２１０に装着することにより、入出力インタフェース１２０５を介して、記憶部１２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１２０９で受信し、記憶部１２０８にインストールすることができる。その他、プログラムは、ROM１２０２や記憶部１２０８に、あらかじめインストールしておくことができる。
なお、コンピュータ１２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術は以下のような構成も取ることができる。
なお、本技術は以下のような構成も取ることができる。
（１）（監視システムの構成、第１乃至第３の実施形態に共通）
監視センサ装置と、
前記監視センサ装置で取得した情報を使用者に提示する端末装置と、
前記監視センサ装置と前記端末装置との間に介在する外部装置と
を備える監視システムにおいて、
前記監視センサ装置は、
監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、
赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、
前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、
前記検知部の検知結果を前記外部装置または前記端末装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、前記撮像部によって撮像された前記画像を前記外部装置または前記端末装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、を含む第３伝達制御部（符号３９）と、
前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を基にして前記赤外光照射部の故障を検出し、前記故障の検出結果が前記外部装置または前記端末装置に伝達される、故障検出部と
を備える
監視システム。

（２）（監視システムの構成、第１乃至第３の実施形態に共通）
前記第３伝達制御部は、前記故障検出部での前記故障の検出結果を前記外部装置または前記端末装置に伝達する動作の実行の有無も制御する
前記（１）に記載の監視システム。

（３）（監視システムが監視する内容、第１乃至第３の実施形態に共通）
前記監視対象は、前記監視センサ装置を設置した室内に居る人物であって、
前記状態は、前記人物の姿勢もしくは体勢である
前記（１）または（２）に記載の監視システム。

（４）（監視システムが伝達する情報、第１乃至第３の実施形態に共通）
前記外部装置または前記端末装置に伝達する前記検知結果は、
前記監視対象となる人物が、
予め定義された複数の状態のいずれかに該当するか、
それともいずれにも該当しないか、
との情報である
前記（３）に記載の監視システム。

（５）（監視システムが伝達する情報、第１乃至第３の実施形態に共通）
前記外部装置または前記端末装置に伝達する前記検知結果とは、
前記監視対象となる人物が、予め定義された複数の状態の中のどの状態にあるか、との情報である
前記（３）に記載の監視システム。

（６）（監視システムが伝達する情報、第１乃至第３の実施形態に共通）
前記予め定義された状態とは、前記人物が、前記室内に配置された寝床から離床した状態である
前記（４）または（５）に記載の監視システム。

（７）（監視システムが伝達する情報、第１乃至第３の実施形態に共通）
前記予め定義された状態とは、前記人物が、前記室内を移動している状態である
前記（４）または（５）に記載の監視システム。

（８）（監視システムが伝達する情報、第１乃至第３の実施形態に共通）
前記予め定義された状態とは、前記人物が、前記室内で転倒した状態である
前記（４）または（５）に記載の監視システム。

（９）（監視システムがさらに備える構成、第１乃至第３の実施形態に共通）
前記撮像部は、可視光にも感度を有する
前記（１）乃至（８）のいずれかに記載の監視システム。

（１０）（監視システムがさらに備える構成、第１乃至第３の実施形態に共通）
前記監視センサ装置は、前記撮像の対象とする範囲における、可視光の照度を計測する可視光照度検出部をさらに備える
前記（１）乃至（９）のいずれかに記載の監視システム。

（１１）（監視システムがさらに備える構成、第１乃至第３の実施形態に共通）
前記可視光検出部での検出結果を、前記赤外光照射部または前記故障検出部の起動または動作の停止に用いる
前記（１０）に記載の監視システム。

（１２）（監視システムがさらに備える構成、第１乃至第３の実施形態に共通）
前記監視センサ装置は、
前記撮像部における前記撮像動作を起動もしくは停止する制御、または、前記撮像を行う際の撮像条件の制御、あるいは、前記撮像した画像に対して画像処理を加える際の画像処理の条件の制御、のいずれかを行う、撮像制御部を備える
前記（１）乃至（１１）のいずれかに記載の監視システム。

（１３）（第１の実施形態、基本構成）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の間で、前記複数の画像の明るさを比較した結果を基にして、前記赤外光照射部の故障を検出する
前記（１２）に記載の監視システム。

（１４）（第１の実施形態、故障検出方法）
前記複数の撮像画像の間で、前記複数の画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合には、前記赤外光照射部に故障が発生していると検出する、
前記（１３）に記載の監視システム。

（１５）（第１の実施形態、明るさの指標）
前記複数の画像の明るさの比較を、前記複数の画像に関する輝度の比較によって行う
前記（１３）または（１４）に記載の監視システム。

（１６）（第１の実施形態、明るさの指標）
前記画像の明るさを表す指標の値は、
前記画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記画像に含まれる全ての画素の前記明るさを表す指標の平均値である
前記（１３）乃至（１５）のいずれかに記載の監視システム。

（１７）（第１の実施形態、明るさの指標）
前記画像の明るさを表す指標の値は、
前記画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記画像に含まれる全ての画素の中から抽出した一部の画素の前記明るさを表す指標の平均値である
前記（１３）乃至（１５）のいずれかに記載の監視システム。

（１８）（第１の実施形態、明るさの指標）
前記画像の明るさを表す指標の値は、
前記画像の解像度を変換した画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記解像度を変換した画像に含まれる全ての画素の前記明るさを表す指標の平均値である
前記（１３）乃至（１５）のいずれかに記載の監視システム。

（１９）（第１の実施形態、明るさの指標）
前記画像の明るさを表す指標の値は、
前記画像の解像度を変換した画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記解像度を変換した画像に含まれる全ての画素の中から抽出した一部の画素の前記明るさを表す指標の平均値である
前記（１３）乃至（１５）のいずれかに記載の監視システム。

（２０）（第１の実施形態、動被写体の除去）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された画像から動被写体を除去した後の複数の画像の間で、前記複数の画像の明るさを表す指標の値を比較した結果を基にして、前記赤外光照射部の故障を検出する
前記（１３）乃至（１９）のいずれかに記載の監視システム。

（２１）（第１の実施形態、小分け領域毎の差異の判定）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された第１の複数枚の撮像画像のそれぞれを第２の複数個の小分け領域に分け、
前記第２の複数個の小分け領域のそれぞれを１つの画像として前記画像の明るさを表す指標の値を求め、
前記第１の複数枚の撮像画像の間で、前記第２の複数個の小分け領域毎に前記明るさを表す指標の値を比較した比較結果を基にして、前記赤外光照射部の故障を検出する
前記（１３）乃至（２０）のいずれかに記載の監視システム。

（２２）（第１の実施形態、小分け領域毎の差異の判定）
前記第１の複数枚の撮像画像の間で、前記第２の複数個の小分け領域毎に前記明るさを表す指標の値を比較した結果、前記第２の複数個の小分け領域のいずれかにおいて、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合には、前記赤外光照射部に故障が発生していると検出する
前記（２１）に記載の監視システム。

（２３）（第２の実施形態、基本構成＝撮像制御部からの情報入力）
前記監視センサ装置は、
前記撮像制御部からの情報を、前記故障検出部へ入力する構造を備える
前記（１２）乃至（２２）のいずれかに記載の監視システム。

（２４）（第２の実施形態、撮像制御部からの情報を基にした故障検出）
前記監視センサ装置の前記故障検出部は、
前記撮像制御部からの情報を基にして、前記赤外光照射部の故障を検出する
前記（２３）に記載の監視システム。

（２５）（第２の実施形態、撮像制御部からの情報を基にした故障検出）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の間で、
前記撮像を行った際の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理の条件、
を比較した比較結果を基にして、前記赤外光照射部の故障を検出する
前記（２４）に記載の監視システム。

（２６）（第２の実施形態、失報対策）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理条件、の少なくとも一方が低照度の被写体に適した方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（２５）に記載の監視システム。

（２７）（第２の実施形態、失報対策、撮像制御部における撮像条件を基にした故障検出）
前記撮像条件は、画像の撮像に用いた露光時間、または、ISO感度と呼ばれる画像を撮像した際の撮像感度、または、画像を撮像した際の絞りの大きさ、である
前記（２６）に記載の監視システム。

（２８）（第２の実施形態、失報対策、撮像制御部における撮像条件を基にした故障検出）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の間で、撮像条件として、露光時間が長くなる方向に変化するか、または、絞りの開口が大きくなる方向に変化するか、または、ISO感度と呼ばれる撮像感度が高くなる方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（２７）に記載の監視システム。

（２９）（第２の実施形態、失報対策、撮像制御部における画像処理条件を基にした故障検出）
前記画像処理の条件は、撮像した画像に掛けるゲインの大きさである
前記（２６）に記載の監視システム。

（３０）（第２の実施形態、失報対策、撮像制御部における画像処理条件を基にした故障検出）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の間で、画像処理条件として、撮像した画像に掛けるゲインが大きくなる方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（２９）に記載の監視システム。

（３１）（第２の実施形態、誤報対策）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の撮像条件と画像処理条件の少なくとも一方が高照度の被写体に適した方向に変化した場合、前記赤外光照射部に故障なしと検出する
前記（２５）に記載の監視システム。

（３２）（第２の実施形態、誤報対策、撮像制御部における撮像条件を基にした故障検出）
前記撮像条件は、画像の撮像に用いた露光時間、または、ISO感度と呼ばれる画像を撮像した際の撮像感度、または、画像を撮像した際の絞りの大きさ、である
前記（３１）に記載の監視システム。

（３３）（第２の実施形態、誤報対策、撮像制御部における撮像条件を基にした故障検出）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の間で、撮像条件として、露光時間が短くなる方向に変化するか、または、絞りの開口が小さくなる方向に変化するか、または、ISO感度と呼ばれる撮像感度が低くなる方向に変化した場合、前記赤外光照射部に故障なしと検出する
前記（３２）に記載の監視システム。

（３４）（第２の実施形態、誤報対策、撮像制御部における画像処理条件を基にした故障検出）
前記画像処理の条件は、撮像した画像に掛けるゲインの大きさである
前記（３１）に記載の監視システム。

（３５）（第２の実施形態、誤報対策、撮像制御部における画像処理条件を基にした故障検出）
前記監視センサ装置の前記故障検出部は、
前記撮像部によって撮像された複数の画像の間で、画像処理条件として、撮像した画像に掛けるゲインが小さくなる方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（３４）に記載の監視システム。

（３６）（第２の実施形態、経年劣化の検出）
前記監視センサ装置の前記故障検出部は、
予め設定した特定の日時に前記撮像部によって撮像された画像と、その後に定期的に撮像された画像の間で、
前記撮像を行った際の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理の条件、の少なくとも一方を比較し、撮像条件と画像処理条件の少なくとも一方が低照度の被写体に適した方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（２５）に記載の監視システム。

（３７）（第２の実施形態、経年劣化検出）
前記特定の日時は、システムが稼働した最初の日において予め定めた時刻である
前記（３６）に記載の監視システム。

（３８）（第３の実施形態、基本構成＝安定画像生成部）
前記監視センサ装置は、安定画像の生成部をさらに備える
前記（１２）に記載の監視システム。

（３９）（第３の実施形態、基本構成＝安定画像生成部）
前記安定画像は、前記撮像部によって一定期間撮像された撮像画像ストリームの画像において、動きが少なく安定して撮像された被写体の画像である
前記（３８）に記載の監視システム。

（４０）（第３の実施形態、故障検出方法）（第１の実施形態（１３）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果を基にして、前記赤外光照射部の故障を検出する
前記（３９）に記載の監視システム。

（４１）（第３の実施形態、故障検出方法）（第１の実施形態（１４）に相当）
前記複数の安定画像の間で、前記複数の安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合には、前記赤外光照射部に故障が発生していると検出する
前記（４０）に記載の監視システム。

（４２）（第３の実施形態、明るさの指標）（第１の実施形態（１５）に相当）
前記複数の安定画像の明るさの比較を、前記複数の安定画像に関する輝度の比較によって行う
前記（４０）または（４１）に記載の監視システム。

（４３）（第３の実施形態、明るさの指標）（第１の実施形態（１６）に相当）
前記安定画像の明るさを表す指標の値は、
前記安定画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記安定画像に含まれる全ての画素の前記明るさを表す指標の平均値である
前記（４０）乃至（４２）のいずれかに記載の監視システム。

（４４）（第３の実施形態、明るさの指標）（第１の実施形態（１７）に相当）
前記安定画像の明るさを表す指標の値は、
前記安定画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記安定画像に含まれる全ての画素の中から抽出した一部の画素の前記明るさを表す指標の平均値である
前記（４０）乃至（４２）のいずれかに記載の監視システム。

（４５）（第３の実施形態、明るさの指標）（第１の実施形態（１８）に相当）
前記安定画像の明るさを表す指標の値は、
前記安定画像の解像度を変換した画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記解像度を変換した画像に含まれる全ての画素の前記明るさを表す指標の平均値である
前記（４０）乃至（４２）のいずれかに記載の監視システム。

（４６）（第３の実施形態、明るさの指標）（第１の実施形態（１９）に相当）
前記安定画像の明るさを表す指標の値は、
前記安定画像の解像度を変換した画像に含まれる複数の画素について前記各画素の前記明るさを表す指標の平均値を求めたものであって、前記解像度を変換した画像に含まれる全ての画素の中から抽出した一部の画素の前記明るさを表す指標の平均値である
前記（４０）乃至（４２）のいずれかに記載の監視システム。

（４７）（第３の実施形態、小分け領域毎の差異の判定）（第１の実施形態（２１）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した第１の複数枚の安定画像のそれぞれを第２の複数個の小分け領域に分け、
前記第２の複数個の小分け領域のそれぞれを１つの画像として前記画像の明るさを表す指標の値を求め、
前記第１の複数枚の安定画像の間で、前記第２の複数個の小分け領域毎に前記明るさを表す指標の値を比較した比較結果を基にして、前記赤外光照射部の故障を検出する
前記（４０）乃至（４６）のいずれかに記載の監視システム。

（４８）（第３の実施形態、小分け領域毎の差異の判定）（第１の実施形態（２２）に相当）
前記第１の複数枚の安定画像の間で、前記第２の複数個の小分け領域毎に前記明るさを表す指標の値を比較した結果、前記第２の複数個の小分け領域のいずれかにおいて、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合には、前記赤外光照射部に故障が発生していると検出する
前記（４７）に記載の監視システム。

（４９）（第３の実施形態、撮像制御部からの情報入力）（第２の実施形態（２３）に相当）
前記監視センサ装置は、
前記撮像制御部からの情報を、前記故障検出部へ入力する構造をさらに備える
前記（４０）乃至（４８）のいずれかに記載の監視システム。

（５０）（第３の実施形態、撮像制御部からの情報を基にした故障検出）（第２の実施形態（２４）に相当）
前記監視センサ装置の前記故障検出部は、
前記撮像制御部からの情報を基にして、前記赤外光照射部の故障を検出する
前記（４９）に記載の監視システム。

（５１）（第３の実施形態、撮像制御部からの情報を基にした故障検出）（第２の実施形態（２５）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した複数の安定画像の間で、
前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理の条件、
を比較した比較結果を基にして、前記赤外光照射部の故障を検出する
前記（５０）に記載の監視システム。

（５２）（第３の実施形態、失報対策）（第２の実施形態（２６）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理の条件、の少なくとも一方が低照度の被写体に適した方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（５１）に記載の監視システム。

（５３）（第３の実施形態、失報対策、撮像制御部における撮像条件を基にした故障検出）（第２の実施形態（２７）に相当）
前記撮像条件は、画像の撮像に用いた露光時間、または、ISO感度と呼ばれる画像を撮像した際の撮像感度、または、画像を撮像した際の絞りの大きさ、である
前記（５２）に記載の監視システム。

（５４）（第３の実施形態、失報対策、撮像制御部における撮像条件を基にした故障検出）（第２の実施形態（２８）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した複数の安定画像の間で、
前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件として、露光時間が長くなる方向に変化するか、または、絞りの開口が大きくなる方向に変化するか、または、ISO感度と呼ばれる撮像感度が高くなる方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（５３）に記載の監視システム。

（５５）（第３の実施形態、失報対策、撮像制御部における画像処理条件を基にした故障検出）（第２の実施形態（２９）に相当）
前記画像処理の条件は、撮像した画像に掛けるゲインの大きさである
前記（５２）に記載の監視システム。

（５６）（第３の実施形態、失報対策、撮像制御部における画像処理条件を基にした故障検出）（第２の実施形態（３０）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した複数の安定画像の間で、前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像に対して画像処理を加えた際の画像処理の条件として、前記各画像に掛けるゲインが大きくなる方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（５５）に記載の監視システム。

（５７）（第３の実施形態、誤報対策）（第２の実施形態（３１）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理の条件、の少なくとも一方が高照度の被写体に適した方向に変化した場合、前記赤外光照射部に故障なしと検出する
前記（５１）に記載の監視システム。

（５８）（第３の実施形態、誤報対策、撮像制御部における撮像条件を基にした故障検出）（第２の実施形態（３２）に相当）
前記撮像条件は、画像の撮像に用いた露光時間、または、ISO感度と呼ばれる画像を撮像した際の撮像感度、または、画像を撮像した際の絞りの大きさ、である
前記（５７）に記載の監視システム。

（５９）（第３の実施形態、誤報対策、撮像制御部における撮像条件を基にした故障検出）（第２の実施形態（３３）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した複数の安定画像の間で、
前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件として、露光時間が短くなる方向に変化するか、または、絞りの開口が小さくなる方向に変化するか、または、ISO感度と呼ばれる撮像感度が低くなる方向に変化した場合、前記赤外光照射部に故障なしと検出する
前記（５８）に記載の監視システム。

（６０）（第３の実施形態、誤報対策、撮像制御部における画像処理条件を基にした故障検出）（第２の実施形態（３４）に相当）
前記画像処理の条件は、撮像した画像に掛けるゲインの大きさである
前記（５７）に記載の監視システム。

（６１）（第３の実施形態、誤報対策、撮像制御部における画像処理条件を基にした故障検出）（第２の実施形態（３５）に相当）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した複数の安定画像の間で、前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像に対して画像処理を加えた際の画像処理の条件として、前記各画像に掛けるゲインが小さくなる方向に変化した場合、前記赤外光照射部に故障なしと検出する
前記（６０）に記載の監視システム。

（６２）（第３の実施形態、経年劣化の検出）（第２の実施形態（３６）に相当）
前記監視センサ装置の前記故障検出部は、
予め設定した特定の日時に前記安定画像の生成部が生成した安定画像と、その後に定期的に前記安定画像の生成部が生成した安定画像の間で、
前記安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件、あるいは、前記撮像した画像に対して画像処理を加えた際の画像処理の条件、の少なくとも一方を比較し、
前記撮像条件と画像処理条件の少なくとも一方が低照度の被写体に適した方向に変化した場合、前記赤外光照射部に故障ありと検出する
前記（５１）に記載の監視システム。

（６３）（第３の実施形態、経年劣化検出）（第２の実施形態（３７）に相当）
前記特定の日時は、システムが稼働した最初の日において予め定めた時刻である
前記（６２）に記載の監視システム。"

（６４）（第３の実施形態、第１の構成例、第３の閾値）
前記監視センサ装置の前記故障検出部は、
前記安定画像の明るさについて予め定めた閾値を備え、
前記安定画像の生成部が生成した安定画像において、その明るさを表す指標の値が前記閾値を下回った場合には、前記赤外光照射部に故障が発生していると検出する
前記（３８）乃至（５１）のいずれかに記載の監視システム。

（６５）（第３の実施形態、第１の構成例、故障判定部における判定方法）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、
前記安定画像の生成部が生成した複数の安定画像の間で、前記複数の安定画像の明るさを比較した比較結果と、
前記比較を行う複数の安定画像において、前記複数の安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像条件、あるいは、前記各画像に対して画像処理を加えた際の画像処理の条件、を比較した比較結果と、
を基にして、
ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている場合と、
イ） 前記各画像の撮像条件あるいは前記画像処理の条件のいずれかが、より低照度の被写体の撮像に適した方向に変化している場合と、
ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件あるいは前記画像処理の条件のいずれもが、より高照度の被写体の撮像に適した方向へは変化していない場合には、
前記赤外光照射部に故障が発生していると検出する
前記（３８）乃至（５１）のいずれかに記載の監視システム。

（６６）（第３の実施形態、第２の構成例、特徴点）
前記監視センサ装置は、
前記安定画像のそれぞれから、前記安定画像内の被写体の特徴を抽出し、複数の安定画像の間で前記特徴を比較した結果を基にして、前記赤外光照射部の故障を検出する、特徴比較部をさらに備える
前記（３８）乃至（５１）のいずれかに記載の監視システム。

（６７）（第３の実施形態、第２の構成例、特徴点）
前記被写体の特徴は、前記被写体の輪郭である
前記（６６）に記載の監視システム。

（６８）（第３の実施形態、第２の構成例、判定部における判定方法）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、
前記安定画像の生成部が生成した複数の安定画像の間で、前記複数の安定画像の明るさを比較した比較結果と、
前記比較を行う複数の安定画像において、前記複数の安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像条件、あるいは、前記各画像に対して画像処理を加えた際の画像処理の条件、を比較した比較結果と、
前記安定画像のそれぞれから、前記安定画像内の被写体の特徴を抽出し、複数の安定画像の間で前記特徴を比較した比較結果と、
を基にして、
ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている場合と、
イ） 前記各画像の撮像条件あるいは前記画像処理の条件のいずれかが、より低照度の被写体の撮像に適した方向に変化している場合と、
ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件あるいは前記画像処理の条件のいずれもが、より高照度の被写体の撮像に適した方向へは変化していない場合と、
エ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が、前記安定画像の特徴点の変化によるものではない場合には、
前記赤外光照射部に故障が発生していると検出する
前記（６６）または（６７）に記載の監視システム。

（６９）（第３の実施形態、第３の構成例、変化速度）
前記監視センサ装置は、
安定画像の生成部から出力される最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、どれだけの時間を掛けて発生したものなのかを検出する、変化検出部をさらに備える
前記（３８）乃至（５１）のいずれかに記載の監視システム。

（７０）（第３の実施形態、第３の構成例、判定部における判定方法）
前記監視センサ装置の前記故障検出部は、
前記安定画像の生成部が生成した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、
前記安定画像の生成部が生成した複数の安定画像の間で、前記複数の安定画像の明るさを比較した比較結果と、
前記比較を行う複数の安定画像において、前記複数の安定画像を作り出すもととなった撮像画像ストリームに含まれる各画像の撮像条件、あるいは、前記各画像に対して画像処理を加えた際の画像処理の条件、を比較した比較結果と、
安定画像の生成部から出力される最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、どれほどの時間を掛けて発生したものなのかを検出し、その時間を予め定めた変化時間の閾値と比較した結果と、
を基にして、
ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている場合と、
イ） 前記各画像の撮像条件あるいは前記画像処理の条件のいずれかが、より低照度の被写体の撮像に適した方向に変化している場合と、
ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件あるいは前記画像処理の条件のいずれもが、より高照度の被写体の撮像に適した方向へは変化していない場合と、
エ） 前記最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が予め定めた変化時間の閾値よりも短い時間で発生したいた場合には、
前記赤外光照射部に故障が発生していると検出する
前記（６９）に記載の監視システム。

（７１）（第１の動作モード）
前記監視センサ装置の前記第１伝達制御部は、
第１の動作モードにおいて、前記検知部の検知結果または前記故障検出部の検出結果を、前記外部装置または前記端末装置に伝達する第１の伝達動作を実行させる
前記（１）乃至（７０）のいずれかに記載の監視システム。

（７２）（第２の動作モード）
前記監視センサ装置の前記第２伝達制御部は、
第２の動作モードにおいて、前記外部装置または前記端末装置との間で音声を伝達させる
前記（１）乃至（７１）のいずれかに記載の監視システム。

（７３）（第３の動作モード）
前記監視センサ装置の前記第２伝達制御部は、
第３の動作モードにおいて、前記撮像部によって撮像された前記画像を、前記外部装置または前記端末装置に伝達する第２の伝達動作を実行させる
前記（１）乃至（７２）のいずれかに記載の監視システム。

（７４）（第４の動作モード）
前記監視センサ装置の前記第２伝達制御部は、
第４の動作モードにおいて、前記撮像部によって撮像されて蓄積されていた前記画像を、前記外部装置または前記端末装置に伝達させる
前記（１）乃至（７３）のいずれかに記載の監視システム。

（７５）（動作モードの遷移）
前記検知部の検知結果または前記故障検出部の検出結果を前記監視センサ装置前記外部装置または前記端末装置へ伝達する、前記第１の動作モードにおける前記第１の伝達動作の実行をトリガとして、前記動作モードを第１の動作モードから第１の動作モードとは異なる動作モードへと遷移させる
前記（７２）乃至（７４）のいずれかに記載の監視システム。

（７６）（監視センサ装置）
監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、
赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、
前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、
前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、
前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、
前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出部と
を備える監視センサ装置。

（７７）（方法）
監視センサ装置の監視方法において、
監視センサ装置による、
監視対象が存在し得る範囲に赤外光を照射する赤外光照射ステップと、
赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像に基づき、前記監視対象の状態を検知する検知ステップと、
前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御ステップと、
前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御ステップと、
前記第２伝達制御ステップにより前記第２の伝達動作の実行が停止されている状態において、前記撮像ステップによって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出ステップと
を含む監視方法。

（７８）（プログラム）
コンピュータを、
監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、
赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、
前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、
前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、
前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、
前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出部と
して機能させるプログラム。
２０ 撮像機能部， ２１ ＩＲ照明部， ２２ 撮像部， ２３ 画像処理部， ２４ 撮像制御部， ３０ ＩＲ照明故障検出部， ３７ 記憶部， ３８ 状態検知部， ３９ 伝達制御部， ４０ 安定画像生成部， ４１ 故障判定部， １００ 監視センサ装置， ２８０ 情報伝達部， ２９０ 外部装置， ３００ 端末装置， ２００ 撮像範囲， ４００ 小分け領域， ４１１ 画像記憶部， ４１２ 画像比較部， ４１３ 特徴比較部， ４１４ 判定部， ４１５ 変化検出部， １０００ 監視システム， １２００ コンピュータ

Claims (20)

  1. 監視センサ装置と、
    前記監視センサ装置で取得した情報を使用者に提示する端末装置と、
    前記監視センサ装置と前記端末装置との間に介在する外部装置と
    を備える監視システムにおいて、
    前記監視センサ装置は、
    監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、
    赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、
    前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、
    前記検知部の検知結果を前記外部装置または前記端末装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、前記撮像部によって撮像された前記画像を前記外部装置または前記端末装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部とを含む第３伝達制御部と、
    前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を基にして前記赤外光照射部の故障を検出する故障検出部とを備える
    監視システム。
  2. 前記第３伝達制御部は、前記故障検出部での前記故障の検出結果を前記外部装置または前記端末装置に伝達する動作の実行の有無をさらに制御する
    請求項１に記載の監視システム。
  3. 前記監視センサ装置は、
    前記撮像部における撮像動作を起動もしくは停止する制御、
    前記撮像部が撮像を行う際の撮像条件の制御、
    または、前記撮像した画像に対して、画像処理を加える際の画像処理条件の制御
    のうちの少なくとも一つの制御を行う撮像制御部を
    さらに備える
    請求項２に記載の監視システム。
  4. 前記監視センサ装置は、前記撮像制御部からの情報を、前記故障検出部へ入力する構造を有する
    請求項３に記載の監視システム。
  5. 前記監視センサ装置の前記故障検出部は、前記撮像制御部からの情報を基にして、前記赤外光照射部の故障を検出する
    請求項４に記載の監視システム。
  6. 前記監視センサ装置は、安定画像生成部をさらに備え、
    前記安定画像生成部は、前記撮像部によって一定期間撮像された撮像画像ストリームに含まれる複数の撮像画像について、該撮像画像内の被写体の変化を画像間で比較し、より変化が少ない被写体を備えた画像である安定画像を出力する
    請求項５に記載の監視システム。
  7. 前記撮像制御部は、前記撮像部が撮像を行う際の撮像条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件を比較し、該比較の結果を基にして前記赤外光照射部の故障を検出するか、
    または、
    前記撮像制御部は、前記撮像部が撮像した画像に対して、画像処理を加える際の画像処理条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像に対して加えられた前記画像処理の条件を比較し、該比較の結果を基にして前記赤外光照射部の故障を検出する
    請求項６に記載の監視システム。
  8. 前記撮像制御部は、前記撮像部が撮像を行う際の撮像条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像を行った際の撮像条件がより低照度の被写体に適した方向へ変化した場合に、前記赤外光照射部に故障が発生していると検出するか、
    または、
    前記撮像制御部は、前記撮像部が撮像した画像に対して、画像処理を加える際の画像処理条件の制御を行い、且つ、前記故障検出部は、前記安定画像生成部が出力した複数の安定画像の間で、前記安定画像のもととなった撮像画像ストリームに含まれる各画像に対して加えられた前記画像処理の条件がより低照度の被写体に適した方向へ変化した場合に、前記赤外光照射部に故障が発生していると検出する
    請求項７に記載の監視システム。
  9. 前記故障検出部は、
    前記安定画像生成部が出力した第１の複数枚の安定画像の間で、前記第１の複数枚の安定画像の明るさを比較した結果、
    または、
    前記安定画像生成部が出力した前記第１の複数枚の安定画像のそれぞれを第２の複数個の小分け領域に分け、前記第２の複数個の小分け領域毎に該小分け領域に含まれる画像の明るさを比較した結果
    を基にして、前記赤外光照射部の故障を検出する
    請求項８に記載の監視システム。
  10. 前記故障検出部は、
    前記安定画像生成部が出力した第１の複数枚の安定画像の間で、前記第１の複数枚の安定画像の明るさを比較し、該比較の結果、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合、
    または、
    前記安定画像生成部が出力した前記第１の複数枚の安定画像のそれぞれを第２の複数個の小分け領域に分け、前記第２の複数個の小分け領域毎に該小分け領域に含まれる画像の明るさを比較し、該比較の結果、前記明るさを表す指標の差が予め定めた閾値よりも大きい場合
    には、前記赤外光照射部に故障が発生していると検出する
    請求項９に記載の監視システム。
  11. 前記故障検出部は、前記安定画像生成部が出力した安定画像について、該安定画像の明るさを表す指標の値が予め定めた閾値を下回った場合には、前記赤外光照射部に故障が発生していると検出する
    請求項１０に記載の監視システム。
  12. 前記故障検出部は、
    前記安定画像生成部が出力した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、
    前記安定画像生成部が出力した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果と、
    前記比較を行う複数の安定画像の間で、前記複数の安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像条件、または、前記各画像に対して画像処理が加えられた際の画像処理条件を比較した結果と
    を基にして、
    条件（ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている
    条件（イ） 前記各画像の撮像条件または前記画像処理条件の少なくとも一方が、より低照度の被写体に適した方向へ変化している
    条件（ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件および前記画像処理条件が、より高照度の被写体に適した方向へは変化していない
    の前記条件（ア）乃至（ウ）の少なくとも一つの条件を満たす場合には前記赤外光照射部に故障が発生していると検出する
    請求項１１に記載の監視システム。
  13. 前記監視センサ装置は、
    前記安定画像のそれぞれから、前記安定画像内の被写体の特徴を抽出し、複数の前記安定画像の間で、前記特徴を比較する特徴比較部をさらに備える
    請求項１０に記載の監視システム。
  14. 前記被写体の特徴は、前記被写体の輪郭である
    請求項１３に記載の監視システム。
  15. 前記故障検出部は、
    前記安定画像生成部が出力した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、
    前記安定画像生成部が出力した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果と、
    前記比較を行う複数の安定画像の間で、前記複数の安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像条件、または、前記各画像に対して画像処理が加えられた際の画像処理条件、を比較した結果と、
    前記安定画像のそれぞれから、前記安定画像内の被写体の特徴を抽出し、複数の安定画像の間で前記特徴を比較した結果と
    を基にして、
    条件（ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている
    条件（イ） 前記各画像の撮像条件または前記画像処理条件の少なくとも一方が、より低照度の被写体に適した方向へ変化している
    条件（ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件および前記画像処理条件が、より高照度の被写体に適した方向へは変化しておらず、かつ、前記明るさを表す指標の差が、前記安定画像の特徴点の変化によるものではない
    の前記条件（ア）乃至（ウ）の少なくとも一つの条件を満たす場合には前記赤外光照射部に故障が発生していると検出する
    請求項１４に記載の監視システム。
  16. 前記監視センサ装置は、前記安定画像生成部から出力される最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、どれだけの時間を掛けて発生したかを検出する、変化検出部をさらに備える
    請求項１０に記載の監視システム。
  17. 前記故障検出部は、
    前記安定画像生成部が出力した各安定画像の明るさを表す指標の値を、予め定めた第１の閾値と比較した結果と、
    前記安定画像生成部が出力した複数の安定画像の間で、前記複数の安定画像の明るさを比較した結果と、
    前記比較を行う複数の安定画像の間で、前記複数の安定画像のもととなった撮像画像ストリームに含まれる各画像の撮像条件、または、前記各画像に対して画像処理が加えられた際の画像処理条件、を比較した結果と、
    前記安定画像生成部から出力される最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が、どれだけの時間を掛けて発生したかを検出し、その時間を予め定めた変化時間の閾値と比較した結果と
    を基にして、
    条件（ア） 前記各安定画像の明るさを表す指標の値が予め定めた前記第１の閾値を下回っている
    条件（イ） 前記各画像の撮像条件または前記画像処理条件の少なくとも一方が、より低照度の被写体に適した方向へ変化している
    条件（ウ） 前記安定画像の明るさを表す指標の値を比較した結果、前記明るさを表す指標の差が予め定めた第２の閾値よりも大きく、かつ、前記各画像の撮像条件および前記画像処理条件が、より高照度の被写体に適した方向へは変化しておらず、かつ、前記最新の安定画像と１つ前の安定画像との間に生じた被写体の変化が前記変化時間の閾値よりも短い時間で発生していた
    の前記条件（ア）乃至（ウ）の少なくとも一つの条件を満たす場合には前記赤外光照射部に故障が発生していると検出する
    請求項１６に記載の監視システム。
  18. 監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、
    赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、
    前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、
    前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、
    前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、
    前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出部と
    を備える監視センサ装置。
  19. 監視センサ装置の監視方法において、
    監視センサ装置による、
    監視対象が存在し得る範囲に赤外光を照射する赤外光照射ステップと、
    赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像に基づき、前記監視対象の状態を検知する検知ステップと、
    前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御ステップと、
    前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御ステップと、
    前記第２伝達制御ステップにより前記第２の伝達動作の実行が停止されている状態において、前記撮像ステップによって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出ステップと
    を含む監視方法。
  20. コンピュータを、
    監視対象が存在し得る範囲に赤外光を照射する赤外光照射部と、
    赤外光に感度を有し、前記赤外光照射部による赤外光照射下の前記監視対象が存在し得る範囲を撮像する撮像部と、
    前記撮像部によって撮像された画像に基づき、前記監視対象の状態を検知する検知部と、
    前記検知部の検知結果を他の装置に伝達する第１の伝達動作の実行の有無を制御する第１伝達制御部と、
    前記撮像部によって撮像された前記画像を、前記他の装置に伝達する第２の伝達動作の実行の有無を制御する第２伝達制御部と、
    前記第２伝達制御部により前記第２の伝達動作の実行が停止されている状態において、前記撮像部によって撮像された複数の画像を比較した比較結果を基にして、前記赤外光照射部の故障を検出する故障検出部と
    して機能させるプログラム。
JP2016221354A 2016-11-14 2016-11-14 監視システム、監視センサ装置、監視方法、およびプログラム Pending JP2018082233A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016221354A JP2018082233A (ja) 2016-11-14 2016-11-14 監視システム、監視センサ装置、監視方法、およびプログラム
PCT/JP2017/039469 WO2018088283A1 (ja) 2016-11-14 2017-11-01 監視システム、監視センサ装置、監視方法、およびプログラム
CN201780068864.9A CN109964480B (zh) 2016-11-14 2017-11-01 监控***、监控传感器设备、监控方法
US16/341,612 US20210368139A1 (en) 2016-11-14 2017-11-01 Monitoring system, monitoring sensor apparatus, monitoring method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016221354A JP2018082233A (ja) 2016-11-14 2016-11-14 監視システム、監視センサ装置、監視方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018082233A true JP2018082233A (ja) 2018-05-24

Family

ID=62110249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016221354A Pending JP2018082233A (ja) 2016-11-14 2016-11-14 監視システム、監視センサ装置、監視方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210368139A1 (ja)
JP (1) JP2018082233A (ja)
CN (1) CN109964480B (ja)
WO (1) WO2018088283A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021181952A (ja) * 2020-05-20 2021-11-25 株式会社日立エルジーデータストレージ 測距装置及び光源の発光診断方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112238829B (zh) * 2019-07-16 2023-06-02 华为技术有限公司 通信方法和装置
CN111160299A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 活体识别方法及装置
CN213693880U (zh) * 2020-12-04 2021-07-13 赛万特科技有限责任公司 成像装置和具有夜视模式的摄像机
CN117911401B (zh) * 2024-03-15 2024-06-21 国网山东省电力公司泗水县供电公司 一种电力设备故障检测方法、***、存储介质及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01140296A (ja) * 1987-11-26 1989-06-01 Fujitsu Ltd 設備監視システム
JPH027176A (ja) * 1988-06-27 1990-01-11 Canon Inc 画像入力装置
JP2851011B2 (ja) * 1990-07-24 1999-01-27 富士通株式会社 赤外線撮像装置の故障検出装置
JPH11154293A (ja) * 1997-11-19 1999-06-08 Harutoshi Akiyoshi 移動体管理システム
WO2005064922A1 (ja) * 2003-12-25 2005-07-14 Niles Co., Ltd. 撮像システム
JP4040613B2 (ja) * 2004-08-31 2008-01-30 キヤノン株式会社 撮像装置
JP4899534B2 (ja) * 2006-02-28 2012-03-21 ソニー株式会社 監視カメラ
JP2008054265A (ja) * 2006-08-24 2008-03-06 Neo Planning:Kk 施設用監視システム
CN201111336Y (zh) * 2006-12-18 2008-09-03 浙江惠康电子通信科技有限公司 一种无线远程视频监控***
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
CN103594003B (zh) * 2013-11-13 2015-11-25 安徽三联交通应用技术股份有限公司 一种用于驾驶人的远程监控与异常预警的方法
JPWO2015107928A1 (ja) * 2014-01-17 2017-03-23 ソニー株式会社 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム
EP3151552A4 (en) * 2014-05-30 2018-02-21 Hitachi Kokusai Electric Inc. Monitoring system and camera device
CN104837265A (zh) * 2015-05-13 2015-08-12 安徽省德诺电子科技有限公司 一种家居照明智能监控***
CN105719007A (zh) * 2016-01-22 2016-06-29 南京富岛信息工程有限公司 一种红外热轴音频通道故障预测方法
CN205679927U (zh) * 2016-05-10 2016-11-09 陕西云驰信息科技股份有限公司 一种智能家居远程监控***
CN106059868A (zh) * 2016-07-24 2016-10-26 哈尔滨理工大学 家居智能视频监控防护***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021181952A (ja) * 2020-05-20 2021-11-25 株式会社日立エルジーデータストレージ 測距装置及び光源の発光診断方法
JP7297714B2 (ja) 2020-05-20 2023-06-26 株式会社日立エルジーデータストレージ 測距装置及び光源の発光診断方法

Also Published As

Publication number Publication date
US20210368139A1 (en) 2021-11-25
CN109964480A (zh) 2019-07-02
WO2018088283A1 (ja) 2018-05-17
CN109964480B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
WO2018088283A1 (ja) 監視システム、監視センサ装置、監視方法、およびプログラム
US10277805B2 (en) Monitoring system and camera device
JP4803376B2 (ja) カメラ妨害検知方式
US8159539B2 (en) Smoke detecting method and system
JP5470187B2 (ja) 画像処理装置、及び物体検出装置
JP6322128B2 (ja) 煙検出装置および煙検出方法
JP2014060711A (ja) 画像取込み設定の構成
JP6631618B2 (ja) 画像監視装置及び画像監視方法
JP2014017114A (ja) 照明システム
EP2000952A2 (en) Smoke detecting method and device
US9202283B2 (en) Method and device for detecting falls by image analysis
JP2016110261A (ja) 煙検出装置および煙検出方法
JP5235718B2 (ja) 映像監視システム
JP2017005485A (ja) 画像監視装置および画像監視方法
KR20060041555A (ko) 화력발전소 화재발생 감지 및 경보 시스템
JP5710230B2 (ja) 監視システムおよび監視方法
CN104378629A (zh) 一种摄像机故障的检测方法
JP2013004235A (ja) 照明システム
JP5167186B2 (ja) 煙検出装置
US10842414B2 (en) Information processing device, information processing method, program, and watching system
JP2020167500A (ja) 画像処理装置及び画像処理プログラム
JP6081786B2 (ja) 煙検出装置
JP2019075617A (ja) 撮像装置、および画像処理システム
US20220345623A1 (en) Smart Security Camera System with Automatically Adjustable Activity Zone and Method
JP2009151657A (ja) 複合型侵入検知装置