JP2009302659A - 監視システム - Google Patents
監視システム Download PDFInfo
- Publication number
- JP2009302659A JP2009302659A JP2008151882A JP2008151882A JP2009302659A JP 2009302659 A JP2009302659 A JP 2009302659A JP 2008151882 A JP2008151882 A JP 2008151882A JP 2008151882 A JP2008151882 A JP 2008151882A JP 2009302659 A JP2009302659 A JP 2009302659A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- unit
- selection
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮像装置より監視装置に伝送された撮像画像群の確認作業にかかる時間および労力を低減することができ、しかも撮像装置における処理時間の短縮化を図ることができる監視システムを提供することにある。
【解決手段】監視システムは、撮像装置1および親機2を有し、撮像装置1は、撮像部10の撮像画像を画像処理して対象物を検出する対象物検出手段13aと、対象物検出時に撮像画像群を親機2に伝送する画像データ処理部11および伝送部14と、当該撮像画像群より特徴画像を選択する特徴画像選択手段13bとを備え、親機2は、伝送された複数の撮像画像群から画像表示部21に表示する撮像画像群の選択用の選択用画像を画像表示部21に表示する画像処理部22を備え、選択用画像では、撮像画像群を表示する画像として特徴画像を用い、特徴画像選択手段13bは、対象物検出手段13aで実行される画像処理の結果を利用して特徴画像を選択する。
【選択図】図1
【解決手段】監視システムは、撮像装置1および親機2を有し、撮像装置1は、撮像部10の撮像画像を画像処理して対象物を検出する対象物検出手段13aと、対象物検出時に撮像画像群を親機2に伝送する画像データ処理部11および伝送部14と、当該撮像画像群より特徴画像を選択する特徴画像選択手段13bとを備え、親機2は、伝送された複数の撮像画像群から画像表示部21に表示する撮像画像群の選択用の選択用画像を画像表示部21に表示する画像処理部22を備え、選択用画像では、撮像画像群を表示する画像として特徴画像を用い、特徴画像選択手段13bは、対象物検出手段13aで実行される画像処理の結果を利用して特徴画像を選択する。
【選択図】図1
Description
本発明は、画像処理を利用した監視システムに関するものである。
近年、防犯意識の向上により、訪問者(外来者)の顔を確認できる機能や不在時の訪問者の顔を録画できる機能などの利便性が評価され、インターホンシステム(住宅用インターホンシステム、ドアホンシステム)が普及してきている。このようなインターホンシステムとしては、人体を検出して報知することで住宅周辺の警戒を行い、住宅への侵入を未然に防止するための撮像装置を組み込んだものが提案されている(例えば、特許文献1参照)。このようなインターホンシステムは、セキュリティインターホンシステムとも呼ばれている。
特許文献1に示すものは、撮像部を有する撮像装置(カメラ装置)と、画像表示部を有する監視装置(モニタ装置)とを備える。撮像装置は、撮像部で撮像された撮像画像を画像処理することにより撮像部の撮像範囲内に人が存在するか否かを判定する画像処理型の人体検出手段を備える。当該人体検出手段で人を検出した場合、撮像装置は、撮像部で撮像された撮像画像群を監視装置に伝送する。一方、監視装置は、撮像装置から伝送された撮像画像群を録画する。監視装置で録画された撮像画像群は、監視装置に具備された再生部により画像表示部に表示させることができ、これによって、使用者の目で本当に侵入者がいたのか否かの確認作業を行うことができる。
特開2007−194863号公報
ところで、上記特許文献1に示すものでは、人体検出手段で人が検出される度に、撮像装置から監視装置に撮像画像群が伝送される。そのため、人が検出される回数が増えれば、監視装置の録画部で録画される撮像画像群の数(録画件数)も増加する。しかし、特許文献1に示すものでは、撮像画像群の確認作業を行うためには、撮像画像群を逐一再生部で再生して実際に画像表示部に表示させなければならない。したがって、上記特許文献1に示すものでは、撮像画像群の録画件数が増えれば増えるほど、その確認作業に多大な時間および労力がかかってしまうという問題があった。
本発明は上述の点に鑑みて為されたもので、その目的は、撮像装置より監視装置に伝送された撮像画像群の確認作業にかかる時間および労力を低減することができ、しかも撮像装置における処理時間の短縮化を図ることができる監視システムを提供することにある。
上記の課題を解決するために、請求項1の発明では、所定領域を撮像する撮像部を備える1乃至複数の撮像装置と、画像表示部を備える監視装置とを有し、撮像装置は、撮像部で撮像された撮像画像に対して画像処理を行うことで対象物の検出を行う対象物検出手段と、対象物検出手段の検出結果を利用して上記所定領域に対象物が存在するか否かを判定する存否判定手段と、存否判定手段により対象物が存在すると判定されると対象物の検出時刻を含む所定時間内に撮像部で撮像された撮像画像群を監視装置に伝送する画像伝送手段と、画像伝送手段より監視装置に伝送される撮像画像群のなかから当該撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段とを備え、監視装置は、画像伝送手段より伝送された撮像画像群が記憶される画像記憶手段と、画像記憶手段に記憶された撮像画像群に含まれる撮像画像を時系列順に画像表示部に表示させる第1の表示手段と、画像記憶手段に記憶された複数の撮像画像群のなかから第1の表示手段により画像表示部に表示させる撮像画像群を選択する際に使用される選択用画像を作成して画像表示部に表示させる第2の表示手段とを備え、第2の表示手段は、選択用画像を作成するにあたっては、撮像画像群を表示する画像として当該撮像画像群に対応する特徴画像を用い、特徴画像選択手段は、対象物検出手段で実行される画像処理の結果を利用して特徴画像を選択することを特徴とする。
請求項1の発明によれば、第1の表示手段により画像表示部に表示する撮像画像群を選択する際に使用される選択用画像においては、撮像画像群を表示する画像として、当該撮像画像群のなかから撮像画像群の特徴が表れている撮像画像として選択された特徴画像が用いられるので、特徴画像を見ることによって、当該特徴画像に対応する撮像画像群の内容をおおまかに知ることができるから、撮像画像群を逐一第1の表示手段により画像表示部に表示させてその内容を確認する必要がなくなって、撮像画像群の確認作業にかかる時間および労力を低減することができ、しかも、特徴画像選択手段では、対象物検出手段で行う画像処理の結果を利用して特徴画像の選択を行うので、特徴画像を選択する処理にかかる負荷を低減することができるから、撮像装置における処理時間の短縮化を図ることができる。
請求項2の発明では、請求項1の発明において、上記対象物は移動体であって、上記対象物検出手段は、上記画像処理として、少なくとも、上記撮像部で撮像された撮像画像から移動体を検出する移動体検出処理と、当該移動体検出処理により検出された移動体の特徴量を演算する特徴量演算処理と、当該特徴量演算処理により演算された特徴量を利用して移動体が対象物か否かを判定する対象物判定処理とを実行し、上記特徴画像選択手段は、上記特徴量演算処理により演算された特徴量から特徴画像選択用の評価値を演算する評価値演算処理と、評価値演算処理で演算された評価値に基づいて上記特徴画像を選択する選択処理とを実行することを特徴とする。
請求項2の発明によれば、対象物の検出に利用する特徴量を特徴画像の選択に利用しているから、撮像装置における処理時間の短縮化を図ることができる。
請求項3の発明では、請求項1または2の発明において、上記選択用画像は、上記特徴画像を縮小してなるサムネイル画像を所定の順序で並べてなる画像であることを特徴とする。
請求項3の発明によれば、選択用画像において複数の撮像画像群のサムネイル画像を見ることができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項4の発明では、請求項3の発明において、上記所定の順序は、上記監視装置において上記撮像画像群を受け取った日時が新しい順であることを特徴とする。
請求項4の発明によれば、サムネイル画像の順序によって、監視装置において撮像画像群を受け取った順番を把握することができ、撮像画像群が新しいか古いかが一目で分かるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項5の発明では、請求項3または4の発明において、上記撮像装置を複数備え、上記第2の表示手段は、上記選択用画像を作成するにあたっては、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の上記撮像装置で撮像された撮像画像群のみを用いることを特徴とする。
請求項5の発明によれば、撮像装置別に選択用画像を表示することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項6の発明では、請求項3または4の発明において、上記第2の表示手段は、上記選択用画像を作成するにあたっては、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の時間帯に上記監視装置が受け取った撮像画像群のみを用いることを特徴とする。
請求項6の発明によれば、監視装置が撮像装置から撮像画像群を受け取った時間帯別に選択用画像を表示することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項7の発明では、請求項3または4の発明において、上記撮像装置を複数備え、上記第2の表示手段は、上記選択用画像を作成するにあたっては、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の上記撮像装置で撮像された撮像画像群よりなる第1の撮像画像群と、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の時間帯に上記監視装置が受け取った撮像画像群よりなる第2の撮像画像群とのいずれか一方を用い、上記監視装置は、上記第2の表示手段において第1の撮像画像群と第2の撮像画像群とのいずれを用いるかの選択に使用される選択入力手段を備えていることを特徴とする。
請求項7の発明によれば、撮像装置別、もしくは監視装置が撮像装置から撮像画像群を受け取った時間帯別に選択用画像を表示することができる上に、撮像装置別とするか監視装置が撮像装置から撮像画像群を受け取った時間帯別とするかを選択することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項8の発明では、請求項3〜7のうちいずれか1項の発明において、上記第2の表示手段は、上記サムネイル画像とともに当該サムネイル画像の関連情報を表示することを特徴とする。
請求項8の発明によれば、選択用画像を見ることによって、サムネイル画像と当該サムネイル画像の関連情報を見ることができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項9の発明では、請求項3〜8のうちいずれか1項の発明において、上記監視装置は、上記サムネイル画像のサイズの入力に使用されるサイズ入力手段を備え、上記第2の表示手段は、サイズ入力手段で入力されたサイズに応じて上記選択用画像に使用する上記サムネイル画像のサイズを変更するサイズ変更処理と、サイズ入力手段で入力されたサイズに応じて上記画像表示部に一度に表示させる上記サムネイル画像の数を変更する表示数変更処理とを実行することを特徴とする。
請求項9の発明によれば、サムネイル画像の見易さと一度に確認できるサムネイル画像の数とのバランスを使用者の好みに応じて変更することができるから、使い勝手が向上し、また、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
請求項10の発明では、請求項1〜9のうちいずれか1項の発明において、上記特徴画像選択手段は、上記撮像画像群の一部から上記特徴画像を選択することを特徴とする。
請求項10の発明によれば、特徴画像を選択する処理にかかる負荷をさらに低減することができるから、撮像装置における処理時間のさらなる短縮化を図ることができる。
本発明は、選択用画像を見るだけで、撮像画像群の内容をおおまかに知ることができるから、撮像画像群の確認作業にかかる時間および労力を低減することができ、しかも、特徴画像を選択する処理にかかる負荷を低減することができるから、撮像装置における処理時間の短縮化を図ることができるという効果を奏する。
以下、本発明の監視システムを、セキュリティインターホンシステム(以下、インターホンシステムと略す)に適用した実施形態に基づいて説明する。
本実施形態のインターホンシステムは、図2に示すように、住宅Hの軒先に設置される2つの撮像装置1(以下、必要に応じて1A,1Bで区別する)と、住宅H内(屋内)に設置され撮像装置1とともに監視システムを構成する監視装置としての機能を有する親機(インターホン親機)2と、住宅H外(屋外)に設置される子器(インターホン子器)3とで構成されている。なお、各撮像装置1および子器3は親機2に伝送線により接続されている。また、子器3は従来周知のものを採用することが可能であるから、本実施形態では子器3の説明を省略する。
撮像装置1は、図1に示すように、所定の撮像領域を撮像する撮像部10を備える。撮像部10は、CCDイメージ・センサやCMOSイメージ・センサなどの固体撮像素子よりなる撮像素子(図示せず)と、当該撮像素子とともにカメラとしての機能を発揮するDSP(Digital Signal Processor)などの制御装置(図示せず)とを主構成要素として備える。当該制御装置は、撮像素子の出力(電荷)を所定のフレームレート(例えば15FPS)で取り込み、取り込んだ撮像素子の出力に基づいて所定の形式(例えばYUV形式)のデジタル・データである画像データ(以下、「撮像画像」と称する)を作成して出力する機能を有する。この他、制御装置は、撮像素子の利得の自動制御機能や、画像を濃淡画像などに変換する色制御機能などを有する。なお、撮像素子としてCMOSイメージ・センサを用いる場合、撮像部10として、システム・オン・チップ(SoC)技術などを利用して撮像素子と制御装置とを一体に構成したワンチップカメラを用いることもできる。
撮像装置1は、撮像部10より撮像画像を受け取る画像データ処理部11と、撮像画像の記憶(貯蔵)に使用されるフラッシュメモリなどの書き換え可能な記憶装置(ストレージ・デバイス)である記憶部12と、撮像画像に対して画像処理を実行する画像処理部13と、親機2に撮像画像を伝送する伝送部14と、熱線センサ15と、撮像装置1の全体的な制御処理を実行する制御部16とを備える。
画像データ処理部11は、例えばFPGA(Field ProgrammableGate Array)などにより構成される。画像データ処理部11は、撮像画像に管理用の識別符号(例えばフレーム番号など)を付して記憶部12に書き込む処理(貯蔵処理)を実行する。また、画像データ処理部11は、画像処理部13に撮像画像を送出する処理(送出処理)を実行する。
さらに、画像データ処理部11は、伝送部14に撮像画像を伝送する処理(画像データ伝送処理)を実行する。当該画像データ伝送処理は、過去画像伝送処理と現在画像伝送処理とに分けられる。過去画像伝送処理は、制御部16から後述する伝送開始信号を受け取った際に、記憶部12に記憶された撮像画像群のうち撮像時刻が検出時刻(対象物である人を検出した時刻)以前の撮像画像から撮像時刻が現在時刻と同時刻(厳密な意味での同時刻ではなくおおよそ同時刻と考えられる範囲であればよく、どの程度の範囲までを同時刻と考えるかは適宜設定すればよい)の撮像画像までの撮像画像群を取得して、撮像時刻順(撮像時刻が古い順)に伝送部14に出力する処理である。現在画像伝送処理は、過去画像伝送処理が終了した後に撮像部10により撮像中の撮像画像を伝送部14に伝送する処理である。なお、現在画像伝送処理は、画像データ処理部11が制御部16より後述する伝送終了信号を受け取った際に終了する。
伝送部14は、画像データ処理部11より受け取った撮像画像を符号化(伝送路符号化)して親機2に送出する処理を実行する。ここで、伝送部14から親機2に画像データを送出するタイミングは、撮像部10のフレームレート(本実施形態では15FPS)と同期させている。なお、伝送部14は、撮像画像を伝送路符号化する前にYUV形式の撮像画像をNTSC形式の撮像画像に変換する処理(YUV/NTSC変換処理)を実行する。ただし、親機1においてYUV形式の撮像画像のままで再生が可能であれば、YUV/NTSC変換処理は実行する必要がない。この他、伝送部14は必要に応じて撮像画像を圧縮する処理や撮像画像の輪郭を強調する処理などを行う。
したがって、本実施形態では、撮像装置1の画像データ処理部11および伝送部14によって、対象物である人の検出時刻を含む所定時間内に撮像部10で撮像された撮像画像群を監視装置である親機2に伝送する画像伝送手段が構成される。
画像処理部13は、対象物検出手段13aと特徴画像選択手段13bとを備える。このような画像処理部13は、例えばマイクロコンピュータ(マイクロコントローラ、略称としてマイコン、広義にはCPUとも称される)であり、メモリに記憶されたプログラムをCPUで実行することにより対象物検出手段13aおよび特徴画像選択手段13bが実現される。なお、画像処理部13にはマイコンの他に専用のASIC(Application Specific Integrated Circuit)やDSPなども利用できる。
対象物検出手段13aは、撮像部10で撮像された撮像画像に対して画像処理を行うことで対象物(本実施形態では人)の検出を行う。対象物検出手段13aは、画像処理として、縮小化処理、移動体検出処理、特徴量演算処理、および対象物判定処理を実行する。
縮小化処理は、撮像画像を縮小化(撮像画像のサイズを小さく)して縮小画像を作成する処理である。縮小化処理では、例えば、撮像画像を構成する画素群のうち所定の大きさの方形の領域内に含まれる複数の画素の各画素値を前記複数の画素の画素値の平均値に順次置き換えていくことにより、縮小画像が作成される。このように撮像画像を縮小化することによりノイズを低減することができる。また、縮小画像を利用して対象物の検出を行うことにより、撮像画像をそのまま利用する場合に比べれば画像処理にかかる時間を短縮することができる。なお、縮小化処理は上記の例に限定されず、従来周知の種々の処理を採用することができる。また、縮小化処理は必ずしも必要な処理ではないため省略することができる。
移動体検出処理は、縮小化処理により得られた縮小画像から移動体を検出する処理であり、例えば、輪郭抽出処理、移動輪郭抽出処理、および移動領域抽出処理で構成される。輪郭抽出処理は、例えば一般的に知られたSOBELフィルタなどを使用して縮小画像に対して微分処理(各画素の微分値を算出)を行うことで、縮小画像から輪郭(エッジ)を抽出し、縮小画像の輪郭を示す輪郭画像を作成する処理である。移動輪郭抽出処理は、例えば記憶部12に保存された時系列の輪郭画像を用いて論理合成を行い、移動体の輪郭(以下、「移動輪郭」と称する)のみを抽出した合成画像を作成する処理である。移動領域抽出処理は、例えば移動輪郭抽出処理で抽出した移動体の輪郭を元に移動体に相当する領域(以下、「移動領域」と称する)を抽出する処理である。移動領域抽出処理では、例えば合成画像をラベリングすることにより移動体に相当する移動領域が作成される。ここで移動領域は、例えば移動輪郭に外接する矩形状(四角形)の領域(移動枠)よりなる。
特徴量演算処理は、移動体検出処理により検出された移動体の特徴量を演算する処理である。本実施形態における特徴量演算処理は、移動体検出処理により得られた移動領域から当該移動領域の縦方向(垂直方向)の長さ(画素数)を演算する処理である。すなわち、本実施形態では、移動体の特徴量として当該移動体に対応する移動領域の縦方向の長さを用いる。
対象物判定処理は、特徴量演算処理により演算された特徴量を利用して移動体が対象物(本実施形態では人)か否かを判定する処理であり、検出処理と確定処理とで構成される。
検出処理は、移動体の特徴量(すなわち移動領域の縦方向の長さ)が人体判定用の下限値以上かつ人体判定用の上限値以下であれば当該移動体は人であると判定し、それ以外(人体判定用の下限値未満、あるいは人体判定用の上限値超過)であれば当該移動体は人ではないと判定する処理を行う(撮像装置1の誤動作源となる移動体を除去する処理ともいえる)。ここで、人体判定用の下限値および上限値は、撮像部10の撮像素子の画素数やサイズ、撮像部10の設置位置、実際に撮像画像に写った人に対応する移動領域の縦方向の長さ、想定される移動領域の縦方向の長さなど種々の観点から好適な値に決定される。
確定処理は、検出処理により人であると判定された移動体(検出移動体)の連続性に基づいて当該移動体が人であるか否かを確定する処理である。例えば、確定処理では、検出移動体が時系列順の撮像画像(縮小画像)に連続して写っている回数(あるいは時間)が連続性判断回数(あるは連続性判断時間)を越えるか否かにより当該検出移動体が人であるか否かの確定を行う。一例としては、連続性判断回数が2回である場合、検出移動体が時系列順の撮像画像に連続して2回写っているときには当該検出移動体が人であると確定するが、検出移動体が時系列順の撮像画像に1回しか写っていないときには当該検出移動体が人であるとは確定しない。ここで、連続性判断回数を1回とすれば検出処理における判定結果がそのまま確定処理における判定結果となる。
上述の連続性判断回数は、撮像装置1の設置場所の状況に応じて好適な回数に設定される。例えば、撮像装置1の設置場所が比較的見晴らしの良い場所である場合、対象物が撮像画像に連続的に写る可能性が高くなるから、連続性判断回数を比較的多くすることによって誤検出を抑制することができる。一方、撮像装置1の設置場所が比較的見晴らしの悪い場所である場合、対象物が物陰に隠れて連続的に写らない可能性が高くなるから、連続性判断回数を比較的少なくすることによって対象物の検出を逃してしまうことを抑制することができる。
そして、対象物検出手段13aは、対象物確定処理により移動体が人であると確定された場合に制御部16に人体検知信号を出力する。
特徴画像選択手段13bは、上記画像伝送手段より親機2に伝送される撮像画像群のなかから当該撮像画像群の特徴が表れている特徴画像を選択するものである。この特徴画像選択手段13bは、評価値演算処理と選択処理とを実行する。
評価値演算処理は、対象物検出手段13aにおける特徴量演算処理により演算された特徴量から特徴画像選択用の評価値を演算する処理である。本実施形態における評価値演算処理では、特徴量をVSとした場合に、評価値VEを、VE=|VR−VS|+αにより求める。ここで、VRは特徴画像として最適な移動領域の縦方向の長さを示す基準値であり、例えば人の全身が適度な大きさで写る理想的な移動領域の縦方向の長さの値に設定される。αは補正値であり、移動領域の形状(例えば移動領域の縦横の比率)が上記理想的な移動領域の形状にどの程度近いかによって決定される(本実施形態では移動領域の形状が上記理想的な移動領域の形状に近いほど小さい値とする)。評価値演算処理で演算された評価値は、撮像画像の上記識別符号などと関連付けられて記憶部12に記憶される。
選択処理は、評価値演算処理で演算された評価値に基づいて撮像画像群のなかから特徴画像を選択する処理である。本実施形態における選択処理では、撮像画像群に含まれる撮像画像の評価値VEを記憶部12より読み出し、評価値VEが最も小さい撮像画像を特徴画像として選択する。
このように特徴画像選択手段13bは、対象物検出手段13aにおいて実行された画像処理の結果(特徴演算処理の結果)を利用して特徴画像の選択を行う。そして、特徴画像選択手段13bは、撮像画像群に対応する特徴画像に関する情報(例えば特徴画像として選択された撮像画像の上記識別符号)を伝送部14に送り、伝送部14から監視装置である親機2に伝送する。
熱線センサ15は、例えば、所定領域からの熱線を集光する光学系を構成するレンズ(図示せず)、集光した熱線の変化を電気信号に変換する焦電素子(図示せず)、電気信号を増幅する増幅回路(図示せず)、および増幅した信号のレベルを閾値と比較して所定領域内の人の存在を検知する比較器(図示せず)を備える熱線式の人体検知器である。熱線センサ15は、人体を検知した時には人体検知信号を制御部16へ出力する。
制御部16は、例えばメモリに記憶されたプログラムをCPUで実行することにより種々の機能を実現するマイコンなどにより構成される。制御部16には、画像処理部13と熱線センサ15とが接続される。そして、制御部16は、画像処理部13又は熱線センサ15より人体検知信号を受け取った際(つまりは、人の存在を検知した際)に、画像データ処理部11に前述の伝送開始信号を出力する処理(伝送開始処理)を実行する。すなわち、本実施形態では、制御部16が対象物検出手段13aの検出結果を利用して所定領域に対象物が存在するか否かを判定する存否判定手段を構成する。なお、本実施形態では、画像処理部13と熱線センサ15の検出結果を利用しているが、熱線センサ15は必ずしも設ける必要はなく、画像処理部13の検出結果のみを利用して存否判定を行ってもよい。また、熱線センサ15の代わりに異なる動作原理に基づくセンサを採用してもよいし、このようなセンサを熱線センサ15と併用してもよい。
また、制御部16は、上記伝送開始処理において、撮像装置1に設けた報知部(図示せず)に報知開始信号を出力する処理を行う。ここで、上記報知部は、侵入者に対して威嚇用の報知を行うためのものであって、視覚的な威嚇に用いられるライトや、聴覚的な威嚇に用いられる電気音響変換器(ブザーやスピーカ)などを備える。当該報知部は、制御部16から報知開始信号を受け取ってから後述する報知終了信号を受け取るまでの間、ライトを点灯したり、電気音響変換器から音声を出力したりする威嚇動作を実行する。
制御部16は、人体検知信号を受け取ってから所定時間が経過した後(例えば、検出時刻から30秒経過した後)に、画像データ処理部11に前述の伝送終了信号を出力する。さらに、制御部16は、人体検知信号を受け取ってから所定時間が経過した後(例えば、検出時刻から3秒経過した後)に、報知部に前述の報知終了信号を出力する。なお、伝送終了信号および報知終了信号を出力するタイミングは、上記の例に限られるものではい。また伝送終了信号および報知終了信号を出力するタイミングは、使用者が自由に設定できるようにしてもよい。
親機2は、図1に示すように、撮像装置1の伝送部14に通信線により接続される伝送部20と、液晶ディスプレイ(LCD)やCRTディスプレイなどの画像表示器である画像表示部21と、画像表示部21用の表示画像の作成などを行う画像処理部22と、撮像画像の記憶(貯蔵)に使用されるフラッシュメモリなどの書き換え可能な記憶装置である記憶部23と、設定画像を作成する設定画像作成部24と、設定画像を表示画像に合成する表示画像合成部25と、使用者が親機2を操作するためのユーザインタフェースである入力部26と、親機2の全体的な制御処理を行う制御部27とを備える。
上記構成に加えて、親機2は、子器3との間で通話を行うための通話装置(図示せず)を備える。当該通話装置は、子器3との間で音声データなどの送受信を行う通信部や、音声入力用のマイク、音声出力用のスピーカなどを備えている。なお、子器3がカメラ付きのものであるならば、子器3の動作時に、子器3のカメラで撮像した画像を、画像表示部21に表示するようにしてもよい。このような通話装置については従来周知のものを採用することができるから詳細な説明を省略する。
伝送部20は、撮像装置1の伝送部14より受け取った撮像画像や特徴画像情報を示す信号を復号化(伝送路復号化)して画像処理部22に出力する処理を実行する。また、伝送部20は、撮像装置1の伝送部14において撮像画像を圧縮する処理が実行されていた場合には、圧縮された撮像画像を伸張する処理を実行する。
画像表示部21は、撮像装置1の撮像部10で撮像された画像(図3(c)参照)や、画像処理部22で作成される選択用画像(図3(a),(b)参照)、設定画像(図4(a)〜(g)参照)の表示に使用される。
上述の画像処理部22、設定画像作成部24、および表示画像合成部25は、例えばマイコンなどにより構成され、メモリに記憶されたプログラムをCPUで実行することにより後述する種々の処理を実行する。なお、マイコンの他に専用のASICやDSPなども利用できる。
入力部26は、例えば、図3,4に示すように親機2の画像表示部21近傍(図示例では下側)に配置された複数個(図示例では4個)の操作釦(押釦)SW(必要に応じてSW1〜SW4で区別する)を有する。また、入力部26は、子器3からの呼び出しに対応する応答釦(図示せず)などを具備し、当該応答釦の操作により上記通話装置が起動される。
制御部27は、例えばメモリに記憶されたプログラムをCPUで実行することにより種々の機能を実現するマイクロコンピュータ(マイクロコントローラ、略称としてマイコン、広義にはCPUとも称される)などにより構成される。制御部27は、画像処理部22や設定画像作成部24に制御信号を出力することによって、親機2の動作モードの変更を行う。本実施形態における親機2は、動作モードとして、待機モードと、表示モードと、再生モードと、設定モードと、選択モードと、応答モードとを有する。なお、応答モードは、上述の通話装置により子器3との通話を可能にする動作モードであるから説明を省略する。
待機モードは、使用者による入力部26の操作や、撮像装置1からの撮像画像群の伝送、子器3からの呼び出しなどを待ち受ける動作モードである。この待機モードにおいて、伝送部20で撮像画像群を受け取った場合には、制御部27は、動作モードを表示モードに設定する。また、待機モードにおいて所定の操作釦SWが操作されると、制御部27は動作モードを選択モードあるいは設定モードに設定する。
表示モードは、主として撮像装置1で撮像中の画像を親機2にて表示する動作モードである。この表示モードでは、画像処理部22は伝送部20より受け取った撮像画像群を時系列順に画像表示部21で表示させる処理(表示処理)を実行する。
ところで、伝送部20で撮像画像群を受け取った場合、画像処理部22は受け取った撮像画像群を記憶部23に記憶する処理(録画処理)を実行する。したがって、本実施形態では、記憶部23が画像伝送手段(画像データ処理部11および伝送部14)より伝送された撮像画像群が記憶される画像記憶手段として使用される。
上記録画処理では、画像処理部22は、画像伝送手段より伝送された撮像画像群に含まれる撮像画像それぞれに対してフォーマットの変換や圧縮・伸張などを行い、これら撮像画像群を動画(撮像動画)として記憶部23に録画する。当該撮像動画には識別情報として、伝送部20で受け取った日時(撮像日時)や、撮像動画の元になった撮像画像を撮像した撮像装置1に関する情報(撮像装置識別情報)、撮像動画同士を識別するための識別番号などの種々の情報が付加される。なお、画像処理部22は、表示処理や録画処理の実行時に必要に応じて撮像画像に対して、画像サイズの変換や、ノイズの低減、明るさの調整、色合の調整、輪郭強調などの種々の処理(画像加工処理)を行う。
このように、撮像装置1より撮像画像群が親機2に伝送されると、親機2の画像表示部21には伝送された撮像画像群が時系列順に表示されるとともに、伝送された撮像画像群が記憶部23に記憶される(録画される)。
記憶部23に録画された撮像動画は再生モードで使用される。再生モードは、記憶部23に記憶された撮像動画を親機2にて再生する動作モードである。この再生モードでは、画像処理部22は、画像記憶手段である記憶部23に記憶された撮像動画に含まれる撮像画像を時系列順に画像表示部21に表示する(撮像動画を再生する)処理(再生処理)を実行する。また、再生処理では、画像処理部22は、図3(c)に示すように撮像動画とともにメッセージMを表示する。メッセージMは、再生中の撮像動画の上記識別番号や、上記撮像装置識別情報、上記撮像日時を表示する。このように本実施形態では、画像処理部22が、画像記憶手段に記憶された撮像画像群に含まれる撮像画像を時系列順に画像表示部21に表示させる第1の表示手段を構成する。
選択モードは、再生する撮像動画を選択するための選択用画面を親機2にて表示する動作モードである。この選択モードでは、画像処理部22は、再生処理により画像表示部21に表示する撮像動画を選択する際に使用される選択用画像を作成して画像表示部21に表示する処理(選択用画像表示処理)を実行する。このように本実施形態では、画像処理部22が、画像記憶手段に記憶された複数の撮像画像群のなかから第1の表示手段により画像表示部21に表示させる撮像画像群を選択する際に使用される選択用画像を作成して画像表示部21に表示する第2の表示手段を構成する。
選択用画像表示処理において、選択用画像を作成するにあたっては、画像処理部22は、撮像画像群を表示する画像として当該撮像画像群に対応する特徴画像を用いる。特に、本実施形態における画像処理部22は、特徴画像を所定サイズまで縮小してなるサムネイル画像Sを作成し、当該サムネイル画像Sを特徴画像の代わりに使用する。例えば、画像処理部22は、選択用画像として、図3(a)に示すように、サムネイル画像S(必要に応じて符号S1〜S12で区別する)を、マトリクス状(図示例では3行4列のマトリクス状)に並べた画像を作成する。このような選択用画像は、撮像動画の数に応じて1乃至複数用意される。すなわち、図3(a)に示す例では、一画面に表示するサムネイル画像Sの数が12であるから、撮像動画の数が12以下であれば選択用画像が1ページ分作成され、撮像動画の数が12を越えると選択用画像が撮像動画の数に応じて複数ページ分作成される。
このような選択用画像には、サムネイル画像Sとともに当該サムネイル画像Sの関連情報、例えば、上述の撮像日時や、上述の撮像装置識別情報、上述の識別番号などの情報を表示するようにしてもよい。このようにすれば、選択用画像を見ることによって、サムネイル画像Sと当該サムネイル画像Sの関連情報を見ることができるから、撮像画像群の確認作業にかかる時間および労力を低減することができる。
ところで、入力部26の操作釦SWには、親機2の現在の動作モードに応じて機能が割り当てられる(操作釦SWの操作により制御部27が実行する制御内容が異なる)。そのため、画像処理部22は、操作釦SWの機能を表示するためのフレームF(必要に応じてF1〜F4で区別する)を画像表示部21に表示する。ここで、フレームF1〜F4それぞれは操作釦SW1〜SW4それぞれに対応している。
選択モードでは、選択用画像のページ切替時(図3(a)参照)と撮像動画の選択時(図3(b)参照)とで、各操作釦SWに異なる機能が割り当てられている。選択用画像のページ切替時においては、操作釦SW1に選択モードを終了して待機モードに移行する機能、操作釦SW4に次の選択用画像を表示させるページ送り機能、操作釦SW2に前の選択用画像を表示させるページ戻し機能、操作釦SW3に選択用画像のページ切替から撮像動画の選択に移行する機能がそれぞれ割り当てられる。一方、撮像動画の選択時においては、撮像動画選択用の選択枠Cが表示される。そして、操作釦SW1に撮像動画の選択から選択用画像の選択に移行する機能、操作釦SW3に選択枠Cで囲まれている撮像動画(すなわち選択中の撮像動画)の再生を開始させる(すなわち再生モードに移行する)機能、操作釦SW4に選択枠Cを順番が後の撮像動画に移動させる送り機能、操作釦SW2に選択枠Cを順番が前の撮像動画に移動させる戻し機能がそれぞれ割り当てられている。そのため、図3(a),(b)それぞれでは、各フレームF1〜F4で表示する画像は対応する操作釦SW1〜SW4の機能を表示するものになっている。
設定モードは、選択用画像で表示する撮像動画の順番および種類と、サムネイル画像Sのサイズ(一度に表示するサムネイル画像Sの数)とを設定するための設定画面を親機2にて表示する動作モードである。この設定モードでは、設定画像作成部24で作成される設定画像が表示画像合成25により画像表示部21に表示される。
設定画像作成部24は、図4(a)に示すように、設定する項目、例えば、「表示順」、「表示時間帯」、「表示機器」、「サイズ」の4項目を表示する設定画像(基本設定画像)を作成する。設定モードにおいてもフレームF1〜F4が表示され、図4(a)に示す設定画像が表示されている際には、操作釦SW1に設定モードを終了して待機モードに移行する機能、操作釦SW3に項目を決定する機能、操作釦SW4に項目の送り機能、操作釦SW2に項目の戻し機能がそれぞれ割り当てられる。なお、項目の選択には図3(b)に示すような選択枠Cを表示してもよいし、選択中の項目を表す文字の色を他とは異ならせるようにしてもよい。
ここで、「表示順」は、選択用画像で表示する撮像動画の順番を決定する項目であり、本実施形態では、親機2において撮像動画を受け取った日時が新しい順と古い順との2種類としている。そのため、「表示順」が選択された場合には、設定画像作成部24は、図4(b)に示すように、現在設定中の項目を示す「表示順設定」と、設定項目を示す「新しい順」および「古い順」とを表示する設定画像(表示順設定画像)を作成する。この場合もフレームF1〜F4が表示され、操作釦SW1に表示順の設定を終了する機能(基本設定画像の表示に戻る機能)、操作釦SW3に設定項目を決定する機能、操作釦SW4に設定項目の送り機能、操作釦SW2に設定項目の戻し機能がそれぞれ割り当てられる。
そして、「新しい順」が選択されると、画像処理部22が実行する選択用画像表示処理において、上述の撮像日時が新しい順にサムネイル画像Sを並べてなる選択用画像が作成される。例えば、図3(a)に示すように、サムネイル画像S1の撮像日時が最も新しく、以後、サムネイル画像S2,S3,S4,S5,S6,S7,S8,S9,S10,S11,S12の順に撮像日時が古くなる選択用画像が作成される。一方、「古い順」が選択されると、選択用画像表示処理において、上述の撮像日時が古い順にサムネイル画像Sを並べてなる選択用画像が作成される。例えば、図3(a)に示すように、サムネイル画像S1の撮像日時が最も古く、以後、サムネイル画像S2,S3,S4,S5,S6,S7,S8,S9,S10,S11,S12の順に撮像日時が新しくなる選択用画像が作成される。
「表示時間帯」および「表示機器」は、選択用画像で表示する撮像動画の種類を決定する項目である。つまり、この項目に応じて、記憶部23に記憶されている撮像動画のうち選択用画像でサムネイル画像Sを表示する対象となる撮像動画が決定される。
「表示時間帯」については、本実施形態では大きく分けて、全ての撮像動画を選択用画像で表示する対象とする「全表示」と、撮像日時が所定の時間帯に含まれる撮像動画を選択用画像で表示する対象とする「時間帯表示」との2種類としている。また、「時間帯表示」は、撮像日時の日時まで指定する「日時指定」と、撮像日時の時間のみを指定する「時間指定」とに分けられている。そのため、「表示時間帯」が選択された場合には、設定画像作成部24は、図4(c)に示すように、現在設定中の項目を示す「表示時間帯設定」と、設定項目を示す「全表示」および「時間帯表示」、さらに時間帯表示に含まれる「日時指定」および「時間指定」とを表示する設定画像(表示時間帯設定画像)を作成する。この場合もフレームF1〜F4が表示され、操作釦SW1に表示時間帯の設定を終了する機能(基本設定画像の表示に戻る機能)、操作釦SW3に設定項目を決定する機能、操作釦SW4に設定項目の送り機能、操作釦SW2に設定項目の戻し機能がそれぞれ割り当てられる。
そして、「全表示」が選択されると、画像処理部22が実行する選択用画像表示処理において、全ての撮像動画が選択用画像での表示対象に設定される。
一方、「日時指定」が選択された場合には、設定画像作成部24は、図4(d)に示すように、現在設定中の内容を示す「時間帯表示の日時指定」と、日時指定の開始日時および終了日時を表示する設定画像(日時設定画像)を作成する。この場合もフレームF1〜F4が表示され、操作釦SW1に日時指定の設定を終了する機能(表示時間帯設定画像の表示に戻る機能)、操作釦SW3に開始日時と終了日時の入力に移行する機能および各日時の入力を決定する機能、操作釦SW4に開始日時と終了日時の入力選択用の送り機能および各日時の数字送り機能、操作釦SW2に開始日時と終了日時の入力選択用の戻し機能および各日時の数字戻し機能がそれぞれ割り当てられる。
そして、開始日時および終了日時が入力されると、画像処理部22が実行する選択用画像表示処理において、撮像時刻が、上記開始日時から上記終了日時に含まれる撮像動画(記憶部23に記憶された複数の撮像画像群のうち所定の時間帯に親機2が受け取った撮像画像群よりなる第2の撮像画像群)のみが選択用画像での表示対象に設定される。
また、「時間指定」が選択された場合には、設定画像作成部24は、図4(e)に示すように、現在設定中の内容を示す「時間帯表示の時間指定」と、時間指定の開始時間および終了時間を表示する設定画像(時間設定画像)を作成する。この場合もフレームF1〜F4が表示され、操作釦SW1に時間指定の設定を終了する機能(表示時間帯設定画像の表示に戻る機能)、操作釦SW3に開始時間と終了時間の入力に移行する機能および各時間の入力を決定する機能、操作釦SW4に開始時間と終了時間の入力選択用の送り機能および各時間の数字送り機能、操作釦SW2に開始時間と終了時間の入力選択用の戻し機能および各時間の数字戻し機能がそれぞれ割り当てられる。
そして、開始時刻および終了時刻が入力されると、画像処理部22が実行する選択用画像表示処理において、撮像時刻が、上記開始時刻から上記終了時刻に含まれる撮像動画(記憶部23に記憶された複数の撮像画像群のうち所定の時間帯に親機2が受け取った撮像画像群よりなる第2の撮像画像群)のみが選択用画像での表示対象に設定される。
このように本実施形態の親機2では、入力部26および制御部27によって、画像処理部22において第1の撮像画像群と第2の撮像画像群とのいずれを用いるかの選択に使用される選択入力手段が構成される。
「表示機器」については、本実施形態では、撮像装置1Aを示す「センサカメラA」と、撮像装置1Bを示す「センサカメラB」との2種類である。そのため、「表示機器」が選択された場合には、設定画像作成部24は、図4(f)に示すように、現在設定中の項目を示す「表示機器帯設定」と、表示機器を示す「センサカメラA」および「センサカメラB」、さらに各表示機器で撮像された撮像動画を表示対象とするか否かを示す「ON」または「OFF」とを表示する設定画像(表示機器設定画像)を作成する。この場合もフレームF1〜F4が表示され、操作釦SW1に表示機器の設定を終了する機能(基本設定画像の表示に戻る機能)、操作釦SW3に「ON」と「OFF」を切り替える機能、操作釦SW2,4にセンサカメラA,Bを切り替える機能がそれぞれ割り当てられる。
ここで「センサカメラA」について「ON」が選択されると、画像処理部22が実行する選択用画像表示処理において、撮像装置1Aで撮像された撮像画像群が選択用画像での表示対象に設定され、「OFF」が選択されると表示対象から除外される。また、「センサカメラB」について「ON」が選択されると、画像処理部22が実行する選択用画像表示処理において、撮像装置1Bで撮像された撮像画像群が選択用画像での表示対象に設定され、「OFF」が選択されると表示対象から除外される。
したがって、「センサカメラA」,「センサカメラB」についての「on」,「off」の組み合わせによって、選択用画像で表示対象とする撮像画像群の種類が設定される。具体的には、「センサカメラA」,「センサカメラB」の両方が「on」であれば、撮像装置1a,1bの両方で撮像された撮像画像群が表示対象とされ、「センサカメラA」のみが「on」であれば、撮像装置1aで撮像された撮像画像群のみが表示対象とされ、「センサカメラB」のみが「on」であれば、撮像装置1bで撮像された撮像画像群のみが表示対象とされる。
このような「表示時間帯」および「表示機器」について適宜設定することによって、例えば、選択用画像では、記憶部23に記憶されている撮像動画から、撮像装置1Aで撮像された撮像動画のみを選択し、かつその撮像日時を日時や時刻により限定することが可能であり、使用者が必要と考える撮像動画に関するサムネイル画像のみが選択用画像に表示される。
「サイズ」は、選択用画像で表示するサムネイル画像Sのサイズを決定する項目である。本実施形態では、サムネイル画像のサイズを種々のサイズ、例えば「80×60」、「100×75」、「120×90」、「140×105」などから選択することができるようにしている。そのため、「サイズ」が選択された場合には、設定画像作成部24は、図4(g)に示すように、現在設定中の項目を示す「サイズ設定」と、サイズを示す「80×60」、「100×75」、「120×90」、「140×105」などを表示する設定画像(サイズ設定画像)を作成する。この場合もフレームF1〜F4が表示され、操作釦SW1にサイズの設定を終了する機能(基本設定画像の表示に戻る機能)、操作釦SW3にサイズを決定する機能、操作釦SW4に選択するサイズの送り機能、操作釦SW2に選択するサイズの戻し機能がそれぞれ割り当てられる。したがって、本実施形態の監視システムでは、親機2の入力部26と制御部27とによって、サムネイル画像Sのサイズの入力に使用されるサイズ入力手段が構成される。
サイズ入力手段によりいずれかのサイズが選択されると、画像処理部22は、サイズ入力手段で入力されたサイズに応じて選択用画像に使用するサムネイル画像Sのサイズを変更するサイズ変更処理を実行する。また、画像処理部22は、サイズ入力手段で入力されたサイズに応じて画像表示部21に一度に表示させるサムネイル画像Sの数を変更する表示数変更処理を実行する。本実施形態における表示数変更処理は、サムネイル画像Sのサイズが大きくなればなるほど画像表示部21に一度に表示させるサムネイル画像Sの数を減らし、サムネイル画像Sのサイズが小さくなればなるほど画像表示部21に一度に表示させるサムネイル画像Sの数を増やす。
例えば、図3(a)に示すように、画像表示部21に一度に表示するサムネイル画像Sの数が12であり、このときのサムネイル画像Sのサイズが「120×90」であるとする。この状態において、サイズ入力手段により「100×75」が選択されると、画像処理部22は、サイズ変更処理および表示数変更処理を実行することにより、サムネイル画像Sのサイズを「120×90」から「100×75」に変更するとともに、画像表示部21で表示するサムネイル画像Sの数を12から20に増やす。これによって、画像処理部22は、図5(a)に示すように、サイズが「100×75」のサムネイル画像S(図示例ではS1〜S20)を画像表示部21に一度(一画面)に20枚表示する設定用画像を作成する。
一方、サイズ入力手段により「140×105」が選択されると、画像処理部22は、サムネイル画像Sのサイズを「120×90」から「140×105」に変更するとともに、画像表示部21で表示するサムネイル画像Sの数を12から6に減らす。これによって、画像処理部22は、図5(b)に示すように、サイズが「140×105」のサムネイル画像S(図示例ではS1〜S6)を画像表示部21に一度(一画面)に6枚表示する設定用画像を作成する。
このように設定モードでは、選択モードで表示する選択用画像の種々の設定を行うことが可能である。
以上述べたように、図1に示すインターホンシステムでは、2つの撮像装置1と、親機2とにより監視システムが構成されている。
そして、監視システムを構成する撮像装置1は、撮像部10で撮像された画像に対して画像処理を行うことで対象物の検出を行う対象物検出手段13aと、対象物検出手段13aの検出結果を利用して上記所定領域に対象物が存在するか否かを判定する存否判定手段(制御部16)と、存否判定手段により対象物が存在すると判定されると対象物の検出時刻を含む所定時間内に撮像部10で撮像された画像群を親機2に伝送する画像伝送手段(データ処理部11および伝送部14)と、画像伝送手段より親機2に伝送される撮像画像群のなかから当該撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段13bとを備える。
一方、親機2は、画像伝送手段より伝送された撮像画像群が記憶される画像記憶手段(記憶部23)と、画像記憶手段に記憶された撮像画像群に含まれる撮像画像を時系列順に画像表示部21に表示する第1の表示手段(画像処理部22)と、画像記憶手段に記憶された複数の撮像画像群のなかから第1の表示手段により画像表示部21に表示させる撮像画像群を選択する際に使用される選択用画像を作成して画像表示部21に表示させる第2の表示手段(画像処理部22)とを備え、第2の表示手段は、選択用画像を作成するにあたっては、撮像画像群を表示させる画像として当該撮像画像群に対応する特徴画像を用いる。
そして、撮像装置1の特徴画像選択手段13bは、対象物検出手段13aで実行される画像処理の結果を利用して特徴画像を選択する。
このような監視システムによれば、第1の表示手段(画像処理部22)により画像表示部21に表示する撮像画像群を選択する際に使用される選択用画像においては、撮像画像群を表示する画像として、当該撮像画像群のなかから撮像画像群の特徴が表れている撮像画像として選択された特徴画像が用いられる。そのため特徴画像を見ることによって、当該特徴画像に対応する撮像画像群の内容をおおまかに知ることができる。したがって、撮像画像群を逐一第1の表示手段(画像処理部22)により画像表示部21に表示させてその内容を確認する必要がなくなる。その結果、撮像画像群の確認作業にかかる時間および労力を低減することができる。
また、監視システムにおける対象物は移動体である人であって、対象物検出手段13aは、画像処理として、上記移動体検出処理と、上記特徴量演算処理と、上記対象物判定処理とを実行する。一方、特徴画像選択手段13bは、上記評価値演算処理と、上記選択処理とを実行する。ここで、上記評価値演算処理は、上記特徴量演算処理により演算された特徴量から特徴画像選択用の評価値を演算する処理である。
つまり、特徴画像選択手段13bでは、対象物検出手段12aで行う画像処理の結果を利用して特徴画像の選択を行う。そのため、特徴画像を選択する処理にかかる負荷を低減することができる。したがって、撮像装置1における処理時間の短縮化を図ることができる。
また、画像処理部22で作成される選択用画像は、特徴画像を縮小してなるサムネイル画像Sを所定の順序で並べてなる画像であるので(図3および図5参照)、選択用画像において複数の撮像画像群のサムネイル画像Sを見ることができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
しかも、上記所定の順序は、上記撮像日時順であるので、サムネイル画像Sの順序によって、親機2において撮像画像群を受け取った順番を把握することができ、撮像画像群が新しいか古いかが一目で分かるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。特に、上記撮像日時が新しい順にサムネイル画像Sを並べることによって、更新内容を即時に知ることができる。
さらに、第2の表示手段(画像処理部22)は、選択用画像を作成するにあたっては、画像記憶手段(記憶部23)に記憶された複数の撮像画像群のうち所定の撮像装置1で撮像された撮像画像群(第1の撮像画像群)のみを用いることで、撮像装置1別に選択用画像を表示することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。また、第2の表示手段(画像処理部22)は、選択用画像を作成するにあたっては、画像記憶手段(記憶部23)に記憶された複数の撮像画像群のうち所定の時間帯に親機2が受け取った撮像画像群(第2の撮像画像群)のみを用いることで、親機2が撮像装置1から撮像画像群を受け取った時間帯別に選択用画像を表示することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。さらに、第2の表示手段(画像処理部22)は、選択用画像を作成するにあたっては、上記第1の撮像画像群と第2の撮像画像群との両方に含まれる撮像画像群よりなる第3の撮像画像群のみを用いることで、撮像装置1別かつ親機2が撮像装置1から撮像画像群を受け取った時間帯別に選択用画像を表示することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
加えて、親機2では、第1の撮像画像群、第2の撮像画像群、および第3の撮像画像群のいずれを用いるかを選択することができるから、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
また、画像処理部22は、入力されたサイズに応じて選択用画像に使用するサムネイル画像Sのサイズを変更するサイズ変更処理と、入力されたサイズに応じて画像表示部21に一度に表示するサムネイル画像Sの数を変更する表示数変更処理とを実行するので、サムネイル画像Sの見易さと一度に確認できるサムネイル画像Sの数とのバランスを使用者の好みに応じて変更することができるから、使い勝手が向上し、また、撮像画像群の確認作業にかかる時間および労力をさらに低減することができる。
ところで、画像処理部13の対象物検出手段13aおよび特徴画像選択手段13bで行う処理は上記の例に限定されず、例えば次のようにしてもよい。
すなわち、対象物検出手段13aにおける特徴量演算処理は、移動体検出処理により得られた移動領域から、撮像画像の下端縁に対する移動領域の最下端の高さを演算するようにしてもよい。この例では、撮像画像の下端縁に対する移動領域の最下端の高さ(換言すれば移動領域の位置)を特徴量として用いる。ただし、撮像画像の下端縁に対する移動領域の最下端の高さが0(撮像画像の下端縁と移動領域の最下端とが同じ)になる移動領域は次の検出処理の対象から除外される。
検出処理は、移動体の特徴量(すなわち移動領域の位置)が、人体判定用の下限値以上かつ人体判定用の上限値以下であれば、当該移動体は人であると判定し、それ以外(人体判定用の下限値未満、あるいは人体判定用の上限値超過)であれば、当該移動体は人ではないと判定する処理を行う。ここで、人体判定用の下限値および上限値は、撮像部10の撮像素子の画素数やサイズ、撮像部10の設置位置、実際に撮像画像に写った人に対応する移動領域の位置、想定される移動領域の位置など種々の観点から好適な値に決定される。
特徴画像選択手段13bの評価値演算処理では、特徴量をそのまま評価値として用いる。当該評価値演算処理で演算された評価値は、撮像画像の上記識別符号などと関連付けられて記憶部12に記憶される。そして、選択処理では、撮像画像群に含まれる撮像画像の評価値を記憶部12より読み出し、最も評価値が小さい撮像画像を特徴画像として選択する。
すなわち、この例では、特徴画像選択手段13bは、人の位置を選択基準として人が最も撮像装置の近くに位置している撮像画像を特徴画像として選択するのである。
この他の例としては、特徴画像選択手段13bは、同様に人の位置を選択基準とし、人が所定範囲内に位置している撮像画像を特徴画像として選択するようにしてもよい。
また、明るさを選択基準として選択することができる。この場合、人の全体(背格好や服などの全身)の明るさ、あるいは人の顔の明るさを選択基準とすることが考えられる。ここで、人の全身と顔とを区別して考えるのは、人の全身(例えば着ている服)と人の顔とで反射率が大きく異なる場合があるからである。例えば、人の顔に比べて服の反射率が高い場合、人の全体の明るさを選択基準とすれば、顔が暗くなり特徴が分かり難くなることがある。逆に人の顔の明るさを選択基準とすれば、服が白とびをして全体の特徴が分かり難くなることがある。
したがって、人の全体の特徴を見たい場合には、人の全体の明るさを選択基準として適度な明るさで写っている撮像画像を特徴画像として選択するようにすればよい。一方、人の顔の特徴を見たい場合には、人の顔の明るさを選択基準として適度な明るさで写っている撮像画像を特徴画像として選択するようにすればよい。
このように、上記の特徴画像選択手段13bでは、特徴画像の選択基準として、種々の選択基準を採用することができる。例えば上記の他に、特徴画像選択手段13bは、撮像画像に写っている人の数を選択基準として写っている人の数が多い撮像画像を特徴画像として選択するようにしてもよいし、人の顔の大きさを選択基準として人の顔が大きく写っている撮像画像を特徴画像として選択するようにしてもよいし、人の顔の角度を選択基準として人の顔が正面を向いている撮像画像を特徴画像として選択するようにしてもよい。また、特徴画像の選択基準は上記の例に限定されず、使用者の好みに応じて適宜選択できるようにしてもよい。さらに、特徴画像選択手段13bでは、複数の選択基準を用いて特徴画像の選択を行うようにしてもよく、この場合は、選択基準毎に優先順位を設定して、特徴画像を選択するようにすればよい。
本実施形態において、特徴画像選択手段13bは、例えば図6(a)に示すように、画像伝送手段より親機2に伝送される撮像画像群(撮像画像P1〜P28)のなかから当該撮像画像群の特徴が表れている特徴画像を選択する。
しなしながら、特徴画像選択手段13bは、画像伝送手段より親機2に伝送される撮像画像群の一部から特徴画像を選択するようにしてもよい。例えば、特徴画像選択手段13bは、本実施形態において15FPSである撮像画像群(撮像画像P1〜P28)を、図6(b)に示すように時間軸に対して圧縮して5FPSとし、このように圧縮した撮像画像群(撮像画像P2,P5,P8,P11,P14,P17,P20,P23,P26)から特徴画像を選択するようにしてもよい。
この場合、圧縮前は28枚の撮像画像P1〜P28に対して評価値演算処理を実行する必要があるが、圧縮後は9枚の撮像画像P2,P5,P8,P11,P14,P17,P20,P23,P26に対して評価値演算処理を実行すれば済む。つまり、圧縮率に応じて評価値演算処理の実行回数を減らすことができる(上記の例では、フレームレートを3倍に圧縮しているので、実行回数を1/3程度に減らすことができる)。
このように画像伝送手段より親機2に伝送される撮像画像群の一部から特徴画像を選択するようにすれば、評価値演算処理を実行する回数を減らすことができるので、特徴画像を選択する処理にかかる負荷をさらに低減することができる。そのため、撮像装置1における処理時間のさらなる短縮化を図ることができる。
なお、特徴画像選択手段13bにおいて撮像画像群を時間軸に対して圧縮する際の圧縮率は上記の値に限定されず、好適な値に設定すればよい。また、必ずしも、画像伝送手段より親機2に伝送される撮像画像群を時間軸に対して一律に圧縮したものから特徴画像を選択する必要はなく、例えば、検出時刻から時間が経過するほど圧縮率を段階的に大きくするようにしてもよい。要は、画像伝送手段より親機2に伝送される撮像画像群の一部から特徴画像を選択するようにすればよい。
上述した本実施形態の監視システムの構成はあくまでも本発明の一実施形態であって、本発明の技術的範囲を上記の例に限定する趣旨ではなく、本発明の趣旨を逸脱しない程度に変更することができる。例えば、撮像装置1の数は上記の例に限定されないし、各撮像装置1は必ずしも熱線センサ15を有している必要もない。また、撮像装置1の画像処理部13で行う人体検出用の画像処理方法も上記の例に限定されず、シルエットマッチングや背景差分、エッジの方向コードを利用する方法など従来周知のものを採用することができる。さらに、本実施形態では、監視システムをインターホンシステムに適用した例を示しているが、勿論監視システム単体として使用することができるし、インターホンシステムその他のシステムにも適用することができる。
1 撮像装置
2 親機(監視装置)
10 撮像部
11 画像データ処理部
13a 対象物検出手段
13b 特徴画像選択手段
14 伝送部
16 制御部(存否判定手段)
21 画像表示部
22 画像処理部(第1の表示手段,第2の表示手段)
23 記憶部(画像記憶手段)
26 入力部
2 親機(監視装置)
10 撮像部
11 画像データ処理部
13a 対象物検出手段
13b 特徴画像選択手段
14 伝送部
16 制御部(存否判定手段)
21 画像表示部
22 画像処理部(第1の表示手段,第2の表示手段)
23 記憶部(画像記憶手段)
26 入力部
Claims (10)
- 所定領域を撮像する撮像部を備える1乃至複数の撮像装置と、画像表示部を備える監視装置とを有し、
撮像装置は、撮像部で撮像された撮像画像に対して画像処理を行うことで対象物の検出を行う対象物検出手段と、対象物検出手段の検出結果を利用して上記所定領域に対象物が存在するか否かを判定する存否判定手段と、存否判定手段により対象物が存在すると判定されると対象物の検出時刻を含む所定時間内に撮像部で撮像された撮像画像群を監視装置に伝送する画像伝送手段と、画像伝送手段より監視装置に伝送される撮像画像群のなかから当該撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段とを備え、
監視装置は、画像伝送手段より伝送された撮像画像群が記憶される画像記憶手段と、画像記憶手段に記憶された撮像画像群に含まれる撮像画像を時系列順に画像表示部に表示させる第1の表示手段と、画像記憶手段に記憶された複数の撮像画像群のなかから第1の表示手段により画像表示部に表示させる撮像画像群を選択する際に使用される選択用画像を作成して画像表示部に表示させる第2の表示手段とを備え、
第2の表示手段は、選択用画像を作成するにあたっては、撮像画像群を表示する画像として当該撮像画像群に対応する特徴画像を用い、
特徴画像選択手段は、対象物検出手段で実行される画像処理の結果を利用して特徴画像を選択することを特徴とする監視システム。 - 上記対象物は移動体であって、
上記対象物検出手段は、上記画像処理として、少なくとも、上記撮像部で撮像された撮像画像から移動体を検出する移動体検出処理と、当該移動体検出処理により検出された移動体の特徴量を演算する特徴量演算処理と、当該特徴量演算処理により演算された特徴量を利用して移動体が対象物か否かを判定する対象物判定処理とを実行し、
上記特徴画像選択手段は、上記特徴量演算処理により演算された特徴量から特徴画像選択用の評価値を演算する評価値演算処理と、評価値演算処理で演算された評価値に基づいて上記特徴画像を選択する選択処理とを実行することを特徴とすることを請求項1記載の監視システム。 - 上記選択用画像は、上記特徴画像を縮小してなるサムネイル画像を所定の順序で並べてなる画像であることを特徴とする請求項1または2記載の監視システム。
- 上記所定の順序は、上記監視装置において上記撮像画像群を受け取った日時が新しい順であることを特徴とする請求項3記載の監視システム。
- 上記撮像装置を複数備え、
上記第2の表示手段は、上記選択用画像を作成するにあたっては、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の上記撮像装置で撮像された撮像画像群のみを用いることを特徴とする請求項3または4記載の監視システム。 - 上記第2の表示手段は、上記選択用画像を作成するにあたっては、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の時間帯に上記監視装置が受け取った撮像画像群のみを用いることを特徴とする請求項3または4記載の監視システム。
- 上記撮像装置を複数備え、
上記第2の表示手段は、上記選択用画像を作成するにあたっては、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の上記撮像装置で撮像された撮像画像群よりなる第1の撮像画像群と、上記画像記憶手段に記憶された複数の撮像画像群のうち所定の時間帯に上記監視装置が受け取った撮像画像群よりなる第2の撮像画像群とのいずれか一方を用い、
上記監視装置は、上記第2の表示手段において第1の撮像画像群と第2の撮像画像群とのいずれを用いるかの選択に使用される選択入力手段を備えていることを特徴とする請求項3または4記載の監視システム。 - 上記第2の表示手段は、上記サムネイル画像とともに当該サムネイル画像の関連情報を表示することを特徴とする請求項3〜7のうちいずれか1項記載の監視システム。
- 上記監視装置は、上記サムネイル画像のサイズの入力に使用されるサイズ入力手段を備え、
上記第2の表示手段は、サイズ入力手段で入力されたサイズに応じて上記選択用画像に使用する上記サムネイル画像のサイズを変更するサイズ変更処理と、サイズ入力手段で入力されたサイズに応じて上記画像表示部に一度に表示させる上記サムネイル画像の数を変更する表示数変更処理とを実行することを特徴とする請求項3〜8のうちいずれか1項記載の監視システム。 - 上記特徴画像選択手段は、上記撮像画像群の一部から上記特徴画像を選択することを特徴とする請求項1〜9のうちいずれか1項記載の監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008151882A JP2009302659A (ja) | 2008-06-10 | 2008-06-10 | 監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008151882A JP2009302659A (ja) | 2008-06-10 | 2008-06-10 | 監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009302659A true JP2009302659A (ja) | 2009-12-24 |
Family
ID=41549142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008151882A Withdrawn JP2009302659A (ja) | 2008-06-10 | 2008-06-10 | 監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009302659A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012034025A (ja) * | 2010-07-28 | 2012-02-16 | Aiphone Co Ltd | 住宅インターホンシステム |
JP2012048382A (ja) * | 2010-08-25 | 2012-03-08 | Secom Co Ltd | 複合型センサ |
JP2012070209A (ja) * | 2010-09-24 | 2012-04-05 | Aiphone Co Ltd | インターホン装置 |
WO2012124230A1 (ja) * | 2011-03-17 | 2012-09-20 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP2017050607A (ja) * | 2015-08-31 | 2017-03-09 | パナソニックIpマネジメント株式会社 | 集合用インターホン装置 |
JP2021061544A (ja) * | 2019-10-08 | 2021-04-15 | アイホン株式会社 | 集合住宅インターホンシステム |
-
2008
- 2008-06-10 JP JP2008151882A patent/JP2009302659A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012034025A (ja) * | 2010-07-28 | 2012-02-16 | Aiphone Co Ltd | 住宅インターホンシステム |
JP2012048382A (ja) * | 2010-08-25 | 2012-03-08 | Secom Co Ltd | 複合型センサ |
JP2012070209A (ja) * | 2010-09-24 | 2012-04-05 | Aiphone Co Ltd | インターホン装置 |
WO2012124230A1 (ja) * | 2011-03-17 | 2012-09-20 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP5958462B2 (ja) * | 2011-03-17 | 2016-08-02 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP2017050607A (ja) * | 2015-08-31 | 2017-03-09 | パナソニックIpマネジメント株式会社 | 集合用インターホン装置 |
JP2021061544A (ja) * | 2019-10-08 | 2021-04-15 | アイホン株式会社 | 集合住宅インターホンシステム |
JP7442289B2 (ja) | 2019-10-08 | 2024-03-04 | アイホン株式会社 | 集合住宅インターホンシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101180474B1 (ko) | 셔터 지연을 방지하는 영상 획득 모듈 및 영상 획득 방법 | |
US8373772B2 (en) | Imaging apparatus for capturing a main image and a sub image | |
US20110102616A1 (en) | Data structure for still image file, image file generation device, image reproduction device, and electronic camera | |
JP2009302659A (ja) | 監視システム | |
JP5322799B2 (ja) | 撮像装置及び撮像方法 | |
KR20070117644A (ko) | 촬상 장치, 데이터 추출 방법 및 데이터 추출 프로그램 기록매체 | |
JP2008042695A (ja) | 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法 | |
JP5322817B2 (ja) | 3次元画像撮像装置及び3次元画像表示方法 | |
JP4723291B2 (ja) | テレビドアホンシステム | |
JP4792986B2 (ja) | 監視システム | |
JP2010034706A (ja) | 録画表示装置 | |
JP5192701B2 (ja) | 人体検出装置 | |
KR101280443B1 (ko) | 영역 영상을 처리하는 장치 및 그 제어방법 | |
JP4208596B2 (ja) | 操作端末装置、そのカメラ設定方法およびプログラム | |
JP4719874B2 (ja) | ドアホンシステム | |
JP5823282B2 (ja) | インターホンシステム | |
JP2009239707A (ja) | インターホン装置 | |
JP4135731B2 (ja) | ドアホンシステム | |
JP2008211660A (ja) | テレビインターホンシステム | |
US9137459B2 (en) | Image processing device, display device, image processing method, and computer-readable recording medium for generating composite image data | |
JP2006333146A (ja) | 人体検知器 | |
JP2008160598A (ja) | 監視システム | |
JP4853217B2 (ja) | ドアホンシステム | |
JP2005328333A (ja) | 監視システム | |
JP2011101161A (ja) | 撮像装置、その制御方法、再生装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100809 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110906 |