JP3617937B2 - 画像監視方法および画像監視装置 - Google Patents
画像監視方法および画像監視装置 Download PDFInfo
- Publication number
- JP3617937B2 JP3617937B2 JP18586299A JP18586299A JP3617937B2 JP 3617937 B2 JP3617937 B2 JP 3617937B2 JP 18586299 A JP18586299 A JP 18586299A JP 18586299 A JP18586299 A JP 18586299A JP 3617937 B2 JP3617937 B2 JP 3617937B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- subject
- image
- images
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、テレビ付きインターホンや、ビデオメールやテレビ電話などにも用いることのできる画像監視装置に関し、特に、人物を含む動画像から人物等の被写体を監視するための画像監視装置に関する。
【０００２】
【従来の技術】
マンションの入口や家庭の玄関に設置されるテレビ付きインターホンは来訪者の様子をモニターで確認することができるが、留守番電話のように留守中にも映像や音声を記録することが望まれている。このような機能を実現するためには、画像を動画で保存するためには、ＶＴＲ装置等を用いると装置が大型で扱いにくいものとなり、また、ハードディスク等の記憶媒体を用いる場合には記憶容量の問題から、小型化、低価格化が困難であった。
【０００３】
一方、これらの問題点を解決するために、静止画で保存する場合には、必ずしも人物の識別が可能な画像が保存されるとは限らず、後で見たときに識別不可能となる可能性が存在する。
【０００４】
また、例え識別が可能な画像が存在したとしても、知人以外の集金、配達人や不審者の識別は必ずしも容易ではない。また、知人であっても人物の名前を失念することは今後高齢化の到来とともに多くなってくると思われる。
【０００５】
また、最近ではビデオカメラ付きパソコンの低価格化により、家庭においてもパソコンを利用したビデオメールやテレビ電話等が容易に実現できるようになりつつある。このように動画像が日常的にパソコン上で使われるようになると、ハードディスク等の記憶装置には限度があり、一度保存したデータの読みだしや検索にも時間がかかるという問題が新たに生じる。
【０００６】
【発明が解決しようとする課題】
そこで、本発明は上記問題点に鑑みなされたもので、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える画像監視方法およびそれを用いた画像監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像監視方法は、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成し、入力された画像から抽出された被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識し、認識結果を呈示するとともに、該被写体の特徴量を基に、前記辞書を更新することにより、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える。
【０００８】
本発明の画像監視装置は、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成し、入力された画像から抽出された被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識し、認識結果を呈示するとともに、該被写体の特徴量を基に前記辞書を更新し、入力された音声メッセージを前記認識結果または前記辞書に関連付けて記憶手段に記憶することにより、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行えるとともに、ユーザのニーズに合わせて、よりインテリジェントな対応が可能となる。
【０００９】
好ましくは、入力された時系列の複数の画像のうち、前記辞書に登録されたカテゴリのいずれかとその特徴量が最も類似する被写体が抽出された画像のみを記憶手段に記憶する。これにより、動画像、静止画像から人物等の被写体の認識に適したもののみを選別して記憶することができるので、記憶容量の低減化が図れる。
【００１０】
本発明の画像監視装置は、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成する辞書生成手段と、
入力された画像から抽出された被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識する認識手段と、
この認識手段での認識結果を呈示する呈示手段と、
前記被写体の特徴量を基に、前記辞書を更新する更新手段と、
を具備することにより、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える。
【００１１】
好ましくは、入力された時系列の複数の画像のうち、前記辞書に登録されたカテゴリのいずれかとその特徴量が最も類似する被写体が抽出された画像のみを記憶する記憶手段をさらに具備する。これにより、動画像、静止画像から人物等の被写体の認識に適したもののみを選別して記憶することができるので、記憶容量の低減化とそれに伴う装置の小型化、低価格化が図れる。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００１３】
（第１の実施形態）
第１の実施形態では、マンションや家庭の玄関などに設置されたテレビカメラ付きインターホンなどで留守中に来訪者の伝言や画像を記録したり、在宅中でも来訪者の名前や予め登録したカテゴリに属するかどうかなどを表示することでスムーズな対応を可能にする来訪者監視装置について説明する。
【００１４】
図１は、本実施形態にかかる来訪者監視装置の構成例を示したもので、画像入力部１と音声入力部２と人物検知部３と情報抽出部４と記憶部５とモニタ部６とユーザ情報入力部７とから構成される。
【００１５】
画像入力部１は、例えばビデオカメラ等の監視カメラにて取得された画像を入力するためのものである。音声入力部２は、例えばインターホンのマイク等から取得された音声を入力するためのものである。
【００１６】
人物検知部３は、例えば、呼鈴やブザーなどの来訪者が自発的に来訪を知らせるもの、もしくは、カメラ等から取得された画像から変化を検出して人物を検知するもの、ノックや呼びかけなどの物理的な動作を検出するもの等、特に限定しない。
【００１７】
情報抽出部４は、入力された画像もしくは音声から記録あるいは認識に必要な情報を抽出するものである。
【００１８】
記憶部５は、辞書情報や抽出された画像情報、録音された音声情報などを記憶する磁気テープ、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等の記録媒体から構成されている。
【００１９】
モニタ部６は、ディスプレイ装置、スピーカなどから構成され、抽出された各種情報やカメラやマイクからの直接入力された信号を表示するためのものである。
【００２０】
ユーザ情報入力部７は、来訪者の氏名やカテゴリを入力あるいは修正したり、記録情報の検索や整理を行うものである。
【００２１】
図２は、情報抽出部４の構成例を示したもので、顔検出部８と辞書生成部９と顔認識部１０と記録用画像決定部１１とから構成される。
【００２２】
顔検出部８は、入力された画像から人物の顔領域を検出する。例えば、予め作成した顔領域のテンプレートを利用して画像中で該テンプレートとの相関値が最も高い領域を切り出す。
【００２３】
辞書生成部９は、切り出した複数枚の顔領域画像から顔認識用の辞書を作成するようになっている。例えば、顔認識を従来からある部分空間法を用いて行う場合には、従来と同様、顔領域画像から瞳や鼻孔特徴点などの特徴点を検出し、検出された特徴点を利用して顔領域の正規化を行う。正規化をされた画像情報を特徴空間内の特徴ベクトルに変換し、それらの特徴ベクトルから部分空間を生成し、それを顔認識用の辞書とする。そして、その部分空間をカテゴリに分類して記憶部５に顔認識用の辞書として登録する。
【００２４】
但し、この操作（辞書の新規登録）は、当該来訪者が予め登録されたいずれのカテゴリにも属さない場合であり、属する場合においては当該カテゴリの辞書更新を行うのが望ましい。この辞書更新の操作を行う場合、辞書として保存するものは部分空間のみならず該部分空間の固有値や相関行列といった統計情報も同時に保存しておくことが望ましい。そして、辞書更新の際には、当該来訪者の顔領域画像から抽出された特徴量を基に、当該部分空間の統計情報を更新すればよい。
【００２５】
顔認識部１０では、予め登録したカテゴリに属するかどうかを入力画像系列と各カテゴリの辞書との類似度を計算する（例えば、各部分空間における特徴ベクトルの内積を求める等、従来からある手法でもよい）ことにより判定する。登録されたどのカテゴリにも属さない場合には先に述べた辞書を作成しておく。
【００２６】
記録用画像決定部１１では、画像入力部１から動画像が入力する度に、その入力画像系列から最も当該来訪者の特徴を表す画像を選別して、それを記憶部５に記憶する。選別方法は具体的には、入力画像系列の複数の画像フレームから当該来訪者の辞書との類似度が最も高い画像を選ぶ。入力された動画をそのまま記憶部５に記憶しておくのでは、記憶容量が多く必要であるし、例えばその中で一枚だけ残しておく場合にどの画像を残すかをユーザが選ぶのも面倒である。また、機械的に選ぶと顔が正しく写ってなかったりする可能性が大きい。しかし、入力画像系列中の画像が辞書にあるカテゴリのいずれにも属さないもの（いずれかのカテゴリに属すると判定するには類似度が低すぎるもの）であっても、そのうちの最も類似度が高い１枚のみを選定して記憶部５に記憶しておけば、上記問題は解決できるであろう。
【００２７】
次に、留守中に来訪者がやってきた場合を想定して、図１の来訪者対応装置の動作例を説明する。
【００２８】
ユーザは、予め留守状態であることをセットしておく。このときユーザは在宅していても差し支えない。この操作は、通常の留守番電話と同様であってもよい。来訪者がユーザ宅の玄関先に設定されたカメラ前にきて、呼鈴を鳴らすか、あるいは、集合住宅の場合は部屋番号を入力すると、その動作をトリガーとしてカメラから入力された画像とマイクから入力された音声とをそれぞれ画像入力部１、音声入力部２にて取り込みを開始し、室内に設置されたモニタ部６に表示する。
【００２９】
一方、情報抽出部４では、まず、顔検出部８で入力された画像から人物の顔領域を検出し、辞書生成部９を経て抽出された特徴ベクトルと記憶部５に記憶されている顔認識用の辞書を参照して、顔認識部１０で画像入力部１から入力した画像から来訪者の顔を認識し、例えば、当該来訪者のカテゴリを判定する。そして、認識結果としてのカテゴリ名をモニタ部６にカメラから取り込まれた画像とともに表示する。
【００３０】
カテゴリ名は予め登録されており、個人名に限らない。例えば、新聞集金、宅配、郵便配達などは毎度同じ人物が来る確率が高く、その個人名には意味がないので、個人名でないカテゴリ名、例えば、この場合、「新聞集金」「宅配」「郵便配達」といったカテゴリ名でこれら認識結果を分類することも可能である。同様に、特に分類する必要のないカテゴリに対しては、「不審者」というカテゴリ名であってもよいし、。
【００３１】
また、あらかじめ登録したカテゴリに属さない場合には、前述のように、入力画像系列から辞書を生成する。属する場合には、前述のように、既に存在する辞書を更新する。ただし、分類されたカテゴリが誤っていた場合に、ユーザが後で修正ができるように、当該来訪者のみの辞書も作成し、当該カテゴリのもとの辞書も消さずに保存しておくことが望ましい。
【００３２】
記録用画像決定部１１では、画像入力部１からの入力画像系列の中で作成された辞書との類似度が最も高い画像一枚を選別する。カテゴリの認識された画像およびカテゴリの認識されなかった画像であっても、その一枚のみを保存する。辞書は動画から生成するが、画像は一枚のみ残すことにより、記憶容量を節約する。さらなる記憶容量の削減のためには、顔領域のみを切り出した画像のみを残してもよい。
【００３３】
また、音声入力部１から入力した来訪者の音声メッセージを顔画像、認識結果と共に記憶部５に記録する。
【００３４】
メッセージはキーワードスポットにより、キーワードを音声認識により認識し、その結果を残すことで、後に新たな辞書登録へのカテゴリ名づけが容易になる。それを簡単にするために例えば、「お名前をどうぞ」などといったプロンプトを音声もしくは文字情報として出すことも有効である。
【００３５】
ユーザは帰宅時等、好きな時に伝言の確認を行なう。その際認識されたカテゴリの修正や、新たなカテゴリ名の入力、いらないメッセージの削除を行なう。
【００３６】
ユーザが在宅しているが、来訪者を確認してから応対したい場合にも、モニタに画像が表示され、認識結果も表示されるため、応対したい来訪者の場合だけに応対することが可能となる。このとき、同じ会いたくない来訪者があった時にいちいちその顔を覚えなくてもカテゴリ名のみで対応できるので便利である。
【００３７】
（第２の実施形態）
第２の実施形態では、カメラ付きパソコンなどでビデオメール（例えば、一般に、動画像を所定の通信手段を用いて送信することであってもよい）やビデオコンファレンスを通じて相手から送られてきた画像を利用して、ビデオメールの保存容量を減らしたり、相手を顔認識によって確認したり、顔認識用辞書を作成したりするものである。
【００３８】
第１の実施形態で説明した来訪者監視装置は、主に、セキュリティに利用するものであったが、第２の実施形態では、例えば、パソコン等で気軽に画像内容をチェックするためにも用いることのできる画像監視装置について説明する。
【００３９】
図３は、第２の実施形態にかかる画像監視装置の構成例を示したもので、画像入力部１２、顔検出部１３、辞書生成部１４、顔認識部１５、表示部１６、記憶部１７、記録用画像決定部１８から構成される。図３に示した来訪者監視装置は、パーソナルコンピュータ（パソコン）上に構成されていてもよい。すなわち、例えば、パソコンの有するハードウエアを用いて、上記各部の機能をコンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【００４０】
画像入力部１２は、あらかじめパソコンのハードディスク等に記録された動画像を読み込んだり、ＬＡＮや電話などの通信回線を通して送られて来た動画像を読み込んだりする。
【００４１】
顔検出部１３、辞書生成部１４、顔認識部１５、記憶部１７、記録用画像決定部１８については、第１の実施形態で説明した顔検出部８、辞書生成部９、顔認識部１０、記憶部５、記録用画像決定部１１と同様である。
【００４２】
次にビデオメールの容量削減の場合を例にして、実際の動作例について説明する。
【００４３】
相手から送られて来たビデオメールは通常パソコンのハードディスクに保存される。画像入力部１２は、そのデータを読み込んで、動画像の部分のみを取り出し、さらに顔検出部１３で顔領域を検出する。検出された顔領域からあらかじめ登録された人物カテゴリに属するかどうか顔認識部１５において判定する。判定結果をディスプレイなどの表示装置１６に画像とともに表示する。
【００４４】
また、同時にもしくはユーザの指示で当該動画像から辞書生成部１４において辞書を作成する。その際、新しいカテゴリの場合はユーザがカテゴリ名を新たに入力することができるが、通常の場合はカテゴリ名をメールアドレスとすると便利である。すでに存在するカテゴリの場合には、新たに辞書を作成する代わりに、存在する辞書を更新する。
【００４５】
記録用画像決定部１８において、上記動画像から記録用の画像を決める。具体的には、第１の実施形態で説明したように、入力画像系列中で、辞書との類似度が最も高い画像を選択する。
【００４６】
ビデオメールは動画像情報であるため、そのまま記憶すると記憶容量が多く必要であるが、例えばその中で一枚だけ残しておく場合にどの画像を残すかをユーザが選ぶのも面倒であるし、機械的に選ぶと顔が正しく写ってなかったりする可能性が大きいが、このようにすることでその問題が解決される。
【００４７】
なお、上記第１および第２の実施形態では、監視対象が人物である場合を例にとり説明したが、この場合に限るものではなく、監視対象は何でもよく、その場合も上記説明と同様である。
【００４８】
さらに、本発明はこれらの例に限定されるものではなく、種々変形して応用可能である。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる来訪者監視装置の構成例を示した図。
【図２】情報抽出部の構成例を示した図。
【図３】本発明の第２の実施形態にかかる画像監視装置の構成例を示した図。
【符号の説明】
１…画像入力部
２…音声入力部
３…人物検知部
４…情報抽出部
５…記憶部
６…モニタ部
７…ユーザ情報入力部
８…顔検出部
９…辞書生成部
１０…顔認識部
１１…記録用画像決定部
１２…画像入力部
１３…顔検出部
１４…辞書生成部
１５…顔認識部
１６…表示部
１７…記憶部
１８…記録用画像決定部
【発明の属する技術分野】
本発明は、例えば、テレビ付きインターホンや、ビデオメールやテレビ電話などにも用いることのできる画像監視装置に関し、特に、人物を含む動画像から人物等の被写体を監視するための画像監視装置に関する。
【０００２】
【従来の技術】
マンションの入口や家庭の玄関に設置されるテレビ付きインターホンは来訪者の様子をモニターで確認することができるが、留守番電話のように留守中にも映像や音声を記録することが望まれている。このような機能を実現するためには、画像を動画で保存するためには、ＶＴＲ装置等を用いると装置が大型で扱いにくいものとなり、また、ハードディスク等の記憶媒体を用いる場合には記憶容量の問題から、小型化、低価格化が困難であった。
【０００３】
一方、これらの問題点を解決するために、静止画で保存する場合には、必ずしも人物の識別が可能な画像が保存されるとは限らず、後で見たときに識別不可能となる可能性が存在する。
【０００４】
また、例え識別が可能な画像が存在したとしても、知人以外の集金、配達人や不審者の識別は必ずしも容易ではない。また、知人であっても人物の名前を失念することは今後高齢化の到来とともに多くなってくると思われる。
【０００５】
また、最近ではビデオカメラ付きパソコンの低価格化により、家庭においてもパソコンを利用したビデオメールやテレビ電話等が容易に実現できるようになりつつある。このように動画像が日常的にパソコン上で使われるようになると、ハードディスク等の記憶装置には限度があり、一度保存したデータの読みだしや検索にも時間がかかるという問題が新たに生じる。
【０００６】
【発明が解決しようとする課題】
そこで、本発明は上記問題点に鑑みなされたもので、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える画像監視方法およびそれを用いた画像監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像監視方法は、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成し、入力された画像から抽出された被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識し、認識結果を呈示するとともに、該被写体の特徴量を基に、前記辞書を更新することにより、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える。
【０００８】
本発明の画像監視装置は、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成し、入力された画像から抽出された被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識し、認識結果を呈示するとともに、該被写体の特徴量を基に前記辞書を更新し、入力された音声メッセージを前記認識結果または前記辞書に関連付けて記憶手段に記憶することにより、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行えるとともに、ユーザのニーズに合わせて、よりインテリジェントな対応が可能となる。
【０００９】
好ましくは、入力された時系列の複数の画像のうち、前記辞書に登録されたカテゴリのいずれかとその特徴量が最も類似する被写体が抽出された画像のみを記憶手段に記憶する。これにより、動画像、静止画像から人物等の被写体の認識に適したもののみを選別して記憶することができるので、記憶容量の低減化が図れる。
【００１０】
本発明の画像監視装置は、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成する辞書生成手段と、
入力された画像から抽出された被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識する認識手段と、
この認識手段での認識結果を呈示する呈示手段と、
前記被写体の特徴量を基に、前記辞書を更新する更新手段と、
を具備することにより、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える。
【００１１】
好ましくは、入力された時系列の複数の画像のうち、前記辞書に登録されたカテゴリのいずれかとその特徴量が最も類似する被写体が抽出された画像のみを記憶する記憶手段をさらに具備する。これにより、動画像、静止画像から人物等の被写体の認識に適したもののみを選別して記憶することができるので、記憶容量の低減化とそれに伴う装置の小型化、低価格化が図れる。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００１３】
（第１の実施形態）
第１の実施形態では、マンションや家庭の玄関などに設置されたテレビカメラ付きインターホンなどで留守中に来訪者の伝言や画像を記録したり、在宅中でも来訪者の名前や予め登録したカテゴリに属するかどうかなどを表示することでスムーズな対応を可能にする来訪者監視装置について説明する。
【００１４】
図１は、本実施形態にかかる来訪者監視装置の構成例を示したもので、画像入力部１と音声入力部２と人物検知部３と情報抽出部４と記憶部５とモニタ部６とユーザ情報入力部７とから構成される。
【００１５】
画像入力部１は、例えばビデオカメラ等の監視カメラにて取得された画像を入力するためのものである。音声入力部２は、例えばインターホンのマイク等から取得された音声を入力するためのものである。
【００１６】
人物検知部３は、例えば、呼鈴やブザーなどの来訪者が自発的に来訪を知らせるもの、もしくは、カメラ等から取得された画像から変化を検出して人物を検知するもの、ノックや呼びかけなどの物理的な動作を検出するもの等、特に限定しない。
【００１７】
情報抽出部４は、入力された画像もしくは音声から記録あるいは認識に必要な情報を抽出するものである。
【００１８】
記憶部５は、辞書情報や抽出された画像情報、録音された音声情報などを記憶する磁気テープ、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等の記録媒体から構成されている。
【００１９】
モニタ部６は、ディスプレイ装置、スピーカなどから構成され、抽出された各種情報やカメラやマイクからの直接入力された信号を表示するためのものである。
【００２０】
ユーザ情報入力部７は、来訪者の氏名やカテゴリを入力あるいは修正したり、記録情報の検索や整理を行うものである。
【００２１】
図２は、情報抽出部４の構成例を示したもので、顔検出部８と辞書生成部９と顔認識部１０と記録用画像決定部１１とから構成される。
【００２２】
顔検出部８は、入力された画像から人物の顔領域を検出する。例えば、予め作成した顔領域のテンプレートを利用して画像中で該テンプレートとの相関値が最も高い領域を切り出す。
【００２３】
辞書生成部９は、切り出した複数枚の顔領域画像から顔認識用の辞書を作成するようになっている。例えば、顔認識を従来からある部分空間法を用いて行う場合には、従来と同様、顔領域画像から瞳や鼻孔特徴点などの特徴点を検出し、検出された特徴点を利用して顔領域の正規化を行う。正規化をされた画像情報を特徴空間内の特徴ベクトルに変換し、それらの特徴ベクトルから部分空間を生成し、それを顔認識用の辞書とする。そして、その部分空間をカテゴリに分類して記憶部５に顔認識用の辞書として登録する。
【００２４】
但し、この操作（辞書の新規登録）は、当該来訪者が予め登録されたいずれのカテゴリにも属さない場合であり、属する場合においては当該カテゴリの辞書更新を行うのが望ましい。この辞書更新の操作を行う場合、辞書として保存するものは部分空間のみならず該部分空間の固有値や相関行列といった統計情報も同時に保存しておくことが望ましい。そして、辞書更新の際には、当該来訪者の顔領域画像から抽出された特徴量を基に、当該部分空間の統計情報を更新すればよい。
【００２５】
顔認識部１０では、予め登録したカテゴリに属するかどうかを入力画像系列と各カテゴリの辞書との類似度を計算する（例えば、各部分空間における特徴ベクトルの内積を求める等、従来からある手法でもよい）ことにより判定する。登録されたどのカテゴリにも属さない場合には先に述べた辞書を作成しておく。
【００２６】
記録用画像決定部１１では、画像入力部１から動画像が入力する度に、その入力画像系列から最も当該来訪者の特徴を表す画像を選別して、それを記憶部５に記憶する。選別方法は具体的には、入力画像系列の複数の画像フレームから当該来訪者の辞書との類似度が最も高い画像を選ぶ。入力された動画をそのまま記憶部５に記憶しておくのでは、記憶容量が多く必要であるし、例えばその中で一枚だけ残しておく場合にどの画像を残すかをユーザが選ぶのも面倒である。また、機械的に選ぶと顔が正しく写ってなかったりする可能性が大きい。しかし、入力画像系列中の画像が辞書にあるカテゴリのいずれにも属さないもの（いずれかのカテゴリに属すると判定するには類似度が低すぎるもの）であっても、そのうちの最も類似度が高い１枚のみを選定して記憶部５に記憶しておけば、上記問題は解決できるであろう。
【００２７】
次に、留守中に来訪者がやってきた場合を想定して、図１の来訪者対応装置の動作例を説明する。
【００２８】
ユーザは、予め留守状態であることをセットしておく。このときユーザは在宅していても差し支えない。この操作は、通常の留守番電話と同様であってもよい。来訪者がユーザ宅の玄関先に設定されたカメラ前にきて、呼鈴を鳴らすか、あるいは、集合住宅の場合は部屋番号を入力すると、その動作をトリガーとしてカメラから入力された画像とマイクから入力された音声とをそれぞれ画像入力部１、音声入力部２にて取り込みを開始し、室内に設置されたモニタ部６に表示する。
【００２９】
一方、情報抽出部４では、まず、顔検出部８で入力された画像から人物の顔領域を検出し、辞書生成部９を経て抽出された特徴ベクトルと記憶部５に記憶されている顔認識用の辞書を参照して、顔認識部１０で画像入力部１から入力した画像から来訪者の顔を認識し、例えば、当該来訪者のカテゴリを判定する。そして、認識結果としてのカテゴリ名をモニタ部６にカメラから取り込まれた画像とともに表示する。
【００３０】
カテゴリ名は予め登録されており、個人名に限らない。例えば、新聞集金、宅配、郵便配達などは毎度同じ人物が来る確率が高く、その個人名には意味がないので、個人名でないカテゴリ名、例えば、この場合、「新聞集金」「宅配」「郵便配達」といったカテゴリ名でこれら認識結果を分類することも可能である。同様に、特に分類する必要のないカテゴリに対しては、「不審者」というカテゴリ名であってもよいし、。
【００３１】
また、あらかじめ登録したカテゴリに属さない場合には、前述のように、入力画像系列から辞書を生成する。属する場合には、前述のように、既に存在する辞書を更新する。ただし、分類されたカテゴリが誤っていた場合に、ユーザが後で修正ができるように、当該来訪者のみの辞書も作成し、当該カテゴリのもとの辞書も消さずに保存しておくことが望ましい。
【００３２】
記録用画像決定部１１では、画像入力部１からの入力画像系列の中で作成された辞書との類似度が最も高い画像一枚を選別する。カテゴリの認識された画像およびカテゴリの認識されなかった画像であっても、その一枚のみを保存する。辞書は動画から生成するが、画像は一枚のみ残すことにより、記憶容量を節約する。さらなる記憶容量の削減のためには、顔領域のみを切り出した画像のみを残してもよい。
【００３３】
また、音声入力部１から入力した来訪者の音声メッセージを顔画像、認識結果と共に記憶部５に記録する。
【００３４】
メッセージはキーワードスポットにより、キーワードを音声認識により認識し、その結果を残すことで、後に新たな辞書登録へのカテゴリ名づけが容易になる。それを簡単にするために例えば、「お名前をどうぞ」などといったプロンプトを音声もしくは文字情報として出すことも有効である。
【００３５】
ユーザは帰宅時等、好きな時に伝言の確認を行なう。その際認識されたカテゴリの修正や、新たなカテゴリ名の入力、いらないメッセージの削除を行なう。
【００３６】
ユーザが在宅しているが、来訪者を確認してから応対したい場合にも、モニタに画像が表示され、認識結果も表示されるため、応対したい来訪者の場合だけに応対することが可能となる。このとき、同じ会いたくない来訪者があった時にいちいちその顔を覚えなくてもカテゴリ名のみで対応できるので便利である。
【００３７】
（第２の実施形態）
第２の実施形態では、カメラ付きパソコンなどでビデオメール（例えば、一般に、動画像を所定の通信手段を用いて送信することであってもよい）やビデオコンファレンスを通じて相手から送られてきた画像を利用して、ビデオメールの保存容量を減らしたり、相手を顔認識によって確認したり、顔認識用辞書を作成したりするものである。
【００３８】
第１の実施形態で説明した来訪者監視装置は、主に、セキュリティに利用するものであったが、第２の実施形態では、例えば、パソコン等で気軽に画像内容をチェックするためにも用いることのできる画像監視装置について説明する。
【００３９】
図３は、第２の実施形態にかかる画像監視装置の構成例を示したもので、画像入力部１２、顔検出部１３、辞書生成部１４、顔認識部１５、表示部１６、記憶部１７、記録用画像決定部１８から構成される。図３に示した来訪者監視装置は、パーソナルコンピュータ（パソコン）上に構成されていてもよい。すなわち、例えば、パソコンの有するハードウエアを用いて、上記各部の機能をコンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【００４０】
画像入力部１２は、あらかじめパソコンのハードディスク等に記録された動画像を読み込んだり、ＬＡＮや電話などの通信回線を通して送られて来た動画像を読み込んだりする。
【００４１】
顔検出部１３、辞書生成部１４、顔認識部１５、記憶部１７、記録用画像決定部１８については、第１の実施形態で説明した顔検出部８、辞書生成部９、顔認識部１０、記憶部５、記録用画像決定部１１と同様である。
【００４２】
次にビデオメールの容量削減の場合を例にして、実際の動作例について説明する。
【００４３】
相手から送られて来たビデオメールは通常パソコンのハードディスクに保存される。画像入力部１２は、そのデータを読み込んで、動画像の部分のみを取り出し、さらに顔検出部１３で顔領域を検出する。検出された顔領域からあらかじめ登録された人物カテゴリに属するかどうか顔認識部１５において判定する。判定結果をディスプレイなどの表示装置１６に画像とともに表示する。
【００４４】
また、同時にもしくはユーザの指示で当該動画像から辞書生成部１４において辞書を作成する。その際、新しいカテゴリの場合はユーザがカテゴリ名を新たに入力することができるが、通常の場合はカテゴリ名をメールアドレスとすると便利である。すでに存在するカテゴリの場合には、新たに辞書を作成する代わりに、存在する辞書を更新する。
【００４５】
記録用画像決定部１８において、上記動画像から記録用の画像を決める。具体的には、第１の実施形態で説明したように、入力画像系列中で、辞書との類似度が最も高い画像を選択する。
【００４６】
ビデオメールは動画像情報であるため、そのまま記憶すると記憶容量が多く必要であるが、例えばその中で一枚だけ残しておく場合にどの画像を残すかをユーザが選ぶのも面倒であるし、機械的に選ぶと顔が正しく写ってなかったりする可能性が大きいが、このようにすることでその問題が解決される。
【００４７】
なお、上記第１および第２の実施形態では、監視対象が人物である場合を例にとり説明したが、この場合に限るものではなく、監視対象は何でもよく、その場合も上記説明と同様である。
【００４８】
さらに、本発明はこれらの例に限定されるものではなく、種々変形して応用可能である。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、動画像、静止画像から抽出される人物等の被写体の認識が各ユーザの都合やニーズに合わせて容易にしかも確実に行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる来訪者監視装置の構成例を示した図。
【図２】情報抽出部の構成例を示した図。
【図３】本発明の第２の実施形態にかかる画像監視装置の構成例を示した図。
【符号の説明】
１…画像入力部
２…音声入力部
３…人物検知部
４…情報抽出部
５…記憶部
６…モニタ部
７…ユーザ情報入力部
８…顔検出部
９…辞書生成部
１０…顔認識部
１１…記録用画像決定部
１２…画像入力部
１３…顔検出部
１４…辞書生成部
１５…顔認識部
１６…表示部
１７…記憶部
１８…記録用画像決定部
Claims (4)
- 時系列の複数の画像を入力する画像入力手段と、
入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を記憶する第１の記憶手段と、
入力された時系列の複数の画像から抽出された被写体の特徴量を求める手段と、
前記複数の画像から求めた被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して、当該被写体の属するカテゴリを認識する認識手段と、
前記認識手段で前記被写体の属するカテゴリが認識された場合には、前記複数の画像のうち当該カテゴリの特徴量と最も類似する被写体が抽出された画像を選択し、前記認識手段で前記被写体の属するカテゴリが認識できなかった場合には、前記複数の画像のうち当該複数の画像から求めた被写体の特徴量と最も類似する被写体が抽出された画像を選択する手段と、
選択された画像を記憶する第２の記憶手段と、
前記選択された画像を、前記認識手段で前記被写体の属するカテゴリが認識された場合にはそのカテゴリ名とともに呈示する呈示手段と、
前記認識手段で前記被写体の属するカテゴリが認識できなかったときには、前記入力された時系列の複数の画像から求めた特徴量を新たなカテゴリ名とともに前記辞書に登録するための手段と、
前記認識手段で前記被写体の属するカテゴリが認識されたときには、そのカテゴリ名に対応する前記辞書の特徴量を前記入力された時系列の複数の画像から求めた特徴量で更新する手段と、
を具備したことを特徴とする画像監視装置。 - 前記入力された時系列の複数の画像の被写体の音声メッセージを入力する音声入力手段と、
前記音声メッセージを前記選択された画像とともに前記第２の記憶手段で記憶することを特徴とする請求項１記載の画像監視装置。 - 入力された時系列の複数の画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を記憶するための第１の記憶手段と、前記複数の画像のうちの１つを記憶するための第２の記憶手段とを備えたコンピュータにおける画像監視方法において、
入力された時系列の複数の画像から抽出された被写体の特徴量を求める第１のステップと、
前記複数の画像から求めた被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して、当該被写体の属するカテゴリを認識する第２のステップと、
前記第２のステップで前記被写体の属するカテゴリが認識された場合には、前記複数の画像のうち当該カテゴリの特徴量と最も類似する被写体が抽出された画像を選択し、前記第２のステップで前記被写体の属するカテゴリが認識できなかった場合には、前記複数の画像のうち当該複数の画像から求めた被写体の特徴量と最も類似する被写体が抽出された画像を選択する第３のステップと、
選択された画像を前記第２の記憶手段に記憶する第４のステップと、
前記選択された画像を、前記第２のステップで前記被写体の属するカテゴリが認識された場合にはそのカテゴリ名とともに呈示する第５のステップと、
前記第２のステップで前記被写体の属するカテゴリが認識できなかったときには、前記入力された時系列の複数の画像から求めた特徴量を新たなカテゴリ名とともに前記辞書に登録する第６のステップと、
前記第２のステップで前記被写体の属するカテゴリが認識されたときには、そのカテゴリ名に対応する前記辞書の特徴量を前記入力された時系列の複数の画像から求めた特徴量で更新する第７のステップと、
を含む画像監視方法。 - 入力された時系列の複数の画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を記憶するための第１の記憶手段と、前記複数の画像のうちの１つを記憶する第２の記憶手段とを有するコンピュータに、
入力された時系列の複数の画像から抽出された被写体の特徴量を求める第１のステップと、
前記複数の画像から求めた被写体の特徴量と前記辞書に登録された各カテゴリの特徴量とを比較して、当該被写体の属するカテゴリを認識する第２のステップと、
前記第２のステップで前記被写体の属するカテゴリが認識された場合には、前記複数の画像のうち当該カテゴリの特徴量と最も類似する被写体が抽出された画像を選択し、前記第２のステップで前記被写体の属するカテゴリが認識できなかった場合には、前記複数の画像のうち当該複数の画像から求めた被写体の特徴量と最も類似する被写体が抽出された画像を選択する第３のステップと、
選択された画像を前記第２の記憶手段に記憶する第４のステップと、
前記選択された画像を、前記第２のステップで前記被写体の属するカテゴリが認識された場合にはそのカテゴリ名とともに呈示する第５のステップと、
前記第２のステップで前記被写体の属するカテゴリが認識できなかったときには、前記入力された時系列の複数の画像から求めた特徴量を新たなカテゴリ名とともに前記辞書に登録する第６のステップと、
前記第２のステップで前記被写体の属するカテゴリが認識されたときには、そのカテゴリ名に対応する前記辞書の特徴量を前記入力された時系列の複数の画像から求めた特徴量で更新する第７のステップと、
を含む処理を実行させるためのプログラムを記録した機械読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18586299A JP3617937B2 (ja) | 1999-06-30 | 1999-06-30 | 画像監視方法および画像監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18586299A JP3617937B2 (ja) | 1999-06-30 | 1999-06-30 | 画像監視方法および画像監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016579A JP2001016579A (ja) | 2001-01-19 |
| JP3617937B2 true JP3617937B2 (ja) | 2005-02-09 |
Family
ID=16178192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18586299A Expired - Fee Related JP3617937B2 (ja) | 1999-06-30 | 1999-06-30 | 画像監視方法および画像監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3617937B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111713092A (zh) * | 2018-02-15 | 2020-09-25 | 爱峰株式会社 | Wi-Fi门铃的设定方法、门铃、集合住宅通信***以及气象信息提供*** |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002344946A (ja) * | 2001-05-16 | 2002-11-29 | Oki Electric Ind Co Ltd | 監視装置 |
| JP2003087772A (ja) | 2001-09-10 | 2003-03-20 | Fujitsu Ltd | 画像制御装置 |
| JP2006319488A (ja) * | 2005-05-11 | 2006-11-24 | Nec Corp | 発信者識別システム、認識サーバ装置及びそれらに用いるｉｐ電話制御方法並びにそのプログラム |
| JP2009193424A (ja) * | 2008-02-15 | 2009-08-27 | Nec Corp | 動線捕捉装置及び動線捕捉方法並びにプログラム |
| WO2014208575A1 (ja) * | 2013-06-28 | 2014-12-31 | 日本電気株式会社 | 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム |
| JP2019140655A (ja) * | 2018-02-15 | 2019-08-22 | アイホン株式会社 | ドアベル |
-
1999
- 1999-06-30 JP JP18586299A patent/JP3617937B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111713092A (zh) * | 2018-02-15 | 2020-09-25 | 爱峰株式会社 | Wi-Fi门铃的设定方法、门铃、集合住宅通信***以及气象信息提供*** |
| US11510256B2 (en) | 2018-02-15 | 2022-11-22 | Aiphone Co., Ltd. | Configuration method of Wi-Fi doorbell, doorbell, housing complex communication system, and climate information providing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001016579A (ja) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2210214B1 (en) | Automatic identifying | |
| US6959099B2 (en) | Method and apparatus for automatic face blurring | |
| US8090159B2 (en) | Apparatus and method for identifying a name corresponding to a face or voice using a database | |
| KR20120102043A (ko) | 비디오 세션의 자동 라벨링 | |
| JP5593297B2 (ja) | 不動産物件情報提供支援装置 | |
| JP2004013871A (ja) | 防犯システム | |
| US20020125993A1 (en) | Apparatus and method for delivering an audio and/or video message to an individual | |
| JP3617937B2 (ja) | 画像監視方法および画像監視装置 | |
| JPH07234694A (ja) | 自動受付装置 | |
| CN110246292B (zh) | 家庭视频监控方法、装置及存储介质 | |
| CN110569726A (zh) | 一种服务机器人的交互方法及*** | |
| JP2007037088A (ja) | ドアホン装置 | |
| WO2019146187A1 (ja) | 情報処理装置および情報処理方法 | |
| JP4049244B2 (ja) | 伝言装置 | |
| JP2001067098A (ja) | 人物検出方法と人物検出機能搭載装置 | |
| JP6614473B2 (ja) | インターホン用データベース生成装置およびそれを利用したインターホン室内装置、インターホンシステム、表示方法、プログラム | |
| JP3865924B2 (ja) | 音声認識装置 | |
| JP2000341420A (ja) | インターホンシステム、及びプログラム記録媒体 | |
| JP2004146902A (ja) | 屋外向けメッセージ出力装置およびプログラム | |
| JP2003208493A (ja) | 企業エントランスにおける自動受付に関する方法 | |
| JP4578953B2 (ja) | 不審訪問者応対システム | |
| JP2001077926A (ja) | 来訪者応答システム | |
| JP3696869B2 (ja) | コンテンツ提供システム | |
| JP2001045471A (ja) | 居所管理装置 | |
| JPH09231368A (ja) | 来訪者管理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041105 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |