JP3702195B2

JP3702195B2 - 物検索装置、物検索方法、およびコンピュータにおいてその装置を実現するプログラム

Info

Publication number: JP3702195B2
Application number: JP2001133979A
Authority: JP
Inventors: 龍司竹住
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-05-01
Filing date: 2001-05-01
Publication date: 2005-10-05
Anticipated expiration: 2021-05-01
Also published as: JP2002329201A

Description

【０００１】
【発明の属する技術分野】
本発明は、置き忘れた物を検知する技術に関し、特に、記録された撮像画像に基づいて置き忘れた物の存在場所を人に認知させる技術に関する。
【０００２】
【従来の技術】
日々の生活の中で、ある物の所在がわからなくなった場合、人は記憶をたどって、その物がどこにあるのかを思い出そうとする。しかし、所在がわからなくなった物を最後に手に取ったのが遠い過去である場合、所在がわからなくなった物を無意識にどこかへ格納した場合、加齢に伴い記憶能力が減退した人である場合には、記憶をたどってもその所在を明らかにすることができないことが多い。
【０００３】
紛失物を検索する技術として、特開２０００−１８８７０１号公報に開示される迷子リモコン探知システムがある。この公報に開示された迷子リモコン探知システムは、紛失したテレビ受像機用のリモコンを探すためのシステムであって、テレビ受像機側に設けられ、そのテレビ受像機のリモコンに向けて信号を発信するための発信手段と、リモコンに設けられ、発信手段からの信号を受信するための受信手段および受信手段により受信した信号に基づいて警報を出力するための出力手段とを含む。
【０００４】
この公報に開示された迷子リモコン探知システムによると、テレビ受像機用のリモコンを紛失すると、テレビ受像機側に設けられた発信手段を用いて探知信号を発信する。探知信号の受信範囲内にリモコンがあると、リモコン側に設けられた受信手段が探知信号を受信して、出力手段が受信した探知信号に基づいて警報を出力する。人は、出力手段から出力された警報により、リモコンの所在を認知することができる。これにより、リモコンを紛失しても、容易に探し出すことができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述の公報に開示された迷子リモコン探知システムにおいては、探査対象となるリモコンに受信手段と出力手段とを設けなければならない。所在がわからなくなる可能性のある、身の周りの全ての物にこのような受信手段と出力手段とを設けることは不可能である。
【０００６】
本発明は、上述の課題を解決するためになされたものであって、所在のわからなくなる可能性のある物に特別な機能を付加することなく、人が置き忘れた物を認知することができる物検索装置、物検索方法およびその装置をコンピュータに実現させるプログラムを提供することである。
【０００７】
【課題を解決するための手段】
第１の発明に係る物検索装置は、画像データを受取るための受取手段と、特定の物を表わすデータを記憶するための第１の記憶手段と、受取手段と第１の記憶手段とに接続され、画像データと特定の物を表わすデータとに基づいて、画像データの中に特定の物があるか否かを逐次検知するための検知手段と、受取手段と検知手段とに接続され、検知手段により検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データを、検知されていた特定の物に関連付けて記憶するための第２の記憶手段と、第１の記憶手段に接続され、第１の記憶手段に記憶されたデータの中から任意の物を表わすデータを、人が選択するための選択手段と、選択手段と第２の記憶手段とに接続され、選択手段により任意の物が選択されたことに応答して、選択手段により選択された任意の物に関連付けて第２の記憶手段に記憶された画像データを出力するための出力手段とを含む。
【０００８】
第１の発明によると、検知手段は、画像データと特定の物を表わすデータとに基づいて、画像データの中に特定の物があるか否かを逐次検知する。第２の記憶手段は、検知手段により検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データを、検知されていた特定の物に関連付けて記憶する。選択手段を用いて、人は、第１の記憶手段に記憶されたデータの中から任意の物を表わすデータを選択する。出力手段は、選択手段により任意の物が選択されたことに応答して、選択された任意の物に関連付けて第２の記憶手段に記憶された画像データを出力する。これにより、所在のわからなくなる可能性のある物を含む身の回りの物を、第１の記憶手段に記憶させる。検知手段は、人の視覚領域に検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データをその物に関連付けて記憶する。身の回りの物をどこかに置き忘れたことに人が気付いて、その物を選択する入力をすると、その物が検知されなくなる直前の画像が出力される。出力された画像を見た人は、その物の所在を容易に思い出すことができる。その結果、所在のわからなくなる可能性のある物に特別な機能を付加することなく、人が置き忘れた物を認知することができる物検索装置を提供できる。
【０００９】
第２の発明に係る物検索装置は、第１の発明の構成に加えて、検知手段は、画像データと特定の物を表わすデータとを逐次比較することにより、画像データの中に特定の物があるか否かを検知するための手段を含む。
【００１０】
第２の発明によると、検知手段は、画像データと特定の物を表わすデータとを逐次比較して、画像データの中に特定の物があるか否かを検知する。たとえば、特定の物をテンプレートとして記憶しておき、テンプレートマッチング処理により、テンプレートを検知して、特定の物があるか否かを検知することができる。
【００１１】
第３の発明に係る物検索装置は、第１の発明の構成に加えて、検知手段は、画像データと特定の物を表わすテンプレートデータとに基づくマッチング処理により、画像データの中にテンプレートデータにより表わされる特定の物があるか否かを検知するための手段を含む。
【００１２】
第３の発明によると、検知手段は、特定の物をテンプレートとして記憶しておき、テンプレートマッチング処理により、テンプレートを検知して、特定の物があるか否かを検知することができる。
【００１３】
第４の発明に係る物検索装置は、第１の発明の構成に加えて、受取手段に接続され、画像データに基づいて、人が把持した物を抽出するための抽出手段をさらに含み、第１の記憶手段は、抽出手段により抽出された物を表わすデータを、特定の物を表わすデータとして記憶するための手段を含む。
【００１４】
第４の発明によると、抽出手段は、画像データに基づいて、人が把持した物を抽出する。第１の記憶手段は、抽出手段により抽出された物を表わすデータを、特定の物を表わすデータとして記憶する。これにより、一旦人が物を把持すると、把持したものが紛失するおそれのある物として第１の記憶手段に記憶される。その結果、所在のわからなくなる可能性のある物を特別な登録することなく、人が置き忘れた物を認知することができる物検索装置を提供できる。
【００１５】
第５の発明に係る物検索装置は、第１の発明の構成に加えて、画像を撮像するための撮像手段と、撮像手段に接続され、撮像手段により撮像された画像データを無線にて送信するための送信手段とをさらに含み、受取手段は、送信手段により無線にて送信された画像データを受信するための手段を含む。
【００１６】
第５の発明によると、撮像手段により撮像された画像データは、送信手段により無線にて送信される。受取手段は、送信手段により無線にて送信された画像データを受信する。これにより、カメラと送信回路とを本体の処理装置から切り離して人に装着することができる。
【００１７】
第６の発明に係る物検索装置においては、第５の発明の構成に加えて、撮像手段は、人に装着されるものである。
【００１８】
第６の発明によると、撮像手段は、人の頭部または胸部などに装着され、人の視覚領域を撮像することができる。
【００１９】
第７の発明に係る物検索方法は、画像データを受取る受取ステップと、特定の物を表わすデータを予め準備する準備ステップと、画像データと特定の物を表わすデータとに基づいて、画像データの中に特定の物があるか否かを逐次検知する検知ステップと、検知ステップにて検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データを、検知されていた特定の物に関連付けて記憶する記憶ステップと、準備ステップにて準備されたデータの中から任意の物を表わすデータを、人が選択する選択ステップと、選択ステップにて任意の物が選択されたことに応答して、選択された任意の物に関連付けて記憶ステップにて記憶された画像データを出力する出力ステップとを含む。
【００２０】
第７の発明によると、検知ステップにて、画像データと特定の物を表わすデータとに基づいて、画像データの中に特定の物があるか否かが逐次検知される。記憶ステップにて、検知ステップにて検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データを、検知されていた特定の物に関連付けて記憶される。選択ステップにて、準備されたデータの中から任意の物を表わすデータを、人が選択する。出力ステップにて、選択ステップにて任意の物が選択されたことに応答して、選択された任意の物に関連付けて記憶ステップにて記憶された画像データが出力される。これにより、所在のわからなくなる可能性のある物を含む身の回りの物を、準備ステップにて準備する。検知ステップにて人の視覚領域に検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データをその物に関連付けて記憶される。身の回りの物をどこかに置き忘れたことに人が気付いて、その物を選択する入力をすると、その物が検知されなくなる直前の画像が出力される。出力された画像を見た人は、その物の所在を容易に思い出すことができる。その結果、所在のわからなくなる可能性のある物に特別な機能を付加することなく、人が置き忘れた物を認知することができる物検索方法を提供できる。
【００２１】
第８の発明に係る物検索方法は、第７の発明の構成に加えて、検知ステップは、画像データと特定の物を表わすデータとを逐次比較することにより、画像データの中に特定の物があるか否かを検知するステップを含む
。
【００２２】
第８の発明によると、検知ステップは、画像データと特定の物を表わすデータとを逐次比較して、画像データの中に特定の物があるか否かを検知する。たとえば、特定の物をテンプレートとして記憶しておき、テンプレートマッチング処理により、テンプレートを検知して、特定の物があるか否かを検知することができる。
【００２３】
第９の発明に係る物検索方法は、第７の発明の構成に加えて、検知ステップは、画像データと特定の物を表わすテンプレートデータとに基づくマッチング処理により、画像データの中にテンプレートデータにより表わされる特定の物があるか否かを検知するステップを含む。
【００２４】
第９の発明によると、検知ステップは、特定の物をテンプレートとして記憶しておき、テンプレートマッチング処理により、テンプレートを検知して、特定の物があるか否かを検知することができる。
【００２５】
第１０の発明に係る物検索方法は、第７の発明の構成に加えて、画像データに基づいて、人が把持した物を抽出する抽出ステップをさらに含み、準備ステップは、抽出ステップにて抽出された物を表わすデータを、特定の物を表わすデータとして準備するステップを含む。
【００２６】
第１０の発明によると、抽出ステップにて、画像データに基づいて、人が把持した物を抽出する。準備ステップは、抽出ステップにて抽出された物を表わすデータを、特定の物を表わすデータとして準備する。これにより、一旦人が物を把持すると、把持したものが紛失するおそれのある物として準備ステップにて準備される。その結果、所在のわからなくなる可能性のある物を特別な登録することなく、人が置き忘れた物を認知することができる物検索方法を提供できる。
【００２７】
第１１の発明に係る物検索方法は、第７の発明の構成に加えて、画像を撮像するステップと、撮像ステップにて撮像された画像データを無線にて送信する送信ステップとをさらに含み、受取ステップは、送信ステップにて無線にて送信された画像データを受信するステップを含む。
【００２８】
第１１の発明によると、撮像ステップにて、人の視覚領域を撮像して、撮像された画像データは、送信ステップにて無線にて送信される。受取ステップにて、送信ステップにて無線にて送信された画像データを受信する。これにより、カメラを本体の処理装置から切り離して人に装着することができる。
【００２９】
第１２の発明に係るプログラムは、画像データを受取るための受取手段と、記憶手段と、出力手段とを含むコンピュータを、特定の物を表わすデータを記憶手段に記憶するための手段と、受取手段により受取った画像データと記憶手段に記憶された特定の物を表わすデータとに基づいて、画像データの中に特定の物があるか否かを逐次検知するための検知手段と、検知手段により検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データを、検知されていた特定の物に関連付けて記憶手段に記憶するための手段と、記憶手段に記憶されたデータの中から任意の物を表わすデータを、人が選択するための選択手段と、選択手段により任意の物が選択されたことに応答して、選択された任意の物に関連付けて記憶手段に記憶された画像データを出力するように出力手段を制御するための手段として機能させる。
【００３０】
第１２の発明によると、コンピュータは、画像データと特定の物を表わすデータとに基づいて、画像データの中に特定の物があるか否かを逐次検知する。コンピュータは、検知手段により検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データを、検知されていた特定の物に関連付けて記憶手段に記憶する。選択手段を用いて、人が、記憶手段に記憶されたデータの中から任意の物を表わすデータを選択すると、コンピュータは、任意の物が選択されたことに応答して、選択された任意の物に関連付けて記憶手段に記憶された画像データを出力する。これにより、所在のわからなくなる可能性のある物を含む身の回りの物を、記憶手段に記憶させる。コンピュータは、人の視覚領域に検知されていた特定の物が検知されなくなると、検知されなくなる直前の画像データをその物に関連付けて記憶する。身の回りの物をどこかに置き忘れたことに人が気付いて、その物を選択する入力をすると、その物が検知されなくなる直前の画像が出力される。出力された画像を見た人は、その物の所在を容易に思い出すことができる。その結果、所在のわからなくなる可能性のある物に特別な機能を付加することなく、人が置き忘れた物を認知することができる物検索装置をコンピュータにて実現することができるプログラムを提供できる。
【００３１】
第１３の発明に係るプログラムは、第１２の発明の構成に加えて、検知手段は、画像データと特定の物を表わすデータとを逐次比較することにより、画像データの中に特定の物があるか否かを検知するための手段を含む。
【００３２】
第１３の発明によると、検知手段は、画像データと特定の物を表わすデータとを逐次比較して、画像データの中に特定の物があるか否かを検知する。たとえば、特定の物をテンプレートとして記憶しておき、テンプレートマッチング処理により、テンプレートを検知して、特定の物があるか否かを検知することができる。
【００３３】
第１４の発明に係るプログラムは、第１２の発明の構成に加えて、検知手段は、画像データと特定の物を表わすテンプレートデータとに基づくマッチング処理により、画像データの中にテンプレートデータにより表わされる特定の物があるか否かを検知するための手段を含む。
【００３４】
第１４の発明によると、検知手段は、特定の物をテンプレートとして記憶しておき、テンプレートマッチング処理により、テンプレートを検知して、特定の物があるか否かを検知することができる。
【００３５】
第１５の発明に係るプログラムは、第１２の発明の構成に加えて、コンピュータを、画像データに基づいて、人が把持した物を抽出するための抽出手段として機能させるためのプログラムをさらに含み、特定の物を表わすデータを記憶手段に記憶するための手段は、抽出手段により抽出された物を表わすデータを、特定の物を表わすデータとして記憶手段に記憶するための手段を含む。
【００３６】
第１５の発明によると、抽出手段は、画像データに基づいて、人が把持した物を抽出する。コンピュータは、抽出手段により抽出された物を表わすデータを、特定の物を表わすデータとして記憶手段に記憶する。これにより、一旦人が物を把持すると、把持したものが紛失するおそれのある物として記憶手段に記憶される。その結果、所在のわからなくなる可能性のある物を特別な登録することなく、人が置き忘れた物を認知することができる物検索装置をコンピュータにて実現することができるプログラムを提供できる。
【００３７】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００３８】
図１を参照して、本実施の形態に係る紛失物検索装置１００は、カメラ部２００と、カメラ部２００から送信される画像データを受信する送受信回路１０２と、人がテンプレートの登録要求を入力したりテンプレートの名前を入力したりする入力回路１０６と、メニュー画面を表示したり、入力回路１０６からの要求に応答して画像を表示したりするモニタ１０８と、この紛失物検索装置１００の全体を制御する制御回路１１０と、制御回路１１０で実行されるプログラムおよびそのプログラムの中間データを記憶する記憶回路１２０とを含む。
【００３９】
制御回路１１０は、ＣＰＵ（Central Processing Unit）を含む。ＣＰＵは、入力回路１０６から入力されたテンプレート登録要求に応答してテンプレートを登録したり、登録されたテンプレートと、送受信回路１０２を介してカメラ部２００から受信した画像データとの間でテンプレートマッチングを行なったり、テンプレートマッチングの結果によってカメラ部２００から受信した画像データを記憶回路１２０に記憶したりする。
【００４０】
記憶回路１２０は、制御回路１１０のＣＰＵで実行されるプログラムを記憶するプログラム記憶部１２２と、テンプレート画像、テンプレートマッチングの結果によりカメラ部２００から入力された画像データを記憶する画像記憶部１２４とを含む。
【００４１】
カメラ部２００は、撮像カメラ２０２と、撮像カメラ２０２に接続された画像メモリ２０４と、画像メモリ２００に接続された送受信回路２０６とを含む。撮像カメラ２０２は、人の視覚領域を撮像できるように人の頭部または胸部に装着される。送受信回路２０６は、撮像カメラ２０２により撮像された画像データを、前述の送受信回路１０２へ無線にて送信する。
【００４２】
本実施の形態に係る紛失物検索装置１００は、ＰＤＡ（Personal Digital Assistant）、携帯電話またはパーソナルコンピュータなどのコンピュータにおいて、ＣＰＵにより所定のプログラムを実行することにより実現される。
【００４３】
図１に示した紛失物検索装置１００が前述のコンピュータにより実現される場合、図１に示した制御ブロックに加えて、メモリカード、ＦＤ（Flexible Disk)およびＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）などの記録媒体の読取装置をさらに含む。これらの記録媒体には、所定のプログラムが記録されている。このようなプログラムは、一般的に、メモリカード、ＦＤおよびＣＤ−ＲＯＭなどの記録媒体に格納されて流通し、記録媒体の読取装置などにより記録媒体から読取られてプログラム記憶部１２２に一旦格納される。さらにプログラム記憶部１２２から制御回路１１０内のメモリに読出されて、制御回路１１０のＣＰＵにより実行される。また、このような記録媒体を介さない場合には、紛失物検索装置１００は、図１に示した制御ブロックに加えて、ネットワークに接続され、ネットワークに接続された他のコンピュータから所定のプログラムを受信する通信回路をさらに含む。この場合、他のコンピュータに記録されたプログラムは、ネットワークを介して通信回路により受信されて、プログラム記憶部１２２に一旦格納される。さらにプログラム記憶部１２２から制御回路１１０内のメモリに読出されて、制御回路１１０のＣＰＵにより実行される。
【００４４】
これらのコンピュータのハードウェア自体は、ＰＤＡ、携帯電話およびパーソナルコンピュータ自体などのように一般的なものである。コンピュータは、ＣＰＵを含む制御回路、記憶回路、入力回路、出力回路およびＯＳ（Operating System）を含み、プログラムを実行する環境を備えたものである。本発明のプログラムは、このようなＰＤＡ、携帯電話およびパーソナルコンピュータなどのコンピュータを、紛失物検索装置として機能させるプログラムである。したがって本発明の最も本質的な部分は、ＦＤ、ＣＤ−ＲＯＭ、メモリカード、固定ディスクなどの記録媒体に記録されたプログラムおよびサーバから通信回線を介して送信されるプログラムである。
【００４５】
図２を参照して、記憶回路１２０の画像記憶部１２０に記憶されるデータについて説明する。図２に示すように、画像記憶部１２４に記憶されるデータは、データを識別する番号ごとに、テンプレートの名前を表わす名前と、テンプレートデータＩＤ（Identification）と、最新テンプレートデータＩＤと、画像データＩＤとを含む。テンプレートデータＩＤは、テンプレートの名前を表わすデータに対応して、登録されたテンプレートを一意に特定するためのデータである。最新テンプレートデータＩＤは、後述するテンプレートマッチング処理の結果、最も類似度の高い最新のテンプレートデータを特定するためのデータである。画像データＩＤは、テンプレートマッチング処理の結果、視覚領域内に検知されていたテンプレートデータが検知されなくなったときに画像記憶部１２４に記憶された画像データを特定するためのデータである。
【００４６】
画像記憶部１２４は、図２に示すデータを記憶する記憶部に加えて、少なくとも２フレーム分の画像データを記憶するバッファを含む。このバッファは、カメラ部２００から受信した画像データの中の最新の２フレーム分を先入れ先出し方式で記憶する画像メモリにより実現される。
【００４７】
図３を参照して、テンプレートデータについて説明する。図３に示すように、テンプレートデータは、図２に示すテンプレートデータＩＤに対応して画像記憶部１２４に記憶された画像を表わすデータである。
【００４８】
図４を参照して、最新テンプレートデータについて説明する。図４に示すように、最新テンプレートデータは、テンプレートマッチング処理の結果、カメラ部２００から受信した最新の画像データの中で、図２に示すテンプレートデータＩＤにより特定されるテンプレートと最も類似度がテンプレートを表わすデータである。たとえば、図２に示すように、テンプレートデータＩＤが「１００３」はテンプレートの名前が「鉛筆」である。この「鉛筆」を表わすテンプレートデータとして、図３に示すデータが初期のテンプレートデータとして記憶される。この初期のテンプレートデータを用いてテンプレートマッチング処理された結果、この「鉛筆」を表わすテンプレートデータとして、図４に示すデータが最新テンプレートデータとして記憶される。これは、図３に示す「１００３」の画像が表わすデータと、図４に示す「１００３」の画像が表わすデータとは、同じ対象物である「鉛筆」を表わすテンプレートデータであるが、図４は、人の動きにより視覚領域が変動したため、「鉛筆」を見る角度が異なり、テンプレート図形の形態が変更されたことを示す。このようにして、図３に示すテンプレートデータを初期データとして、テンプレートマッチング処理が行なわれる度に最新のテンプレートデータが図４に示すように記憶される。この最新のテンプレートデータを用いて、テンプレートマッチング処理を行なうことにより、マッチング処理の正確さを向上させることができる。
【００４９】
図５を参照して、紛失物検索装置１００で実行されるプログラムは、テンプレート手動登録処理に関し、以下のような制御構造を有する。
【００５０】
ステップ（以下ステップをＳと略す。）１００にて、制御回路１１０は、撮像カメラ２０２を作動させる。Ｓ１０２にて、制御回路１１０は、モニタ１０８にメニュー画面を表示させる。Ｓ１０４にて制御回路１１０は、入力回路１０６から登録要求が入力されたことを検知したか否かを判断する。登録要求が入力されたことを検知すると（Ｓ１０４にてＹＥＳ）、処理はＳ１０６へ移される。一方、登録要求の入力を検知しないと（Ｓ１０４にてＮＯ）、処理はＳ１０４へ戻され、登録要求の入力を検知するまで待つ。
【００５１】
Ｓ１０６にて、制御回路１１０は、撮像カメラ２０２で撮像され、送受信回路２０６および送受信回路１０２を介して受信した撮像画像からテンプレート手動登録となる対象物を検出する。このとき、図３に示すような画像データが撮像カメラ２０２により撮像されているものとする。
【００５２】
Ｓ１０８にて、制御回路１１０は、対象物の名前の入力を行なう。Ｓ１１０にて、制御回路１１０は、登録要求されたテンプレートが既に登録済みであるか否かを判断する。この判断は、たとえばＳ１０６にて検出した対象物を表わす画像データまたはＳ１０８にて入力された対象物の名前に基づいて行なわれる。具体的には、画像データまたは名前を表わすデータと、画像記憶部１２４に記憶されたデータ（図２）とを、比較することにより行なわれる。テンプレートデータが登録済みである場合には（Ｓ１１０にてＹＥＳ）、処理はＳ１１４へ移される。一方、テンプレートデータが登録済みでない場合には（Ｓ１１０にてＮＯ）、処理はＳ１１２に移される。
【００５３】
Ｓ１１２にて、制御回路１１０は、Ｓ１０６にて検出された対象物およびＳ１０８にて入力された名前を画像記憶部１２４に登録する。Ｓ１１４にて、制御回路１１０は、処理を終了するか否かを判断する。この判断は、たとえば、入力回路１０６から、所定のキーが押されたことにより行なわれる。処理を終了する場合には（Ｓ１１４にてＹＥＳ）、このテンプレート手動登録処理を終了する。一方、処理を終了しない場合には（Ｓ１１４にてＮＯ）、処理はＳ１０２へ戻され、制御回路１１０は、モニタ１０８にメニュー画面を表示させる。
【００５４】
図６を参照して、紛失物検索装置１００で実行されるプログラムは、テンプレート自動登録処理に関し、以下のような制御構造を有する。以下の説明において、前述の図５と同じ処理については同じステップ番号を付してある。したがって、ここでのそれらの詳細な説明は繰返さない。
【００５５】
Ｓ１２０にて、制御回路１１０は、撮像カメラ２０２を作動させた後、送受信回路２０６および送受信回路１０２を介して撮像カメラ２０２により撮像された画像データを、カメラ部２００から受信したか否かを判断する。撮像された画像データを受信すると（Ｓ１２０にてＹＥＳ）、処理はＳ１２２へ移される。一方、撮像された画像データを受信しないと（Ｓ１２０にてＮＯ）、処理はＳ１２０へ戻され、カメラ部２００からの画像データの受信を待つ。
【００５６】
Ｓ１２２にて、制御回路１１０は、Ｓ１２０にて受信した撮像画像データから、人の手を表わすデータを抽出する。Ｓ１２４にて、制御回路１１０は、Ｓ１２２にて抽出した手を表わすデータに基づいて、手による把持物があるか否かを判断する。手による把持物がある場合には（Ｓ１２４にてＹＥＳ）、処理はＳ１２６へ移される。一方、手による把持物がない場合には（Ｓ１２４にてＮＯ）、処理はＳ１１４へ移される。
【００５７】
Ｓ１２６にて、制御回路１１０は、Ｓ１２４にて判断された把持物をテンプレートとして検出する。Ｓ１０８にて、制御回路１１０は、Ｓ１２６にて検出した対象物の名前を入力する。
【００５８】
Ｓ１１０にて、制御回路１１０は、Ｓ１２６にて検出されＳ１０８にて名前が入力されたテンプレートデータが既に登録済みであるか否かを判断する。登録済みである場合には（Ｓ１１０にてＹＥＳ）、処理はＳ１１４へ移される。一方、登録済みでない場合には（Ｓ１１０にてＮＯ）、処理はＳ１１２へ移される。
【００５９】
Ｓ１１２にて、制御回路１１０は、Ｓ１２６にて検出された対象物およびＳ１０８にて入力された名前を画像記憶部１２４に登録する。
【００６０】
図７を参照して、紛失物検索装置１００で実行されるプログラムは、画像データ記憶処理に対し、以下のような制御構造を有する。以下の説明において、図７の処理の中で、前述の図５および図６と同じ処理については同じステップ番号を付してある。したがって、ここでのそれらの詳細な説明は繰返さない。
【００６１】
Ｓ１４０にて、制御回路１１０は、Ｓ１２０にて受信したと判断した画像データをバッファの画像メモリに記憶する。前述の説明の通り、この画像メモリには、最新の２フレーム分の画像データが先入れ先出し方式で記憶される
Ｓ１４２にて、制御回路１１０は、バッファに記憶された撮像された最新の画像データと、図４に示すように画像記憶部１２４に記憶された最新テンプレートとに基づいて、テンプレートマッチング処理を行なう。テンプレートマッチング処理は、図４に示す最新テンプレートデータと、カメラ部２００から受信した撮像された画像データの切出し枠との間で類似計算を行ない、最も類似度の高い切出し枠を探索する。この処理により、図４に示す登録されたテンプレートデータにより表わされる物が、撮像された画像データの中にあるか否かが判断される。
【００６２】
Ｓ１４４にて、制御回路１１０は、Ｓ１４２におけるテンプレートマッチングの結果、対象物を検知できなくなったか否かを判断する。この判断は、最新の１つ前のフレームにおいては、テンプレートに基づいて対象物が検出されていた状態から、最新のフレームにおいては対象物が検知できなくなったか否かにより行なわれる。対象物が検知できなくなると（Ｓ１４４にてＹＥＳ）、処理はＳ１４８へ移される。一方、対象物が検知できていると（Ｓ１４４にてＮＯ）、処理はＳ１４６へ移される。
【００６３】
Ｓ１４６にて、制御回路１１０は、Ｓ１４４にて検知していると判断された画像を、最新テンプレートとして図４に示すように画像記憶部１２４に記憶する。
【００６４】
Ｓ１４８にて、制御回路１１０は、Ｓ１４４にて対象物が検知できなくなったと判断された場合、バッファの画像メモリに記憶された最新の１つ前の画像データを、テンプレートデータＩＤに関連付けて、図２に示すように画像記憶部１２４に記憶する。
【００６５】
Ｓ１５０にて、制御回路１１０は、登録されたすべてのテンプレートについてテンプレートマッチング処理が完了したか否かを判断する。登録されたすべてのテンプレートについてのテンプレートマッチング処理が完了すると（Ｓ１５０にてＹＥＳ）、処理はＳ１１４へ移される。一方、登録されたすべてのテンプレートについてのテンプレートマッチング処理が完了するまでは（Ｓ１５０にてＮＯ）、処理はＳ１５２へ移される。
【００６６】
Ｓ１５２にて、制御回路１１０は、検知対象を次のテンプレートに変更する。Ｓ１５２における処理の後、処理は、Ｓ１４２へ戻され、次のテンプレートを検知対象としたテンプレートマッチング処理が行なわれる。
【００６７】
このようにして、処理終了になるまで、図２に示すように画像記憶部１２４に登録されたテンプレートが、カメラ部２００にて撮像された画像データの中に存在するか否かが１フレームずつ検知される。検知されなくなると、検知されなくなる１つ前の画像データを、検知されなくなったテンプレートに関連付けて記憶される。
【００６８】
図８を参照して、紛失物検索装置１００で実行されるプログラムは、画像データ出力処理に関し、以下のような制御構造を有する。以下の説明において、図８の処理の中で、前述の図５と同じ処理については同じステップ番号を付してある。したがって、ここでのそれらの詳細な説明は繰返さない。
【００６９】
Ｓ１６０にて、制御回路１１０は、入力回路１０６を介して探索要求の入力を検知したか否かを判断する。探索要求の入力を検知すると（Ｓ１６０にてＹＥＳ）、処理はＳ１６２へ移される。一方、探索要求を検知しないと（Ｓ１６０にてＮＯ）、処理はＳ１６０へ戻され、入力回路１０６を介した探索要求の入力を待つ。
【００７０】
Ｓ１６２にて、制御回路１１０は、図２に示すように画像記憶部１２４に登録されたテンプレート一覧（画像または名前）をモニタ１０８に表示させる。Ｓ１６４にて、制御回路１１０は、入力回路１０６を介してテンプレートの選択の入力を検知したか否かを判断する。テンプレートの選択の入力を検知すると（Ｓ１６４にてＹＥＳ）、処理はＳ１６６へ移される。一方、テンプレートの選択の入力を検知しないと（Ｓ１６４にてＮＯ）、処理はＳ１１４へ移される。
【００７１】
Ｓ１６６にて、制御回路１１０は、Ｓ１６４にて入力を検知した選択されたテンプレートに関連付けて記憶された画像をモニタ１０８に表示させる。このとき、表示される画像データを特定する情報は、図２に示すように、画像データＩＤにより特定される。画像データＩＤは、画像データＩＤに対応するテンプレートデータにより表わされる物が検知されなくなる直前の画像を表示する。すなわち、テンプレートデータにより表わされる物が最後に撮像されている画像が表示される。
【００７２】
以上のような構造およびフローチャートに基づく、紛失物検索装置１００の動作について説明する。
【００７３】
［テンプレート手動登録動作］
人が入力回路１０６から撮像カメラ２０２の作動を指示すると、撮像カメラが動作を開始する（Ｓ１００）。人は、頭部または胸部に装着された撮像カメラ２０２に写るように、テンプレートに登録したい対象物を見る。モニタ１０８に表示されたメニュー画面に従って（Ｓ１０２）、人が入力回路１０６から登録要求を入力すると（Ｓ１０４にてＹＥＳ）、撮像カメラ２０２にて撮像された画像からテンプレート手動登録の対象となる対象物が検出される（Ｓ１０６）。
【００７４】
人が入力回路１０６から対象物の名前を入力する（Ｓ１０８）。テンプレートを表わす画像データおよび名前に基づいて、検出された対象物が画像記憶部１２４に登録済みでない場合には（Ｓ１１０にてＮＯ）、検出された対象物および名前が画像記憶部１２４に登録される。
【００７５】
［テンプレート自動登録動作］
撮像カメラ２０２を作動させている状態において（Ｓ１００）、図９に示すように、人の手３１０が印鑑３０８を把持した状態が撮像されると、撮像された画像から手が抽出される（Ｓ１２２）。手による把持物が判断され（Ｓ１２４にてＹＥＳ）、把持物である印鑑がテンプレートの対象物として検出される（Ｓ１２６）。
【００７６】
人が入力回路１０６から対象物の名前を入力する（Ｓ１０８）。テンプレートを表わす画像データおよび名前に基づいて、検出された対象物が画像記憶部１２４に登録済みでない場合には（Ｓ１１０にてＮＯ）、検出された対象物および名前が画像記憶部１２０に登録される。
【００７７】
このようにして、テンプレート自動登録動作の場合には、前述のテンプレート手動登録動作と異なり、人が手に物を持つ度に、手による把持物が対象物として検出され、登録済みでない場合には把持されたものがテンプレート図形として登録される。
【００７８】
［画像データ記憶動作］
撮像カメラ２０２を作動状態にして（Ｓ１００）、紛失物検索装置１００に画像データ記憶動作状態にすると、撮像画像データを受信して（Ｓ１２０にてＹＥＳ）、撮像された画像データがバッファの画像メモリに記憶される（Ｓ１４０）。このとき、バッファの画像メモリには、２フレーム分の画像データが記憶される。すなわち、現在撮像カメラ２０２から受信した画像データとその１フレーム前の画像データとである。
【００７９】
受信した撮像画像と最新テンプレートとに基づくテンプレートマッチング処理が行なわれる（Ｓ１４２）。１つ前のフレームにおいてテンプレートマッチング処理により検出されていた対象物が、最新のフレームでは検出できなくなった場合（Ｓ１４４にてＹＥＳ）、バッファに記憶された１つ前の画像データをテンプレートデータＩＤに関連付けて、図２に示すように画像記憶部１２４に記憶する。
【００８０】
このような動作が、図２に示す登録されたすべてのテンプレートについて行なわれる。撮像カメラ２０２から、たとえば、１秒ごとに１フレーム分の画像データが送信され、すべてのテンプレートについてのテンプレートマッチング処理が１秒以内で行なわれるようにする。１秒間隔で、受信した画像データに対して、図２に示すように登録された複数のテンプレートのそれぞれについて、テンプレートマッチングが行なわれる。それぞれのテンプレートマッチングの結果、対象物が検知できなくなった場合には、バッファの画像メモリに記憶された１フレーム前の画像データがテンプレートデータＩＤに関連付けて画像記憶部１２４に記憶される。
【００８１】
このとき、テンプレートマッチング処理は、図１０に示すように、撮像カメラ２０２から受信した画像データの中の切出し枠４００を走査して、切出し枠４００に含まれる画像データと、最新テンプレートデータＩＤにより特定されるテンプレートデータとの類似度を計算する。最も類似度の高い切出し部のデータが抽出され、その画像データが最新テンプレートデータとして記憶される。なお、一定値以上の類似度を有する切出し部が存在しない場合には、そのテンプレート図形が存在しないものとして判断される。
【００８２】
［画像データ出力動作］
人が紛失物検索装置１００を装着している生活している場合において、印鑑の所在がわからなくなった場合について説明する。
【００８３】
図１０に示すように、印鑑３０８が撮像された画像データを撮像カメラ２０２から受信している場合には、印鑑を表わす最新のテンプレートデータに基づいて印鑑が検知される。この状態から、図１１に示すように、印鑑を人が筆箱３０２などに格納した場合には、印鑑３０８をテンプレートマッチングにより検知することができなくなる。そのとき、図１０に示す印鑑３０８が検知されなくなる直前の画像データが画像記憶部１２４に、印鑑を表わすテンプレートデータＩＤまたは名前に対応付けて記憶される。この場合、図１０に示す画像データが画像記憶部１２４に記憶される。
【００８４】
このようにして画像記憶部１２４に画像データが記憶されている場合において、人が印鑑３０８の所在がわからなくなったことに気付くと、人は入力回路１０６から探索要求を入力する（Ｓ１０６にてＹＥＳ）。画像記憶部１２４に記憶されたテンプレートの一覧（画像または名前）が表示され（Ｓ１６２）、印鑑を表わすテンプレートの選択を入力する（１６４にてＹＥＳ）。選択された印鑑を表わすテンプレートに関連付けて記憶された図１０に示す画像がモニタ１０８に表示される。
【００８５】
図１０に示す画像がモニタ１０８に表示されると、人は、印鑑３０８が最後に検知された画像に基づいて、印鑑の所在を認知することができる。たとえばこの場合、筆箱３０２の中に格納されたことなどを思い出す。
【００８６】
以上のようにして、本実施の形態に係る紛失物検索装置は、紛失するおそれのある対象物に新たな機能を設けることなく、人の視覚領域を撮像した画像データに基づいて、予めテンプレートデータを登録しておき、テンプレートデータと視覚領域を撮像した画像データとの間でテンプレートマッチングを行なう。撮像された画像データの中にテンプレート図形が存在しなくなると、その直前の画像データをテンプレート図形に対応付けて記憶しておく。人が検索したいテンプレートを入力すると、その入力されたテンプレートに対応付けて記憶された画像データがモニタに表示される。その結果、人はその画像データを見ることにより、所在がわからなくなったものが最後に撮像された画像データに基づいて、その物の所在を思い出すことができる。
【００８７】
なお、図６のＳ１０８の処理を行なわない形態も考えられる。すなわち、自動登録処理においてテンプレートの名前を入力しないものである。このようにすると、テンプレートの名前を人が入力する必要がなくなり、完全に自動でテンプレートの登録ができる。
【００８８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る紛失物検索装置の全体構成図である。
【図２】図１の画像記憶部に記憶されるデータを表わす図である。
【図３】図１の画像記憶部に記憶されるテンプレートデータを表わす図である。
【図４】図１の画像記憶部に記憶される最新テンプレートデータを表わす図である。
【図５】本発明の実施の形態に係るテンプレート手動登録処理の手順を示すフローチャートである。
【図６】本発明の実施の形態に係るテンプレート自動登録処理の手順を示すフローチャートである。
【図７】本発明の実施の形態に係る画像データ記憶処理の手順を示すフローチャートである。
【図８】本発明の実施の形態に係る画像データ出力処理の手順を示すフローチャートである。
【図９】図１の撮像カメラによる撮像画像の例（その１）である。
【図１０】図１の撮像カメラによる撮像画像の例（その２）である。
【図１１】図１の撮像カメラによる撮像画像の例（その３）である。
【符号の説明】
１００紛失物検索装置、１０２送受信回路、１０６入力回路、１０８モニタ、１１０制御回路、１２０記憶回路、１２２プログラム記憶部、１２４画像記憶部、２００カメラ部、２０２撮像カメラ、２０４画像メモリ、２０６送受信回路

Claims

画像データを受取るための受取手段と、
特定の物を表わすデータを記憶するための第１の記憶手段と、
前記受取手段と前記第１の記憶手段とに接続され、前記画像データと前記特定の物を表わすデータとに基づいて、前記画像データの中に前記特定の物があるか否かを逐次検知するための検知手段と、
前記受取手段と前記検知手段とに接続され、前記検知手段により検知されていた前記特定の物が検知されなくなると、前記検知されなくなる直前の画像データを、前記検知されていた特定の物に関連付けて記憶するための第２の記憶手段と、
前記第１の記憶手段に接続され、前記第１の記憶手段に記憶されたデータの中から任意の物を表わすデータを、人が選択するための選択手段と、
前記選択手段と前記第２の記憶手段とに接続され、前記選択手段により前記任意の物が選択されたことに応答して、前記選択手段により選択された任意の物に関連付けて前記第２の記憶手段に記憶された画像データを出力するための出力手段とを含む、物検索装置。
前記検知手段は、前記画像データと前記特定の物を表わすデータとを逐次比較することにより、前記画像データの中に前記特定の物があるか否かを検知するための手段を含む、請求項１に記載の物検索装置。
前記検知手段は、前記画像データと前記特定の物を表わすテンプレートデータとに基づくマッチング処理により、前記画像データの中に前記テンプレートデータにより表わされる特定の物があるか否かを検知するための手段を含む、請求項１に記載の物検索装置。
前記物検索装置は、前記受取手段に接続され、前記画像データに基づいて、人が把持した物を抽出するための抽出手段をさらに含み、
前記第１の記憶手段は、前記抽出手段により抽出された物を表わすデータを、前記特定の物を表わすデータとして記憶するための手段を含む、請求項１に記載の物検索装置。
前記物検索装置は、
画像を撮像するための撮像手段と、
前記撮像手段に接続され、前記撮像手段により撮像された画像データを無線にて送信するための送信手段とをさらに含み、
前記受取手段は、前記送信手段により無線にて送信された前記画像データを受信するための手段を含む、請求項１に記載の物検索装置。
前記撮像手段は、人に装着される、請求項５に記載の物検索装置。
画像データを受取る受取ステップと、
特定の物を表わすデータを予め準備する準備ステップと、
前記画像データと前記特定の物を表わすデータとに基づいて、前記画像データの中に前記特定の物があるか否かを逐次検知する検知ステップと、
前記検知ステップにて検知されていた前記特定の物が検知されなくなると、前記検知されなくなる直前の画像データを、前記検知されていた特定の物に関連付けて記憶する記憶ステップと、
前記準備ステップにて準備されたデータの中から任意の物を表わすデータを、人が選択する選択ステップと、
前記選択ステップにて前記任意の物が選択されたことに応答して、前記選択された任意の物に関連付けて前記記憶ステップにて記憶された画像データを出力する出力ステップとを含む、物検索方法。
前記検知ステップは、前記画像データと前記特定の物を表わすデータとを逐次比較することにより、前記画像データの中に前記特定の物があるか否かを検知するステップを含む、請求項７に記載の物検索方法。
前記検知ステップは、前記画像データと前記特定の物を表わすテンプレートデータとに基づくマッチング処理により、前記画像データの中に前記テンプレートデータにより表わされる特定の物があるか否かを検知するステップを含む、請求項７に記載の物検索方法。
前記物検索方法は、前記画像データに基づいて、人が把持した物を抽出する抽出ステップをさらに含み、
前記準備ステップは、前記抽出ステップにて抽出された物を表わすデータを、前記特定の物を表わすデータとして準備するステップを含む、請求項７に記載の物検索方法。
前記物検索方法は、
画像を撮像するステップと、
前記撮像ステップにて撮像された画像データを無線にて送信する送信ステップとをさらに含み、
前記受取ステップは、前記送信ステップにおいて無線にて送信された前記画像データを受信するステップを含む、請求項７に記載の物検索方法。
画像データを受取るための受取手段と、記憶手段と、出力手段とを含むコンピュータを、
特定の物を表わすデータを前記記憶手段に記憶するための手段と、
前記受取手段により受取った画像データと前記記憶手段に記憶された特定の物を表わすデータとに基づいて、前記画像データの中に前記特定の物があるか否かを逐次検知するための検知手段と、
前記検知手段により検知されていた前記特定の物が検知されなくなると、前記検知されなくなる直前の画像データを、前記検知されていた特定の物に関連付けて前記記憶手段に記憶するための手段と、
前記記憶手段に記憶されたデータの中から任意の物を表わすデータを、人が選択するための選択手段と、
前記選択手段により任意の物が選択されたことに応答して、選択された任意の物に関連付けて前記記憶手段に記憶された画像データを出力するように前記出力手段を制御するための手段として機能させるためのプログラム。
前記検知手段は、前記画像データと前記特定の物を表わすデータとを逐次比較することにより、前記画像データの中に前記特定の物があるか否かを検知するための手段を含む、請求項１２に記載のプログラム。
前記検知手段は、前記画像データと前記特定の物を表わすテンプレートデータとに基づくマッチング処理により、前記画像データの中に前記テンプレートデータにより表わされる特定の物があるか否かを検知するための手段を含む、請求項１２に記載のプログラム。
前記プログラムは、前記コンピュータを、前記画像データに基づいて、人が把持した物を抽出するための抽出手段として機能させるためのプログラムをさらに含み、
特定の物を表わすデータを前記記憶手段に記憶するための手段は、前記抽出手段により抽出された物を表わすデータを、前記特定の物を表わすデータとして前記記憶手段に記憶するための手段を含む、請求項１２に記載のプログラム。