JP6390015B2 - 生体探索システム - Google Patents

Description

本発明は屋内又は屋外等の所定の範囲内で特定の人等を探すための生体探索システムに関するものである。

従来、人探索システムとして例えば、迷子探索システムが提案されている（特許文献１参照）。

上記の迷子探索システムは、遊園地等の施設に入場する人によって携帯され、質問信号を受信したときに、予め登録されている固有情報を送信するＩＤタグと、前記施設内の所定場所に配置され、前記ＩＤタグを付けた人が通過するときに、このＩＤタグに前記質問信号を送信して、前記ＩＤタグの固有情報の送信を促す質問器と、前記施設内の所定場所に配置され、前記ＩＤタグを付けた人が通過するときに、この人物の画像を取り込むカメラ装置と、このカメラ装置で得られた各人の画像および前記質問器で得られた各ＩＤタグの固有情報とを対にして、各人の識別用データを作成する管理装置とを備えるものである。

迷子探索システムによる探索は、施設入場者の写真をカメラで撮影し、撮影された画像をＩＤと対にして自動的に記録し、迷子が発生した時に、該当するＩＤを点在する質問機が読み取った履歴を参考にして、存在場所を大まかに特定し、その人の顔写真をプリントアウトして、係員が施設内を探すというものである。

また、複数の監視カメラ装置を連携して追跡対象の移動体の映像を補足する監視システムが公知である（特許文献２参照）。

上記監視システムは、監視カメラ装置が画像認識機能を備え、撮影した追跡対対象者の映像と特徴情報をネットワークを介して他の監視カメラ装置に伝送するように構成することで、追跡対象を追跡し続けることが可能とされている。

特開平１０−３０１９８４号公報 特開２００３−３２４７２０号公報

上記特許文献１に記載されている迷子探索システムは、カメラが固定されているため、探索対象者をカメラにより追跡することは不可能である。

また上記特許文献２に記載されている監視システムでは、監視対象者を複数のカメラを切り替えて追跡することが可能であるが、各カメラの位置が固定されていることから、死角が発生するという問題は避けられない。また監視対象者をカメラで追跡することができたとしても、カメラからの距離が遠くなると、対象者が小さな姿でしか確認できないことになってしまい、画像認識が困難になってしまうという問題があった。

本発明の目的は、無人移動体を使って特定の生体個体を捜索する生体探索システムを提供することである。

上記課題を解決するため、本発明の生体探索システムは、生体個体である人を被探索体として探すにあたり、無人移動体と、前記無人移動体と通信ネットワークで接続されたサーバと、を備え、前記無人移動体は、周囲を観察するカメラと、空間または地上を移動するための移動手段と、を有し、前記サーバは、前記被探索体の個体識別情報を記録可能なデータベースと、前記カメラで撮影された人の特徴部分を前記個体識別情報と照合し、その人が前記被探索体か否かを判別する個体識別手段と、を有していることを特徴とする。

本発明の生体探索システムは、前記無人移動体として、自律飛行可能な無人航空機を用いる構成としてもよい。

また、上記課題を解決するため、本発明の生体探索システムは、生体個体である人を被探索体として探すにあたり、周囲を観察するカメラと、空間または地上を移動するための移動手段と、前記被探索体の個体識別情報を記録可能なデータベースと、前記カメラで撮影した画像から人の特徴部分を検出する画像データ処理手段と、前記画像データ処理手段で検出した特徴部分を前記個体識別情報と照合し、その人が前記被探索体か否かを判別する個体識別手段と、を有する無人移動体を備えることを特徴とする。

本発明の生体探索システムは、前記特徴部分が人の顔であり、前記画像データ処理手段は、前記カメラで撮影した画像から人を検出する人検出手段と、該人検出手段で検出された人の画像から顔を検出する顔検出手段と、を含む構成としてもよい。

また、本発明の生体探索システムは、前記人検出手段が前記画像から人を検出したときに、その人の顔が検出可能な位置に前記無人移動体を自動的に移動させる構成としてもよい。

また、本発明の生体探索システムは、前記無人移動体として、複数の前記無人航空機を用いる構成としてもよい。

また、本発明の生体探索システムは、前記個体識別手段により前記被探索体が検出されたときに、前記無人移動体が該被探索体を追尾する構成としてもよい。

また、本発明の生体探索システムは、複数の前記無人移動体を備え、前記被探索体の追尾を、該被探索体を撮影した前記無人移動体とは別の前記無人移動体に引継可能である構成としてもよい。

また、本発明の生体探索システムは、前記データベースに、さらに、前記被探索体を発見したときの通知先である通知先情報が登録される構成としてもよい。

また、本発明の生体探索システムは、前記無人移動体または前記サーバは、前記個体識別手段により前記被探索体が検出されたときに、該被探索体の位置情報を前記通知先に通知する構成としてもよい。

また、本発明の生体探索システムは、前記無人移動体が前記カメラを複数台有している構成としてもよい。

本発明の生体探索システムによれば、被探索体である生体個体を速やかに探し出すことが可能となる。

本発明の生体探索システムの一実施例の概略の構成を示す説明図である。 図１の生体探索システムの無人航空機の構成を示すブロック図である。 図１の生体探索システムの探索の手順を示すフローチャートである。

以下、本発明の生体探索システムについて、図面を用いて詳細に説明する。図１は本発明の生体探索システムの一実施例の概略の構成を示す説明図である。図１に示す実施例は、被探索体として特定の人Ｓ（被探索者）を探す場合の人探索システムの例であり、無人移動体として無人航空機（マルチコプタ３０）用いた場合の例である。

図１の人探索システムは、室内又は室外の所定の範囲内において、被探索体として依頼人から依頼された特定の個人（生体個体）を探すためのものである。人探索システム１０は、マルチコプタ３０、サーバ５０を有し、無人航空機３０とサーバ５０は、通信ネットワーク９０により接続されていて、互いにデータの送受信が可能に構成されている。サーバ５０は、例えば探索センタ等に設置され、係員によりデータの入力操作等の操作が行われる。

通信ネットワーク９０は、公衆の便に供される共用ネットワーク、独自の専用ネットワークのいずれを用いてもよい。通信ネットワーク９０と無線航空機３０の間は無線方式で接続される。また通信ネットワーク９０とサーバ５０は無線方式又は有線方式のいずれの方式で接続されていてもよい。共用ネットワークは、通常の有線の固定電話回線、携帯電話回線等を用いることができる。

図２は図１の生体探索システムの無人移動体の構成を示すブロック図である。図１の人探索システムは、マルチコプタ３０を無人移動体として用いる。図２に示すようにマルチコプタ３０は、空間を飛行して任意に移動することが可能な移動手段３００を有する。マルチコプタ３０の移動手段３００は、揚力を発生させる複数の回転翼３１０、飛行動作等を制御する制御部３２０、各部品に電力を供給するためのバッテリ３４０等から構成されている。マルチコプタ３０は自律して移動することが可能に形成されている。

本発明において無人移動体としては、無人航空機以外に、自動運転が可能に構成されている無人自動車等を用いることができる。尚、マルチコプタ等の無人航空機を用いると、混雑している人ごみの中等でも、人をかき分ける必要がなく、また人の手の届かない高さの位置を飛行して移動することができるので、いたずらされたりする可能性が低くなる。

また上記のマルチコプタは、自律して移動可能なものであるが、無人移動体は、遠隔操作によって移動可能なものであってもよい。

各回転翼３１０にはＤＣモータ３１１が結合されており、ＥＳＣ（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）３１２を介して、制御部３２０に接続されている。制御部３２０は、ＣＰＵ（中央処理装置）３２３、ＲＡＭ／ＲＯＭ（記憶装置）３２２、及びＰＷＭコントローラ３２４等から構成される。制御部３２０には、更に加速度センサ、ジャイロセンサ（角速度センサ）、気圧センサ、地磁気センサ（電子コンパス）等のセンサ群３２５、ＧＰＳ受信器３２６等が接続されている。

マルチコプタ３０の制御は、移動手段３００のＰＷＭコントローラ３２４により、ＥＳＣ３１２を介してＤＣモータ３１１の回転速度の調節により行う。すなわち複数の回転翼３１０の回転方向や回転速度のバランス等を適宜調節することにより、マルチコプタ３０の姿勢や位置を制御することが可能である。

例えば、制御部３２０のＲＡＭ／ＲＯＭ３２２には、マルチコプタ３０の飛行時における飛行制御アルゴリズムが実装された飛行制御プログラムが記憶されている。制御部３２１はセンサ群３２５等から取得した情報を用いて、飛行制御プログラムによりマルチコプタ３０の姿勢及び位置を制御することができる。このようにマルチコプタ３０は、移動手段３００により、所定の範囲内を飛行して被探索体の探索のための移動を行うことが可能に構成されている。

マルチコプタ３０は、周囲を観察するためのカメラ３５０、該カメラからの静止画の画像データを取り込むための画像データ処理手段３６０、画像データ処理手段３６０で取り込んだ画像データをサーバ５０に送信したり、サーバ５０からのデータを受信するための通信手段３７０を備えている。通信手段３７０は無線送受信が可能な通信装置が用いられる。

カメラ３５０は、マルチコプタ３０の周囲をモニタリングして観察するのに用いられ、必要に応じ、静止画像を取り込むことが可能なものであればよい。カメラ３５０としては、可視光により画像を形成する可視光カメラ、赤外線により画像を形成する赤外線カメラ等を用いることができる。カメラ３５０は監視カメラ等に用いられる撮像素子を用いることができる。

マルチコプタ３０に、複数台のカメラ３５０を設けてもよい。例えば、異なる４方向に向けて４台のカメラ３５０を設置してもよい。またカメラ３５０として、マルチコプタの底面に３６０度カメラとして、マルチコプタの全周囲を観察可能に取り付けでもよい。

マルチコプタ３０は、人の顔を探索体の特徴部分と定め、カメラ３５０で観察している画像に人の顔が検出された場合に、当該観察画像の静止画の画像データを取り込むことが可能に構成された画像データ処理手段３６０を備えている。

画像データ処理手段３６０は、移動体やサーバに画像データを取り込むことが可能な手段であれば使用することができる。具体的には、画像データを記録装置等に記録するための処理、画像データを一時的に記憶装置に記憶する処理、画像データをサーバ等に送信する処理等が挙げられる。

画像データ処理手段３６０は、人の顔の検出（顔検出ということもある）を行うために顔検出手段が用いられる。顔検出手段は、モニタリングしている画像をリアルタイムで画像処理して、パターン分析、パターン識別等を行い、人の顔が認識された場合、顔検出されたとする。

また、この画像データ処理手段３６０は、観察している画像に人体のシルエットが認識された場合に、人の検出と判別する人検出手段を有している。人検出手段は、顔検出と同様に、画像処理して、パターン分析、パターン認識等を行い、画像中に人体のシルエットの姿があることが認識された場合に、人検出されたとする。

なお本発明の画像処理を行う際の、顔検出とは、顔である部分の場所を検出することであり、顔認識とは、顔を検出したうえで、その顔の特徴情報から個人を特定する処理のことである。

マルチコプタ３０は、マイクロフォン等の音声入力装置３８０、音や画像、映像等の出力装置３９０を備えている。音声入力装置３８０は、被探索者を発見した際に、該被探索者の音声を入力して探索センタの係員等との会話等に用いることができる。出力装置３９０は、例えばスピーカ等の音声出力装置、液晶ディスプレイ等の画像表示装置やプロジェクター等の画像投影装置等が挙げられる。出力装置３９０は、被探索者に対するメッセージの付与（伝達）、探索センタの係員が被探索者と会話を行うのに利用される

サーバ５０は、被探索者Ｓの個体識別情報、依頼人の電話番号、メールアドレス等の通知先情報等の探索データの記録が可能なデータベース５１０と、被探索者Ｓが発見された際に依頼人に通知するための通知手段５２０、カメラから入力した探索者の画像を含む画像データと対比して該探索体が被探索者であるか否かの判別に用いられる個体識別手段５３０、前記データベース５１０に前記探索データを入力するための入力装置５４０等を備えている。通信ネットワーク９０とサーバ５０との通信は制御装置を介して行われる。

データベース５１０に登録される探索データは、探索の範囲、被探索者の個体識別情報、依頼人の連絡先情報以外に、付加情報として、要追跡の有無のデータ、被探索者に対する依頼人からの音声メッセージ、映像メッセージ等が挙げられる。

データベース５１０に登録される被探索者の個体識別情報は、例えば個人の顔写真等の画像データ、個人の服装の色等の情報、個人の身長、体重等のデータ等が用いられる。

通知手段５２０は、音声、文字、画像等を通信可能な通信機器等であり、具体的には携帯電話、パソコン、ファクシミリ等が挙げられる。通知手段５２０が通知する通知先としては、携帯電話、管理センタ、インターネット等が挙げられる。通知手段５２０は、個体識別手段５３０により被探索体Ｓが発見された際に、制御装置５５０が連絡先をデータベース５１０から検索し、その連絡先に、通知手段５２０を用いて発見の通知を行うことができる。通知は、音声、文字、画像データ、それらを組み合わせたもの等を用いることができる。

以下図１の人探索システムの探索手順について説明する。図３は人探索システムの手順を示すフローチャートである。探索手順として、例えば、次のステップで進めることができる。
Ｓ１１０：予め依頼人から提供された被探索データを登録するデータ登録ステップ。
Ｓ１２０：移動体がカメラで周囲を観察しながら探索範囲内を移動する移動ステップ。
Ｓ１３０：カメラの観察画像の中に人がいるか否かを判別して人検出を行う人検出ステップ。
Ｓ１４０：カメラの観察画像に顔があるか否かを判別して顔検出を行う顔検出ステップ。
Ｓ１５０：カメラの観察画像に予め定めた特徴部分を検出した場合、対象探索体を検出したと判断して、カメラの観察画像を画像データとして取り込む画像データ処理ステップ。
Ｓ１６０：画像データの対象探索体と被探索体の個体識別情報とを対比して対象探索体の個体認識を行う個体認識ステップ。
Ｓ１７０：個体認識ステップで画像データの対象探索体が個体識別情報と一致した場合、被探索体を発見したものとして、通知手段が依頼人に被探索体発見の通知を行う発見通知ステップ。以下、これらのステップについて説明する。

図３に示すように、先ず、データ登録ステップＳ２１０では、探索センタの作業者が依頼人から提供された探索データをサーバ５０の入力装置５４０を用いてデータベース５１０に登録する。

次いで、移動ステップＳ１２０では、サーバ５０の制御装置５５０から通信ネットワーク９０を介して、マルチコプタ３０に制御信号を送り、カメラ３５０で周囲を観察しながら所定の探索範囲を移動する。

次いで、人検出ステップＳ１３０では、カメラ３５０の観察画像の中に人がいるか否かを判断して人検出を行う。人検出ステップＳ１３０で人が検出されなかった場合（ＮＯ）は移動ステップＳ１２０に戻り、マルチコプタ３０は探索範囲内を更に移動する。人検出ステップ１２０で人が検出された場合（ＹＥＳ）次の顔検出ステップＳ１４０に進む。人検出ステップＳ１２０では、人体のシルエットを認識した際に人の検出と判別する。

顔検出ステップＳ１４０では、カメラの観察画像に顔の画像があるか否かを判別する。顔の画像が無い場合（ＮＯ）は移動ステップＳ１２０に戻り、マルチコプタ３０を移動させる。マルチコプタ３０の移動は、顔検出ができるように、人の顔の正面側等の位置に移動させる。一方、顔の画像が検出できた場合（ＹＥＳ）は、探索者を検出したと判断して画像データ処理ステップＳ１５０に進む。

画像データ処理ステップＳ１５０では、カメラ３５０の画像を画像データ処理手段３６０により画像データとして記憶する。記憶された画像データは、制御装置により通信手段３７０を用いて通信ネットワーク９０を介してサーバ５０に送られる。

次にサーバ５０では、個体認識ステップＳ１６０を行う。個体認識ステップＳ１６０は、サーバ５０に送られた画像データを、制御装置５５０を介して個体識別手段５３０に送り、データベースの個人識別情報として登録されている被探索者の顔情報を用いて、顔情報画像データの人（探索者）が被探索者であるか否かを判別する。判別は、登録されている単一或いは複数の顔情報と顔の画像データを対比して、予め定められた一致率を超える場合に、被探索体と一致したと判断して、次の発見通知ステップＳ１７０に進む。一方、対比の結果、一致率に届かなかった場合は、不一致として移動ステップＳ１２０に戻り、マルチコプタ３０を移動させる。

発見通知ステップＳ１７０では、被探索者Ｓを発見したとして、依頼人に、通知手段５２０を用いて被探索者の発見の通知を行う。通知は、予め登録されている通知先（携帯電話、管理センタ、インターネット）に、発見の事実を知らせる。

発見通知ステップＳ１７０では、発見された場所の位置情報を追加して通知することができる。位置情報は、屋外であればマルチコプタ３０のＧＰＳ受信機の位置情報を利用することができる。また屋内であれば、周囲の映像やマルチコプタが自己位置推定に用いた位置情報等を用いることができる。

次いで、データベース５１０に探索データの付加情報の有無を照会して、付加情報が無い場合は、処理を終了する。また付加情報がある場合は、引き続きメッセージ付与ステップＳ１９０、追尾ステップＳ２００等の処理を行う。

メッセージ付与ステップＳ１９０は、マルチコプタ３０の出力装置を用いて、予めデータベースに登録されている依頼人からの音声メッセージや映像メッセージ等を被探索者Ｓに伝達する。また、カメラ３５０、マイクロフォン等の音声入力装置３８０と画像、音声等の出力装置３９０を用いて、サーバ５０側の管理センタの係員と被探索者Ｓとの間で音声通話や画像付通話等を行って、発見された被探索者とコミニケーションをとることも可能である。

追尾ステップＳ２００では、データベースの探索データに要追跡のフラグを立てられた人物については、マルチコプタ３０が被探索者Ｓを引き続き追尾するように、マルチコプタ３０の飛行を制御して、被探索者Ｓの監視を継続する。

追尾ステップＳ２００では、追尾して監視を行う場合、１台のマルチコプタ３０では、同時に予め指定されていた探索範囲を探索することができなくなる。この場合、予備のマルチコプタを準備しておいて、追尾の開始と共に予備のマルチコプタを出動させて、指定された範囲の探索を引き継ぐようにすることができる。

また、追尾ステップＳ２００の追尾を、別のマルチコプタを出動させて行うようにすることもできる。この場合、全体監視用のマルチコプタと追尾監視用のマルチコプタを分けることで、それぞれに要請される機能に特化することができる。例えば、全体監視用のマルチコプタは、構造下部に３６０度カメラを装備したり、４方向に向けて４台のカメラを設置して同時に撮影処理する等、大型で長時間作動するものとし、一方、追尾用マルチコプタは、単一のカメラだけ搭載し、低騒音で小型の装置として構成することができる。

また全体監視用マルチコプタと追尾用マルチコプタを併用する場合、追尾用マルチコプタが十分小型であれば、全体監視用のマルチコプタに追尾用マルチコプタを搭載しておいて、追尾の際にここから出動するように構成してもよい。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改変が可能である。

本発明において被探索体である生体個体としては、上記した人に限定されず、犬、猫等のペット、その他の動物等の各種の生体の個体等に適用することができる。

また上記実施例では、カメラで撮影した画像データをサーバに送って、画像サーバに設けた個体識別手段により個体認識ステップの処理を行っているが、マルチコプタのＣＰＵ等の性能が十分高性能で顔認識が可能であれば、マルチコプタに個体識別手段を設けて、サーバから被探索体の顔データのみを受け取り、マルチコプタ上のみで個体認識ステップを行うことも可能である。

但し、顔認識の演算処理には高性能なＣＰＵと大きなデータベースが必要であるのに対し、顔検出、人検出等の演算処理は、顔認識の演算処理と比較して軽量である。そのため、マルチコプタ等に高性能のＣＰＵを搭載することはコスト等の点で現実的ではないこともあり、実施例で説明したように、画像データを通信ネットワーク経由でサーバに送り、サーバで顔認識の処理を行うのが合理的である。

また上記実施例は、個体認識に可視光カメラを用いて、撮影した画像データの顔情報を利用した顔認識技術で被探索者を検出するものであるが、個体識別情報として、服装の色や柄等を用いてもよい。また、カメラとして赤外線カメラを用いた場合には、赤外線カメラにより得られる熱分布画像により、被探索体の温度を検知して、体温等の温度データを生体の個体識別情報として利用して、個体識別を行うようにすることも可能である。

また顔検出以外の他のデータを顔検出と併用して、個体認識の精度を向上させることもできる。他のデータとしては、被探索体の体重、身長等の大きさの情報、服装の色等が挙げられる。例えば、顔がマルチコプタのカメラを向いていない場合に、上記のデータは、有効である。

Ｓ 人（被探索体）
１０ 人探索システム（生体探索システム）
３０ マルチコプタ
３００ 移動手段
３５０ カメラ
３６０ 画像データ処理手段
３７０ 通信手段
３９０ 出力装置
５０ サーバ
５１０ データベース
５２０ 通知手段
５３０ 個体識別手段
５４０ 入力装置
９０ 通信ネットワーク

Claims (11)

1. 生体個体である人を被探索体として探す生体探索システムであって、
   無人移動体と、
   前記無人移動体と通信ネットワークで接続されたサーバと、を備え、
   前記無人移動体は、
   周囲を観察するカメラと、
   空間または地上を移動するための移動手段と、を有し、
   前記サーバは、
   前記被探索体の個体識別情報を記録可能なデータベースと、
   前記カメラで撮影された人の特徴部分を前記個体識別情報と照合し、その人が前記被探索体か否かを判別する個体識別手段と、を有していることを特徴とする生体探索システム。
2. 前記無人移動体として、自律飛行可能な無人航空機を用いることを特徴とする請求項１に記載の生体探索システム。
3. 生体個体である人を被探索体として探す生体探索システムであって、
   自律飛行可能な無人航空機である無人移動体を備え、
   前記無人移動体は、
   周囲を観察するカメラと、
   空間または地上を移動するための移動手段と、
   前記被探索体の個体識別情報を記録可能なデータベースと、
   前記カメラで撮影した画像から人の特徴部分を検出する画像データ処理手段と、
   前記画像データ処理手段で検出した特徴部分を前記個体識別情報と照合し、その人が前記被探索体か否かを判別する個体識別手段と、を有することを特徴とする生体探索システム。
4. 前記特徴部分は人の顔であり、
   前記画像データ処理手段は、前記カメラで撮影した画像から人を検出する人検出手段と、該人検出手段で検出された人の画像から顔を検出する顔検出手段と、を含むことを特徴とする請求項３に記載の生体探索システム。
5. 前記人検出手段が前記画像から人を検出したときに、その人の顔が検出可能な位置に前記無人移動体を自動的に移動させることを特徴とする請求項４に記載の生体探索システム。
6. 前記無人移動体として、複数の前記無人航空機を用いることを特徴とする請求項２から請求項５のいずれか一項に記載の生体探索システム。
7. 前記個体識別手段により前記被探索体が検出されたときに、前記無人移動体が該被探索体を追尾することを特徴とする請求項１から請求項６のいずれか一項に記載の生体探索システム。
8. 複数の前記無人移動体を備え、
   前記被探索体の追尾を、該被探索体を撮影した前記無人移動体とは別の前記無人移動体に引継可能であることを特徴とする請求項７に記載の生体探索システム。
9. 前記データベースにはさらに、前記被探索体を発見したときの通知先である通知先情報が登録されることを特徴とする請求項１から請求項８のいずれか一項に記載の生体探索システム。
10. 前記無人移動体または前記サーバは、前記個体識別手段により前記被探索体が検出されたときに、該被探索体の位置情報を前記通知先に通知することを特徴とする請求項９に記載の生体探索システム。
11. 前記無人移動体は前記カメラを複数台有していることを特徴とする請求項１から請求項１０のいずれか一項に記載の生体探索システム。

Images