JP4797720B2 - 監視装置および方法、画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は監視装置および方法、画像処理装置および方法、並びにプログラムに関し、特に、監視の対象であるものの周囲の状況をより正確に通知できるようにした監視装置および方法、画像処理装置および方法、並びにプログラムに関する。

近年、車両の盗難事故件数は増加傾向にあり、その対策として様々な車両監視システムが提案されている。

例えば、従来の車両監視システムには、車両に設置された監視装置において盗難予備行為、すなわち車両における異状が検知されると、通信網を介して監視装置に接続されているセンタ装置から利用者の携帯電話機に、車両において異状が検知された旨の警戒情報が送信されるものもある（例えば、特許文献１参照）。

この車両監視システムにおいては、監視装置において異状が検知されると、監視装置からセンタ装置に検知された異状を示す盗難予備行為情報が送信され、センタ装置において、盗難予備行為情報に基づいて、携帯電話機に警戒情報を送信するか否かの判定が行われる。

特開２００２−３０４６８６号公報

しかしながら、上述した技術においては、利用者が所有する携帯電話機には、車両において異状が検知された旨のメッセージが表示されるか、または予め用意された車両の周囲の状況を示すいくつかの画像のうちのいずれかが表示されるだけであった。そのため、利用者には、車両の周囲に人が接近した、車両に人が進入したといった程度の情報が提示されるだけであり、利用者は、監視の対象である車両の周囲の状況を正確に知ることができなかった。

したがって、例えば、車両に人が接近した場合、利用者には、車両への人の接近が検知された旨の情報が提示されるだけであるので、利用者は提示された情報だけでは、車両に接近した人が車両付近を通過する通行人であるのか、または車両に進入しようとしたり、車両を窃盗しようとしたりする悪意のある不審者であるのかを判断することができず、ストレスが溜まってしまう恐れがあった。

また、車両の周囲の状況をより正確に利用者に通知するために、監視装置が車両の周囲の画像を撮影し、センタ装置が利用者の携帯電話機に撮影された画像を送信することもできるが、そのような場合、送信される画像はそのデータ量が多いので、利用者が携帯電話機の使用、すなわち携帯電話機とセンタ装置との通信の対価として支払う通信料が高くなってしまい現実的ではなかった。

本発明は、このような状況に鑑みてなされたものであり、より正確に監視の対象となるものの周囲の状況を把握できるようにするものである。

本発明の第１の側面の監視装置は、監視対象であるものの周囲の領域である監視領域を撮影する撮影手段と、前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視手段と、撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出し、前記接近者の姿勢を示す姿勢情報を生成する姿勢検出手段と、前記監視手段による監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置を検出し、その位置を示す位置情報を生成する位置検出手段と、前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信手段とを備える。

本発明の第１の側面の監視装置においては、監視対象であるものの周囲の領域である監視領域が撮影され、前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触が監視され、撮影された前記監視領域の画像に基づいて、前記接近者の姿勢が検出されて前記接近者の姿勢を示す姿勢情報が生成され、監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置が検出されてその位置を示す位置情報が生成され、前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データが送信される。

したがって、より正確に監視対象の周囲の状況を把握するための接近者の姿勢や位置が含まれる検出データを送信することができる。

この監視装置の撮影手段は、例えば、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、対数変換型撮像素子などが利用されたカメラにより構成される。また、監視手段は、例えば、ドップラセンサ、赤外線センサ、加速度センサ、静電容量式センサ、電波式センサなどの各種のセンサから構成される。さらに、姿勢検出手段、位置検出手段、および送信手段は、例えば、CPU（Central Processing Unit）により構成される。

本発明の第２の側面の監視装置は、監視対象であるものの周囲の領域である監視領域を撮影する撮影手段と、前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視手段と、撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出し、前記接近者の姿勢を示す姿勢情報を生成する姿勢検出手段と、前記監視手段による監視結果、または前記画像に基づいて、前記接近者の前記ものに対する位置を検出し、その位置を示す位置情報を生成する位置検出手段と、前記姿勢情報および前記監視結果に基づいて、前記接近者が行った行為を推定し、その行為を示す行為情報を生成する行為推定手段と、前記姿勢情報、前記位置情報、および前記行為情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信手段とを備える。
本発明の第２の側面の監視装置においては、監視対象であるものの周囲の領域である監視領域が撮影され、前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触が監視され、撮影された前記監視領域の画像に基づいて、前記接近者の姿勢が検出され、前記接近者の姿勢を示す姿勢情報が生成され、前記監視結果、または前記画像に基づいて、前記接近者の前記ものに対する位置が検出され、その位置を示す位置情報が生成され、前記姿勢情報および前記監視結果に基づいて、前記接近者が行った行為が推定され、その行為を示す行為情報が生成され、前記姿勢情報、前記位置情報、および前記行為情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データが送信される。

これにより、接近者が行った行為をより正確に把握するための行為情報が含まれる検出データを送信することができる。

この監視装置の撮影手段は、例えば、CCD撮像素子、CMOS撮像素子、対数変換型撮像素子などが利用されたカメラにより構成される。また、監視手段は、例えば、ドップラセンサ、赤外線センサ、加速度センサ、静電容量式センサ、電波式センサなどの各種のセンサから構成される。さらに、姿勢検出手段、位置検出手段、行為推定手段、および送信手段は、例えば、CPUにより構成される。

監視装置には、前記画像を用いて前記接近者の顔を認識し、前記接近者を特定する顔認識手段をさらに設け、前記送信手段には、特定された前記接近者を示す個人ＩＤが含まれる前記検出データを送信させることができる。

これにより、接近者を特定する個人ＩＤが含まれる前記検出データを送信することができる。

この顔認識手段は、例えば、CPUにより構成される。

監視装置には、前記接近者の顔の向きまたは視線の向きを検出する顔方向検出手段をさらに設け、前記姿勢検出手段には、前記顔方向検出手段による検出結果および前記画像に基づいて、前記接近者の姿勢を検出させることができる。

これにより、より正確に接近者の姿勢を検出することができる。

この顔方向検出手段は、例えば、CPUにより構成される。

本発明の第１の側面の監視方法またはプログラムは、監視対象であるものの周囲の領域である監視領域を撮影する撮影ステップと、前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視ステップと、撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出して前記接近者の姿勢を示す姿勢情報を生成する姿勢検出ステップと、前記接近者の前記ものへの接近、若しくは前記接近者の前記ものへの接触の監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置を検出してその位置を示す位置情報を生成する位置検出ステップと、前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信ステップとを含む。

本発明の第１の側面の監視方法またはプログラムにおいては、監視対象であるものの周囲の領域である監視領域が撮影され、前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触が監視され、撮影された前記監視領域の画像に基づいて、前記接近者の姿勢が検出されて前記接近者の姿勢を示す姿勢情報が生成され、前記接近者の前記ものへの接近、若しくは前記接近者の前記ものへの接触の監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置が検出されてその位置を示す位置情報が生成され、前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データが送信される。

したがって、より正確に監視対象の周囲の状況を把握するための接近者の姿勢や位置が含まれる検出データを送信することができる。

この撮影ステップは、例えば、カメラなどの撮像手段により監視領域を撮影する撮影ステップにより構成され、監視ステップは、例えば、センサなどにより、監視対象への接近者や、接近者の監視対象への接近または接触などを検出する監視ステップから構成され、姿勢検出ステップは、例えば、撮影された画像に基づいて接近者の姿勢をCPUにより検出する姿勢検出ステップにより構成される。また、位置検出ステップは、例えば、監視ステップにおける監視結果、および撮影された監視領域の画像に基づいて、接近者の監視対象に対する位置をCPUにより検出する位置検出ステップにより構成され、送信ステップは、例えば、姿勢情報および位置情報からなる接近者の姿勢および監視対象に対する位置を示す検出データをCPUにより送信する送信ステップとから構成される。

本発明の第３の側面の画像処理装置は、監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データを受信する受信手段と、前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像を生成する生成手段と、生成された前記画像を表示する表示手段とを備え、前記生成手段は、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像を生成する。

本発明の第３の側面の画像処理装置においては、監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データが受信され、前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像が生成され、生成された前記画像が表示される。また、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像が生成される。

したがって、監視対象の周囲の状況をより正確に把握することができる。

この受信手段および生成手段は、例えば、CPUにより構成され、表示手段は、例えば、LCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）、プラズマディスプレイなどにより構成される。

前記生成手段には、２次元または３次元の前記画像を生成させることができる。

これにより、監視対象の周囲の状況をより正確に把握できる画像を表示することができる。

前記生成手段には、各時刻における前記姿勢情報および前記位置情報からなる前記検出データに基づいて、前記接近者の位置および姿勢の変化をアニメーション表示させるための前記画像を生成させることができる。

これにより、接近者の軌跡を正確に把握することができる画像を表示することができる。

前記生成手段には、前記接近者が行った行為を示す行為情報が含まれる前記検出データに基づいて、前記画像を生成させることができる。

これにより、接近者が行った行為を正確に把握することができる画像を表示することができる。

本発明の第３の側面の画像処理方法またはプログラムは、監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データを受信する受信ステップと、前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像を生成する生成ステップと、生成された前記画像を表示する表示ステップとを含み、前記生成ステップにおいて、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像を生成する。

本発明の第３の側面の画像処理方法またはプログラムにおいては、監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データが受信され、前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像が生成され、生成された前記画像が表示される。また、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像が生成される。

したがって、監視対象の周囲の状況をより正確に把握することができる。

この受信ステップは、例えば、姿勢情報および位置情報からなる検出データをCPUにより受信する受信ステップにより構成され、生成ステップは、例えば、受信された検出データに基づいて、監視対象、および姿勢情報により示される姿勢の接近者の画像をCPUにより生成する生成ステップにより構成され、表示ステップは、例えば、LCD、CRT、プラズマディスプレイなどに生成ステップにおいて生成された画像を表示する表示ステップにより構成される。

本発明の第１の側面および第２の側面によれば、監視対象に接近する接近者を検出することができる。特に、本発明の第１の側面および第２の側面によれば、より正確に監視対象の周囲の状況を把握するための検出データを送信することができる。

また、本発明の第３の側面によれば、画像を表示することができる。特に、本発明の第３の側面によれば、監視対象の周囲の状況をより正確に把握することができる。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用した監視システムの一実施の形態の構成例を示している。この監視システムは、監視装置１１、センタ装置１２、および端末装置１３から構成され、監視装置１１、センタ装置１２、および端末装置１３は、ネットワーク１４を介して互いに接続されている。

監視装置１１は、監視する対象であるもの（以下、監視対象と称する）を盗難、破壊、進入などの被害から保護するために、監視対象に接近する人（以下、接近者と称する）、監視対象への不審行為を監視する。

例えば、監視装置１１が監視する対象となるものは、動産、不動産を問わず、建物、部屋、オフィス、店舗、事務所、車両、倉庫、ロッカー、家財、動物、農作物などとすることができる。また、監視対象に対する不審行為としては、例えば、人体に対する危害行為、ストーカー行為、嫌がらせ、盗難、破壊、放火、不正侵入などとされる。

監視装置１１は、監視対象に接近する接近者を検出し、検出した接近者を特定する個人ＩＤ（Identification）、接近者の姿勢を示す姿勢情報、接近者が行っている行為を示す行為情報、および接近者の監視対象に対する位置を示す位置情報からなる検出データを生成する。そして、監視装置１１は、生成した検出データを監視の結果を示すデータとして、ネットワーク１４を介してセンタ装置１２に送信する。

ここで、ネットワーク１４は、例えば、インターネット、LAN（Local Area Network）、WAN（Wide Area Network）、または公衆回線網等に代表される、有線または無線からなる、１つまたは複数のネットワークにより構成される。

センタ装置１２は、監視装置１１から送信されてきた検出データを受信して記録する。また、センタ装置１２は、監視装置１１から検出データを受信すると、検出データを受信した旨の受信通知をネットワーク１４を介して端末装置１３に送信する。さらに、センタ装置１２は、端末装置１３からの要求に応じて、監視装置１１から受信した検出データを、ネットワーク１４を介して端末装置１３に送信する。

端末装置１３は、例えば、コンピュータ、携帯情報端末装置、携帯電話機などの情報処理端末装置から構成される。端末装置１３は、センタ装置１２から送信されてくる受信通知を受信して、その受信通知を表示する。

また、端末装置１３は、利用者の操作に応じて検出データの受信が指示されると、センタ装置１２から検出データを受信し、受信した検出データに基づいて監視対象および接近者の画像（以下、通知画像と称する）を表示する。なお、この通知画像には、監視対象とともに、位置情報により示される位置に、姿勢情報により示される姿勢の接近者が表示される。

したがって、監視システムにおいては、端末装置１３を所有する利用者は、通知画像を確認することによって監視対象の周囲の状況を正確に把握することができる。これにより、利用者は、接近者が監視対象の付近を通過する通行人であるのか、または監視対象に不審行為を行う不審者であるのかを容易に判断することができる。

なお、以下においては、監視装置１１が監視対象としての車両内に設置される例について説明するが、上述したように監視対象は車両に限られる訳ではない。

監視装置１１は、例えば、車両のダッシュボードや天井に設置され、車両に接近する接近者を監視する。図２は、監視装置１１の構成例を示すブロック図である。

監視装置１１は、撮像部４１、センサ部４２、および監視部４３から構成される。

撮像部４１は、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または対数変換型撮像素子などが利用されたカメラから構成され、監視の対象となる車両の周囲の領域である監視領域を撮影し、これにより得られた画像を監視部４３に供給する。

例えば、車両の運転席に座っている運転者から見て正面方向、すなわち運転席からフロントグラスに向かう方向を前方とすると、撮像部４１を構成する複数のカメラは、それぞれ前方、後方、右方向、左方向、右斜め前方、左斜め前方、右斜め後方、および左斜め後方の計８方向に向けられて固定され、それぞれの方向の監視領域を撮影するようになされている。

なお、撮像部４１を構成するカメラは、１つであっても複数であってもよい。また、撮像部４１を構成するカメラの撮影範囲を拡大させるために、カメラのレンズとして広角レンズや魚眼レンズを用いるようにしてもよい。

センサ部４２は、例えば、ドップラセンサ、赤外線センサ、加速度センサ、静電容量式センサ、電波式センサなどの各種のセンサから構成される。センサ部４２は、例えば、車両のドアやトランクなどの開閉、ドアやトランクなどへのものの接近または接触、車両へのもの（例えば、人など）の接近およびそのものの車両に対する方向や距離、車両に設けられたキーシリンダの異常、車両の傾きや振動などを検出し、その検出の結果を示すセンサデータを監視部４３に供給する。

監視部４３は、撮像部４１から供給された画像、およびセンサ部４２から供給されたセンサデータに基づいて車両に対する接近者を検出し、検出データを生成する。監視部４３は、位置検出部５１、特徴点抽出部５２、個人ＩＤ保持部５３、顔認識部５４、顔向き検出部５５、姿勢検出部５６、行為推定部５７、検出データ生成部５８、および通信部５９から構成される。

位置検出部５１は、センサ部４２から供給されたセンサデータに基づいて、車両に対する接近者の位置を検出し、その検出結果を示す位置情報を行為推定部５７および検出データ生成部５８に供給する。例えば、接近者の位置は、車両内の所定の位置、または監視装置１１を基準とする３次元空間上の位置とされる。

特徴点抽出部５２は、撮像部４１から供給された画像から接近者の身体重心、頭頂部、手先、足先などの特徴点を抽出し、抽出した特徴点を顔認識部５４および姿勢検出部５６に供給する。

個人ＩＤ保持部５３は、予め登録されている人、または監視装置１１によって過去に検出された接近者を特定する個人ＩＤ、およびその個人ＩＤに関係付けられた人の顔の目、口、鼻などの所定の部位の位置を示すテンプレートを保持している。

顔認識部５４は、個人ＩＤ保持部５３に保持されている個人ＩＤを参照し、撮像部４１から供給された画像、および特徴点抽出部５２から供給された特徴点に基づいて画像に写っている接近者の顔認識を行い、接近者を特定する。顔認識部５４は、顔認識を行うと、顔認識の結果を示す情報を顔向き検出部５５に供給するとともに、顔認識の結果特定された接近者を示す個人ＩＤを検出データ生成部５８に供給する。

顔向き検出部５５は、顔認識部５４から供給された顔認識の結果を示す情報に基づいて、接近者の顔の向きおよび視線の向きを検出し、その検出結果を示す情報を姿勢検出部５６に供給する。

姿勢検出部５６は、特徴点抽出部５２から供給された特徴点、および顔向き検出部５５から供給された検出結果に基づいて、接近者の姿勢を検出し、その検出結果を示す姿勢情報を行為推定部５７および検出データ生成部５８に供給する。

行為推定部５７は、センサ部４２から供給されたセンサデータ、位置検出部５１から供給された位置情報、および姿勢検出部５６から供給された姿勢情報に基づいて接近者の行為を推定し、その推定結果を示す行為情報を検出データ生成部５８に供給する。

検出データ生成部５８は、顔認識部５４から供給された個人ＩＤ、姿勢検出部５６から供給された姿勢情報、行為推定部５７から供給された行為情報、および位置検出部５１から供給された位置情報に基づいて検出データを生成し、通信部５９に供給する。通信部５９は、検出データ生成部５８から供給された検出データを、ネットワーク１４を介してセンタ装置１２に送信する。

次に、図３は、図１に示したセンタ装置１２の構成例を示すブロック図である。

センタ装置１２は、通信部８１、制御部８２、および記録部８３から構成される。

通信部８１は、ネットワーク１４を介して監視装置１１または端末装置１３と通信を行い、各種のデータを送受信する。制御部８２は、センタ装置１２全体を制御する。また、制御部８２は、通知生成部９１を含む。制御部８２の通知生成部９１は、監視装置１１から検出データが受信された旨の受信通知を生成する。記録部８３は、例えば、ハードディスクなどから構成され、監視装置１１から受信した検出データなどの各種のデータを記録する。

図４は、図１に示した端末装置１３の構成例を示すブロック図である。

端末装置１３は、通信部１２１、入力部１２２、制御部１２３、通知画像生成部１２４、および表示部１２５から構成される。

通信部１２１は、ネットワーク１４を介して監視装置１１またはセンタ装置１２と通信を行い、各種のデータを送受信する。入力部１２２は、例えば、ボタン、スイッチなどから構成され、利用者の操作に応じた指令を制御部１２３に供給する。

制御部１２３は、端末装置１３全体を制御する。通知画像生成部１２４は、センタ装置１２から受信した検出データに基づいて、監視対象および接近者の通知画像を生成する。表示部１２５は、例えば、LCD（Liquid Crystal Display）などから構成され、制御部１２３または通知画像生成部１２４から供給された画像を表示する。

ところで、利用者が車両に設置された監視装置１１を操作するか、または端末装置１３を操作して監視する対象である車両の監視を指示すると、監視装置１１は、その指示に応じて監視処理を開始する。以下、図５のフローチャートを参照して、監視装置１１による監視処理について説明する。

ステップＳ１１において、撮像部４１は、車両の周辺の撮影を開始する。すなわち、撮像部４１は、監視領域の画像を撮影し、撮影された画像を位置検出部５１、特徴点抽出部５２、および顔認識部５４に供給する。

ステップＳ１２において、センサ部４２は、接近者の車両への接近の監視を開始する。例えば、センサ部４２は、車両への接近者の接近、接近者の方向および車両からの距離、接近者の車両の各部位への接近および接触などを検出し、その結果を示すセンサデータを位置検出部５１および行為推定部５７に供給する。

ステップＳ１３において、位置検出部５１は、撮像部４１から供給された画像、およびセンサ部４２から供給されたセンサデータに基づいて、車両への人の接近が検出されたか否かを判定する。

例えば、位置検出部５１は、車両へのものの接近が検出された旨の検出データがセンサ部４２から供給されると、人の接近が検出されたと判定する。また、例えば、撮像部４１から位置検出部５１に供給された画像において、動くものが検出された場合に人の接近が検出されたと判定されるようにしてもよい。

ステップＳ１３において、人の接近が検出されなかったと判定された場合、ステップＳ１３に戻り、人の接近が検出されたと判定されるまで、判定の処理が繰り返される。

これに対して、ステップＳ１３において、人の接近が検出されたと判定された場合、ステップＳ１４に進み、特徴点抽出部５２は、撮像部４１から供給された画像から、接近者の特徴点を抽出し、抽出した特徴点を顔認識部５４および姿勢検出部５６に供給する。

例えば、特徴点抽出部５２は、撮像部４１から供給された画像から動くものを検出して、検出されたもののうち、肌色の画素が含まれるものを接近者とする。次に、特徴点抽出部５２は、画像から接近者のシルエット画像とその輪郭を抽出し、抽出されたシルエット画像に距離変換処理などを施して接近者の身体重心および上半身主軸を求める。

さらに、特徴点抽出部５２は、抽出された接近者の輪郭から足先、手先、および頭頂部の位置を検出し、検出された接近者の身体重心、頭頂部、手先、足先を特徴点として画像から抽出する。そして、特徴点抽出部５２は、このようにして抽出された特徴点、より詳細には特徴点の位置を示す情報を顔認識部５４および姿勢検出部５６に供給する。

また、例えば、撮像部４１を構成するカメラとして、赤外線カメラが含まれるようにし、赤外線カメラにより撮影された熱画像を用いて接近者のシルエット画像を抽出するようにしてもよい。

ステップＳ１５において、顔認識部５４は、撮像部４１から供給された画像、および特徴点抽出部５２から供給された特徴点に基づいて画像に写っている接近者の顔認識を行い、接近者を特定する。

例えば、顔認識部５４は、撮像部４１から供給された画像における、頭頂部などの特徴点の付近の領域を接近者の顔の領域とし、テンプレートマッチングなどにより接近者の目、口、鼻などの顔の所定の部位の位置を検出する。そして、顔認識部５４は、検出された接近者の顔の各部位の位置と、個人ＩＤ保持部５３に保持されている、個人ＩＤに関係付けられたテンプレートにより示される人の顔の各部位の位置とを比較して、接近者を特定する。

また、比較の結果、接近者が特定されなかった場合、すなわち、接近者の顔の各部位の位置と、テンプレートにより示される人の顔の各部位の位置との比較の結果、接近者が、個人ＩＤ保持部５３に保持されている個人ＩＤにより特定される人とは異なる人であった場合、顔認識部５４は、その接近者のテンプレートを生成し、生成したテンプレートと、その接近者を特定する新たな個人ＩＤ、すなわち個人ＩＤ保持部５３に保持されていない新たな個人ＩＤとを関係付けて個人ＩＤ保持部５３に供給して保持させる。

そして、接近者が特定されると、顔認識部５４は、その接近者を特定する個人ＩＤを検出データ生成部５８に供給する。また、顔認識部５４は、接近者の顔の画像、およびその画像における接近者の顔の各部位の位置を示す情報を、顔認識の結果を示す情報として顔向き検出部５５に供給する。

ステップＳ１６において、顔向き検出部５５は、顔認識部５４から供給された顔認識の結果を示す情報に基づいて、接近者の顔の向きを検出する。例えば、顔向き検出部５５は、顔認識の結果を示す情報により示される接近者の目の数、鼻の向きや位置などに基づいて接近者の顔の方向を検出する。

ステップＳ１７において、顔向き検出部５５は、顔認識部５４から供給された顔認識の結果を示す情報に基づいて、接近者の視線の向きを検出し、接近者の顔の向きおよび視線の向きを示す情報を姿勢検出部５６に供給する。例えば、顔向き検出部５５は、顔認識の結果を示す情報により示される接近者の目の眼球の中心位置と瞳孔の中心位置とを検出し、眼球の中心位置と瞳孔の中心位置とを結ぶベクトルの方向を接近者の視線の方向とする。

ステップＳ１８において、姿勢検出部５６は、特徴点抽出部５２から供給された特徴点、および顔向き検出部５５から供給された検出結果に基づいて、接近者の姿勢を検出し、その検出結果を示す姿勢情報を生成する。例えば、生成された姿勢情報には、接近者の視線の方向を示す情報も含まれている。姿勢検出部５６は、生成した姿勢情報を行為推定部５７および検出データ生成部５８に供給する。

例えば、姿勢検出部５６は、特徴点および検出結果を用いて、遺伝的アルゴリズムにより接近者の肘や膝の位置を検出し、その検出結果に基づいて接近者の姿勢を検出する。

ステップＳ１９において、位置検出部５１は、センサ部４２から供給されたセンサデータに基づいて、車両に対する接近者の位置を検出し、その検出結果を示す位置情報を行為推定部５７および検出データ生成部５８に供給する。

ステップＳ２０において、行為推定部５７は、センサ部４２からのセンサデータ、位置検出部５１からの位置情報、および姿勢検出部５６からの姿勢情報に基づいて、接近者の行為を推定し、その推定結果を示す行為情報を検出データ生成部５８に供給する。

例えば、位置情報により示される接近者の位置が、車両から所定の距離以上離れた位置であり、姿勢情報により示される接近者の視線の方向が車両の方向とは異なる方向を向いており、さらにセンサ部４２から、接近者が所定の方向に所定の速度で移動している旨のセンサデータが供給された場合、行為推定部５７は、接近者が車両の付近を通行している旨の行為情報を生成する。

また、例えば、姿勢情報により示される接近者の姿勢が車両の方向に手を伸ばしている姿勢、例えば接近者の体の部位のうち最も車両に近い部位が手であり、センサ部４２から接近者が車両のドアハンドルに接触した旨のセンサデータが供給された場合、行為推定部５７は、接近者が車両のドアを開けようとしている旨の行為情報を生成する。

さらに、例えば、位置情報により示される接近者の位置が、車両から所定の距離以内の位置であり、姿勢情報により示される接近者の顔および視線の方向が車両の方向である場合、行為推定部５７は、接近者が車両を覗き込んでいる旨の行為情報を生成する。

ステップＳ２１において、検出データ生成部５８は、位置検出部５１からの位置情報、行為推定部５７からの行為情報、姿勢検出部５６からの姿勢情報、および顔認識部５４からの個人ＩＤを基に、個人ＩＤ、位置情報、姿勢情報、行為情報、および接近者が検出された時刻が含まれる検出データを生成して通信部５９に供給する。

ステップＳ２２において、通信部５９は、検出データ生成部５８から供給された検出データを、ネットワーク１４を介してセンタ装置１２に送信し、処理はステップＳ１３に戻る。なお、この監視処理は、例えば、利用者により監視装置１１が操作されるか、または端末装置１３が操作されて監視の終了が指示されると終了される。

このようにして、監視装置１１は、利用者の車両を監視し、車両への接近者を検出する。そして、監視装置１１は、検出した接近者の車両に対する位置、接近者の姿勢、接近者の行為、接近者を特定する個人ＩＤなどを示す検出データをセンタ装置１２に送信する。

このように、検出された接近者の姿勢や位置、接近者を特定する個人ＩＤが含まれる検出データをセンタ装置１２に送信するようにしたので、利用者が所有する端末装置１３に、より正確に車両の周囲の状況を把握するための情報を送信することができる。

なお、ステップＳ１３において、複数の接近者が検出された場合、監視装置１１は、検出された接近者の数だけ検出データを生成してセンタ装置１２に送信する。すなわち、監視装置１１は、検出された接近者のそれぞれに対して、ステップＳ１４の処理乃至ステップＳ２２の処理を行う。

監視装置１１からセンタ装置１２に検出データが送信されると、センタ装置１２は、その検出データを受信し、端末装置１３からの要求に応じて受信した検出データを端末装置１３に送信する。

次に、図６のフローチャートを参照して、センタ装置１２による検出データ送信処理について説明する。

ステップＳ５１において、制御部８２は、監視装置１１から検出データが送信されてきたか否かを判定する。ステップＳ５１において、検出データが送信されてきてないと判定された場合、ステップＳ５２の処理乃至ステップＳ５４の処理はスキップされて、ステップＳ５５に進む。

これに対して、ステップＳ５１において、検出データが送信されてきたと判定された場合、ステップＳ５２に進み、通信部８１は、監視装置１１から送信されてきた検出データを受信して、受信した検出データを制御部８２を介して記録部８３に供給する。記録部８３は、通信部８１から供給された検出データを記録する。

例えば、記録部８３は、図７に示すように、監視装置１１から供給された検出データを個人ＩＤごとにまとめて記録する。

図７には、個人ＩＤ“20060123001”が含まれている検出データ、個人ＩＤ“20060123002”が含まれている検出データ、個人ＩＤ“20060123003”が含まれている検出データ、および個人ＩＤ“20060123004”が含まれている検出データがそれぞれまとめられて記録されている。

また、個人ＩＤ“20060123001”が含まれている検出データとして、検出時刻が“10：00：00”である検出データ、および検出時刻が“10：00：30”である検出データが記録されている。例えば、検出時刻“10：00：00”は、受信した検出データに含まれる時刻が１０時１０分００秒であることを示しており、検出時刻が“10：00：00”である検出データには、その時刻に検出された接近者の位置情報、姿勢情報、および行為情報が含まれている。

図６のフローチャートの説明に戻り、ステップＳ５３において、制御部８２の通知生成部９１は、検出データを受信した旨の受信通知を生成し、通信部８１に供給する。例えば、通知生成部９１は、受信された検出データに含まれる時刻に、接近者が検出された旨のメッセージが含まれる電子メールを受信通知として生成する。

ステップＳ５４において、通信部８１は、通知生成部９１から供給された受信通知を、ネットワーク１４を介して端末装置１３に送信する。

ステップＳ５４において受信通知が送信されるか、ステップＳ５１において検出データが送信されてきてないと判定されると、ステップＳ５５において、制御部８２は、端末装置１３から検出データの送信が要求されたか否かを判定する。例えば、制御部８２は、端末装置１３から検出データの送信を要求する旨の送信要求が送信されてくると、検出データの送信が要求されたと判定する。

ステップＳ５５において、検出データの送信が要求されていないと判定された場合、受信した検出データを送信しないので、処理はステップＳ５１に戻り、上述した処理が繰り返される。

これに対して、ステップＳ５５において、検出データの送信が要求されたと判定された場合、通信部８１は、端末装置１３から送信されてきた送信要求を受信して制御部８２に供給する。制御部８２は、送信要求が供給されると、記録部８３から検出データを取得して通信部８１に供給し、処理はステップＳ５６に進む。

ステップＳ５６において、通信部８１は、制御部８２から供給された検出データを、ネットワーク１４を介して端末装置１３に送信し、処理はステップＳ５１に戻る。

なお、センタ装置１２から端末装置１３に送信される検出データは、センタ装置１２が監視装置１１から最後に受信した検出データ、すなわち最も新しい時刻（現在時刻に近い時刻）が含まれている検出データとしてもよいし、まだ端末装置１３に送信されていない全ての検出データとしてもよい。また、端末装置１３に送信される検出データは、最後に受信した検出データに含まれる時刻を含む所定の期間内の時刻が含まれる複数の検出データであって、同じ個人ＩＤが含まれている検出データとしてもよい。

さらに、制御部８２が、検出データが添付された電子メールを生成するようにし、通信部８１が制御部８２により生成された電子メールを送信するようにしてもよい。

このようにして、センタ装置１２は、監視装置１１から検出データを受信し、端末装置１３からの要求に応じて、受信した検出データを端末装置１３に送信する。

センタ装置１２から端末装置１３に送信される検出データには、接近者の位置情報、姿勢情報、行為情報、個人ＩＤなどの、利用者に接近者の姿勢や行為を通知するための情報が含まれているが、検出データは、監視領域を撮影した画像と比べるとのそのデータ量が非常に少ないため、利用者の端末装置１３の通信料に負担がかかるようなことはない。

また、検出データのデータ量は、撮影された画像のデータ量に比べて非常に少ないので、ネットワーク１４における通信速度が画像を送信するには充分でない場合においても、センタ装置１２は迅速に検出データを送信することができ、接近者の検出を確実に端末装置１３に通知することができる。

ところで、利用者が車両に設置された監視装置１１を操作するか、または端末装置１３を操作して監視する対象である車両の監視を指示すると、監視装置１１が監視処理を開始するとともに、端末装置１３はセンタ装置１２から検出データを受信して通知画像を表示する処理である、通知処理を開始する。

以下、図８のフローチャートを参照して、端末装置１３による通知処理について説明する。

ステップＳ８１において、制御部１２３は、検出データの受信が通知されたか否かを判定する。例えば、制御部１２３は、センタ装置１２から受信通知が送信されてくると、検出データの受信が通知されたと判定する。

ステップＳ８１において、検出データの受信が通知されていないと判定された場合、検出データを受信しないので、ステップＳ８２の処理およびステップＳ８３の処理はスキップされて、処理はステップＳ８４に進む。

これに対して、ステップＳ８１において、検出データの受信が通知されたと判定された場合、ステップＳ８２に進み、通信部１２１は、センタ装置１２から送信されてきた受信通知を受信して制御部１２３に供給する。制御部１２３は、通信部１２１から供給された受信通知を表示部１２５に供給する。

ステップＳ８３において、表示部１２５は、制御部１２３から供給された受信通知を表示して、利用者に検出データの受信、すなわち車両に対する接近者の検出を通知する。例えば、表示部１２５は、受信通知として受信された電子メールに含まれるメッセージを表示する。なお、表示部１２５に受信通知を表示するとともに、音声を再生して利用者に車両に対する接近者が検出された旨を通知するようにしてもよい。

ステップＳ８４において、制御部１２３は、利用者により検出データの受信が要求されたか否かを判定する。例えば、表示された受信通知を確認した利用者が入力部１２２を操作して検出データの受信を指示すると、入力部１２２から制御部１２３には、利用者の操作に応じた指令が供給される。制御部１２３は、入力部１２２から検出データの受信を要求する指令が供給された場合、検出データの受信が要求されたと判定する。

ステップＳ８４において、検出データの受信が要求されていないと判定された場合、検出データを受信しないので、ステップＳ８１に戻り上述した処理が繰り返される。

これに対して、ステップＳ８４において、検出データの受信が要求されたと判定された場合、制御部１２３は、検出データの送信を要求する送信要求を生成し、通信部１２１に供給して処理はステップＳ８５に進む。

ステップＳ８５において、通信部１２１は、制御部１２３から供給された送信要求を、ネットワーク１４を介してセンタ装置１２に送信する。

送信要求がセンタ装置１２に送信されると、センタ装置１２から端末装置１３には検出データが送信されてくるので、ステップＳ８６において、通信部１２１は、センタ装置１２から送信されてきた検出データを受信して、受信した検出データを、制御部１２３を介して通知画像生成部１２４に供給する。

ステップＳ８７において、通知画像生成部１２４は、受信された検出データに基づいて通知画像を生成し、表示部１２５に供給する。

例えば、通知画像生成部１２４は、利用者本人や車両を駐車する駐車場の管理人など、予め登録されている個人ＩＤにより特定される人の顔の画像、監視装置１１が設置される車両の画像、および２次元または３次元の所定の人のモデルの画像を記録している。ここで、通知画像生成部１２４は、車両の画像および人のモデルの画像として、複数の異なる方向から撮影された車両の画像および人のモデルの画像を記録している。

通知画像生成部１２４は、記録している人のモデルの画像、個人ＩＤにより特定される人の顔の画像、および車両の画像を適宜用いて、検出データに基づいて２次元または３次元の通知画像を生成する。

より具体的には、例えば、通知画像生成部１２４は、記録している車両の画像および人のモデルの画像を用いて、人のモデルの姿勢が、検出データに含まれている姿勢情報により示される姿勢となるように、記録している人のモデルの手、足などの各部位を変形させて、変形された姿勢情報により示される姿勢の人のモデルの画像を生成する。そして、通知画像生成部１２４は、生成した姿勢情報により示される姿勢の人のモデルの画像、すなわち接近者の画像が、車両に対して位置情報により示される位置に表示されるように通知画像を生成する。

このとき、通知画像生成部１２４は、検出データに含まれている個人ＩＤにより特定される人の画像を記録している場合には、通知画像の人のモデルの顔の部分にその個人ＩＤにより特定される人の顔の画像が表示されるように通知画像を生成する。このように、予め登録されている人の顔の画像を表示させることで、利用者は、接近者が不審者であるか否かを直ちに判断することができる。

また、個人ＩＤにより特定される人の画像が記録されていない場合には、通知画像生成部１２４が、同じ個人ＩＤにより特定される人の画像の色、例えば、その人の服の色が常に同じ色で表示されるように通知画像を生成して、表示された接近者が、以前検出された接近者と同じ人物であるか否かを利用者が容易に判断できるようにしてもよい。

さらに、通知画像生成部１２４は、通知画像において、接近者が車両に隠れて見えなくならないように、すなわち接近者が車両よりも手前側に表示されるように、所定の方向から車両および接近者を見た画像を通知画像として生成する。

通知画像が生成されると、ステップＳ８８において、表示部１２５は、通知画像生成部１２４から供給された通知画像を表示し、処理はステップＳ８１に戻り、上述した処理が繰り返される。これにより、表示部１２５には、例えば、図９に示す通知画像が表示される。

図９は、２次元の通知画像の表示例を示しており、通知画像は、車両１５１をその側面から見た画像とされている。図９に示される通知画像では、監視対象としての車両１５１のドアが開けられ、車両１５１に接近者１５２が進入しようとしている画像が表示されている。

このように、検出データに基づいて、通知画像を生成して表示するので、利用者は通知画像を見ることで、接近者１５２が利用者の知らない人であり、車両１５１のドアを開けたこと、および接近者１５２が車両１５１に進入しようとしていることを瞬時に把握することができる。すなわち、利用者は通知画像を見ることにより、より迅速に、より正確に監視対象である車両１５１の周囲の状況を把握することができる。

また、表示部１２５には、例えば、図１０に示す通知画像が表示される。

図１０は、３次元の通知画像の表示例を示しており、通知画像は、車両１５１をその斜め前方から見た画像とされている。図１０に示される通知画像では、監視対象である車両１５１の手前を接近者１５２が通行している画像が表示されている。

このように、検出データに基づいて、通知画像を生成して表示するので、利用者は通知画像を見ることで、接近者１５２は利用者の知らない人であるが、接近者１５２は、車両１５１の付近を通過する通行人であると瞬時に把握することができる。

なお、通知画像の表示例は、図９および図１０に示した例に限らず、例えば、通知画像に、“人が車に侵入しようとしています”などといった検出データに含まれる行為情報に基づくメッセージが表示されるようにしてもよいし、接近者により接触された車両の部位が車両の色とは異なる色で表示されて強調されたり点滅させたりするようにしてもよい。

また、所定の期間の検出データが受信されるようにして、過去に接近者が検出された位置が点滅して表示されるようにしたり、所定の期間の各時刻において接近者が検出された位置に接近者の残像が表示されるようにしたりしてもよい。

さらに、所定の期間の接近者の位置および姿勢の変化、すなわち過去の接近者の動きがアニメーション表示されるようにしてもよいし、所定の期間、例えば、過去１分間の接近者の位置および行為が繰り返し表示されるようにしてもよい。

さらに、また、検出データに含まれる行為情報が、接近者がドアハンドルに接触した旨の行為情報である場合に、ドアハンドルがクローズアップされて表示されたり、キーシリンダにおいて異物が検出された場合には、接近者が手に異物を把持している画像が表示されたりするようにしてもよい。

なお、通知処理は、利用者により入力部１２２が操作されて車両の監視の終了が指示され、入力部１２２から制御部１２３に利用者の操作に応じた指令が供給されると終了する。また、上述した検出データを受信して、通知画像を表示する処理は、例えば、ウェブブラウザが利用されて行われる。

このようにして、端末装置１３は、センタ装置１２から検出データを受信し、受信した検出データに基づいて通知画像を生成して表示する。

このように、受信した検出データに基づいて、監視対象および検出された姿勢の接近者の通知画像を表示することで、利用者は、監視対象である車両の周囲の状況を正確に把握することができる。

以上のように、検出された接近者の姿勢や位置、接近者を特定する個人ＩＤが含まれる検出データを送信するようにしたので、利用者が所有する端末装置１３により正確に車両の周囲の状況を把握するための情報を送信することができる。

また、通知画像として、検出データにより示される位置に、検出データにより示される姿勢の接近者の画像を表示するようにしたので、利用者は、監視対象である車両の周囲の状況を正確に把握することができる。

なお、以上においては、監視装置１１において生成された検出データが、センタ装置１２を介して端末装置１３に送信されると説明したが、監視装置１１から検出データが直接端末装置１３に送信されるようにしてもよい。また、監視装置１１に表示装置を接続して、監視装置１１から表示装置に検出データが送信されるようにし、表示装置において、受信された検出データに基づいて通知画像が表示されるようにしてもよい。

さらに、センタ装置１２が、検出データに基づいて通知画像を生成し、センタ装置１２が生成した通知画像を端末装置１３に送信するようにしてもよい。

さらに、また、端末装置１３に過去に検出された不審者を特定する個人ＩＤを予め登録しておき、その個人ＩＤが含まれる検出データが受信された場合には、通知画像に表示される人のモデルが点滅して表示されるようにしたり、その人のモデルを囲む点滅する枠などが表示されるようにしたりしてもよい。

さらに、また、監視装置１１において撮影された接近者の顔の画像が、センタ装置１２から端末装置１３に送信されるようにし、端末装置１３において、その接近者の顔の画像が通知画像の人のモデルの顔の部分に表示されるようにしてもよい。このようにすることにより、接近者が複数いる場合には、利用者は、複数の接近者のそれぞれを容易に識別することができる。なお、行為情報により示される接近者の行為が、車両に危害を加えるような行為ではない場合には、接近者の顔の画像が端末装置１３に送信されないようにすることも可能である。そのような場合、悪意のない接近者のプライバシを保護することもできる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ２０１のCPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２、または記録部２１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２１３には、CPU２１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２１１、ROM２１２、およびRAM２１３は、バス２１４により相互に接続されている。

CPU２１１にはまた、バス２１４を介して入出力インターフェース２１５が接続されている。入出力インターフェース２１５には、キーボード、マウス、マイクロホンなどよりなる入力部２１６、ディスプレイ、スピーカなどよりなる出力部２１７が接続されている。CPU２１１は、入力部２１６から入力される指令に対応して各種の処理を実行する。そして、CPU２１１は、処理の結果を出力部２１７に出力する。

入出力インターフェース２１５に接続されている記録部２１８は、例えばハードディスクからなり、CPU２１１が実行するプログラムや各種のデータを記録する。通信部２１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２１９を介してプログラムを取得し、記録部２１８に記録してもよい。

入出力インターフェース２１５に接続されているドライブ２２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部２１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２３１、または、プログラムが一時的もしくは永続的に格納されるROM２１２や、記録部２１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部２１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した監視システムの一実施の形態の構成例を示す図である。 監視装置の構成を示すブロック図である。 センタ装置の構成を示すブロック図である。 端末装置の構成を示すブロック図である。 監視処理を説明するフローチャートである。 検出データ送信処理を説明するフローチャートである。 検出データの一例を示す図である。 通知処理を説明するフローチャートである。 通知画像の表示例を示す図である。 通知画像の表示例を示す図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１１ 監視装置
１２ センタ装置
１３ 端末装置
４１ 撮像部
４２ センサ部
４３ 監視部
５１ 位置検出部
５２ 特徴点抽出部
５４ 顔認識部
５５ 顔向き検出部
５６ 姿勢検出部
５７ 行為推定部
５８ 検出データ生成部
５９ 通信部
１２１ 通信部
１２３ 制御部
１２４ 通知画像生成部
１２５ 表示部

Claims (12)

1. 監視対象であるものの周囲の領域である監視領域を撮影する撮影手段と、
   前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視手段と、
   撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出し、前記接近者の姿勢を示す姿勢情報を生成する姿勢検出手段と、
   前記監視手段による監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置を検出し、その位置を示す位置情報を生成する位置検出手段と、
   前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信手段と
   を備える監視装置。
2. 監視対象であるものの周囲の領域である監視領域を撮影する撮影手段と、
   前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視手段と、
   撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出し、前記接近者の姿勢を示す姿勢情報を生成する姿勢検出手段と、
   前記監視手段による監視結果、または前記画像に基づいて、前記接近者の前記ものに対する位置を検出し、その位置を示す位置情報を生成する位置検出手段と、
   前記姿勢情報および前記監視結果に基づいて、前記接近者が行った行為を推定し、その行為を示す行為情報を生成する行為推定手段と、
   前記姿勢情報、前記位置情報、および前記行為情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信手段と
   を備える監視装置。
3. 前記画像を用いて前記接近者の顔を認識し、前記接近者を特定する顔認識手段をさらに備え、
   前記送信手段は、特定された前記接近者を示す個人ＩＤが含まれる前記検出データを送信する
   請求項１または請求項２に記載の監視装置。
4. 前記接近者の顔の向きまたは視線の向きを検出する顔方向検出手段をさらに備え、
   前記姿勢検出手段は、前記顔方向検出手段による検出結果および前記画像に基づいて、前記接近者の姿勢を検出する
   請求項１または請求項２に記載の監視装置。
5. 監視対象であるものの周囲の領域である監視領域を撮影する撮影ステップと、
   前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視ステップと、
   撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出して前記接近者の姿勢を示す姿勢情報を生成する姿勢検出ステップと、
   前記接近者の前記ものへの接近、若しくは前記接近者の前記ものへの接触の監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置を検出してその位置を示す位置情報を生成する位置検出ステップと、
   前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信ステップと
   を含む監視方法。
6. 監視対象であるものの周囲の領域である監視領域を撮影する撮影ステップと、
   前記ものに接近する接近者の前記ものへの接近、または前記接近者の前記ものへの接触を監視する監視ステップと、
   撮影された前記監視領域の画像に基づいて、前記接近者の姿勢を検出して前記接近者の姿勢を示す姿勢情報を生成する姿勢検出ステップと、
   前記接近者の前記ものへの接近、若しくは前記接近者の前記ものへの接触の監視結果、および前記画像に基づいて、前記接近者の前記ものに対する位置を検出してその位置を示す位置情報を生成する位置検出ステップと、
   前記姿勢情報および前記位置情報からなる、前記接近者の姿勢および前記ものに対する位置を示す検出データを送信する送信ステップと
   をコンピュータに実行させるプログラム。
7. 監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データを受信する受信手段と、
   前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像を生成する生成手段と、
   生成された前記画像を表示する表示手段と
   を備え、
   前記生成手段は、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像を生成する
   画像処理装置。
8. 前記生成手段は、２次元または３次元の前記画像を生成する
   請求項７に記載の画像処理装置。
9. 前記生成手段は、各時刻における前記姿勢情報および前記位置情報からなる前記検出データに基づいて、前記接近者の位置および姿勢の変化をアニメーション表示させるための前記画像を生成する
   請求項７に記載の画像処理装置。
10. 前記生成手段は、前記接近者が行った行為を示す行為情報が含まれる前記検出データに基づいて、前記画像を生成する
    請求項７に記載の画像処理装置。
11. 監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データを受信する受信ステップと、
    前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像を生成する生成ステップと、
    生成された前記画像を表示する表示ステップと
    を含み、
    前記生成ステップにおいて、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像を生成する
    画像処理方法。
12. 監視対象であるものに接近する接近者の姿勢を示す姿勢情報、および前記接近者の前記ものに対する位置を示す位置情報からなる検出データを受信する受信ステップと、
    前記検出データに基づいて、前記もの、および前記姿勢情報により示される姿勢の前記接近者の画像であって、前記接近者の前記ものへの接近を通知する画像を生成する生成ステップと、
    生成された前記画像を表示する表示ステップと
    を含む処理をコンピュータに実行させ、
    前記生成ステップにおいて、前記接近者を示す個人ＩＤが含まれる前記検出データに基づいて、前記画像における前記接近者の顔の部分に、予め記録している前記個人ＩＤに関係付けられた顔の画像が表示されるように、前記接近者の前記ものへの接近を通知する前記画像を生成させる
    プログラム。

Images