JP5366047B2 - Monitoring device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a new monitor monitoring a place where a plurality of persons are present. <P>SOLUTION: The monitor 10 includes an LRF (12) installed in a shopping mall. Local behavior of a person in the shopping mall is detected by use of the LRF (12), and is accumulated in a position information DB (20). The monitor 10 reads the local behavior every hour, creates a clustering map, and accumulates it in a map DB (22). The management device 10 also reads the local behavior every ten minutes, creates the clustering map, and reads the clustering map including the local behavior detected at the same time on a different day. A difference between the two clustering maps is calculated for each spatial grid, and the monitor 10 gives a warning when the calculated difference is a threshold value or above. A manager comprehensively monitors the shopping mall by use of the monitor 10 that gives a warning by comparing the two clustering maps each representing the local behavior at different time. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

この発明は、監視装置に関し、特にたとえば複数の人間が任意に行動する場所を監視する、監視装置に関する。   The present invention relates to a monitoring device, and more particularly to a monitoring device that monitors a place where a plurality of humans act arbitrarily.

特許文献１に開示されている、見守りシステムには、見守り対象者の行動を、赤外線人感センサなどの設置型センサ、ＣＣＤカメラなどの画像センサ、電気ポットなどに組み込まれた組み込み型センサ、生活着に装着される加速度センサなどの装着センサおよびガスなどのユーティリティの使用状況を計測するユーティリティセンサなどによって検出する。そして、各センサによって検出されたデータから見守り対象者の異常が検出されると、検出された異常の緊急度に応じて、予め設定された送信許可データが伝送される。   The watching system disclosed in Patent Document 1 includes an installed sensor such as an infrared human sensor, an image sensor such as a CCD camera, an embedded sensor incorporated in an electric pot, etc. It is detected by a mounting sensor such as an acceleration sensor mounted on the wear and a utility sensor that measures the usage status of a utility such as gas. When an abnormality of the person being watched over is detected from the data detected by each sensor, transmission permission data set in advance is transmitted according to the urgency of the detected abnormality.

また、非特許文献１に開示されている環境情報構造化システムには、自律行動によって人間に近づきサービスを開始することができるロボットが含まれ、そのロボットの活動範囲内に設けられるＬＲＦ（レーザーレンジファインダ）を利用して人間の歩行軌跡を計測し、その歩行軌跡から、複数の局所行動を認識する。   In addition, the environmental information structuring system disclosed in Non-Patent Document 1 includes a robot that can approach a human by autonomous action and start a service, and an LRF (laser range) provided within the robot's activity range. A human walking trajectory is measured using a finder), and a plurality of local actions are recognized from the walking trajectory.

特開２００２−２６１９８１号公報［H04M 11/04, G08B 25/04, G08B 25/08, H04N 7/18］JP 2002-261981 [H04M 11/04, G08B 25/04, G08B 25/08, H04N 7/18]

Takayuki Kanda, Dylan F. Glas, Masahiro Shiomi, Hiroshi Ishiguro and Norihiro Hagita, Who will be the customer?: A social robot that anticipates people’s behavior from their trajectories, Tenth International Conference on Ubiquitous Computing (UbiComp 2008), pp.380-389, 2008Takayuki Kanda, Dylan F. Glas, Masahiro Shiomi, Hiroshi Ishiguro and Norihiro Hagita, Who will be the customer ?: A social robot that anticipates people's behavior from their trajectories, Tenth International Conference on Ubiquitous Computing (UbiComp 2008), pp.380- 389, 2008

しかし、特許文献１に示す背景技術では、特定の個人を対象としたものであり、複数の人間が任意に行動する広い場所を見守るシステムではない。また、非特許文献１では、人間の局所行動を取得して空間をクラスタリングすることができるが、そのようなクラスタリング技術を監視装置と組み合わせる技術はこれまで実現されていない。   However, the background art disclosed in Patent Document 1 is intended for a specific individual, and is not a system for watching a wide place where a plurality of persons arbitrarily act. Further, in Non-Patent Document 1, it is possible to acquire a local action of a human and cluster a space, but a technique for combining such a clustering technique with a monitoring device has not been realized so far.

それゆえに、この発明の主たる目的は、新規な、監視装置を提供することである。   Therefore, the main object of the present invention is to provide a novel monitoring device.

この発明の他の目的は、複数の人間が居る場所を監視することができる、監視装置を提供することである。   Another object of the present invention is to provide a monitoring device capable of monitoring a place where a plurality of persons are present.

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。   The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.

第１の発明は、複数の人間が任意に行動する場所を監視する監視装置であって、場所における複数の人間それぞれの局所行動を検出する検出手段、検出手段によって検出された第１所定時間分の局所行動をクラスタリングした複数のエリアを含む第１地図を作成する第１地図作成手段、検出手段によって検出された第２所定時間分の局所行動をクラスタリングした複数のエリアを含む第２地図を作成する第２地図作成手段、および第１地図と第２地図との対応するエリアを比較することで異常を検出する異常検出手段を備える、監視装置である。 A first invention is a monitoring device that monitors a place where a plurality of persons behave arbitrarily, and detects a local action of each of the plurality of persons at the place, for a first predetermined time detected by the detecting means. first mapping means for creating a first map including a plurality of areas of clustering local action, the second map including a plurality of areas of clustering the local behavior of the second predetermined time detected by the detection means A second map creating means for creating an abnormality and an abnormality detecting means for detecting an abnormality by comparing corresponding areas of the first map and the second map.

第１の発明では、監視装置（１０）は、たとえばショッピングモールなど、複数の人間が任意に行動する場所を監視する。検出手段（１２，１６，Ｓ３）は、監視する場所に設けられるＬＲＦ１２などによって人間の歩行軌跡を検出し、その歩行軌跡から局所行動を検出する。また、第１所定時間とは１時間であり、第１地図作成手段（１６，Ｓ１５）は、現在時刻と同じ時刻であり、かつ１週間前に検出された、一時間分の局所行動をクラスタリングすることで複数のエリアを含む第１地図を作成する。さらに、第２所定時間とは１０分であり、第２地図作成手段（１６，Ｓ３５）は、たとえば現在時刻から過去１０分間の局所行動をクラスタリングすることで、複数のエリアを含む第２地図を作成する。そして、異常検出手段は、第１地図と第２地図との対応するエリアを比較することで異常を検出する。 In the first invention, the monitoring device (10) monitors a place where a plurality of persons arbitrarily act, such as a shopping mall. The detection means (12, 16, S3) detects a human walking trajectory by using the LRF 12 provided at a place to be monitored, and detects a local action from the walking trajectory. The first predetermined time is one hour, and the first map creating means (16, S15) clusters the local behavior for one hour detected at the same time as the current time and one week ago. Thus, a first map including a plurality of areas is created. Further, the second predetermined time is 10 minutes, and the second map creating means (16, S35), for example, clusters the local actions for the past 10 minutes from the current time, thereby obtaining a second map including a plurality of areas. create. Then, the abnormality detecting hands stage detects an abnormality by comparing the corresponding areas of the first map and the second map.

第１の発明によれば、異なる日付で、同じ時刻に検出される局所行動を表わす地図を作成し、比較することで異常を検出できる。これにより、管理者は、多くの人間が同時に利用する場所を大局的に監視できるようになる。
第２の発明は、第１の発明に従属し、第１地図および第２地図のエリアには、局所行動の生起回数を示すヒストグラムが対応付けられた空間グリッドが含まれ、検出手段は、第１地図の空間グリッドと第２地図の空間グリッドとのヒストグラムを比較することで異常を検出する。 According to the first invention, abnormalities can be detected by creating and comparing maps representing local actions detected at the same time on different dates. As a result, the administrator can globally monitor the places that many people use simultaneously.
A second invention is dependent on the first invention, and the areas of the first map and the second map include a spatial grid in which a histogram indicating the number of occurrences of local actions is associated, An abnormality is detected by comparing the histograms of the spatial grid of one map and the spatial grid of the second map.

第３の発明は、第２の発明に従属し、第１地図と第２地図との対応する空間グリッドのヒストグラムの差分を算出する算出手段をさらに備え、検出手段は、算出手段によって算出された差分が所定値以上であるときに異常を検出する。 A third invention is according to the second invention, further comprising a calculation unit that calculates a difference between histograms of corresponding spatial grids of the first map and the second map, and the detection unit is calculated by the calculation unit detecting an abnormality when the difference is equal to or greater than a predetermined value.

第３の発明では、算出手段（１６，Ｓ４３）は、第１地図と第２地図との空間グリッド毎に局所行動のヒストグラムの差分（Ｄｉｆｆ）を算出する。そして、検出手段は、算出された差分が所定値（閾値ｔｈ）以上であるときに異常を検出する。 In the third aspect of the invention, calculation detecting means (16, S43) calculates the histogram of local action differential (Diff) for each spatial grid of the first map and the second map. Then, the detecting means, the calculated difference to detect abnormal when a predetermined value (threshold value th) or higher.

第３の発明によれば、管理者は、閾値を任意に変更することで、監視装置が異常を通知する頻度を調節できるようになる。
第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、検出手段によって異常が検出されたとき、検出された異常を通知する通知手段をさらに備える。 According to the third aspect , the administrator can adjust the frequency at which the monitoring apparatus notifies the abnormality by arbitrarily changing the threshold value.
A fourth invention is dependent on any one of the first to third inventions, and further comprises a notification means for notifying the detected abnormality when the abnormality is detected by the detection means.

第５の発明は、第４の発明に従属し、画像を表示可能な表示装置をさらに備え、通知手段は、表示装置に異常報知画像を表示することで異常を通知する。 A fifth invention is according to the fourth invention, the image further comprises a display equipment capable of displaying a notification unit notifies the anomaly by displaying the abnormality notification image on a display device.

第５の発明では、表示装置（２４）は、たとえばＬＣＤであり、監視装置の操作画面（２００）を表示する。そして、通知手段は、その操作画面に異常通知画像を表示する。 In the fifth invention, the display device (24) is, for example, an LCD, and displays the operation screen (200) of the monitoring device. Then, the notification means displays an abnormality notification image on the operation screen.

第５の発明によれば、管理者は、複数のカメラによる複数の画面ではなく、１つの画面に表示される異常通知画像を参照することで、大局的な監視を容易に行うことができるようになる。 According to the fifth invention, the administrator can easily perform global monitoring by referring to the abnormality notification image displayed on one screen instead of a plurality of screens by a plurality of cameras. become.

この発明によれば、管理者は、異なる日付で、同じ時刻に検出される局所行動を表わす２つの地図を比較することで異常を通知する監視装置を利用して、多くの人間が同時に利用する場所を大局的に監視できるようになる。   According to the present invention, an administrator uses a monitoring device that notifies an abnormality by comparing two maps representing local actions detected at the same time on different dates, and is used by many people at the same time. The place can be monitored globally.

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図１はこの発明の監視装置の概要を示す図解図である。FIG. 1 is an illustrative view showing an outline of a monitoring apparatus of the present invention. 図２は図１に示す監視装置の電気的な構成を示すブロック図である。FIG. 2 is a block diagram showing an electrical configuration of the monitoring apparatus shown in FIG. 図３は図１および図２に示すＬＲＦの計測領域を示す図解図である。FIG. 3 is an illustrative view showing a measurement region of the LRF shown in FIGS. 1 and 2. 図４は図１および図２に示すＬＲＦを利用して取得された人間の歩行軌跡の一例を示す図解図である。FIG. 4 is an illustrative view showing one example of a human walking trajectory acquired using the LRF shown in FIGS. 1 and 2. 図５は図２に示すＣＰＵによって検出される局所行動と対応する歩行軌跡の一例を示す図解図である。FIG. 5 is an illustrative view showing one example of a walking locus corresponding to the local action detected by the CPU shown in FIG. 図６は図１に示すＬＲＦが設置される或る場所の地図を示す図解図である。FIG. 6 is an illustrative view showing a map of a certain place where the LRF shown in FIG. 1 is installed. 図７は図２に示す位置情報ＤＢおよび地図ＤＢに記憶されるデータの一例を示す図解図である。FIG. 7 is an illustrative view showing one example of data stored in the position information DB and map DB shown in FIG. 図８はＣＰＵによって作成されるクラスタリング地図の一例を示す図解図である。FIG. 8 is an illustrative view showing one example of a clustering map created by the CPU. 図９は図２に示すＬＣＤに表示されるクラスタリング地図の一例を示す図解図である。FIG. 9 is an illustrative view showing one example of a clustering map displayed on the LCD shown in FIG. 図１０は図２に示すメモリのメモリマップの一例を示す図解図である。FIG. 10 is an illustrative view showing one example of a memory map of the memory shown in FIG. 図１１は図２に示すＣＰＵの位置情報記録処理を示すフロー図である。FIG. 11 is a flowchart showing the position information recording process of the CPU shown in FIG. 図１２は図２に示すＣＰＵの地図記録処理を示すフロー図である。FIG. 12 is a flowchart showing the map recording process of the CPU shown in FIG. 図１３は図２に示すＣＰＵの監視処理を示すフロー図である。FIG. 13 is a flowchart showing the monitoring process of the CPU shown in FIG.

図１を参照して、この実施例の監視装置１０は、ＬＲＦ１２ａ，１２ｂを含む数台のＬＲＦを備え、ＬＲＦ１２ａ，１２ｂは人間Ａを含む多くの人間が任意に行動できる場所に設置される。そして、監視装置１０はＬＲＦ１２ａ，１２ｂを利用して人間Ａの位置を検出することで、ＬＲＦ１２ａ，１２ｂが設置される場所を監視する。また、人間Ａが任意に行動できる場所とは、会社のフロア、博物館、ショッピングモールまたはアトラクション会場などであり、ＬＲＦ１２ａ，１２ｂは様々な場所（環境）に設置される。   Referring to FIG. 1, monitoring apparatus 10 of this embodiment includes several LRFs including LRFs 12a and 12b, and LRFs 12a and 12b are installed in a place where many humans including human A can act arbitrarily. And the monitoring apparatus 10 monitors the place where LRF12a, 12b is installed by detecting the position of the person A using LRF12a, 12b. The place where the person A can act arbitrarily is a company floor, a museum, a shopping mall or an attraction venue, and the LRFs 12a and 12b are installed in various places (environments).

なお、ここでは簡単のため人間は１人しか示していないが、監視装置１０は２人以上の位置を同時に検出することができる。   Note that although only one person is shown here for simplicity, the monitoring apparatus 10 can simultaneously detect the positions of two or more persons.

図２は監視装置１０の電気的な構成を示すブロック図である。この図２を参照して、監視装置１０は、ＬＲＦ１２ａ−１２ｆおよびＣＰＵ１６を含む。このＣＰＵ１６は、マイクロコンピュータ或いはプロセサとも呼ばれ、先述したＬＲＦ１２ａおよびＬＲＦ１２ｂに加えて、ＬＲＦ１２ｃ，ＬＲＦ１２ｄ，ＬＲＦ１２ｅおよびＬＲＦ１２ｆともそれぞれ接続される。さらに、ＣＰＵ１６は、メモリ１８、位置情報ＤＢ２０、地図ＤＢ２２、ＬＣＤ２４および入力装置２６ともそれぞれ接続される。なお、ＬＲＦ１２ａ−１２ｆを区別する必要がない場合には、まとめて「ＬＲＦ１２」と言う。   FIG. 2 is a block diagram showing an electrical configuration of the monitoring apparatus 10. Referring to FIG. 2, monitoring device 10 includes LRFs 12a-12f and a CPU 16. This CPU 16 is also called a microcomputer or a processor, and is connected to LRF 12c, LRF 12d, LRF 12e, and LRF 12f in addition to the aforementioned LRF 12a and LRF 12b. Further, the CPU 16 is also connected to the memory 18, the position information DB 20, the map DB 22, the LCD 24 and the input device 26. In addition, when it is not necessary to distinguish LRF12a-12f, it is collectively called "LRF12."

ＬＲＦ１２は、レーザーを照射し、物体（人間も含む）に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ（図示せず）から照射したレーザーを回転ミラー（図示せず）で反射させて、前方を扇状に一定角度（たとえば、０．５度）ずつスキャンする。ここで、ＬＲＦ１２としては、SICK社製のレーザーレンジファインダ（型式 LMS200）を用いることができる。このレーザーレンジファインダを用いた場合には、距離８mを±１５mm程度の誤差で計測可能である。   The LRF 12 measures the distance for the object from the time it takes to irradiate the laser and reflect it back to the object (including humans). For example, a laser beam emitted from a transmitter (not shown) is reflected by a rotating mirror (not shown), and the front is scanned in a fan shape by a certain angle (for example, 0.5 degrees). Here, as the LRF 12, a laser range finder (model LMS200) manufactured by SICK can be used. When this laser range finder is used, a distance of 8 m can be measured with an error of about ± 15 mm.

メモリ１８は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含み、ＲＯＭおよびＨＤＤには、監視装置１０の動作を制御するための制御プログラムが予め記憶される。たとえば、ＬＲＦ１２による人間の検出に必要なプログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。   Although not shown, the memory 18 includes a ROM, an HDD, and a RAM, and a control program for controlling the operation of the monitoring apparatus 10 is stored in advance in the ROM and the HDD. For example, a program necessary for human detection by the LRF 12 is recorded. The RAM is used as a work memory or a buffer memory.

位置情報データベース（位置情報ＤＢ）２０は、ＬＲＦ１２によって検出された人間の位置と局所的な行動（局所行動）とを蓄積するためのデータベースであり、ＨＤＤのような記憶媒体を用いて構成される。なお、人間の値は、ｘ−ｙ座標で示される。   The position information database (position information DB) 20 is a database for accumulating human positions and local actions (local actions) detected by the LRF 12, and is configured using a storage medium such as an HDD. . The human value is indicated by xy coordinates.

地図データベース（地図ＤＢ）２２は、１時間毎（第１所定時間）に作成されるクラスタリング地図（図８参照）を蓄積するためのデータベースであり、位置情報ＤＢ２０と同様にＨＤＤのような記憶媒体を用いて構成される。   The map database (map DB) 22 is a database for accumulating a clustering map (see FIG. 8) created every hour (first predetermined time), and is similar to the location information DB 20 and is a storage medium such as an HDD. It is configured using.

表示装置であるＬＣＤ２４は、監視装置１０の操作画面（図１０参照）を表示し、その操作画面には監視している場所を示す地図などが含まれる。また、入力装置２６はマイクや、マウスおよびキーボード（図示せず）から構成される。たとえば、管理者はＬＣＤ２４に表示された操作画面を見ながら、マウスなどを使って監視装置１０を操作する。   The LCD 24 which is a display device displays an operation screen (see FIG. 10) of the monitoring device 10, and the operation screen includes a map indicating a monitored place. The input device 26 includes a microphone, a mouse, and a keyboard (not shown). For example, the administrator operates the monitoring device 10 using a mouse or the like while looking at the operation screen displayed on the LCD 24.

次にＬＲＦ１２について詳細に説明する。図３を参照して、ＬＲＦ１２の計測範囲は、半径Ｒ（Ｒ≒８m）の半円形状（扇形）で示される。つまり、ＬＲＦ１２は、その正面方向を中心とした場合に、左右９０°の方向を所定の距離（Ｒ）以内で計測可能である。   Next, the LRF 12 will be described in detail. Referring to FIG. 3, the measurement range of LRF 12 is indicated by a semicircular shape (fan shape) having a radius R (R≈8 m). That is, the LRF 12 can measure the direction of 90 ° left and right within a predetermined distance (R) when the front direction is the center.

また、使用しているレーザーは、日本工業規格 JIS C 6802「レーザー製品の安全基準」におけるクラス１レーザーであり、人の眼に対して影響を及ぼさない安全なレベルである。また、この実施例では、ＬＲＦ１２のサンプリングレートを３７Hzとした。これは、歩行するなどにより移動する人間の位置を連続して検出するためである。   The laser used is a class 1 laser in Japanese Industrial Standard JIS C 6802 “Safety Standard for Laser Products”, which is a safe level that does not affect human eyes. In this embodiment, the sampling rate of the LRF 12 is 37 Hz. This is because the position of a person who moves by walking or the like is continuously detected.

さらに、先述したように、ＬＲＦ１２は、様々な場所に配置される。たとえば、ＬＲＦ１２ａ−１２ｆの各々は、検出領域が重なるように配置され、図示は省略するが、床面から約９０cmの高さに固定される。この高さは、被験者の胴体と腕（両腕）とを検出可能とするためであり、たとえば、日本人の成人の平均身長から算出される。したがって、監視装置１０を設ける場所（地域ないし国）や被験者の年齢ないし年代（たとえば、子供，大人）に応じて、ＬＲＦ１２を固定する高さを適宜変更するようにしてよい。なお、本実施例では、設定されるＬＲＦ１２は６台としたが、２台以上であれば、任意の台数のＬＲＦ１２を設置してもよい。   Further, as described above, the LRF 12 is arranged in various places. For example, each of LRF12a-12f is arrange | positioned so that a detection area may overlap, and although it abbreviate | omits illustration, it is fixed to the height of about 90 cm from a floor surface. This height is for enabling detection of the body and arms (both arms) of the subject, and is calculated from, for example, the average height of Japanese adults. Therefore, the height at which the LRF 12 is fixed may be appropriately changed according to the place (region or country) where the monitoring device 10 is provided and the age or age of the subject (for example, children or adults). In this embodiment, six LRFs 12 are set, but any number of LRFs 12 may be installed as long as the number is two or more.

このような構成の監視装置１０では、ＣＰＵ１６がＬＲＦ１２からの出力（距離データ）に基づいて、パーティクルフィルタを用いて、人間の現在位置の変化を推定する。そして、推定された現在位置の変化は歩行軌跡として記録される。   In the monitoring apparatus 10 having such a configuration, the CPU 16 estimates a change in the current position of a human using a particle filter based on the output (distance data) from the LRF 12. The estimated change in the current position is recorded as a walking trajectory.

たとえば、図４を参照して、ＬＲＦ１２ａ，１２ｂは互いに向い合せに設置され、ＬＲＦ１２ａ，１２ｂの計測範囲が重なる範囲は斜線が付されて示される。斜線が付された範囲は検出領域Ｅとされ、この検出領域Ｅ内では人間の現在位置が連続的に検出される。そして、連続的に検出された現在位置のデータは歩行軌跡として示され、たとえば歩行軌跡Ｋａおよび歩行軌跡Ｋｂのように示される。なお、歩行軌跡Ｋａ，Ｋｂを区別する必要がない場合には、まとめて「歩行軌跡Ｋ」と言う。   For example, referring to FIG. 4, LRFs 12 a and 12 b are installed facing each other, and a range where the measurement ranges of LRFs 12 a and 12 b overlap is indicated by hatching. A hatched range is a detection area E, and the current position of the person is continuously detected in the detection area E. And the data of the present position detected continuously are shown as a walk locus, for example like walk locus Ka and walk locus Kb. In addition, when it is not necessary to distinguish the walking trajectories Ka and Kb, they are collectively referred to as “walking trajectory K”.

ここで、本実施例では、ＳＶＭ（Support Vector Machine）によって人間の歩行軌跡Ｋから人間の歩き方の判別を行い、監視装置１０は、局所行動を検出する。なお、ＳＶＭによる判別手法については、広く一般的な方法であるため、ここでは詳細な説明を省略する。   Here, in the present embodiment, the monitoring device 10 detects a local action by determining a human walking method from a human walking trajectory K by SVM (Support Vector Machine). Note that the SVM discrimination method is a widely general method, and thus detailed description thereof is omitted here.

まず、歩行軌跡Ｋは特徴量データが抽出される。具体的には、歩行軌跡Ｋは、左側中央が始点となるように方向の正規化処理が施され、方向の正規化後の歩行軌跡Ｋと囲む長方形の幅（縦軸方向）および長さ（横軸方向）が算出される。また、歩行軌跡Ｋは近似する折れ線に変換され、連続する２つの直線のなす角がそれぞれ算出される。さらに、歩行軌跡Ｋにおける一定時間毎の変化量を時間で微分することで、移動軌跡Ｋの速度が算出される。そして、このように求められた、歩行軌跡Ｋの終点、歩行軌跡Ｋを囲む長方形の幅と長さ、歩行軌跡Ｋのなす角度および速度のそれぞれが歩行軌跡Ｋの特徴量データとされる。   First, feature amount data is extracted from the walking locus K. Specifically, the walking trajectory K is subjected to a direction normalization process so that the left center is the starting point, and the width (vertical axis direction) and length of the rectangle surrounding the walking trajectory K after the direction normalization ( (Horizontal axis direction) is calculated. Further, the walking trajectory K is converted into an approximate polygonal line, and the angles formed by two continuous straight lines are respectively calculated. Furthermore, the speed of the movement trajectory K is calculated by differentiating the amount of change in the walking trajectory K at certain time intervals with time. The end point of the walking track K, the width and length of the rectangle surrounding the walking track K, the angle and the speed formed by the walking track K, which are obtained in this way, are used as the feature amount data of the walking track K.

次に、特徴量データに対してラベル付けし、ラベル付けされた特徴量データをＳＶＭに学習させる。以下、特徴量データに対するラベル付けおよびＳＶＭの学習について詳細に説明する。   Next, the feature amount data is labeled, and the labeled feature amount data is learned by the SVM. Hereinafter, labeling for feature amount data and learning of SVM will be described in detail.

本実施例では、特徴量データをラベル付けするために、「歩き方」、「歩く速さ」、「短時間の歩き方」および「短時間の歩く速さ」の４つのクラスを定義する。「歩き方」のクラスは、「まっすぐ」、「右に曲がる」、「左に曲がる」、「うろうろする」、「Ｕターン」および「不明」の６つのカテゴリから構成され、５．１秒の歩行軌跡Ｋから抽出される特徴量データがラベル付けされる。そして、ＳＶＭにはラベル付けされた２２６個の特徴量データを学習させる。また、「歩く速さ」のクラスは、「走っている」、「忙しく歩く」、「ゆっくり歩く」、「止まっている」および「待っている」の５つのカテゴリから構成され、４．９秒の歩行軌跡Ｋから抽出される特量データがラベル付けされる。そして、ＳＶＭにはラベル付けされた１６６個の特徴量データを学習させる。   In this embodiment, four classes of “how to walk”, “speed of walking”, “how to walk for a short time”, and “speed of walking for a short time” are defined in order to label feature data. The “Walking” class consists of 6 categories: “Straight”, “Turn right”, “Turn left”, “Wander”, “U-turn” and “Unknown”. The feature amount data extracted from the walking locus K is labeled. Then, the SVM is made to learn 226 feature quantity data labeled. The “walking speed” class is composed of five categories of “running”, “busy walking”, “slow walking”, “stop”, and “waiting” for 4.9 seconds. The feature data extracted from the walking trajectory K is labeled. Then, the SVM is made to learn 166 feature quantity data labeled.

「短時間の歩き方」のクラスは、「歩き方」と類似するカテゴリから構成さる。そして、ＳＶＭには、２．１秒の歩行軌跡Ｋであり、かつ「うろうろする」のカテゴリを除いた、１５０個の特徴量データをＳＶＭに学習させる。「短時間の歩く速さ」のクラスは、「歩く速さ」と類似するカテゴリから構成される。そして、ＳＶＭには、２．２秒の歩行軌跡Ｋであり、かつ「待っている」のカテゴリを除いた、１５９の特徴量データを学習させる。   The class of “how to walk for a short time” is composed of categories similar to “how to walk”. Then, the SVM is caused to learn 150 pieces of feature data, which is a walking trajectory K of 2.1 seconds and excluding the “walk around” category. The “short walking speed” class includes a category similar to “walking speed”. Then, the SVM is made to learn 159 feature data excluding the “waiting” category that is the walking trajectory K of 2.2 seconds.

そして、監視装置１０では、このように学習したＳＶＭによって検出される歩行軌跡Ｋから局所行動を判別し、判別結果をマージする。具体的には、「歩き方」のクラスでは「右に曲がる」、「左に曲がる」および「Ｕターン」を「うろうろする」にマージし、「歩く速さ」のクラスでは「待っている」を「止まっている」にマージする。さらに、「短時間の歩き方」のクラスは「歩き方」のクラスにマージされ、「短時間の歩く速さ」のクラスは「歩く速さ」のクラスにマージされる。これにより、監視装置１０は、「忙しく歩く」、「ゆっくり歩く」、「うろうろする」および「止まっている」の４つの局所行動を検出することができるようになる。   And in the monitoring apparatus 10, a local action is discriminate | determined from the walking locus K detected by SVM learned in this way, and a discrimination | determination result is merged. Specifically, in the “Walking” class, “turn right”, “turn left” and “U-turn” are merged into “walk”, and “waiting” in the “walking speed” class. Are merged into "stopped". Further, the class of “how to walk for a short time” is merged with the class of “how to walk”, and the class of “speed for walking for a short time” is merged with the class of “speed for walking”. As a result, the monitoring device 10 can detect four local behaviors of “walking busy”, “walking slowly”, “walking”, and “stopping”.

このように検出された各局所行動のそれぞれに対応する歩行軌跡Ｋを図５（Ａ）−図５（Ｄ）に示す。図５（Ａ）は「忙しく歩く」の局所行動の一例を示しており、歩行軌跡Ｋの形状が直線的であり、始点と終点との距離が長い。また、図５（Ｂ）は「ゆっくり歩く」の局所行動の一例を示しており、歩行軌跡Ｋの形状が直線的ではあるが、始点と終点との距離が短い。また、図５（Ｃ）は「うろうろする」の局所行動の一例を示しており、歩行軌跡Ｋが約９０度以下で２回曲がっている。そして、図５（Ｄ）は「止まっている」の局所行動の一例を示しており、歩行軌跡Ｋにおける始点と終点とがほぼ変わらない位置にある。   The walking trajectory K corresponding to each local action thus detected is shown in FIGS. 5 (A) to 5 (D). FIG. 5A shows an example of the local action of “walking busy”, the shape of the walking locus K is linear, and the distance between the start point and the end point is long. FIG. 5B shows an example of the local action of “slow walking”. The shape of the walking locus K is linear, but the distance between the start point and the end point is short. FIG. 5C shows an example of the local action of “walking”, where the walking locus K is bent twice at about 90 degrees or less. FIG. 5D shows an example of the local action “stopped”, where the starting point and the ending point of the walking trajectory K are substantially unchanged.

ここで、本実施例では、時刻ｔに検出されるｎ人（ｎ：自然数）の位置情報を、位置情報Ｐｎ（ｔ）と表わし、この位置情報Ｐｎ（ｔ）は人間の位置（ｘ、ｙ）に加え、４種類の局所行動の有無を表わすブール変数ｂ１−ｂ４を含むものと定義する。そして、位置情報ＤＢ２０には、位置情報Ｐｎ（ｔ）が記録される。また、位置情報Ｐｎ（ｔ）は、数１に示す式で表すことができる。   Here, in this embodiment, the position information of n persons (n: natural number) detected at time t is represented as position information Pn (t), and this position information Pn (t) is the position of a person (x, y). ) In addition to Boolean variables b1-b4 representing the presence or absence of four types of local actions. Then, position information Pn (t) is recorded in the position information DB 20. Further, the position information Pn (t) can be expressed by the equation shown in Equation 1.

［数１］
Ｐｎ（Ｔ）＝｛ｘ，ｙ，ｂ１，ｂ２，ｂ３，ｂ４｝
ここで、ブール変数ｂ１は「忙しく歩く」の有無を表わし、ブール変数ｂ２は「ゆっくり歩く」の有無を表わし、ブール変数ｂ３は「うろうろする」の有無を表わし、ブール変数ｂ４は「止まっている」の有無を表わす。 [Equation 1]
Pn (T) = {x, y, b1, b2, b3, b4}
Here, the Boolean variable b1 represents the presence / absence of “busy walking”, the Boolean variable b2 represents the presence / absence of “slow walking”, the Boolean variable b3 represents the presence / absence of “walking”, and the Boolean variable b4 is “stopped”. "".

なお、歩行軌跡Ｋから抽出される特徴量は４つだけに限らず、加重方向指数ヒストグラム法などによって抽出された特徴量が用いられてもよい。さらに、汎用性を高めるために、判別結果が全くマージされなくてもよし、マージされる判別結果が減らされてもよい。そして、検出される局所行動に応じてブール変数の数も変化するため、位置情報Ｐｎ（ｔ）が含むブール変数の数も変化する。また、本実施例におけるブール変数ｂ１−ｂ４のそれぞれは、０〜１００までの値をとる。   Note that the feature amount extracted from the walking locus K is not limited to four, and a feature amount extracted by a weighted direction index histogram method or the like may be used. Furthermore, in order to improve versatility, the determination results may not be merged at all, or the determination results to be merged may be reduced. And since the number of Boolean variables also changes according to the detected local action, the number of Boolean variables included in the position information Pn (t) also changes. In addition, each of the Boolean variables b1 to b4 in this embodiment takes a value from 0 to 100.

次に、ＬＲＦ１２によって人間の位置を検出可能な空間（検出領域Ｅ）を、２５cm四方で空間グリッド化する。ここで、監視装置１０は、位置情報ＤＢ２０に記録される位置情報Ｐｎ（ｔ）を読み出すことで、或る時刻ｔの空間グリッドｉにおいて、空間グリッドｉ内の局所行動の生起回数を集計することができる。そして、その集計結果として、「忙しく歩く」、「ゆっくり歩く」、「うろうろする」および「止まっている」の局所行動それぞれに対応する、ヒストグラムＨ１（ｉ，ｔ）、ヒストグラムＨ２（ｉ，ｔ）、ヒストグラムＨ３（ｉ，ｔ）およびヒストグラムＨ４（ｉ，ｔ）のそれぞれが算出される。   Next, the space (detection region E) in which the human position can be detected by the LRF 12 is formed into a spatial grid of 25 cm square. Here, the monitoring device 10 reads the position information Pn (t) recorded in the position information DB 20 to totalize the number of occurrences of local actions in the space grid i in the space grid i at a certain time t. Can do. As a result of the aggregation, histograms H1 (i, t) and H2 (i, t) corresponding to the local actions of “walking busy”, “walking slowly”, “walking”, and “stopping”, respectively. Histogram H3 (i, t) and histogram H4 (i, t) are calculated.

たとえば、検出領域Ｅが図６（Ａ）に示す地図に対応する場所（本実施例ではショッピングモール）に含まれる場合に、短時間の集計によって得られたヒストグラムに基づき、局所行動を空間グリッドｉ毎に視覚化すると図６（Ｂ）に示す局所行動地図のようになる。図６（Ｂ）を参照して、局所行動が検出された空間グリッドｉには、検出された局所行動に対応する色が彩色され、局所行動が検出されていない空間グリッドｉは何も彩色されない。たとえば、青色（図６（Ｂ）では、濃い右斜線で示す）に彩色された空間グリッドｉは局所行動が「忙しく歩く」を示し、緑色（図６（Ｂ）では、濃い左斜線で示す）に彩色された空間グリッドｉは局所行動が「ゆっくり歩く」を示し、桃色（図６（Ｂ）では、薄い右斜線で示す）に彩色された空間グリッドｉは局所行動が「うろうろする」を示し、茶色（図６（Ｂ）では、網掛けで示す）に彩色された空間グリッドｉは、局所行動が「止まっている」を示す。なお、図６（Ａ）の地図に示される「案内図」と「店舗」とは、図６（Ｂ）、後述する図７（Ａ）、図７（Ｂ）および図８（Ａ）、図８（Ｂ）では省略する。   For example, when the detection region E is included in a place corresponding to the map shown in FIG. 6A (a shopping mall in this embodiment), the local action is represented by the spatial grid i based on the histogram obtained by the short-time aggregation. When visualized every time, it becomes like a local action map shown in FIG. With reference to FIG. 6B, the color corresponding to the detected local behavior is colored in the spatial grid i in which the local behavior is detected, and nothing is colored in the spatial grid i in which the local behavior is not detected. . For example, a spatial grid i colored blue (indicated by a dark right diagonal line in FIG. 6B) indicates that the local action is “walking busy” and green (indicated by a dark left diagonal line in FIG. 6B). The spatial grid i colored in the color indicates that the local action is “slow walking”, and the spatial grid i colored in pink (indicated by a thin right diagonal line in FIG. 6B) indicates that the local action is “walk around”. The spatial grid i colored brown (shown by shading in FIG. 6B) indicates that the local action is “stopped”. The “guide map” and “store” shown in the map of FIG. 6A are the same as FIG. 6B, FIG. 7A, FIG. 7B, FIG. 8A, and FIG. It is omitted in 8 (B).

そして、本実施例では、全ての空間グリッドｉに対して４種類の局所行動のヒストグラムを算出した後に、類似する空間グリッドを周知のＩＳＯＤＡＴＡ法によりクラスタリングし、クラスタリング地図を作成する。具体的には、ヒストグラムＨ１−Ｈ４から空間グリッドｉと隣接する空間グリッドｊの類似度をそれぞれ算出し、類似度が近い空間グリッドｉと隣接する空間グリッドｊとを併合して空間パーティション（エリア）を作成する。また、空間グリッドｉと隣接する空間グリッドｊの類似度は数２に示す式から算出される。   In this embodiment, after calculating four types of local action histograms for all the spatial grids i, similar spatial grids are clustered by a well-known ISODATA method to create a clustering map. Specifically, the similarity between the spatial grid i and the adjacent spatial grid j is calculated from the histograms H1 to H4, and the spatial grid i with the similar similarity and the adjacent spatial grid j are merged to form a spatial partition (area). Create The similarity between the spatial grid i and the adjacent spatial grid j is calculated from the equation shown in Equation 2.

たとえば、図７（Ａ）を参照して、時間Ｓ１（時刻ｔ１、時刻ｔ２、時刻ｔ３，…）分の位置情報Ｐｎ（ｔ）を位置情報ＤＢ２０から読み出し、各空間グリッドをクラスタリングすると、図７（Ｂ）に示すクラスタリング地図が作成される。なお、図７（Ａ）では、読み出された位置情報Ｐｎ（ｔ）を局所行動地図として表わす。   For example, referring to FIG. 7A, when position information Pn (t) for time S1 (time t1, time t2, time t3,...) Is read from the position information DB 20 and each spatial grid is clustered, FIG. A clustering map shown in (B) is created. In FIG. 7A, the read position information Pn (t) is represented as a local action map.

図７（Ｂ）を参照して、時間Ｓ１分の位置情報Ｐｎ（ｔ）に基づいて作成されたクラスタリング地図では、青色のエリアは「忙しく歩く」の局所行動を属性として持っており、この青色のエリアでは人々が早歩きで歩き去る。たとえば、この青色のエリアは通路などに多く設定されている。緑色のエリアは「ゆっくり歩く」の局所行動を属性として持っており、この緑色のエリアでは人々はゆっくり歩く。たとえば、緑色のエリアは店舗の前に比較的近い処や、案内図の前などに設定されている。桃色のエリアは「うろうろする」の局所行動を属性として持っており、この桃色のエリアでは人々はうろうろする。たとえば、この桃色のエリアは店舗の前に設定されている。茶色のエリアは「止まっている」の局所行動を属性として持っており、この茶色のエリアでは人々は立ち止まっている。たとえば、この茶色のエリアはベンチ（図示せず）の周辺や、店舗の前の一部に設定されている。   Referring to FIG. 7B, in the clustering map created based on the position information Pn (t) for time S1, the blue area has the local action “walking busy” as an attribute. In the area, people walk away quickly. For example, many of these blue areas are set for passages. The green area has the local action of “walk slowly” as an attribute, and people walk slowly in this green area. For example, the green area is set in a place relatively close to the store or in front of the guide map. The pink area has the local behavior of “walking” as an attribute, and people roam in this pink area. For example, this pink area is set in front of a store. The brown area has “stop” local behavior as an attribute, and people stop in this brown area. For example, this brown area is set around a bench (not shown) or in front of a store.

また、図７（Ｂ）に示す時間Ｓ１、時間Ｓ２および時間Ｓ３は、同じ時間幅（１時間）ではあるが、時刻が異なる。たとえば、時間Ｓ１は１４時から１５時までの１時間であり、時間Ｓ２は１５時から１６時までの１時間であり、時間Ｓ３は１６時から１７時までの１時間である。   Further, the time S1, the time S2, and the time S3 shown in FIG. 7B have the same time width (1 hour), but are different in time. For example, time S1 is one hour from 14:00 to 15:00, time S2 is one hour from 15:00 to 16:00, and time S3 is one hour from 16:00 to 17:00.

なお、地図ＤＢ２２には、約２週間分のクラスタリング地図が記録される。また、地図ＤＢ２２に記憶されるクラスタリング地図には、各空間グリッドのヒストグラムＨ１−Ｈ４も併せて記憶され、さらにクラスタリング地図が作成された時刻などの時間情報が付加される。   Note that a clustering map for about two weeks is recorded in the map DB 22. The clustering map stored in the map DB 22 also stores the histograms H1-H4 of each spatial grid, and further adds time information such as the time when the clustering map is created.

ここで、本実施例では、過去の同じ曜日の同じ時刻に記録されたクラスタリング地図と、現在のクラスタリング地図とを比較することで、ショッピングモール内の異常を検出する。   Here, in the present embodiment, an abnormality in the shopping mall is detected by comparing the clustering map recorded at the same time on the same day in the past with the current clustering map.

具体的には、監視装置１０は、現在時刻から過去１０分間（第２所定時間）の位置情報Ｐｎ（ｔ）を読み出し、クラスタリング地図を作成する。さらに、監視装置１０は、同じ時刻を含み１週間前に作成された過去のクラスタリング地図を読み出す。監視装置１０は、読み出した過去のクラスタリング地図（第１地図）と作成した現在のクラスタリング地図（第２地図）において、空間グリッドｉ毎にヒストグラムＨ１−Ｈ４の差分Ｄｉｆｆを算出し、その差分が閾値（所定値）ｔｈ以上であるか否かを判断する。そして、差分Ｄｉｆｆが閾値ｔｈ以上である場合に、ＬＣＤ２４に異常報知画像を表示させる。また、差分Ｄｉｆｆは、数３に示す式によって算出される。なお、数３では、現在のクラスタリング地図におけるヒストグラムをヒストグラムＨＮとし、過去のクラスタリング地図におけるヒストグラムをヒストグラムＨＰとする。   Specifically, the monitoring device 10 reads position information Pn (t) for the past 10 minutes (second predetermined time) from the current time, and creates a clustering map. Furthermore, the monitoring device 10 reads a past clustering map created one week ago including the same time. The monitoring apparatus 10 calculates the difference Diff of the histogram H1-H4 for each spatial grid i in the read past clustering map (first map) and the created current clustering map (second map), and the difference is a threshold value. It is determined whether or not (predetermined value) th or more. When the difference Diff is equal to or greater than the threshold th, an abnormality notification image is displayed on the LCD 24. Further, the difference Diff is calculated by the equation shown in Equation 3. In Equation 3, the histogram in the current clustering map is set as the histogram HN, and the histogram in the past clustering map is set as the histogram HP.

図８（Ａ）および図８（Ｂ）は、過去のクラスタリング地図および現在のクラスタリング地図である。たとえば、図８（Ａ）に示す過去のクラスタリング地図は、２月２０日（金）の１３時から１４時までの１時間の位置情報Ｐｎ（ｔ）から作成されたクラスタリング地図であり、地図ＤＢ２２から読み出される。一方、図８（Ｂ）現在のクラスタリング地図は、２月２７日（金）の１３時１０分から過去１０分間の位置情報Ｐｎ（ｔ）から作成されたクラスタリング地図である。   8A and 8B are a past clustering map and a current clustering map. For example, the past clustering map shown in FIG. 8A is a clustering map created from the positional information Pn (t) for one hour from 13:00 to 14:00 on Friday, February 20, and the map DB 22 Read from. On the other hand, the current clustering map in FIG. 8B is a clustering map created from position information Pn (t) for the past 10 minutes from 13:10 on Friday, February 27.

ここで、過去のクラスタリング地図におけるエリアＧ１と現在のクラスタリング地図におけるエリアＧ１’とは同じ属性ではあるが、エリアの形状が異なる。つまり、エリアＧ１’は「止まっている」の属性を持つエリアＢＲを囲っているが、エリアＧ１は、エリアＢＲを囲っていない。そのため、図８（Ｂ）に示すエリアＢＲを構成する空間グリッドの差分Ｄｉｆｆは閾値ｔｈ以上の値となり、図９に示す異常報知画像が操作画面２００内に表示される。   Here, the area G1 in the past clustering map and the area G1 'in the current clustering map have the same attributes, but the shapes of the areas are different. That is, the area G1 'surrounds the area BR having the attribute "stopped", but the area G1 does not surround the area BR. Therefore, the difference Diff of the spatial grids forming the area BR shown in FIG. 8B becomes a value equal to or larger than the threshold th, and the abnormality notification image shown in FIG. 9 is displayed in the operation screen 200.

なお、閾値ｔｈは、各ヒストグラムＨ１−Ｈ４の標準偏差に基づいて算出される。また、差分Ｄｉｆｆは、空間グリッド毎に算出したが、エリア毎に算出してもよく、この場合は、エリアを構成する全ての空間グリッドの差分の総和を算出し、その総和を差分Ｄｉｆｆとする。   The threshold th is calculated based on the standard deviation of each histogram H1-H4. Further, the difference Diff is calculated for each spatial grid, but may be calculated for each area. In this case, the sum of the differences of all the spatial grids constituting the area is calculated, and the sum is used as the difference Diff. .

図９を参照して、ＬＣＤ２４に表示される操作画面２００には、時刻表示２０２、異常表示２０４および地図表示２０６が含まれる。時刻表示２０２はＣＰＵ１６が含むＲＴＣが出力する現在日時であり、たとえば「２００９年 ２月２７日（金） １３時１０分」と表示される。異常表示２０４は、異常が検出されたときに、異常を検出したことを報知する文字列を表示し、たとえば「異常発生」の文字列が表示される。なお、異常表示２０４は、異常を検出しない場合には何も表示されない。   Referring to FIG. 9, operation screen 200 displayed on LCD 24 includes a time display 202, an abnormality display 204, and a map display 206. The time display 202 is the current date and time output by the RTC included in the CPU 16, and for example, “February 27, 2009 (Friday) 13:10” is displayed. The abnormality display 204 displays a character string notifying that an abnormality has been detected when an abnormality is detected. For example, a character string “abnormality occurrence” is displayed. The abnormality display 204 is not displayed when no abnormality is detected.

そして、地図表示２０６は、たとえば図８（Ｂ）に示すようなクラスタリング地図が表示される。また、異常を検出した状態では、表示されるクラスタリング地図に、異常を検出したエリアが異常エリアＡＥとして示され、エリアの境界線が太線で表示される。たとえば、図９では、図８（Ｂ）で示したエリアＢＲが異常エリアＡＥとして表示される。   The map display 206 displays a clustering map as shown in FIG. 8B, for example. In the state where an abnormality is detected, the area where the abnormality is detected is indicated as an abnormal area AE on the displayed clustering map, and the boundary line of the area is displayed as a bold line. For example, in FIG. 9, the area BR shown in FIG. 8B is displayed as the abnormal area AE.

たとえば、「止まっている」の属性を持つエリアが異常エリアＡＥである場合には、そのエリア内で人が倒れている場合や、歩行者同士での喧嘩が起きていると推測される。また、「忙しく歩く」の属性を持つエリアが異常エリアＡＥである場合には、不審物が発見されたり、不審者による騒動が起きたりして、歩行者が逃げていることが推測される。また、「うろうろする」の属性を持つエリアが異常エリアＡＥである場合には、迷子が居ると推測される。   For example, when an area having the attribute of “stopped” is an abnormal area AE, it is estimated that a person has fallen in the area or that a fight between pedestrians is occurring. In addition, when the area having the attribute “busy walking” is the abnormal area AE, it is estimated that a suspicious object has been found or a suspicious person has caused a disturbance to cause a pedestrian to escape. In addition, when the area having the “walk around” attribute is the abnormal area AE, it is estimated that there is a lost child.

このように、管理者は、異常エリアＡＥの属性を見ることで、どのような異常であるかを推測することが可能になる。また、管理者は、複数のカメラによる複数の画面ではなく、１つの画面に表示される異常表示２０４および地図表示２０６を参照することで、大局的な監視を容易に行うことができるようになる。   In this manner, the administrator can estimate what kind of abnormality is occurring by looking at the attributes of the abnormal area AE. Further, the administrator can easily perform global monitoring by referring to the abnormality display 204 and the map display 206 displayed on one screen instead of a plurality of screens by a plurality of cameras. .

図１０は、図２に示すメモリ１８のメモリマップ３００の一例を示す図解図である。図１０に示すように、メモリ１８はプログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、位置情報記録プログラム３１２、地図記録プログラム３１４および監視プログラム３１６が記憶される。   FIG. 10 is an illustrative view showing one example of a memory map 300 of the memory 18 shown in FIG. As shown in FIG. 10, the memory 18 includes a program storage area 302 and a data storage area 304. The program storage area 302 stores a location information recording program 312, a map recording program 314, and a monitoring program 316.

位置情報記録プログラム３１２は、たとえばショッピングモール内に居る人間の位置情報Ｐｎ（ｔ）を逐次記録するためのプログラムである。地図記録プログラム３１４は、第１所定時間（たとえば１時間）毎にクラスタリング地図を作成し、地図ＤＢ２２に蓄積するプログラムである。監視プログラム３１６は、第２所定時間（たとえば、１０分）毎にクラスタリング地図を作成することで、監視する場所の異常を検出するプログラムである。   The position information recording program 312 is a program for sequentially recording position information Pn (t) of a person in a shopping mall, for example. The map recording program 314 is a program that creates a clustering map every first predetermined time (for example, one hour) and accumulates it in the map DB 22. The monitoring program 316 is a program that detects an abnormality in a monitored location by creating a clustering map every second predetermined time (for example, 10 minutes).

なお、図示は省略するが、監視装置１０を動作させるためのプログラムは、操作画面２００を表示するためのプログラムなどを含む。   Although illustration is omitted, the program for operating the monitoring device 10 includes a program for displaying the operation screen 200 and the like.

また、データ記憶領域３０４には、表示画像バッファ３３０が設けられると共に、ＧＵＩデータ３３２および地図データ３３４が記録される。表示画像バッファ３３０は、ＬＣＤ２４に表示するクラスタリング地図のデータを一時的に記録するためのバッファである。ＧＵＩデータ３３２は、操作画面２００を表示するための画像データなどである。地図データ３３４は、クラスタリング地図を作成する際に元になる地図のデータであり、たとえば図６（Ａ）に示す地図である。   In the data storage area 304, a display image buffer 330 is provided, and GUI data 332 and map data 334 are recorded. The display image buffer 330 is a buffer for temporarily recording clustering map data to be displayed on the LCD 24. The GUI data 332 is image data for displaying the operation screen 200. The map data 334 is map data that is the basis for creating a clustering map, and is, for example, the map shown in FIG.

なお、図示は省略するが、データ記憶領域３０４には、様々な計算の結果を一時的に格納するバッファや、１時間を計測するカウンタおよび１０分を計測するカウンタなどが設けられると共に、監視装置１０の動作に必要な他のカウンタやフラグも設けられる。   Although not shown, the data storage area 304 is provided with a buffer for temporarily storing various calculation results, a counter for measuring one hour, a counter for measuring 10 minutes, and the like. Other counters and flags necessary for the ten operations are also provided.

具体的には、監視装置１０のＣＰＵ１６は、図１１、図１２および図１３に示す処理を含む、複数の処理を並列的に実行する。   Specifically, the CPU 16 of the monitoring device 10 executes a plurality of processes in parallel including the processes shown in FIGS. 11, 12, and 13.

図１１に示すように、監視装置１０のＣＰＵ１６は、位置情報記録処理を実行すると、ステップＳ１では、現在時刻を記録する。つまり、ＣＰＵ１６が含むＲＴＣから得られる現在時刻を記録する。続いて、ステップＳ３では、各人間の位置情報Ｐｎ（ｔ）を取得する。つまり、ＬＲＦ１２によって検出される、人間の位置および局所行動を記録する。続いて、ステップＳ５では、現在位置と位置情報Ｐｎ（Ｔ）とを位置情報ＤＢ２０に記録し、ステップＳ１に戻る。つまり、位置情報Ｐｎ（Ｔ）と、その位置情報Ｐｎ（ｔ）を検出した現在時刻とを対応付けて、位置情報ＤＢ２０に記録する。なお、ステップＳ３の処理を実行するＣＰＵ１６は検出手段として機能する。   As shown in FIG. 11, when the CPU 16 of the monitoring device 10 executes the position information recording process, the current time is recorded in step S1. That is, the current time obtained from the RTC included in the CPU 16 is recorded. Subsequently, in step S3, position information Pn (t) of each person is acquired. That is, the human position and local behavior detected by the LRF 12 are recorded. Subsequently, in step S5, the current position and the position information Pn (T) are recorded in the position information DB 20, and the process returns to step S1. That is, the position information Pn (T) and the current time when the position information Pn (t) is detected are associated with each other and recorded in the position information DB 20. In addition, CPU16 which performs the process of step S3 functions as a detection means.

図１２は、地図記録処理のフロー図である。図１２に示すように、ＣＰＵ１６は、ステップＳ１１では所定時間が経過したか否かを判断する。つまり、前回のクラスタリング地図を作成してから、第１所定時間である１時間が経過したか否かを判断する。ステップＳ１１で“ＮＯ”であれば、つまり１時間が経過していなければ、ステップＳ１１の処理を繰り返し実行する。一方、ステップＳ１１で“ＹＥＳ”であれば、つまり前回のクラスタリング地図を作成してから１時間が経過していれば、ステップＳ１３で所定時間分の位置情報Ｐｎ（ｔ）を読み出す。つまり、１時間分の位置情報Ｐｎ（ｔ）を位置情報ＤＢ２０から読み出す。   FIG. 12 is a flowchart of the map recording process. As shown in FIG. 12, the CPU 16 determines whether or not a predetermined time has elapsed in step S11. That is, it is determined whether or not one hour which is the first predetermined time has elapsed since the previous clustering map was created. If “NO” in the step S11, that is, if one hour has not elapsed, the process of the step S11 is repeatedly executed. On the other hand, if “YES” in the step S11, that is, if one hour has elapsed since the creation of the previous clustering map, the position information Pn (t) for a predetermined time is read in a step S13. That is, the position information Pn (t) for one hour is read from the position information DB 20.

続いて、ステップＳ１５では、読み出された位置情報Ｐｎ（ｔ）に基づいてＭ個（空間グリッドの総数）の空間グリッドを含むクラスタリング地図を作成する。たとえば、１３時から１４時までの１時間分の位置情報Ｐｎ（ｔ）を読み出し、Ｍ個を含むクラスタリング地図を作成する。続いて、ステップＳ１７では、作成したクラスタリング地図を地図ＤＢ２２に記録し、ステップＳ１１に戻る。つまり、ステップＳ１５で作成されたクラスタリング地図を地図ＤＢ２２に記録する。   Subsequently, in step S15, a clustering map including M (total number of spatial grids) spatial grids is created based on the read position information Pn (t). For example, position information Pn (t) for one hour from 13:00 to 14:00 is read, and a clustering map including M pieces is created. Subsequently, in step S17, the created clustering map is recorded in the map DB 22, and the process returns to step S11. That is, the clustering map created in step S15 is recorded in the map DB 22.

なお、ステップ１７の処理が終了すると、第１所定時間である１時間を計測するカウンタを初期化（リセット）する。また、ステップＳ１５の処理を実行するＣＰＵ１６は第１地図作成手段として機能する。   When the process of step 17 is completed, a counter that measures one hour which is the first predetermined time is initialized (reset). Moreover, CPU16 which performs the process of step S15 functions as a 1st map preparation means.

図１３は、監視処理のフロー図である。図１３で示すように、ＣＰＵ１６は、ステップＳ３１では、終了操作か否かを判断する。たとえば、入力装置２６に対して、遠隔操作処理を終了する操作がされたか否かを判断する。ステップＳ３１で“ＹＥＳ”であれば、つまり終了操作がされれば、遠隔操作処理を終了する。一方、ステップＳ３１で“ＮＯ”であば、つまり終了操作がされていなければ、ステップＳ３３で第２所定時間である１０分間の位置情報Ｐｎ（ｔ）を読み出す。つまり、現在時刻から過去１０分間の位置情報Ｐｎ（ｔ）を読み出す。続いて、ステップＳ３５では、読み出された位置情報Ｐｎ（ｔ）に基づいて、Ｍ個の空間グリッドを含むクラスタリング地図を作成する。つまり、過去１０分間の位置情報から、Ｍ個の空間グリッドを含むクラスタリング地図を作成する。なお、ステップＳ３５の処理を実行するＣＰＵ１６は、第２地図作成手段として機能する。   FIG. 13 is a flowchart of the monitoring process. As shown in FIG. 13, in step S31, the CPU 16 determines whether or not it is an end operation. For example, it is determined whether or not the input device 26 has been operated to end the remote operation process. If “YES” in the step S31, that is, if an end operation is performed, the remote operation processing is ended. On the other hand, if “NO” in the step S31, that is, if the end operation is not performed, the position information Pn (t) for 10 minutes which is the second predetermined time is read in a step S33. That is, the position information Pn (t) for the past 10 minutes from the current time is read. Subsequently, in step S35, a clustering map including M spatial grids is created based on the read position information Pn (t). That is, a clustering map including M spatial grids is created from position information for the past 10 minutes. In addition, CPU16 which performs the process of step S35 functions as a 2nd map creation means.

続いて、ステップＳ３７では、地図ＤＢ２２からクラスタリング地図を読み出す。つまり、１週間前の日付で、同じ時刻を含むクラスタリング地図を読み出す。たとえば、現在時刻が２月２７日の１３時１０分であれば、２月２０日の１３時から１４時までの位置情報Ｐｎ（ｔ）から作成したクラスタリング地図を読み出す。   Subsequently, in step S37, a clustering map is read from the map DB 22. That is, the clustering map including the same time is read out on the date one week before. For example, if the current time is 13:10 on February 27, the clustering map created from the position information Pn (t) from 13:00 to 14:00 on February 20 is read out.

続いて、ステップＳ３９では、変数ｉを初期化する。つまり、任意の空間グリッドを指定するための変数ｉの値を１とする。続いてステップＳ４１では、変数ｉが総数Ｍより大きいか否かを判断する。つまり、クラスタリング地図に含まれる空間グリッド全てに対して、差分Ｄｉｆｆが算出されたか否かを判断する。ステップＳ４１で“ＹＥＳ”であれば、つまり全ての空間グリッドに対して差分Ｄｉｆｆが算出されていれば、ステップＳ３１に戻る。一方、ステップＳ４１で“ＮＯ”であれば、つまり全ての空間グリッドに対して差分Ｄｉｆｆが算出されていなければ、ステップＳ４３で空間グリッドｉにおける局所行動のヒストグラムの差分Ｄｉｆｆを算出する。つまり、上述した数３に示す式に基づいて差分Ｄｉｆｆを算出する。なお、ステップＳ４３の処理を実行するＣＰＵ１６は、算出手段として機能する。   Subsequently, in step S39, the variable i is initialized. That is, the value of the variable i for designating an arbitrary spatial grid is set to 1. Subsequently, in step S41, it is determined whether or not the variable i is larger than the total number M. That is, it is determined whether or not the difference Diff has been calculated for all the spatial grids included in the clustering map. If “YES” in the step S41, that is, if the difference Diff is calculated for all the spatial grids, the process returns to the step S31. On the other hand, if “NO” in the step S41, that is, if the difference Diff has not been calculated for all the spatial grids, the difference Diff of the local action histogram in the spatial grid i is calculated in a step S43. That is, the difference Diff is calculated based on the above-described equation (3). In addition, CPU16 which performs the process of step S43 functions as a calculation means.

続いて、ステップＳ４５では差分Ｄｉｆｆは閾値ｔｈより大きいか否かを判断する。つまり、ステップＳ４３で算出された空間グリッドｉにおける差分Ｄｉｆｆが閾値ｔｈよりも大きいか否かを判断する。これにより、空間グリッドｉで異常が発生しているか否かが判断される。ステップＳ４５で“ＮＯ”であれば、つまり空間グリッドｉ内で異常が検出されなければ、ステップＳ４９に進む。一方、ステップＳ４５で“ＹＥＳ”であれば、つまり空間グリッドｉで異常が検出されれば、ステップＳ４７で警告をＬＣＤ２４に表示する。たとえば、図９に示すように、異常表示２０４には「異常発生」の文字列が表示され、さらに地図表示２０６内には異常エリアＡＥが表示される。なお、ステップＳ４７の処理を実行するＣＰＵ１６は通知手段として機能する。続いて、ステップＳ４９では、変数ｉをインクリメントし、ステップＳ４１に戻る。つまり、次の空間グリッドを指定するために変数ｉをインクリメントする。   Subsequently, in step S45, it is determined whether or not the difference Diff is larger than a threshold value th. That is, it is determined whether or not the difference Diff in the spatial grid i calculated in step S43 is larger than the threshold th. Thereby, it is determined whether or not an abnormality has occurred in the spatial grid i. If “NO” in the step S45, that is, if no abnormality is detected in the spatial grid i, the process proceeds to a step S49. On the other hand, if “YES” in the step S45, that is, if an abnormality is detected in the spatial grid i, a warning is displayed on the LCD 24 in a step S47. For example, as shown in FIG. 9, a character string “abnormality occurrence” is displayed in the abnormality display 204, and an abnormality area AE is displayed in the map display 206. The CPU 16 that executes the process of step S47 functions as a notification unit. Subsequently, in step S49, the variable i is incremented, and the process returns to step S41. That is, the variable i is incremented to designate the next spatial grid.

なお、ステップＳ４７の処理による通知は、ＬＣＤ２４に異常報知画像を表示するだけでなく、スピーカによる音声や、ＬＥＤなどによる光などによって異常を通知するようにしてもよい。   The notification by the process of step S47 may not only display the abnormality notification image on the LCD 24 but also notify the abnormality by sound from a speaker, light from an LED, or the like.

また、遠隔操作される自立型ロボットを備える監視装置であれば、その自立型ロボットに異常を通知してもよい。さらに、異常の通知を受けた自律型ロボットが異常エリアＡＥに向かうようにしてもよい。そして、ネットワークによるデータ通信が可能な管理装置であれば、ネットワークを経由して、携帯電話などの小型端末に異常を通知するようにしてもよい。   Further, if the monitoring device includes a remotely operated autonomous robot, the abnormality may be notified to the autonomous robot. Further, the autonomous robot that has received the notification of abnormality may be directed to the abnormality area AE. And if it is a management apparatus which can perform the data communication by a network, you may make it notify abnormality to small terminals, such as a mobile telephone, via a network.

さらに、監視装置１０は、ＬＲＦ１２が設置される場所に設置される監視カメラを備えていてもよく、異常が検出されると、異常が検出されたエリアの画像をＬＣＤ２４に表示するようにしてもよい。   Furthermore, the monitoring apparatus 10 may include a monitoring camera installed at a place where the LRF 12 is installed, and when an abnormality is detected, an image of the area where the abnormality is detected is displayed on the LCD 24. Good.

この実施例によれば、監視装置１０は、複数の人間が任意に行動するショッピングモールなどに設置されるＬＲＦ１２を備える。このショッピングモール内に居る人間は、ＬＲＦ１２を利用して局所行動が検出され、位置情報ＤＢ２０に蓄積される。監視装置１０は、１時間毎に位置情報ＤＢ２０から局所行動を読み出し、クラスタリング地図を作成して、地図ＤＢ２２に蓄積する。また、監視装置１０は、１０分毎に局所行動を読み出し、さらにクラスタリング地図を作成する。そして、監視装置１０は、異なる日付で、同じ時刻の局所行動を含むクラスタリング地図を地図ＤＢ２２から読み出し、作成したクラスタリング地図に含まれる空間グリッド毎にヒストグラムの差分Ｄｉｆｆを算出して、その差分Ｄｉｆｆが閾値ｔｈ以上であれば異常を通知する。   According to this embodiment, the monitoring device 10 includes an LRF 12 installed in a shopping mall or the like in which a plurality of persons act arbitrarily. A human being in the shopping mall detects local behavior using the LRF 12 and accumulates it in the position information DB 20. The monitoring device 10 reads local actions from the position information DB 20 every hour, creates a clustering map, and stores the clustered map in the map DB 22. Moreover, the monitoring apparatus 10 reads a local action every 10 minutes, and also creates a clustering map. And the monitoring apparatus 10 reads the clustering map containing the local action of the same time on different dates from map DB22, calculates the difference Diff of a histogram for every spatial grid contained in the created clustering map, and the difference Diff is If it is equal to or greater than the threshold th, an abnormality is notified.

このように、監視装置１０は、異なる日付で、同じ時刻に検出される局所行動を表わす２つのクラスタリング地図を比較することで異常を通知する。これにより、管理者は、ショッピングモール内を大局的に監視できるようになる。   As described above, the monitoring device 10 notifies the abnormality by comparing two clustering maps representing local actions detected at the same time on different dates. As a result, the manager can globally monitor the shopping mall.

また、管理者は、閾値ｔｈを任意に変更することで、監視装置１０が異常を通知する頻度を調節できるようになる。   Further, the administrator can adjust the frequency with which the monitoring apparatus 10 notifies the abnormality by arbitrarily changing the threshold th.

なお、地図ＤＢ２２から読み出される過去のクラスタリング地図は、１週間前だけに限らず、１日前や１ヵ月前のクラスタリング地図でもよいし、平日や休日のラベルが付与されたクラスタリング地図であってもよい。   The past clustering map read from the map DB 22 is not limited to one week ago, but may be a clustering map one day or one month ago, or a clustering map with weekday or holiday labels. .

また、人間の位置を検出するためにＬＲＦ１２を用いたが、ＬＲＦ１２に代えて超音波距離センサやミリ波レーダなどを用いて、人間の位置を検出してもよい。   Further, although the LRF 12 is used to detect the human position, the human position may be detected using an ultrasonic distance sensor, a millimeter wave radar, or the like instead of the LRF 12.

１０ …遠隔操作装置
１２ａ−１２ｆ …ＬＲＦ
１６ …ＣＰＵ
１８ …メモリ
２０ …位置情報ＤＢ
２２ …地図ＤＢ
２４ …ＬＣＤ 10 ... Remote control device 12a-12f ... LRF
16 ... CPU
18 ... Memory 20 ... Position information DB
22 Map DB
24 ... LCD

Claims (5)

複数の人間が任意に行動する場所を監視する監視装置であって、
前記場所における前記複数の人間それぞれの局所行動を検出する検出手段、
前記検出手段によって検出された第１所定時間分の局所行動をクラスタリングした複数のエリアを含む第１地図を作成する第１地図作成手段、
前記検出手段によって検出された第２所定時間分の局所行動をクラスタリングした複数のエリアを含む第２地図を作成する第２地図作成手段、および
前記第１地図と前記第２地図との対応するエリアを比較することで異常を異常検出する検出手段を備える、監視装置。 A monitoring device for monitoring a place where a plurality of humans act arbitrarily,
Detecting means for detecting local behavior of each of the plurality of humans in the place;
First map creating means for creating a first map including a plurality of areas obtained by clustering local actions for a first predetermined time detected by the detecting means;
Second map creating means for creating a second map including a plurality of areas obtained by clustering local actions for a second predetermined time detected by the detecting means, and corresponding to the first map and the second map A monitoring device comprising detection means for detecting an abnormality by comparing areas. 前記第１地図および前記第２地図のエリアには、局所行動の生起回数を示すヒストグラムが対応付けられた空間グリッドが含まれ、The areas of the first map and the second map include a spatial grid associated with a histogram indicating the number of occurrences of local behavior,
前記検出手段は、前記第１地図の空間グリッドと前記第２地図の空間グリッドとのヒストグラムを比較することで異常を検出する、請求項１記載の監視装置。The monitoring device according to claim 1, wherein the detection unit detects an abnormality by comparing histograms of a spatial grid of the first map and a spatial grid of the second map. 前記第１地図と前記第２地図との対応する空間グリッドのヒストグラムの差分を算出する算出手段をさらに備え、
前記検出手段は、前記算出手段によって算出された差分が所定値以上であるときに異常を検出する、請求項２記載の監視装置。 A calculation means for calculating a difference between histograms of corresponding spatial grids of the first map and the second map ;
Said detecting means, the difference calculated by said calculating means detects an abnormality when a predetermined value or more, the monitoring apparatus of claim 2 wherein. 前記検出手段によって異常が検出されたとき、検出された異常を通知する通知手段をさらに備える、請求項１ないし３のいずれかに記載の監視装置。The monitoring apparatus according to claim 1, further comprising notification means for notifying the detected abnormality when an abnormality is detected by the detection means. 画像を表示可能な表示装置をさらに備え、
前記通知手段は、前記表示装置に異常報知画像を表示することで異常を通知する、請求項４記載の監視装置。 A display device capable of displaying images;
The monitoring device according to claim 4 , wherein the notification means notifies the abnormality by displaying an abnormality notification image on the display device.

Images