JP2023081062A - Extraction program, extraction method and information processing device - Google Patents

Abstract

To provide an extraction program, an extraction method and an information processing device for accurately setting a target area to be an object of behavior analysis.SOLUTION: An information processing device generates skeleton information of a person from image data obtained by photographing the inside of a room, specifies the body orientation of the person moving in a passage area in the room on the basis of the generated skeleton information of the person, and extracts from the passage area a target area to be a behavior analysis object of the person in which the specified body orientation of the person is different from a reference direction set in the passage area.SELECTED DRAWING: Figure 5

Description

本発明は、抽出プログラム、抽出方法および情報処理装置に関する。 The present invention relates to an extraction program, an extraction method, and an information processing apparatus.

カメラで撮像された映像データから人の行動を分析する技術開発が進められている。例えば、映像データに含まれる各画像データから、購買行動を起こしやすい領域である注目領域を抽出し、注目領域において腕を一定の位置まで上げる動作をピッキング動作として検出することで、購買行動を分析する。近年では、注目領域の検出手法として、各画像データに対して、人手による注目領域の設定やセマンティックセグメンテーションを用いた注目領域の設定が利用されている。 Techniques for analyzing human behavior from video data captured by cameras are being developed. For example, from each image data included in the video data, we extract the attention area, which is the area where purchasing behavior is likely to occur, and detect the movement of raising the arm to a certain position in the attention area as a picking motion, thereby analyzing the purchase behavior. do. In recent years, as an attention area detection method, manual attention area setting and attention area setting using semantic segmentation are used for each image data.

特開２０１２－１７３９０３号公報JP 2012-173903 A 特開２０１３－５０９４５号公報JP 2013-50945 A

しかしながら、上記技術では、注目領域を正確に設定することが難しい。例えば、人手による手法では、膨大な画像データに対して注目領域を設定することになり、時間がかかるだけでなく、人為的なミスを防ぐことが難しい。また、セマンティックセグメンテーションを用いた手法では、店舗内で消費者が歩く通路全体が注目領域に設定されてしまう。このため、不要なピッキング動作が検出されてしまい、行動分析の精度が劣化する。 However, with the above technique, it is difficult to accurately set the attention area. For example, in a manual method, an attention area is set for a huge amount of image data, which not only takes time but also makes it difficult to prevent human error. In addition, in the method using semantic segmentation, the entire aisle that the consumer walks in the store is set as the region of interest. As a result, an unnecessary picking action is detected, degrading the accuracy of behavior analysis.

一つの側面では、行動分析の対象となる注目領域を正確に設定することができる抽出プログラム、抽出方法および情報処理装置を提供することを目的とする。 An object of one aspect of the present invention is to provide an extraction program, an extraction method, and an information processing apparatus capable of accurately setting an attention area to be subjected to behavior analysis.

第１の案では、抽出プログラムは、コンピュータに、室内を撮影した画像データから人物の骨格情報を生成し、生成された前記人物の骨格情報に基づいて、前記室内の通路領域を移動する人物の身体の向きを特定し、前記通路領域から、特定された前記人物の身体の向きと前記通路領域に設定された基準方向とが異なる、前記人物の行動分析の対象とする注目領域を抽出する、処理を実行させることを特徴とする。 In the first scheme, the extraction program causes the computer to generate skeleton information of a person from image data of the interior of the room, and based on the generated skeleton information of the person, an image of the person moving through the passage area in the room. Identifying the orientation of the body, and extracting from the passage area an attention area targeted for behavior analysis of the person in which the identified orientation of the person's body is different from a reference direction set in the passage area; It is characterized by executing processing.

一実施形態によれば、行動分析の対象となる注目領域を正確に設定することができる。 According to one embodiment, it is possible to accurately set an attention area to be subjected to behavior analysis.

図１は、実施例１にかかる情報処理装置を含むシステムの全体構成を説明する図である。FIG. 1 is a diagram illustrating the overall configuration of a system including an information processing apparatus according to a first embodiment; 図２は、実施例１にかかる認識対象の行動を説明する図である。FIG. 2 is a diagram for explaining behavior of a recognition target according to the first embodiment; 図３は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。FIG. 3 is a diagram explaining detection of a region of interest by semantic segmentation. 図４は、参考技術における注目領域の検出を説明する図である。FIG. 4 is a diagram illustrating detection of a region of interest in the reference technique. 図５は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。FIG. 5 is a functional block diagram of the functional configuration of the information processing apparatus according to the first embodiment; 図６は、機械学習モデルを用いた動作解析を説明する図である。FIG. 6 is a diagram illustrating motion analysis using a machine learning model. 図７は、トラッキングによる基準方向の設定を説明する図である。FIG. 7 is a diagram for explaining setting of a reference direction by tracking. 図８は、クラスタリングを説明する図である。FIG. 8 is a diagram for explaining clustering. 図９は、クラスタの抽出を説明する図である。FIG. 9 is a diagram for explaining cluster extraction. 図１０は、注目領域の抽出を説明する図である。FIG. 10 is a diagram for explaining extraction of a region of interest. 図１１は、商品棚エリアの設定を説明する図である。FIG. 11 is a diagram for explaining the setting of the product shelf area. 図１２は、処理の流れを示すフローチャートである。FIG. 12 is a flowchart showing the flow of processing. 図１３は、ハードウェア構成例を説明する図である。FIG. 13 is a diagram illustrating a hardware configuration example.

以下に、本願の開示する抽出プログラム、抽出方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。 Exemplary embodiments of the extraction program, the extraction method, and the information processing apparatus disclosed in the present application will be described below in detail with reference to the drawings. In addition, this invention is not limited by this Example. Moreover, each embodiment can be appropriately combined within a range without contradiction.

［全体構成］
図１は、実施例１にかかる情報処理装置１０を含むシステムの全体構成を説明する図である。図１に示すように、このシステムは、空間の一例である店舗１と、店舗１内の異なる場所に設置された複数のカメラ２と、情報処理装置１０とを有する。 [overall structure]
FIG. 1 is a diagram illustrating the overall configuration of a system including an information processing apparatus 10 according to the first embodiment. As shown in FIG. 1, this system includes a store 1, which is an example of a space, a plurality of cameras 2 installed at different locations within the store 1, and an information processing device 10. FIG.

複数のカメラ２それぞれは、店舗１内の所定領域を撮像する監視カメラの一例であり、撮像した映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」と表記する場合がある。また、映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ２があるタイミングで撮影した静止画像の画像データである。 Each of the plurality of cameras 2 is an example of a monitoring camera that captures an image of a predetermined area within the store 1 and transmits captured image data to the information processing apparatus 100 . In the following description, video data may be referred to as "video data". Video data also includes a plurality of time-series image frames. A frame number is assigned to each image frame in ascending chronological order. One image frame is image data of a still image captured by the camera 2 at a certain timing.

情報処理装置１０は、複数のカメラ２それぞれにより撮像された各画像データを解析するコンピュータの一例である。なお、複数のカメラ２それぞれと情報処理装置１０とは、有線や無線を問わず、インターネットや専用線などの各種ネットワークを用いて接続される。 The information processing device 10 is an example of a computer that analyzes each image data captured by each of the plurality of cameras 2 . Note that each of the plurality of cameras 2 and the information processing apparatus 10 are connected using various networks such as the Internet and dedicated lines, regardless of whether they are wired or wireless.

近年、カメラ２で撮像された映像データから人の行動を分析する技術開発が進められている。例えば、映像データに含まれる各画像データから、購買行動を起こしやすい領域である注目領域を抽出し、注目領域において腕を一定の位置まで上げる動作をピッキング動作として検出することで、購買行動を分析することが行われている。 In recent years, technology development for analyzing human behavior from video data captured by the camera 2 has been advanced. For example, from each image data included in the video data, we extract the attention area, which is the area where purchasing behavior is likely to occur, and detect the movement of raising the arm to a certain position in the attention area as a picking motion, thereby analyzing the purchase behavior. is being done.

図２は、実施例１にかかる認識対象の行動を説明する図である。図２に示す領域Ａが注目領域と仮定する。この場合、図２の（１）に示す、商品棚の前に位置する人物（ユーザ）のピッキング動作が認識対象である。しかし、図２の（２）や（３）に示す、商品棚がない場所で、商品に手を伸ばしていないもののピッキング動作と似た動作を行った人物も認識されてしまうことで、誤検出が発生する。 FIG. 2 is a diagram for explaining behavior of a recognition target according to the first embodiment; Assume that the region A shown in FIG. 2 is the region of interest. In this case, the picking motion of the person (user) positioned in front of the product shelf shown in (1) of FIG. 2 is the recognition target. However, as shown in (2) and (3) in Fig. 2, a person who does not reach out to pick a product in a place where there is no product shelf but performs a similar picking action is also recognized, resulting in erroneous detection. occurs.

誤検出を減らすために、手を伸ばす商品棚の領域を注目領域として設定することが考えられるが、その場合、図２の（２）に示す人物は、画像データ上、手が棚に入っていることから、誤検出されてしまう。別の手法としては、足元の通路を注目領域と設定することが行われる。例えば、図１に示す領域Ａを注目領域に設定した場合、図２の（２）や（３）に示す人物は、検出されなくなり、誤検出が抑制される。 In order to reduce erroneous detection, it is conceivable to set the area of the product shelf where the hand reaches as the attention area. In that case, the person shown in FIG. Therefore, it is erroneously detected. Another method is to set the passage at your feet as the attention area. For example, when the area A shown in FIG. 1 is set as the attention area, the persons shown in (2) and (3) in FIG. 2 are not detected, and erroneous detection is suppressed.

足元の領域を注目領域と設定する手法は、手動設定で行われることが多い。しかし、手動設定では、膨大な画像データに対して注目領域を設定することになり、時間がかかるだけでなく、人為的なミスを防ぐことが難しい。 Manual setting is often used to set the foot area as the attention area. However, with manual setting, the attention area is set for a huge amount of image data, which not only takes time but also makes it difficult to prevent human error.

別の手法として、画像データのピクセル単位で何が写っているのかをカテゴリ分けする技術であるセマンティックセグメンテーションによる自動設定が利用されている。図３は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。図３に示すように、セマンティックセグメンテーションは、画像データを機械学習モデル（convolutional encoder-decoder）に入力し、画像データの各領域にラベルが設定された出力結果を取得する。しかし、注目領域に限らず、注目領域以外を含んだ全通路に、ラベル「通路」が設定されてしまい、図２の（２）や（３）の人物も認識対象となることから、これらの人物のピッキング動作を検出する誤検出が発生する。 Another technique uses automatic configuration through semantic segmentation, a technique that categorizes what is in each pixel of image data. FIG. 3 is a diagram explaining detection of a region of interest by semantic segmentation. As shown in FIG. 3, semantic segmentation inputs image data into a machine learning model (convolutional encoder-decoder) and obtains an output result in which each region of the image data is labeled. However, the label "passage" is set not only for the attention area but also for all passages including areas other than the attention area, and the persons (2) and (3) in FIG. An erroneous detection occurs when a person's picking action is detected.

なお、カメラの映像データから人の作業位置を抽出し、作業位置のクラスタリングによってＲＯＩ（Region Of Interest）を自動的に提供する参考技術も利用も考えられる。図４は、参考技術における注目領域の検出を説明する図である。図４に示すように、参考技術では、静止しての購買行動が生じた領域を抽出するので、図４の（Ｂ）に示した人物が静止した位置のみが抽出されてしまい、注目領域Ａを十分にカバーすることが難しい。つまり、参考技術では、ゆっくり移動して商品を取る動作（ピッキング動作）を検出することが難しい。 In addition, it is possible to use a reference technology that automatically provides ROI (Region Of Interest) by extracting the working positions of people from the image data of the camera and clustering the working positions. FIG. 4 is a diagram illustrating detection of a region of interest in the reference technique. As shown in FIG. 4, in the reference technique, since the area where the purchase behavior occurs while still is extracted, only the position where the person is stationary shown in FIG. difficult to adequately cover. In other words, with the reference technology, it is difficult to detect an action of moving slowly to pick up an item (picking action).

一般的に、画像データ内で、注目領域と設定する領域やピッキング動作が検出された領域を、人物が手に取る商品等が陳列される商品棚エリアの設定した上で、人物の行動分析等が行われる。しかし、上述したように、手動設定、セマンティックセグメンテーション、または、参考技術による注目領域の設定では、注目領域を正確に抽出することが難しい。このため、商品棚エリアの設定ミスが発生し、最終的な行動分析の精度も劣化する。 In general, in image data, areas set as attention areas and areas where picking motions are detected are set as product shelf areas where products picked up by people are displayed, and then human behavior analysis, etc. is performed. is done. However, as described above, it is difficult to accurately extract the attention area by manual setting, semantic segmentation, or setting the attention area by the reference technique. For this reason, a product shelf area setting error occurs, and the accuracy of the final behavior analysis also deteriorates.

そこで、実施例１にかかる情報処理装置１０は、室内の一例である店舗内を撮影した画像データから人物の骨格情報を生成し、生成された人物の骨格情報に基づいて、店舗内の通路領域を移動する人物の身体の向きを特定する。そして、情報処理装置１０は、通路領域から、特定された人物の身体の向きと通路領域に設定された基準方向とが異なる、人物の行動分析の対象とする注目領域を抽出する。 Therefore, the information processing apparatus 10 according to the first embodiment generates skeleton information of a person from image data of the inside of a store, which is an example of a room, and based on the generated skeleton information of a person, aisle areas in the store. Identify the orientation of the body of a person moving Then, the information processing apparatus 10 extracts, from the passage area, an attention area to be subjected to the behavior analysis of the person in which the orientation of the specified person's body is different from the reference direction set in the passage area.

すなわち、情報処理装置１０は、リテール店舗での購買行動は移動と商品を選び取る行動が主として発生し、選び取る際には通路方向に対して身体の向きにバラつきが生じることを用いて、商品の選び取りが発生する注目領域を抽出する。この結果、情報処理装置１０は、行動分析の対象となる注目領域を正確に設定することができる。 In other words, the information processing apparatus 10 uses the fact that the purchase behavior at a retail store mainly consists of movement and selection of products, and variation occurs in the orientation of the body with respect to the aisle direction when selecting products. Extract a region of interest where the selection of . As a result, the information processing apparatus 10 can accurately set an attention area to be subjected to behavior analysis.

［機能構成］
図５は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図５に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。 [Function configuration]
FIG. 5 is a functional block diagram of the functional configuration of the information processing apparatus 10 according to the first embodiment. As shown in FIG. 5 , the information processing device 10 has a communication section 11 , a storage section 12 and a control section 20 .

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、カメラ２から映像データを受信し、制御部２０による処理結果を管理端末などに送信する。 The communication unit 11 is a processing unit that controls communication with other devices, and is realized by, for example, a communication interface. For example, the communication unit 11 receives video data from the camera 2 and transmits the result of processing by the control unit 20 to a management terminal or the like.

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１２は、機械学習モデル１３、映像データＤＢ１４、ＲＯＩ情報ＤＢ１５、設定結果ＤＢ１６を記憶する。 The storage unit 12 is a processing unit that stores various data, programs executed by the control unit 20, and the like, and is implemented by a memory, a hard disk, or the like. The storage unit 12 stores a machine learning model 13, a video data DB 14, an ROI information DB 15, and a setting result DB 16.

機械学習モデル１３は、人物の動作解析を実行するモデルである。具体的には、機械学習モデル１３は、機械学習済みのモデルであり、人物の２次元画像データに対して、頭、手首、腰、足首などの２次元の関節位置（骨格座標）を推定し、基本となる動作の認識やユーザが定義したルールの認識を行う深層学習器の一例である。この機械学習モデル１３を用いることで、人物の基本動作を認識することができ、足首の位置、顏の向き、身体の向きを取得することができる。なお、基本となる動作とは、例えば歩く、走る、止まるなどである。ユーザが定義したルールとは、商品を手に取るまでの各行動に該当する骨格情報の遷移などである。 The machine learning model 13 is a model for executing motion analysis of a person. Specifically, the machine learning model 13 is a machine-learned model that estimates two-dimensional joint positions (skeletal coordinates) such as the head, wrists, hips, and ankles for two-dimensional image data of a person. , is an example of a deep learner that recognizes basic actions and user-defined rules. By using this machine learning model 13, it is possible to recognize the basic motion of a person, and to obtain the ankle position, face orientation, and body orientation. Note that basic motions are, for example, walking, running, and stopping. The rules defined by the user are, for example, the transition of skeleton information corresponding to each action until picking up the product.

映像データＤＢ１４は、店舗１に設置される複数のカメラ２それぞれにより撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１４は、カメラ２ごと、または、撮像された時間帯ごとに、映像データを記憶する。 The video data DB 14 is a database that stores video data captured by each of the plurality of cameras 2 installed in the store 1 . For example, the video data DB 14 stores video data for each camera 2 or for each time period during which the image was captured.

ＲＯＩ情報ＤＢ１５は、後述する制御部２０により得られた注目領域のＲＯＩ、商品棚のＲＯＩなどを記憶するデータベースである。例えば、ＲＯＩ情報ＤＢ１５は、ＲＧＢの画像データごとに、注目領域のＲＯＩ、商品棚のＲＯＩなどを対応付けて記憶する。 The ROI information DB 15 is a database that stores ROIs of attention areas, ROIs of product shelves, and the like obtained by the control unit 20, which will be described later. For example, the ROI information DB 15 stores the ROI of the attention area, the ROI of the product shelf, etc. in association with each RGB image data.

設定結果ＤＢ１９は、後述する制御部２０により、画像データに対して設定された商品棚のエリアに関する情報を記憶するデータベースである。例えば、設定結果ＤＢ１９は、ＲＧＢの画像データと、画像データに対して設定された各エリアのラベル情報とを対応付けて記憶する。 The setting result DB 19 is a database that stores information relating to product shelf areas set for image data by the control unit 20, which will be described later. For example, the setting result DB 19 associates and stores RGB image data and label information of each area set for the image data.

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどによる実現される。この制御部２０は、取得部２１、追跡部２２、動作解析部２３、基準線抽出部２４、クラスタリング実行部２５、角度算出部２６、注目領域抽出部２７、エリア設定部２８を有する。なお、取得部２１、追跡部２２、動作解析部２３、基準線抽出部２４、クラスタリング実行部２５、角度算出部２６、注目領域抽出部２７、エリア設定部２８は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。 The control unit 20 is a processing unit that controls the entire information processing apparatus 10, and is implemented by, for example, a processor. The control unit 20 has an acquisition unit 21 , a tracking unit 22 , a motion analysis unit 23 , a reference line extraction unit 24 , a clustering execution unit 25 , an angle calculation unit 26 , an attention area extraction unit 27 and an area setting unit 28 . Note that the acquisition unit 21, the tracking unit 22, the motion analysis unit 23, the reference line extraction unit 24, the clustering execution unit 25, the angle calculation unit 26, the attention area extraction unit 27, and the area setting unit 28 are electronic circuits and processors possessed by the processor. It is realized by the process executed by

取得部２１は、各カメラ２から映像データを取得して映像データＤＢ１４に格納する処理部である。例えば、取得部２１は、各カメラ２から随時取得してもよく、定期的に取得してもよい。 The acquisition unit 21 is a processing unit that acquires video data from each camera 2 and stores it in the video data DB 14 . For example, the acquisition unit 21 may acquire from each camera 2 at any time or periodically.

追跡部２２は、映像データ中の同一人物の追跡を実行する処理部である。例えば、追跡部２２は、公知のトラッキング技術を用いて、映像データ中の同一人物をトラッキングし、当該人物の移動経路（移動軌跡）を抽出する。そして、追跡部２２は、抽出結果を、基準線抽出部２４等に出力する。 The tracking unit 22 is a processing unit that tracks the same person in video data. For example, the tracking unit 22 tracks the same person in the video data using a known tracking technique, and extracts the movement route (movement trajectory) of the person. The tracking unit 22 then outputs the extraction result to the reference line extraction unit 24 and the like.

動作解析部２３は、カメラ２により撮像された映像データに写っている人物の動作解析を実行する処理部である。具体的には、動作解析部２３は、映像データに含まれる各画像データ（フレーム）を機械学習モデル１３に入力し、各画像データに写っている人物の動作を認識する。 The motion analysis unit 23 is a processing unit that analyzes the motion of a person appearing in the video data captured by the camera 2 . Specifically, the motion analysis unit 23 inputs each image data (frame) included in the video data to the machine learning model 13, and recognizes the motion of the person appearing in each image data.

図６は、機械学習モデル１３を用いた動作解析を説明する図である。図６に示すように、動作解析部２３は、ＲＧＢの画像データを機械学習モデル１３に入力し、画像データに写っている人物の２次元骨格座標を取得する。そして、動作解析部２３は、２次元骨格座標にしたがって、人物の足首の位置、顔の向き、身体の向きを特定し、特定した結果を、クラスタリング実行部２５などに出力する。 FIG. 6 is a diagram for explaining motion analysis using the machine learning model 13. As shown in FIG. As shown in FIG. 6, the motion analysis unit 23 inputs the RGB image data to the machine learning model 13 and acquires the two-dimensional skeleton coordinates of the person appearing in the image data. Then, the motion analysis unit 23 identifies the ankle position, face orientation, and body orientation of the person according to the two-dimensional skeleton coordinates, and outputs the identification results to the clustering execution unit 25 or the like.

このように、動作解析部２３は、所定時間間隔で取得された各映像データに含まれる各画像データ（例えば１００フレーム）それぞれを機械学習モデル１３に入力し、各画像データに写っている人物の足首の位置、顔の向き、身体の向きを測定することで、映像データ内における人物の足首の位置の遷移、顔の向きの遷移、身体の向きの遷移を特定することができる。 In this way, the motion analysis unit 23 inputs each image data (for example, 100 frames) included in each video data acquired at predetermined time intervals to the machine learning model 13, and determines the position of the person in each image data. By measuring the ankle position, face orientation, and body orientation, it is possible to identify the transition of the ankle position, face orientation transition, and body orientation transition of the person in the video data.

基準線抽出部２４は、トラッキング情報から人の移動経路を抽出し、基準線となる通路方向を設定する処理部である。具体的には、基準線抽出部２４は、映像データ内から画像データを取得（選択）し、追跡部２２により得られたある人物の移動経路を用いて、取得された画像データ上に、ユーザが歩く方向である基準方向を設定する。そして、基準線抽出部２４は、設定された基準方向を基準線として抽出する。なお、基準線抽出部２４は、画像データとして、映像データの最初の画像データや最後の画像データなど、映像データ内の任意の画像データを選択することができる。 The reference line extraction unit 24 is a processing unit that extracts a person's moving route from tracking information and sets a passage direction that serves as a reference line. Specifically, the reference line extracting unit 24 acquires (selects) image data from within the video data, and uses the moving route of a certain person obtained by the tracking unit 22 to display the user's image data on the acquired image data. sets the reference direction, which is the walking direction. Then, the reference line extraction unit 24 extracts the set reference direction as the reference line. Note that the reference line extraction unit 24 can select arbitrary image data in the video data, such as the first image data and the last image data of the video data, as the image data.

図７は、トラッキングによる基準方向の設定を説明する図である。図７に示すように、基準線抽出部２４は、画像データ上に、トラッキング結果である移動経路Ａ１と移動経路Ａ２とを設定する。このとき、基準線抽出部２４は、設定された移動経路を含む領域を通路の領域と設定することができる。なお、基準線抽出部２４は、画像データに対してセマンティックセグメンテーションを実行した結果により、画像データ上に通路の領域を設定することができる。 FIG. 7 is a diagram for explaining setting of a reference direction by tracking. As shown in FIG. 7, the reference line extracting unit 24 sets a movement path A1 and a movement path A2, which are tracking results, on the image data. At this time, the reference line extracting unit 24 can set an area including the set movement route as the passage area. Note that the reference line extracting unit 24 can set a path region on the image data based on the result of executing semantic segmentation on the image data.

続いて、基準線抽出部２４は、トラッキング結果により、移動経路Ａ１から移動経路Ａ２への遷移を特定し、その遷移にしたがって、通路の領域上に基準方向Ｂ１、Ｂ２、Ｂ３のそれぞれを設定する。そして、基準線抽出部２４は、この基準方向Ｂ１、Ｂ２、Ｂ３それぞれを、基準線に設定する。なお、移動経路や移動経路の遷移は、一方方向に限らず、多方向が特定されることもあるが、この場合であっても、方向を除外して同じ移動軌跡であれば、１つの通路方向であり、１つの基準線として抽出される。例えば、基準線抽出部２４は、ユーザが歩く複数の移動経路から通路方向となる近似直線を算出し、その近似曲線を基準線として設定する。また、基準線抽出部２４は、基準線の設定結果をクラスタリング実行部２５などに出力する。 Subsequently, the reference line extraction unit 24 identifies the transition from the movement path A1 to the movement path A2 based on the tracking result, and sets reference directions B1, B2, and B3 on the area of the passage according to the transition. . Then, the reference line extraction unit 24 sets each of the reference directions B1, B2, and B3 as the reference line. Note that the movement path and the transition of the movement path are not limited to one direction, and may be specified in multiple directions. direction, extracted as one reference line. For example, the reference line extracting unit 24 calculates an approximate straight line representing the passage direction from a plurality of travel routes that the user walks, and sets the approximate curve as the reference line. In addition, the reference line extraction unit 24 outputs the setting result of the reference line to the clustering execution unit 25 or the like.

クラスタリング実行部２５は、各人物の移動軌跡を抽出し、各基準線と各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成する処理部である。具体的には、クラスタリング実行部２５は、各移動軌跡がどの基準線に近いかをクラスタリングする。 The clustering execution unit 25 is a processing unit that extracts the movement trajectory of each person and generates a plurality of clusters by clustering based on the distance between each reference line and the movement trajectory of each person. Specifically, the clustering execution unit 25 clusters which reference line each trajectory is close to.

図８は、クラスタリングを説明する図である。図８に示すように、クラスタリング実行部２５は、各画像データに写っている人物の足首の位置を動作解析部２３から取得し、基準線Ｂ１、Ｂ２、Ｂ３が設定された画像データにプロットする。そして、クラスタリング実行部２５は、各基準線と各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成する。 FIG. 8 is a diagram for explaining clustering. As shown in FIG. 8, the clustering execution unit 25 acquires the ankle positions of the persons shown in each image data from the motion analysis unit 23, and plots them on the image data in which the reference lines B1, B2, and B3 are set. . Then, the clustering execution unit 25 generates a plurality of clusters by clustering based on the distance between each reference line and each person's movement trajectory.

例えば、クラスタリング実行部２５は、各移動軌跡から各基準線への垂線を引き、その垂線の長さを基にしたクラスタリングを実行することにより、各移動軌跡をいずれかの基準線にクラスタリングする。なお、ベースとなる距離は、垂線の長さに限らず、ユークリッド距離などを用いることもできる。 For example, the clustering execution unit 25 clusters each movement trajectory on one of the reference lines by drawing a perpendicular from each trajectory to each reference line and performing clustering based on the length of the perpendicular. Note that the base distance is not limited to the length of the perpendicular, and Euclidean distance or the like can also be used.

この結果、クラスタリング実行部２５は、基準線Ｂ１に最も近い移動軌跡の点群を含むクラスタＣ１と、基準線Ｂ２に最も近い移動軌跡の点群を含むクラスタＣ２と、基準線Ｂ３に最も近い移動軌跡の点群を含むクラスタＣ３と、を生成する。そして、クラスタリング実行部２５は、クラスタリング結果を角度算出部２６などに出力する。 As a result, the clustering execution unit 25 determines the cluster C1 including the point group of the movement trajectory closest to the reference line B1, the cluster C2 including the point group of the movement trajectory closest to the reference line B2, and the cluster C2 including the point group of the movement trajectory closest to the reference line B3. and a cluster C3 containing a point cloud of the trajectory. The clustering execution unit 25 then outputs the clustering result to the angle calculation unit 26 and the like.

角度算出部２６は、クラスタリングされた各移動軌跡について、各基準線に対する身体の向きのなす角を算出する処理部である。具体的には、角度算出部２６は、各画像データに写っている人物の身体の向きを動作解析部２３から取得し、画像データ内の移動軌跡に該当する身体の向きを対応付ける。そして、角度算出部２６は、クラスタリング結果を用いて、各移動軌跡が属するクラスタの基準線を特定する。その後、角度算出部２６は、各移動軌跡に対して、公知の手法を用いて、属するクラスタの基準線と身体の向きとのなす角度を算出する。なお、角度算出部２６は、身体の向きに限らず、顔の向きを用いることもできる。角度算出部２６は、各移動軌跡に対応する角度を注目領域抽出部２７などに出力する。 The angle calculation unit 26 is a processing unit that calculates the angle formed by the orientation of the body with respect to each reference line for each clustered movement trajectory. Specifically, the angle calculation unit 26 acquires the orientation of the body of the person appearing in each image data from the motion analysis unit 23, and associates the orientation of the body corresponding to the movement trajectory in the image data. Then, the angle calculation unit 26 uses the clustering result to identify the reference line of the cluster to which each trajectory belongs. After that, the angle calculation unit 26 calculates the angle between the reference line of the cluster to which each trajectory belongs and the orientation of the body, using a known technique. The angle calculator 26 can also use the orientation of the face instead of the orientation of the body. The angle calculator 26 outputs the angle corresponding to each movement trajectory to the attention area extractor 27 or the like.

注目領域抽出部２７は、複数のクラスタそれぞれについて、クラスタに属する各移動軌跡と基準線とのなす角度に基づく評価値が閾値以上であるクラスタを含む領域を注目領域に抽出する処理部である。具体的には、注目領域抽出部２７は、各基準線に対する身体の向きのなす角のうち、大きい角度を多く含む基準線を抽出し、このような基準線が属する領域を注目領域として抽出する。 The region-of-interest extraction unit 27 is a processing unit that extracts, as a region of interest, a region including a cluster whose evaluation value based on the angle formed by each movement trajectory belonging to the cluster and the reference line is equal to or greater than a threshold value, for each of a plurality of clusters. Specifically, the attention area extracting unit 27 extracts reference lines that include many large angles among the angles formed by the orientation of the body with respect to each reference line, and extracts areas to which such reference lines belong as attention areas. .

図９は、クラスタの抽出を説明する図である。図９に示すように、注目領域抽出部２７は、各移動軌跡がプロットされた画像データに対して、各移動軌跡に対応する身体の向きをプロットする。また、注目領域抽出部２７は、各移動軌跡に対して算出された角度も対応付ける。 FIG. 9 is a diagram for explaining cluster extraction. As shown in FIG. 9, the attention area extracting unit 27 plots the orientation of the body corresponding to each movement trajectory with respect to the image data in which each movement trajectory is plotted. The attention area extracting unit 27 also associates the calculated angle with each movement trajectory.

そして、注目領域抽出部２７は、各クラスタについて、属する移動軌跡の角度を集計する。例えば、図９に示すように、注目領域抽出部２７は、クラスタＣ１に属する各移動軌跡の角度とその角度に該当する移動軌跡の数、クラスタＣ２に属する各移動軌跡の角度とその角度に該当する移動軌跡の数、クラスタＣ３に属する各移動軌跡の角度とその角度に該当する移動軌跡の数を集計する。 Then, the region-of-interest extraction unit 27 aggregates the angles of the movement trajectory belonging to each cluster. For example, as shown in FIG. 9, the region-of-interest extraction unit 27 determines the angle of each trajectory belonging to cluster C1, the number of trajectories corresponding to the angle, the angle of each trajectory belonging to cluster C2, and the number of trajectories corresponding to the angle. The number of trajectories that correspond to each other, the angle of each trajectory belonging to cluster C3, and the number of trajectories that correspond to the angle are counted.

その後、注目領域抽出部２７は、大きい角度を多く有するクラスタを抽出する。例えば、注目領域抽出部２７は、クラスタごとに、角度の中央値、角度の平均値、６０度以上の角度の数の割合などを評価値として算出する。そして、注目領域抽出部２７は、評価値が閾値以上であるクラスタＣ２とクラスタＣ３を抽出する。 After that, the region-of-interest extraction unit 27 extracts clusters having many large angles. For example, the region-of-interest extraction unit 27 calculates, for each cluster, the median value of angles, the average value of angles, the ratio of the number of angles of 60 degrees or more, and the like as evaluation values. Then, the attention area extraction unit 27 extracts clusters C2 and C3 whose evaluation values are equal to or greater than the threshold.

続いて、注目領域抽出部２７は、抽出したクラスタＣ２とクラスタＣ３について、注目領域として、クラスタに属する各移動軌跡を囲む多角形を生成する。図１０は、注目領域の抽出を説明する図である。図１０に示すように、注目領域抽出部２７は、クラスタＣ２について、クラスタＣ２に属する各移動軌跡を含む最大の多角形を生成して、注目領域として抽出する。同様に、注目領域抽出部２７は、クラスタＣ３について、クラスタＣ３に属する各移動軌跡を含む最大の多角形を生成して、注目領域として抽出する。 Subsequently, for the extracted clusters C2 and C3, the attention area extraction unit 27 generates, as attention areas, polygons surrounding each trajectory belonging to the cluster. FIG. 10 is a diagram for explaining extraction of a region of interest. As shown in FIG. 10, the attention area extracting unit 27 generates the maximum polygon including each trajectory belonging to the cluster C2 and extracts it as an attention area. Similarly, for the cluster C3, the attention area extraction unit 27 generates the maximum polygon including each trajectory belonging to the cluster C3 and extracts it as the attention area.

また、注目領域抽出部２７は、各多角形の座標をＲＯＩ情報ＤＢ１５に格納したり、エリア設定部２８に出力したりする。注目領域抽出部２７は、設定された注目領域に関する情報として、例えば注目領域が設定された画像データなどを設定結果ＤＢ１６に格納したり、エリア設定部２８に出力したりする。 Also, the attention area extracting unit 27 stores the coordinates of each polygon in the ROI information DB 15 and outputs them to the area setting unit 28 . The attention area extraction unit 27 stores, for example, image data in which the attention area is set as information regarding the set attention area in the setting result DB 16 or outputs the information to the area setting unit 28 .

エリア設定部２８は、顔の向きまたは身体の向きに基づき、店舗１を構成する複数の領域のうち注目領域と隣接する、人物に関連する物体が収納される領域を設定する処理部である。具体的には、エリア設定部２８は、画像データに対して、ピッキング動作の対象となる商品が置いてある商品棚エリアを特定する。 The area setting unit 28 is a processing unit that sets an area in which an object related to a person is stored, adjacent to the attention area, among the plurality of areas that constitute the store 1, based on the orientation of the face or the orientation of the body. Specifically, the area setting unit 28 specifies the product shelf area where the products to be picked are placed in the image data.

図１１は、商品棚エリアの設定を説明する図である。図１１に示すように、エリア設定部２８は、画像データにおいて注目領域Ｃに属する各移動軌跡に対して、動作解析部２３により特定された顔の向きをプロットする。そして、エリア設定部２８は、顔の向きのベクトルの数が閾値以上である方向を特定し、その方向にある領域のうち、注目領域Ｃと接する領域もしく注目領域Ｃと隣接する領域として、領域Ｅ１と領域Ｅ２を特定する。この結果、エリア設定部２８は、画像データ上で、領域Ｅ１と領域Ｅ２を商品棚エリアと設定する。 FIG. 11 is a diagram for explaining the setting of the product shelf area. As shown in FIG. 11, the area setting unit 28 plots the orientation of the face specified by the motion analysis unit 23 for each movement trajectory belonging to the attention area C in the image data. Then, the area setting unit 28 identifies a direction in which the number of face direction vectors is equal to or greater than a threshold value, and selects an area in contact with or adjacent to the attention area C among the areas in that direction, as follows: Areas E1 and E2 are specified. As a result, the area setting unit 28 sets the area E1 and the area E2 as product shelf areas on the image data.

同様に、エリア設定部２８は、画像データにおいて注目領域Ｄに属する各移動軌跡に対して、動作解析部２３により特定された顔の向きのベクトルの数が閾値以上である方向を特定し、その方向にある領域から、領域Ｅ３と領域Ｅ４を特定する。この結果、エリア設定部２８は、画像データ上で、領域Ｅ３と領域Ｅ４を商品棚エリアと設定する。 Similarly, the area setting unit 28 identifies a direction in which the number of face direction vectors identified by the motion analysis unit 23 is equal to or greater than a threshold for each movement trajectory belonging to the attention area D in the image data, and Areas E3 and E4 are specified from the areas in the direction. As a result, the area setting unit 28 sets the area E3 and the area E4 as product shelf areas on the image data.

そして、エリア設定部２８は、領域Ｅ１、領域Ｅ２、領域Ｅ３、領域Ｅ４の座標や、領域Ｅ１からＥ４それぞれを設定した画像データなどの情報を設定結果ＤＢ１６に格納する。なお、エリア設定部２８は、画像データに対してセマンティックセグメンテーションを実行し、エリア分割（識別）された結果に対して、領域Ｅ１から領域Ｅ４それぞれを設定することもできる。また、エリア設定部２８は、セマンティックセグメンテーションの実行結果に対して、領域Ｅ１からＥ４それぞれに該当するラベルを「商品棚エリア」に設定し直すこともできる。 Then, the area setting unit 28 stores information such as coordinates of the area E1, area E2, area E3, and area E4, and image data setting each of the areas E1 to E4 in the setting result DB 16. FIG. Note that the area setting unit 28 can also perform semantic segmentation on the image data and set areas E1 to E4 for the results of area division (identification). Also, the area setting unit 28 can reset the labels corresponding to each of the areas E1 to E4 to the "merchandise shelf area" for the execution result of the semantic segmentation.

［処理の流れ］
図１２は、処理の流れを示すフローチャートである。図１２に示すように、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、制御部２０は、映像データＤＢ１４から映像データを取得する（Ｓ１０２）。 [Process flow]
FIG. 12 is a flowchart showing the flow of processing. As shown in FIG. 12, when an instruction to start processing is given (S101: Yes), the control unit 20 acquires video data from the video data DB 14 (S102).

続いて、基準線抽出部２４は、映像データに基づき人物追跡を実行し（Ｓ１０３）、人物追跡結果に基づき、基準方向を設定する（Ｓ１０４）。例えば、基準線抽出部２４は、映像データ中の同一人物をトラッキングして移動経路を抽出し、ユーザが歩く移動経路を用いて基準線を設定する。 Subsequently, the reference line extraction unit 24 executes person tracking based on the video data (S103), and sets a reference direction based on the result of person tracking (S104). For example, the reference line extraction unit 24 tracks the same person in the video data, extracts the movement route, and sets the reference line using the movement route that the user walks.

また、動作解析部２３は、映像データを構成する各画像データを用いた行動分析を実行し（Ｓ１０５）、行動分析の結果により、人物の位置や向きを取得する（Ｓ１０６）。例えば、動作解析部２３は、機械学習モデル１３を用いて、映像データ中の各人物の顔の向き、身体の向き、足首の位置やこれらの遷移を特定する。 Further, the motion analysis unit 23 performs behavior analysis using each image data constituting the video data (S105), and acquires the position and orientation of the person based on the behavior analysis result (S106). For example, the motion analysis unit 23 uses the machine learning model 13 to identify the orientation of the face, the orientation of the body, the position of the ankles of each person in the video data, and their transitions.

その後、クラスタリング実行部２５は、各人物の移動軌跡を抽出し、各基準線と各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成する（Ｓ１０７）。例えば、クラスタリング実行部２５は、各移動軌跡がどの基準線に近いかをクラスタリングする。 After that, the clustering execution unit 25 extracts the movement trajectory of each person, and generates a plurality of clusters by clustering based on the distance between each reference line and the movement trajectory of each person (S107). For example, the clustering execution unit 25 clusters which reference line each trajectory is close to.

続いて、角度算出部２６は、各クラスタについて角度を算出する（Ｓ１０８）。例えば、角度算出部２６は、各移動軌跡に対応する身体の向きと、各移動軌跡が属するクラスタの基準線との角度を算出する。 Subsequently, the angle calculator 26 calculates an angle for each cluster (S108). For example, the angle calculator 26 calculates the angle between the orientation of the body corresponding to each trajectory and the reference line of the cluster to which each trajectory belongs.

そして、注目領域抽出部２７は、各クラスタについて、属する各移動軌跡の角度の中央値を算出し（Ｓ１０９）、中央値が閾値以上であるクラスタを抽出する（Ｓ１１０）。続いて、注目領域抽出部２７は、抽出したクラスタに属する全移動軌跡を囲む（含む）ように多角形の領域を生成し、当該領域を注目領域として抽出する（Ｓ１１１）。 The region-of-interest extraction unit 27 then calculates the median value of the angles of the trajectories belonging to each cluster (S109), and extracts clusters whose median value is equal to or greater than the threshold value (S110). Subsequently, the attention area extraction unit 27 generates a polygonal area so as to surround (include) all movement trajectories belonging to the extracted cluster, and extracts the area as an attention area (S111).

その後、注目領域抽出部２７は、多角形の座標を記憶部１２や指定された送信先に出力する（Ｓ１１２）。そして、エリア設定部２８は、顔の向きまたは身体の向きに基づき、注目領域と隣接する商品棚エリアを設定する（Ｓ１１３）。 After that, the attention area extraction unit 27 outputs the coordinates of the polygon to the storage unit 12 or the designated destination (S112). Then, the area setting unit 28 sets a product shelf area adjacent to the attention area based on the orientation of the face or the orientation of the body (S113).

［効果］
上述したように、情報処理装置１０は、映像データに対してトラッキングを行い、トラッキング結果から通路方向である基準線を抽出する。情報処理装置１０は、行動分析により人の動作解析を実行し、基準線と動作解析結果から移動軌跡のクラスタリングを実行する。情報処理装置１０は、各クラスタの基準線と体の向きのなす角を算出し、閾値以上の角度を多く含むクラスタで購買行動が頻繁に生じていると想定し、そのクラスタ（クラス）に分類される点群を囲う多角形を注目領域として抽出する。この結果、情報処理装置１０は、注目領域を自動的に抽出することができ、行動分析の対象となる注目領域を正確に設定することができる。 [effect]
As described above, the information processing apparatus 10 performs tracking on the video data and extracts the reference line, which is the passage direction, from the tracking result. The information processing apparatus 10 performs human motion analysis by behavior analysis, and performs clustering of movement trajectories from the reference line and the motion analysis result. The information processing apparatus 10 calculates the angle formed by the reference line of each cluster and the orientation of the body, assumes that the purchase behavior frequently occurs in the cluster containing many angles equal to or larger than the threshold value, and classifies it into that cluster (class). A polygon that encloses the set of points is extracted as a region of interest. As a result, the information processing apparatus 10 can automatically extract the attention area, and can accurately set the attention area to be subjected to the behavior analysis.

例えば、この情報処理装置１０を用いることで、手動で注目領域を設定する必要がないので、人為的なミスを削減でき、手動設定に比べて、膨大な画像データに対して正確かつ高速な注目領域の設定を実現することができる。また、情報処理装置１０は、人物が興味を示す顔を動かす動作が行われた領域を注目領域として抽出することができるので、図４の参考技術と異なり、過不足のない注目領域を設定できる。 For example, by using the information processing apparatus 10, there is no need to manually set the attention area, so human error can be reduced, and compared to manual setting, accurate and high-speed attention can be paid to a huge amount of image data. Region setting can be implemented. In addition, the information processing apparatus 10 can extract, as an attention area, an area in which an action of moving the face that a person is interested in is performed. Therefore, unlike the reference technique in FIG. .

また、情報処理装置１０は、停止した状態でのピッキング動作に限らず、ゆっくり移動して商品を取るピッキング動作を検出することができる。また、情報処理装置１０は、過不足のない注目領域と隣接する領域を商品棚と特定することができるので、ピッキング動作の検出精度を向上させることができ、行動分析などの精度を向上させることができる。 In addition, the information processing apparatus 10 can detect not only the picking action in a stopped state, but also the picking action of slowly moving to pick up an item. In addition, since the information processing apparatus 10 can identify an area adjacent to the attention area that is neither excessive nor deficient as a product shelf, it is possible to improve the detection accuracy of the picking motion, thereby improving the accuracy of behavior analysis and the like. can be done.

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above.

［数値等］
上記実施例で用いた数値例、カメラ数、ラベル名、軌跡の数等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、上記実施例では、店舗を例にして説明したが、これに限定されるものではなく、例えば倉庫、工場、教室、電車の車内や飛行機の客室などにも流用することができる。これらの場合、人物に関連する物体が収納された領域の一例として説明した商品棚の領域に代わりに、物を置く領域や荷物をしまう領域が検出、設定対象となる。 [Numbers, etc.]
Numerical examples, the number of cameras, label names, the number of trajectories, etc. used in the above embodiment are only examples, and can be changed arbitrarily. Also, the flow of processing described in each flowchart can be changed as appropriate within a consistent range. In addition, in the above embodiment, the store was explained as an example, but the present invention is not limited to this, and can be applied to, for example, a warehouse, a factory, a classroom, a train car, an airplane cabin, and the like. In these cases, instead of the product shelf area described as an example of the area in which objects related to people are stored, an area where objects are placed and an area where luggage is stored are detected and set.

また、上記実施例では、人物の足首の位置を用いる例を説明したが、これに限定されるものではなく、例えば足の位置、靴の位置などを用いることもできる。また、上記実施例では、顔の向きの方向にあるエリアを商品棚エリアと特定する例を説明したが、身体の向きの方向にあるエリアを商品棚エリアと特定することもできる。また、上記実施例では、角度の計算に身体の向きを用いる例を説明したが、顔の向きを用いることもできる。また、各機械学習モデルは、ニューラルネットワークなどを用いることができる。 Also, in the above embodiment, an example using the position of the person's ankle has been described, but the present invention is not limited to this, and the position of the foot, the position of the shoe, or the like can also be used. In the above embodiment, an example was described in which the area in the direction of the face is specified as the product shelf area, but the area in the direction of the body can also be specified as the product shelf area. Also, in the above embodiment, an example in which the orientation of the body is used to calculate the angle has been described, but the orientation of the face can also be used. Also, each machine learning model can use a neural network or the like.

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 [system]
Information including processing procedures, control procedures, specific names, and various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. That is, the specific forms of distribution and integration of each device are not limited to those shown in the drawings. That is, all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions.

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, each processing function performed by each device may be implemented in whole or in part by a CPU and a program analyzed and executed by the CPU, or implemented as hardware based on wired logic.

［ハードウェア］
図１３は、ハードウェア構成例を説明する図である。図１３に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１３に示した各部は、バス等で相互に接続される。 [hardware]
FIG. 13 is a diagram illustrating a hardware configuration example. As shown in FIG. 13, the information processing device 10 has a communication device 10a, a HDD (Hard Disk Drive) 10b, a memory 10c, and a processor 10d. 13 are interconnected by a bus or the like.

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやＤＢを記憶する。 The communication device 10a is a network interface card or the like, and communicates with other devices. The HDD 10b stores programs and DBs for operating the functions shown in FIG.

プロセッサ１０ｄは、図５に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図５等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部２１、追跡部２２、動作解析部２３、基準線抽出部２４、クラスタリング実行部２５、角度算出部２６、注目領域抽出部２７、エリア設定部２８等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、取得部２１、追跡部２２、動作解析部２３、基準線抽出部２４、クラスタリング実行部２５、角度算出部２６、注目領域抽出部２７、エリア設定部２８等と同様の処理を実行するプロセスを実行する。 The processor 10d reads from the HDD 10b or the like a program that executes the same processing as each processing unit shown in FIG. 5 and develops it in the memory 10c, thereby operating the process of executing each function described with reference to FIG. 5 and the like. For example, this process executes the same function as each processing unit of the information processing apparatus 10 . Specifically, the processor 10d includes an acquisition unit 21, a tracking unit 22, a motion analysis unit 23, a reference line extraction unit 24, a clustering execution unit 25, an angle calculation unit 26, an attention area extraction unit 27, an area setting unit 28, and the like. A program having similar functions is read from the HDD 10b or the like. Then, the processor 10d performs the same processing as the acquisition unit 21, the tracking unit 22, the motion analysis unit 23, the reference line extraction unit 24, the clustering execution unit 25, the angle calculation unit 26, the attention area extraction unit 27, the area setting unit 28, and the like. Run the process that runs the

このように、情報処理装置１０は、プログラムを読み出して実行することで設定方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。 Thus, the information processing apparatus 10 operates as an information processing apparatus that executes the setting method by reading and executing the program. Further, the information processing apparatus 10 can read the program from the recording medium by the medium reading device and execute the read program, thereby realizing the same function as the embodiment described above. Note that the programs referred to in other embodiments are not limited to being executed by the information processing apparatus 10 . For example, the above embodiments may be similarly applied when another computer or server executes the program, or when they cooperate to execute the program.

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。 This program may be distributed via a network such as the Internet. In addition, this program is recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), DVD (Digital Versatile Disc), etc., and is read from the recording medium by a computer. It may be executed by being read.

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 機械学習モデル
１４ 映像データＤＢ
１５ ＲＯＩ情報ＤＢ
１６ 設定結果ＤＢ
２０ 制御部
２１ 取得部
２２ 追跡部
２３ 動作解析部
２４ 基準線抽出部
２５ クラスタリング実行部
２６ 角度算出部
２７ 注目領域抽出部
２８ エリア設定部 REFERENCE SIGNS LIST 10 information processing device 11 communication unit 12 storage unit 13 machine learning model 14 video data DB
15 ROI information DB
16 Setting result DB
20 control unit 21 acquisition unit 22 tracking unit 23 motion analysis unit 24 reference line extraction unit 25 clustering execution unit 26 angle calculation unit 27 attention area extraction unit 28 area setting unit

Claims (8)

コンピュータに、
室内を撮影した画像データから人物の骨格情報を生成し、
生成された前記人物の骨格情報に基づいて、前記室内の通路領域を移動する人物の身体の向きを特定し、
前記通路領域から、特定された前記人物の身体の向きと前記通路領域に設定された基準方向とが異なる、前記人物の行動分析の対象とする注目領域を抽出する、
処理を実行させることを特徴とする抽出プログラム。 to the computer,
Generating skeletal information of a person from image data taken in the room,
Based on the generated skeletal information of the person, identifying the orientation of the body of the person moving in the passage area in the room;
extracting, from the passage area, an attention area targeted for behavior analysis of the person in which the direction of the specified person's body is different from a reference direction set in the passage area;
An extraction program characterized by causing a process to be executed. 前記人物の骨格情報に基づいて、前記人物の顔の向きを特定し、
前記顔の向きまたは前記身体の向きに基づき、前記室内を構成する複数の領域のうち前記注目領域と隣接する、前記人物に関連する物体が収納される領域を設定する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の抽出プログラム。 identifying the orientation of the person's face based on the skeletal information of the person;
Based on the orientation of the face or the orientation of the body, an area adjacent to the attention area and containing an object related to the person is set among a plurality of areas constituting the room.
2. The extraction program according to claim 1, causing the computer to execute processing. 前記画像データを含む映像データに基づき同一人物を追跡した追跡情報を用いて、前記画像データの通路領域に前記基準方向を設定する、処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の抽出プログラム。 2. The computer is caused to execute a process of setting the reference direction in the passage area of the image data using tracking information obtained by tracking the same person based on the video data including the image data. 2. The extraction program according to 2. 前記映像データ内の各画像データから前記映像データに写っている各人物の骨格情報に基づき前記各画像データにおける前記各人物の位置を特定し、
前記各人物の位置に基づく移動軌跡を用いて、前記画像データの通路領域に前記基準方向を設定する、処理を前記コンピュータに実行させることを特徴とする請求項３に記載の抽出プログラム。 identifying the position of each person in each image data based on the skeleton information of each person appearing in the image data from each image data in the image data;
4. The extraction program according to claim 3, causing the computer to execute a process of setting the reference direction in the passage area of the image data using the movement trajectory based on the position of each person. 前記抽出する処理は、
前記映像データ内の各画像データから前記映像データに写っている各人物の骨格情報に基づき、前記各画像データにおける前記各人物の位置を特定し、
前記各人物の位置を用いて、前記映像データにおける前記各人物の移動軌跡を特定し、
前記画像データにおいて、前記基準方向に基づく各基準線と前記各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成し、
前記複数のクラスタそれぞれについて、前記クラスタに属する各移動軌跡と前記基準線とのなす角度に基づく評価値が閾値以上であるクラスタを含む領域を前記注目領域に抽出する、ことを特徴とする請求項４に記載の抽出プログラム。 The process of extracting
identifying the position of each person in each image data based on the skeleton information of each person appearing in the image data from each image data in the image data;
using the position of each person to identify the movement trajectory of each person in the video data;
generating a plurality of clusters in the image data by clustering based on the distance between each reference line based on the reference direction and the movement trajectory of each person;
3. For each of said plurality of clusters, an area including a cluster whose evaluation value based on an angle between each movement trajectory belonging to said cluster and said reference line is equal to or greater than a threshold is extracted as said attention area. 4. The extraction program according to 4. 前記抽出する処理は、
前記評価値が閾値である前記クラスタについて、当該クラスタに属する前記各移動軌跡を囲む多角形を生成し、
前記多角形の座標を出力する、ことを特徴とする請求項５に記載の抽出プログラム。 The process of extracting
generating a polygon surrounding each movement trajectory belonging to the cluster for the cluster whose evaluation value is a threshold;
6. The extraction program according to claim 5, outputting the coordinates of said polygon. コンピュータが、
室内を撮影した画像データから人物の骨格情報を生成し、
生成された前記人物の骨格情報に基づいて、前記室内の通路領域を移動する人物の身体の向きを特定し、
前記通路領域から、特定された前記人物の身体の向きと前記通路領域に設定された基準方向とが異なる、前記人物の行動分析の対象とする注目領域を抽出する、
処理を実行することを特徴とする抽出方法。 the computer
Generating skeletal information of a person from image data taken in the room,
Based on the generated skeletal information of the person, identifying the orientation of the body of the person moving in the passage area in the room;
extracting, from the passage area, an attention area targeted for behavior analysis of the person in which the direction of the specified person's body is different from a reference direction set in the passage area;
An extraction method characterized by performing a process. 室内を撮影した画像データから人物の骨格情報を生成し、
生成された前記人物の骨格情報に基づいて、前記室内の通路領域を移動する人物の身体の向きを特定し、
前記通路領域から、特定された前記人物の身体の向きと前記通路領域に設定された基準方向とが異なる、前記人物の行動分析の対象とする注目領域を抽出する、
制御部を有することを特徴とする情報処理装置。 Generating skeletal information of a person from image data taken in the room,
Based on the generated skeletal information of the person, identifying the orientation of the body of the person moving in the passage area in the room;
extracting, from the passage area, an attention area targeted for behavior analysis of the person in which the direction of the specified person's body is different from a reference direction set in the passage area;
An information processing apparatus comprising a control unit.

Images