JP2023080864A - ラベル変更プログラム、ラベル変更方法および情報処理装置 - Google Patents

Abstract

【課題】行動分析の精度劣化を抑制することを課題とする。【解決手段】情報処理装置は、複数のエリアを有する画像データを取得する。情報処理装置は、画像データを第一の機械学習モデルに入力することで、複数のエリアのそれぞれにラベルを設定する。情報処理装置は、複数のエリアのうちの第一のエリアに位置する人物が、第二のエリアに位置する物体に対して行った行動を特定する。情報処理装置は、特定された人物の行動に基づいて、第二のエリアに設定されたラベルを変更する。【選択図】図１６

Description

本発明は、ラベル変更プログラム、ラベル変更方法および情報処理装置に関する。

カメラで撮像された映像データから人の行動を分析する技術開発が進められている。例えば、映像データに含まれる各画像データから、購買行動を起こしやすい領域である注目領域を抽出し、注目領域において腕を一定の位置まで上げる動作をピッキング動作として検出することで、購買行動を分析する。近年では、注目領域の検出手法として、各画像データに対して、人手による注目領域の設定やセマンティックセグメンテーションを用いた注目領域の設定が利用されている。

特開２０１２－１７３９０３号公報 特開２０１３－５０９４５号公報

しかしながら、上記技術では、注目領域を正確に設定することが難しい。例えば、人手による手法では、膨大な画像データに対して注目領域を設定することになり、時間がかかるだけでなく、人為的なミスを防ぐことが難しい。また、セマンティックセグメンテーションを用いた手法では、店舗内で消費者が歩く通路全体が注目領域に設定されてしまう。このため、不要なピッキング動作が検出されてしまい、行動分析の精度が劣化する。

一つの側面では、行動分析の精度劣化を抑制することができるラベル変更プログラム、ラベル変更方法および情報処理装置を提供することを目的とする。

第１の案では、ラベル変更プログラムは、コンピュータに、複数のエリアを有する画像データを取得し、前記画像データを第一の機械学習モデルに入力することで、前記複数のエリアのそれぞれにラベルを設定し、前記複数のエリアのうちの第一のエリアに位置する人物が、第二のエリアに位置する物体に対して行った行動を特定し、特定された前記人物の行動に基づいて、前記第二のエリアに設定されたラベルを変更する、処理を実行させることを特徴とする。

一実施形態によれば、行動分析の精度劣化を抑制することができる。

図１は、実施例１にかかる情報処理装置を含むシステムの全体構成を説明する図である。 図２は、実施例１にかかる認識対象の行動を説明する図である。 図３は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。 図４は、参考技術における注目領域の検出を説明する図である。 図５は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図６は、第１機械学習モデルの生成を説明する図である。 図７は、実施例１にかかる抽出処理部を説明する図である。 図８は、第２機械学習モデルを用いた動作解析を説明する図である。 図９は、トラッキングによる基準方向の設定を説明する図である。 図１０は、クラスタリングを説明する図である。 図１１は、クラスタの抽出を説明する図である。 図１２は、注目領域の抽出を説明する図である。 図１３は、実施例１にかかる修正処理部を説明する図である。 図１４は、セマンティックセグメンテーションの実行結果への基準線の設定を説明する図である。 図１５は、基準線に基づくクラスタリングを説明する図である。 図１６は、ラベル修正を説明する図である。 図１７は、商品棚エリアの設定を説明する図である。 図１８は、実施例１にかかる抽出処理の流れを示すフローチャートである。 図１９は、実施例１にかかる修正処理の流れを示すフローチャートである。 図２０は、実施例２にかかるユーザの移動軌跡の生成を説明する図である。 図２１は、実施例２にかかる顔の向きと身体の向きのプロットを説明する図である。 図２２は、実施例２にかかる注目領域の抽出を説明する図である。 図２３は、注目領域の座標生成を説明する図である。 図２４は、実施例２にかかる抽出処理の流れを示すフローチャートである。 図２５は、ハードウェア構成例を説明する図である。

以下に、本願の開示するラベル変更プログラム、ラベル変更方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［全体構成］
図１は、実施例１にかかる情報処理装置１０を含むシステムの全体構成を説明する図である。図１に示すように、このシステムは、空間の一例である店舗１と、店舗１内の異なる場所に設置された複数のカメラ２と、情報処理装置１０とを有する。

複数のカメラ２それぞれは、店舗１内の所定領域を撮像する監視カメラの一例であり、撮像した映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」と表記する場合がある。また、映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ２があるタイミングで撮影した静止画像の画像データである。

情報処理装置１０は、複数のカメラ２それぞれにより撮像された各画像データを解析するコンピュータの一例である。なお、複数のカメラ２それぞれと情報処理装置１０とは、有線や無線を問わず、インターネットや専用線などの各種ネットワークを用いて接続される。

近年、カメラ２で撮像された映像データから人の行動を分析する技術開発が進められている。例えば、映像データに含まれる各画像データから、購買行動を起こしやすい領域である注目領域を抽出し、注目領域において腕を一定の位置まで上げる動作をピッキング動作として検出することで、購買行動を分析することが行われている。

図２は、実施例１にかかる認識対象の行動を説明する図である。図２に示す領域Ａが注目領域と仮定する。この場合、図２の（１）に示す、商品棚の前に位置する人物（ユーザ）のピッキング動作が認識対象である。しかし、図２の（２）や（３）に示す、商品棚がない場所で、商品に手を伸ばしていないもののピッキング動作と似た動作を行った人物も認識されてしまうことで、誤検出が発生する。

誤検出を減らすために、手を伸ばす商品棚の領域を注目領域として設定することが考えられるが、その場合、図２の（２）に示す人物は、画像データ上、手が棚に入っていることから、誤検出されてしまう。別の手法としては、足元の通路を注目領域と設定することが行われる。例えば、図１に示す領域Ａを注目領域に設定した場合、図２の（２）や（３）に示す人物は、検出されなくなり、誤検出が抑制される。

足元の領域を注目領域と設定する手法は、手動設定で行われることが多い。しかし、手動設定では、膨大な画像データに対して注目領域を設定することになり、時間がかかるだけでなく、人為的なミスを防ぐことが難しい。

別の手法として、画像データのピクセル単位で何が写っているのかをカテゴリ分けする技術であるセマンティックセグメンテーションによる自動設定が利用されている。図３は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。図３に示すように、セマンティックセグメンテーションは、画像データを機械学習モデル（convolutional encoder-decoder）に入力し、画像データの各領域にラベルが設定された出力結果を取得する。しかし、注目領域に限らず、注目領域以外を含んだ全通路に、ラベル「通路」が設定されてしまい、図２の（２）や（３）の人物も認識対象となることから、これらの人物のピッキング動作を検出する誤検出が発生する。

なお、カメラの映像データから人の作業位置を抽出し、作業位置のクラスタリングによってＲＯＩ（Region Of Interest）を自動的に提供する参考技術も利用も考えられる。図４は、参考技術における注目領域の検出を説明する図である。図４に示すように、参考技術では、静止しての購買行動が生じた領域を抽出するので、図４の（Ｂ）に示した人物が静止した位置のみが抽出されてしまい、注目領域Ａを十分にカバーすることが難しい。つまり、参考技術では、ゆっくり移動して商品を取る動作（ピッキング動作）を検出することが難しい。

一般的に、画像データ内で、注目領域と設定する領域やピッキング動作が検出された領域を、人物が手に取る商品等が陳列される商品棚エリアの設定した上で、人物の行動分析等が行われる。しかし、上述したように、手動設定、セマンティックセグメンテーション、または、参考技術による注目領域の設定では、注目領域を正確に抽出することが難しい。このため、商品棚エリアの設定ミスが発生し、最終的な行動分析の精度も劣化する。

そこで、実施例１にかかる情報処理装置１０は、複数のエリアを有する画像データを取得し、画像データを機械学習モデルに入力することでシマンテックセグメンテーションを実行し、複数のエリアのそれぞれにラベルを設定する。情報処理装置１０は、複数のエリアのうちのいずれかの第１のエリアに位置する人物が、第２のエリアに位置する物体に対して行った行動を特定し、特定された人物の行動に基づいて、第２のエリアに設定されたラベルを変更する。

すなわち、情報処理装置１０は、リテール店舗での購買行動は移動と商品を選び取る行動が主として発生し、選び取る際には通路方向に対して身体の向きにバラつきが生じることを用いて、商品の選び取りが発生する注目領域を抽出し、セグメンテーション結果を修正する。この結果、情報処理装置１０は、行動分析の対象となる注目領域を正確に設定することができる。

［機能構成］
図５は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図５に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、カメラ２から映像データを受信し、制御部２０による処理結果を管理端末などに送信する。

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１２は、訓練データＤＢ１３、第１機械学習モデル１４、第２機械学習モデル１５、映像データＤＢ１６、セグメント結果ＤＢ１７、ＲＯＩ情報ＤＢ１８、設定結果ＤＢ１９を記憶する。

訓練データＤＢ１３は、第１機械学習モデル１４の訓練に使用される各訓練データを記憶するデータベースである。具体的には、各訓練データは、説明変数であるＲＧＢの画像データと、目的変数（正解情報）である当該画像データに対するセマンティックセグメンテーションの実行結果（以下では、セグメント結果またはセグメンテーション結果と記載することがある）とが対応付けられたデータである。

第１機械学習モデル１４は、セマンティックセグメンテーションを実行するモデルである。具体的には、第１機械学習モデル１４は、ＲＧＢの画像データの入力に応じて、セグメンテーション結果を出力する。セグメンテーション結果には、画像データ内の各領域に対して、識別されたラベルが設定される。例えば、第１機械学習モデル１４には、convolutional encoder-decoderなどを採用することができる。

第２機械学習モデル１５は、動作解析を実行するモデルである。具体的には、第２機械学習モデル１５は、機械学習済みのモデルであり、人物の２次元画像データに対して、頭、手首、腰、足首などの２次元の関節位置（骨格座標）を推定し、基本となる動作の認識やユーザが定義したルールの認識を行う深層学習器の一例である。この第２機械学習モデル１５を用いることで、人物の基本動作を認識することができ、足首の位置、顏の向き、身体の向きを取得することができる。

映像データＤＢ１６は、店舗１に設置される複数のカメラ２それぞれにより撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１６は、カメラ２ごと、または、撮像された時間帯ごとに、映像データを記憶する。

セグメント結果ＤＢ１７は、セマンティックセグメンテーションの実行結果を記憶するデータベースである。具体的には、セグメント結果ＤＢ１７は、第１機械学習モデル１４の出力結果を記憶する。例えば、セグメント結果ＤＢ１７は、ＲＧＢの画像データとセマンティックセグメンテーションの実行結果とを対応付けて記憶する。

ＲＯＩ情報ＤＢ１８は、後述する制御部２０により得られた注目領域のＲＯＩ、商品棚のＲＯＩなどを記憶するデータベースである。例えば、ＲＯＩ情報ＤＢ１８は、ＲＧＢの画像データごとに、注目領域のＲＯＩ、商品棚のＲＯＩなどを対応付けて記憶する。

設定結果ＤＢ１９は、後述する制御部２０によりセグメント結果に対して商品棚のエリアを設定した結果を記憶するデータベースである。例えば、設定結果ＤＢ１９は、ＲＧＢの画像データと、画像データに対して設定された各ラベルの設定情報とを対応付けて記憶する。

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどによる実現される。この制御部２０は、事前学習部３０、取得部４０、抽出処理部５０、修正処理部６０、エリア設定部７０を有する。なお、事前学習部３０、取得部４０、抽出処理部５０、修正処理部６０、エリア設定部７０は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

事前学習部３０は、第１機械学習モデル１４を生成する処理部である。具体的には、事前学習部３０は、訓練データＤＢ１３に記憶される各訓練データを用いた機械学習により、第１機械学習モデル１４の訓練を実行する。

図６は、第１機械学習モデル１４の生成を説明する図である。図６に示すように、事前学習部３０は、ＲＧＢの画像データと正解情報（セグメンテーション結果）とを含む訓練データを第１機械学習モデル１４に入力し、出力結果（セグメンテーション結果）を取得する。そして、事前学習部３０は、訓練データの正解情報と出力結果との誤差が最小化するように、第１機械学習モデル１４のパラメータ等を最適化する。

取得部４０は、各カメラ２から映像データを取得して映像データＤＢ１６に格納する処理部である。例えば、取得部４０は、各カメラ２から随時取得してもよく、定期的に取得してもよい。

抽出処理部５０は、映像データに対する動作解析により、映像データ内の注目領域を抽出する処理部である。図７は、実施例１にかかる抽出処理部５０を説明する図である。図７に示すように、抽出処理部５０は、追跡部５１、動作解析部５２、基準線抽出部５３、クラスタリング実行部５４、角度算出部５５、注目領域抽出部５６を有する。

追跡部５１は、映像データ中の同一人物の追跡を実行する処理部である。例えば、追跡部５１は、公知のトラッキング技術を用いて、映像データ中の同一人物をトラッキングし、当該人物の移動経路（移動軌跡）を抽出する。そして、追跡部５１は、抽出結果を、基準線抽出部５３等に出力する。

動作解析部５２は、カメラ２により撮像された映像データに写っている人物の動作解析を実行する処理部である。具体的には、動作解析部５２は、映像データに含まれる各画像データ（フレーム）を第２機械学習モデル１５に入力し、各画像データに写る人物の動作を認識する。

図８は、第２機械学習モデル１５を用いた動作解析を説明する図である。図８に示すように、動作解析部５２は、ＲＧＢの画像データを第２機械学習モデル１５に入力し、画像データに写っている人物の２次元骨格座標を取得する。そして、動作解析部５２は、２次元骨格座標にしたがって、人物の足首の位置、顔の向き、身体の向きを特定し、特定した結果を、クラスタリング実行部５４などに出力する。

このように、動作解析部５２は、所定時間間隔で取得された各映像データに含まれる各画像データ（例えば１００フレーム）それぞれを第２機械学習モデル１５に入力し、各画像データに写っている人物の足首の位置、顔の向き、身体の向きを測定することで、映像データ内における人物の足首の位置の遷移、顔の向きの遷移、身体の向きの遷移を特定することができる。

基準線抽出部５３は、トラッキング情報から人の移動経路を抽出し、基準線となる通路方向を設定する処理部である。具体的には、基準線抽出部２４は、映像データ内から画像データを取得（選択）し、追跡部５１により得られたある人物の移動経路を用いて、取得された画像データ上に、ユーザが歩く方向である基準方向を設定する。そして、基準線抽出部５３は、設定された基準方向を、移動経路を示す基準線として抽出する。なお、基準線抽出部５３は、画像データとして、映像データの最初の画像データや最後の画像データなど、映像データ内の任意の画像データを選択することができる。

図９は、トラッキングによる基準方向の設定を説明する図である。図９に示すように、基準線抽出部５３は、画像データ上に、トラッキング結果である移動経路Ａ１と移動経路Ａ２とを設定する。このとき、基準線抽出部５３は、設定された移動経路を含む領域を通路の領域と設定することができる。なお、基準線抽出部５３は、画像データに対してセマンティックセグメンテーションを実行した結果により、画像データ上に通路の領域を設定することができる。

続いて、基準線抽出部５３は、トラッキング結果により、移動経路Ａ１から移動経路Ａ２への遷移を特定し、その遷移にしたがって、通路の領域上に基準方向Ｂ１、Ｂ２、Ｂ３のそれぞれを設定する。そして、基準線抽出部５３は、この基準方向Ｂ１、Ｂ２、Ｂ３それぞれを、基準線に設定する。なお、移動経路や移動経路の遷移は、一方方向に限らず、多方向が特定されることもあるが、この場合であっても、方向を除外して同じ移動軌跡であれば、１つの通路方向であり、１つの基準線として抽出される。例えば、基準線抽出部５３は、ユーザが歩く複数の移動経路から通路方向となる近似直線を算出し、その近似曲線を基準線として設定する。また、基準線抽出部５３は、基準線の設定結果をクラスタリング実行部５４などに出力する。

クラスタリング実行部５４は、各人物の移動軌跡を抽出し、各基準線と各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成する処理部である。具体的には、クラスタリング実行部５４は、各移動軌跡がどの基準線に近いかをクラスタリングする。

図１０は、クラスタリングを説明する図である。図１０に示すように、クラスタリング実行部５４は、各画像データに写っている人物の足首の位置を動作解析部５２から取得し、基準線Ｂ１、Ｂ２、Ｂ３が設定された画像データにプロットする。そして、クラスタリング実行部５４は、各基準線と各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成する。

例えば、クラスタリング実行部５４は、各移動軌跡から各基準線への垂線を引き、その垂線の長さを基にしたクラスタリングを実行することにより、各移動軌跡をいずれかの基準線にクラスタリングする。なお、ベースとなる距離は、垂線の長さに限らず、ユークリッド距離などを用いることもできる。

この結果、クラスタリング実行部５４は、基準線Ｂ１に最も近い移動軌跡の点群を含むクラスタＣ１と、基準線Ｂ２に最も近い移動軌跡の点群を含むクラスタＣ２と、基準線Ｂ３に最も近い移動軌跡の点群を含むクラスタＣ３と、を生成する。そして、クラスタリング実行部５４は、クラスタリング結果を角度算出部５５などに出力する。

角度算出部５５は、クラスタリングされた各移動軌跡について、各基準線に対する身体の向きのなす角を算出する処理部である。具体的には、角度算出部５５は、各画像データに写っている人物の身体の向きを動作解析部５２から取得し、画像データ内の移動軌跡に、該当する身体の向きを対応付ける。そして、角度算出部５５は、クラスタリング結果を用いて、各移動軌跡が属するクラスタの基準線を特定する。その後、角度算出部５５は、各移動軌跡に対して、公知の手法を用いて、属するクラスタの基準線と身体の向きとのなす角度を算出する。なお、角度算出部５５は、身体の向きに限らず、顔の向きを用いることもできる。角度算出部５５は、各移動軌跡に対応する角度を注目領域抽出部５６などに出力する。

注目領域抽出部５６は、複数のクラスタそれぞれについて、クラスタに属する各移動軌跡と基準線とのなす角度に基づく評価値が閾値以上であるクラスタを含む領域を注目領域に抽出する処理部である。具体的には、注目領域抽出部５６は、各基準線に対する身体の向きのなす角のうち、大きい角度を多く含む基準線を抽出し、このような基準線が属する領域を注目領域として抽出する。

図１１は、クラスタの抽出を説明する図である。図１１に示すように、注目領域抽出部５６は、各移動軌跡がプロットされた画像データに対して、各移動軌跡に対応する身体の向きをプロットする。また、注目領域抽出部５６は、各移動軌跡に対して算出された角度も対応付ける。

そして、注目領域抽出部５６は、各クラスタについて、属する移動軌跡の角度を集計する。例えば、図１１に示すように、注目領域抽出部５６は、クラスタＣ１に属する各移動軌跡の角度とその角度に該当する移動軌跡の数、クラスタＣ２に属する各移動軌跡の角度とその角度に該当する移動軌跡の数、クラスタＣ３に属する各移動軌跡の角度とその角度に該当する移動軌跡の数を集計する。

その後、注目領域抽出部５６は、大きい角度を多く有するクラスタを抽出する。例えば、注目領域抽出部５６は、クラスタごとに、角度の中央値、角度の平均値、６０度以上の角度の数の割合などを評価値として算出する。そして、注目領域抽出部５６は、評価値が閾値以上であるクラスタＣ２とクラスタＣ３を抽出する。

続いて、注目領域抽出部５６は、抽出したクラスタＣ２とクラスタＣ３について、注目領域として、クラスタに属する各移動軌跡を囲む多角形を生成する。図１２は、注目領域の抽出を説明する図である。図１２に示すように、注目領域抽出部５６は、クラスタＣ２について、クラスタＣ２に属する各移動軌跡を含む最大の多角形Ｃ２´を生成して、注目領域として抽出する。同様に、注目領域抽出部５６は、クラスタＣ３について、クラスタＣ３に属する各移動軌跡を含む最大の多角形Ｃ３´を生成して、注目領域として抽出する。

また、注目領域抽出部５６は、各多角形の座標をＲＯＩ情報ＤＢ１８に格納したり、エリア設定部２８に出力したりする。注目領域抽出部５６は、設定された注目領域に関する情報として、例えば注目領域が設定された画像データなどを設定結果ＤＢ１９に格納したりする。

図５に戻り、修正処理部６０は、抽出処理部５０の抽出結果を用いて、セマンティックセグメンテーションにより得られた各エリアのラベルを修正（変更）する処理部である。図１３は、実施例１にかかる修正処理部６０を説明する図である。図１３に示すようには修正処理部６０は、抽出結果取得部６１、セマンティックセグメンテーション部６２、基準線設定部６３、クラスタリング実行部６４、ラベル修正部６５を有する。

抽出結果取得部６１は、抽出処理部５０の処理結果を取得する処理部である。例えば、抽出結果取得部６１は、修正処理部６０から、基準線に関する情報、注目領域の抽出結果、ＲＯＩに関する情報、足首の位置や身体の向きや顔の向きなどの行動認識結果などを取得して、基準線設定部６３やクラスタリング実行部６４などに出力する。

セマンティックセグメンテーション部６２は、セマンティックセグメンテーションにより、画像データの各エリアにラベルを付与する処理部である。例えば、セマンティックセグメンテーション部６２は、抽出処理部５０により注目領域の抽出に使用された画像データなど、映像データに含まれる画像データを、第１機械学習モデル１４に入力する。そして、セマンティックセグメンテーション部６２は、第１機械学習モデル１４により実行されたセマンティックセグメンテーションの実行結果を取得する。

セマンティックセグメンテーション部６２は、セマンティックセグメンテーションの実行結果（セグメンテーション結果）を基準線設定部６３に出力する。なお、セグメンテーション結果には、画像データに含まれる複数の領域それぞれについて、識別された結果を示すラベルが付与されている。例えば、セマンティックセグメンテーションの実行結果には、「棚」、「通路」、「壁」などのラベルが付与される。

基準線設定部６３は、セグメンテーション結果に基準線を設定する処理部である。図１４は、セマンティックセグメンテーションの実行結果への基準線の設定を説明する図である。図１４に示すように、基準線設定部６３は、セグメンテーション結果をセマンティックセグメンテーション部６２から取得し、基準線に関する情報を抽出結果取得部６１から取得する。そして、基準線設定部６３は、セグメンテーション結果に対して、基準線Ｂ１、Ｂ２、Ｂ３をプロットする。

クラスタリング実行部６４は、基準線設定部６３により基準線が設定されたセグメンテーション結果に対して、基準線に基づくクラスタリングを実行する処理部である。図１５は、基準線に基づくクラスタリングを説明する図である。図１５に示すように、クラスタリング実行部６４は、セグメンテーション結果に設定（識別）された各ラベルのうち、「通路」のラベルが設定されたエリアを特定する。そして、クラスタリング実行部６４は、特定した「通路」のエリアに属する各画素と各基準線（Ｂ１、Ｂ２、Ｂ３）との距離を算出し、最も距離が近い基準線に属するように、各画素をクラスタリングする。なお、距離には、各画素から各基準線に対する垂線の長さや、画素と基準線とのユークリッド距離などを用いることができる。

そして、クラスタリング実行部６４は、基準線Ｂ１に属するクラスタＬ１、基準線Ｂ２に属するクラスタＬ２、基準線Ｂ３に属するクラスタＬ３を特定する。その後、クラスタリング実行部６４は、特定結果等をラベル修正部６５等に出力する。

ラベル修正部６５は、抽出処理部５０の抽出結果に基づき、セグメンテーション結果のラベルを修正する処理部である。具体的には、ラベル修正部６５は、複数のクラスタのうち注目領域に対応する注目クラスタを特定し、注目クラスタの領域を、対応する注目領域を含む領域に修正し、修正された領域に対して設定されたラベルを、注目領域に該当するラベルに変更する。すなわち、ラベル修正部６５は、クラスタリング実行部６４により生成されたクラスタリング結果と抽出処理部５０により抽出された注目領域とを含む領域が最大を取るように、各クラスタの領域を修正し、その修正された領域を注目領域としてラベリングする。

図１６は、ラベル修正を説明する図である。図１６に示すように、ラベル修正部６５は、注目領域（Ｃ２´とＣ３´）に関する各多角形の座標を抽出処理部５０から取得し、クラスタリングされたセグメンテーション結果（画像データ）にマッピングする。そして、ラベル修正部６５は、注目領域Ｃ２´が属するクラスタＬ２と、注目領域Ｃ３´が属するクラスタＬ３とを特定する。

その後、ラベル修正部６５は、注目領域Ｃ２´が含まれるように、クラスタＬ２の領域を拡張した領域Ｌ２´を生成する。そして、ラベル修正部６５は、領域Ｌ２´に設定されているラベル「通路」を、ラベル「注目領域」に修正（変更）する。

同様に、ラベル修正部６５は、注目領域Ｃ３´が含まれるように、クラスタＬ３の領域を拡張した領域Ｌ３´を生成する。そして、ラベル修正部６５は、領域Ｌ３´に設定されているラベル「通路」を、ラベル「注目領域」に修正する。

なお、ラベル修正部６５は、注目領域の方がクラスタの領域よりも大きい場合、注目領域のラベル「通路」を、ラベル「注目領域」に修正（変更）する。ラベル修正部６５は、修正結果を含むラベル設定済みのセグメンテーション結果をエリア設定部７０に出力する。

図５に戻り、エリア設定部７０は、顔の向きまたは身体の向きに基づき、店舗１を構成する複数の領域のうちラベル「注目領域」と隣接する、人物に関連する物体が収納される領域を設定する処理部である。具体的には、エリア設定部２８は、画像データに対して、ピッキング動作の対象となる商品が置いてある商品棚エリアを特定する。すなわち、エリア設定部７０は、領域Ｌ２´や領域Ｌ３´と隣接するエリアについて、セグメンテーション結果により設定済みであるラベルを、ラベル「商品棚」に変更する。

図１７は、商品棚エリアの設定を説明する図である。図１７に示すように、エリア設定部７０は、ラベル「注目領域」が設定された領域Ｌ２´と領域Ｌ３´のそれぞれについて、各領域に属する各移動軌跡および顔の向きを、抽出処理部５０から取得してプロットする。

そして、エリア設定部７０は、顔の向きのベクトルの数が閾値以上である方向を特定し、その方向にある領域のうち、領域Ｌ２´と接する領域もしく領域Ｌ２´と隣接する領域として、領域Ｅ１と領域Ｅ２を特定する。この結果、エリア設定部２８は、セグメンテーション結果において、領域Ｅ１と領域Ｅ２のラベルを「商品棚エリア」と設定する。

同様に、エリア設定部７０は、顔の向きのベクトルの数が閾値以上である方向を特定し、その方向にある領域のうち、領域Ｌ３´と接する領域もしく領域Ｌ３´と隣接する領域として、領域Ｅ３と領域Ｅ４を特定する。この結果、エリア設定部２８は、セグメンテーション結果において、領域Ｅ３と領域Ｅ４のラベルを「商品棚エリア」と設定する。

そして、エリア設定部７０は、領域Ｅ１、領域Ｅ２、領域Ｅ３、領域Ｅ４の座標や、領域Ｅ１からＥ４それぞれを設定した画像データなどの情報を設定結果ＤＢ１９に格納する。なお、エリア設定部７０は、セグメンテーション結果ではなく、セグメンテーション結果の元となった画像データに対して、「商品棚エリア」に領域を設定することもできる。

［抽出処理の流れ］
図１８は、実施例１にかかる抽出処理の流れを示すフローチャートである。図１８に示すように、抽出処理部５０は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、抽出処理部５０は、映像データＤＢ１６から映像データを取得する（Ｓ１０２）。

続いて、抽出処理部５０は、映像データに基づき人物追跡を実行し（Ｓ１０３）、人物追跡結果に基づき、基準方向を設定する（Ｓ１０４）。例えば、抽出処理部５０は、映像データ中の同一人物をトラッキングして移動経路を抽出し、ユーザが歩く移動経路を用いて基準線を設定する。

また、抽出処理部５０は、映像データを構成する各画像データを用いた行動分析を実行し（Ｓ１０５）、行動分析の結果により、人物の位置や向きを取得する（Ｓ１０６）。例えば、抽出処理部５０は、第２機械学習モデル１５を用いて、映像データ中の各人物の顔の向き、身体の向き、足首の位置やこれらの遷移を特定する。

その後、抽出処理部５０は、各人物の移動軌跡を抽出し、各基準線と各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成する（Ｓ１０７）。例えば、抽出処理部５０は、各移動軌跡がどの基準線に近いかをクラスタリングする。

続いて、抽出処理部５０は、各クラスタについて角度を算出する（Ｓ１０８）。例えば、抽出処理部５０は、各移動軌跡に対応する身体の向きと、各移動軌跡が属するクラスタの基準線との角度を算出する。

そして、抽出処理部５０は、各クラスタについて、属する各移動軌跡の角度の中央値を算出し（Ｓ１０９）、中央値が閾値以上であるクラスタを抽出する（Ｓ１１０）。続いて、抽出処理部５０は、抽出したクラスタに属する全移動軌跡を囲む（含む）ように多角形の領域を生成し、当該領域を注目領域として抽出する（Ｓ１１１）。

その後、抽出処理部５０は、注目領域の情報、多角形の座標、行動認識結果などの抽出処理で得られた情報を、記憶部１２や修正処理部６０に出力する（Ｓ１１２）。

［修正処理の流れ］
図１９は、実施例１にかかる修正処理の流れを示すフローチャートである。図１９に示すように、修正処理部６０は、図１８の抽出処理で得られた情報を取得し（Ｓ２０１）、画像データを第１機械学習モデル１４に入力して、画像データのセマンティックセグメンテーションの実行結果を取得する（Ｓ２０２）。

続いて、修正処理部６０は、セマンティックセグメンテーションの実行結果に基準線をプロットし（Ｓ２０３）、基準線に基づくクラスタリングを実行する（Ｓ２０４）。例えば、修正処理部６０は、通路の各画素がどの基準線に近いかをクラスタリングする。

そして、修正処理部６０は、クラスタリング結果に抽出結果を重畳する（Ｓ２０５）。例えば、修正処理部６０は、クラスタリング結果に、図１８の処理で生成された注目領域の多角形をマッピングする。

その後、修正処理部６０は、重畳結果に基づき、ラベル修正を実行する（Ｓ２０６）。例えば、修正処理部６０は、注目領域を最大に含むようにクラスタの領域を拡張し、拡張した領域が属するエリアのラベル「通路」をラベル「注目領域」に修正する。そして、エリア設定部２８は、顔の向きまたは身体の向きに基づき、注目領域と隣接する商品棚エリアを設定する（Ｓ２０７）。

［効果］
上述したように、情報処理装置１０は、画像データから領域分割をするセマンティックセグメンテーションを実行し、セグメンテーション結果と動作解析結果から通路領域を再抽出し、動作解析結果から顏の向きと身体の向きのバラつきを抽出し、通路領域とバラつき情報からクラスタリングにより注目領域を抽出する。そして、情報処理装置１０は、セグメンテーション結果の通路領域にクラスタリングを実施し、クラスタリング結果と抽出された注目領域の最大を取るように領域を修正し、その修正された領域を注目領域としてラベリングする。

この結果、情報処理装置１０は、注目領域を抽出しようとすると抽出された領域に対して過不足が生じるという問題発生を抑制し、過不足のない注目領域を自動的に提供することができる。したがって、情報処理装置１０は、行動分析の対象となる注目領域を正確に設定することができる。

ところで、実施例１では、基準線を抽出して、基準線を用いたクラスタリングにより注目領域（多角形の座標）を生成する例を説明したが、注目領域の抽出はこれに限定されるものではない。例えば、情報処理装置１０は、移動時は顏と身体の向きが同じ方向を向き、選び取る行動の時は顏と身体の向きにバラつきが生じることを用いて注目領域を抽出することもできる。

そこで、実施例２では、抽出処理部５０が実行する別処理として、顏と身体の向きにバラつきを用いて注目領域を抽出する例を説明する。なお、修正処理部６０の処理は実施例１と同じなので、詳細な説明は省略する。

まず、抽出処理部５０は、カメラ２により撮像された映像データに含まれる各画像データ（フレーム）を第２機械学習モデル１５に入力し、各画像データに写っている人物の動作を認識する。具体的には、抽出処理部５０は、図８で説明した手法により、人物の２次元骨格座標、人物の足首の位置、顔の向き、身体の向きなどを特定する。

例えば、抽出処理部５０は、所定時間間隔で取得された各映像データに含まれる各画像データ（例えば１００フレーム）それぞれを第２機械学習モデル１５に入力し、各画像データに写っている人物の足首の位置、顔の向き、身体の向きを測定することで、映像データ内における人物の足首の位置の遷移、顔の向きの遷移、身体の向きの遷移を特定することができる。

次に、抽出処理部５０は、人物の２次元骨格座標を用いて、当該人物の身体の向きと顔の向きとのバラつきを抽出する。具体的には、抽出処理部５０は、映像データに含まれる各画像データ（例えば１００フレーム）についての顔の向きと身体の向きとを、動作解析部２３から取得する。続いて、抽出処理部５０は、バラつきとして、各画像データ内の人物の顔の向きと顔の向きとのなす角度を算出する。

次に、抽出処理部５０は、映像データに写っている各人物の移動軌跡を生成する。具体的には、抽出処理部５０は、映像データ内の画像データに対するセマンティックセグメンテーションの実行結果に、人物の足首の位置をプロットすることで、人物の移動軌跡を生成する。

図２０は、実施例２にかかるユーザの移動軌跡の生成を説明する図である。図２０に示すように、抽出処理部５０は、映像データ内の画像データ（例えば最後の画像データ）を、第１機械学習モデル１４に入力する。そして、抽出処理部５０は、第１機械学習モデル１４により領域（エリア）が識別されて、各エリアにラベルが設定されたセグメンテーション結果を取得する。

その後、抽出処理部５０は、セグメンテーション結果に含まれる各ラベルから、ラベル「通路」が設定された通路の領域を特定する。続いて、抽出処理部５０は、通路の領域に対して、映像データ内の各画像データから特定された各人物の足首の位置を、軌跡としてプロットする。このようにして、抽出処理部５０は、映像データについて、映像データ内の出現する人物が通路の領域を移動する移動軌跡を生成することができる。

次に、抽出処理部５０は、生成された移動軌跡のうち、人物の顔の向きと顔の向きとのなす角度が閾値以上である移動軌跡を含む領域を、注目領域として抽出する。図２１は、実施例２にかかる顔の向きと身体の向きのプロットを説明する図であり、図２２は、実施例２にかかる注目領域の抽出を説明する図である。

図２１に示すように、抽出処理部５０は、生成された移動軌跡に、特定された人物の顔の向きと身体の向きとをプロットする。続いて、抽出処理部５０は、算出された角度（バラつき）に基づき、各軌跡について、人物の顔の向きと身体の向きの角度を特定する。その後、図２２に示すように、抽出処理部５０は、移動軌跡の点群に対して、顔の向きと身体の向きとのバラつきをベースにクラスタリングを実行する。そして、抽出処理部５０は、角度が閾値以上であり、バラつきが大きいとしてクラスタリングされた領域Ｍ１とＭ２を注目領域として抽出し、角度が閾値未満であり、バラつきが小さいとしてクラスタリングされた領域Ｍ３を通路の領域として抽出する。

最後に、抽出処理部５０は、注目領域の座標を生成する。図２３は、注目領域の座標生成を説明する図である。図２３に示すように、抽出処理部５０は、注目領域として抽出されたクラスタＭ１に属する軌跡（点群）を囲む多角形Ｇを生成し、多角形Ｇの座標を抽出する。同様に、抽出処理部５０は、注目領域として抽出されたクラスタＭ２に属する軌跡を囲む多角形Ｈを生成し、多角形Ｈの座標を抽出する。

このようにして、抽出処理部５０は、映像データ内で人物の行動分析の対象である領域であって、商品に対するピッキング動作の検出対象となる領域である注目領域を絞り込むことができる。修正処理部６０は、実施例２で説明した手法により生成された注目領域の情報（例えば多角形の座標）を用いて、図１９の処理を実行する。なお、抽出処理部５０は、クラスタリングに限らず、例えば、角度が閾値以上である軌跡を最大に含む各領域を注目領域として抽出するなどの手法を用いることもできる。

［処理の流れ］
図２４は、実施例２にかかる抽出処理の流れを示すフローチャートである。図２４に示すように、処理開始が指示されると（Ｓ３０１：Ｙｅｓ）、抽出処理部５０は、映像データに基づき、動作解析を実行する（Ｓ３０２）。そして、抽出処理部５０は、動作解析に基づき、人物の顔の向き等を検出する（Ｓ３０３）。例えば、抽出処理部５０は、映像データに含まれる各画像データを第２機械学習モデル１５に入力して、各画像データに含まれる人物の２次元骨格情報や２次元骨格情報の遷移を特定し、各人物の足首の位置、顏の向き、身体の向きを検出する。

続いて、抽出処理部５０は、映像データに含まれる画像データを、第１機械学習モデル１４に入力し、セマンティックセグメンテーションの実行結果であるセグメンテーション結果を取得する（Ｓ３０４）。

そして、抽出処理部５０は、映像データに含まれる各画像データから、人物の移動軌跡を生成する（Ｓ３０５）。例えば、抽出処理部５０は、各画像データ内の人物に対して特定された足首の位置を、セグメンテーション結果にプロットすることで、各人物の移動軌跡を生成する。

その後、抽出処理部５０は、移動軌跡をプロットしたセグメンテーション結果内の各移動軌跡に、顔の向きと身体の向きとをプロットする（Ｓ３０６）。そして、抽出処理部５０は、顔の向きと身体の向きとのバラつきを検出する（Ｓ３０７）。例えば、抽出処理部５０は、各移動軌跡について、顔の向きと身体の向きの各ベクトルのなす角度を、バラつきとして取得する。

続いて、抽出処理部５０は、顔の向きと身体の向きとのバラつきをベースにクラスタリングを実行し（Ｓ３０８）、クラスタリング結果に基づき、注目領域を抽出する（Ｓ３０９）。例えば、注目領域抽出部２６は、角度が閾値以上である軌跡のクラスタを注目領域として抽出する。その後、抽出処理部５０は、注目領域の情報、多角形の座標、行動認識結果などの抽出処理で得られた情報を、記憶部１２や修正処理部６０に出力する（Ｓ３１０）。

［効果］
この情報処理装置１０を用いることで、手動で注目領域を設定する必要がないので、人為的なミスを削減でき、手動設定に比べて、膨大な画像データに対して正確かつ高速な注目領域の設定を実現することができる。また、情報処理装置１０は、人物が興味を示す顔を動かす動作が行われた領域を注目領域として抽出することができるので、図４の参考技術と異なり、過不足のない注目領域を設定できる。

また、情報処理装置１０は、過不足のない注目領域と隣接する領域を商品棚と特定することができるので、参考技術とは異なり、停止した状態でのピッキング動作に限らず、ゆっくり移動して商品を取るピッキング動作を検出することができる。この結果、情報処理装置１０は、ピッキング動作の検出精度を向上させることができ、行動分析などの精度を向上させることができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［数値等］
上記実施例で用いた数値例、カメラ数、ラベル名、軌跡の数等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、上記実施例では、店舗を例にして説明したが、これに限定されるものではなく、例えば倉庫、工場、教室、電車の車内や飛行機の客室などにも流用することができる。これらの場合、人物に関連する物体が収納された領域の一例として説明した商品棚の領域に代わりに、物を置く領域や荷物をしまう領域が検出、設定対象となる。

また、上記実施例では、人物の足首の位置を用いる例を説明したが、これに限定されるものではなく、例えば足の位置、靴の位置などを用いることもできる。また、上記実施例では、顔の向きの方向にあるエリアを商品棚エリアと特定する例を説明したが、身体の向きの方向にあるエリアを商品棚エリアと特定することもできる。また、各機械学習モデルは、ニューラルネットワークなどを用いることができる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図２５は、ハードウェア構成例を説明する図である。図２５に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２５に示した各部は、バス等で相互に接続される。

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図５に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図５等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、事前学習部３０、取得部４０、抽出処理部５０、修正処理部６０、エリア設定部７０等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、事前学習部３０、取得部４０、抽出処理部５０、修正処理部６０、エリア設定部７０等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 訓練データＤＢ
１４ 第１機械学習モデル
１５ 第２機械学習モデル
１６ 映像データＤＢ
１７ セグメント結果ＤＢ
１８ ＲＯＩ情報ＤＢ
１９ 設定結果ＤＢ
２０ 制御部
３０ 事前学習部
４０ 取得部
５０ 抽出処理部
５１ 追跡部
５２ 動作解析部
５３ 基準線抽出部
５４ クラスタリング実行部
５５ 角度算出部
５６ 注目領域抽出部
６０ 修正処理部
６１ 抽出結果取得部
６２ セマンティックセグメンテーション部
６３ 基準線設定部
６４ クラスタリング実行部
６５ ラベル修正部
７０ エリア設定部

Claims (8)

1. コンピュータに、
   複数のエリアを有する画像データを取得し、
   前記画像データを第一の機械学習モデルに入力することで、前記複数のエリアのそれぞれにラベルを設定し、
   前記複数のエリアのうちの第一のエリアに位置する人物が、第二のエリアに位置する物体に対して行った行動を特定し、
   特定された前記人物の行動に基づいて、前記第二のエリアに設定されたラベルを変更する、
   処理を実行させることを特徴とするラベル変更プログラム。
2. 前記行動を特定する処理は、
   取得した前記画像データを第二の機械学習モデルに入力することで、前記第一のエリアに位置する前記人物の骨格情報を生成し、
   前記変更する処理は、
   生成した前記骨格情報に基づいて、前記人物が、前記第二のエリアに物体に対する行動を特定し、
   特定された前記行動を用いて、前記第二のエリアに設定されたラベルを変更する、処理を実行することを特徴とする請求項１に記載のラベル変更プログラム。
3. 室内を撮像した前記画像データを含む映像データに基づき同一人物を追跡した追跡情報を用いて、前記画像データの通路領域に、人物の移動経路を示す各基準線を設定し、
   前記映像データに写る各人物の骨格情報に基づき、前記各人物の位置を特定し、
   前記各人物の位置を用いて、前記映像データにおける前記各人物の移動軌跡を特定し、
   前記画像データにおいて、前記各基準線と前記各人物の移動軌跡との距離に基づくクラスタリングにより、複数のクラスタを生成し、
   前記複数のクラスタそれぞれについて、前記クラスタに属する各移動軌跡と前記基準線とのなす角度に基づく評価値が閾値以上であるクラスタを含む注目領域に抽出し、
   前記第一の機械学習モデルにより設定された前記複数のエリアそれぞれに設定される前記ラベルを、前記クラスタを含む注目領域に基づき変更する、
   処理を実行することを特徴とする請求項１に記載のラベル変更プログラム。
4. 前記変更する処理は、
   前記第一の機械学習モデルにより識別された通路領域に、前記各基準線を設定し、
   前記通路領域に属する各画素と前記各基準線との距離に基づくクラスタリングにより、複数のクラスタを生成し、
   前記複数のクラスタのうち前記注目領域に対応する注目クラスタを特定し、
   前記注目クラスタの領域を、対応する前記注目領域を含む領域に修正し、
   前記第一の機械学習モデルにより前記修正された領域に対して設定済みであるラベルを、前記注目領域に該当するラベルに変更する、
   処理を実行することを特徴とする請求項３に記載のラベル変更プログラム。
5. 前記画像データを含む映像データ内の各画像データから、前記映像データに写る各人物の位置を特定し、
   前記各人物の位置における前記人物の顔の向きと前記人物の身体の向きとのなす角度に基づき、前記第一のエリア内で、前記人物の行動分析の対象となる注目領域を特定し、
   前記第一の機械学習モデルにより設定された前記複数のエリアそれぞれのラベルを、前記注目領域に基づき変更する、
   処理を実行することを特徴とする請求項１に記載のラベル変更プログラム。
6. 前記変更する処理は、
   前記第一の機械学習モデルにより識別された通路領域に、人物の移動経路を示す各基準線を設定し、
   前記通路領域に属する各画素と前記各基準線との距離に基づくクラスタリングにより、複数のクラスタを生成し、
   前記複数のクラスタのうち前記注目領域に対応する注目クラスタを特定し、
   前記注目クラスタの領域を、対応する前記注目領域を含む領域に修正し、
   前記第一の機械学習モデルにより前記修正された領域に対して設定されたラベルを、前記注目領域に該当するラベルに変更する、
   処理を実行することを特徴とする請求項５に記載のラベル変更プログラム。
7. コンピュータが、
   複数のエリアを有する画像データを取得し、
   前記画像データを第一の機械学習モデルに入力することで、前記複数のエリアのそれぞれにラベルを設定し、
   前記複数のエリアのうちの第一のエリアに位置する人物が、第二のエリアに位置する物体に対して行った行動を特定し、
   特定された前記人物の行動に基づいて、前記第二のエリアに設定されたラベルを変更する、
   処理を実行させることを特徴とするラベル変更方法。
8. 複数のエリアを有する画像データを取得し、
   前記画像データを第一の機械学習モデルに入力することで、前記複数のエリアのそれぞれにラベルを設定し、
   前記複数のエリアのうちの第一のエリアに位置する人物が、第二のエリアに位置する物体に対して行った行動を特定し、
   特定された前記人物の行動に基づいて、前記第二のエリアに設定されたラベルを変更する、
   制御部を有することを特徴とする情報処理装置。
   

Images