JP2016058074A - Behavior analysis device and behavior analysis program - Google Patents
Behavior analysis device and behavior analysis program Download PDFInfo
- Publication number
- JP2016058074A JP2016058074A JP2015156865A JP2015156865A JP2016058074A JP 2016058074 A JP2016058074 A JP 2016058074A JP 2015156865 A JP2015156865 A JP 2015156865A JP 2015156865 A JP2015156865 A JP 2015156865A JP 2016058074 A JP2016058074 A JP 2016058074A
- Authority
- JP
- Japan
- Prior art keywords
- action
- person
- sequence
- module
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 246
- 238000001514 detection method Methods 0.000 abstract description 29
- 230000006399 behavior Effects 0.000 description 47
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 23
- 230000010365 information processing Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000007480 spreading Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、行動分析装置及び行動分析プログラムに関する。 The present invention relates to a behavior analysis apparatus and a behavior analysis program.
特許文献1には、店舗エリア内の特定のエリアにおける人物と商品との関連性について詳細な分析を容易に行えるようにすることを課題とし、同一人物の動線データと商取引データとを関連付ける情報を記憶する関連付け情報記憶部と、店舗エリア内を細分化したサブエリアをそれぞれ特定する情報を記憶するサブエリア情報記憶部とを設け、分析条件としてサブエリアの指定を受付けると、サブエリア情報記憶部内の当該指定サブエリアを特定する情報と動線データベース内の各動線データとから、当該指定サブエリアを通過した人物の動線データを抽出し、関連付け情報記憶部内のデータを参照して、抽出された動線データと関連付けられた商取引データを特定し、抽出された動線データと商取引データとの関連性を示す情報を作成して、この作成された情報により店舗エリア内における人物の行動の特徴を分析することが開示されている。 Patent Document 1 discloses information that associates flow line data and commercial transaction data of the same person with an object to facilitate detailed analysis of the relationship between a person and a product in a specific area in a store area. And a sub-area information storage unit for storing information specifying each sub-area subdivided in the store area, and sub-area information storage when receiving the designation of the sub-area as an analysis condition From the information specifying the designated subarea in the department and each flow line data in the flow line database, extract the flow line data of the person who has passed the designated subarea, referring to the data in the association information storage section, Identify the transaction data associated with the extracted flow line data, and create information that indicates the relationship between the extracted flow line data and the transaction data It discloses to analyze the characteristics of the behavior of a person in the shop area This created information.
特許文献2には、画像のシーン、さらには画像内の人物の行動意図を自動認識することを課題とし、画像処理部は、撮像部で取得した画像内のオブジェクトを抽出し、認知部は、抽出したオブジェクトの属性(人物か否か、人物であればその行動、物体であればその名称)を決定し、シーン認知部は、シーン候補の中からオブジェクトの属性に基づいて最も確からしいシーンを選択し、推測部は、認知されたシーンにおける人物オブジェクトの行動属性に基づき、複数の可能な行動意図から最も合致する行動意図を特定することが開示されている。 Patent Document 2 has a problem of automatically recognizing a scene of an image, and further a behavior intention of a person in the image, the image processing unit extracts an object in the image acquired by the imaging unit, The attribute of the extracted object (whether or not it is a person, its action if it is a person, its name if it is an object) is determined, and the scene recognition unit selects the most probable scene from the scene candidates based on the attribute of the object. It is disclosed that the selection and estimation unit specifies the action intention that best matches the plurality of possible action intentions based on the action attribute of the person object in the recognized scene.
本発明は、人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定するようにした行動分析装置及び行動分析プログラムを提供することを目的としている。 The present invention provides a behavior analysis apparatus and a behavior analysis program that specify an action performed on a target object immediately before the person leaves the target object as a cause of non-purchase of the target object in the person. The purpose is that.
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。 The gist of the present invention for achieving the object lies in the inventions of the following items.
請求項1の発明は、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段とを有する行動分析装置である。 According to the first aspect of the present invention, an action sequence specifying means for specifying a sequence of actions performed by a person on an object and an action included in the action sequence immediately before the person leaves the object. It is an action analysis device having action specifying means for specifying an action performed on an object as a cause leading to a determination that the person does not purchase the object.
請求項2の発明は、さらに前記人物の当該対象物に対する位置を検出する、人物位置検出手段を有し、前記行為特定手段は、前記人物位置検出手段が検出した前記人物の当該対象物に対する位置に基づき、前記人物が対象物から立ち去る直前に当該対象物に対して行った行為を特定するものである、請求項1に記載の行動分析装置である。 The invention of claim 2 further includes person position detecting means for detecting the position of the person with respect to the object, and the action specifying means is the position of the person with respect to the object detected by the person position detecting means. The behavior analysis apparatus according to claim 1, wherein an action performed on the object immediately before the person leaves the object is specified based on the above.
請求項3の発明は、コンピュータを、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、として機能させるための行動分析プログラムである。 The invention according to claim 3 is an action sequence specifying means for specifying a sequence of actions performed by a person on an object, and among the actions included in the action sequence, the person leaves the object. It is an action analysis program for functioning as an action specifying means for specifying an action performed on the target object immediately before as a cause leading to a determination that the person does not purchase the target object.
請求項4の発明は、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段とを有する行動分析装置である。 The invention of claim 4 is an action sequence specifying means for specifying a sequence of actions performed by a person on an object, and an action of returning the object to an original position among actions included in the action sequence. It is an action analysis device having action specifying means for specifying the immediately preceding action as a cause leading to the decision that the person does not purchase the object.
請求項5の発明は、コンピュータを、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、として機能させるための行動分析プログラムである。 According to a fifth aspect of the present invention, an action sequence specifying means for specifying a sequence of actions performed by a person on an object and an action included in the action sequence, the object is placed at an original position. It is an action analysis program for functioning as an action specifying means for specifying an action immediately before returning an action as a cause leading to a decision that the person does not purchase the object.
請求項1の行動分析装置によれば、人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定することができる。 According to the behavior analysis apparatus of the first aspect, it is possible to specify an action performed on a target object immediately before the person leaves the target object as a cause of non-purchase of the target object for the person.
請求項2の行動分析装置によれば、人物の対象物に対する位置に基づいて、行為を特定することができる。 According to the behavior analysis apparatus of the second aspect, an action can be specified based on a position of a person with respect to an object.
請求項3の行動分析プログラムによれば、人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定することができる。 According to the behavior analysis program of the third aspect, it is possible to specify an action performed on a target object immediately before the person leaves the target object as a cause of non-purchase of the target object for the person.
請求項4の行動分析装置によれば、対象物を元の位置に戻す行為の直前の行為を、対象としている人物におけるその対象物の非購入の原因として特定することができる。 According to the behavior analysis apparatus of the fourth aspect, the act immediately before the act of returning the target object to the original position can be specified as the cause of non-purchase of the target object in the target person.
請求項5の行動分析プログラムによれば、対象物を元の位置に戻す行為の直前の行為を、対象としている人物におけるその対象物の非購入の原因として特定することができる。 According to the behavior analysis program of the fifth aspect, the act immediately before the act of returning the target object to the original position can be specified as the cause of non-purchase of the target object in the target person.
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
<第1の実施の形態>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
Hereinafter, examples of various preferred embodiments for realizing the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a conceptual module configuration diagram of a configuration example according to the first embodiment.
The module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the module in the present embodiment indicates not only a module in a computer program but also a module in a hardware configuration. Therefore, the present embodiment is a computer program for causing these modules to function (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, and a function for each computer. This also serves as an explanation of the program and system and method for realizing the above. However, for the sake of explanation, the words “store”, “store”, and equivalents thereof are used. However, when the embodiment is a computer program, these words are stored in a storage device or stored in memory. This means that the device is controlled so as to be stored. Modules may correspond to functions one-to-one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely, one module May be composed of a plurality of programs. The plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers in a distributed or parallel environment. Note that one module may include other modules. Hereinafter, “connection” is used not only for physical connection but also for logical connection (data exchange, instruction, reference relationship between data, etc.). “Predetermined” means that the process is determined before the target process, and not only before the process according to this embodiment starts but also after the process according to this embodiment starts. In addition, if it is before the target processing, it is used in accordance with the situation / state at that time or with the intention to be decided according to the situation / state up to that point. When there are a plurality of “predetermined values”, they may be different values, or two or more values (of course, including all values) may be the same. In addition, the description having the meaning of “do B when it is A” is used in the meaning of “determine whether or not it is A and do B when it is judged as A”. However, the case where it is not necessary to determine whether or not A is excluded.
In addition, the system or device is configured by connecting a plurality of computers, hardware, devices, and the like by communication means such as a network (including one-to-one correspondence communication connection), etc., and one computer, hardware, device. The case where it implement | achieves by etc. is also included. “Apparatus” and “system” are used as synonymous terms. Of course, the “system” does not include a social “mechanism” (social system) that is an artificial arrangement.
In addition, when performing a plurality of processes in each module or in each module, the target information is read from the storage device for each process, and the processing result is written to the storage device after performing the processing. is there. Therefore, description of reading from the storage device before processing and writing to the storage device after processing may be omitted. Here, the storage device may include a hard disk, a RAM (Random Access Memory), an external storage medium, a storage device via a communication line, a register in a CPU (Central Processing Unit), and the like.
第1の実施の形態である行動分析を行う情報処理装置100は、人物の行為を特定ものであって、図1の例に示すように、人物位置検出モジュール110、行為シーケンス特定モジュール120、行為特定モジュール130を有している。
情報処理装置100は、例えば、店舗における顧客の行動を特定するのに用いられる。より具体的には、商品の購入、非購入に至った重要な行動を把握できるようにする。例えば、顧客の売り場での一連の行動において、立ち去り間際に行った行動が、購入、非購入の決定に至った原因としてより重要であるとして、重要度を上げて通知することに用いてもよい。
なお、店舗における顧客の行動だけでなく、展示会における顧客の行動、街中において歩行者のデジタルサイネージ等の広告に対する行動、ポスターセッション等において参加者のポスターに対する行動等を対象としてもよい。以下の説明では、店舗における顧客の行動、対象物として売り場内の棚にある商品を例示して説明する。
The
The
In addition to the customer's behavior at the store, the customer's behavior at the exhibition, the behavior of the pedestrian in digital signage, etc. in the city, the behavior of the participant in the poster session, etc. may be targeted. In the following description, a customer's behavior in a store and a product on a shelf in a sales floor will be described as an example.
人物位置検出モジュール110は、行為シーケンス特定モジュール120と接続されている。人物位置検出モジュール110は、人物の対象物に対する位置を検出する。例えば、予め定められた位置に備え付けられたカメラによって、撮影された画像から人物を抽出する。画像から人物を抽出する方法として、顔画像認識技術、人物の位置を特定する人検知技術等の既存の技術を用いればよい。これによって、備え付けられたカメラの位置、撮影された画像の位置(カメラの方向、角度等から特定される撮影場所の位置)、画像内の人物の位置から、人物の位置を特定することができる。また、人物が所持しているICカード、携帯端末等内の情報(例えば、所持者を特定するID(IDentification)等)を、予め定められた位置に備え付けられた読取装置で読み取ることによって人物の位置を特定してもよい。これらのカメラ、読取装置は、例えば、店舗内に備え付けられている。この場合、特定対象の人物は、一般的に顧客となる。なお、人物の特定は、その人物の名前等については特定する必要なく、人であり、その人がいる位置を特定できればよい。また、人物の顔の方向、その人物の視線、その人物の手の位置等を検出してもよい。
また、対象物が、予め定められた位置にある場合(前述の売り場内の棚にある商品のような場合)は、その対象物の位置の特定は必要ない。つまり、その対象物の予め定められた位置と人物の位置との関係を検出できる。
また、物認識技術によって、対象物を認識するようにしてもよい。対象物にはタグが備え付けられており、対象物を特定する情報が埋め込まれており、そのタグ内の情報を読取装置が読み取るようにしてもよい。これによって、対象物の位置と人物の位置との関係を検出できる。
The person
Further, when the object is at a predetermined position (such as a product on a shelf in the sales floor described above), it is not necessary to specify the position of the object. That is, the relationship between the predetermined position of the object and the position of the person can be detected.
Moreover, you may make it recognize a target object by an object recognition technique. The object may be provided with a tag, and information specifying the object may be embedded, and the information in the tag may be read by the reading device. As a result, the relationship between the position of the object and the position of the person can be detected.
行為シーケンス特定モジュール120は、人物位置検出モジュール110、行為特定モジュール130と接続されている。行為シーケンス特定モジュール120は、人物が対象物に対して行った行為のシーケンスを特定する。ここで「行為のシーケンス」とは、「行為の順番」のことである。「行為」として、例えば、対象物の前で立ち止まる又は立ち去る、対象物を見る、対象物に触る、対象物を手にとる、対象物を元の位置に戻す、他の人物(例えば、同行者、店員等)との話し合い、対象物に付されているタグ(例えば、価格、成分、原産地等が表示されているタグ)を見る等がある。これらの行為は、人検知技術を用いて手の認識、顔又は視線の方向、マイク等を用いた会話の認識等の既存の技術を用いればよい。
そして、それらの行為が行われた日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)を記録する。これによって、行為のシーケンスを特定することができる。
The action
Then, the date and time (year, month, day, hour, minute, second, second or less, or a combination thereof) when these actions are performed is recorded. Thereby, the sequence of actions can be specified.
行為特定モジュール130は、行為シーケンス特定モジュール120と接続されている。行為特定モジュール130は、行為シーケンス特定モジュール120によって特定された行為シーケンスと、人物位置検出モジュール110によって検出された人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定する。ここでの特定は、対象物に対して影響を及ぼす行為として特定するものであって、予め定められた条件に合致する行為を特定する。「対象物に対して影響を及ぼす行為」としては、例えば、店舗の場合は、対象物である商品を購入する(又は購入しなかった)にあたって、重要な行為(購入、非購入の決定に至るための原因となる行為又は主な原因を示す行為)である。その場合の「予め定められた条件に合致する行為」としては、例えば、立ち去りの直前の行為を特定してもよいし、立ち寄り後に最初に行った行為を特定してもよい。また、その行為の回数、その行為が行われた時間(継続時間)等によって重み付けを行って、行為を特定してもよい。また、「立ち去り直前の行為」として、対象物を元の位置に戻す行為は除外してもよい。その場合は、「立ち去り直前の行為」とは、「対象物を元の位置に戻す行為の直前の行為」となる。
そして、特定した行為を、例えば、人物の売り場での一連の行動において、立ち去り間際に行った行動が、購入、非購入の決定に至った原因としてより重要であるとして、重要度を上げて通知するようにしてもよい。
The
And, for example, in a series of actions at a person's sales floor, the action that was just taken away is more important as the cause of the decision to purchase or not purchase. You may make it do.
図2は、第1の実施の形態を実現した場合のシステム構成例を示す説明図である。
情報処理装置100、カメラ210a、カメラ210b、カメラ210cは、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのイントラネット、インターネット等であってもよい。カメラ210は、例えば、店舗内に備え付けられており、人物を撮影する。情報処理装置100は、カメラ210から画像を受け取り、画像内の人物を解析して、対象物に対して影響を及ぼす行為を特定する。
FIG. 2 is an explanatory diagram illustrating an example of a system configuration when the first embodiment is realized.
The
図3は、第1の実施の形態による処理例を示すフローチャートである。
ステップS302では、人物が立ち寄ったことを検出する。
ステップS304では、立ち寄った日時を保存する。
ステップS306では、行動が行われたか否かを判断し、行われた場合はステップS308へ進み、それ以外の場合はステップS310へ進む。
ステップS308では、行動の種類と時刻を保存し、ステップS306へ戻る。ここでの行動の種類として、以下のものがある。
・一人の行動
商品を見る
周りをキョロキョロ見回す
・商品を手にとっての行動
商品を手元で見る
商品を上下にふる
商品の表・裏をひっくり返す
商品を両手で広げる
服などの商品を体にあわせる
複数の商品を見比べる
・他人との行動
友人など連れている人と話す
店員と話す
FIG. 3 is a flowchart illustrating a processing example according to the first exemplary embodiment.
In step S302, it is detected that a person has stopped by.
In step S304, the date and time when the user visited was saved.
In step S306, it is determined whether or not an action has been performed. If so, the process proceeds to step S308. Otherwise, the process proceeds to step S310.
In step S308, the action type and time are stored, and the process returns to step S306. The types of action here are as follows.
・ Behavior of one person Look at the product Look around around ・ Behavior with the product in hand View the product at hand Swipe the product upside down Turn the product upside down with both hands Spread the product with both hands Match clothes and other products to your body Multiple Compare products / Action with others Talk with friends
ステップS310では、人物が立ち去ったか否かを判断し、立ち去った場合はステップS312へ進み、それ以外の場合はステップS306へ戻る。
ステップS312では、立ち去った日時を保存する。
ステップS314では、行動のシーケンスから、予め定められた条件に合致する行動を検出し保存する。
In step S310, it is determined whether or not the person has left. If the person has left, the process proceeds to step S312; otherwise, the process returns to step S306.
In step S312, the date and time of leaving is stored.
In step S314, an action that matches a predetermined condition is detected and stored from the action sequence.
図4は、第1の実施の形態による処理例を示す説明図である。人物の行動として、順に、「立ち寄り」410(店舗内の予め定められたエリアに入ったこと)、「商品へのアクション(取り出し)」420、「商品を見る」430、「同行者との相談」440、「店員との相談」450、「同行者との相談」460、「商品へのアクション(戻し)」470、「立ち去り」480(そのエリアからいなくなること)の行為が行われた例を示している。これらは、行為シーケンス特定モジュール120によって、行為シーケンスとして特定されたものである。特に、「商品を見る」430では、その行為が1回行われ、その時間は7秒であった。「店員との相談」450では、その行為が1回行われ、その時間は45秒であった。「同行者との相談」460では、その行為が2回行われ、その時間の合計156秒であった。また、「立ち寄り」410から「立ち去り」480までの滞在時間は、305秒であり、商品へのアクションは2回行われたことがわかる。
行為特定モジュール130は、この行為シーケンス内から、重要な行為を推定する。例えば、以下の行為を特定する。予め定められた条件「立ち去り直前に行った行動を重み付けする」の場合は、「同行者との相談」460を特定する。予め定められた条件「立ち寄りで最初に行った行動を重み付けする」の場合は、「商品を見る」430を特定する。予め定められた条件「回数、時間で重み付けする」の場合は、「同行者との相談」460を特定する。
また、特定対象となる行為として、「立ち寄り」410、「立ち去り」480を除外するようにしてもよい。「立ち寄り」410、「立ち去り」480は、購入、非購入の判断には適していないからである。なお、商品へのアクションとして、「商品へのアクション(取り出し)」420、「商品へのアクション(戻し)」470のように2つの種類に区別しなくてもよい。画像処理によって商品の取り出し、戻しの分離は難しいため、1つとして処理する。この場合は、商品へのアクションも特定対象となる行為から除外してもよい。
FIG. 4 is an explanatory diagram illustrating a processing example according to the first exemplary embodiment. As actions of a person, in order, “stop” 410 (entering a predetermined area in the store), “action to product (removal)” 420, “view product” 430, “consultation with accompanying person” 440, “Consultation with store clerk” 450, “Consultation with accompanying person” 460, “Action (return) to product” 470, “Leaving” 480 (to leave the area) Is shown. These are specified as action sequences by the action
The
Further, “stop” 410 and “leave” 480 may be excluded as acts to be specified. This is because “stop” 410 and “leave” 480 are not suitable for the determination of purchase or non-purchase. Note that it is not necessary to distinguish between two types of actions for a product, such as “action for product (retrieve)” 420 and “action for product (return)” 470. Since it is difficult to separate and return the product by image processing, it is processed as one. In this case, you may exclude the action to goods from the action used as specific object.
<第2の実施の形態>
図5は、第2の実施の形態の構成例についての概念的なモジュール構成図である。
情報処理装置500は、人物位置検出モジュール110、行為シーケンス特定モジュール120、行為特定モジュール130、売上関係分析モジュール540を有している。そして、人物位置検出モジュール110は、顔識別モジュール510を有している。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する(以下、同様)。
顔識別モジュール510は、人物位置検出モジュール110によって検出された人物の顔を認識し、人物が予め定められた人物(例えば、店員)であるか否かを判断する。対象としている人物以外の人物が第2の人物であり、例えば、店員、同伴者等である。また、店員の顔画像は、予め撮影しておき、画像内の人物は店員であるか否かを判断する。
人物位置検出モジュール110は、対象となっている人物とその他の人物(例えば、店員、同伴者)との間で行われた行為も抽出する。
行為特定モジュール130は、行為シーケンス特定モジュール120、売上関係分析モジュール540と接続されている。行為特定モジュール130は、行為シーケンスと、人物の対象物に対する位置と、人物と予め定められた第2の人物との関係とに基づき、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定する。ここで例えば、対象としている人物が「来店客」であり第2の人物が「店員」である場合は、「人物と予め定められた第2の人物との関係」として「店員と来店客」という関係を特定し、この関係とこれらの人物間で行われた行為とにより、例えば「来店客が店員に相談した」という「対象となる人物の行為」を特定することができる。
売上関係分析モジュール540は、行為特定モジュール130と接続されている。売上関係分析モジュール540は、対象となっている人物の購買情報に基づいて、その人物の行為を特定する。例えば、対象物である商品の価格等に応じて、行為を特定するようにしてもよい。
<Second Embodiment>
FIG. 5 is a conceptual module configuration diagram of a configuration example according to the second embodiment.
The
The
The person
The
The sales
図6は、第2の実施の形態を実現した場合のシステム構成例を示す説明図である。
情報処理装置500、カメラ210a、カメラ210b、カメラ210c、販売管理装置600は、通信回線290を介してそれぞれ接続されている。販売管理装置600は、例えば、POS(Point Of Sale system)であり、商品に関する情報、対象としている人物の購買情報等を情報処理装置500に渡す。情報処理装置500は、カメラ210から画像を受け取り、画像内の人物を解析して、販売管理装置600からの情報を用いて、対象物に対して影響を及ぼす行為を特定する。
FIG. 6 is an explanatory diagram illustrating an example of a system configuration when the second embodiment is realized.
The
図7は、行動・POS相関テーブル700のデータ構造例を示す説明図である。
行動・POS相関テーブル700は、対象商品欄710、初めに商品を手に取る欄720、終わりに商品を取る欄730、店員との相談時間欄740、同行者との相談時間欄750、商品へのアクセス回数欄760を有しており、売上との相関度を記憶している。売上関係分析モジュール540は、行動・POS相関テーブル700を用いて、売上との相関度が高い行為を特定している。
対象商品欄710は、商品を記憶している。初めに商品を手に取る欄720は、「初めに商品を手に取る」という行為と売上との相関度を記憶している。終わりに商品を取る欄730は、「終わりに商品を取る」という行為と売上との相関度を記憶している。店員との相談時間欄740は、「店員との相談時間」と売上との相関度を記憶している。同行者との相談時間欄750は、「同行者との相談時間」と売上との相関度を記憶している。商品へのアクセス回数欄760は、「商品へのアクセス回数」と売上との相関度を記憶している。なお、初めに商品を手に取る欄720における「初め」とは、「立ち寄り」410から予め定められた期間内をいい、終わりに商品を取る欄730における「終わり」とは、「立ち去り」480前の予め定められた期間内をいう。また、店員との相談時間欄740、同行者との相談時間欄750を、前半部分(「立ち寄り」410から「立ち去り」480までの期間における前半部分)と後半部分に分けてもよい。そして、複数の行為(その順序を含めてもよい)の欄を設けるようにしてもよい。
各欄には、記号として「◎」(相関度が高い)、「○」、「△」、「×」(相関はない)が記載されている。
例えば、価格が安い商品Aが対象物の場合は、「初めに商品を手に取る」という行為に対して、他の行為よりも高い重み付けを行い、「同行者との相談時間」に対して、他の行為(「△」、「×」)よりも高い重み付けを行い、より重要な行為を特定する。また、同じ行為でも、行動シーケンスの前半・後半のどちらに行われた行為がより重要であるかも特定する。
また、逆に、売上関係分析モジュール540による解析結果が蓄積された場合は、商品毎の実際の販売数を抽出して、行動・POS相関テーブル700を修正するようにしてもよい。そして、価格が安い商品Aと「初めに商品を手に取る」行為との相関が高いことが判明した場合は、その商品Aについて、「商品POP(Point Of Purchase advertising、店舗内の広告媒体)を強調する」、「手に取りやすいようにする」等の改善を行うようにメッセージを提示するようにしてもよい。また、価格が高く品質のよい商品Bと「店員との相談時間」との相関が高いことが判明した場合は、その商品Bについて、「店員配置を増やす」等の改善を行うようにメッセージを提示するようにしてもよい。
FIG. 7 is an explanatory diagram showing an example of the data structure of the behaviour / POS correlation table 700.
The behavior / POS correlation table 700 includes a
The
In each column, “◎” (high correlation degree), “◯”, “Δ”, “×” (no correlation) is described as a symbol.
For example, when the product A with a low price is the target, the act of “first picking up the product” is weighted higher than other acts, and the “consultation time with the companion” is given. , Weighting higher than other actions (“Δ”, “×”) and specifying more important actions. It also identifies whether the action performed in the first half or the second half of the action sequence is more important for the same action.
Conversely, when the analysis result by the sales
図8、図9は、第2の実施の形態による処理例を示す説明図である。また、行為シーケンス特定モジュール120は、行動特徴量を利用するようにしてもよい。行為シーケンス特定モジュール120は、全ての行為(例えば、商品を見ている)を抽出する必要は無く、映像上の動きから、ビデオインデキシングの技術を用いて、時間軸で分割するようにしてもよい。そして、分割した時間軸上での、動画特徴量をもとに、重要だと考えられる行為における動画特徴量(例えば、手の上下の動き)を取得するようにしてもよい。
図8は、人物の行動として、順に、「立ち寄り」810、「商品へのアクション(取り出し)」820、「手の上下動き」830、「店員との相談」840、「手を左右に広げる」850、「立ち去り」860の行為が行われた例を示している。
図9は、人物の行動として、順に、「立ち寄り」910、「商品へのアクション(取り出し)」920、「首を左右に動かす」930、「手を左右に広げる」940、「商品へのアクション(戻し)」950、「立ち去り」960の行為が行われた例を示している。
「手を左右に広げる」(実際には商品を広げて見る)を重要な行動(「手を左右に広げる」850、「手を左右に広げる」940)として特定する。
8 and 9 are explanatory diagrams illustrating an example of processing according to the second embodiment. Further, the action
FIG. 8 shows, as actions of a person, “stop” 810, “action to product (removal)” 820, “up and down movement of hand” 830, “consultation with a store clerk” 840, “spread hands left and right”. 850 shows an example in which the action “Leave” 860 is performed.
FIG. 9 shows the actions of a person in order of “stop” 910, “action on product (removal)” 920, “move his / her neck left / right” 930, “spread his hand left / right” 940, “action on product” In this example, the actions of (return) ”950 and“ leave ”960 are performed.
“Spreading hands to the left and right” (actually spreading the product and viewing) is specified as an important action (“stretching hands to the left and right” 850, “spreading hands to the left and right” 940).
<第3の実施の形態>
図10は、第3の実施の形態の構成例についての概念的なモジュール構成図である。
情報処理装置1000は、人物位置検出モジュール110、行為シーケンス特定モジュール120、行為特定モジュール130、携帯端末操作検出モジュール1010を有している。
情報処理装置1000は、例えば、売り場における携帯端末の操作ログと連携し、携帯端末上で閲覧等された情報を検出する。携帯端末として、例えば、携帯電話(スマートフォンを含む)、ウェアラブルコンピュータ(wearable computer)等がある。
携帯端末操作検出モジュール1010は、行為特定モジュール130と接続されている。携帯端末操作検出モジュール1010は、人物の行為と関連付けられる、その人物による携帯端末の操作を抽出する。携帯端末が対象物にかざされる行為(カメラでその対象物(商品)のタグを撮影する行為)が検出された場合、その対象物に関する情報を記載しているホームページへのアクセスがあった場合、その携帯端末から操作があったことの通知を受け付けた場合、又はその携帯端末から操作ログの送信を受け付けた場合等に、携帯端末操作検出モジュール1010が起動される。そして、その携帯端末において、行為シーケンス特定モジュール120によって特定された行為シーケンスの期間に行われた操作を抽出する。
行為特定モジュール130は、行為シーケンス特定モジュール120、携帯端末操作検出モジュール1010と接続されている。行為特定モジュール130は、携帯端末操作検出モジュール1010によって抽出された、人物の携帯端末の操作に基づいて、その人物の行為を特定する。例えば、その操作が対象物の価格を表示する操作であった場合は、その行為(操作)を特定する。
<Third Embodiment>
FIG. 10 is a conceptual module configuration diagram of a configuration example according to the third embodiment.
The
For example, the
The mobile terminal
The
図11は、第3の実施の形態を実現した場合のシステム構成例を示す説明図である。
情報処理装置1000、携帯端末1110a、携帯端末1110b、携帯端末1110c、商品情報提示装置1120a、商品情報提示装置1120bは、通信回線1190を介してそれぞれ接続されている。通信回線1190は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。そして、店舗内では、情報処理装置1000、カメラ210a、カメラ210b、カメラ210cは、通信回線290を介してそれぞれ接続されている。店舗内にいる人物は、携帯端末1110を用いて、商品情報提示装置1120へアクセスする。情報処理装置1000は、そのアクセスを検知して、そのアクセスに基づいて、行為を特定する。
FIG. 11 is an explanatory diagram showing an example of a system configuration when the third embodiment is realized.
The
図12は、第3の実施の形態による処理例を示すフローチャートである。
ステップS1202では、行動内に携帯端末に対する操作はあったか否かを判断し、あった場合はステップS1204へ進み、それ以外の場合は処理を終了する(ステップS1299)。
ステップS1204では、その携帯端末での操作を検出する。
ステップS1206では、行動、行動シーケンスと携帯端末での操作との相関を検出する。相関の検出処理については、図13、図14の例を用いて、後述する。
ステップS1208では、対象としている人物とマッチングする携帯端末はあるか否かを判断し、ある場合はステップS1210へ進み、それ以外の場合は処理を終了する(ステップS1299)。
ステップS1210では、携帯端末での操作を抽出する。
FIG. 12 is a flowchart illustrating a processing example according to the third exemplary embodiment.
In step S1202, it is determined whether or not there has been an operation on the mobile terminal in the action. If there is, the process proceeds to step S1204, and otherwise the process ends (step S1299).
In step S1204, an operation on the portable terminal is detected.
In step S1206, the correlation between the action, the action sequence, and the operation on the mobile terminal is detected. The correlation detection process will be described later using the examples of FIGS.
In step S1208, it is determined whether or not there is a mobile terminal that matches the target person. If there is, the process proceeds to step S1210. Otherwise, the process ends (step S1299).
In step S1210, an operation on the mobile terminal is extracted.
図13は、第3の実施の形態による処理例を示す説明図である。売り場での人物の行動をカメラ210によって撮影し、分析する。この分析結果(行為シーケンス)と携帯端末の操作ログ(携帯端末1110から受け取ってもよいし、商品情報提示装置1120から受け取ってもよい)から、誰が携帯端末を操作しているかを検出する。そして、携帯端末における操作も用いて、行為を特定する。
図13(A)は、カメラ210によって撮影された画像内での人物Aの行動として、順に、「立ち寄り」1310A、「売り場タグスキャン動作」1320A、「携帯端末操作開始」1330A、「携帯端末操作終了」1340A、「商品を手にとって検討」1350A、「立ち去り」1360Aが行われた例を示している。
図13(B)は、カメラ210によって撮影された画像内での人物Bの行動として、順に、「立ち寄り」1310B、「売り場タグスキャン動作」1320B、「携帯端末操作開始」1330B、「携帯端末操作終了」1340B、「立ち去り」1350Bが行われた例を示している。
図13(C)は、携帯端末1110aにおける操作として、順に、「売り場タグスキャン」1310C、「携帯端末操作(値段表示)」1320C、「携帯端末操作(商品情報表示)」1330C、「携帯端末画面OFF」1340Cが行われた例を示している。
図13(D)は、携帯端末1110bにおける操作として、順に、「売り場タグスキャン」1310D、「携帯端末操作(商品情報表示)」1320D、「携帯端末操作(値段表示)」1330D、「携帯端末画面OFF」1340Dが行われた例を示している。
これらの例では、人物Aと携帯端末1110aは、相関が高いのでマッチング(人物Aと携帯端末1110aとの対応付け)を行う。そして、人物Bと携帯端末1110bは、相関が高いのでマッチング(人物Bと携帯端末1110bとの対応付け)を行う。ここで、相関が高いとは、行為と操作の行われた日時が合致していることをいう。なお、ここでの合致として、両者の発生日時の差分が予め定められた値未満又は以下であればよい。
FIG. 13 is an explanatory diagram illustrating a processing example according to the third exemplary embodiment. The behavior of the person at the sales floor is photographed by the camera 210 and analyzed. From this analysis result (action sequence) and the operation log of the mobile terminal (may be received from the mobile terminal 1110 or from the product information presentation device 1120), it is detected who is operating the mobile terminal. And an action is specified also using operation in a portable terminal.
FIG. 13A shows, as actions of the person A in the image taken by the camera 210, “stop” 1310A, “sales tag scanning operation” 1320A, “mobile terminal operation start” 1330A, “mobile terminal operation” In this example, “end” 1340A, “consideration of product in hand” 1350A, and “leave” 1360A are performed.
FIG. 13B shows the actions of the person B in the image taken by the camera 210 in order of “stop” 1310B, “sale tag scanning operation” 1320B, “mobile terminal operation start” 1330B, “mobile terminal operation”. In this example, “end” 1340B and “leave” 1350B are performed.
FIG. 13C shows, as operations in the
FIG. 13D shows, as operations in the
In these examples, since the person A and the
映像上の行為の分析と、携帯端末における操作のマッチング技術として、以下のものがある。
[行為1]人物が持つ携帯端末1110による、売り場での商品のタグのスキャン行動
顧客は、売り場で気になる商品があると、携帯端末1110に内蔵されているカメラでスキャンして、商品の商品情報を取得する。例えば、2次元バーコード等をスキャンする。
携帯端末1110上に、商品の情報(値段、商品の詳細説明など)が表示され、顧客はスマートフォンを操作しながら情報を閲覧する。
ここでの行為検出として、カメラに対する行為を検出する。例えば、売り場のタグの位置へ手を伸ばす動作を検出する。そして、携帯端末1110での検出として、携帯端末1110でスキャンしたタグIDと時刻を検出する。
[行為2]人物による携帯端末1110の操作の行動
携帯端末1110に内蔵されているカメラでスキャンして、表示された商品情報を閲覧する。商品名、値段、生産者、口コミなど、関連情報が表示される。
ここでの行為検出として、カメラに対する行為を検出する。例えば、頭と手の位置を検出し、手先を見ている行為を検出する。そして、携帯端末1110での検出として、携帯端末1110へのタッチ、携帯端末1110の画面オフ、携帯端末の動き(具体的には、加速度等)を検出する。
これらの検出された情報を用いて、人物の行為と携帯端末1110における操作をマッチングさせる。
There are the following as techniques for matching actions on video and operations on mobile terminals.
[Action 1] A scanning action of a tag of a product at a sales floor by a portable terminal 1110 possessed by a person When a customer has a product of interest at a sales floor, the customer scans with a camera built in the mobile terminal 1110 Get product information. For example, a two-dimensional barcode is scanned.
Product information (price, detailed product description, etc.) is displayed on the mobile terminal 1110, and the customer browses the information while operating the smartphone.
As an action detection here, an action on the camera is detected. For example, an operation of reaching for the tag position on the sales floor is detected. And as detection in the portable terminal 1110, tag ID and time scanned with the portable terminal 1110 are detected.
[Action 2] Behavior of operation of portable terminal 1110 by person Scans the displayed product information by scanning with a camera built in portable terminal 1110. Related information such as product name, price, producer, and word of mouth is displayed.
As an action detection here, an action on the camera is detected. For example, the head and hand positions are detected, and the act of looking at the hand is detected. And as a detection in the portable terminal 1110, the touch to the portable terminal 1110, the screen off of the portable terminal 1110, and the movement (specifically, acceleration etc.) of the portable terminal are detected.
Using these detected information, the action of the person and the operation on the portable terminal 1110 are matched.
図14は、第3の実施の形態による処理例を示す説明図である。図13(A)の行為と図13(C)の携帯端末1110における操作がマッチングされ、「携帯端末操作(商品情報表示)」1330Cを対象物の購入に影響を及ぼす行為として特定する。つまり、携帯端末1110における操作も特定され得る行為の対象となる。「携帯端末操作(商品情報表示)」1330Cでは、商品情報の閲覧が1回行われ、その閲覧時間は15秒であった。時間の重み付けの結果、「携帯端末操作(商品情報表示)」1330Cを特定する。 FIG. 14 is an explanatory diagram illustrating a processing example according to the third exemplary embodiment. The action in FIG. 13A and the operation in the mobile terminal 1110 in FIG. 13C are matched, and “mobile terminal operation (product information display)” 1330C is specified as an action that affects the purchase of the object. That is, an operation on the mobile terminal 1110 is also a target of an action that can be specified. In “mobile terminal operation (product information display)” 1330C, product information was browsed once, and the viewing time was 15 seconds. As a result of the time weighting, “mobile terminal operation (product information display)” 1330C is specified.
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図15に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1501を用い、記憶装置としてRAM1502、ROM1503、HD1504を用いている。HD1504として、例えばハードディスク、SSD(Solid State Drive)を用いてもよい。人物位置検出モジュール110、行為シーケンス特定モジュール120、行為特定モジュール130、顔識別モジュール510、売上関係分析モジュール540、携帯端末操作検出モジュール1010等のプログラムを実行するCPU1501と、そのプログラムやデータを記憶するRAM1502と、本コンピュータを起動するためのプログラム等が格納されているROM1503と、補助記憶装置(フラッシュメモリ等であってもよい)であるHD1504と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置1506と、CRT、液晶ディスプレイ等の出力装置1505と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1507、そして、それらをつないでデータのやりとりをするためのバス1508により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
Note that the hardware configuration of the computer on which the program according to the present embodiment is executed is a general computer as illustrated in FIG. 15, specifically, a personal computer, a computer that can be a server, or the like. That is, as a specific example, the
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図15に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図15に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図15に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
Among the above-described embodiments, the computer program is a computer program that reads the computer program, which is software, in the hardware configuration system, and the software and hardware resources cooperate with each other. Is realized.
Note that the hardware configuration shown in FIG. 15 shows one configuration example, and the present embodiment is not limited to the configuration shown in FIG. 15, and is a configuration capable of executing the modules described in the present embodiment. I just need it. For example, some modules may be configured with dedicated hardware (for example, Application Specific Integrated Circuit (ASIC), etc.), and some modules are in an external system and connected via a communication line In addition, a plurality of systems shown in FIG. 15 may be connected to each other via communication lines so as to cooperate with each other. In particular, in addition to personal computers, information appliances, copiers, fax machines, scanners, printers, and multifunction machines (image processing apparatuses having two or more functions of scanners, printers, copiers, fax machines, etc.) Etc. may be incorporated.
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
The program described above may be provided by being stored in a recording medium, or the program may be provided by communication means. In that case, for example, the above-described program may be regarded as an invention of a “computer-readable recording medium recording the program”.
The “computer-readable recording medium on which a program is recorded” refers to a computer-readable recording medium on which a program is recorded, which is used for program installation, execution, program distribution, and the like.
The recording medium is, for example, a digital versatile disc (DVD), which is a standard established by the DVD Forum, such as “DVD-R, DVD-RW, DVD-RAM,” and DVD + RW. Standard “DVD + R, DVD + RW, etc.”, compact disc (CD), read-only memory (CD-ROM), CD recordable (CD-R), CD rewritable (CD-RW), Blu-ray disc ( Blu-ray (registered trademark) Disc), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read-only memory (ROM), electrically erasable and rewritable read-only memory (EEPROM (registered trademark)) )), Flash memory, Random access memory (RAM) SD (Secure Digital) memory card and the like.
The program or a part of the program may be recorded on the recording medium for storage or distribution. Also, by communication, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), a wired network used for the Internet, an intranet, an extranet, or a wireless communication It may be transmitted using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
Furthermore, the program may be a part of another program, or may be recorded on a recording medium together with a separate program. Moreover, it may be divided and recorded on a plurality of recording media. Further, it may be recorded in any manner as long as it can be restored, such as compression or encryption.
前述の実施の形態は以下のように把握してもよい。
[A] 人物の対象物に対する位置を検出する、人物位置検出手段と、
当該人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスと、前記人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に当該人物が当該対象物に対して行った行為を特定する、行為特定手段、
とを有する、行動分析装置。
[B] 前記行為特定手段は、さらに、前記人物と第2の人物との関係に基づいて、当該人物の行為を特定する、
[A]に記載の行動分析装置。
[C] 前記行為特定手段は、さらに、前記人物の購買情報に基づいて、当該人物の行為を特定する、
[A]又は[B]に記載の行動分析装置。
[D] 前記人物の行為と関連付けられる当該人物による携帯端末の操作を抽出する抽出手段
をさらに具備し、
前記行為特定手段は、さらに、前記人物の携帯端末の操作に基づいて、当該人物の行為を特定する、
[A]から[C]のいずれか一項に記載の行動分析装置。
[E] コンピュータを、
人物の対象物に対する位置を検出する、人物位置検出手段と、
当該人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスと、前記人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に当該人物が当該対象物に対して行った行為を特定する、行為特定手段、
として機能させるための行動分析プログラム。
[F] 人物が対象物に対して行った行為のシーケンスを特定する行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、予め定められた条件に合致する行為を、前記対象物に対して影響を及ぼす行為として特定する、行為特定手段、
とを有する、行動分析装置。
[G] さらに人物の対象物に対する位置を検出する人物位置検出手段を有し、
前記予め定められた条件として、前記人物が前記対象物に対し立ち寄り最初に行った行動、前記人物が前記対象物から立ち去る直前に行った行動、前記人物が前記対象物に対して行った行為の回数若しくは時間、のいずれかで重み付けを行うものである、
[F]に記載の行動分析装置。
[H] コンピュータを、
人物が対象物に対して行った行為のシーケンスを特定する行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、予め定められた条件に合致する行為を、前記対象物に対して影響を及ぼす行為として特定する、行為特定手段、
として機能させるための行動分析プログラム。
The above-described embodiment may be grasped as follows.
[A] a person position detecting means for detecting the position of the person relative to the object;
An action sequence specifying means for specifying a sequence of actions performed by the person on the object;
An action identifying means for identifying an action performed by the person on the object before the person leaves the object based on the action sequence and the position of the person relative to the object;
A behavior analysis device.
[B] The action specifying unit further specifies an action of the person based on a relationship between the person and the second person.
The behavior analysis apparatus according to [A].
[C] The action specifying means further specifies the action of the person based on the purchase information of the person.
The behavior analysis apparatus according to [A] or [B].
[D] further comprising extraction means for extracting an operation of the portable terminal by the person associated with the person's action,
The action specifying means further specifies an action of the person based on an operation of the portable terminal of the person.
The behavior analysis apparatus according to any one of [A] to [C].
[E]
A person position detecting means for detecting the position of the person relative to the object;
An action sequence specifying means for specifying a sequence of actions performed by the person on the object;
An action identifying means for identifying an action performed by the person on the object before the person leaves the object based on the action sequence and the position of the person relative to the object;
Behavior analysis program to function as
[F] Action sequence specifying means for specifying a sequence of actions performed by a person on an object;
Action specifying means for specifying an action that matches a predetermined condition among actions included in the action sequence as an action that affects the object;
A behavior analysis device.
[G] Furthermore, it has person position detecting means for detecting the position of the person with respect to the object,
As the predetermined condition, an action of the person who first visited the object, an action performed immediately before the person left the object, an action performed by the person on the object Weighting is performed by either the number of times or time.
The behavior analysis apparatus according to [F].
[H]
An action sequence specifying means for specifying a sequence of actions performed by a person on an object;
Action specifying means for specifying an action that matches a predetermined condition among actions included in the action sequence as an action that affects the object;
Behavior analysis program to function as
[A]の行動分析装置によれば、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定することができる。
[B]の行動分析装置によれば、人物と第2の人物との関係に基づいて、その人物の行為を特定することができる。
[C]の行動分析装置によれば、人物の購買情報に基づいて、人物の行為を特定することができる。
[D]の行動分析装置によれば、人物の携帯端末の操作に基づいて、人物の行為を特定することができる。
[E]の行動分析プログラムによれば、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定することができる。
[F]の行動分析装置によれば、対象物に対して影響を及ぼす行為を特定することができる。
[G]の行動分析装置によれば、人物が対象物に対し立ち寄り最初に行った行動、人物が対象物から立ち去る直前に行った行動、人物が対象物に対して行った行為の回数若しくは時間、のいずれかで重み付けを行うことを条件として、対象物に対して影響を及ぼす行為を特定することができる。
[H]の行動分析プログラムによれば、対象物に対して影響を及ぼす行為を特定することができる。
According to the behavior analysis apparatus of [A], it is possible to specify an action that the person has performed on the object before the person leaves the object.
According to the behavior analysis apparatus of [B], an action of the person can be specified based on the relationship between the person and the second person.
According to the behavior analysis apparatus of [C], a person's action can be specified based on the person's purchase information.
According to the behavior analysis apparatus of [D], a person's action can be specified based on operation of a person's portable terminal.
According to the behavior analysis program [E], it is possible to specify an action that the person has performed on the object before the person leaves the object.
According to the behavior analysis apparatus of [F], it is possible to specify an action that affects a target object.
According to the behavior analysis apparatus of [G], the behavior of the person who first visited the object, the behavior performed immediately before the person left the object, the number of times or the time that the person performed on the object It is possible to specify an action that affects an object on the condition that weighting is performed with any of the above.
According to the behavior analysis program [H], it is possible to identify an action that affects a target object.
100…情報処理装置
110…人物位置検出モジュール
120…行為シーケンス特定モジュール
130…行為特定モジュール
210…カメラ
290…通信回線
500…情報処理装置
510…顔識別モジュール
540…売上関係分析モジュール
600…販売管理装置
1000…情報処理装置
1010…携帯端末操作検出モジュール
1110…携帯端末
1120…商品情報提示装置
1190…通信回線
DESCRIPTION OF
Claims (5)
前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段
とを有する行動分析装置。 An action sequence identification means for identifying a sequence of actions performed by a person on an object;
Among the actions included in the action sequence, identify an action performed on the object immediately before the person leaves the object as a cause leading to a determination that the person does not purchase the object, An action analysis device having action specifying means.
前記行為特定手段は、前記人物位置検出手段が検出した前記人物の当該対象物に対する位置に基づき、前記人物が対象物から立ち去る直前に当該対象物に対して行った行為を特定するものである、請求項1に記載の行動分析装置。 Furthermore, it has a person position detecting means for detecting the position of the person with respect to the object,
The action specifying means specifies an action performed on the object immediately before the person leaves the object based on the position of the person relative to the object detected by the person position detecting means. The behavior analysis apparatus according to claim 1.
人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、
として機能させるための行動分析プログラム。 Computer
An action sequence identification means for identifying a sequence of actions performed by a person on an object;
Among the actions included in the action sequence, identify an action performed on the object immediately before the person leaves the object as a cause leading to a determination that the person does not purchase the object, Action identification means,
Behavior analysis program to function as
前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段
とを有する行動分析装置。 An action sequence identification means for identifying a sequence of actions performed by a person on an object;
An action specifying means for specifying an action immediately before an action of returning the object to an original position among actions included in the action sequence as a cause leading to a decision that the person does not purchase the object; Having behavior analysis device.
人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、
として機能させるための行動分析プログラム。 Computer
An action sequence identification means for identifying a sequence of actions performed by a person on an object;
An action specifying means for specifying an action immediately before an action of returning the object to an original position among actions included in the action sequence as a cause leading to a decision that the person does not purchase the object;
Behavior analysis program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015156865A JP6112156B2 (en) | 2015-08-07 | 2015-08-07 | Behavior analysis apparatus and behavior analysis program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015156865A JP6112156B2 (en) | 2015-08-07 | 2015-08-07 | Behavior analysis apparatus and behavior analysis program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014182210 Division | 2014-09-08 | 2014-09-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016058074A true JP2016058074A (en) | 2016-04-21 |
JP6112156B2 JP6112156B2 (en) | 2017-04-12 |
Family
ID=55758577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015156865A Active JP6112156B2 (en) | 2015-08-07 | 2015-08-07 | Behavior analysis apparatus and behavior analysis program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6112156B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950359A (en) * | 2020-07-06 | 2020-11-17 | 核动力运行研究所 | Intelligent system and method for preventing human errors of nuclear power plant |
JP2023094868A (en) * | 2021-12-24 | 2023-07-06 | 富士通株式会社 | Information processing program, information processing method, and information processing device |
JP7441763B2 (en) | 2019-09-13 | 2024-03-01 | エヌビディア コーポレーション | imitation learning system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014021795A (en) * | 2012-07-19 | 2014-02-03 | Nikon Corp | Electronic device and method |
JP2014106628A (en) * | 2012-11-26 | 2014-06-09 | Hitachi Systems Ltd | Consumer needs analyzing system and consumer needs analyzing method |
-
2015
- 2015-08-07 JP JP2015156865A patent/JP6112156B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014021795A (en) * | 2012-07-19 | 2014-02-03 | Nikon Corp | Electronic device and method |
JP2014106628A (en) * | 2012-11-26 | 2014-06-09 | Hitachi Systems Ltd | Consumer needs analyzing system and consumer needs analyzing method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441763B2 (en) | 2019-09-13 | 2024-03-01 | エヌビディア コーポレーション | imitation learning system |
CN111950359A (en) * | 2020-07-06 | 2020-11-17 | 核动力运行研究所 | Intelligent system and method for preventing human errors of nuclear power plant |
JP2023094868A (en) * | 2021-12-24 | 2023-07-06 | 富士通株式会社 | Information processing program, information processing method, and information processing device |
Also Published As
Publication number | Publication date |
---|---|
JP6112156B2 (en) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190108551A1 (en) | Method and apparatus for customer identification and tracking system | |
US20140247997A1 (en) | Information processing system, information processing method, and computer program product | |
JP5238933B2 (en) | Sales information generation system with customer base | |
KR101710733B1 (en) | Targeted advertising using object identification | |
US9891798B2 (en) | Face image tracking system | |
JP2010140287A (en) | Purchase action analysis device, method and computer program | |
JP2013084182A (en) | Information processor and program | |
JP6112156B2 (en) | Behavior analysis apparatus and behavior analysis program | |
JP2016057940A (en) | Image processing device and image processing program | |
JP6476678B2 (en) | Information processing apparatus and information processing program | |
JP5720841B1 (en) | Confirmation action detection device and confirmation action detection program | |
CN114267106A (en) | Identity recognition method, device and equipment | |
JP6428062B2 (en) | Information processing apparatus and information processing program | |
JP5851560B2 (en) | Information processing system | |
JP6418270B2 (en) | Information processing apparatus and information processing program | |
US9355395B2 (en) | POS terminal apparatus and commodity specification method | |
JP2010170492A (en) | Customer analysis system, customer data collection device, customer analysis device, customer analysis method, and program | |
WO2016038902A1 (en) | Behavior analysis device, behavior analysis method, behavior analysis program, and recording medium | |
US20230101001A1 (en) | Computer-readable recording medium for information processing program, information processing method, and information processing device | |
US20180181940A1 (en) | Pos terminal device, information processing device, information processing system, image recognition method, and image recognition program | |
US20210366018A1 (en) | Server and method for avoiding registered materials | |
JP2019168902A (en) | Register device, notification system, notification method and notification program | |
US20150058170A1 (en) | Digital signage system, digital signage, article information presenting method and program | |
JP2022020661A (en) | Monitoring device and program | |
JP2022012399A (en) | Information processing device, method for controlling information processing device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6112156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |