JP2007102343A - Interest level measurement system and method, and interest level calculation program - Google Patents

Interest level measurement system and method, and interest level calculation program Download PDF

Info

Publication number
JP2007102343A
JP2007102343A JP2005288522A JP2005288522A JP2007102343A JP 2007102343 A JP2007102343 A JP 2007102343A JP 2005288522 A JP2005288522 A JP 2005288522A JP 2005288522 A JP2005288522 A JP 2005288522A JP 2007102343 A JP2007102343 A JP 2007102343A
Authority
JP
Japan
Prior art keywords
visitor
target
interest
degree
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005288522A
Other languages
Japanese (ja)
Inventor
Akira Yoda
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005288522A priority Critical patent/JP2007102343A/en
Publication of JP2007102343A publication Critical patent/JP2007102343A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To automatically measure how visitors to an audition are interested in audition entries. <P>SOLUTION: The positions of entries P and Q on a stage are detected at times t1 to t4. Simultaneously, the scene of visitors' seats is imaged at the times t1 to t4. The faces of visitors A and B are detected in the captured images, and the face directions are identified at the times t1 to t4. Whether or not the visitors A and B looked in the directions of the entries P and Q at the times t1 to t4 is determined from relationships between the positions of the entries P and Q and the positions and face directions of the visitors A and B, so that the frequencies at which the visitors A and B looked at the entries P and Q are counted. According to the frequencies at which the visitors A and B looked at the entries P and Q, values representing the levels of interest of the visitors A and B in the entries P and Q are calculated and output. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、例えば公開オーディションなどで、出場者に対する観客の関心の度合いを調査するのに用いられる関心度測定装置および方法並びに関心度算出プログラムに関する。   The present invention relates to an interest level measuring apparatus and method and an interest level calculation program used for investigating the degree of interest of a spectator with respect to a participant, for example, in a public audition.

マーケティング調査の方法として、店内カメラで店内にいる顧客の顔を撮影し、顔から抽出される情報に基づいて顧客の特徴、顧客が滞在している位置、滞在時間および滞在時の顔の向きを判別し、顧客が店内に展示されているどの商品に関心を示したかを調べる方法が提案されている（例えば、特許文献１、２）。
特開２０００−２００３５７号公報 特開２００４−３４８６１８号公報 As a marketing research method, the customer's face in the store is photographed with an in-store camera, and the customer's characteristics, the location where the customer is staying, the staying time, and the orientation of the face during the stay are determined based on information extracted from the face. A method has been proposed for discriminating and examining which product the customer has exhibited in the store (for example, Patent Documents 1 and 2).
JP 2000-200377 A JP 2004-348618 A

上記方法は、展示商品など動かない対象に対する顧客の関心度を調べる方法としては有用であるが、動く対象に対する顧客の関心度を調べることはできない。   Although the above method is useful as a method for examining the customer's interest in a non-moving object such as an exhibition product, the customer's interest in a moving object cannot be examined.

歌手、俳優などの公開オーディションでは、オーディションを観にきた来場者の反応が、オーディションの選考に反映されることがある。このため、舞台上を動き回る各出場者への来場者の関心度を自動測定することへのニーズは、少なからず存在すると考えられる。本発明は、このようなニーズに応えることを目的とする。   In public auditions such as singers and actors, the reaction of visitors coming to the audition may be reflected in the audition selection. For this reason, it is considered that there is a considerable need for automatically measuring the interest level of visitors to each participant moving around on the stage. The present invention aims to meet such needs.

本発明の装置は、移動可能な対象が存在する場所において、その場所への来場者が前記対象に向ける関心の度合いを測定する装置であって、以下に説明する情報収集手段、顔向き識別手段、計数手段および関心度算出手段を備える。   The apparatus of the present invention is an apparatus for measuring the degree of interest that a visitor to a place has toward the object in a place where a movable object exists, and includes information collection means and face orientation identification means described below. And a counting means and a degree-of-interest calculation means.

情報収集手段は、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集する手段である。情報収集手段は、対象が複数ある場合には、そのそれぞれについて対象位置情報を収集する。   The information collecting means captures the target position information obtained by measuring the position of the target in the place at a predetermined time interval, and the scene including the attendee at the same time as the time of measuring the position of the target. It is a means to collect the image obtained by this. When there are a plurality of targets, the information collection unit collects target position information for each of the targets.

来場者の撮影画像は動画として撮影されたものから該当する時刻のフレームを抜き出してもよいし、位置計測が行なわれた時刻のみ静止画撮影を行なって得た画像でもよい。また、収集するとは、そのような情報を本発明の装置自らにより生成する場合と、そのような情報を他の装置あるいは記録媒体から取り込む場合の両方を含む。すなわち、対象の位置を計測する手段や来場者を含む場景を撮影する手段は、本発明の装置自身が備えていてもよいし、他の装置が備える手段を利用してもよい。   The photographed image of the visitor may be extracted from a frame taken at a corresponding time from what was photographed as a moving image, or may be an image obtained by taking a still image only at the time when position measurement was performed. Collecting includes both a case where such information is generated by the apparatus of the present invention itself and a case where such information is captured from another apparatus or a recording medium. That is, the means for measuring the position of the object and the means for photographing the scene including the visitor may be provided by the apparatus of the present invention itself, or may be provided by means provided by another apparatus.

顔向き識別手段は、情報収集手段により収集した各画像から、その画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する手段である。顔情報は顔の向きを識別する際に用いられる情報で、例えば顔の位置、顔の特徴などを示す情報である。顔の向きを識別する技術としては、公知のあらゆる技術を用いることができる。   The face orientation identifying means extracts the face information of each visitor included in the image from each image collected by the information collecting means, and based on the extracted face information, the position and face orientation of each visitor It is a means to identify. The face information is information used for identifying the orientation of the face, and is information indicating, for example, the position of the face and the characteristics of the face. Any known technique can be used as a technique for identifying the orientation of the face.

計数手段は、対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する手段である。計数手段は、対象が複数ある場合には、前記回数を、来場者ごと、対象ごとに計数する。   Based on the position of the target at each time indicated by the target position information and the position and face orientation of each face identified from the image taken at each time, the counting means allows each visitor at each time to It is means for determining whether or not the person is facing and counting the number of times it is determined that the person is facing the target for each visitor. When there are a plurality of objects, the counting means counts the number of times for each visitor and each object.

関心度算出手段は、計数手段により計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出し出力する手段である。但し、「算出し出力する」には、計数結果を関心の度合いを示す値として、そのまま出力する場合も含まれる。関心度算出手段は、対象が複数ある場合には、来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出する。   The degree-of-interest calculation means is means for calculating and outputting a value indicating the degree of interest of each visitor toward the object based on the number of times counted by the counting means. However, “calculate and output” includes a case where the count result is output as it is as a value indicating the degree of interest. When there are a plurality of targets, the interest level calculation means calculates the interest level of the visitors for the target for each visitor and for each target.

本発明の関心度測定方法は、移動可能な対象が存在する場所において、以下に示す手順により、該場所への来場者が前記対象に向ける関心の度合いを測定する方法である。まず、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集する。そして、収集した各画像から、その画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する。続いて、前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する。そして、計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出することにより前記関心度を測定する。   The interest level measurement method of the present invention is a method for measuring the degree of interest that a visitor to a location is directed to the target at a location where a movable target exists by the following procedure. First, the object position information obtained by measuring the position of the object in the place at a predetermined time interval and the scene including the visitor at the same time as the time of measuring the position of the object are obtained. And collect images. Then, from each collected image, the face information of each visitor included in the image is extracted, and the position and face orientation of each visitor in the place are identified based on the extracted face information. Subsequently, based on the position of the target at each time indicated by the target position information and the position and face orientation of each face identified from the image taken at each time, each visitor at each time It is determined whether or not the person is facing, and the number of times it is determined that the person is facing the target is counted for each visitor. Then, based on the counted number of times, the degree of interest is measured by calculating a value indicating the degree of interest that each visitor aims at the object.

また、本発明の関心度算出プログラムは、移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する際に、前記関心の度合いを示す値を算出するプログラムであり、コンピュータに以下に説明する情報読取処理、顔向き識別処理、計数処理および関心度算出処理を実行させる。   Further, the interest level calculation program of the present invention calculates a value indicating the degree of interest when a visitor to the place measures the degree of interest directed to the target in a place where a movable target exists. And causes the computer to execute information reading processing, face orientation identification processing, counting processing, and interest level calculation processing described below.

情報読取処理は、所定の記憶媒体から、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを読み込む処理である。所定の記憶媒体は、コンピュータのメモリや内蔵ディスク、コンピュータに接続された外部ディスク、ＤＶＤなどの記録メディアのいずれでもよい。   In the information reading process, the target location information obtained by measuring the location of the target at the location at a predetermined time interval from a predetermined storage medium and the time at which the location of the target is measured are at the same time. Is a process of reading an image obtained by photographing a scene including The predetermined storage medium may be any of a computer memory, a built-in disk, an external disk connected to the computer, and a recording medium such as a DVD.

顔向き識別処理は、読み込んだ各画像から、その画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する処理である。また、計数処理は、対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する処理である。関心度算出処理は、計数処理において計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出する処理である。   The face orientation identification process is a process of extracting face information of each visitor included in the image from each read image, and identifying the position and face orientation of each visitor at the location based on the extracted face information It is. In addition, the counting process is performed by each visitor at each time based on the position of the target at each time indicated by the target position information and the position and face orientation of each face identified from the image captured at each time. It is a process of determining whether or not the person is facing the target and counting the number of times determined to be facing the target for each visitor. The interest level calculation process is a process of calculating a value indicating the degree of interest that each visitor points to the target based on the number of times counted in the counting process.

上記本発明の装置、方法あるいはプログラムの処理によれば、関心度の算出に各時刻における対象の位置を示す情報が利用されるため、対象が動いている場合でも、その対象に対する来場者の関心度を正確に算出することができる。また、関心度は来場者の顔の向きに基づいて算出されるため、顔の向きを識別できる程度の顔情報を抽出できれば、表情や個人を識別できなくてもよい。このため、装置に大きな負荷をかけることなく、低コストで手軽に関心度の測定を行なうことができる。   According to the processing of the apparatus, method, or program of the present invention, information indicating the position of the object at each time is used for calculating the degree of interest. Therefore, even when the object is moving, the interest of the visitor to the object The degree can be calculated accurately. In addition, since the degree of interest is calculated based on the direction of the face of the visitor, it is not necessary to identify facial expressions or individuals as long as face information that can identify the face direction can be extracted. For this reason, it is possible to easily measure the interest level at low cost without imposing a large load on the apparatus.

以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下に例示するシステムは、公開オーディションの会場で、オーディションを観にきた来場者たちの、各出場者に対する関心度を測定するシステムである。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. The system illustrated below is a system that measures the degree of interest of each participant who came to watch an audition at a public audition venue.

図１に、上記システムの概略構成を示す。図に示すように、このシステムは、オーディション会場に設置された位置測定用カメラ１および来場者撮影用カメラ２と、オーディション会場がある建屋内のコンピュータルームなどに設置されたサーバコンピュータ３とを備える。サーバコンピュータ３にはモニタ４が接続されている。また、位置測定用カメラ１、来場者撮影用カメラ２およびサーバコンピュータ３は、ローカルエリアネットワーク５を介して相互に通信可能な状態になっている。   FIG. 1 shows a schematic configuration of the system. As shown in the figure, this system includes a position measuring camera 1 and a visitor photographing camera 2 installed in an audition hall, and a server computer 3 installed in a computer room or the like in the building where the audition hall is located. . A monitor 4 is connected to the server computer 3. Further, the position measuring camera 1, the visitor photographing camera 2, and the server computer 3 are in a state where they can communicate with each other via the local area network 5.

位置測定用カメラ１は、オーディション会場の天井中央に下向きに固定されて据えつけられたカメラで、会場全体を上方から所定の時間間隔で撮影する。本実施形態では、位置測定用カメラ１は３秒おきに撮影を行ない、会場全体が写った静止画像を取得する。   The position measurement camera 1 is a camera that is fixed downward and installed at the center of the ceiling of the audition hall, and photographs the entire hall from above at predetermined time intervals. In the present embodiment, the position measurement camera 1 captures images every 3 seconds and acquires a still image showing the entire venue.

来場者撮影用カメラ２は、天井の、舞台よりの所定位置に据えつけられた回転可能な構造のカメラである。回転可能な構造とは、例えばドーム型監視カメラのような構造、あるいは回転台にカメラを取り付けた構造などである。来場者撮影用カメラ２の回転角度、撮影倍率は、関心度調査のターゲットとなる来場者の顔を撮影できる角度、倍率に設定されている。サンプリング調査を行なう場合には例えば来場者席の最前列の来場者のみが撮影されるように設定し、全来場者を対象とした正確な調査を行なう場合には全来場者が撮影されるように設定する。来場者撮影用カメラ２もまた、所定の時間間隔で撮影を行なう。本実施形態では、来場者撮影用カメラ２は３秒おきに撮影を行なう。   The visitor photographing camera 2 is a camera having a rotatable structure installed at a predetermined position on the ceiling from the stage. The rotatable structure is, for example, a structure such as a dome-type surveillance camera or a structure in which a camera is attached to a turntable. The rotation angle and photographing magnification of the visitor photographing camera 2 are set to an angle and magnification capable of photographing the face of the visitor who is the target of the interest degree survey. When sampling surveys are performed, for example, only the visitors in the front row of the visitor seats are set to be photographed, and when performing accurate surveys for all visitors, all visitors are photographed. Set to. The visitor photographing camera 2 also photographs at predetermined time intervals. In the present embodiment, the visitor shooting camera 2 performs shooting every 3 seconds.

位置測定用カメラ１による撮影と、来場者撮影用カメラ２による撮影は同期して行なわれる。本実施形態では、図示されない同期クロックから撮影タイミングを指示する信号が発信され、位置測定用カメラ１、来場者撮影用カメラ２が、それぞれその信号を受信したタイミングで撮影を行なうことにより撮影の同期をとる。同期クロックは、サーバコンピュータ３の一機能として、もしくは専用装置として提供される。なお、本実施形態では、前述のとおり各カメラは３秒おきに撮影を行なうが、両カメラの同期がとれていれば、撮影間隔は必ずしも一定でなくてもよい。   The shooting by the position measuring camera 1 and the shooting by the visitor shooting camera 2 are performed in synchronization. In the present embodiment, a signal for instructing the photographing timing is transmitted from a synchronization clock (not shown), and the position measurement camera 1 and the visitor photographing camera 2 perform the photographing at the timing at which the signals are received, thereby synchronizing the photographing. Take. The synchronous clock is provided as a function of the server computer 3 or as a dedicated device. In the present embodiment, as described above, each camera captures images every 3 seconds. However, as long as both cameras are synchronized, the capturing interval is not necessarily constant.

次に、図２を参照して、サーバコンピュータ３の構成について説明する。サーバコンピュータ３は、通信制御部３１、位置検出部３２、顔向き識別部３３、計数部３４および関心度算出部３５を備える。サーバコンピュータ３は、汎用のコンピュータに、本発明の機能を実現するためのプログラムを組み込んだものである。   Next, the configuration of the server computer 3 will be described with reference to FIG. The server computer 3 includes a communication control unit 31, a position detection unit 32, a face orientation identification unit 33, a counting unit 34, and an interest level calculation unit 35. The server computer 3 is a general-purpose computer in which a program for realizing the functions of the present invention is incorporated.

通信制御部３１は、汎用コンピュータに備えられた通信機能を使って、サーバコンピュータ３と、位置測定用カメラ１、来場者撮影用カメラ２との間のローカルエリアネットワーク３を介した通信を制御する。位置検出部３２、顔向き識別部３３、計数部３４および関心度算出部３５は、後述する各処理を規定した要素プログラムをサーバコンピュータ３にインストールし、動作させることにより実現される処理部である。本実施形態では、サーバコンピュータ３は複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に実行される。   The communication control unit 31 controls communication between the server computer 3, the position measurement camera 1, and the visitor photographing camera 2 via the local area network 3 using a communication function provided in the general-purpose computer. . The position detection unit 32, the face orientation identification unit 33, the counting unit 34, and the interest level calculation unit 35 are processing units that are realized by installing and operating an element program that defines each processing described later on the server computer 3. . In the present embodiment, the server computer 3 includes a plurality of processors, and the processing of each element program is executed in parallel by the plurality of processors.

位置検出部３２は、位置測定用カメラ１から３秒おきに転送される画像を受信し、その画像に含まれる出場者の位置を検出する。前述のとおり受信する画像は出場者を上方から捉えた画像であり、位置検出部３２は画像に含まれる出場者の頭を識別することにより出場者の位置を検出する。本実施形態では、検出を容易にするために各出場者に、マーカを頭頂部に付けることを義務付けている。マーカは出場者ごとに色が異なり、位置検出部３２は、マーカの色を識別することにより出場者を識別することができる。画像処理による出場者の位置検出には、他のあらゆる公知技術を用いることができる。さらに言えば、出場者の位置検出は、画像を用いず、位置センサを利用して実現してもよい。   The position detection unit 32 receives an image transferred from the position measurement camera 1 every 3 seconds, and detects the position of the participant included in the image. As described above, the received image is an image capturing the contestant from above, and the position detection unit 32 detects the position of the contestant by identifying the head of the contestant included in the image. In this embodiment, in order to facilitate detection, each participant is obliged to put a marker on the top of the head. The marker has a different color for each participant, and the position detector 32 can identify the participant by identifying the color of the marker. Any other known technique can be used for detecting the position of a participant by image processing. Furthermore, the position detection of the participants may be realized using a position sensor without using an image.

位置検出部３２は、検出した各出場者の位置について、図３に示すように、検出された位置を示す位置座標に、その位置に出場者がいた時刻（すなわち画像の撮影時刻）の情報と、検出された出場者を区別するための出場者識別子とを付した出場者位置データ６を生成し、サーバコンピュータ３のメモリに記憶する。本実施形態では、出場者識別子は、マーカ色を示すコードとする。位置検出部３２は画像を受信する度に上記処理を実行するので、サーバコンピュータ３のメモリには、先に記憶されたデータと出場者識別子が同じで時刻と位置座標の情報が異なる出場者位置データ６が順次蓄積されることになる。   As shown in FIG. 3, the position detection unit 32, for each detected position of the contestant, includes information on the time when the contestant was at that position (that is, the image capturing time) in the position coordinates indicating the detected position. Then, the participant position data 6 attached with the participant identifier for distinguishing the detected participant is generated and stored in the memory of the server computer 3. In the present embodiment, the participant identifier is a code indicating a marker color. Since the position detection unit 32 executes the above process every time an image is received, the memory of the server computer 3 has the same data as the previously stored data, and the information on the time and position coordinates is different. Data 6 is sequentially stored.

続いて、顔向き識別部３３について説明する。顔向き識別部３３は、来場者撮影用カメラ２から３秒おきに転送される画像を受信し、その画像に含まれる来場者の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、調査対象数が多く、多数の顔を検出する必要がある場合には、例えば所定の大きさの肌色領域であれば顔と判断する方法など、比較的シンプルな検出方法を採用することが好ましい。   Next, the face orientation identification unit 33 will be described. The face orientation identification unit 33 receives an image transferred from the visitor photographing camera 2 every 3 seconds and detects the face of the visitor included in the image. Any known technique may be used as a technique for detecting a face from an image. However, if the number of investigation targets is large and a large number of faces need to be detected, for example, a skin color area of a predetermined size may be used. It is preferable to employ a relatively simple detection method such as a method for determining a face.

顔向き識別部３３は、次に、検出した顔に、来場者を区別するための来場者識別子を割り当てる。来場者識別子は、その来場者が座っている来場者席の番号などとする。本実施形態では、来場者撮影用カメラ２の据付位置と向きは固定されており、また会場における各来場者席の位置座標は予めわかっている。このため、カメラの位置、向きおよび設定した撮影倍率から、顔を検出した来場者が座っている来場者席の番号が求まる。これにより異なる画像から検出された同じ来場者の顔に対し、常に同じ来場者識別子を割り当てることができる。   Next, the face orientation identification unit 33 assigns a visitor identifier for distinguishing a visitor to the detected face. The visitor identifier is a number of a visitor seat where the visitor is sitting. In this embodiment, the installation position and orientation of the visitor photographing camera 2 are fixed, and the position coordinates of each visitor seat in the venue are known in advance. For this reason, the number of the attendee seat where the visitor who detected the face is sitting is obtained from the position and orientation of the camera and the set photographing magnification. Thereby, the same visitor identifier can always be assigned to the face of the same visitor detected from different images.

続いて顔向き識別部３３は、検出した顔ごとに顔の向きの判別に利用できる所定の特徴を抽出する。例えば、検出した顔から目や耳をさらに検出し、右目と左目の距離や、耳の位置などを示す特徴量を算出する。特徴量抽出に基づく顔向きの判別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用することができる。   Subsequently, the face orientation identification unit 33 extracts a predetermined feature that can be used for discrimination of the face orientation for each detected face. For example, eyes and ears are further detected from the detected face, and feature quantities indicating the distance between the right eye and the left eye, the position of the ear, and the like are calculated. Various techniques are known for determining the face orientation based on feature amount extraction, and any of these techniques can be employed in the present embodiment.

顔向き識別部３３は、検出した個々の顔について、図４に示すように、判別した顔の向きを表す単位ベクトル（以下、顔向きベクトルと称する）に、画像の撮影時刻の情報と前述の来場者識別子を付した来場者向きデータ７を生成し、サーバコンピュータ内のメモリに記憶する。顔向き識別部３３は画像を受信する度に上記処理を実行するので、サーバコンピュータ３のメモリには、先に記憶したデータと来場者識別子が同じで時刻と顔向きベクトルの情報が異なる来場者向きデータ７が順次蓄積されることになる。   As shown in FIG. 4, the face orientation identification unit 33, as shown in FIG. 4, stores a unit vector (hereinafter referred to as a “face orientation vector”) indicating the orientation of the detected face, and information on the shooting time of the image. Visitor-oriented data 7 with a visitor identifier is generated and stored in a memory in the server computer. Since the face orientation identification unit 33 performs the above processing every time an image is received, the memory of the server computer 3 has the same visitor identifier as the previously stored data, but has different time and face orientation vector information. The direction data 7 is sequentially accumulated.

次に、計数部３４について説明する。計数部３４は、位置検出部３２がメモリに記憶した出場者位置データ６と、顔向き識別部３３がメモリに記憶した来場者向きデータ７と、予めメモリ内に記憶されている来場者席の位置座標データとを利用して、各時刻に、各来場者がいずれかの出場者の方を向いていたか否かを判定する。また、計数部３４は、来場者ごと出場者ごとのカウンタを備え、判定結果に基づいてカウンタの値をカウントアップする。本実施形態では、来場者ごとに３２ビットの領域が割り当てられ、４つの８ビットカウンタとして用いられる。これにより４名の出場者に対する関心度を同時に測定することができる。カウンタのビット数を大きくすれば、より多くの出場者に対する関心度を同時に測定することもできる。   Next, the counting unit 34 will be described. The counting unit 34 includes the participant position data 6 stored in the memory by the position detection unit 32, the visitor direction data 7 stored in the memory by the face direction identification unit 33, and the attendee seats stored in the memory in advance. Using the position coordinate data, it is determined whether or not each visitor is facing one of the participants at each time. The counting unit 34 includes a counter for each visitor and each participant, and counts up the value of the counter based on the determination result. In the present embodiment, a 32-bit area is allocated for each visitor and is used as four 8-bit counters. As a result, the degree of interest in the four participants can be measured simultaneously. If the number of bits of the counter is increased, the degree of interest in more participants can be measured simultaneously.

図５は、上記判定およびカウントアップの手順について説明するための図である。計数部３４は、まず来場者向きデータ７の来場者識別子を参照し、その来場者識別子により特定される座席の座標値（Ｘａ、Ｙａ）をメモリから読み出す。続いて、出場者位置データ６の位置座標（Ｘｐ，Ｙｐ）を参照する。そして、これらの座標値に基づいて、来場者席からみた出場者の方向を表す単位ベクトル（図のベクトルｖ１）を算出する。続いて、計数部３４は、来場者向きデータ７の顔向きベクトル（図のベクトルｖ２）を参照する。そして、ベクトルｖ１とベクトルｖ２の向きのずれ（図の角度θ）を算出し、角度θの絶対値が所定値以下であれば、その来場者はその出場者の方を向いていたと判定する。そして、その来場者のカウンタ領域の、その出場者のカウンタの値をカウントアップする。一方、角度θの絶対値が所定値より大きければその来場者はその出場者の方を向いていなかったと判定する。この場合は、カウントアップは行なわない。この処理は、調査対象の来場者がＮ人、出場者がＭ人、撮影時刻が異なる画像がＬ画像ある場合に、Ｎ×Ｍ×Ｌ回繰り返される。   FIG. 5 is a diagram for explaining the determination and count-up procedures. First, the counting unit 34 refers to the visitor identifier of the visitor orientation data 7 and reads out the coordinate values (Xa, Ya) of the seat specified by the visitor identifier from the memory. Subsequently, the position coordinates (Xp, Yp) of the participant position data 6 are referred to. Then, based on these coordinate values, a unit vector (vector v1 in the figure) representing the direction of the participant viewed from the attendee's seat is calculated. Subsequently, the counting unit 34 refers to the face direction vector (vector v2 in the figure) of the visitor direction data 7. Then, a deviation between the directions of the vector v1 and the vector v2 (angle θ in the figure) is calculated, and if the absolute value of the angle θ is equal to or smaller than a predetermined value, it is determined that the attendee is facing the participant. Then, the counter value of the attendee in the attendee counter area is counted up. On the other hand, if the absolute value of the angle θ is larger than the predetermined value, it is determined that the attendee is not facing the contestant. In this case, counting up is not performed. This process is repeated N × M × L times when there are N visitors, M participants, and L images with different shooting times.

図６は、出場者の動きと来場者の顔向きと上記カウンタの値の関係について説明するための図である。図左上の折れ線は出場者Ｐの時刻ｔ１、ｔ２、ｔ３、ｔ４における位置を示す座標点を線で結んだものである。同様に、図右上の折れ線は出場者Ｑの時刻ｔ１、ｔ２、ｔ３、ｔ４における位置を示す座標点を線で結んだものである。また、図左下には来場者Ａの時刻ｔ１、ｔ２、ｔ３、ｔ４における顔向きベクトルが、図右下には来場者Ｂの時刻ｔ１、ｔ２、ｔ３、ｔ４における顔向きベクトルが示されている。さらに、上記判定処理において、来場者が出場者の方を向いていたと判定された場合を、出場者位置と来場者位置とを点線で結ぶことにより表現している。この例では、来場者Ａ出場者Ｐカウンタの値は１、来場者Ａ出場者Ｑカウンタの値は１、来場者Ｂ出場者Ｐカウンタの値は０、来場者Ｂ出場者Ｑカウンタの値は４となる。   FIG. 6 is a diagram for explaining the relationship among the movement of the participants, the face direction of the visitors, and the value of the counter. The broken line in the upper left of the figure is a line connecting the coordinate points indicating the positions of the contestants P at times t1, t2, t3, and t4. Similarly, the broken line in the upper right of the figure is a line connecting coordinate points indicating the positions of the contestants Q at times t1, t2, t3, and t4. Also, the face direction vector of the visitor A at times t1, t2, t3, and t4 is shown at the lower left of the figure, and the face direction vector of the visitor B at times t1, t2, t3, and t4 is shown at the lower right of the figure. . Further, in the determination process, when it is determined that the visitor is facing the participant, the participant position and the visitor position are represented by connecting them with a dotted line. In this example, the value of the visitor A participant P counter is 1, the value of the visitor A participant Q counter is 1, the value of the visitor B participant P counter is 0, and the value of the visitor B participant Q counter is 4.

関心度算出部３５は、上記カウンタの値を用いて、各来場者が各出場者に向ける関心の度合いを示す値（関心度）を算出する。本実施形態では、関心の度合いを示す値を、カウンタ値／判定回数×１００（％）で表す。例えば、図６の例では、来場者Ａの出場者Ｐに対する関心度は１／４×１００で２５％、来場者Ａの出場者Ｑに対する関心度は２５％、来場者Ｂの出場者Ｐに対する関心度は０％、来場者Ｂの出場者Ｑに対する関心度は１００％となる。なお、便宜上、４つの時刻ｔ１、ｔ２、ｔ３、ｔ４を例示して説明したが、実際には、３秒おきに収集されたより多くのデータを利用して関心度が算出される。   The degree-of-interest calculation unit 35 uses the value of the counter to calculate a value (degree of interest) indicating the degree of interest that each visitor points to each participant. In the present embodiment, a value indicating the degree of interest is expressed as counter value / number of determination times × 100 (%). For example, in the example of FIG. 6, the degree of interest of the participant A with respect to the participant P is 1/4 × 100, 25%, the degree of interest of the participant A with respect to the participant Q is 25%, and the participant B with respect to the participant P The degree of interest is 0%, and the degree of interest of the participant B for the participant Q is 100%. For convenience, the four times t1, t2, t3, and t4 have been described as examples, but in actuality, the interest level is calculated using more data collected every three seconds.

続いて、関心度算出部３５は、は、算出した関心度を、モニタ４に出力する。この際、公知の自動集計技術やグラフ自動生成技術を利用して、表示画面をみやすく整えてもよい。例えば、来場者席を色分けして表示する。具体的には、各来場者席の色を、その席に座っている来場者が最も高い関心を示した出場者の色に塗りつぶした座席表を表示する。あるいは、所定の出場者に対して５０％以上の関心を示した来場者数の時間変位をグラフ表示する。関心度算出部３５は、このほかにも、調査の目的にあわせて種々の集計を行い、集計結果を画面表示に適した形に修正して出力する。   Subsequently, the interest level calculation unit 35 outputs the calculated interest level to the monitor 4. At this time, the display screen may be easily arranged using a known automatic tabulation technique or automatic graph generation technique. For example, the visitor seats are displayed in different colors. Specifically, a seating chart is displayed in which the color of each attendee's seat is filled with the color of the attendee showing the highest interest by the attendee sitting in the seat. Alternatively, the time displacement of the number of visitors who showed an interest of 50% or more with respect to a predetermined participant is displayed in a graph. In addition to this, the degree-of-interest calculation unit 35 performs various tabulations according to the purpose of the survey, and corrects and outputs the tabulation results to a form suitable for screen display.

以上に説明したように、本実施形態のシステムによれば、出場者が動いているときでも、来場者が出場者を観た回数が自動的にカウントされ、カウント結果に基づいて関心度が算出される。また出場者が複数いる場合には、出場者別にカウントが行なわれ、関心度が算出され、個々の出場者が来場者の関心をどれだけ集めたかを正確に計測することができる。   As described above, according to the system of the present embodiment, even when the participant is moving, the number of times the visitor saw the participant is automatically counted, and the degree of interest is calculated based on the count result. Is done. When there are a plurality of participants, a count is performed for each participant, the degree of interest is calculated, and it is possible to accurately measure how much interest each individual participant has collected.

なお、上記実施形態では、関心度の算出に、顔の向きのみを利用しているが、顔の他の特徴を合わせて利用してもよい。例えば、顔情報の１つとして目と瞳孔の大きさの比率を示す特徴量を抽出し、比率が大きい場合、すなわち瞳孔が大きく開いている場合には、その来場者が出場者に対し特に高い関心を示しているものと判断し、関心度算出処理において、算出値に瞳孔にかかるポイントを加算するなどしてもよい。   In the above embodiment, only the orientation of the face is used for calculating the interest level, but other features of the face may be used together. For example, a feature amount indicating the ratio of the size of the eyes and the pupil is extracted as one of face information, and when the ratio is large, that is, when the pupil is wide open, the attendee is particularly high with respect to the contestants It may be determined that the person is interested, and in the interest level calculation process, a point applied to the pupil may be added to the calculated value.

また、上記実施形態は人物に対する関心度を測定するものであるが、本発明は、人間以外の生物、動く玩具、動く機械（例えばロボット）など、移動し得るあらゆる対象の関心度測定に適用可能であり、種々の分野において効果を発揮することができる。   Moreover, although the said embodiment measures the interest degree with respect to a person, this invention is applicable to the interest degree measurement of all the objects which can move, such as living things other than a human being, a moving toy, and a moving machine (for example, robot). Therefore, the effect can be exhibited in various fields.

本発明の一実施形態におけるシステムの概略構成を示す図The figure which shows schematic structure of the system in one Embodiment of this invention. サーバコンピュータの構成を示す図Diagram showing the configuration of the server computer 出場者位置データを示す図Figure showing the contestant position data 来場者向きデータを示す図Diagram showing data for visitors 判定およびカウントアップの手順について説明するための図The figure for explaining the procedure of judgment and count-up 出場者の動きと来場者の顔向きと上記カウンタの値の関係について説明するための図The figure for demonstrating the relationship between a participant's movement, a visitor's face direction, and the value of the said counter

符号の説明Explanation of symbols

３ サーバコンピュータ、 ５ ローカルエリアネットワーク
６ 出場者位置データ、 ７ 来場者向きデータ 3 Server computer, 5 Local area network 6 Contestant location data, 7 Visitor data

Claims (6)

移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する装置であって、
前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集する情報収集手段と、
前記情報収集手段により収集した各画像から、該画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する顔向き識別手段と、
前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する計数手段と、
前記計数手段により計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出し出力する関心度算出手段とを備えた関心度測定装置。 An apparatus for measuring a degree of interest that a visitor to a place has toward the object in a place where a movable object exists,
Target position information obtained by measuring the position of the target in the place at predetermined time intervals, and an image obtained by shooting a scene including the visitor at the same time as the time of measuring the position of the target Information collecting means for collecting
The face orientation of each visitor included in the image is extracted from each image collected by the information collection means, and the position and face orientation of each visitor are identified based on the extracted face information. An identification means;
Based on the position of the target at each time indicated by the target position information, and the position and face orientation of each face identified from the image taken at each time, each visitor at each time identifies the target. Counting means for determining whether it is facing, and counting the number of times it is determined that it is facing the target for each visitor,
An interest level measuring device comprising: an interest level calculating means for calculating and outputting a value indicating the degree of interest that each visitor is directed to the object based on the number of times counted by the counting means. 前記情報収集手段により複数の対象に係る対象位置情報を収集し、
前記計数手段により、前記回数を、来場者ごと、対象ごとに計数し、
前記関心度算出手段が、来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出することを特徴とする請求項１記載の関心度測定装置。 Collecting target position information relating to a plurality of objects by the information collecting means;
By the counting means, the number of times is counted for each visitor and for each subject,
2. The interest level measuring apparatus according to claim 1, wherein the interest level calculating means calculates the level of interest of the attendees for each visitor and for each subject. 移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する方法であって、
前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを収集し、
収集した各画像から、該画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別し、
前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数し、
計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出することにより前記関心度を測定する関心度測定方法。 A method of measuring the degree of interest that a visitor to a place has at the place where the movable object exists,
Target position information obtained by measuring the position of the target in the place at predetermined time intervals, and an image obtained by shooting a scene including the visitor at the same time as the time of measuring the position of the target And collect and
From each collected image, the face information of each visitor included in the image is extracted, and based on the extracted face information, the position and face orientation of each visitor in the place are identified,
Based on the position of the target at each time indicated by the target position information, and the position and face orientation of each face identified from the image taken at each time, each visitor at each time identifies the target. Determine whether or not you are facing, count the number of times it was determined that you are facing the target for each visitor,
An interest degree measuring method for measuring the degree of interest by calculating a value indicating the degree of interest that each visitor aims at the object based on the counted number of times. 複数の対象に係る対象位置情報を収集し、
前記回数を、来場者ごと、対象ごとに計数し、
来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出することを特徴とする請求項３記載の関心度測定方法。 Collect target location information for multiple targets,
Count the number of times per visitor, per subject,
The interest level measurement method according to claim 3, wherein the interest level of each visitor is calculated for each visitor and each target. 移動可能な対象が存在する場所において、該場所への来場者が前記対象に向ける関心の度合いを測定する際に、前記関心の度合いを算出するプログラムであって、コンピュータに、
所定の記憶媒体から、前記場所における前記対象の位置を所定の時間間隔で計測することにより得られる対象位置情報と、前記対象の位置を計測する時刻と同時刻に前記来場者を含む場景を撮影することにより得られる画像とを読み込む情報読取処理と、
読み込んだ各画像から、該画像に含まれる各来場者の顔情報を抽出し、抽出した顔情報に基づいて各来場者の前記場所における位置および顔の向きを識別する顔向き識別処理と、
前記対象位置情報が示す各時刻の対象の位置と、各時刻に撮影された画像から識別された各顔の位置および顔の向きとに基づいて、各時刻における各来場者が前記対象の方を向いているか否かを判定し、対象の方を向いていると判定された回数を前記来場者ごとに計数する計数処理と、
前記計数処理において計数された回数に基づいて、各来場者が前記対象に向ける関心の度合いを示す値を算出する関心度算出処理とを実行させる関心度算出プログラム。 In a place where a movable object exists, a program for calculating the degree of interest when a visitor to the place measures the degree of interest toward the object, the computer comprising:
Photographing the target position information obtained by measuring the position of the target in the place at a predetermined time interval from a predetermined storage medium and the scene including the attendee at the same time as the time of measuring the position of the target An information reading process for reading an image obtained by
Face orientation identification processing for extracting face information of each visitor included in the image from each read image, and identifying the position and face orientation of each visitor in the location based on the extracted face information;
Based on the position of the target at each time indicated by the target position information, and the position and face orientation of each face identified from the image taken at each time, each visitor at each time identifies the target. A counting process for determining whether or not it is facing and counting the number of times it is determined that it is facing the target for each visitor,
An interest level calculation program for executing an interest level calculation process for calculating a value indicating a degree of interest of each visitor toward the target based on the number of times counted in the counting process. 前記情報読込処理において複数の対象に係る対象位置情報を読み込み、
前記計数処理において、前記回数を、来場者ごと、対象ごとに計数し、
前記関心度算出処理において、来場者の対象に対する関心度を、来場者ごと、対象ごとに、それぞれ算出することを特徴とする請求項５記載の関心度算出プログラム。 Read target position information related to a plurality of targets in the information reading process,
In the counting process, the number of times is counted for each visitor and for each subject,
6. The degree-of-interest calculation program according to claim 5, wherein, in the degree-of-interest calculation process, the degree of interest in the target of the visitor is calculated for each visitor and for each target.
JP2005288522A 2005-09-30 2005-09-30 Interest level measurement system and method, and interest level calculation program Withdrawn JP2007102343A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005288522A JP2007102343A (en) 2005-09-30 2005-09-30 Interest level measurement system and method, and interest level calculation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005288522A JP2007102343A (en) 2005-09-30 2005-09-30 Interest level measurement system and method, and interest level calculation program

Publications (1)

Publication Number Publication Date
JP2007102343A true JP2007102343A (en) 2007-04-19

Family

ID=38029251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005288522A Withdrawn JP2007102343A (en) 2005-09-30 2005-09-30 Interest level measurement system and method, and interest level calculation program

Country Status (1)

Country Link
JP (1) JP2007102343A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146378A (en) * 2011-03-07 2014-08-14 Kba2 Inc System and method for analytic data gathering from image provider at event or geographic location
JP2016092512A (en) * 2014-10-31 2016-05-23 株式会社ソニー・コンピュータエンタテインメント Image generator, image generation method and calibration method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146378A (en) * 2011-03-07 2014-08-14 Kba2 Inc System and method for analytic data gathering from image provider at event or geographic location
JP2016092512A (en) * 2014-10-31 2016-05-23 株式会社ソニー・コンピュータエンタテインメント Image generator, image generation method and calibration method
US10362297B2 (en) 2014-10-31 2019-07-23 Sony Interactive Entertainment Inc. Image generation apparatus, image generation method, and calibration method

Similar Documents

Publication Publication Date Title
JP6313270B2 (en) Monitoring method and device
JP4876687B2 (en) Attention level measuring device and attention level measuring system
CN105631515B (en) People flow counting system
JP2013054739A (en) Methods and apparatus to count people in images
JP5424852B2 (en) Video information processing method and apparatus
JP2008112401A (en) Advertisement effect measurement apparatus
CN107949298A (en) Determine the body part that user is currently nursed
JP2019075156A (en) Method, circuit, device, and system for registering and tracking multifactorial image characteristic and code executable by related computer
CN107766788A (en) Information processor, its method and computer-readable recording medium
JP2006197373A (en) Viewer information measuring instrument
CN106572298A (en) Display control apparatus and display control method
JP2007102344A (en) Automatic evaluation device, program, and method
JP4288428B2 (en) Video analysis system and video analysis method
CN103514429B (en) Detect the method and image processing equipment of the privileged site of object
WO2008132741A2 (en) Apparatus and method for tracking human objects and determining attention metrics
JP2012057974A (en) Photographing object size estimation device, photographic object size estimation method and program therefor
JP5213883B2 (en) Composite display device
JPWO2009119288A1 (en) Communication system and communication program
JP2007102343A (en) Interest level measurement system and method, and interest level calculation program
KR101155610B1 (en) Apparatus for displaying sound source location and method thereof
TW201222422A (en) Method and arrangement for identifying virtual visual information in images
JP2005143016A (en) Monitoring system and monitoring method
JP2020095651A (en) Productivity evaluation system, productivity evaluation device, productivity evaluation method, and program
JP7329967B2 (en) IMAGE PROCESSING APPARATUS, SYSTEM, IMAGE PROCESSING APPARATUS CONTROL METHOD, AND PROGRAM
JP6645503B2 (en) Image analysis device, image analysis method, and image analysis program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081202