JP5272213B2 - ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM - Google Patents
ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP5272213B2 JP5272213B2 JP2010105791A JP2010105791A JP5272213B2 JP 5272213 B2 JP5272213 B2 JP 5272213B2 JP 2010105791 A JP2010105791 A JP 2010105791A JP 2010105791 A JP2010105791 A JP 2010105791A JP 5272213 B2 JP5272213 B2 JP 5272213B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- face direction
- area
- camera
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 245
- 230000000694 effects Effects 0.000 title claims abstract description 105
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000000691 measurement method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims abstract description 112
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 51
- 238000003860 storage Methods 0.000 claims description 18
- 238000007619 statistical method Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000002776 aggregation Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、広告効果測定装置、広告効果測定方法およびプログラムに関する。特に、本発明は、本発明は、カメラを用いて広告効果を測定する広告効果測定装置、広告効果測定方法およびプログラムに関する。 The present invention relates to an advertisement effect measuring device, an advertisement effect measuring method, and a program. In particular, the present invention relates to an advertisement effect measuring device, an advertisement effect measuring method, and a program for measuring an advertisement effect using a camera.
カメラを用いた広告効果測定装置は、基本的に、以下の２つの方法を利用し、広告を視聴したと思われる人数を測定する。
（１）画素単位の信号処理をベースとした人数計測
フレーム間処理に基づき画像から前景領域を取得し、当該領域が何人分の人物に相当するのかを、予め各画素に与えられた荷重値に基づいて算出する方法である（例えば、特許文献１参照）。当該方法では、１人の人物に対して、小さな画像サイズ（例えば、数画素〜１０画素程度）を割り当てれば足りるため、人数計測の対象エリアを比較的広くすることができる。例えば、解像度ＶＧＡ（６４０×４８０）のカメラを用いる場合、対象エリアは１００ｍ四方程度となる。
（２）人間の顔等の物体検出をベースとした人数計測
画像から顔を認識する過程において、付帯情報として各顔の向き（顔方向）、性別、年代などの人物属性を推定する方法である。当該方法では、推定された顔方向に基づいて、広告の方向を向いている人数、即ち、広告を視聴している可能性が高い人数を計測する。また、当該方法では、推定された人物属性に基づいて、性別毎、年代毎の広告効果を推計する。
An advertisement effect measuring apparatus using a camera basically uses the following two methods to measure the number of people who seem to have viewed an advertisement.
(1) Number of people measurement based on pixel-by-pixel signal processing Foreground areas are acquired from images based on inter-frame processing, and how many people the area corresponds to is assigned to each pixel in advance. This is a calculation method based on this (see, for example, Patent Document 1). In this method, since it is sufficient to allocate a small image size (for example, about several pixels to 10 pixels) to one person, the target area for counting people can be made relatively wide. For example, when a camera with resolution VGA (640 × 480) is used, the target area is about 100 m square.
(2) Counting people based on object detection such as human face In the process of recognizing a face from an image, it is a method of estimating personal attributes such as the direction (face direction), gender, age, etc. of each face as supplementary information . In this method, based on the estimated face direction, the number of people facing the direction of the advertisement, that is, the number of people who are likely to view the advertisement is measured. In this method, the advertising effect for each gender and each age is estimated based on the estimated person attribute.
しかしながら、上記の方法は以下の問題がある。
（１）の方法は、人物の顔方向、即ち、広告を視聴していそうなのか否かを推定することができない。また、性別、年代などの人物属性を推定することができない。
（２）の方法は、人物の顔方向と属性とを推定することができるが、それを実現するため顔領域に対してある程度の画像サイズ（例えば、２０画素×２０画素〜４０画素×４０画素）が割り当てる必要がある。従って、人数計測の対象エリアは比較的狭くなる。例えば、解像度ＶＧＡのカメラを用いる場合、対象エリアは１０ｍ四方程度となる。
However, the above method has the following problems.
The method (1) cannot estimate the face direction of a person, that is, whether or not an advertisement is likely to be viewed. Also, it is impossible to estimate personal attributes such as gender and age.
The method (2) can estimate the face direction and attributes of a person. To achieve this, a certain image size (for example, 20 pixels × 20 pixels to 40 pixels × 40 pixels) with respect to the face area is realized. ) Must be assigned. Therefore, the target area for counting people is relatively narrow. For example, when a camera with a resolution VGA is used, the target area is about 10 m square.
本発明は、このような事情を考慮してなされたものであり、その目的は、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現する技術を提供することにある。また、被写体の年齢層識別において、主観年齢層を精度良く識別できる技術を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for realizing attribute identification that is robust and fast in processing speed with respect to the face direction of a subject. It is another object of the present invention to provide a technology that can accurately identify a subjective age group in identifying an age group of a subject.
上述した課題を解決するために、本発明は、広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測する第１の画像処理手段と、前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測する第２の画像処理手段と、前記広告媒体の視聴可能エリアのうち前記第１のカメラの撮影範囲の占める割合である第１のカメラエリアカバー率と、前記広告媒体の視聴可能エリアのうち前記第２のカメラの撮影範囲の占める割合である第２のカメラエリアカバー率と、前記第１の画像処理手段によって計測した前記滞在者数と、前記第２の画像処理手段によって計測した前記視聴者数とに基づいて、前記広告媒体の効果を示す広告効果情報として、注目率、延べ滞在人秒、延べ視聴人秒、又は、人秒ベースの注目率を生成して出力する広告効果情報生成手段とを備え、前記広告効果情報生成手段は、前記注目率を、注目率＝（視聴者数／第１のカメラエリアカバー率）／（滞在者数／第２のカメラエリアカバー率）によって求め、前記延べ滞在人秒を、所定の時間間隔において計測した前記滞在者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、前記延べ視聴人秒を、前記時間間隔において計測した前記視聴者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、前記人秒ベースの注目率を、人秒ベースの注目率＝（延べ視聴人秒／延べ滞在人秒）によって求めることを特徴とする。 To solve the above problems, the present onset Ming, an image captured by a first camera that captures the first area in the vicinity of the advertising medium to the signal processing for each pixel, the first area A face area in a captured image captured by a first image processing means for measuring the number of visitors and a second area that captures a second area that is a part of the first area. Second image processing means for detecting and estimating the face direction of each face area and measuring the number of viewers of the advertising medium in the second area, and the first of the viewing possible areas of the advertising medium. A first camera area cover ratio that is a ratio of the shooting range of the camera, and a second camera area cover ratio that is a ratio of the shooting range of the second camera in the viewable area of the advertising medium , said first image processing means Wherein the resident number measured Te, based on said number of viewers measured by said second image processing means, as the advertisement effect information indicating the effect of the advertising media, interest rate, total stay Personality sec, Total viewer Advertisement effect information generating means for generating and outputting an attention rate based on a person second or a person second , and the advertisement effect information generation means determines the attention rate as the attention rate = (number of viewers / first number of viewers). Camera area coverage ratio / (number of visitors / second camera area coverage ratio), calculated by multiplying the total number of visitor seconds by the number of visitors measured at a predetermined time interval and the time interval. The total number of viewer seconds is multiplied by the number of viewers measured in the time interval and the time interval, and the calculated value is integrated in the unit time. By doing Te calculated, the attention rate of the person second base, and obtaining the human seconds based interest rate = (Total viewer's sec / total staying Personality seconds).
本発明は、前記第２の画像処理手段は、前記第２のカメラの撮像画像を取得する撮像画像取得手段と、前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数する顔方向推定手段とを有する。 In the present invention, the second image processing means includes a picked-up image acquisition means for acquiring a picked-up image of the second camera, a face region detected from the picked-up image of the second camera, and face cut-out image data. Based on the recognition face area detection means to output and the face cut-out image data output by the recognition face area detection means, the face direction of the subject of the captured image of the second camera is estimated, and the face direction There that having a the face direction estimating means for counting the number of viewers as the viewers who match the direction of the advertising medium.
本発明は、前記第２の画像処理手段は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得手段と、前記学習用データ取得手段によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出手段と、前記学習用顔領域検出手段によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成手段と、前記顔方向別属性識別器生成手段によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶手段と、前記第２のカメラの撮像画像を取得する撮像画像取得手段と、前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数するとともに、前記被写体の顔方向を示す属性識別用顔方向パラメータを出力する顔方向推定手段と、前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記前記第２のカメラの撮像画像から、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出手段と、前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶手段に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出手段が出力した前記顔切出画像データを入力し、前記前記第２のカメラの撮像画像の被写体に係る識別結果を取得する属性識別手段とを有し、人物属性別の視聴者数を算出する。 In the present invention, the second image processing means includes, as learning data, face image data captured from various directions, a learning face direction parameter indicating the face direction of the subject of the face image data, and the attribute of the subject. Learning data acquisition means for acquiring data, and learning face area detection for detecting face area of a subject and outputting cut-out face image data from the face image data acquired by the learning data acquisition means A plurality of face cut-out image data that are the face cut-out image data output by the learning face region detection means and have the same learning face direction parameter, and the plurality of face cut-out images. A direction-specific attribute classifier generating unit that generates an attribute classifier for identifying the attribute of the subject for each face direction of the subject based on the attribute data of each of the data; A face direction attribute classifier storage unit that stores the attribute classifier generated by the direction attribute classifier generation unit, a captured image acquisition unit that acquires a captured image of the second camera, and the second camera A recognition face area detection means for detecting a face area from the captured image and outputting face cut image data; and the second face cut image data output by the recognition face area detection means. A face for attribute identification indicating the face direction of the subject while estimating the face direction of the subject of the captured image of the camera, counting the number of viewers with the face direction matching the direction of the advertising medium as a viewer A face direction estimation unit that outputs a direction parameter; and a face area of a subject from a captured image of the second camera based on the attribute identification face direction parameter output by the face direction estimation unit. A face area re-detection unit for recognition that outputs face-cut image data that has been detected and cut out, and the face direction attribute classifier based on the attribute identification face direction parameter output by the face direction estimation unit One or more attribute classifiers are selected from the plurality of attribute classifiers stored in the storage means, and the recognition face area is re-detected to the selected one or more attribute classifiers. Attribute identification means for inputting the face cut-out image data output by the means and obtaining an identification result relating to the subject of the image captured by the second camera, and calculating the number of viewers by person attribute .
本発明は、前記広告効果情報生成手段は、前記時間間隔において計測した前記人物属性別の視聴者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって人物属性別の延べ視聴人秒を求め、前記人物属性別の延べ視聴人秒を、前記広告媒体の効果を示す広告効果情報として出力することを特徴とする。In the present invention, the advertisement effect information generating means multiplies the number of viewers for each person attribute measured in the time interval and the time interval, and integrates the calculated value within a unit time. Another total viewer second is obtained, and the total viewer second for each person attribute is output as advertisement effect information indicating the effect of the advertisement medium.
本発明は、前記広告効果情報生成手段は、前記広告媒体の設置場所に係る場所属性情報として、前記滞在者数に係る性別比率、年代比率、又は性別と年代とを組み合わせた属性区分比率を算出する。 In the present invention, the advertisement effect information generation means calculates a gender ratio, age ratio, or attribute classification ratio combining gender and age related to the number of visitors as the location attribute information related to the installation location of the advertisement medium. you.
本発明は、広告媒体の効果を測定するために、第１の画像処理手段と、第２の画像処理手段と、広告効果情報生成手段とを備える広告効果測定装置における広告効果指標測定方法であって、前記第１の画像処理手段が、前記広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測する第１の画像処理ステップと、前記第２の画像処理手段が、前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測する第２の画像処理ステップと、前記広告効果情報生成手段が、前記広告媒体の視聴可能エリアのうち前記第１のカメラの撮影範囲の占める割合である第１のカメラエリアカバー率と、前記広告媒体の視聴可能エリアのうち前記第２のカメラの撮影範囲の占める割合である第２のカメラエリアカバー率と、前記第１の画像処理ステップによって計測した前記滞在者数と、前記第２の画像処理ステップによって計測した前記視聴者数とに基づいて、前記広告媒体の効果を示す広告効果情報として、注目率、延べ滞在人秒、延べ視聴人秒、又は、人秒ベースの注目率を生成して出力する広告効果情報生成ステップとを有し、前記広告効果情報生成ステップでは、前記注目率を、注目率＝（視聴者数／第１のカメラエリアカバー率）／（滞在者数／第２のカメラエリアカバー率）によって求め、前記延べ滞在人秒を、所定の時間間隔において計測した前記滞在者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、前記延べ視聴人秒を、前記時間間隔において計測した前記視聴者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、前記人秒ベースの注目率を、人秒ベースの注目率＝（延べ視聴人秒／延べ滞在人秒）によって求めることを特徴とする。 The present invention is an advertisement effect index measuring method in an advertisement effect measuring apparatus comprising a first image processing means, a second image processing means, and an advertisement effect information generating means in order to measure the effect of an advertisement medium. Te, the first image processing means, wherein an image captured by a first camera that captures the first area in the vicinity of the advertising medium to the signal processing in the pixel unit, staying within the first area The first image processing step for measuring the number of persons and the second image processing means are captured by a second camera that captures a second area that is a part of the first area. A second image processing step of detecting a face area in the captured image, estimating a face direction of each face area, and measuring the number of viewers of the advertising medium in the second area; and generating the advertisement effect information means, viewing Allowed of the advertising medium A first camera area coverage ratio is the ratio of the imaging range of the first camera of the area, the second is a ratio of the shooting range of the second camera of the viewable area of the advertising medium a camera area coverage ratio, wherein the first image processing the resident number measured by step, based on said number of viewers measured by the second image processing step, the advertisement effect showing the effect of the advertising medium As the information, there is an advertisement effect information generation step for generating and outputting an attention rate, total number of visitors seconds, total number of viewers seconds, or attention rate based on person seconds, and in the advertisement effect information generation step, The rate is calculated by attention rate = (number of viewers / first camera area coverage) / (number of visitors / second camera area coverage), and the total number of visitors is set to a predetermined time interval. Multiplying the number of visitors measured by the time interval and adding the calculated values within a unit time, the total number of viewer seconds is the number of viewers measured in the time interval and the time Multiplying by time interval, and adding the calculated values within unit time, and calculating the person-second-based attention rate by the person-second-based attention rate = (total viewer seconds / total visitor seconds) It is characterized by seeking .
本発明は、前記広告効果測定装置の処理をコンピュータに実行させるためのプログラムである。 The present invention is a program for executing the processing of the advertisement effect measurement device to the computer.
本発明によれば、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。また、被写体の年齢層識別において、主観年齢層を精度良く識別できるようになる。 According to the present invention, it is possible to realize attribute identification that is robust and fast in processing speed with respect to the face direction of the subject. Further, the subjective age group can be accurately identified in the age group identification of the subject.
以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態による広告効果測定装置３の設置環境の一例を説明するための説明図である。図１において、１ａは混雑度計測カメラ、１ｂは顔方向推定カメラ、２はテレビ、デジタルサイネージ、看板、ポスター、張り紙などの広告媒体（ディスプレイ）、３は広告効果推定装置である。混雑度計測カメラ１ａおよび顔方向推定カメラ１ｂは、データ送受信用ケーブルを介して、測定効果推定装置３と接続している。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is an explanatory diagram for explaining an example of an installation environment of an advertisement
広告効果測定装置３は、画素単位の信号処理をベースとした人数計測を行う画像処理装置（後述する、混雑度計測エンジン１４）と、人間の顔検出をベースとした人数計測を行う画像処理装置（後述する、顔方向推定エンジン１８）を兼ね備える。換言すれば、広告効果測定装置３は、混雑度計測エンジン１４および顔方向推定エンジン１８を含んで構成される。広告効果測定装置３は、例えば、パーソナルコンピュータである。
The advertisement
混雑度計測カメラ１ａは、広告媒体２の近傍を撮像するカメラである。広告媒体２の近傍とは、広告媒体２の広告視聴可能エリアの少なくとも一部のエリアを含むエリアである。広告視聴可能エリアとは、広告媒体２の種類、大きさ、設置場所の特性などに応じて異なるが、当該広告媒体によって広告しようとする広告内容が視聴者に伝わる範囲である。例えば、広場に面したビルの壁面に設置した大型の看板の場合、該広場の全域で該看板の広告内容がわかるのであれば、どんなに該ビルからの水平距離が離れていても、該広場全体が当該看板の近傍に該当する。また、例えば、屋内の矩形の支柱の一の面に設置した看板の場合、どんなに該支柱に近い位置であっても、該看板が見えない該一の面の反対側の面側は、該看板の近傍に該当しない。
The congestion
顔方向推定カメラ１ｂもまた、広告媒体２の近傍を撮像するカメラである。但し、混雑度計測カメラ１ａの撮影範囲（「第１のエリア」に相当、以下、混雑度計測カメラ撮影範囲という）と、顔方向推定カメラ１ｂの撮影範囲（「第２のエリア」に相当。以下、顔方向推定カメラ撮影範囲という）は、互いに異なる。
The face
混雑度計測カメラ撮影範囲は、広告視聴可能エリアの全体又は広告視聴可能エリアの一部である。顔方向推定カメラ撮影範囲は、混雑度計測カメラ撮影範囲の一部である。なお、広告媒体２と混雑度計測カメラ１ａとの位置関係などによっては、図１に示すように、混雑度計測カメラ撮影範囲が、広告視聴可能エリア外のエリアを含む場合があるが、混雑度計測カメラ撮影範囲における広告視聴可能エリア外の占める割合は、広告視聴可能エリア内の占める割合に比べ非常に小さく、無視できる程度である。仮に、広告視聴可能エリア外の占める割合が非常に小さいとまでは言えない程度であっても、後述するように、混雑度計測チューニング部１３において、フレーム画像における混雑度計測の対象範囲（即ち、フレーム画像の全領域のうち混雑度計測の計測対象範囲）の指定が可能であるため、広告視聴可能エリア外が撮像されることについて無視することできる。顔方向推定カメラ撮影範囲についても同様である。
従って、顔方向推定カメラ撮影範囲も混雑度計測カメラ撮影範囲も、広告視聴可能エリア内について考えればよく、顔方向推定カメラ撮影範囲は、混雑度計測カメラ撮影範囲よりも狭いということになる。
The crowding degree measurement camera photographing range is the entire advertisement viewable area or a part of the advertisement viewable area. The face direction estimation camera shooting range is a part of the congestion degree measurement camera shooting range. Depending on the positional relationship between the
Therefore, both the face direction estimation camera shooting range and the congestion degree measurement camera shooting range need only be considered within the advertisement viewable area, and the face direction estimation camera shooting range is narrower than the congestion degree measurement camera shooting range.
混雑度計測カメラ１ａは、撮像画像（後述する、フレーム画像）を広告効果測定装置３に提供する。同様に、顔方向推定カメラ１ｂは、フレーム画像を広告効果測定装置３に提供する。
The congestion
なお、図１には、混雑度カメラ１ａを１台示したが、混雑度カメラ１ａは複数台のカメラから構成されるものであってもよい。顔方向推定カメラ１ｂについても同様である。また、混雑度計測カメラ1ａと顔方向推定カメラ１ｂとは、機器としては同一のものであってもよい。
Although one
図２は、広告効果測定装置３の構成例を示す構成図である。広告効果測定装置３は、図２に示すように、カメラ制御部１２、混雑度計測チューニング部１３、混雑度計測エンジン１４、顔方向推定チューニング部１７、顔方向推定エンジン１８、クライアント部１９、混雑度計測エンジン制御部２０、顔方向推定エンジン制御部２１および統計解析情報生成部２３を備える。
FIG. 2 is a configuration diagram illustrating a configuration example of the advertisement
カメラ制御部１２は、混雑度計測カメラ１ａからフレーム画像を取得する。カメラ制御部１２は、混雑度計測カメラ１ａから取得したフレーム画像を混雑度計測チューニング１３および混雑度計測エンジン制御部２０に出力する。また、カメラ制御部１２は、顔方向推定カメラ1ｂからフレーム画像を取得する。カメラ制御部１２は、顔方向推定カメラ1ｂから取得したフレーム画像を顔方向推定チューニング部１７および顔方向推定エンジン制御部２１に出力する。
The
混雑度計測エンジン１４は、上述の如く、画素単位の信号処理をベースとした人数計測を行う画像処理機能を備える。混雑度計測エンジン１４は、フレーム画像を取得した場合、上記画像処理機能によって混雑度を計測し、計測結果を出力する。より詳細には、混雑度計測エンジン１４は、混雑度計測カメラ１ａから出力されたフレーム画像を取得した場合、当該フレーム画像に撮像されたエリア、即ち、混雑度計測カメラ撮影範囲内の画素単位を信号処理し、混雑度計測カメラ撮影範囲内の滞在者数を混雑度として計測し、計測結果として出力する。
As described above, the congestion
例えば、混雑度計測エンジン１４は、混雑度計測カメラ１ａから出力されたフレーム画像を混雑度計測チューニング部１３から取得した場合、混雑度計測カメラ撮影範囲内の滞在者数を混雑度計測チューニング部１３に出力する。また、例えば、混雑度計測エンジン１４は、混雑度計測カメラ１ａから出力されたフレーム画像を混雑度エンジン制御部２０から取得した場合、混雑度計測カメラ撮影範囲内の滞在者数を混雑度エンジン制御部２０に出力する。
For example, when the congestion
顔方向推定エンジン１８は、上述の如く、人間の顔検出をベースとした人数計測を行う画像処理機能を有する。顔方向推定エンジン１８は、フレーム画像を取得した場合、上記画像処理機能によって広告媒体２の視聴者数を計測し、計測結果を出力する。より詳細には、顔方向推定エンジン１８は、顔方向推定カメラ1ｂから出力されたフレーム画像を取得した場合、当該フレーム画像に撮像されたエリア、即ち、顔方向推定カメラ撮影範囲内の顔領域の検出処理と、検出された顔領域内の顔方向の推定処理とにより、顔方向推定カメラ撮影範囲内における広告媒体２の視聴者数を計測し、計測結果として出力する。
As described above, the face
例えば、顔方向推定エンジン１８は、顔方向推定カメラ1ｂから出力されたフレーム画像を顔方向推定チューニング部１７から取得した場合、顔方向推定カメラ撮影範囲内における広告媒体２の視聴者数を顔方向推定チューニング部１７に出力する。また、例えば、顔方向推定エンジン１８は、顔方向推定カメラ1ｂから出力されたフレーム画像を顔方向推定エンジン制御部２１から取得した場合、顔方向推定カメラ撮影範囲内における広告媒体２の視聴者数を顔方向推定エンジン制御部２１に出力する。
For example, when the face
なお、顔方向推定エンジン１８は、人物属性別の視聴者数を計測し、計測結果として出力することもできる。
The face
混雑度計測チューニング部１３は、混雑度計測エンジン１４のパラメータのチューニング機能を備える。即ち、混雑度計測チューニング部１３は、カメラ制御部１２を介して取得した混雑度計測カメラ１ａからのフレーム画像を混雑度計測エンジン１４に出力し、混雑度計測エンジン１４から応答として計測結果を取得する。混雑度計測チューニング部１３は、混雑度計測エンジン１４から取得した計測結果を非図示のモニタ部を介して、又はネットワークを介して設定者に出力し、設定者に計測結果を確認させて、設定者から混雑度計測エンジン１４の適切なパラメータ値の設定を受け付ける。
The congestion degree
顔方向推定チューニング部１７は、顔方向推定エンジン１８のパラメータのチューニング機能を有する。即ち、顔方向推定チューニング部１７は、カメラ制御部１２を介して取得した顔方向推定カメラ1ｂからのフレーム画像を顔方向推定エンジン１８に出力し、顔方向推定エンジン１８から応答として計測結果を取得する。顔方向推定チューニング部１７は、顔方向推定エンジン１８から取得した計測結果を非図示のモニタ部を介して、又はネットワークを介して設定者に出力し、設定者に計測結果を確認させて、設定者から顔方向推定エンジン１８の適切なパラメータ値の設定を受け付ける。
The face direction
混雑度計測エンジン制御部２０は、クライアント部１９によって起動され、カメラ制御部１２を介して取得した混雑度計測カメラ１ａからのフレーム画像を混雑度計測エンジン１４に出力し、混雑度計測エンジン１４から応答として計測結果を取得する。混雑度計測エンジン制御部２０は、混雑度計測エンジン１４から取得した計測結果をクライアント部１９に出力する。
The congestion level measurement
顔方向推定エンジン制御部２１は、クライアント部１９によって起動され、カメラ制御部１２を介して取得した顔方向推定カメラ1ｂからのフレーム画像を顔方向推定エンジン１８に出力し、顔方向推定エンジン１８から応答として計測結果を取得する。顔方向推定エンジン制御部２１は、顔方向推定エンジン１８から取得した計測結果をクライアント部１９に出力する。
The face direction estimation
クライアント部１９は、混雑度計測エンジン１４から出力された計測結果を混雑度計測エンジン制御部２０から取得する。また、クライアント部１９は、顔方向推定エンジン１８から出力された計測結果を顔方向推定エンジン制御部２１から取得する。クライアント部１９は、混雑度計測エンジン制御部２０から取得した計測結果と、顔方向推定エンジン制御部２１から取得した計測結果とを時系列に対応付けて効果測定データ２２として出力する。つまり、クライアント部１９によって出力される効果測定データ２２は、混雑度計測エンジン１４と顔方向推定エンジン１８の各計測結果が時系列に記載されているデータである。
The
統計解析情報生成部２３は、クライアント部１９から出力される効果測定データ２２を取得する。統計解析情報生成部２３は、効果測定データ２２に基づいて広告効果情報として統計解析情報２４を生成し、出力する。統計解析情報２４は、広告媒体２の効果を示す情報であって、広告効果指標又は場所属性情報を所定の集計期間（時間）、集計方法に従って集計し、若しくは、広告効果指標又は場所属性情報を集計することなく、人間に分りやすい表示形式によって表したものである。
The statistical analysis
広告効果指標は、効果測定データ２２から得られる広告効果を示す指標である。広告効果指標には、例えば、注目率、述べ滞在人秒（ＧＳＴ：ＧｒｏｓｓＳｔａｙｉｎｇＴｉｍｅ）、延べ視聴人秒（ＧＶＴ：：ＧｒｏｓｓＶｉｅｗｉｎｇＴｉｍｅ）などがある。上記注目率には、後述の下記式（１）に従って算出される注目率、後述の下記式（２）に従って算出される注目率（人秒ベースの注目率とも称する）などがある。なお、上記注目率などと人物属性とを組み合わせたものも広告効果指標である。即ち、例えば、人物属性別の注目率なども広告効果指標である。人物属性の一例は、性別、年代、男女と年代とを組み合わせた属性区分比率である。
The advertisement effect index is an index indicating the advertisement effect obtained from the
場所属性情報は、効果測定データ２２から得られる場所の属性を示す情報である。具体的には、広告効果指標は、混雑度計測エンジン制御部２０から出力される滞在者に関する情報であるが、顔方向に関係なく、顔領域の検出数、即ち滞在者数を顔方向推定エンジン制御部２１に出力させるようにした場合には、当該滞在者に関する情報も用いることができる。場所属性情報には、例えば、混雑度、顔数、男女比率、年代比率、上記属性区分比率などがある。
The location attribute information is information indicating the location attribute obtained from the
所定の集計期間の一例は、１時間単位、又は、１日単位である。所定の集計方法の一例は、曜日別の集計、平日／週末別の集計、又は、曜日を考慮しない集計である。 An example of the predetermined counting period is an hour unit or a day unit. An example of the predetermined aggregation method is aggregation by day of the week, aggregation by weekday / weekend, or aggregation not considering the day of the week.
図３は、カメラ制御に関連する処理の一例を示すフローチャートである。なお、図３に示すカメラ設定ファイル３１は、カメラに関するパラメータを記述した設定ファイルであって、混雑度計測カメラ1ａのパラメータと顔方向推定カメラ１ｂのパラメータを個別に設定可能である。カメラ設定ファイル３１には、例えば、「カメラタイプ」「ＩＰカメラ設定項目」「ＵＳＢカメラの設定項目」「解像度」「画像品質」「フレームレート」「色空間、圧縮形式」などの設定項目がある。カメラタイプには、使用するカメラのタイプ（ＵＳＢカメラ／ＩＰカメラ）の別を設定する。ＩＰカメラを設定した場合、ＩＰカメラ設定項目には、当該カメラのＩＰアドレス、ポート番号、アクセスのためのユーザ名、パスワード、当該カメラのデバイス名等を設定する。ＵＳＢカメラを設定した場合、ＵＳＢカメラの設定項目には、当該カメラのデバイス名等を設定する。また、解像度、画像品質、フレームレート、色空間、圧縮形式には、それぞれ、取得するフレーム画像の解像度、画像品質、フレームレート、色空間、圧縮形式を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。
FIG. 3 is a flowchart illustrating an example of processing related to camera control. Note that the
図３において、カメラ制御部１２は、カメラタイプ選択処理として、カメラ設定ファイル３１に従い、混雑度計測カメラ１ａおよび顔方向推定カメラとして利用するカメラタイプをそれぞれ選択する（ステップＳ３２）。次いで、カメラ制御部１２は、カメラ設定処理として、カメラ設定ファイル３１に従い、混雑度計測カメラ１ａおよび顔方向推定カメラ1ｂに対し、解像度や画像品質などカメラに関するパラメータをそれぞれ設定（書き込む。以下、同様）する（ステップＳ３３）。
In FIG. 3, the
次いで、カメラ制御部１２は、フレーム画像取得要求受領処理として、外部からのフレーム画像取得要求３４を受領する（ステップＳ３５）。次いで、カメラ制御部１２は、フレーム画像取得処理として、カメラタイプ選択処理３２およびカメラ設定処理３３で設定した項目に従って、混雑度計測カメラ１ａまたは顔方向推定カメラ1ｂにアクセスし、フレーム画像を取得する（ステップＳ３６）。次いで、カメラ制御部１２は、フレーム画像送信処理として、フレーム画像取得要求３４の送信元に対し、フレーム画像を送信する（ステップＳ３７）。そして、本フローチャートは終了する。
Next, the
なお、混雑度計測カメラ１ａ、顔方向推定1ａが複数台のカメラから構成される場合、カメラ制御部１２は、カメラ設定処理をカメラ毎に実施する（ステップＳ３３）。また、混雑度計測カメラ１ａ、顔方向推定1ａが複数台のカメラから構成される場合、カメラ制御部１２は、フレーム画像取得処理（ステップＳ３６）において、複数台のカメラから取得した画像を１枚の画像に合成する。画像の合成処理方法としては、単純に複数のフレームを並べて繋ぎ合せる方法、画像から特徴点を抽出してそれらの対応問題を解き、画像間の変形を射影変換で近似して重ね合わせる方法などが挙げられる（参考文献１参照）。
When the congestion
（参考文献１）
“局所的な輝度変動にロバストなパノラマ画像生成法”星野准一、電子情報通信学会論文誌．Ｄ−ＩＩ，情報・システム，ＩＩ−情報処理 Ｊ８２−Ｄ−ＩＩ（２）ｐｐ．２２２−２２９ １９９９０２２５
(Reference 1)
“Robust panoramic image generation method for local luminance fluctuation”, Junichi Hoshino, IEICE Transactions. D-II, information / system, II-information processing J82-D-II (2) pp. 222-229 19990225
図４は、混雑度計測エンジン１４のチューニングに関連する処理の一例を示すフローチャートである。なお、図４に示すカメラキャリブレーションデータファイル１６は、混雑度計測カメラ１ａの校正作業で得られる当該カメラの焦点距離、画像中心、レンズ歪み、カメラ姿勢、カメラ位置などのカメラパラメータ、カメラパラメータにもとづき算出された荷重値（それぞれの画素が何人分に該当するのかを表す値）を記憶したファイルである。カメラキャリブレーションデータファイル１６は、例えば、外部から取得する。なお、荷重値算出などの詳細は、上記特許文献１に記載されている。
FIG. 4 is a flowchart illustrating an example of processing related to tuning of the congestion
図４において、混雑度計測チューニング部１３は、混雑度計測エンジンパラメータ設定処理として、混雑度計測エンジン１４に関するパラメータを設定する（ステップＳ４０）。具体的には、例えば、混雑度計測チューニング部１３は、背景領域作成時に使用するフレーム画像数、サンプリング間隔などの混雑度計測エンジン１４で使用する種々のパラメータを設定し、また、フレーム画像における混雑度計測の対象範囲（即ち、フレーム画像の全領域のうち混雑度計測の計測対象範囲）を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。混雑度計測チューニング部１３は、設定した値を混雑度計測エンジンパラメータファイル４１に記憶する。
In FIG. 4, the congestion degree
次いで、混雑度計測チューニング部１３は、混雑度計測エンジン１４に混雑度計測処理を要求する。具体的には、混雑度計測チューニング部１３は、フレーム画像、カメラキャリブレーションデータファイル１６、混雑度計測エンジンパラメータファイル４１を混雑度計測エンジン１４に出力する。混雑度計測チューニング部１３からフレーム画像等を取得した混雑度計測エンジン１４は、混雑度計測処理として、画素単位の信号処理をベースとして人数計測する（ステップＳ４２）。具体的には、混雑度計測エンジン１４は、フレーム間処理に基づいて、フレーム画像から前景領域を取得し、当該領域が何人分の人物に相当するのかを、カメラキャリブレーションデータファイル１６に記載された、予め各画素に与えられている荷重値に基づいて算出する。なお、混雑度計測処理の詳細は、上記特許文献１（例えば、明細書の００５３〜００５６）に記載されている。混雑度計測結果４３には、処理時刻、混雑度（人数）、滞留人数などが含まれる。混雑度計測エンジン１４は、混雑度計測結果４３を混雑度計測チューニング部１３に出力する。
Next, the congestion level
次いで、混雑度計測チューニング部１３は、混雑度計測結果確認処理として、前景領域検出結果、滞留領域検出結果、混雑度、滞留人数を画像、グラフ、表によってリアルタイム表示し、目視によって人間に確認させることによって、混雑度計測エンジン１４の適切なパラメータ値の設定を受け付ける（ステップＳ４４）。混雑度計測結果確認処理では、目視可能な態様によって、混雑度計測対象範囲をフレーム画像に重畳表示する。即ち、混雑度計測結果確認処理は、前景領域、滞留領域はそれぞれ異なる色でフレーム画像に重畳して表示し、混雑度計測エンジンパラメータ設定処理（上述のステップＳ４０）で設定した前景領域又は滞留領域検出用パラメータの妥当性を確認する処理である。
Next, the congestion level
次いで、混雑度計測チューニング部１３は、チューニングを完了するか否かを判断する（ステップＳ４５）。例えば、混雑度計測チューニング部１３は、設定されたパラメータが妥当であるか否かの妥当性を確認し、妥当であると確認した場合に、チューニングを完了すると判断する。混雑度計測チューニング部１３は、チューニングを完了しないと判断した場合（ステップＳ４５：Ｎｏ）、ステップＳ４０に戻る。一方、混雑度計測チューニング部１３は、チューニングを完了すると判断した場合（ステップＳ４５：Ｙｅｓ）、最終的なパラメータを混雑度計測エンジンパラメータファイル４６として記載し、本フローチャートは終了する。
Next, the congestion degree
図５は、顔方向推定エンジン１８のチューニングに関連する処理の一例を示すフローチャートである。図６は、性別と年代とを組み合わせた区分け方法の一例である。図５において、顔方向推定チューニング部１７は、顔方向推定エンジンパラメータ設定処理として、顔方向推定エンジン１８に関するパラメータを設定する（ステップＳ６０）。具体的には、例えば、顔方向推定チューニング部１７は、検出する顔の大きさの最大サイズ、最小サイズ、検出する顔の角度範囲、広告方向を向いているか否かの判定基準パラメータなどの顔方向推定エンジン１８で使用する種々のパラメータを設定し、また、フレーム画像における顔方向推定の対象範囲（即ち、フレーム画像の全領域のうち顔方向推定の推定対象範囲）を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。顔方向推定チューニング部１７は、設定した値を顔方向推定エンジンパラメータファイル６１に記載する。
FIG. 5 is a flowchart illustrating an example of processing related to tuning of the face
次いで、顔方向推定チューニング部１７は、顔方向推定エンジン１８に顔方向推定処理を要求する。具体的には、顔方向推定チューニング部１７は、フレーム画像、顔方向推定エンジンパラメータファイル６１を顔方向推定エンジン１８に出力する。顔方向推定チューニング部１７からフレーム画像等を取得した顔方向推定エンジン１８は、顔方向推定処理として、顔方向推定エンジンパラメータファイル６１に従って、フレーム画像から人物の顔領域の検出し、人数を計測する（ステップＳ６２）。なお、顔方向推定エンジン１８は、顔の数だけでなく、顔の角度、広告方向を向いているか否かの判定基準パラメータに従って、広告の方向を向いている顔の数（以降、正面顔の数という）の計測、性別、年代などの推定も可能である。当該処理は、下記参考文献２−４等に記載されている方法に基づいて実現可能である。
Next, the face direction
（参考文献２）
“サポートベクトル回帰を用いた三次元物体の姿勢推定法”安藤慎吾、草地良規、鈴木章、荒川賢一、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８、ｐｐ．１８４０−１８４７、２００６．
（参考文献３）
“同時確率増分符号相関による高速物体検出・識別”安藤慎吾、鈴木章、高橋裕子、安野貴之、ＭＩＲＵ２００７．
（参考文献４）
“顔画像による自動性別・年代推定”瀧川えりな、細井聖、ＯＭＲＯＮ ＴＥＣＨＮＩＣＳ Ｖｏｌ．４３ Ｎｏ．１（通巻１４５号）２００３．
(Reference 2)
“Pose Estimation Method for 3D Objects Using Support Vector Regression” Shingo Ando, Yoshinori Kusachi, Akira Suzuki, Kenichi Arakawa, IEICE Transactions D-II, Vol. J89-D No. 8, pp. 1840-1847, 2006.
(Reference 3)
“Fast object detection and identification by joint probability incremental code correlation” Shingo Ando, Akira Suzuki, Yuko Takahashi, Takayuki Anno, MIRU2007.
(Reference 4)
“Automatic gender and age estimation from face images” Erina Kajikawa, Kiyoshi Hosoi, OMRON TECHNICS Vol. 43 No. 1 (Volume 145) 2003.
なお、顔方向推定結果６３には、処理時刻、検出された顔の数、正面顔の数、性別毎の顔の数、性別毎の正面顔の数、年代毎の顔の数、年代毎の正面顔の数、検出された顔の性別年代、各顔の正面向きとして検出された時間の累積（注視時間）、各顔の注視開始時刻、注視終了時刻などが含まれる。顔方向推定エンジン１８は、顔方向推定結果６３を顔方向推定チューニング部１７に出力する。
The face
次いで、顔方向推定チューニング部１７は、顔方向推定結果確認処理として、顔検出結果、顔方向推定結果６３、性別推定結果、年代推定結果、顔の数、正面顔の数、性別毎の顔の数、性別毎の正面顔の数、年代毎の顔の数、年代毎の正面顔の数、注視時間、性別年代毎の注視時間などを画像、グラフ、表によってリアルタイム表示し、目視によって人間に確認させることによって、顔方向推定エンジン１８の適切なパラメータ値の設定を受け付ける（ステップＳ６４）。顔方向推定結果確認処理は、目視可能な態様によって、顔方向推定処理の対象範囲をフレーム画像に重畳表示する。即ち、顔方向推定結果確認処理は、顔検出結果、顔方向推定結果６３、性別推定結果、年代推定結果、注視時間はフレーム画像に重畳して表示し、顔方向推定エンジンパラメータ設定処理（上述のステップＳ６０）で設定したパラメータの妥当性を確認する処理である。
Next, the face direction
なお、年代の区分け方法としては、１０歳代、２０歳代、など１０歳刻みに年代を区分けする方法、若年層、壮年層、老年層などおおまかに年代を区分けする方法、図６に示すような広告業界で広く用いられている性別と年代を組み合わせた区分け方法などがある。 In addition, as a method of classifying the age, a method of classifying the age in increments of 10 years, such as 10s, 20s, etc., a method of roughly classifying the age, such as younger, older, and older, as shown in FIG. There are classification methods that combine gender and age that are widely used in the advertising industry.
次いで、顔方向推定チューニング部１７は、チューニングを完了するか否かを判断する（ステップＳ６５）。例えば、顔方向推定チューニング部１７は、設定されたパラメータが妥当であるか否かの妥当性を確認し、妥当であると確認した場合に、チューニングを完了すると判断する。顔方向推定チューニング部１７は、チューニングを完了しないと判断した場合（ステップＳ６５：Ｎｏ）、ステップＳ６０に戻る。一方、顔方向推定チューニング部１７は、チューニングを完了すると判断した場合（ステップＳ６５：Ｙｅｓ）、最終的な顔方向推定エンジンパラメータファイル６６として記載し、本フローチャートは終了する。
Next, the face direction
図７は、効果の測定に関連する処理の一例を示すフローチャートである。なお、図７に示す混雑度計測エンジンパラメータファイル４６は、図４に示すように、混雑度計測チューニング部１３によって記憶されたパラメータファイルである。また、顔方向推定エンジンパラメータファイル６６は、図５に示すように、顔方向推定チューニング部１７によって記憶されたパラメータファイルである。
FIG. 7 is a flowchart illustrating an example of processing related to effect measurement. The congestion degree measurement
図７において、クライアント部１９は、効果測定クライアントパラメータ設定処理として、効果測定クライアントに関するパラメータを設定する（ステップＳ７０）。具体的には、例えば、クライアント部１９は、カメラ設置場所、識別番号を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。
In FIG. 7, the
次いで、顔方向推定エンジン制御部２１は、顔方向推定エンジン制御処理として、クライアント部１９からの指示に基づいて、顔方向推定エンジン１８を起動する（ステップＳ７１）。顔方向推定エンジン１８を起動した顔方向推定エンジン制御部２１は、顔方向推定チューニング部１７と同様に、顔方向推定エンジン１８に顔方向推定処理を要求する。
Next, the face direction estimation
次いで、顔方向推定エンジン１８は、顔方向推定エンジンパラメータファイル６６に従って、図５に示す顔方向推定処理と同様、フレーム画像から人物の顔領域の検出し、人数を計測する（ステップＳ６２）。顔方向推定エンジン１８は、顔方向推定結果６３を顔方向推定エンジン制御部２１に出力する。
Next, the face
次いで、混雑度計測エンジン制御部２０は、混雑度計測エンジン制御処理として、クライアント部１９からの指示に基づいて、混雑度計測エンジン１４を起動する（ステップＳ７２）。混雑度計測エンジン１４を起動した混雑度計測エンジン制御部２０は、混雑度計測チューニング部１３と同様に、混雑度計測エンジン１４に混雑度計測処理を要求する。
Next, the congestion level measurement
次いで、混雑度計測エンジン１４は、混雑度計測エンジンパラメータファイル４６等に従って、図４に示す顔方向推定処理と同様、画素単位の信号処理をベースとして人数計測する（ステップＳ４２）。混雑度計測エンジン１４は、混雑度計測結果４３を混雑度計測エンジン制御部２０に出力する。
Next, the congestion
次いで、クライアント部１９は、混雑度計測／顔方向推定結果取得処理として、顔方向推定エンジン制御部２１から顔方向推定結果６３を取得し、混雑度計測エンジン制御部２０から混雑度計測結果４３を取得する（ステップＳ７３）。なお、クライアント部１９は、顔方向推定結果６３と混雑度計測結果４３とを同じタイミングで取得してもよいし、異なるタイミングで取得してもよい。つまり、顔方向推定結果６３および混雑度計測結果４３の各取得タイミングを同期させてもよいし、非同期とさせてもよい。
Next, the
次いで、クライアント部１９は、効果測定データ作成処理として、顔方向推定結果６３と混雑度計測結果４３とから、効果測定データ２２を作成する（ステップＳ７４）。そして、本フローチャートは終了する。なお、効果測定データ２２は、カメラ設置場所を示すデータを含むデータであって、顔方向推定結果６３と混雑度計測結果４３とが時系列に記載されているデータである。
Next, the
図８は、統計解析情報の生成に関連する処理の一例を示すフローチャートである。図８に示すように、統計解析情報生成部２３は、統計解析情報生成処理として、効果測定データ２２、混雑度計測カメラエリアカバー率８１、顔方向推定カメラエリアカバー率８２に基づいて、統計解析情報２４を算出する。
FIG. 8 is a flowchart illustrating an example of processing related to generation of statistical analysis information. As shown in FIG. 8, the statistical analysis
混雑度計測カメラエリアカバー率８１は、混雑度計測を実施したいエリアのうち、どの程度の割合のエリアを混雑度計測カメラ１ａで撮影しているかを示す値（パーセンテージ）である。つまり、図１の例において、混雑度計測カメラエリアカバー率８１は、広告視聴可能エリアのうち混雑度計測カメラ撮影範囲の占める割合に相当する。
The congestion degree measurement camera
顔方向推定カメラエリアカバー率８２は、顔方向推定を実施したいエリアのうち、どの程度の割合のエリアを顔方向推定カメラ1ｂで撮影しているかを示す値（パーセンテージ）である。具体的には、図１の例において、顔方向推定カメラエリアカバー率８２は、広告視聴可能エリアのうち顔方向推定カメラ撮影範囲の占める割合に相当する。
The face direction estimation
統計解析情報生成処理には、種々の方法が考えられる。統計解析情報生成処理の最も単純な方法は、滞在者数および視聴者数を集計し、滞在者数および視聴者数を用いた統計解析情報２４を生成する方法もある。即ち、上記方法は、効果測定データ２２をそのまま利用し、統計解析情報２４を生成する方法である。
Various methods are conceivable for the statistical analysis information generation processing. The simplest method of the statistical analysis information generation process is a method of counting the number of visitors and the number of viewers and generating
統計解析情報生成処理の他の方法として、広告効果指標である注目率を算出し、統計解析情報２４とする方法、若しくは、注目率を集計し、注目率を用いた統計解析情報２４を生成する方法もある。以下、注目率の算出方法を説明する。図９は、注目率について説明するための説明図である。
As another method of the statistical analysis information generation process, the attention rate that is the advertising effect index is calculated and used as the
図９（ａ）は、混雑度計測カメラ１ａおよび顔方向推定カメラ１ｂの撮影範囲を表している。図９（ａ）に示すように、混雑度計測カメラ撮影範囲は、広告視聴可能エリアの１００［％］であるものとし、顔方向推定カメラ撮影範囲は、広告視聴可能エリアの５０［％］であって、かつ、混雑度計測カメラ撮影範囲に包含されているものとする。また、混雑度計測処理と顔方向推定処理は１秒間隔で同期して実行されているとする。
FIG. 9A shows the photographing ranges of the congestion
図９（ｂ）は、広告を視聴している人数等の推移を表している。図９（ｂ）において、横軸は時間[秒]である。外側の矩形内の黒丸は、各時刻における混雑度計測カメラ撮影範囲内に存在する人物を表し、内側の矩形内の黒丸は、各時刻における顔方向推定カメラ撮影範囲内に存在する人物を表している。黒丸と黒丸とを結ぶ線、即ち、同一人物の異なる時刻を結ぶ線のうち、一重線は当該人物が広告の方向を向いていないことを表し、二重線は当該人物が広告の方向を向いていることを表している。なお、図９（ｂ）のＧＳＴおよびＧＶＴについては後述する。 FIG. 9B shows changes in the number of people viewing the advertisement. In FIG. 9B, the horizontal axis represents time [seconds]. The black circle in the outer rectangle represents a person existing in the crowd measurement camera shooting range at each time, and the black circle in the inner rectangle represents a person present in the face direction estimation camera shooting range at each time Yes. Of the lines connecting the black circles and the black circles, that is, lines connecting different times of the same person, the single line indicates that the person is not facing the direction of the advertisement, and the double line indicates that the person is facing the direction of the advertisement It represents that. Note that GST and GVT in FIG. 9B will be described later.
図９（ｂ）に示すように、時刻ｔ１では、Ａ〜Ｊの１０名が混雑度計測カメラ撮影範囲内に存在し、うちＧ〜Ｊの４名が顔方向推定カメラ撮影範囲に存在しているものとする。Ｆ、Ｊは時刻ｔ１で広告の方向を向いているものとする。他の８名（Ａ〜Ｅ、Ｇ〜Ｉ）は広告の方向を向いていないものとする。時刻ｔ２〜時刻ｔ１０では、Ａ〜Ｉの９名が混雑度計測カメラ撮影範囲から立ち去り、Ｊ１名のみが顔方向推定カメラ撮影範囲に存在し、継続して広告の方向を向いているものとする。 As shown in FIG. 9B, at time t1, 10 persons A to J are present in the crowded degree measurement camera photographing range, and four persons G to J are present in the face direction estimation camera photographing range. It shall be. It is assumed that F and J are facing the direction of the advertisement at time t1. The other eight persons (A to E and G to I) are not facing the direction of the advertisement. From time t2 to time t10, it is assumed that nine people A to I have left the crowded degree measurement camera shooting range, and only J1 is present in the face direction estimation camera shooting range and is continuously facing the direction of advertisement. .
図９（ｃ）は、上記の図９（ａ）（ｂ）の前提における、各時刻の混雑度計測結果、顔方向推定結果（検出された顔の数）および注目率を表している。例えば、時刻ｔ１における、混雑度計測結果は混雑度計測カメラ１ａにて把握される混雑度計測カメラ撮影範囲内に存在しているＡ−Ｊの１０名、顔方向推定結果は混雑度計測カメラ１ａにて把握される顔方向推定カメラ撮影範囲内に存在しかつ広告の方向を向いているＪの１名である。なお、ここでは、検出された顔の数を広告の方向を向いている人数としているが、顔の角度と広告方向を向いているか否かの判定基準パラメータに基づいて、検出された顔の中から正面向きの顔だけを絞り込み、その数を広告の方向を向いている人数としてもよい。
FIG. 9C shows the congestion degree measurement result, face direction estimation result (number of detected faces), and attention rate at each time on the premise of FIGS. 9A and 9B. For example, at time t1, the congestion degree measurement result is 10 people AJ present in the shooting range of the congestion degree measurement camera grasped by the congestion
統計解析情報生成部２３は、混雑度計測結果と検出された顔の数から、下記式（１）に従って、各時刻における注目率［％］を算出する。
The statistical analysis
注目率［％］＝｛（検出された顔の数／（顔方向推定カメラエリアカバー率／１００））／（混雑度計測結果／（混雑度計測カメラエリアカバー率／１００））｝×１００…（１）
但し、注目率は１００％を上限とし、それを超えた場合は１００％とする。
Attention rate [%] = {(number of detected faces / (face direction estimation camera area cover ratio / 100)) / (congestion degree measurement result / (congestion degree measurement camera area cover ratio / 100))} × 100. (1)
However, the attention rate is set at 100% as the upper limit, and when it exceeds the upper limit, it is set as 100%.
例えば、図９（ａ）によれば、混雑度計測カメラエリアカバー率８１は１００、顔方向推定カメラエリアカバー率８２は５０、図９（ｂ）によれば、時刻ｔ１における、検出された顔の数は１、混雑度計測結果は１０であるから、統計解析情報生成部２３は、上記式（１）に従って、時刻ｔ１における注目率［％］を下記の如く算出する。
For example, according to FIG. 9A, the congestion degree measurement camera
注目率［％］＝｛（１／（５０／１００））／（１０／（１００／１００））｝×１００＝｛（１／０．５）／（１０／１）｝×１００＝２０[％] Attention rate [%] = {(1 / (50/100)) / (10 / (100/100))} × 100 = {(1 / 0.5) / (10/1)} × 100 = 20 [ %]
また、例えば、図９（ｂ）によれば、時刻ｔ２における、検出された顔の数は１、混雑度計測結果は１であるから、統計解析情報生成部２３は、上記式（１）に従って、時刻ｔ１における注目率［％］を下記の如く算出する。
Further, for example, according to FIG. 9B, since the number of detected faces is 1 and the congestion degree measurement result is 1 at time t2, the statistical analysis
注目率［％］＝｛（１／（５０／１００））／（１／（１００／１００））｝×１００＝｛（１／０．５）／（１／１）｝×１００＝２００[％]
計算結果が上限である１００[％]を越えたため、注目率は１００[％]となる。
Attention rate [%] = {(1 / (50/100)) / (1 / (100/100))} × 100 = {(1 / 0.5) / (1/1)} × 100 = 200 [ %]
Since the calculation result exceeds the upper limit of 100 [%], the attention rate is 100 [%].
以上のように、上記式（１）の注目率は、混雑度計測カメラエリアカバー率８１と顔方向推定カメラエリアカバー率８２とを用いて算出するが、これは、当該注目率が、混雑度計測エンジン１４および顔方向推定エンジン１８の双方を考慮した指標であることを意味している。換言すれば、上記注目率は、混雑度計測カメラエリアカバー率８１と顔方向推定カメラエリアカバー率８２とを用いているため、比較的広い範囲で人数カウント可能であるという混雑度計測エンジン１４の利点と、比較的狭い範囲が対象だが、広告方向を向いている人数（広告を視聴した人数に該当）を取得可能という顔方向推定エンジン１８の利点とを組み合わせた指標であることを表している。従って、顔方向推定カメラ撮影範囲を超える比較的広く範囲、例えば広告視聴可能エリア全体などを対象として、何人中、何人が広告を見ていたかの割合を推計することができるようになる。
As described above, the attention rate of the above formula (1) is calculated using the congestion degree measurement camera
統計解析情報生成処理の他の方法として、広告効果指標である延べ滞在人秒（ＧＳＴ）を算出し、統計解析情報２４とする方法、若しくは、延べ滞在人秒を集計し、延べ滞在人秒を用いた統計解析情報２４を生成する方法もある。以下、図１０を用いて、延べ滞在人秒の算出方法を説明する。図１０は、ＧＳＴについて説明するための説明図である。
As another method of statistical analysis information generation processing, a method of calculating the total visitor seconds (GST) that is an advertising effect index and calculating the
図１０（ａ）は、ＧＳＴの概念を説明した図である。図１０（ａ）のグラフの横軸は時間[秒]、縦軸は混雑度[人数]である。黒丸は、一定又は任意の処理間隔で得られる混雑度計測結果４３である。ＧＳＴは、図１０（ａ）のグラフにおける斜線部分の面積によって表される量である。即ち、ＧＳＴは、当該処理時刻における混雑度計測結果４３と次の処理時刻迄の時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって算出される値である。
FIG. 10A illustrates the concept of GST. The horizontal axis of the graph of FIG. 10A is time [second], and the vertical axis is the degree of congestion [number of people]. A black circle is the congestion
図１０（ｂ）は、１時間単位のＧＳＴを算出する場合の説明図である。図１０（ｂ）において、１１Ａは、処理時刻（時：分：秒）である。図１０（ｂ）の例では、０８：００：００から０９：００：００迄、１０分間隔で処理が実行されている。１１Ｂは、混雑度計測結果４３である。
FIG. 10B is an explanatory diagram in the case of calculating GST in units of one hour. In FIG. 10B, 11A is a processing time (hour: minute: second). In the example of FIG. 10B, the process is executed at intervals of 10 minutes from 08:00:00 to 09:00:00. 11B is the congestion
１１Ｃは、１１Ｂに対し、エリアカバー率の修正を加えた値である。エリアカバー率の修正は、混雑度計測結果４３を混雑度計測カメラエリアカバー率８１で除算することによって行われる。図１０（ｂ）の例では、混雑度計測カメラカバー率８１は１００％であるため、１１Ｂを１（＝１００％）で除算した値が１１Ｃとなる。なお、仮に、混雑度計測カメラカバー率８１が５０％である場合は０．５で除算し、２００％の場合は２で除算する。
11C is a value obtained by correcting the area coverage rate with respect to 11B. The area coverage rate is corrected by dividing the congestion
１１Ｄは、当該処理時刻から次の処理時刻迄の時間間隔である。図１０（ｂ）の例では、６００秒となる。１１Ｅは、１１Ｃと１１Ｄを掛け算した値である。１１Ｆは、１時間単位で算出されたＧＳＴ[人秒]である。例えば、０８時台のＧＳＴは、０８：００：００における１１Ｅから、０９：００：００直前の処理時刻の１１Ｅ（図１０（ｂ）の例では０８：５０：００における１１Ｅ）を積算して求められる。具体的には、図１０（ｂ）の例では、０８時台のＧＳＴは、６０００＋１２３００＋１８０００＋５１００＋１２０００＋１８０００＝７１４００[人秒]となる。なお、ＧＳＴ算出の時間幅は、１時間に限られず、任意の時間、早朝、昼間、夕方、夜間、深夜、午前、午後、１日、１週間など種々の時間幅が考えられる。 11D is a time interval from the processing time to the next processing time. In the example of FIG. 10B, it is 600 seconds. 11E is a value obtained by multiplying 11C and 11D. 11F is GST [human seconds] calculated in units of one hour. For example, the GST in the 08 hour range is obtained by accumulating 11E at the processing time just before 09:00:00 from 11E at 08:00:00 (11E at 08:50:00 in the example of FIG. 10B). Desired. Specifically, in the example of FIG. 10B, the GST in the 08 o'clock range is 6000 + 12300 + 18000 + 5100 + 12000 + 18000 = 71400 [human seconds]. Note that the time width of GST calculation is not limited to one hour, and various time widths such as arbitrary time, early morning, daytime, evening, night, midnight, morning, afternoon, one day, one week, and the like are conceivable.
以上、図１０に示す例によれば、混雑度計測カメラエリアカバー率８１が１００％ではない場合、即ち広告効果測定を実施したいエリアと実際に混雑度計測カメラ1ａが撮影するエリアとが異なる場合でも、混雑度計測カメラエリアカバー率８１を用いることにより、広告効果測定を実施したいエリア全体でのＧＳＴを推計することが可能になる。
As described above, according to the example illustrated in FIG. 10, when the congestion degree measurement camera
また、ＧＳＴは、人数と時間の両方の概念を包含した指標であって、滞在時間で重みを付けて人数を計測した値である。従って、ＧＳＴを広告効果指標として用いることにより、個々人の滞在時間と全体的な人数といった複数の指標を、統合的な一つの指標として取り扱うことが可能となるため、効果的に、広告効果を定量化および可視化することができるようになる。 GST is an index including the concept of both the number of people and the time, and is a value obtained by measuring the number of people with weighting by stay time. Therefore, by using GST as an advertising effect index, it becomes possible to handle a plurality of indices such as the staying time of each person and the total number of people as one integrated index, so that the advertising effect can be quantified effectively. Can be visualized and visualized.
統計解析情報生成処理の他の方法として、広告効果指標である延べ視聴人秒（ＧＶＴ）を算出し、統計解析情報２４とする方法、若しくは、延べ視聴人秒を集計し、延べ視聴人秒を用いた統計解析情報２４を生成する方法もある。以下、図１１を用いて、延べ視聴人秒の算出方法を説明する。図１１は、ＧＶＴについて説明するための説明図である。
As another method of statistical analysis information generation processing, the total viewer time (GVT) which is an advertising effect index is calculated and used as
図１１（ａ）は、ＧＶＴの概念を説明した図である。図１１（ａ）のグラフの横軸は時間[秒]、縦軸は顔方向推定結果の中の検出された顔の数である。黒丸は、一定又は任意の処理間隔で得られる顔方向推定結果６３である。ＧＶＴは、図１１（ａ）のグラフにおける斜線部分の面積によって表される量である。即ち、ＧＶＴは、当該処理時刻における検出された顔の数、即ち顔方向推定結果６３と次の処理時刻迄の時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって算出される値である。なお、ＧＶＴは、検出された顔の数に代えて、正面顔の数を使って算出してもよいが、ここでは検出された顔の数によって算出する例を説明する。
FIG. 11A illustrates the concept of GVT. In the graph of FIG. 11A, the horizontal axis represents time [seconds], and the vertical axis represents the number of detected faces in the face direction estimation result. A black circle is a face
図１１（ｂ）は、１時間単位のＧＶＴを算出する場合の説明図である。図１１（ｂ）において、１２Ａは処理時刻（時：分：秒）である。図１１（ｂ）の例では、０８：００：００から０９：００：００迄、１０分間隔で処理が実行されている。１２Ｂは、検出された顔の数である。 FIG. 11B is an explanatory diagram for calculating a GVT in units of one hour. In FIG.11 (b), 12A is processing time (hour: minute: second). In the example of FIG. 11B, the process is executed at intervals of 10 minutes from 08:00:00 to 09:00:00. 12B is the number of detected faces.
１２Ｃは１２Ｂに対し、エリアカバー率の修正を加えた値である。エリアカバー率の修正は、検出された顔の数を顔方向推定カメラエリアカバー率８２で除算することによって行われる。図１１（ａ）の例では、顔方向推定カメラカバー率８２は５０％であるため、１１Ｂを０．５（＝５０％）で除算した値が１２Ｃとなる。なお、仮に、顔方向推定カメラカバー率８２が１００％である場合は１で除算し、２００％の場合は２で除算する。
12C is a value obtained by correcting the area coverage rate with respect to 12B. The area coverage is corrected by dividing the number of detected faces by the face direction estimation
１２Ｄは、当該処理時刻から次の処理時刻迄の時間間隔である。図１１（ｂ）の例では、６００秒となる。１２Ｅは、１２Ｃと１２Ｄを掛け算した値である。１２Ｆは、１時間単位で算出されたＧＶＴ[人秒]である。例えば、０８時台のＧＶＴは、０８：００：００における１２Ｅから、０９：００：００直前の処理時刻の１２Ｅ（図１１（ｂ）の例では０８：５０：００における１２Ｅ）を積算して求められる。具体的には、図１１（ｂ）の例では、０８時台のＧＶＴは、６０００＋６０００＋３６００＋２４００＋９６００＋１８０００＝４５６００[人秒]となる。なお、ＧＶＴ算出の時間幅は、１時間に限られず、任意の時間、早朝、昼間、夕方、夜間、深夜、午前、午後、１日、１週間など種々の時間幅が考えられる。 12D is a time interval from the processing time to the next processing time. In the example of FIG. 11B, it is 600 seconds. 12E is a value obtained by multiplying 12C and 12D. 12F is GVT [human seconds] calculated in units of one hour. For example, the GVT in the 08 hour range integrates 12E at 08:00:00 to 12E at the processing time immediately before 09:00:00 (12E at 08:50:00 in the example of FIG. 11B). Desired. Specifically, in the example of FIG. 11B, the GVT in the 08 hour range is 6000 + 6000 + 3600 + 2400 + 9600 + 18000 = 45600 [human seconds]. Note that the time width of GVT calculation is not limited to one hour, and various time widths such as an arbitrary time, early morning, daytime, evening, night, midnight, morning, afternoon, one day, one week, and the like are conceivable.
また、顔方向推定結果６３には検出された顔の数に加え、その内訳である性別毎の顔の数、年代毎の顔の数、図６に示した性別と年代を組み合わせた区分け毎の顔の数が記載されているため、人物属性別にＧＶＴを算出することも容易に可能である。なお、人物属性別に情報を出力するためには、人物属性別の視聴者数が必要となるが、これについては後述する。
In addition to the number of detected faces, the face
以上、図１１に示す例によれば、顔方向推定カメラエリアカバー率８２が１００％ではない場合、即ち広告効果測定を実施したいエリアと実際に顔方向推定カメラ1ｂが撮影するエリアとが異なる場合でも、顔方向推定カメラエリアカバー率８２を用いることにより、広告効果測定を実施したいエリア全体でのＧＶＴを推計することが可能になる。
As described above, according to the example shown in FIG. 11, when the face direction estimation
また、ＧＶＴもＧＳＴと同様、人数と時間の両方の概念を包含した指標であって、注視時間で重みを付けて人数を計測した値である。従って、ＧＶＴを広告効果指標として用いることにより、個々人の注視時間と、顔の数、即ち全体的な人数といった複数の指標を、統合的な一つの指標として取り扱うことが可能となるため、効果的に、広告効果を定量化および可視化することができるようになる。 Similarly to GST, GVT is an index that includes both the concept of the number of people and time, and is a value obtained by measuring the number of people with weighting by the gaze time. Therefore, by using GVT as an advertising effect index, it is possible to handle a plurality of indices such as the gaze time of each person and the number of faces, that is, the total number of people as an integrated index, which is effective. In addition, the advertising effect can be quantified and visualized.
統計解析情報生成処理の他の方法として、広告効果指標である人秒ベースの注目率を算出し、統計解析情報２４とする方法、若しくは、人秒ベースの注目率を集計し、人秒ベースの注目率を用いた統計解析情報２４を生成する方法もある。以下、人秒ベースの注目率の算出方法を説明する。
As another method of the statistical analysis information generation processing, the attention rate based on the human seconds that is the advertising effect index is calculated and used as the
統計解析情報２４は、上記式（１）による注目率に代えて、下記式（２）従って、人秒ベースの注目率[％]を算出する。
The
人秒ベースの注目率[％]＝（ＧＶＴ／ＧＳＴ）×１００…（２）
但し、人秒ベースの注目率は１００％を上限とし、それを超えた場合は１００％とする。
Attention rate [%] = (GVT / GST) × 100 (2)
However, the attention rate based on human seconds is set to 100% as the upper limit, and when it exceeds the upper limit, the attention rate is set to 100%.
人秒ベースの注目率は、上記式（２）に示すように、ＧＶＴをＧＳＴで除算して算出される。人秒ベースの注目率も、何人中、何人が広告を見ていたかを表す割合であって、ＧＳＴおよびＧＶＴを算出した際の時間単位毎に算出される。 The human-second-based attention rate is calculated by dividing GVT by GST, as shown in the above equation (2). The person-second-based attention rate is also a ratio representing how many people are watching the advertisement, and is calculated for each time unit when GST and GVT are calculated.
例えば、図９の例において、時刻ｔ１〜時刻ｔ１０迄の１０秒間を時間単位とした場合、該１０秒間のＧＳＴは１９[人秒]、ＧＶＴは１０[人秒]であるため、上記式（２）に従って、人秒ベースの注目率＝（１０／１９）×１００＝５２．６％（小数点第２位四捨五入）となる。 For example, in the example of FIG. 9, when 10 seconds from time t1 to time t10 are set as a time unit, GST for the 10 seconds is 19 [personal seconds] and GVT is 10 [personal seconds]. According to 2), the attention rate based on human seconds = (10/19) × 100 = 52.6% (rounded to the second decimal place).
また、図１０および図１１の例において、人秒ベースの注目率＝（０８時台のＧＶＴ／０８時台のＧＳＴ）×１００＝（４５６００／７１４００）×１００＝６３．９％（小数点第２位四捨五入）となる。 Further, in the example of FIGS. 10 and 11, the attention rate based on the human seconds = (GVT in the range of 08 o'clock / GST in the range of 08 o'clock) × 100 = (45600/71400) × 100 = 63.9% (the second decimal point) Rounded off).
以上、人秒ベースの注目率は、１時間単位又は１日単位などの時間単位における代表値を算出する際に、容易に算出することができる。また、人秒ベースの注目率は、使用目途にも依るが、より人間の直観に合致するため有用である。例えば、図９の例において、代表値に平均値を用いる方法を例とすると、時刻ｔ１〜時刻ｔ１０迄の１０秒間の注目率の代表値（平均値）は、注目率＝（２０＋１００＋１００＋１００＋１００＋１００＋１００＋１００＋１００＋１００）／１０＝９２％と算出され、１名の長時間視聴者（具体的にはＪ）の存在によって算出される注目率１００％の事例数に重み付けされ、比較的高い値となる。換言すれば、１名の長時間視聴者による注目率に代表値が引っ張られ、比較的高い値となる。しかし、当該１０秒間における人秒ベースの注目率は、上述の如く５２．６％となるため、当該場合、人秒ベースの注目率の方が人間の直観により合致する。 As described above, the attention rate based on the human seconds can be easily calculated when calculating the representative value in the time unit such as one hour unit or one day unit. In addition, the attention rate based on human seconds is useful because it more closely matches human intuition, although it depends on the intended use. For example, in the example of FIG. 9, taking a method of using an average value as a representative value as an example, the representative value (average value) of the attention rate for 10 seconds from time t1 to time t10 is attention rate = (20 + 100 + 100 + 100 + 100 + 100 + 100 + 100 + 100 + 100) / 10. = 92%, which is weighted to the number of cases with an attention rate of 100% calculated based on the presence of one long-time viewer (specifically, J) and becomes a relatively high value. In other words, the representative value is pulled by the attention rate by one long-time viewer and becomes a relatively high value. However, the human-second-based attention rate in the 10 seconds is 52.6% as described above, and in this case, the human-second-based attention rate is more in line with human intuition.
以下、図１２および図１３を用いて、具体的な統計解析情報２４について更に説明する。図１２および図１３は、統計解析情報生成処理における統計解析情報の出力例を説明するための説明図である。
Hereinafter, the specific
図１２（ａ）は、曜日別に、１時間単位でＧＳＴおよびＧＶＴを集計した集計結果の一例である。具体的には、図１２（ａ）に示す例は、月曜日の時間推移の一例である。統計解析情報生成部２３は、効果測定データ２２から曜日別にデータ（広告効果指標）を抽出し、曜日別に、１時間単位でＧＳＴおよびＧＶＴを集計し、図１２（ａ）に示すような集計結果を出力する。
FIG. 12A shows an example of a totaling result obtained by summing up GST and GVT on an hourly basis for each day of the week. Specifically, the example illustrated in FIG. 12A is an example of a time transition on Monday. The statistical analysis
なお、統計解析情報生成部２３は、曜日別の集計に代えて、同様に、曜日を考慮しない全日（月曜〜日曜）、平日（月曜〜金曜）／週末（土曜、日曜）別に集計してもよい。また、統計解析情報生成部２３は、１時間単位の集計に代えて、同様に、１日単位に集計してもよい。なお、図１２（ｂ）は、全日、平日、週末、曜日別に、１日単位でＧＳＴおよびＧＶＴを集計した集計結果である。また、上述の平日、週末以外にも、祝日別に集計する方法、週別に集計する方法、月別に集計する方法、季節別に集計する方法など種々の集計方法が考えられる。
Note that the statistical analysis
また、統計解析情報生成部２３は、ＧＳＴおよびＧＶＴに代えて、上記式（１）によって示される注目率について集計してもよい。具体的には、例えば、統計解析情報生成部２３は、上記式（１）によって示される注目率について集計時間単位（例えば、１時間又は１日）の代表値（例えば平均値）を算出し、算出した代表値を集計値としてもよい。
Further, the statistical analysis
また、統計解析情報生成部２３は、更に、人物属性別に集計してもよい。例えば、図１２（ａ）に示す集計を性別毎に行って、性別、曜日別に、１時間単位のＧＳＴおよびＧＶＴを集計してもよい。なお、人物属性別に情報を出力するためには、人物属性別の視聴者数が必要となるが、これについては後述する。
Further, the statistical analysis
図１２（ｂ）に示すような広告効果指標を統計解析情報２４として出力することによって、当該広告の当該設置場所における効果が得られるため、当該広告または当該設置場所の今後のマーケティング、販売促進、広告コンテンツのプランニング等に利用することができる。
By outputting the advertisement effect index as shown in FIG. 12 (b) as the
また、統計解析情報生成部２３は、ＧＳＴおよびＧＶＴに代えて、人秒ベースの注目率について集計してもよい。また、統計解析情報生成部２３は、人物属性別のＧＶＴである人物属性別ＧＶＴについて集計してもよい。なお、人物属性別に情報を出力するためには、人物属性別の視聴者数が必要となるが、これについては後述する。
Further, the statistical analysis
図１３（ａ）は、曜日別に、１時間単位で性別比率を集計した集計結果の一例である。具体的には、図１３（ａ）に示す例は、月曜日の時間推移の一例である。統計解析情報生成部２３は、効果測定データ２２から曜日別にデータ（場所属性情報）を抽出し、曜日別に、１時間単位で性別比率を集計し、図１３（ａ）に示すような集計結果を出力する。
FIG. 13A is an example of a totaling result in which the gender ratios are totaled for each day of the week on an hourly basis. Specifically, the example illustrated in FIG. 13A is an example of a time transition on Monday. The statistical analysis
なお、統計解析情報生成部２３は、曜日別の集計に代えて、同様に、全日、平日／週末別に集計してもよい。また、統計解析情報生成部２３は、１時間単位の集計に代えて、同様に、１日単位に集計してもよい。なお、図１3（ｂ）は、全日、平日、週末、曜日別に、１日単位で性別比率を集計した集計結果である。また、統計解析情報生成部２３は、性別比率に代えて、年代比率、図６に示した性別と年代とを組み合わせた属性区分比率についても集計してよい。
Note that the statistical analysis
図１３（ｂ）に示すような場所属性情報を統計解析情報２４として出力することによって、当該場所に、どのような属性の人がどのような時間に多いのか、または少ないのか、といった当該場所固有の特性が得られるため、マーケティング、販売促進、広告コンテンツのプランニング等に利用することができる。
By outputting the place attribute information as shown in FIG. 13B as the
以下、図１４から図１８を用いて、顔方向を推定方法および人物属性別の視聴者数の算出方法について詳細に説明する。図１４は、顔方向推定エンジン１８の構成の一例を示す機能ブロック図である。図１５は、認識用顔領域再検出部１２４の処理を説明するための説明図である。
Hereinafter, a face direction estimation method and a method for calculating the number of viewers by person attribute will be described in detail with reference to FIGS. 14 to 18. FIG. 14 is a functional block diagram illustrating an example of the configuration of the face
顔方向推定エンジン１８は、図１４に示すように、学習処理部１１０および認識処理部１２０を備える。学習処理部１１０は、学習用データ取得部１１１、学習用顔領域検出部１１２、顔方向別属性識別器生成部１１３および顔方向別属性識別器記憶部１１４を備える。認識処理部１２０は、計測用画像データ取得部１２１、認識用顔領域検出部１２２、顔方向推定部１２３、認識用顔領域再検出部１２４、属性識別部１２５および結果出力部１２６を備える。
As shown in FIG. 14, the face
学習用データ取得部１１１は、学習用データとして、顔方向推定カメラ１ｂによって種々の方向から撮像された顔画像データ、上記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、被写体の属性データを取得する。学習用データ取得部１１１は、顔画像データを学習用顔領域検出部１１２に出力する。
The learning
また、学習用データ取得部１１１は、学習用顔方向パラメータ（例えば、ｙａｗ角の値、ｐｉｔｃｈ角の値など）を学習用データとして取得する。学習用データ取得部１１１は、学習用顔方向パラメータを、何れの顔画像データに係る学習用顔方向パラメータであるかわかる態様（顔画像データと学習用顔方向パラメータとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、学習用顔方向パラメータを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、学習用顔方向パラメータは、各顔画像データの撮像時に設定した顔方向を手作業で入力したものである。
The learning
また、学習用データ取得部１１１は、各顔画像データの被写体の属性データを学習用データとして取得する。学習用データ取得部１１１は、属性データを、何れの顔画像データに係る属性データであるかわかる態様（顔画像データと属性データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、属性データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。
Further, the learning
また、学習処理部１１０において、主観年齢層を識別する属性識別器を生成する場合、学習用データ取得部１１１は、主観年齢に係る集計データ（顔画像データを多数の人物に予め提示して得られた当該顔画像データの被写体の主観年齢の割合を集計した集計データ）を学習用データとして取得する。学習用データ取得部１１１は、集計データを、何れの顔画像データに係る集計データであるかわかる態様（顔画像データと集計データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、集計データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、主観年齢層を識別する識別器を生成する場合の具体例などについては後述する
Further, when the
学習用顔領域検出部１１２は、学習用データ取得部１１１から顔画像データを取得し、顔画像データから顔領域を検出する。例えば、学習用顔領域検出部１１２は、確率的増分符号相関などの統計的手法（例えば、参考文献５参照）を利用し、顔領域を高速に検出してもよい。
The learning face
（参考文献５）
「個体差のある対象の画像照合に適した確率的増分符号相関」三田雄志、金子敏充、堀修 電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５．
(Reference 5)
“Probabilistic incremental code correlation suitable for image matching of objects with individual differences” Yuji Mita, Toshimitsu Kaneko, Osamu Hori, IEICE Transactions D-II, Vol. J88-D-II, no. 8, pp. 1614-1623, 2005.
顔領域を検出した学習用顔領域検出部１１２は、顔画像データから顔領域を切り出した画像（以下、「顔切出画像データ」という）を、何れの顔画像データに係る顔切出画像データであるかわかる態様（顔画像データと顔切出画像データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用顔領域検出部１１２は、顔切出画像データを、切り出し元の顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、学習処理部１１０の学習用顔領域検出部１１２は、認識処理部１２０の認識用顔領域検出部１２２に比べ、処理時間における制約は厳しくない。認識用顔領域検出部１２２は認識時に顔領域を検出するが、学習用顔領域検出部１１２は属性識別器の学習時に顔領域を検出するからである。
The learning face
顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（学習用顔方向パラメータ、属性データ）を取得する。また、顔方向別属性識別器生成部１１３は、学習用顔領域検出部１１２から顔切出画像データを取得する。なお、学習用顔方向パラメータ、属性データおよび顔切出画像データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データおよび顔切出画像データのぞれぞれは互いに対応付けられている。
The face direction
また、学習処理部１１０において、主観年齢層を識別する属性識別器を生成する場合、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（集計データ）を取得する。なお、集計データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データ、集計データおよび顔切出画像データのぞれぞれは互いに対応付けられている。
When the
学習用データおよび顔切出画像データを取得した顔方向別属性識別器生成部１１３は、顔方向別に、属性識別器を生成する。例えば、顔方向別属性識別器生成部１１３は、男性か女性かを識別できる性別識別器などの属性識別器を顔方向別に生成する。
The face direction attribute
具体的には、顔方向別属性識別器生成部１１３は、学習用顔領域検出部１１２によって出力された顔切出画像データであって学習用顔方向パラメータが同一である複数の顔切出画像データと、当該複数の顔切出画像データそれぞれの属性データとに基づいて、被写体の顔方向別に、被写体の属性を識別する属性識別器を生成する。より詳細には、顔方向別属性識別器生成部１１３は、学習用顔方向パラメータの値が一致する顔切出画像データ（顔方向の一致する顔切出画像データ）を１つのグループとし、各グループ内の属性（各グループ内の顔切出画像データに対応する属性データに基づく属性）を教師信号として属性識別器に学習させる。顔方向別属性識別器生成部１１３は、全ての顔方向に対して当該処理を行うことによって、顔方向別の属性識別器を生成する。なお、顔方向別属性識別器生成部１１３は、学習用顔方向パラメータに基づいて、各属性識別器に顔方向に係る情報（例えば、ｙａｗ角およびｐｉｔｃｈ角の組合せ）を示すタグを付加する。
Specifically, the face direction
顔方向別属性識別器生成部１１３は、生成した全ての属性識別器を顔方向別属性識別器記憶部１１４に記憶する。なお、顔方向別属性識別器生成部１１３は、属性識別器の生成結果を管理し、全ての顔方向の属性識別器を生成したか否かを判断する。なお、顔方向別属性識別器生成部１１３が生成する属性識別器の種類は、２クラスを判別できるものであれば何でもよい。例えば、サポートベクトルマシンやフィードフォワード型ニューラルネットワークなどが代表的なところである。
The face direction attribute
また、主観年齢層を識別する識別器を生成する場合、顔方向別属性識別器生成部１１３は、所定の閾値に基づいて、集計データによって示される各主観年齢層（各クラス）の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の頻度（正解と判定した各クラスに属すると評価した他者の割合）に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する。
In addition, when generating a classifier that identifies a subjective age group, the face direction attribute
顔方向別属性識別器記憶部１１４は、メモリまたはＨＤＤであって、顔方向別属性識別器生成部１１３によって生成された全ての属性識別器を記録する。顔方向別属性識別器記憶部１１４に記憶された属性識別器は、属性識別部１２５からの要求に応じて属性識別部１２５に出力される。
The face direction attribute classifier storage unit 114 is a memory or HDD, and records all the attribute classifiers generated by the face direction attribute
計測用画像データ取得部１２１は、顔方向推定カメラ１ｂから出力された撮像画像を計測用画像データとして取得する。なお、計測用画像データ取得部１２１が取得する計測用画像データは、視聴人数の計測用、又は、人物属性別の視聴人数の計測用の画像データである。計測用画像データ取得部１２１は、計測用画像データを認識用顔領域検出部１２２および認識用顔領域再検出部１２４に出力する。
The measurement image
認識用顔領域検出部１２２は、計測用画像データ取得部１２１から計測用画像データを取得し、計測用画像データから顔領域を検出する。例えば、認識用顔領域検出部１２２は、学習用顔領域検出部１１２と同様の手法を利用し、計測用画像データから顔領域を検出する。顔領域を検出した認識用顔領域検出部１２２は、計測用画像データから顔領域を切り出した顔切出画像データを顔方向推定部１２３に出力する。なお、認識処理部１２０の認識用顔領域検出部１２２は、学習処理部１１０の学習用顔領域検出部１１２に比べ、処理時間における制約は厳しい。学習用顔領域検出部１１２は属性識別器の学習時に顔領域を検出するが、認識用顔領域検出部１２２は認識時に顔領域を検出するからである。従って、確率的増分符号相関などの統計的手法を利用し、顔領域を高速に検出することが好ましい。
The recognition face
顔方向推定部１２３は、認識用顔領域検出部１２２から顔切出画像データを取得する。顔切出画像データを取得した顔方向推定部１２３は、認識用顔領域検出部１２２によって出力された顔切出画像データに基づいて、計測用画像の被写体の顔方向を推定し、被写体の顔方向を示す属性識別用顔方向パラメータを出力する。属性識別用顔方向パラメータは、例えば、ｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値に係るものである。スケール値とは、顔領域として検出される方形枠に対する顔の占める大きさ（例えば、ドット数）を定量的に算出したものである（例えば、ある基準値に対する相対値として表現してもよい）。
The face
より詳細には、顔方向推定部１２３は、顔切出画像データから顔領域の明度パターンを検出し、検出した顔領域の明度パターンに基づいて、属性識別用顔方向パラメータを推定する。例えば、顔方向推定部１２３は、主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法（例えば、参考文献６参照）を利用し、高精度に、属性識別用顔方向パラメータを推定する。参考文献６参照の手法を利用することによって、学習していない顔方向を含む連続的な顔方向推定が可能となる。
More specifically, the face
（参考文献６）
「サポートベクトル回帰を用いた三次元物体の姿勢推定法」安藤慎吾，草地良規，鈴木章， 荒川賢一 電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８，ｐｐ．１８４０−１８４７，２００６．
(Reference 6)
“Pose Estimation Method for 3D Objects Using Support Vector Regression” Shingo Ando, Yoshinori Kusachi, Akira Suzuki, Kenichi Arakawa IEICE Transactions D-II, Vol. J89-D No. 8, pp. 1840-1847, 2006.
顔方向を推定した顔方向推定部１２３は、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを認識用顔領域再検出部１２４に出力し、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを属性識別部１２５に出力する。
The face
また、顔方向推定部１２３は、顔切出画像データ毎に推定した顔方向と、予め設定した広告方向とを比較し、顔方向が広告方向である顔切出画像データの数、即ち、視聴人数を計数する。視聴人数を計数した顔方向推定部１２３は、計数した視聴人数を結果出力部１２６に出力する。
In addition, the face
また、顔方向推定部１２３は、上記比較の結果、顔方向が広告方向であるか否かを示す情報を、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータに対応付けて、属性識別部１２５に出力してもよい。つまり、顔方向推定部１２３は、視聴者に係る属性識別用顔方向パラメータであるか、非視聴者に係る属性識別用顔方向パラメータであるかがわかる態様により、属性識別用顔方向パラメータを属性識別部１２５に出力してもよい。
In addition, the face
認識用顔領域再検出部１２４は、計測用画像データ取得部１２１から計測用画像データを取得する。また、認識用顔領域再検出部１２４は、顔方向推定部１２３からｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得する。計測用画像データ、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得した認識用顔領域再検出部１２４は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、計測用画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する。具体的には、認識用顔領域再検出部１２４は、図１５に示すように、ｒｏｌｌ角が０°かつスケール値が１になるように正規化されるように、計測用画像データから顔領域を切り出した顔切出画像データを出力する。つまり、認識用顔領域再検出部１２４は、回転や大きさの微妙なぶれを補正するために、再度、計測用画像データから顔領域を切り出した顔切出画像データを出力している。認識用顔領域再検出部１２４は、顔切出画像データを属性識別部１２５に出力する。
The recognition face
属性識別部１２５は、顔方向推定部１２３からｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを取得する。また、属性識別部１２５は、認識用顔領域再検出部１２４から顔切出画像データを取得する。ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータ、顔切出画像データを取得した属性識別部１２５は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する。
The
属性識別部１２５による属性識別器の選択基準は種々の方法が考えられるが、例えば、属性識別部１２５は、基準基準１または選択基準２の何れかに従って属性識別器を選択する。
（選択基準１）
顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による最近傍の属性識別器を１つ選択する。換言すれば、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部１２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて最近傍の属性識別器を１つ選択する。
（選択基準２）
顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による４近傍の識別器を選択する。換言すれば、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部１２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の属性識別器を２つ以上選択する。
There are various methods for selecting the attribute discriminator by the
(Selection criteria 1)
Assuming that a plurality of attribute classifiers stored in the face direction attribute classifier storage unit 114 are arranged in a grid on a two-dimensional space with respect to the yaw angle and the pitch angle, the nearest attribute identification based on the Euclidean distance Select one vessel. In other words, each of the plurality of attribute classifiers stored in the face direction attribute classifier storage unit 114 is arranged in a two-dimensional space composed of the yaw angle and the pitch angle output from the face
(Selection criteria 2)
Assume that a plurality of attribute classifiers stored in the face direction attribute classifier storage unit 114 are arranged in a grid on a two-dimensional space with respect to the yaw angle and the pitch angle, and classifiers of four neighbors based on the Euclidean distance Select. In other words, each of the plurality of attribute classifiers stored in the face direction attribute classifier storage unit 114 is arranged in a two-dimensional space composed of the yaw angle and the pitch angle output from the face
基準基準１に従って１つの属性識別器を選択した場合、属性識別部１２５は、当該選択した１つの属性識別器に、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、識別結果を得る。そして、属性識別部１２５は、当該識別結果を結果出力部１２６に出力する。
When one attribute discriminator is selected according to the
また、属性識別部１２５は、顔方向が広告方向であるか否かを示す情報を顔方向推定部１２３から取得した場合には、識別結果別の視聴者数、即ち、人物属性別の視聴人数を計数する。人物属性別の視聴人数を計数した属性識別部１２５は、計数した人物属性別の視聴人数を結果出力部１２６に出力する。
Further, when the
基準基準２に従って４つの属性識別器を選択した場合、属性識別部１２５は、当該選択した４つの属性識別器のそれぞれに、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、それぞれから識別結果を得る。そして、属性識別部１２５は、それぞれから取得した識別結果から最終的な識別結果を算出し（例えば、距離による重み付き平均を用いて計測用画像の被写体に係る最終的な識別結果を算出する）、最終的な識別結果を結果出力部１２６に出力する。
例えば、サポートベクトルマシン等では最後にｓｉｇｎ関数を乗じて１か−１の何れかを出力するが、ここでは、それぞれから取得した識別結果について、ｓｉｇｎ関数を乗じる前の数値を（一時的な）識別結果とし、デジタル画像の拡大などで用いられるバイリニア補間と同様の手法を用いて、それぞれの識別結果を重み付き平均する。次いで、ｓｉｇｎ関数をかけ、（最終的な）識別結果として結果出力部１２６に出力する。なお、バイキュービック補間のように５近傍以上の重み付き平均を利用した手法、スプライン補間などの、より高度な手法を利用可能であり、バリエーションは多彩である。
When four attribute discriminators are selected according to the
For example, a support vector machine or the like multiplies the sign function at the end to output either 1 or −1. Here, for the identification result obtained from each, a numerical value before the sign function is multiplied (temporary) Using the same method as bilinear interpolation used for enlargement of a digital image as the identification result, each identification result is weighted and averaged. Next, the sign function is applied and output to the
結果出力部１２６は、顔方向推定部１２３および属性識別部１２５から取得した情報を出力する。例えば、結果出力部１２６は、属性識別部１２５から識別結果である各人の属性情報を取得した場合には、当該属性情報を出力する。また、結果出力部１２６は、顔方向推定部１２３から視聴人数を取得した場合には、当該視聴人数を出力する。また、結果出力部１２６は、属性識別部１２５から人物属性別の視聴人数を取得した場合には、当該人物属性別の視聴人数を出力する。
The
続いて、図１６および図１７を用いて、年齢層識別において、主観年齢層を識別する属性識別器を生成する場合の具体例などについて説明する。図１６および図１７は、主観年齢層の概念を説明するための説明図である。図１６（ａ）に示すように、一人の顔画像に対し、多数の人物の主観年齢層を集計すると、複数のクラス（層）にばらつく可能性が高い。そのため、まず、主観年齢層で全体のａ％（ａはあらかじめ決定するパラメータ値）を超えるもクラスのみを正解とする。例えば、図１６（ｂ）に示す例では、２０歳〜３４歳のクラスおよび３５歳〜４９歳のクラスは正解とするが、１９歳以下のクラスおよび５０歳以上のクラスは不正解とする。 Next, a specific example in the case of generating an attribute classifier for identifying a subjective age group in age group identification will be described with reference to FIGS. 16 and 17. 16 and 17 are explanatory diagrams for explaining the concept of the subjective age group. As shown in FIG. 16A, if the subjective age groups of a large number of persons are aggregated with respect to a single face image, there is a high possibility that the classes will vary among a plurality of classes (layers). For this reason, first, only a class that exceeds a% (a is a parameter value determined in advance) in the subjective age group is regarded as correct. For example, in the example shown in FIG. 16B, a class of 20 years old to 34 years old and a class of 35 years old to 49 years old are correct, but a class of 19 years old or younger and a class of 50 years old or older are incorrect.
ところで、主観年齢層を分けるときのクラスの分け方も種々の分け方が考えられるが（例えば、図１６に示す方法やｎ十代毎に分ける方法）、通常、主観年齢層が３クラス以上となるような分け方を設定する。４クラスの主観年齢層（１９歳以下のクラス、２０歳〜３４歳のクラス、３５歳〜４９歳のクラス、５０歳以上のクラス）を設定する場合、例えば、図１７（ａ）のように、１９歳以下と２０歳以上を識別する属性識別器１、３４歳以下と３５歳以上を識別する属性識別器２、４９歳以下と５０歳以上を識別する属性識別器２をそれぞれ学習する。つまり、属性識別器１、２、３の識別結果を分析すれば、上記４クラスの主観年齢層に対応できる。各属性識別器は２クラスの年齢層（例えば、図１７（ａ）に示す属性識別器２の場合、３４歳以下のクラスと３５歳以上のクラス）を判別し、１か−１として出力する最も単純な識別器の組合せで構成可能である。
By the way, there are various ways of dividing the classes when dividing the subjective age group (for example, the method shown in FIG. 16 or the method of dividing every n teens). Set up a way of dividing. When four classes of subjective age groups (a class of 19 years old or less, a class of 20 years old to 34 years old, a class of 35 years old to 49 years old, a class of 50 years old or more) are set, for example, as shown in FIG. , An
問題は、正解が２クラス以上発生する場合（例えば、図１６（ｂ）のような結果が出る顔画像の場合）の対処であるが、当該問題の対処としては、例えば、属性識別器を学習するために渡す教師信号として、下記式（３）に従って算出される内分値を与えるようにしてもよい。 The problem is to deal with cases where correct answers occur in two or more classes (for example, a face image that produces a result as shown in FIG. 16B). For this purpose, an internal division value calculated according to the following equation (3) may be given as a teacher signal to be passed.
内分値＝（ＯＳ×ＰＳ＋ＯＢ×ＰＢ）÷（ＰＳ＋ＰＢ）…（３）
但し、ＯＳはある属性識別器Ｘにおいて小さい方の年齢層Ｓであると判別された場合の出力値、ＯＢは当該属性識別器Ｘにおいて大きい方の年齢層Ｂであると判別された場合の出力値、ＰＳは年齢層Ｓに含まれる最大の主観年齢層に属すると評価した他者の割合（頻度）、ＰＢは年齢層Ｂに含まれる最小の主観年齢層に属すると評価した他者の割合（頻度である。
Internal value = (O S × P S + O B × P B ) ÷ (P S + P B ) (3)
However, O output value when S is determined that is smaller age S of the certain attribute identifier X, if O B is it is judged that age B larger in the attribute identifier X , P S is the ratio (frequency) of others who are evaluated as belonging to the largest subjective age group included in the age group S, and P B is evaluated as belonging to the minimum subjective age group included in the age group B Percentage of others (frequency.
具体的には、属性識別器２の場合、図１７（ａ）に示すように、小さい方の年齢層Ｓ（３４歳以下のクラス）であると判別された場合の出力値ＯＳ＝−１、大きい方の年齢層Ｂ（３５歳以上のクラス）であると判別された場合の出力値ＯＢ＝１、図１６（ａ）に示すように、年齢層Ｓ（３４歳以下のクラス）に含まれる最大の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度ＰＳ＝０．６、年齢層Ｂ（３５歳以上のクラス）に含まれる最小の主観年齢層（３５〜４９歳のクラス）に属すると評価した他者の頻度PＢ＝０．３である。従って、属性識別器２に係る内分値（教師信号）は、上記式（３）に従って、図１７（ｂ）に示すように、（−１×０．６＋１×０．３）÷（０．６＋０．３）＝−０．３３３と算出される。
Specifically, in the case of the
同様に、属性識別器１の場合、図１７（ａ）に示すように、小さい方の年齢層Ｓ（１９歳以下のクラス）であると判別された場合の出力値ＯＳ＝−１、大きい方の年齢層Ｂ（２０歳以上のクラス）であると判別された場合の出力値ＯＢ＝１、図１６（ａ）に示すように、年齢層Ｓ（１９歳以下のクラス）に含まれる最大の主観年齢層（１９歳以下のクラス）に属すると評価した他者の頻度ＰＳ＝０．１、年齢層Ｂ（２０歳以上のクラス）に含まれる最小の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度PＢ＝０．６である。従って、属性識別器１に係る内分値（教師信号）は、上記式（３）に従って、図１７（ｂ）に示すように、（−１×０．１＋１×０．６）÷（０．１＋０．６）＝０．７１４と算出される。
Similarly, in the case of the
同様に、属性識別器３の場合、図１７（ａ）に示すように、小さい方の年齢層Ｓ（４９歳以下のクラス）であると判別された場合の出力値ＯＳ＝−１、大きい方の年齢層Ｂ（５０歳以上のクラス）であると判別された場合の出力値ＯＢ＝１、図１６（ａ）に示すように、年齢層Ｓ（４９歳以下のクラス）に含まれる最大の主観年齢層（３５〜４９歳以下のクラス）に属すると評価した他者の頻度ＰＳ＝０．３、年齢層Ｂ（５０歳以上のクラス）に含まれる最小の主観年齢層（５０歳以上のクラス）に属すると評価した他者の頻度PＢ＝０である。従って、属性識別器３に係る内分値（教師信号）は、上記式（３）に従って、図１７（ｂ）に示すように、（−１×０．３＋１×０）÷（０．３＋０）＝−１と算出される。
Similarly, in the case of the
また、より単純に、それぞれの頻度（割合）を等価と考え、下記式（４）に従って内分値を算出してもよい。即ち、上記式（３）において、ＰＳ＝ＰＢ＝０．５としてもよい。 In addition, the internal values may be calculated according to the following equation (4), considering each frequency (ratio) as equivalent. That is, in the above formula (3), P S = P B = 0.5 may be set.
内分値＝（ＯＳ×０．５＋ＯＢ×０．５）÷（０．５＋０．５）…（４） Internal value = (O S × 0.5 + O B × 0.5) ÷ (0.5 + 0.5) (4)
なお、上記式（４）に従えば、例えば、属性識別器２に係る内分値（教師信号）は、（−１×０．５＋１×０．５）÷（０．５＋０．５）＝０と算出される。
According to the above equation (4), for example, the internal value (teacher signal) related to the
なお、基礎実験等により、パラメータａを適切に設定すれば、クラス間が隣接せずに正解が２クラス以上発生するケースは稀であることが分かっている。そのため、複数の正解クラスが隣接しないケースは無視する。仮に、複数の正解クラスが隣接しないようなデータが出現した場合には、当該データを学習データから除外する。また、属性識別器から矛盾する結果（例えば、１９歳以下、かつ、３５歳以上であるという結果）が出力される可能性を否定できないため、矛盾した結果の出力されたときのルール（例えば、「常に、年齢が少ない方のクラスを優先して出力する」というようなルール）を予め設定しておくことよい。 In addition, it is known from a basic experiment or the like that if the parameter a is appropriately set, it is rare that two or more correct answers occur without adjacent classes. Therefore, the case where multiple correct classes are not adjacent is ignored. If data such that a plurality of correct classes do not adjoin each other appears, the data is excluded from the learning data. In addition, since it is impossible to deny the possibility that an inconsistent result (for example, a result of being 19 years old or younger and 35 years old or older) is output from the attribute discriminator, a rule when an inconsistent result is output (for example, It is preferable to set in advance a rule such as “always give priority to a class with a lower age”.
続いて、図１８を用いて顔方向推定エンジン１８の動作を説明する。図１８は、顔方向推定エンジン１８の動作の一例を示すフローチャートである。図１８（ａ）に示すフローチャートは、学習処理部１１０の動作の流れである。図１８（ｂ）に示すフローチャートは、認識処理部１２０の動作の流れである。図１８（ｃ）に示すフローチャートは、顔方向別属性識別器生成部１１３が主観年代に係る教師信号を作成する場合の動作の流れである。
Next, the operation of the face
図１８（ａ）において、学習用データ取得部１１１は、学習用データ（顔画像データ、学習用顔方向パラメータ、属性データ、集計データ）を取得する（ステップＳ１１１）。学習用データ取得部１１１は顔画像データを学習用顔領域検出部１１２に供給し、学習用顔方向パラメータおよび属性データを顔方向別属性識別器生成部１１３に供給する。
In FIG. 18A, the learning
次いで、学習用顔領域検出部１１２は、顔画像データから顔領域を検出する（ステップＳ１１２）。学習用顔領域検出部１１２は、顔切出画像データを顔方向別属性識別器生成部１１３に供給する。
Next, the learning face
次いで、顔方向別属性識別器生成部１１３は、属性識別器を生成する（ステップＳ１１３）。具体的には、顔方向別属性識別器生成部１１３は、図１８（ｃ）のフローチャートを実行し、教師信号を用いて属性識別器を生成する。顔方向別属性識別器生成部１１３は、生成した属性識別器を顔方向別属性識別器記憶部１１４に記憶する（ステップＳ１１４）。
Next, the face direction-specific attribute
次いで、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したか否かを判断する（ステップＳ１１５）。顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成していないと判断した場合（ステップＳ１１５：Ｎｏ）、ステップＳ１１１に戻る。一方、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ１１５：Ｙｅｓ）、図１８（ａ）に示すフローチャートは終了する。
Next, the face direction
図１８（ｂ）において、計測用画像データ取得部１２１は、計測用画像データを取得する（ステップＳ１２１）。計測用画像データ取得部１２１は、計測用画像データを認識用顔領域検出部１２２および認識用顔領域再検出部１２４に供給する。
In FIG. 18B, the measurement image
次いで、認識用顔領域検出部１２２は、計測用画像データから顔領域を検出する（ステップＳ１２２）。認識用顔領域検出部１２２は、顔切出画像データを顔方向推定部１２３に供給する。
Next, the recognition face
次いで、顔方向推定部１２３は、認識用顔領域検出部１２２によって出力された顔切出画像データに基づいて、計測用画像の顔方向を推定する（ステップＳ１２３）。顔方向推定部１２３は、計測用画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）を認識用顔領域再検出部１２４に供給し、計測用画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）を属性識別部１２５に供給する。
Next, the face
次いで、認識用顔領域再検出部１２４は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、計測用画像データから顔領域を再度切り出す（ステップＳ１２４）。認識用顔領域再検出部１２４は、顔切出画像データを属性識別部１２５に供給する。
Next, the recognizing face area
次いで、属性識別部１２５は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する（ステップＳ１２５）。そして、属性識別部１２５は、選択した属性識別器に、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、識別結果を得る（ステップＳ１２６）。結果出力部１２６では、属性識別部１２５から識別結果を取得し出力する（ステップＳ１２７）。そして、図１８（ｂ）に示すフローチャートは終了する。
Next, the
図１８（ｃ）において、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（集計データ）を取得する。具体的には、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から、例えば、図１６（ａ）に示すように、主観年齢層頻度データを取得する（ステップＳ１３１）。
In FIG. 18C, the face direction attribute
次いで、顔方向別属性識別器生成部１１３は、図１６（ｂ）に示すように、予め設定した閾値ａに基づいて、各クラスについて正解／不正解を判別する（ステップＳ１３２）。顔方向別属性識別器生成部１１３は、正解になったクラスについて、主観年齢層頻度データにばらつきがある場合は、上述の如く、複数隣り合う正解クラス同士での頻度による重み付き内分値を算出し、教師信号を作成する（ステップＳ１３３）（例えば図１７（ｂ）を参照）。
Next, as shown in FIG. 16B, the face direction
なお、図１６（ｂ）は２クラスに正解がまたがる場合を示しているが、３クラス以上に正解がまたがる場合でも、教師信号”−１”に該当する正解クラスの頻度の割合の合計値と、教師信号”１”に該当する正解クラスの頻度の割合の合計値とで内分値を容易に算出することができる。また、前述したが、頻度の割合を全て等価とし内分値を計算してもよい。なお、正解になったクラスについて、主観年齢層頻度データにばらつきがない場合は、通常通り適切に、１または−１を教師信号として各属性識別器に出力する。また、不正解になったクラスは無視する。 FIG. 16B shows the case where the correct answer spans two classes. Even when the correct answer spans three or more classes, the total value of the ratio of the frequency of the correct class corresponding to the teacher signal “−1” Therefore, the internal division value can be easily calculated from the total value of the proportions of the correct class frequencies corresponding to the teacher signal “1”. Further, as described above, the internal division value may be calculated with all the frequency ratios being equivalent. When there is no variation in the subjective age group frequency data for the correct class, 1 or −1 is appropriately output to each attribute classifier as a teacher signal as usual. Also, ignore the class that is incorrect.
顔方向別属性識別器生成部１１３は、全ての人物の教師信号を作成したか否かを判断する（ステップＳ１３４）。顔方向別属性識別器生成部１１３は、全ての人物の教師信号を作成していないと判断した場合（ステップＳ１３４：Ｎｏ）、ステップＳ１３１に戻る。一方、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ１３４：Ｙｅｓ）、図１８（ｃ）に示すフローチャートは終了する。
The face direction
以上、顔方向推定エンジン１８によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。
As described above, the face
In addition, since an appropriate teacher signal is calculated and set, the subjective age group can be accurately identified. Specifically, in age group identification, the correct / incorrect answer is determined through a certain threshold based on the frequency distribution of the subjective age group that has been pre-aggregated, and further, an internal value with the ratio of the correct class frequency as a weight (Individual values with weights of the proportion of others evaluated as belonging to each class determined to be correct), or by passing the divided values with all frequency proportions as equivalent to the discriminator as subjective signals, The age group can be accurately identified.
以上、図１４から図１８において説明した顔方向推定エンジン１８によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、図１４から図１８において説明した顔方向推定エンジン１８によれば、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。
なお、図１４に示す顔方向推定エンジン１８は、画像処理部１１０および認識処理部１２０の両方を備える構成であるが、広告効果測定装置３の外部の装置が画像処理部１１０の機能を備え、顔方向推定エンジン１８は、認識処理部１２０のみを備えるようにしてもよい。
As described above, according to the face
Further, according to the face
The face
なお、本発明の一実施形態による広告効果測定装置３の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による広告効果測定装置３の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Note that a program for executing each process of the advertisement
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
1ａ…混雑度計測カメラ
１ｂ…顔方向推定カメラ
２…広告媒体
３…広告効果測定装置
１２…カメラ制御部
１３…混雑度計測チューニング部
１４…混雑度計測エンジン
１７…顔方向推定チューニング部
１８…顔方向推定エンジン
１９…クライアント部
２０…混雑度計測エンジン制御部
２１…顔方向推定エンジン制御部
２３…統計解析情報生成部
１１０…学習処理部
１１１…学習用データ取得部
１１２…学習用顔領域検出部
１１３…顔方向別属性識別器生成部
１１４…顔方向別属性識別器記憶部
１２０…認識処理部
１２１…計測用画像データ取得部
１２２…認識用顔領域検出部
１２３…顔方向推定部
１２４…認識用顔領域再検出部
１２５…属性識別部
１２６…結果出力部
DESCRIPTION OF
Claims (7)
前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測する第２の画像処理手段と、
前記広告媒体の視聴可能エリアのうち前記第１のカメラの撮影範囲の占める割合である第１のカメラエリアカバー率と、前記広告媒体の視聴可能エリアのうち前記第２のカメラの撮影範囲の占める割合である第２のカメラエリアカバー率と、前記第１の画像処理手段によって計測した前記滞在者数と、前記第２の画像処理手段によって計測した前記視聴者数とに基づいて、前記広告媒体の効果を示す広告効果情報として、注目率、延べ滞在人秒、延べ視聴人秒、又は、人秒ベースの注目率を生成して出力する広告効果情報生成手段とを備え、
前記広告効果情報生成手段は、
前記注目率を、注目率＝（視聴者数／第１のカメラエリアカバー率）／（滞在者数／第２のカメラエリアカバー率）によって求め、
前記延べ滞在人秒を、所定の時間間隔において計測した前記滞在者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、
前記延べ視聴人秒を、前記時間間隔において計測した前記視聴者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、
前記人秒ベースの注目率を、人秒ベースの注目率＝（延べ視聴人秒／延べ滞在人秒）によって求めることを特徴とする広告効果測定装置。 First image processing means for performing signal processing on a pixel-by-pixel basis for a captured image captured by a first camera that captures a first area in the vicinity of the advertising medium, and measuring the number of visitors in the first area; ,
Detecting a face area in a picked-up image picked up by a second camera that picks up a second area that is a part of the first area, estimating a face direction of each face area, Second image processing means for measuring the number of viewers of the advertising medium in the area of 2,
The first camera area coverage ratio, which is the ratio of the shooting range of the first camera in the viewable area of the advertisement medium, and the shooting range of the second camera in the viewable area of the advertisement medium percentage and second camera area coverage ratio is, wherein the resident number measured by the first image processing means, based on said number of viewers measured by said second image processing means, said advertising medium Advertising effect information generating means for generating and outputting the attention rate, the total number of visitors seconds, the total number of viewers seconds, or the attention rate based on person seconds ,
The advertisement effect information generating means includes:
The attention rate is obtained by attention rate = (number of viewers / first camera area coverage) / (number of visitors / second camera area coverage),
The total visitor seconds is obtained by multiplying the number of visitors measured in a predetermined time interval and the time interval, and adding the calculated values within a unit time.
The total number of viewer seconds is obtained by multiplying the number of viewers measured in the time interval and the time interval, and adding the calculated values within a unit time.
The advertisement effect measuring apparatus characterized in that the attention rate based on human seconds is obtained by the attention rate based on human seconds = (total viewer seconds / total visitor seconds) .
前記第２のカメラの撮像画像を取得する撮像画像取得手段と、
前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、
前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数する顔方向推定手段と
を有することを特徴とする請求項１に記載の広告効果測定装置。 The second image processing means includes
Captured image acquisition means for acquiring a captured image of the second camera;
Recognizing face area detecting means for detecting a face area from a captured image of the second camera and outputting face cut-out image data;
Based on the face cut-out image data output by the recognition face area detection means, the face direction of the subject of the image captured by the second camera is estimated, and the face direction matches the direction of the advertising medium. The advertisement effect measuring apparatus according to claim 1, further comprising a face direction estimating unit that counts the number of viewers who are viewers.
学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得手段と、
前記学習用データ取得手段によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出手段と、
前記学習用顔領域検出手段によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成手段と、
前記顔方向別属性識別器生成手段によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶手段と、
前記第２のカメラの撮像画像を取得する撮像画像取得手段と、
前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、
前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数するとともに、前記被写体の顔方向を示す属性識別用顔方向パラメータを出力する顔方向推定手段と、
前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記前記第２のカメラの撮像画像から、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出手段と、
前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶手段に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出手段が出力した前記顔切出画像データを入力し、前記前記第２のカメラの撮像画像の被写体に係る識別結果を取得する属性識別手段と
を有し、
人物属性別の視聴者数を算出することを特徴とする請求項１に記載の広告効果測定装置。 The second image processing means includes
Learning data acquisition means for acquiring face image data captured from various directions, learning face direction parameters indicating the face direction of the subject of the face image data, and attribute data of the subject as learning data,
Learning face area detection means for detecting face area of a subject and outputting cut-out face image data from the face image data acquired by the learning data acquisition means;
A plurality of the face cut-out image data output by the learning face area detecting means and having the same learning face direction parameter, and each of the plurality of face cut-out image data A face direction attribute classifier generating unit that generates an attribute classifier for identifying the attribute of the subject for each face direction of the subject based on the attribute data;
A face direction attribute classifier storage unit for storing the attribute classifier generated by the face direction attribute classifier generation unit;
Captured image acquisition means for acquiring a captured image of the second camera;
Recognizing face area detecting means for detecting a face area from a captured image of the second camera and outputting face cut-out image data;
Based on the face cut-out image data output by the recognition face area detection means, the face direction of the subject of the image captured by the second camera is estimated, and the face direction matches the direction of the advertising medium. A face direction estimating means for counting the number of viewers as a viewer and outputting an attribute identifying face direction parameter indicating the face direction of the subject;
Based on the attribute identification face direction parameter output by the face direction estimation means, the face image of the subject is detected again from the captured image of the second camera, and face cut image data is output. Recognizing face area re-detecting means;
Based on the attribute identification face direction parameter output by the face direction estimation unit, one or more of the attributes from among the plurality of the attribute classifiers stored in the face direction attribute classifier storage unit The discriminator is selected, and the face cut-out image data output from the recognition face area re-detecting means is input to the selected one or more attribute discriminators, and the captured image of the second camera is input. Attribute identifying means for obtaining an identification result relating to the subject of
The advertisement effect measuring apparatus according to claim 1, wherein the number of viewers by person attribute is calculated.
前記時間間隔において計測した前記人物属性別の視聴者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって人物属性別の延べ視聴人秒を求め、前記人物属性別の延べ視聴人秒を、前記広告媒体の効果を示す広告効果情報として出力することを特徴とする請求項３に記載の広告効果測定装置。Multiplying the number of viewers for each person attribute measured in the time interval and the time interval, and totaling the calculated values within a unit time to obtain the total viewer seconds by person attribute, 4. The advertisement effect measuring apparatus according to claim 3, wherein another total number of viewer seconds is output as advertisement effect information indicating an effect of the advertisement medium.
前記広告媒体の設置場所に係る場所属性情報として、前記滞在者数に係る性別比率、年代比率、又は性別と年代とを組み合わせた属性区分比率を算出することを特徴とする請求項３に記載の広告効果測定装置。 The advertisement effect information generating means includes:
As the location attribute information relating to the location of the advertising medium, sex ratio according to the residents number, age ratio, or according to claim 3, characterized in that to calculate the gender and attribute classification ratio combining and age Advertising effect measurement device.
前記第１の画像処理手段が、前記広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測する第１の画像処理ステップと、
前記第２の画像処理手段が、前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測する第２の画像処理ステップと、
前記広告効果情報生成手段が、前記広告媒体の視聴可能エリアのうち前記第１のカメラの撮影範囲の占める割合である第１のカメラエリアカバー率と、前記広告媒体の視聴可能エリアのうち前記第２のカメラの撮影範囲の占める割合である第２のカメラエリアカバー率と、前記第１の画像処理ステップによって計測した前記滞在者数と、前記第２の画像処理ステップによって計測した前記視聴者数とに基づいて、前記広告媒体の効果を示す広告効果情報として、注目率、延べ滞在人秒、延べ視聴人秒、又は、人秒ベースの注目率を生成して出力する広告効果情報生成ステップとを有し、
前記広告効果情報生成ステップでは、
前記注目率を、注目率＝（視聴者数／第１のカメラエリアカバー率）／（滞在者数／第２のカメラエリアカバー率）によって求め、
前記延べ滞在人秒を、所定の時間間隔において計測した前記滞在者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、
前記延べ視聴人秒を、前記時間間隔において計測した前記視聴者数と前記時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって求め、
前記人秒ベースの注目率を、人秒ベースの注目率＝（延べ視聴人秒／延べ滞在人秒）によって求めることを特徴とする広告効果測定方法。 In order to measure the effect of an advertising medium, there is provided an advertising effectiveness index measuring method in an advertising effectiveness measuring device comprising a first image processing means, a second image processing means, and an advertising effect information generating means ,
The first image processing means, first the captured image captured by the camera signal processing in the pixel unit, residents number of the first area for capturing the first area in the vicinity of the advertising medium A first image processing step for measuring
Said second image processing means detects a face area within the second image captured by the camera for imaging the second area which is a part of the area of the first area, the face area A second image processing step of estimating a face direction of the first medium and measuring the number of viewers of the advertising medium in the second area ;
The advertisement effect information generating means includes a first camera area coverage ratio that is a ratio of a shooting range of the first camera in a viewable area of the advertisement medium, and the first of the viewable areas of the advertisement medium. A second camera area cover ratio that is a ratio of the shooting range of the two cameras , the number of visitors measured by the first image processing step , and the number of viewers measured by the second image processing step . Based on the above, as advertisement effect information indicating the effect of the advertising medium, an advertisement effect information generating step for generating and outputting an attention rate, total number of visitors seconds, total number of viewers seconds, or person-second-based attention rates, and Have
In the advertisement effect information generation step,
The attention rate is obtained by attention rate = (number of viewers / first camera area coverage) / (number of visitors / second camera area coverage),
The total visitor seconds is obtained by multiplying the number of visitors measured in a predetermined time interval and the time interval, and adding the calculated values within a unit time.
The total number of viewer seconds is obtained by multiplying the number of viewers measured in the time interval and the time interval, and adding the calculated values within a unit time.
The advertisement effect measuring method according to claim 1, wherein the attention rate based on human seconds is obtained by the attention rate based on human seconds = (total viewer seconds / total visitor seconds) .
実行させるためのプログラム。 The program for making a computer perform the process of the advertising effectiveness measuring apparatus of any one of Claims 1-5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010105791A JP5272213B2 (en) | 2010-04-30 | 2010-04-30 | ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010105791A JP5272213B2 (en) | 2010-04-30 | 2010-04-30 | ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011233119A JP2011233119A (en) | 2011-11-17 |
| JP5272213B2 true JP5272213B2 (en) | 2013-08-28 |
Family
ID=45322340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010105791A Active JP5272213B2 (en) | 2010-04-30 | 2010-04-30 | ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5272213B2 (en) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6003124B2 (en) | 2012-03-15 | 2016-10-05 | オムロン株式会社 | Authentication apparatus, authentication apparatus control method, control program, and recording medium |
| US20130342689A1 (en) | 2012-06-25 | 2013-12-26 | Intel Corporation | Video analytics test system |
| JP6129600B2 (en) * | 2013-03-18 | 2017-05-17 | 株式会社東芝 | Information processing method and information processing system |
| KR20160058157A (en) * | 2013-09-20 | 2016-05-24 | 인터디지탈 패튼 홀딩스, 인크 | Verification of ad impressions in user-adaptive multimedia delivery framework |
| GB2519339A (en) * | 2013-10-18 | 2015-04-22 | Realeyes O | Method of collecting computer user data |
| WO2017120469A1 (en) * | 2016-01-06 | 2017-07-13 | Tvision Insights, Inc. | Systems and methods for assessing viewer engagement |
| JP6564756B2 (en) * | 2016-10-26 | 2019-08-21 | 日本電信電話株式会社 | Flow condition measuring apparatus, method, and program |
| JP6615800B2 (en) | 2017-01-11 | 2019-12-04 | 株式会社東芝 | Information processing apparatus, information processing method, and program |
| JP7197171B2 (en) * | 2017-06-21 | 2022-12-27 | 日本電気株式会社 | Information processing device, control method, and program |
| US20230319348A1 (en) | 2017-09-12 | 2023-10-05 | Dental Imaging Technologies Corporation | Systems and methods for assessing viewer engagement |
| JP6591571B2 (en) * | 2018-01-10 | 2019-10-16 | デジタル・アドバタイジング・コンソーシアム株式会社 | Program, information processing method and information processing apparatus |
| JP6773923B2 (en) * | 2018-02-07 | 2020-10-21 | 株式会社ウフル | Spatial value output system, spatial value output method, and program |
| CN108563778B (en) * | 2018-04-24 | 2022-11-04 | 北京市商汤科技开发有限公司 | Method and device for processing attention information, storage medium and electronic equipment |
| JP6775553B2 (en) * | 2018-08-13 | 2020-10-28 | ヤフー株式会社 | Information processing equipment, information processing methods and information processing programs |
| JP6511204B1 (en) * | 2018-10-31 | 2019-05-15 | ニューラルポケット株式会社 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, SERVER DEVICE, PROGRAM, OR METHOD |
| JP2020086741A (en) * | 2018-11-21 | 2020-06-04 | 日本電気株式会社 | Content selection device, content selection method, content selection system, and program |
| WO2021038800A1 (en) * | 2019-08-29 | 2021-03-04 | 富士通株式会社 | Advertisement viewing information output method, advertisement viewing information output program, and information processing device |
| CN111476600B (en) * | 2020-03-23 | 2023-09-19 | 浙江新再灵科技股份有限公司 | Statistical analysis method for audience numbers of direct ladder advertisement |
| WO2024018600A1 (en) * | 2022-07-21 | 2024-01-25 | 三菱電機株式会社 | Information processing device, control method, and control program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006065447A (en) * | 2004-08-25 | 2006-03-09 | Nippon Telegr & Teleph Corp <Ntt> | Discriminator setting device, degree-of-attention measuring device, discriminator setting method, degree-of-attention measuring method, and program |
| US20090158309A1 (en) * | 2007-12-12 | 2009-06-18 | Hankyu Moon | Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization |
-
2010
- 2010-04-30 JP JP2010105791A patent/JP5272213B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011233119A (en) | 2011-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5272213B2 (en) | ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM | |
| JP4876687B2 (en) | Attention level measuring device and attention level measuring system | |
| US20090158309A1 (en) | Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization | |
| JP4934861B2 (en) | Display system, display method, display effect measurement system, and display effect measurement method | |
| JP5224360B2 (en) | Electronic advertising device, electronic advertising method and program | |
| JP5511035B2 (en) | Advertisement distribution target person identification device and advertisement distribution device | |
| CN101192270A (en) | Display, device and method for accomplishing sight protection | |
| US20180025233A1 (en) | Image-capturing device, recording device, and video output control device | |
| JP2008112401A (en) | Advertisement effect measurement apparatus | |
| JP4159159B2 (en) | Advertising media evaluation device | |
| US11200406B2 (en) | Customer flow statistical method, apparatus and device | |
| JP2009116510A (en) | Attention degree calculation device, attention degree calculation method, attention degree calculation program, information providing system and information providing device | |
| JP7421149B2 (en) | Advertisement viewing information output method, advertisement viewing information output program, and information processing device | |
| JP2007265125A (en) | Content display | |
| CN110199316A (en) | The image processing method of camera and camera | |
| JP5272214B2 (en) | Advertisement effect index measuring device, advertisement effect index measuring method and program | |
| US20200302155A1 (en) | Face detection and recognition method using light field camera system | |
| CN110264497B (en) | Method and device for determining tracking duration, storage medium and electronic device | |
| JP6516702B2 (en) | People count system, number count method, and view method of number count result | |
| JP2007172378A (en) | Apparatus for specifying object to be gazed at | |
| US20160196576A1 (en) | Systems, devices, and methods of measuring an advertising campaign | |
| CN109492616B (en) | Face recognition method for advertising screen based on autonomous learning | |
| US11909776B2 (en) | Online video distribution support method, online video distribution support apparatus and online video distribution support system | |
| CN113988957B (en) | Automatic image scoring method and system based on element recognition | |
| CN112711982B (en) | Visual detection method, device, system and storage device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130423 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5272213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |