JP2022062412A - Information processing apparatus - Google Patents

Information processing apparatus Download PDF

Info

Publication number
JP2022062412A
JP2022062412A JP2020170412A JP2020170412A JP2022062412A JP 2022062412 A JP2022062412 A JP 2022062412A JP 2020170412 A JP2020170412 A JP 2020170412A JP 2020170412 A JP2020170412 A JP 2020170412A JP 2022062412 A JP2022062412 A JP 2022062412A
Authority
JP
Japan
Prior art keywords
viewer
unit
image
attribute
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020170412A
Other languages
Japanese (ja)
Inventor
ジェン ラグベンドーラー
Lagpendora Jain
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optimays Co Ltd
Original Assignee
Optimays Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optimays Co Ltd filed Critical Optimays Co Ltd
Priority to JP2020170412A priority Critical patent/JP2022062412A/en
Publication of JP2022062412A publication Critical patent/JP2022062412A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

To analyze a viewer in details.SOLUTION: An information processing apparatus comprises: an image acquisition unit that acquires an image from a camera that photographs the vicinity of a display unit that displays information; a counting unit that analyzes the image and counts the number of viewing opportunity acquirers being people who have entered the field of view of the camera; a viewer specification unit that specifies, from among the viewing opportunity acquirers, a viewer being a person who have viewed the display unit for a predetermined time or more; an attribute specification unit that analyzes the image and specifies the attribute of the viewer; and an output unit that outputs the number of the viewing opportunity acquirers and the attribute.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置に関する。 The present invention relates to an information processing apparatus.

サイネージにカメラを設けて広告効果を測ることが行われている（特許文献１参照）。 A camera is provided in the signage to measure the advertising effect (see Patent Document 1).

特開２０１９－１８５４０９号公報Japanese Unexamined Patent Publication No. 2019-185409

しかしながら、特許文献１に記載の発明ではどれくらいの人にリーチ可能であったかを把握することができない。 However, it is not possible to grasp how many people could be reached by the invention described in Patent Document 1.

本発明はこのような背景を鑑みてなされたものであり、視聴者を詳細に分析することのできる技術を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of analyzing a viewer in detail.

上記課題を解決するための本発明の主たる発明は、情報処理装置であって、情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部と、前記画像を解析して、前記カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部と、前記視聴機会取得者のうち前記表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部と、前記画像を解析して、前記視聴者の属性を特定する属性特定部と、前記視聴機会取得者の数及び前記属性を出力する出力部と、を備えることを特徴とする。 The main invention of the present invention for solving the above problems is an information processing apparatus, which is an image acquisition unit that acquires an image from a camera that captures the vicinity of a display device that displays information, and analyzes the image. A counting unit that counts the number of viewing opportunity acquirers who are human beings in the field of view of the camera, and viewing that identifies a viewer who is a human being who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers. It is characterized by including a person specifying unit, an attribute specifying unit that analyzes the image to specify the attribute of the viewer, and an output unit that outputs the number of viewing opportunity acquirers and the attribute.

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。 Other problems disclosed in the present application and solutions thereof will be clarified by the columns and drawings of the embodiments of the invention.

本発明によれば、視聴者を詳細に分析することができる。 According to the present invention, the viewer can be analyzed in detail.

本発明の一実施形態に係るサイネージシステムの全体構成例を示す図である。It is a figure which shows the whole structure example of the signage system which concerns on one Embodiment of this invention. 管理サーバ２のハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of management server 2. 管理サーバ２のソフトウェア構成例を示す図である。It is a figure which shows the software configuration example of management server 2. 本実施形態のサイネージシステムの出力例を示す図である。It is a figure which shows the output example of the signage system of this embodiment. 本実施形態のサイネージシステムの出力例を示す図である。It is a figure which shows the output example of the signage system of this embodiment. 本実施形態のサイネージシステムの出力例を示す図である。It is a figure which shows the output example of the signage system of this embodiment. 本実施形態に係るサイネージシステムの動作について説明する図である。It is a figure explaining the operation of the signage system which concerns on this embodiment.

＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部と、
前記画像を解析して、前記カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部と、
前記視聴機会取得者のうち前記表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部と、
前記画像を解析して、前記視聴者の属性を特定する属性特定部と、
前記視聴機会取得者の数及び前記属性を出力する出力部と、
を備えることを特徴とする情報処理装置。
［項目２］
項目１に記載の情報処理装置であって、
前記画像を解析して、前記視聴者の感情を特定する感情特定部をさらに備え、
前記出力部は、前記感情の時系列変化を出力すること、
を特徴とする情報処理装置。
［項目３］
項目１に記載の情報処理装置であって、
前記出力部は、前記属性ごとの集計値を出力すること、
を特徴とする情報処理装置。
［項目４］
項目１に記載の情報処理装置であって、
前記属性特定部は、前記画像を解析して、前記視聴者の属性に加えて、前記視聴機会取得者の属性を特定すること、
を特徴とする情報処理装置。 <Outline of the invention>
The contents of the embodiments of the present invention will be described in a list. The present invention includes, for example, the following configuration.
[Item 1]
An image acquisition unit that acquires an image from a camera that captures the vicinity of a display device that displays information, and an image acquisition unit.
A counting unit that analyzes the image and counts the number of viewing opportunity acquirers who are human beings in the field of view of the camera.
A viewer identification unit that identifies a viewer who is a person who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers, and a viewer identification unit.
An attribute specifying unit that analyzes the image and identifies the attributes of the viewer,
An output unit that outputs the number of viewing opportunity acquirers and the attributes,
An information processing device characterized by being equipped with.
[Item 2]
The information processing device according to item 1.
Further provided with an emotion specifying unit that analyzes the image and identifies the emotion of the viewer.
The output unit outputs the time-series change of the emotion.
An information processing device characterized by.
[Item 3]
The information processing device according to item 1.
The output unit outputs the aggregated value for each attribute.
An information processing device characterized by.
[Item 4]
The information processing device according to item 1.
The attribute specifying unit analyzes the image and identifies the attribute of the viewing opportunity acquirer in addition to the attribute of the viewer.
An information processing device characterized by.

＜システム概要＞
以下、本実施形態のサイネージシステムについて説明する。本実施形態のサイネージシステムは、カメラを備えたサイネージ装置を設置し、サイネージ装置に情報を表示するとともに、カメラで撮影した画像からサイネージの視聴者を分析しようとするものである。 <System overview>
Hereinafter, the signage system of the present embodiment will be described. The signage system of the present embodiment installs a signage device provided with a camera, displays information on the signage device, and attempts to analyze a viewer of the signage from an image taken by the camera.

図１は、本発明の一実施形態に係るサイネージシステムの全体構成例を示す図である。本実施形態のサイネージシステムは、管理サーバ２を含んで構成される。管理サーバ２は、サイネージ装置１と通信ネットワーク３を介して通信可能に接続される。通信ネットワーク３は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。 FIG. 1 is a diagram showing an overall configuration example of a signage system according to an embodiment of the present invention. The signage system of this embodiment is configured to include a management server 2. The management server 2 is communicably connected to the signage device 1 via the communication network 3. The communication network 3 is, for example, the Internet, and is constructed by a public telephone line network, a mobile phone line network, a wireless communication path, Ethernet (registered trademark), or the like.

サイネージ装置１は、デジタルサイネージとして機能するコンピュータである。サイネージ装置１にはカメラ１１が配置される。サイネージ装置１は通信機能を有しており、カメラ１１で撮影した画像を管理サーバ２に送信することができる。また、サイネージ装置１は表示する情報を管理サーバ２から取得することもできる。図１にはサイネージ装置１は１つのみ記載しているが、複数のサイネージ装置１が存在していてよい。 The signage device 1 is a computer that functions as a digital signage. A camera 11 is arranged in the signage device 1. The signage device 1 has a communication function, and can transmit an image taken by the camera 11 to the management server 2. Further, the signage device 1 can also acquire the information to be displayed from the management server 2. Although only one signage device 1 is shown in FIG. 1, a plurality of signage devices 1 may exist.

管理サーバ２は、サイネージ装置１の視聴者を分析するコンピュータである。管理サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。 The management server 2 is a computer that analyzes the viewer of the signage device 1. The management server 2 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.

＜管理サーバ＞
図２は、管理サーバ２のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ２は、ＣＰＵ０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク３に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。 <Management server>
FIG. 2 is a diagram showing a hardware configuration example of the management server 2. The configuration shown in the figure is an example, and may have other configurations. The management server 2 includes a CPU 01, a memory 202, a storage device 203, a communication interface 204, an input device 205, and an output device 206. The storage device 203 stores various data and programs, such as a hard disk drive, a solid state drive, and a flash memory. The communication interface 204 is an interface for connecting to the communication network 3, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, and a wireless communication device for performing wireless communication. , USB (Universal Serial Bus) connector for serial communication, RS232C connector, etc. The input device 205 is, for example, a keyboard, a mouse, a touch panel, a button, a microphone, or the like for inputting data. The output device 206 is, for example, a display, a printer, a speaker, or the like that outputs data.

図３は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、学習モデル記憶部２３１と、情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部２１１と、画像を解析して、カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部２１２と、画像を解析して、視聴機会取得者のうち表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部２１３と、視聴者の属性を特定する属性特定部２１４と、視聴機会取得者の数及び視聴者の属性を出力する出力部２１５と、画像を解析して、視聴者の感情を特定する感情特定部２１６と、を備える。 FIG. 3 is a diagram showing a software configuration example of the management server 2. The management server 2 is a learning model storage unit 231, an image acquisition unit 211 that acquires an image from a camera that captures the vicinity of a display device that displays information, and a human who analyzes the image and enters the field of view of the camera. A counting unit 212 that counts the number of viewing opportunity acquirers, and a viewer identification unit 213 that analyzes an image and identifies a viewer who is a human being who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers. , The attribute specifying unit 214 that specifies the attributes of the viewer, the output unit 215 that outputs the number of viewing opportunity acquirers and the attributes of the viewer, and the emotion specifying unit 216 that analyzes the image and specifies the emotions of the viewer. And.

画像取得部２１１は、例えば、サイネージ装置１にインストールされているＷｅｂブラウザ経由で画像を取得することができる。例えば、ビデオ会議システムに用いられているように、近年のＷｅｂブラウザでは追加のソフトウェアをインストールする必要がない。音声、画像、テキスト等のメディアデータはピアツーピアで転送される。この技術はＷｅｂＲＴＣである。この方式は、サイネージ装置１が最新のＳｏＣ（Systems on Chip）を採用しているような場合には有効である。画像は解析のためにサイネージ装置１から管理サーバ２に直接送信され、その結果は「データチャネル」を介してサイネージ装置１に戻される。 The image acquisition unit 211 can acquire an image via, for example, a Web browser installed in the signage device 1. For example, as used in video conferencing systems, modern web browsers do not require additional software to be installed. Media data such as voice, images, and text are transferred peer-to-peer. This technique is WebRTC. This method is effective when the signage device 1 adopts the latest SoC (Systems on Chip). The image is sent directly from the signage device 1 to the management server 2 for analysis, and the result is returned to the signage device 1 via the "data channel".

画像取得部２１１は、また、例えば、サイネージ装置１にインストールされたメディアプレイヤー経由で画像を取得することもできる。この場合、独立したソフトウェアとして、あるいはアプリの中に埋め込まれる形で、メディアプレイヤー上で実行するためのスクリプトやソフトウェアコードをサイネージ装置１に提供することができる。 The image acquisition unit 211 can also acquire an image via, for example, a media player installed in the signage device 1. In this case, it is possible to provide the signage device 1 with a script or software code to be executed on the media player as independent software or embedded in an application.

サイネージ装置１では、事前にカメラの解像度や管理サーバ２のＩＰアドレスなどの設定を設定しておき、サイネージ装置１からＷｅｂｓｏｃｋｅｔｓの技術を用いて管理サーバ２に画像データを送信させるようにし、画像取得部２１１は、この画像を取得することができる。 In the signage device 1, settings such as the resolution of the camera and the IP address of the management server 2 are set in advance, and the signage device 1 is made to transmit the image data to the management server 2 by using the technology of Web sockets, and the image is acquired. Unit 211 can acquire this image.

カウント部２１２、視聴者特定部２１３及び属性特定部２１４は、例えば、それぞれ予め教師画像をディープラーニングの手法により学習して学習モデルを作成し、それぞれの学習モデルを用いて処理を行うことができる。 The counting unit 212, the viewer specifying unit 213, and the attribute specifying unit 214 can each learn the teacher image in advance by a deep learning method to create a learning model, and can perform processing using each learning model. ..

カウント部２１２は、例えば、動画像から抽出したフレームを解析し、人間のオブジェクト（例えば顔）を認識する。このオブジェクトが、サイネージ装置１の表示を視聴する機会を有していたＯＴＳ（Opportunity To See；視聴機会取得者）である。カウント部２１２は、認識したＯＴＳにユニークなＩＤを割り当て、各フレームで移動するＯＴＳを追跡することができる。カウント部２１２は、例えば、次のフレームのＯＴＳの位置を各種の属性（勾配、速度ベクトルなど）を用いて推測することができる。カウント部２１２は、例えば、単位時間（１秒、１分、１０分、１時間等任意の時間とすることができる。）内にカメラの視野に入った人間（追跡可能な範囲で重複なし）の数をカウントするようにすることができる。 The counting unit 212 analyzes, for example, a frame extracted from a moving image and recognizes a human object (for example, a face). This object is an OTS (Opportunity To See; viewing opportunity acquirer) who has an opportunity to view the display of the signage device 1. The counting unit 212 can assign a unique ID to the recognized OTS and track the OTS moving in each frame. The counting unit 212 can estimate the position of the OTS of the next frame by using various attributes (gradient, velocity vector, etc.), for example. The counting unit 212 is, for example, a person who has entered the field of view of the camera within a unit time (which can be any time such as 1 second, 1 minute, 10 minutes, 1 hour, etc.) (no overlap within the traceable range). Can be made to count the number of.

視聴者特定部２１３は、ＯＴＳのうち、サイネージ装置１を所定時間以上見ていたものを視聴者として特定することができる。視聴者特定部２１３は、例えば、画像からＯＴＳの顔の向きを特定して、所定の範囲内の方向に向いているか否かを判定し、所定時間（例えば、２秒など）以上所定の範囲内の方向に向いていたＯＴＳを視聴者として特定することができる。視聴者特定部２１３はまた、視聴者がサイネージ装置１から目をそらしたことを検出することもできる。視聴者特定部２１３は、フレームごとに、ＯＴＳに割り当てたＩＤごとに、サイネージ装置１を見ているか否かを判定するようにすることができる。これにより、視聴者がサイネージ装置１を見ていた時間を測定することができる。 The viewer identification unit 213 can specify the OTS that has been watching the signage device 1 for a predetermined time or longer as a viewer. The viewer identification unit 213 specifies, for example, the direction of the face of the OTS from the image, determines whether or not the face is oriented within a predetermined range, and determines whether or not the face is oriented within a predetermined range, and the predetermined range for a predetermined time (for example, 2 seconds or the like) or more. The OTS facing inward can be identified as a viewer. The viewer identification unit 213 can also detect that the viewer has turned away from the signage device 1. The viewer identification unit 213 can determine whether or not the signage device 1 is being viewed for each frame and for each ID assigned to the OTS. This makes it possible to measure the time that the viewer has been watching the signage device 1.

属性特定部２１４は、ディープラーニングの手法により学習した学習モデルを用いて視聴者の属性を特定することができる。学習モデルは予め学習モデル記憶部２３１に記憶されているものとする。属性特定部２１４は、属性毎に異なる学習モデルを用いることができる。本実施形態では、属性特定部２１４は、年代、性別、顔属性、感情、民族の各属性について、それぞれの学習モデルを用いて推定することができる。なお、本実施形態では、感情の特定については、特に感情特定部２１６を機能として分離しているが、属性特定部２１４が感情を特定するようにしてもよい。また、属性には、サイネージ装置１の近傍に存在した時点での人間に関する属性も含まれるものとし、例えば、顔の方向（サイネージ装置１を見ているか否か）や、服装、頭部又は全身の姿勢なども含まれるものとする。 The attribute specifying unit 214 can specify the attributes of the viewer by using the learning model learned by the deep learning method. It is assumed that the learning model is stored in the learning model storage unit 231 in advance. The attribute specifying unit 214 can use a different learning model for each attribute. In the present embodiment, the attribute specifying unit 214 can estimate each attribute of age, gender, face attribute, emotion, and ethnicity by using each learning model. In the present embodiment, the emotion specifying unit 216 is particularly separated as a function for specifying the emotion, but the attribute specifying unit 214 may specify the emotion. In addition, the attributes shall include attributes related to humans at the time of being in the vicinity of the signage device 1, for example, the direction of the face (whether or not the signage device 1 is viewed), clothes, the head, or the whole body. The posture of is also included.

属性特定部２１４は、ＯＴＳのそれぞれについての属性を特定するようにしてもよい。 The attribute specifying unit 214 may specify the attributes for each of the OTSs.

感情特定部２１６も、予め学習された学習モデルを用いて視聴者の感情を特定することができる。感情特定部２１６もまた、ＯＴＳのそれぞれについての感情を特定するようにしてもよい。 The emotion specifying unit 216 can also specify the emotions of the viewer by using a learning model learned in advance. The emotion identification unit 216 may also identify emotions for each of the OTSs.

また、管理サーバ２は、も、視聴者がサイネージ装置１を視聴した時間や服装のカテゴリ、頭部又は全身の姿勢などについても、それぞれについての学習モデルを用いて推定することができる。 Further, the management server 2 can also estimate the time when the viewer viewed the signage device 1, the category of clothes, the posture of the head or the whole body, and the like by using the learning model for each.

出力部２１５は、ＯＴＳの人数を出力することができる。主力部２１５は、視聴者の属性を出力することもできる。出力部２１５は、感情の時系列変化を出力することもできる。出力部２１５は、属性ごとの集計値を出力することもできる。 The output unit 215 can output the number of OTS. The main unit 215 can also output the attributes of the viewer. The output unit 215 can also output changes in emotions over time. The output unit 215 can also output the aggregated value for each attribute.

図４は、本実施形態のサイネージシステムの出力例を示す図である。同図には、サイネージ装置１の全体に関する集計データを表示する画面３０が表示されている。画面３０では、設置されているサイネージ装置１の数３０１、ＯＴＳの総数３０２と、視聴者の総数３０３が表示されている。出力部２１５は、全てのサイネージ装置１についてカウントされたＯＴＳの数を合計して総数３０２として表示することができる。総数３０２は、直近の１日、１週間、１カ月、６ヶ月、１年などの所定期間で合計した総数であってもよいし、サイネージ装置１が設置された後（管理サーバ２において集計が行われてから）の総数としてもよい。 FIG. 4 is a diagram showing an output example of the signage system of the present embodiment. In the figure, a screen 30 for displaying aggregated data regarding the entire signage device 1 is displayed. On the screen 30, the number 301 of the installed signage devices 1, the total number 302 of the OTS, and the total number 303 of the viewers are displayed. The output unit 215 can display the total number of OTSs counted for all the signage devices 1 as a total of 302. The total number 302 may be the total total number in a predetermined period such as the latest 1 day, 1 week, 1 month, 6 months, 1 year, etc., or after the signage device 1 is installed (aggregation is performed on the management server 2). It may be the total number (since it has been done).

また、出力部２１５は、日付毎に視聴者の数を集計して、日付ごとの視聴数を示すグラフ３０４を表示することができる。また、出力部２１５は、サイネージ装置１ごとに視聴者がサイネージ装置１を見ていた時間を集計し、集計した時間をグラフ３０５として表示することができる。なお、グラフ３０５には、集計した視聴時間の上位所定数のみを表示するようにしてもよい。 Further, the output unit 215 can aggregate the number of viewers for each date and display the graph 304 showing the number of viewers for each date. Further, the output unit 215 can total the time that the viewer was watching the signage device 1 for each signage device 1, and display the totaled time as a graph 305. It should be noted that the graph 305 may display only the top predetermined number of the totaled viewing time.

図５は、本実施形態のサイネージシステムの出力例を示す図である。同図には、特定のサイネージ装置１についての集計データを表示する画面３１が表示されている。画面３１の地図３１１には、サイネージ装置１の情報が図示されている。図５の例では、各サイネージ装置１について、サイネージ装置１のＯＴＳの数を大きさとし、ピーク時刻に応じた色を設定したドットが地図上にプロットされている。また、画面３１には、特定されたサイネージ装置１について、日別の視聴者数を示すグラフ３１２と、性別毎の視聴時間を示すグラフ３１３と、年齢別の視聴時間を示すグラフ３１４とが示されている。 FIG. 5 is a diagram showing an output example of the signage system of the present embodiment. In the figure, a screen 31 for displaying aggregated data for a specific signage device 1 is displayed. Information on the signage device 1 is illustrated on the map 311 on the screen 31. In the example of FIG. 5, for each signage device 1, dots in which the number of OTS of the signage device 1 is set and the color is set according to the peak time are plotted on the map. Further, on the screen 31, a graph 312 showing the number of viewers by day, a graph 313 showing the viewing time by gender, and a graph 314 showing the viewing time by age are shown for the specified signage device 1. Has been done.

図６は、本実施形態のサイネージシステムの出力例を示す図である。同図には、特定のサイネージ装置１について視聴者の属性に関する集計データを表示する画面３２が示されている。画面３２には、サイネージ装置１の選択欄３２１、選択されたサイネージ装置１について日付及び視聴者ごとの視聴時間をプロットしたグラフ３２２、視聴者から検出された感情の集計グラフ３２３、視聴者から検出された感情の時系列的な変化を示すグラフ３２４、顔の属性の集計グラフ３２６、複数の集計グラフ３２７が配されている。感情の集計グラフ３２３について、出力部２１５は、例えば、動画の各フレームから検出された顔部分から感情を検出し、感情ごとに、検出されたフレームの数をカウントして集計することができる。また、顔の属性の集計グラフ３２６について、出力部２１５は、例えば、動画の各フレームから顔の属性を検出し、顔の属性ごとに、検出されたフレーム数をカウントして集計することができる。服装についての集計グラフ３２７についても同様に、出力部２１５は、例えば、動画の各フレームから服装を検出し、検出した服装ごとに、検出されたフレーム数をカウントして集計することができる。 FIG. 6 is a diagram showing an output example of the signage system of the present embodiment. The figure shows a screen 32 that displays aggregated data about the attributes of the viewer for the particular signage device 1. On the screen 32, the selection field 321 of the signage device 1, the graph 322 plotting the date and the viewing time for each viewer for the selected signage device 1, the aggregate graph 323 of the emotions detected from the viewer, and the detection from the viewer. A graph 324 showing changes in the emotions over time, a summary graph 326 of facial attributes, and a plurality of summary graphs 327 are arranged. Regarding the emotion aggregation graph 323, the output unit 215 can detect emotions from the face portion detected from each frame of the moving image, and count and aggregate the number of detected frames for each emotion. Further, regarding the face attribute aggregation graph 326, the output unit 215 can detect the face attribute from each frame of the moving image, and count and aggregate the number of detected frames for each face attribute, for example. .. Similarly, for the aggregation graph 327 regarding clothing, the output unit 215 can detect clothing from each frame of the moving image, and count and aggregate the number of detected frames for each detected clothing.

＜動作＞
図７は、本実施形態に係るサイネージシステムの動作について説明する図である。 <Operation>
FIG. 7 is a diagram illustrating the operation of the signage system according to the present embodiment.

サイネージ装置１では、カメラでサイネージ装置１の周囲（表示装置に対抗する所定範囲の場所）を撮影し（Ｓ４０１）、撮影した画像を管理サーバ２に送信する（Ｓ４０２）。 In the signage device 1, the surroundings of the signage device 1 (a place in a predetermined range opposed to the display device) are photographed by the camera (S401), and the captured images are transmitted to the management server 2 (S402).

管理サーバ２は、受信した画像を解析して（Ｓ４０３）、ＯＴＳの数をカウントし（Ｓ４０４）、ＯＴＳの中から所定時間以上サイネージ装置１を見ている者を視聴者として特定し（Ｓ４０５）、特定した視聴者についての属性を検出する（Ｓ４０６）。なお、属性には、上述したように、顔の方向（サイネージ装置１を見ているか否か）や、服装、頭部又は全身の姿勢なども含まれる。管理サーバ２は、検出した視聴者の属性について集計し（Ｓ４０７）、集計した結果を、例えば、画面３０、画面３１及び画面３２などの画面に出力する（Ｓ４０８）。 The management server 2 analyzes the received image (S403), counts the number of OTSs (S404), and identifies a person who has been watching the signage device 1 from the OTSs for a predetermined time or longer as a viewer (S405). , Detects attributes for the identified viewer (S406). As described above, the attributes include the direction of the face (whether or not the signage device 1 is viewed), clothes, the posture of the head or the whole body, and the like. The management server 2 aggregates the detected attributes of the viewer (S407), and outputs the aggregated results to screens such as screen 30, screen 31 and screen 32 (S408).

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting the interpretation of the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes an equivalent thereof.

１ サイネージ装置
２ 管理サーバ
３ 通信ネットワーク
２１１ 画像取得部
２１２ カウント部
２１３ 視聴者特定部
２１４ 属性特定部
２１５ 出力部
２１６ 感情特定部 1 Signage device 2 Management server 3 Communication network 211 Image acquisition unit 212 Count unit 213 Viewer identification unit 214 Attribute specification unit 215 Output unit 216 Emotion identification unit

Claims (4)

情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部と、
前記画像を解析して、前記カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部と、
前記視聴機会取得者のうち前記表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部と、
前記画像を解析して、前記視聴者の属性を特定する属性特定部と、
前記視聴機会取得者の数及び前記属性を出力する出力部と、
を備えることを特徴とする情報処理装置。 An image acquisition unit that acquires an image from a camera that captures the vicinity of a display device that displays information, and an image acquisition unit.
A counting unit that analyzes the image and counts the number of viewing opportunity acquirers who are human beings in the field of view of the camera.
A viewer identification unit that identifies a viewer who is a person who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers, and a viewer identification unit.
An attribute specifying unit that analyzes the image and identifies the attributes of the viewer,
An output unit that outputs the number of viewing opportunity acquirers and the attributes,
An information processing device characterized by being equipped with. 請求項１に記載の情報処理装置であって、
前記画像を解析して、前記視聴者の感情を特定する感情特定部をさらに備え、
前記出力部は、前記感情の時系列変化を出力すること、
を特徴とする情報処理装置。 The information processing apparatus according to claim 1.
Further provided with an emotion specifying unit that analyzes the image and identifies the emotion of the viewer.
The output unit outputs the time-series change of the emotion.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記出力部は、前記属性ごとの集計値を出力すること、
を特徴とする情報処理装置。 The information processing apparatus according to claim 1.
The output unit outputs the aggregated value for each attribute.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記属性特定部は、前記画像を解析して、前記視聴者の属性に加えて、前記視聴機会取得者の属性を特定すること、
を特徴とする情報処理装置。 The information processing apparatus according to claim 1.
The attribute specifying unit analyzes the image and identifies the attribute of the viewing opportunity acquirer in addition to the attribute of the viewer.
An information processing device characterized by.
JP2020170412A 2020-10-08 2020-10-08 Information processing apparatus Pending JP2022062412A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020170412A JP2022062412A (en) 2020-10-08 2020-10-08 Information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020170412A JP2022062412A (en) 2020-10-08 2020-10-08 Information processing apparatus

Publications (1)

Publication Number Publication Date
JP2022062412A true JP2022062412A (en) 2022-04-20

Family

ID=81210971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020170412A Pending JP2022062412A (en) 2020-10-08 2020-10-08 Information processing apparatus

Country Status (1)

Country Link
JP (1) JP2022062412A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024121914A1 (en) * 2022-12-05 2024-06-13 三菱電機ビルソリューションズ株式会社 Information system and information processing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024121914A1 (en) * 2022-12-05 2024-06-13 三菱電機ビルソリューションズ株式会社 Information system and information processing device

Similar Documents

Publication Publication Date Title
Mulfari et al. Using Google Cloud Vision in assistive technology scenarios
US9443144B2 (en) Methods and systems for measuring group behavior
US20150006281A1 (en) Information processor, information processing method, and computer-readable medium
CN111310692B (en) Detection object management method, system, machine readable medium and equipment
US20140201207A1 (en) Mental state data tagging for data collected from multiple sources
TW201404127A (en) System, apparatus and method for multimedia evaluation thereof
US20170053304A1 (en) Determination of attention towards stimuli based on gaze information
KR102547527B1 (en) Method and device for labeling objects
WO2017018012A1 (en) Information processing system, information processing method, and storage medium
US9361705B2 (en) Methods and systems for measuring group behavior
WO2021169616A1 (en) Method and apparatus for detecting face of non-living body, and computer device and storage medium
JP2017509090A (en) Image classification method and apparatus
CN110199316A (en) The image processing method of camera and camera
WO2019112154A1 (en) Method for providing text-reading based reward-type advertisement service and user terminal for performing same
JP2022062412A (en) Information processing apparatus
CN111290722A (en) Screen sharing method, device and system, electronic equipment and storage medium
CN110633677A (en) Face recognition method and device
US9727890B2 (en) Systems and methods for registering advertisement viewing
JP5115763B2 (en) Image processing apparatus, content distribution system, image processing method, and program
JP7206741B2 (en) HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM
WO2020084842A1 (en) Program, information processing device, quantification method, and information processing system
US11909776B2 (en) Online video distribution support method, online video distribution support apparatus and online video distribution support system
WO2021112361A1 (en) Electronic device and control method therefor
CN113327020A (en) Teaching quality evaluation system
TWI541732B (en) Supporting method and system with activity-based costing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240509