JP2022062412A - Information processing apparatus - Google Patents
Information processing apparatus Download PDFInfo
- Publication number
- JP2022062412A JP2022062412A JP2020170412A JP2020170412A JP2022062412A JP 2022062412 A JP2022062412 A JP 2022062412A JP 2020170412 A JP2020170412 A JP 2020170412A JP 2020170412 A JP2020170412 A JP 2020170412A JP 2022062412 A JP2022062412 A JP 2022062412A
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- unit
- image
- attribute
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 18
- 230000008451 emotion Effects 0.000 claims description 23
- 241000282414 Homo sapiens Species 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置に関する。 The present invention relates to an information processing apparatus.
サイネージにカメラを設けて広告効果を測ることが行われている(特許文献1参照)。 A camera is provided in the signage to measure the advertising effect (see Patent Document 1).
しかしながら、特許文献1に記載の発明ではどれくらいの人にリーチ可能であったかを把握することができない。
However, it is not possible to grasp how many people could be reached by the invention described in
本発明はこのような背景を鑑みてなされたものであり、視聴者を詳細に分析することのできる技術を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of analyzing a viewer in detail.
上記課題を解決するための本発明の主たる発明は、情報処理装置であって、情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部と、前記画像を解析して、前記カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部と、前記視聴機会取得者のうち前記表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部と、前記画像を解析して、前記視聴者の属性を特定する属性特定部と、前記視聴機会取得者の数及び前記属性を出力する出力部と、を備えることを特徴とする。 The main invention of the present invention for solving the above problems is an information processing apparatus, which is an image acquisition unit that acquires an image from a camera that captures the vicinity of a display device that displays information, and analyzes the image. A counting unit that counts the number of viewing opportunity acquirers who are human beings in the field of view of the camera, and viewing that identifies a viewer who is a human being who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers. It is characterized by including a person specifying unit, an attribute specifying unit that analyzes the image to specify the attribute of the viewer, and an output unit that outputs the number of viewing opportunity acquirers and the attribute.
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。 Other problems disclosed in the present application and solutions thereof will be clarified by the columns and drawings of the embodiments of the invention.
本発明によれば、視聴者を詳細に分析することができる。 According to the present invention, the viewer can be analyzed in detail.
<発明の概要>
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
[項目1]
情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部と、
前記画像を解析して、前記カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部と、
前記視聴機会取得者のうち前記表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部と、
前記画像を解析して、前記視聴者の属性を特定する属性特定部と、
前記視聴機会取得者の数及び前記属性を出力する出力部と、
を備えることを特徴とする情報処理装置。
[項目2]
項目1に記載の情報処理装置であって、
前記画像を解析して、前記視聴者の感情を特定する感情特定部をさらに備え、
前記出力部は、前記感情の時系列変化を出力すること、
を特徴とする情報処理装置。
[項目3]
項目1に記載の情報処理装置であって、
前記出力部は、前記属性ごとの集計値を出力すること、
を特徴とする情報処理装置。
[項目4]
項目1に記載の情報処理装置であって、
前記属性特定部は、前記画像を解析して、前記視聴者の属性に加えて、前記視聴機会取得者の属性を特定すること、
を特徴とする情報処理装置。
<Outline of the invention>
The contents of the embodiments of the present invention will be described in a list. The present invention includes, for example, the following configuration.
[Item 1]
An image acquisition unit that acquires an image from a camera that captures the vicinity of a display device that displays information, and an image acquisition unit.
A counting unit that analyzes the image and counts the number of viewing opportunity acquirers who are human beings in the field of view of the camera.
A viewer identification unit that identifies a viewer who is a person who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers, and a viewer identification unit.
An attribute specifying unit that analyzes the image and identifies the attributes of the viewer,
An output unit that outputs the number of viewing opportunity acquirers and the attributes,
An information processing device characterized by being equipped with.
[Item 2]
The information processing device according to
Further provided with an emotion specifying unit that analyzes the image and identifies the emotion of the viewer.
The output unit outputs the time-series change of the emotion.
An information processing device characterized by.
[Item 3]
The information processing device according to
The output unit outputs the aggregated value for each attribute.
An information processing device characterized by.
[Item 4]
The information processing device according to
The attribute specifying unit analyzes the image and identifies the attribute of the viewing opportunity acquirer in addition to the attribute of the viewer.
An information processing device characterized by.
<システム概要>
以下、本実施形態のサイネージシステムについて説明する。本実施形態のサイネージシステムは、カメラを備えたサイネージ装置を設置し、サイネージ装置に情報を表示するとともに、カメラで撮影した画像からサイネージの視聴者を分析しようとするものである。
<System overview>
Hereinafter, the signage system of the present embodiment will be described. The signage system of the present embodiment installs a signage device provided with a camera, displays information on the signage device, and attempts to analyze a viewer of the signage from an image taken by the camera.
図1は、本発明の一実施形態に係るサイネージシステムの全体構成例を示す図である。本実施形態のサイネージシステムは、管理サーバ2を含んで構成される。管理サーバ2は、サイネージ装置1と通信ネットワーク3を介して通信可能に接続される。通信ネットワーク3は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
FIG. 1 is a diagram showing an overall configuration example of a signage system according to an embodiment of the present invention. The signage system of this embodiment is configured to include a
サイネージ装置1は、デジタルサイネージとして機能するコンピュータである。サイネージ装置1にはカメラ11が配置される。サイネージ装置1は通信機能を有しており、カメラ11で撮影した画像を管理サーバ2に送信することができる。また、サイネージ装置1は表示する情報を管理サーバ2から取得することもできる。図1にはサイネージ装置1は1つのみ記載しているが、複数のサイネージ装置1が存在していてよい。
The
管理サーバ2は、サイネージ装置1の視聴者を分析するコンピュータである。管理サーバ2は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。
The
<管理サーバ>
図2は、管理サーバ2のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ2は、CPU01、メモリ202、記憶装置203、通信インタフェース204、入力装置205、出力装置206を備える。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース204は、通信ネットワーク3に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置205は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置206は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
<Management server>
FIG. 2 is a diagram showing a hardware configuration example of the
図3は、管理サーバ2のソフトウェア構成例を示す図である。管理サーバ2は、学習モデル記憶部231と、情報を表示する表示装置の近傍を撮影するカメラから画像を取得する画像取得部211と、画像を解析して、カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部212と、画像を解析して、視聴機会取得者のうち表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部213と、視聴者の属性を特定する属性特定部214と、視聴機会取得者の数及び視聴者の属性を出力する出力部215と、画像を解析して、視聴者の感情を特定する感情特定部216と、を備える。
FIG. 3 is a diagram showing a software configuration example of the
画像取得部211は、例えば、サイネージ装置1にインストールされているWebブラウザ経由で画像を取得することができる。例えば、ビデオ会議システムに用いられているように、近年のWebブラウザでは追加のソフトウェアをインストールする必要がない。音声、画像、テキスト等のメディアデータはピアツーピアで転送される。この技術はWebRTCである。この方式は、サイネージ装置1が最新のSoC(Systems on Chip)を採用しているような場合には有効である。画像は解析のためにサイネージ装置1から管理サーバ2に直接送信され、その結果は「データチャネル」を介してサイネージ装置1に戻される。
The
画像取得部211は、また、例えば、サイネージ装置1にインストールされたメディアプレイヤー経由で画像を取得することもできる。この場合、独立したソフトウェアとして、あるいはアプリの中に埋め込まれる形で、メディアプレイヤー上で実行するためのスクリプトやソフトウェアコードをサイネージ装置1に提供することができる。
The
サイネージ装置1では、事前にカメラの解像度や管理サーバ2のIPアドレスなどの設定を設定しておき、サイネージ装置1からWebsocketsの技術を用いて管理サーバ2に画像データを送信させるようにし、画像取得部211は、この画像を取得することができる。
In the
カウント部212、視聴者特定部213及び属性特定部214は、例えば、それぞれ予め教師画像をディープラーニングの手法により学習して学習モデルを作成し、それぞれの学習モデルを用いて処理を行うことができる。
The
カウント部212は、例えば、動画像から抽出したフレームを解析し、人間のオブジェクト(例えば顔)を認識する。このオブジェクトが、サイネージ装置1の表示を視聴する機会を有していたOTS(Opportunity To See;視聴機会取得者)である。カウント部212は、認識したOTSにユニークなIDを割り当て、各フレームで移動するOTSを追跡することができる。カウント部212は、例えば、次のフレームのOTSの位置を各種の属性(勾配、速度ベクトルなど)を用いて推測することができる。カウント部212は、例えば、単位時間(1秒、1分、10分、1時間等任意の時間とすることができる。)内にカメラの視野に入った人間(追跡可能な範囲で重複なし)の数をカウントするようにすることができる。
The
視聴者特定部213は、OTSのうち、サイネージ装置1を所定時間以上見ていたものを視聴者として特定することができる。視聴者特定部213は、例えば、画像からOTSの顔の向きを特定して、所定の範囲内の方向に向いているか否かを判定し、所定時間(例えば、2秒など)以上所定の範囲内の方向に向いていたOTSを視聴者として特定することができる。視聴者特定部213はまた、視聴者がサイネージ装置1から目をそらしたことを検出することもできる。視聴者特定部213は、フレームごとに、OTSに割り当てたIDごとに、サイネージ装置1を見ているか否かを判定するようにすることができる。これにより、視聴者がサイネージ装置1を見ていた時間を測定することができる。
The
属性特定部214は、ディープラーニングの手法により学習した学習モデルを用いて視聴者の属性を特定することができる。学習モデルは予め学習モデル記憶部231に記憶されているものとする。属性特定部214は、属性毎に異なる学習モデルを用いることができる。本実施形態では、属性特定部214は、年代、性別、顔属性、感情、民族の各属性について、それぞれの学習モデルを用いて推定することができる。なお、本実施形態では、感情の特定については、特に感情特定部216を機能として分離しているが、属性特定部214が感情を特定するようにしてもよい。また、属性には、サイネージ装置1の近傍に存在した時点での人間に関する属性も含まれるものとし、例えば、顔の方向(サイネージ装置1を見ているか否か)や、服装、頭部又は全身の姿勢なども含まれるものとする。
The
属性特定部214は、OTSのそれぞれについての属性を特定するようにしてもよい。
The
感情特定部216も、予め学習された学習モデルを用いて視聴者の感情を特定することができる。感情特定部216もまた、OTSのそれぞれについての感情を特定するようにしてもよい。
The
また、管理サーバ2は、も、視聴者がサイネージ装置1を視聴した時間や服装のカテゴリ、頭部又は全身の姿勢などについても、それぞれについての学習モデルを用いて推定することができる。
Further, the
出力部215は、OTSの人数を出力することができる。主力部215は、視聴者の属性を出力することもできる。出力部215は、感情の時系列変化を出力することもできる。出力部215は、属性ごとの集計値を出力することもできる。
The
図4は、本実施形態のサイネージシステムの出力例を示す図である。同図には、サイネージ装置1の全体に関する集計データを表示する画面30が表示されている。画面30では、設置されているサイネージ装置1の数301、OTSの総数302と、視聴者の総数303が表示されている。出力部215は、全てのサイネージ装置1についてカウントされたOTSの数を合計して総数302として表示することができる。総数302は、直近の1日、1週間、1カ月、6ヶ月、1年などの所定期間で合計した総数であってもよいし、サイネージ装置1が設置された後(管理サーバ2において集計が行われてから)の総数としてもよい。
FIG. 4 is a diagram showing an output example of the signage system of the present embodiment. In the figure, a
また、出力部215は、日付毎に視聴者の数を集計して、日付ごとの視聴数を示すグラフ304を表示することができる。また、出力部215は、サイネージ装置1ごとに視聴者がサイネージ装置1を見ていた時間を集計し、集計した時間をグラフ305として表示することができる。なお、グラフ305には、集計した視聴時間の上位所定数のみを表示するようにしてもよい。
Further, the
図5は、本実施形態のサイネージシステムの出力例を示す図である。同図には、特定のサイネージ装置1についての集計データを表示する画面31が表示されている。画面31の地図311には、サイネージ装置1の情報が図示されている。図5の例では、各サイネージ装置1について、サイネージ装置1のOTSの数を大きさとし、ピーク時刻に応じた色を設定したドットが地図上にプロットされている。また、画面31には、特定されたサイネージ装置1について、日別の視聴者数を示すグラフ312と、性別毎の視聴時間を示すグラフ313と、年齢別の視聴時間を示すグラフ314とが示されている。
FIG. 5 is a diagram showing an output example of the signage system of the present embodiment. In the figure, a
図6は、本実施形態のサイネージシステムの出力例を示す図である。同図には、特定のサイネージ装置1について視聴者の属性に関する集計データを表示する画面32が示されている。画面32には、サイネージ装置1の選択欄321、選択されたサイネージ装置1について日付及び視聴者ごとの視聴時間をプロットしたグラフ322、視聴者から検出された感情の集計グラフ323、視聴者から検出された感情の時系列的な変化を示すグラフ324、顔の属性の集計グラフ326、複数の集計グラフ327が配されている。感情の集計グラフ323について、出力部215は、例えば、動画の各フレームから検出された顔部分から感情を検出し、感情ごとに、検出されたフレームの数をカウントして集計することができる。また、顔の属性の集計グラフ326について、出力部215は、例えば、動画の各フレームから顔の属性を検出し、顔の属性ごとに、検出されたフレーム数をカウントして集計することができる。服装についての集計グラフ327についても同様に、出力部215は、例えば、動画の各フレームから服装を検出し、検出した服装ごとに、検出されたフレーム数をカウントして集計することができる。
FIG. 6 is a diagram showing an output example of the signage system of the present embodiment. The figure shows a
<動作>
図7は、本実施形態に係るサイネージシステムの動作について説明する図である。
<Operation>
FIG. 7 is a diagram illustrating the operation of the signage system according to the present embodiment.
サイネージ装置1では、カメラでサイネージ装置1の周囲(表示装置に対抗する所定範囲の場所)を撮影し(S401)、撮影した画像を管理サーバ2に送信する(S402)。
In the
管理サーバ2は、受信した画像を解析して(S403)、OTSの数をカウントし(S404)、OTSの中から所定時間以上サイネージ装置1を見ている者を視聴者として特定し(S405)、特定した視聴者についての属性を検出する(S406)。なお、属性には、上述したように、顔の方向(サイネージ装置1を見ているか否か)や、服装、頭部又は全身の姿勢なども含まれる。管理サーバ2は、検出した視聴者の属性について集計し(S407)、集計した結果を、例えば、画面30、画面31及び画面32などの画面に出力する(S408)。
The
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting the interpretation of the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes an equivalent thereof.
1 サイネージ装置
2 管理サーバ
3 通信ネットワーク
211 画像取得部
212 カウント部
213 視聴者特定部
214 属性特定部
215 出力部
216 感情特定部
1
Claims (4)
前記画像を解析して、前記カメラの視野に入った人間である視聴機会取得者の数をカウントするカウント部と、
前記視聴機会取得者のうち前記表示装置を所定時間以上視聴していた人間である視聴者を特定する視聴者特定部と、
前記画像を解析して、前記視聴者の属性を特定する属性特定部と、
前記視聴機会取得者の数及び前記属性を出力する出力部と、
を備えることを特徴とする情報処理装置。 An image acquisition unit that acquires an image from a camera that captures the vicinity of a display device that displays information, and an image acquisition unit.
A counting unit that analyzes the image and counts the number of viewing opportunity acquirers who are human beings in the field of view of the camera.
A viewer identification unit that identifies a viewer who is a person who has been viewing the display device for a predetermined time or longer among the viewing opportunity acquirers, and a viewer identification unit.
An attribute specifying unit that analyzes the image and identifies the attributes of the viewer,
An output unit that outputs the number of viewing opportunity acquirers and the attributes,
An information processing device characterized by being equipped with.
前記画像を解析して、前記視聴者の感情を特定する感情特定部をさらに備え、
前記出力部は、前記感情の時系列変化を出力すること、
を特徴とする情報処理装置。 The information processing apparatus according to claim 1.
Further provided with an emotion specifying unit that analyzes the image and identifies the emotion of the viewer.
The output unit outputs the time-series change of the emotion.
An information processing device characterized by.
前記出力部は、前記属性ごとの集計値を出力すること、
を特徴とする情報処理装置。 The information processing apparatus according to claim 1.
The output unit outputs the aggregated value for each attribute.
An information processing device characterized by.
前記属性特定部は、前記画像を解析して、前記視聴者の属性に加えて、前記視聴機会取得者の属性を特定すること、
を特徴とする情報処理装置。 The information processing apparatus according to claim 1.
The attribute specifying unit analyzes the image and identifies the attribute of the viewing opportunity acquirer in addition to the attribute of the viewer.
An information processing device characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020170412A JP2022062412A (en) | 2020-10-08 | 2020-10-08 | Information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020170412A JP2022062412A (en) | 2020-10-08 | 2020-10-08 | Information processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022062412A true JP2022062412A (en) | 2022-04-20 |
Family
ID=81210971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020170412A Pending JP2022062412A (en) | 2020-10-08 | 2020-10-08 | Information processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022062412A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024121914A1 (en) * | 2022-12-05 | 2024-06-13 | 三菱電機ビルソリューションズ株式会社 | Information system and information processing device |
-
2020
- 2020-10-08 JP JP2020170412A patent/JP2022062412A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024121914A1 (en) * | 2022-12-05 | 2024-06-13 | 三菱電機ビルソリューションズ株式会社 | Information system and information processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mulfari et al. | Using Google Cloud Vision in assistive technology scenarios | |
US9443144B2 (en) | Methods and systems for measuring group behavior | |
US20150006281A1 (en) | Information processor, information processing method, and computer-readable medium | |
CN111310692B (en) | Detection object management method, system, machine readable medium and equipment | |
US20140201207A1 (en) | Mental state data tagging for data collected from multiple sources | |
TW201404127A (en) | System, apparatus and method for multimedia evaluation thereof | |
US20170053304A1 (en) | Determination of attention towards stimuli based on gaze information | |
KR102547527B1 (en) | Method and device for labeling objects | |
WO2017018012A1 (en) | Information processing system, information processing method, and storage medium | |
US9361705B2 (en) | Methods and systems for measuring group behavior | |
WO2021169616A1 (en) | Method and apparatus for detecting face of non-living body, and computer device and storage medium | |
JP2017509090A (en) | Image classification method and apparatus | |
CN110199316A (en) | The image processing method of camera and camera | |
WO2019112154A1 (en) | Method for providing text-reading based reward-type advertisement service and user terminal for performing same | |
JP2022062412A (en) | Information processing apparatus | |
CN111290722A (en) | Screen sharing method, device and system, electronic equipment and storage medium | |
CN110633677A (en) | Face recognition method and device | |
US9727890B2 (en) | Systems and methods for registering advertisement viewing | |
JP5115763B2 (en) | Image processing apparatus, content distribution system, image processing method, and program | |
JP7206741B2 (en) | HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM | |
WO2020084842A1 (en) | Program, information processing device, quantification method, and information processing system | |
US11909776B2 (en) | Online video distribution support method, online video distribution support apparatus and online video distribution support system | |
WO2021112361A1 (en) | Electronic device and control method therefor | |
CN113327020A (en) | Teaching quality evaluation system | |
TWI541732B (en) | Supporting method and system with activity-based costing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231004 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240509 |