JP7150688B2 - コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 - Google Patents
コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP7150688B2 JP7150688B2 JP2019219342A JP2019219342A JP7150688B2 JP 7150688 B2 JP7150688 B2 JP 7150688B2 JP 2019219342 A JP2019219342 A JP 2019219342A JP 2019219342 A JP2019219342 A JP 2019219342A JP 7150688 B2 JP7150688 B2 JP 7150688B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- content
- information
- user
- salience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 88
- 230000006870 function Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 23
- 238000005259 measurement Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 239000000470 constituent Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000003994 retinal ganglion cell Anatomy 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定装置は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
を有することを特徴とする属性推定装置が提供される。
(a)当該コンテンツの当該属性関連要素を含む提示範囲内における当該ユーザの視点位置に係る情報、
(b)当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの動きに係る情報、又は、
(c)当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの発する音声に係る情報
を、当該反応に係る情報に決定することも好ましい。
(a)当該コンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析した結果から、
(b)当該コンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析した結果から、又は、
(c)当該コンテンツに対する生体の感覚器の反応を測定若しくは解析した結果から、
当該顕著性に係る情報を決定することも好ましい。
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定プログラムは、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
してコンピュータを機能させることを特徴とする属性推定プログラムが提供される。
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定方法は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得し、また、当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得するステップと、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定するステップと
を有することを特徴とする属性推定方法が提供される。
図1は、本発明による属性推定装置を含む属性推定システムの一実施形態を示す模式図である。
(a)街頭、駅や、空港等、多くの人が往来する環境・施設に設置されており、これらの人(以後、ユーザとも称する)に対しコンテンツを提示可能な、少なくとも1つのデジタルサイネージ2と、
(b)デジタルサイネージ2に対し、提示すべきコンテンツを配信するコンテンツ配信サーバ3と、
(c)デジタルサイネージ2によってコンテンツを提示されたユーザの属性を推定する、本発明による属性推定装置の一実施形態としての属性推定装置1と
を有している。
(a1)コンテンツの提示を受けたユーザを可視光センサや近赤外光センサによって撮影することが可能であり、さらに公知の眼球運動計測手法により当該ユーザの視線測定も可能となっているカメラ201と、
(a2)当該ユーザの発した音声を捕捉可能なマイク202と、
(a3)属性推定装置1やコンテンツ配信サーバ3との通信のための通信インタフェースと
を更に備えており、コンテンツの提示を受けたユーザの反応を含む測定情報(例えば当該ユーザの画像データ、視線データや音声データ)を属性推定装置1へ送信可能となっている。
(A)「属性関連要素」における注意を引き付ける度合いに係る「顕著性」を含む、ユーザに提示されたコンテンツにおける「顕著性」に係る情報である「顕著性情報」を決定又は取得する顕著性決定取得部111と、
(B)「属性関連要素」に対するユーザの「反応の程度又は有無」を含む、当該コンテンツに対する「反応」に係る情報である「反応情報」を決定又は取得する反応情報決定取得部112と、
(C)「顕著性情報」と「反応情報」とに基づいて、ユーザが、「属性関連要素」の関連した属性を有する「確度」を決定する属性確度決定部113と
を有している。
同じく図1の機能ブロック図によれば、属性推定装置1は、通信インタフェース部101と、コンテンツ・顕著性保存部102と、測定・反応情報保存部103と、ユーザ属性保存部104と、キーボード(KB)105と、ディスプレイ(DP)106と、プロセッサ・メモリとを有する。
(a)「属性関連要素」における顕著性
が含まれており、また、当該コンテンツが「非関連要素」を含んでいる場合には、
(b)「非関連要素」における顕著性
も含まれている。ここで、このような決定された顕著性情報は、対応するコンテンツのコンテンツIDと紐づけた上で、コンテンツ・顕著性保存部102において保存・管理されることも好ましい。
(ア1)その他の部分との輝度の差(コントラスト)、
(ア2)その他の部分との色相の差、
(ア3)周囲の部分との境界における輝度勾配、又は当該輝度勾配方向での輝度差、又は
(ア4)構成単位、例えば文字、記号や、シンボルやマークといった図形の大きさ(表示サイズ)
といったような特徴に基づき、これらの特徴を表す量を決定し、さらに当該量を例えば0から1までの値に規格化したものを顕著性としてもよい。
(イ1)出力される音量(又は音声波の振幅)、又は
(イ2)音の高さ(又は音声波の周波数)
といったような特徴に基づき、これらの特徴を表す量を決定し、さらに当該量を例えば0から1までの値に規格化したものを顕著性としてもよい。なお、これらの特徴は、音声コンテンツを構成する音声データの波形解析を行うことによって、又は実際に出力された音声の波形を測定し解析することによって決定することができる。
(a)当該コンテンツの「属性関連要素」に対する当該ユーザの「反応の程度又は有無」
が含まれており、また、当該コンテンツが「非関連要素」を含んでいる場合には、
(b)「非関連要素」に対する当該ユーザの「反応の程度又は有無」
も含まれている。
(ア)「属性関連要素」における顕著性が低いほど、より高い確度を決定し、
さらに、コンテンツが非関連要素も有する場合において、
(イ)「属性関連要素」における顕著性が、「非関連要素」における顕著性と比較してより低いほど、より高い確度を決定する
のである。
(a)「属性関連要素」の顕著性s1(属性関連要素が複数ある場合は顕著性s1_1,s1_2,・・・)については単調減少関数となり、
(b)「非関連要素」の顕著性S2(非関連要素が複数ある場合は顕著性s2_1,s2_2,・・・)については単調増加関数となり、
(c)「属性関連要素」の「反応の程度(反応情報)」Δ1(属性関連要素が複数ある場合は「反応の程度」Δ1_1,Δ1_2,・・・)については単調増加関数となり、さらに、
(d)「非関連要素」の「反応の程度(反応情報)」Δ2(非関連要素が複数ある場合は「反応の程度」Δ2_1,Δ2_2,・・・)については単調減少関数となるような
次式(1)の確度関数PLを用いて、確度PLを算出することができる。
(1) PL=PL(S1, S2, Δ1, Δ2)
図2は、本発明による属性推定方法の一実施形態を説明するための模式図である。
(2) PL={1+exp(-a*(Δt-b)}-1*(k*S_L)-1
を用いて算出する。なお上式(2)のPLは、左辺の値が1を超える場合には、
(3) PL=1
に設定される。または、属性確度決定部113は、確度PLを、次式
(4) PL={1+exp(-a*(Δt-b)/(k*S_L))}-1
を用いて算出してもよい。
(5) PL1=EX1/(EX1+EX2)
EX1=exp(-a1*(Δt1-b1)*C1)-1
EX2=exp(-a2*(Δt2-b2)*C2)-1
C1=(1/S_L1)/{(1/S_L1)+(1/S_L2)}=S_L2/(S_L1+S_L2)
C2=(1/S_L2)/{(1/S_L1)+(1/S_L2)}=S_L1/(S_L1+S_L2)
を用いて算出する。
(6) PL2=EX2/(EX1+EX2)
を用いてPL2を算出することができるのである。
(7) EX2_i=exp(-a2_i*(Δt2_i-b2_i)*C2_i)-1
ここで、C2_iは、算出された全ての「顕著性の逆数」における
「顕著性S_L2_iの逆数」の内分比
によって算出されたEX2_i(i=1,・・・,N)におけるiについての総和を、上式(5)のEX2と置き換えた式をもって、確度PL1を算出することができる。
(8) EX1_j=exp(-a1_j*(Δt1_j-b1_j)*C1_j)-1
ここで、C1_jは、算出された全ての「顕著性の逆数」における
「顕著性S_L1_jの逆数」の内分比のjについての総和
によって算出されたEX1_j(j=1,・・・,M)におけるjについての総和を、上式(5)のEX1と置き換えた式をもって、確度PL1を算出することができるのである。
図4は、本発明による属性推定方法の更なる他の実施形態を説明するための模式図である。
101 通信インタフェース部
102 コンテンツ・顕著性保存部
103 測定・反応情報保存部
104 ユーザ属性保存部
105 キーボード(KB)
106 ディスプレイ(DP)
111 顕著性決定取得部
111a 顕著性算出部
112 反応情報決定取得部
112a 反応情報算出部
113 属性確度決定部
121 通信制御部
122 入出力制御部
123 アプリケーション部
2 デジタルサイネージ
201 カメラ
202 マイク
203 スピーカ
3 コンテンツ配信サーバ
Claims (10)
- コンテンツを提示されたユーザの属性を推定する属性推定装置であって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定装置は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
を有することを特徴とする属性推定装置。 - 前記属性確度決定手段は、当該属性関連要素における顕著性が低いほど、より高い当該確度を決定することを特徴とする請求項1に記載の属性推定装置。
- 当該コンテンツは、その確度を決定すべき属性に関連しない非関連要素も有しており、
当該顕著性に係る情報は、当該非関連要素における顕著性も含み、
前記属性確度決定手段は、当該属性関連要素における顕著性が、当該非関連要素における顕著性と比較してより低いほど、より高い当該確度を決定する
ことを特徴とする請求項1又は2に記載の属性推定装置。 - 前記反応情報決定取得手段は、当該コンテンツの当該属性関連要素を含む提示範囲内における当該ユーザの視点位置に係る情報、当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの動きに係る情報、又は、当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの発する音声に係る情報を、当該反応に係る情報に決定することを特徴とする請求項1から3のいずれか1項に記載の属性推定装置。
- 前記顕著性決定取得手段は、当該コンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析した結果から、当該コンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析した結果から、又は、当該コンテンツに対する生体の感覚器の反応を測定若しくは解析した結果から、当該顕著性に係る情報を決定することを特徴とする請求項1から4のいずれか1項に記載の属性推定装置。
- 当該コンテンツは、予め決定された自らにおける顕著性に係る情報を付与されており、
前記顕著性決定取得手段は、当該ユーザに提示される当該コンテンツに予め付与された顕著性に係る情報を取得する
ことを特徴とする請求項1から4のいずれか1項に記載の属性推定装置。 - 前記属性確度決定手段は、当該属性関連要素に対する当該ユーザの反応の程度が高いほど、より高い当該確度を決定することを特徴とする請求項1から6のいずれか1項に記載の属性推定装置。
- 当該その確度を決定すべき属性は、当該ユーザがある言語を第1言語とすること、又は当該ユーザがある言語に係る国に属していることであり、
当該コンテンツは、前記ある言語に係る文字、単語、語句若しくは文、又は前記ある言語に係る音声を含む属性関連要素を有している
ことを特徴とする請求項1から7のいずれか1項に記載の属性推定装置。 - コンテンツを提示されたユーザの属性を推定するコンピュータを機能させる属性推定プログラムであって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定プログラムは、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
してコンピュータを機能させることを特徴とする属性推定プログラム。 - コンテンツを提示されたユーザの属性を推定するコンピュータにおける属性推定方法であって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定方法は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得し、また、当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得するステップと、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定するステップと
を有することを特徴とする属性推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019219342A JP7150688B2 (ja) | 2019-12-04 | 2019-12-04 | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019219342A JP7150688B2 (ja) | 2019-12-04 | 2019-12-04 | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021089554A JP2021089554A (ja) | 2021-06-10 |
JP7150688B2 true JP7150688B2 (ja) | 2022-10-11 |
Family
ID=76220214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019219342A Active JP7150688B2 (ja) | 2019-12-04 | 2019-12-04 | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7150688B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083925A (ja) | 2010-10-10 | 2012-04-26 | Jvc Kenwood Corp | 電子機器及びその表示言語判定方法 |
JP2017156514A (ja) | 2016-03-01 | 2017-09-07 | 株式会社Liquid | 電子看板システム |
WO2017163719A1 (ja) | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 出力制御装置、出力制御方法、およびプログラム |
JP2017204133A (ja) | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 推定装置、推定方法およびプログラム |
JP2017204134A (ja) | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 属性推定装置、属性推定方法およびプログラム |
-
2019
- 2019-12-04 JP JP2019219342A patent/JP7150688B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083925A (ja) | 2010-10-10 | 2012-04-26 | Jvc Kenwood Corp | 電子機器及びその表示言語判定方法 |
JP2017156514A (ja) | 2016-03-01 | 2017-09-07 | 株式会社Liquid | 電子看板システム |
WO2017163719A1 (ja) | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 出力制御装置、出力制御方法、およびプログラム |
JP2017204133A (ja) | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 推定装置、推定方法およびプログラム |
JP2017204134A (ja) | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 属性推定装置、属性推定方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021089554A (ja) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11256918B2 (en) | Object detection in images | |
US11551377B2 (en) | Eye gaze tracking using neural networks | |
CN109740466B (zh) | 广告投放策略的获取方法、计算机可读存储介质 | |
US10635893B2 (en) | Identity authentication method, terminal device, and computer-readable storage medium | |
JP7118697B2 (ja) | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル | |
EP3805902B1 (en) | Selective detection of visual cues for automated assistants | |
JP2020174338A (ja) | 情報を生成するための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム | |
CN116484318A (zh) | 一种演讲训练反馈方法、装置及存储介质 | |
EP3308300A1 (en) | Determining image captions | |
KR20190067433A (ko) | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 | |
Tsai et al. | Sentiment analysis of pets using deep learning technologies in artificial intelligence of things system | |
JP7110738B2 (ja) | 情報処理装置、プログラム及び情報処理システム | |
JP2014175704A (ja) | 表示装置、表示方法、及び、プログラム | |
US11699162B2 (en) | System and method for generating a modified design creative | |
JP7150688B2 (ja) | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 | |
JP5707346B2 (ja) | 情報提供装置とそのプログラムおよび情報提供システム | |
CN116912478A (zh) | 目标检测模型构建、图像分类方法、电子设备 | |
WO2023144386A1 (en) | Generating data items using off-the-shelf guided generative diffusion processes | |
WO2022040561A1 (en) | Selectively using sensors for contextual data | |
CN109344289B (zh) | 用于生成信息的方法和装置 | |
US20210026923A1 (en) | Intent-Based Language Translation | |
JP2022013256A (ja) | キーワード抽出装置、キーワード抽出方法及びキーワード抽出プログラム | |
CN112115740A (zh) | 用于处理图像的方法和装置 | |
Enrique III et al. | Integrated Visual-Based ASL Captioning in Videoconferencing Using CNN | |
US20230046337A1 (en) | Digital assistant reference resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7150688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |