JP7398853B1 - 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム - Google Patents
動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム Download PDFInfo
- Publication number
- JP7398853B1 JP7398853B1 JP2023108600A JP2023108600A JP7398853B1 JP 7398853 B1 JP7398853 B1 JP 7398853B1 JP 2023108600 A JP2023108600 A JP 2023108600A JP 2023108600 A JP2023108600 A JP 2023108600A JP 7398853 B1 JP7398853 B1 JP 7398853B1
- Authority
- JP
- Japan
- Prior art keywords
- video
- facial expression
- viewers
- information
- viewer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 104
- 230000008921 facial expression Effects 0.000 claims description 189
- 238000000605 extraction Methods 0.000 claims description 57
- 230000002123 temporal effect Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 26
- 239000002131 composite material Substances 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 abstract description 20
- 238000012800 visualization Methods 0.000 abstract description 14
- 238000004891 communication Methods 0.000 description 36
- 230000006399 behavior Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 230000007935 neutral effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 208000032140 Sleepiness Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
視聴者端末2は、撮像部22を用いた撮影を通じて視聴者Vを示す映像データを取得した上で、当該映像データに基づいて視聴者Vの注視点データを取得する。この点において、視聴者端末2の制御部20は、撮像部22によって取得された映像データに基づいて、視聴者Vの視線の変化を検出する視線トラッキング部として機能する。注視点データの取得方法の一例として、制御部20は、映像データの所定のフレーム(静止画像)に基づいて、当該所定のフレームに示された視聴者Vと視聴者Vの目を特定した上で、撮像部22に対する視聴者Vの目の位置を示す位置情報を取得する。次に、制御部20は、当該所定のフレームに基づいて、視聴者Vの眼球の黒目の回転角を特定した上で、視聴者Vの視線L(図6参照)の方向を示す視線情報を取得する。さらに、制御部20は、当該所定のフレームに基づいて、視聴者Vの顔の方向を示す顔向き情報を取得する。尚、制御部20は、三次元眼球モデル(パッシブ方式)に基づいて視線情報を取得してもよいし、角膜反射法(アクティブ方式)に基づいて視線情報を取得してもよい。角膜反射法に基づいて視線情報が取得される場合、視聴者端末2は、赤外線を出射するように構成された赤外線発光素子(例えば、赤外線LED)と赤外線カメラ(赤外線イメージセンサ)をさらに備えてもよい。
視聴者端末2は、撮像部22を用いた撮影を通じて視聴者Vを示す映像データを取得した上で、当該映像データに基づいて視聴者Vの表情データを取得する。この点において、視聴者端末2の制御部20は、撮像部22によって取得された映像データに基づいて視聴者Vの表情の変化を検出する表情トラッキング部として機能する。ここで、表情データは、視聴者Vの表情情報の時間的変化を示すデータである。より具体的には、表情データは、視聴者Vの表情要素(本例では、嬉しい、悲しい、中立(無表情)、怒り、驚きの5種類の表情要素)の確率情報の時間的変化を示すデータである。
Claims (11)
- 動画に対する複数の視聴者のインサイトを解析する動画視聴解析システムであって、
各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
前記動画視聴解析システムは、
前記動画を前記複数の視聴者端末の各々に提供し、
前記動画を前記複数の視聴者端末の各々の表示部に表示させ、
各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得し、
前記複数の視聴者の抽出条件を前記企業側端末から受信し、
前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出し、
前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な表情を示す総合表情情報を生成し、
前記総合表情情報を前記企業側端末の表示部に表示させる、
動画視聴解析システム。 - 動画に対する複数の視聴者のインサイトを解析する動画視聴解析システムであって、
各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
前記動画視聴解析システムは、
前記動画を前記複数の視聴者端末の各々に提供し、
前記動画を前記複数の視聴者端末の各々の表示部に表示させ、
各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得し、
前記複数の視聴者の抽出条件を前記企業側端末から受信し、
前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出し、
前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な興味度を示す総合興味度情報を生成し、
前記総合興味度情報を前記企業側端末の表示部に表示させる、
動画視聴解析システム。 - 前記抽出条件は、
前記複数の視聴者の年代情報と、
前記複数の視聴者の性別情報と、
前記複数の視聴者の住所情報と、
前記複数の視聴者の職業情報と、
前記複数の視聴者の世帯人数情報と、
前記複数の視聴者の婚姻情報と、
前記複数の視聴者の学歴情報と、
のうち少なくとも一つに関連付けられている、
請求項1又は2に記載の動画視聴解析システム。 - 前記動画は、広告コンテンツを含む、
請求項1又は2に記載の動画視聴解析システム。 - 前記総合表情情報は、前記動画の全体を通した前記複数の視聴者の各表情要素の平均確率を示す、請求項1に記載の動画視聴解析システム。
- 前記総合表情情報は、前記動画の時系列に沿った前記複数の視聴者の各表情要素の平均確率の時間的推移を示す、請求項1に記載の動画視聴解析システム。
- 前記総合興味度情報は、前記動画の時系列に沿った前記複数の視聴者の総合的な興味度の時間的推移を示す、請求項2に記載の動画視聴解析システム。
- 前記複数の視聴者の各表情要素の確率に基づいて、前記動画に対する前記複数の視聴者のポジティブ度又はネガティブ度を算出し、
前記ポジティブ度又は前記ネガティブ度を表示する、
請求項1に記載の動画視聴解析システム。 - 動画に対する複数の視聴者のインサイトを解析し、動画視聴解析システムによって実行される動画視聴解析方法であって、
前記動画視聴解析システムは、
各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
前記動画視聴解析方法は、
前記動画を前記複数の視聴者端末の各々に提供するステップと、
前記動画を前記複数の視聴者端末の各々の表示部に表示させるステップと、
各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得するステップと、
前記複数の視聴者の抽出条件を前記企業側端末から受信するステップと、
前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出するステップと、
前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な表情を示す総合表情情報を生成するステップと、
前記総合表情情報を前記企業側端末の表示部に表示させるステップと、
を含む、動画視聴解析方法。 - 動画に対する複数の視聴者のインサイトを解析し、動画視聴解析システムによって実行される動画視聴解析方法であって、
前記動画視聴解析システムは、
各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
前記動画視聴解析方法は、
前記動画を前記複数の視聴者端末の各々に提供するステップと、
前記動画を前記複数の視聴者端末の各々の表示部に表示させるステップと、
各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得するステップと、
前記複数の視聴者の抽出条件を前記企業側端末から受信するステップと、
前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出するステップと、
前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な興味度を示す総合興味度情報を生成するステップと、
前記総合興味度情報を前記企業側端末の表示部に表示させるステップと、
を含む、動画視聴解析方法。 - 請求項9又は10に記載の動画視聴解析方法をコンピュータに実行させる動画視聴解析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023108600A JP7398853B1 (ja) | 2023-06-30 | 2023-06-30 | 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023108600A JP7398853B1 (ja) | 2023-06-30 | 2023-06-30 | 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7398853B1 true JP7398853B1 (ja) | 2023-12-15 |
Family
ID=89122204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023108600A Active JP7398853B1 (ja) | 2023-06-30 | 2023-06-30 | 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7398853B1 (ja) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132362A (ja) | 2001-10-22 | 2003-05-09 | Sony Corp | 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム |
JP2009140010A (ja) | 2007-12-03 | 2009-06-25 | Sony Corp | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
JP2010026871A (ja) | 2008-07-22 | 2010-02-04 | Nikon Corp | 情報処理装置及び情報処理システム |
US20120046993A1 (en) | 2006-07-21 | 2012-02-23 | Hill Daniel A | Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding |
JP2016046730A (ja) | 2014-08-25 | 2016-04-04 | 学校法人早稲田大学 | 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム |
CN106682946A (zh) | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
WO2017159063A1 (ja) | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 表示装置並びに情報処理端末装置 |
JP2017531251A (ja) | 2014-09-01 | 2017-10-19 | リアルアイズ・オーウー | ウェブ・ベース広告のターゲティング方法 |
WO2018079166A1 (ja) | 2016-10-26 | 2018-05-03 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
JP2019215731A (ja) | 2018-06-13 | 2019-12-19 | 富士通株式会社 | 集中度評価プログラム、装置、及び方法 |
JP2020106772A (ja) | 2018-12-28 | 2020-07-09 | 株式会社Jvcケンウッド | 表示装置、表示方法、およびプログラム |
JP2020531987A (ja) | 2017-10-30 | 2020-11-05 | コーロン インダストリーズ インク | 人工知能技術を利用して広告及び商品購買に関するサービスを提供する装置、システム、及び方法 |
JP2020184217A (ja) | 2019-05-08 | 2020-11-12 | 株式会社リコー | 通信システム、端末装置、通信方法、プログラム |
JP2020202575A (ja) | 2020-08-18 | 2020-12-17 | グリー株式会社 | 動画配信システム、動画配信方法、及び動画配信プログラム |
JP2021177362A (ja) | 2020-05-08 | 2021-11-11 | ヤフー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び端末装置 |
JP2022061352A (ja) | 2020-10-06 | 2022-04-18 | 株式会社カプコン | ゲームシステムおよびゲーム制御方法 |
WO2022239793A1 (ja) | 2021-05-12 | 2022-11-17 | 株式会社夏目綜合研究所 | 被験者分析装置 |
WO2023047658A1 (ja) | 2021-09-22 | 2023-03-30 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
-
2023
- 2023-06-30 JP JP2023108600A patent/JP7398853B1/ja active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132362A (ja) | 2001-10-22 | 2003-05-09 | Sony Corp | 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム |
US20120046993A1 (en) | 2006-07-21 | 2012-02-23 | Hill Daniel A | Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding |
JP2009140010A (ja) | 2007-12-03 | 2009-06-25 | Sony Corp | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
JP2010026871A (ja) | 2008-07-22 | 2010-02-04 | Nikon Corp | 情報処理装置及び情報処理システム |
JP2016046730A (ja) | 2014-08-25 | 2016-04-04 | 学校法人早稲田大学 | 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム |
JP2017531251A (ja) | 2014-09-01 | 2017-10-19 | リアルアイズ・オーウー | ウェブ・ベース広告のターゲティング方法 |
WO2017159063A1 (ja) | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 表示装置並びに情報処理端末装置 |
WO2018079166A1 (ja) | 2016-10-26 | 2018-05-03 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
CN106682946A (zh) | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
JP2020531987A (ja) | 2017-10-30 | 2020-11-05 | コーロン インダストリーズ インク | 人工知能技術を利用して広告及び商品購買に関するサービスを提供する装置、システム、及び方法 |
JP2019215731A (ja) | 2018-06-13 | 2019-12-19 | 富士通株式会社 | 集中度評価プログラム、装置、及び方法 |
JP2020106772A (ja) | 2018-12-28 | 2020-07-09 | 株式会社Jvcケンウッド | 表示装置、表示方法、およびプログラム |
JP2020184217A (ja) | 2019-05-08 | 2020-11-12 | 株式会社リコー | 通信システム、端末装置、通信方法、プログラム |
JP2021177362A (ja) | 2020-05-08 | 2021-11-11 | ヤフー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び端末装置 |
JP2020202575A (ja) | 2020-08-18 | 2020-12-17 | グリー株式会社 | 動画配信システム、動画配信方法、及び動画配信プログラム |
JP2022061352A (ja) | 2020-10-06 | 2022-04-18 | 株式会社カプコン | ゲームシステムおよびゲーム制御方法 |
WO2022239793A1 (ja) | 2021-05-12 | 2022-11-17 | 株式会社夏目綜合研究所 | 被験者分析装置 |
WO2023047658A1 (ja) | 2021-09-22 | 2023-03-30 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10210666B2 (en) | Filtering and parental control methods for restricting visual activity on a head mounted display | |
CN108701207B (zh) | 用于面部识别和视频分析以识别上下文视频流中的个人的装置和方法 | |
Koelle et al. | Don't look at me that way! Understanding user attitudes towards data glasses usage | |
US9894415B2 (en) | System and method for media experience data | |
US20180124459A1 (en) | Methods and systems for generating media experience data | |
US11483618B2 (en) | Methods and systems for improving user experience | |
US20180115802A1 (en) | Methods and systems for generating media viewing behavioral data | |
US20180124458A1 (en) | Methods and systems for generating media viewing experiential data | |
US10755487B1 (en) | Techniques for using perception profiles with augmented reality systems | |
US20180109828A1 (en) | Methods and systems for media experience data exchange | |
CN110959166B (zh) | 信息处理设备、信息处理方法、信息处理***、显示设备和预订*** | |
EP2788943A2 (en) | Affect based evaluation of advertisement effectiveness | |
JP2020126645A (ja) | 情報処理方法、端末装置及び情報処理装置 | |
JP2023551476A (ja) | ビデオゲームのコンテンツに含めるためのグラフィックインターチェンジフォーマットファイル識別 | |
WO2014179247A2 (en) | Media synchronized advertising overlay | |
JPWO2019116658A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20230260219A1 (en) | Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content | |
US20240160282A1 (en) | Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content | |
JP7398853B1 (ja) | 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム | |
WO2018078596A1 (en) | Systems methods devices circuits and computer executable code for impression measurement and evaluation | |
JP7206741B2 (ja) | 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム | |
US12019842B2 (en) | Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content | |
JP7398854B1 (ja) | ウェブページ閲覧解析システム、ウェブページ閲覧解析方法およびウェブページ閲覧解析プログラム | |
JPWO2020032239A1 (ja) | 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム | |
US20240212264A1 (en) | Program, information processing method, and information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230704 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230704 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20230701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7398853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |