JP7398853B1 - 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム - Google Patents

Abstract

【課題】視聴者の生体情報に基づく動画視聴時の態度から動画に関する詳細なインサイトを提供する。【解決手段】動画に対する視聴者のインサイトを解析する動画視聴解析システムは、複数の視聴者それぞれに対応する複数の注視点データを取得し、前記複数の注視点データのうち少なくとも幾つかに基づいて、当該注視点データに対応する視聴者が前記動画を見たときの注視点を可視化した注視点可視化マップを生成し、前記注視点可視化マップを前記動画に重畳して表示する。【選択図】図９

Description

特許法第３０条第２項適用 サイト掲載日：令和５年５月１０日、掲載サイトのアドレス：ｈｔｔｐｓ：／／ｒｅｓｅａｒｃｈ．ｖｉａｇａｔｅ．ｃｏｍ／ サイト掲載日：令和５年５月２５日、掲載サイトのアドレス：ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００２．０００１１６４９４．ｈｔｍｌ サイト掲載日：令和５年５月３１日、掲載サイトのアドレス：ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００３．０００１１６４９４．ｈｔｍｌ サイト掲載日：令和５年３月２７日、掲載サイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｗａｎｔｅｄｌｙ．ｃｏｍ／ｃｏｍｐａｎｉｅｓ／ｃｏｍｐａｎｙ＿７０８８４８７／ａｂｏｕｔ サイト掲載日：令和５年６月５日、掲載サイトのアドレス：ｈｔｔｐｓ：／／ｓｏｇｙｏｔｅｃｈｏ．ｊｐ／ｎｅｗｓ／２０２３０６０５ｖｉａｇａｔｅ／

本開示は、動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラムに関する。

コロナ禍の影響によって社会生活の大部分においてオンライン化（換言すれば、デジタルトランスフォーメーション（ＤＸ）化）が加速度的に現在進んできている。特に、マーケティング分野においては、デジタルマーケティングが紙媒体等を用いた従来のマーケティングよりも主流となっている。デジタルマーケティングの分野においては、ＹｏｕＴｕｂｅ（登録商標）等の動画プラットフォーム上における広告動画が現在主流となりつつある。

特許文献１では、広告動画の効果を評価するための広告評価システムが開示されている。当該広告評価システムは、ユーザ端末と、電子メールサーバと、動画配信サーバと、管理サーバとを備える。これらの要素は通信ネットワークを介して通信可能に接続されている。広告評価システムは、ユーザの取引データに基づいて、広告動画で紹介された商品をユーザが購入したかどうか否かを判定した上で、当該判定結果に応じて広告動画の効果を評価している。

特許第７０５７６０６号

特許文献１に開示された広告評価システムでは、広告動画で紹介された商品をユーザが実際に購入したかどうかの販売実績に応じて広告動画の効果が評価されている。このため、当該広告評価システムでは、広告対象の商品の実際の販売実績が未だない段階では広告動画を評価することはできない。その一方で、商品についてのデジタルマーケティングを行う企業側では、広告動画等の動画のローンチの前に当該動画に関する詳細なインサイトを把握しておきたいとのニーズが存在する。ここで、「インサイト」とは、顧客のデータやフィードバックを分析して洗練された形で提示される、顧客の潜在的ニーズ、感情、動機、価値観、行動パターンや傾向に関する深い理解を意味する。特に、企業側では、広告動画のローンチ前に動画を視聴する視聴者の生体情報（例えば、視線や表情等）に基づいた当該動画に関するインサイトを把握しておきたいとのニーズが存在する。このように、上記ニーズを提供可能な広告評価システムについて検討の余地がある。

本開示は、視聴者の生体情報に基づく動画視聴時の態度から動画に関する詳細なインサイトを提供することが可能な動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラムを提供することを目的とする。

本開示の一態様に係る動画視聴解析システムは、動画に対する視聴者のインサイトを解析する動画視聴解析システムであって、複数の視聴者それぞれに対応する複数の注視点データを取得し、前記複数の注視点データのうち少なくとも幾つかに基づいて、当該注視点データに対応する視聴者が前記動画を見たときの注視点を可視化した注視点可視化マップを生成し、前記注視点可視化マップを前記動画に重畳して表示する。

上記構成によれば、注視点可視化マップが動画に重畳されて表示されるため、企業側は、注視点可視化マップを確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。例えば、企業側は、再生時間毎の視聴者による動画中の注目領域を詳細に把握することが可能となる。このように、動画解析を所望する企業側に動画に関する詳細なインサイトを提供することが可能となる。

本開示の一態様に係る動画視聴解析システムは、動画に対する視聴者のインサイトを解析する動画視聴解析システムであって、複数の視聴者それぞれに対応する複数の注視点データを取得し、前記複数の注視点データのうち少なくとも幾つかに基づいて、当該注視点データに対応する視聴者が前記動画を見たときの注目オブジェクトを特定し、前記注目オブジェクトに関する情報を表示する。

上記構成によれば、企業側は、動画内の少なくとも一つの注目オブジェクトに関する情報を把握することが可能となる。このように、動画解析を所望する企業側に動画に関する詳細なインサイトを提供することが可能となる。

本開示の一態様に係る動画視聴解析システムは、動画に対する視聴者のインサイトを解析する動画視聴解析システムであって、複数の視聴者それぞれに対応する複数の表情データを取得し、前記複数の表情データのうち少なくとも幾つかに基づいて、当該表情データに対応する視聴者が前記動画を見たときの総合的な表情を示す総合表情情報を生成し、前記総合表情情報を表示する。

上記構成によれば、総合表情情報が表示されるため、企業側は、総合表情情報を確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。例えば、企業側は、再生時間毎の視聴者による動画に対する感情（例えば、嬉しい、悲しい等）を詳細に把握することが可能となる。このように、動画解析を所望する企業側に動画に関する詳細なインサイトを提供することが可能となる。

本開示の一態様に係る動画視聴解析システムは、動画に対する視聴者のインサイトを解析する動画視聴解析システムであって、複数の視聴者それぞれに対応する複数の表情データを取得し、前記複数の表情データのうち少なくとも幾つかに基づいて、当該表情データに対応する視聴者が前記動画を見たときの総合的な興味度を示す総合興味度情報を生成し、前記総合興味度情報を表示する。

上記構成によれば、総合興味度情報が表示されるため、企業側は、総合興味度情報を確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。例えば、企業側は、再生時間毎の視聴者による動画に対する興味度を詳細に把握することが可能となる。このように、動画解析を所望する企業側に動画に関する詳細なインサイトを提供することが可能となる。

また、動画視聴解析システムは、前記複数の視聴者の抽出条件を入力し、前記抽出条件に基づいて、前記複数の注視点データのうち少なくとも幾つかを抽出してもよい。

上記構成によれば、抽出された注視点データに基づいて、注視点可視化マップが生成される。このように、抽出条件に合致した視聴者の視聴行動を詳細に把握することができるため、動画に関するより詳細なインサイトを企業側に提供することが可能となる。

また、前記抽出条件は、前記複数の視聴者の年代情報と、前記複数の視聴者の性別情報と、前記複数の視聴者の住所情報と、前記複数の視聴者の職業情報と、前記複数の視聴者の世帯人数情報と、前記複数の視聴者の婚姻情報と、前記複数の視聴者の学歴情報とのうちの少なくとも１つに関連付けられてもよい。

上記構成によれば、複数の視聴者の年代情報、性別情報、住所情報、職業情報、世帯人数情報、婚姻情報、学歴情報のうちの少なくとも１つに関連付けられた抽出条件に合致した視聴者の視聴行動を詳細に把握することができるため、動画に関するより詳細なインサイトを企業側に提供することが可能となる。

また、前記動画は、広告コンテンツを含んでもよい。

上記によれば、企業側にデジタルマーケティングに関する詳細なインサイトを提供することが可能となる。

また、前記注視点可視化マップは、注視点ヒートマップであってもよい。

上記によれば、企業側は、注視点ヒートマップを確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。特に、注視点ヒートマップの強度分布を確認することで、動画上の視聴者の注目領域をより明確に把握することが可能となる。

また、前記注視点データは、前記動画の表示領域上における前記視聴者の視線に対応する注視点の時間的変化を示してもよい。

また、動画視聴解析システムは、前記注目オブジェクトをランキング形式で表示されてもよい。

また、動画視聴解析システムは、前記注目オブジェクトに関連付けて、当該注目オブジェクトの注目度、登場時間、平均注目度のうち少なくとも１つ以上を表示してもよい。

また、前記総合表情情報は、複数の表情要素それぞれについて、前記動画の全体を通した確率を示してもよい。

上記によれば、企業側は、複数の表情要素それぞれについて、前記動画の全体を通した確率を確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。

また、前記総合表情情報は、複数の表情要素それぞれについて、前記動画の時系列に対応した確率の推移を示してもよい。

上記によれば、企業側は、複数の表情要素それぞれについて、前記動画の時系列に対応した確率の推移を確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。

また、前記総合興味度情報は、前記興味度について、前記動画の時系列に対応した推移を示してもよい。

上記によれば、企業側は、興味度について、動画の字啓礼に対応した推移を確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。

また、動画視聴解析システムは、複数の表情要素それぞれの確率に基づいて、前記動画に対する前記視聴者のポジティブ度又はネガティブ度を算出し、前記ポジティブ度又は前記ネガティブ度を表示してもよい。

上記によれば、企業側は、視聴者のポジティブ度又はネガティブ度を確認することで、動画に対する視聴者の視聴行動を詳細に把握することができる。

本開示の一態様に係る動画視聴解析方法は、動画に対する視聴者のインサイトを解析する動画視聴解析方法であって、複数の視聴者それぞれに対応する複数の注視点データを取得するステップと、前記複数の注視点データのうち少なくとも幾つかに基づいて、当該注視点データに対応する視聴者が前記動画を見たときの注視点を可視化した注視点可視化マップを生成するステップと、前記注視点可視化マップを前記動画に重畳して表示するステップと、を含み、コンピュータによって実行される。

本開示の一態様に係る動画視聴解析方法は、動画に対する視聴者のインサイトを解析する動画視聴解析方法であって、複数の視聴者それぞれに対応する複数の注視点データを取得するステップと、前記複数の注視点データのうち少なくとも幾つかに基づいて、当該注視点データに対応する視聴者が前記動画を見たときの注目オブジェクトを特定するステップと、前記注目オブジェクトに関する情報を表示するステップと、を含み、コンピュータによって実行される。

本開示の一態様に係る動画視聴解析方法は、動画に対する視聴者のインサイトを解析する動画視聴解析方法であって、複数の視聴者それぞれに対応する複数の表情データを取得するステップと、前記複数の表情データのうち少なくとも幾つかに基づいて、当該表情データに対応する視聴者が前記動画を見たときの総合的な表情を示す総合表情情報を生成するステップと、前記総合表情情報を表示するステップと、を含み、コンピュータによって実行される。

本開示の一態様に係る動画視聴解析方法は、動画に対する視聴者のインサイトを解析する動画視聴解析方法であって、複数の視聴者それぞれに対応する複数の表情データを取得するステップと、前記複数の表情データのうち少なくとも幾つかに基づいて、当該表情データに対応する視聴者が前記動画を見たときの総合的な興味度を示す総合興味度情報を生成するステップと、前記総合興味度情報を表示するステップと、を含み、コンピュータによって実行される。

また、前記動画視聴解析方法をコンピュータに実行させる動画視聴解析プログラムが提供されてもよい。

本開示によれば、視聴者の生体情報に基づく動画視聴時の態度から動画に関する詳細なインサイトを提供することが可能な動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラムを提供することができる。

本開示の実施形態（以下、本実施形態）に係る動画視聴解析システムの構成の一例を示す図である。 視聴者端末のハードウェア構成の一例を示す図である。 サーバのハードウェア構成の一例を示す図である。 企業側端末のハードウェア構成の一例を示す図である。 本実施形態に係る動画視聴解析システムのうち視聴者端末とサーバとの間で実行される一連の処理を説明するためのシーケンス図である。 動画の表示領域上における視聴者の注視点を説明するための図である。 視聴者の顔特徴点を説明するための図である。 本実施形態に係る動画視聴解析システムのうちサーバと企業側端末との間で実行される一連の処理を説明するためのシーケンス図である。 動画視聴解析画面の一例を示す図である。 （ａ）は、動画の一例を示す図である。（ｂ）は、注視点ヒートマップの一例を示す図である。（ｃ）は、注視点ヒートマップが動画に重畳された合成動画の一例を示す図である。 動画を構成する各フレームと注視点ヒートマップを構成する各フレームとを概略的に示した図であって、（ａ）は、動画のフレームレートと注視点ヒートマップのフレームレートが一致した状態を示す図であり、（ｂ）は、動画のフレームレートと注視点ヒートマップのフレームレートが一致していない状態を示す図である。 抽出条件表示画面の一例を示す図である。 抽出条件が指定された後の動画視聴解析画面の一例を示す図である。

以下、本実施形態に係る動画視聴解析システム１について図面を参照しながら説明する。図１は、本実施形態に係る動画視聴解析システム１の構成の一例を示す図である。図１に示すように、動画視聴解析システム１は、視聴者端末２ａ，２ｂと、サーバ３と、企業側端末４とを備える。これらは通信ネットワーク８に接続されている。視聴者端末２ａ，２ｂの各々は、通信ネットワーク８を介してサーバ３に通信可能に接続されている。企業側端末４は、通信ネットワーク８を介してサーバ３に通信可能に接続されている。通信ネットワーク８は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ(Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、無線コアネットワークのうちの少なくとも一つによって構成されている。

視聴者端末２ａは、視聴者Ｖａに関連付けられた端末であって、視聴者Ｖａによって操作される。視聴者端末２ｂは、視聴者Ｖｂに関連付けられた端末であって、視聴者Ｖｂによって操作される。尚、本実施形態では、説明の便宜上、視聴者端末２ａ，２ｂを視聴者端末２と総称する場合がある。同様に、視聴者Ｖａ，Ｖｂを視聴者Ｖと総称する場合がある。また、本実施形態では、多数の視聴者に関連付けられた多数の視聴者端末２が動画視聴解析システム１に設けられているが、説明の便宜上、多数の視聴者端末のうちの２台の視聴者端末２ａ，２ｂのみが図１では図示されている。視聴者端末２の種類は特に限定されるものではなく、視聴者端末２は、例えば、スマートフォン、パーソナルコンピュータ、タブレット又はウェアラブルデバイス（例えば、ヘッドマウントディスプレイやＡＲディスプレイ）等であってもよい。

次に、図２を参照して、視聴者端末２のハードウェア構成について以下に説明する。図２は、視聴者端末２のハードウェア構成の一例を示す図である。図２に示すように、視聴者端末２は、制御部２０と、記憶装置２１と、撮像部２２と、通信部２３と、入力操作部２４と、表示部２５と、スピーカ２６と、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）２８とを備える。視聴者端末２を構成するこれらの要素は通信バス２９に接続されている。

制御部２０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えば、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のうちの少なくとも一つにより構成される。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。プロセッサは、記憶装置２１又はＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。

記憶装置２１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。撮像部２２は、撮影を通じて、視聴者端末２の周辺環境を示す映像データを取得するように構成されている。特に、撮像部２２は、撮影を通じて視聴者端末２の周辺環境を示す画像データ若しくは映像データを生成するように構成されたカメラであって、イメージセンサ（例えば、ＣＣＤセンサやＣＭＯＳセンサ等）と、イメージセンサ駆動処理回路とを備える。本実施形態では、制御部２０は、撮像部２２によって取得された映像データに基づいて、視聴者Ｖの視線の変化を検出する視線トラッキング部として機能する。さらに、制御部２０は、当該映像データに基づいて視聴者Ｖの表情の変化を検出する表情トラッキング部として機能する。

通信部２３は、通信ネットワーク８に接続された外部装置と通信するための無線通信モジュール及び／又は有線通信モジュールを備えている。無線通信モジュールは、基地局や無線ＬＡＮルータ等の外部機器と無線通信するように構成され、送受信アンテナと、無線送受信回路とを備える。無線通信モジュールは、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格に対応した無線通信モジュールであってもよいし、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）を用いた第Ｘ世代移動体通信システム（例えば、ＬＴＥ等の第４世代移動通信システム）に対応する無線通信モジュールであってもよい。

入力操作部２４は、例えば、表示部２５の映像表示ディスプレイに重ねて配置されたタッチパネル、マウス、及び／又はキーボードであって、視聴者Ｖの入力操作を受け付けると共に、当該入力操作に応じた操作信号を生成するように構成されている。表示部２５は、例えば、映像表示ディスプレイと、当該映像表示ディスプレイを駆動制御する映像表示回路とによって構成される。表示部２５は、動画が表示される表示画面２７を有する（図６参照）。

スピーカ２６は、動画に含まれる音声データに基づいて動画の音声を外部に向けて出力するように構成されている。ＲＴＣ２８は、現在時刻を示す情報を取得するように構成されている。

図１に戻ると、サーバ３は、通信ネットワーク８を介して視聴者端末２及び企業側端末４に通信可能に接続されている。サーバ３は、通信ネットワーク８を介して複数の視聴者端末２の各々に動画データを送信すると共に、企業側端末４に注視点ヒートマップが動画に重畳された合成動画（後述する）を送信する。サーバ３は、複数のサーバによって構成されてもよい。サーバ３は、ＷＥＢアプリケーションとして動画視聴解析アプリケーションを提供するように構成されたＷＥＢサーバとして機能する。この点において、サーバ３は、動画視聴解析画面を企業側端末４のＷＥＢブラウザに表示するためのデータ（例えば、ＨＴＭＬファイル、ＣＳＳファイル、画像や映像ファイル、プログラムファイル等）を送信するように構成されている。このように、サーバ３は、ＳａａＳ（Ｓｙｓｔｅｍ ａｓ ａ Ｓｅｒｖｉｃｅ）を提供するためのサーバとして機能している。サーバ３は、オンプレミスで構築されてもよいし、クラウドサーバであってもよい。また、サーバ３は、複数の動画データ、各視聴者Ｖの注視点データ、及び各視聴者Ｖの表情データを管理するデータ管理サーバとして機能する。

図３を参照して、サーバ３のハードウェア構成について以下に説明する。図３は、サーバ３のハードウェア構成の一例を示す図である。図３に示すように、サーバ３は、制御部３０と、記憶装置３１と、入出力インターフェース３２と、通信部３３と、入力操作部３４と、表示部３５とを備える。サーバ３を構成するこれらの要素は通信バス３６に接続されている。

制御部３０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、図５及び図８においてサーバ３によって実行される一連の処理（動画視聴解析方法）をプロセッサに実行させるための動画視聴解析プログラムが記憶されてもよい。メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。

記憶装置３１は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。記憶装置３１には、複数の動画データ、各視聴者Ｖの注視点データ、及び各視聴者Ｖの表情データが保存されている。また、記憶装置３１には、各視聴者Ｖの情報に関連する視聴者情報テーブルおよび動画視聴解析アプリケーションを利用する各ユーザＵに関連するユーザ情報テーブルが保存されている。視聴者情報テーブルは、各視聴者Ｖの属性情報を含む。例えば、視聴者情報テーブルは、各視聴者Ｖの識別情報、性別情報、年代情報、世帯人数情報、住所情報、職業情報のうちの少なくとも一つを含んでもよい。ユーザ情報テーブルは、各ユーザＵの識別情報、属性情報、ログイン情報等を含んでもよい。

入出力インターフェース３２は、外部装置とサーバ３との間の接続を可能とするインターフェースであって、ＵＳＢ規格やＨＤＭＩ（登録商標）規格等の所定の通信規格に応じたインターフェースを含む。通信部３３は、通信ネットワーク８上の外部端末と通信するための各種有線通信モジュールを含んでもよい。入力操作部３４は、例えば、タッチパネル、マウス、及び／又はキーボード等であって、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。表示部３５は、例えば、映像表示ディスプレイと映像表示回路とによって構成されている。

企業側端末４は、サーバ３によって提供される動画視聴解析アプリケーションを利用するユーザＵによって操作される端末である。本実施形態では、複数の企業側端末４が動画視聴解析システム１に設けられているが（換言すれば、本実施形態では、複数のユーザＵが動画視聴解析アプリケーションを利用しているが）、説明の便宜上、一台の企業側端末４のみが図１では図示されている。

図４を参照して、企業側端末４のハードウェア構成について以下に説明する。図４は、企業側端末４のハードウェア構成の一例を示す図である。図４に示すように、企業側端末４は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はユーザＵに装着されたウェアラブルデバイスであってもよい。企業側端末４は、ＷＥＢブラウザを有する。動画視聴解析アプリケーションは、企業側端末４のＷＥＢブラウザ上で動作するものとする。企業側端末４は、制御部４０と、記憶装置４１と、入出力インターフェース４２と、通信部４３と、入力操作部４４と、表示部４５とを備える。これらの要素は通信バス４６に接続されている。

制御部４０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、例えば、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。

記憶装置４１は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。入出力インターフェース４２は、外部装置と企業側端末４との間の接続を可能とするインターフェース（例えば、ＵＳＢやＨＤＭＩ等）である。通信部４３は、企業側端末４を通信ネットワーク８に接続するように構成されており、無線通信モジュール及び／又は有線通信モジュールを備える。入力操作部４４は、例えば、タッチパネル、マウス、及び／又はキーボード等であって、ユーザＵの入力操作を受け付けると共に、ユーザＵの入力操作に応じた操作信号を生成するように構成されている。表示部４５は、例えば、映像表示ディスプレイと映像表示回路とによって構成されている。本実施形態では、動画視聴解析画面７０（図９参照）が表示部４５に表示される。

次に、図５を参照して本実施形態に係る動画視聴解析システム１のうち複数の視聴者端末２の各々とサーバ３との間で実行される一連の処理について以下に説明する。図５は、動画視聴解析システム１のうち視聴者端末２とサーバ３との間で実行される一連の処理を説明するためのシーケンス図である。尚、説明の便宜上、単一の視聴者端末２とサーバ３との間で実行される一連の処理が図５に図示されているが、本実施形態では複数の視聴者端末２の各々が図５に示す一連の処理を実行するものとする。また、図５に示す一連の処理では、視聴者Ｖは、サーバ３から提供された所定の動画の視聴を通じて、当該所定の動画に対する視聴者Ｖの注視点データ及び表情データをサーバ３に提供するものとする。この点において、サーバ３を運営すると共に、動画視聴解析アプリケーションを提供する運営企業は、動画視聴に対するインセンティブを視聴者Ｖに提供してもよい。例えば、当該企業は、一回の動画視聴につき所定のポイント若しくは電子マネーを視聴者Ｖに付与してもよい。

図５に示すように、ステップＳ１において、視聴者端末２は、視聴者Ｖの入力操作部２４（例えば、タッチパネル）に対する入力操作に応じて、動画を視聴するための動画視聴リクエストをサーバ３に送信する。次に、サーバ３は、動画視聴リクエストを視聴者端末２から受信した上で、記憶装置３１に保存された動画を視聴者端末２に送信する（ステップＳ２）。当該動画は、ストリーミング形式で送信されてもよいし、ダウンロード形式で視聴者端末２に送信されてもよい。視聴者端末２に送信される動画（即ち、視聴解析の対象となる動画）は、広告コンテンツを含んでもよい。例えば、当該動画は、ＹｏｕＴｕｂｅ（登録商標）等の動画プラットフォーム上で再生される広告動画であってもよい。

次に、視聴者端末２は、動画の再生を開始する（ステップＳ３）。図６に示すように、視聴者端末２は、動画を表示部２５の表示画面１２５上に表示する。また、視聴者端末２は、動画の再生を開始したと同時に視聴者Ｖの注視点データと表情データの取得を開始する（ステップＳ４）。ステップＳ５に示すように、視聴者端末２は、動画の再生が終了するまで視聴者Ｖの注視点データと表情データを取得し続ける。その一方、視聴者端末２は、動画の再生が終了したときに視聴者Ｖの注視点データと表情データの取得を終了した上で、注視点データと表情データをサーバ３に送信する（ステップＳ６）。

＜注視点データの取得手法＞
視聴者端末２は、撮像部２２を用いた撮影を通じて視聴者Ｖを示す映像データを取得した上で、当該映像データに基づいて視聴者Ｖの注視点データを取得する。この点において、視聴者端末２の制御部２０は、撮像部２２によって取得された映像データに基づいて、視聴者Ｖの視線の変化を検出する視線トラッキング部として機能する。注視点データの取得方法の一例として、制御部２０は、映像データの所定のフレーム（静止画像）に基づいて、当該所定のフレームに示された視聴者Ｖと視聴者Ｖの目を特定した上で、撮像部２２に対する視聴者Ｖの目の位置を示す位置情報を取得する。次に、制御部２０は、当該所定のフレームに基づいて、視聴者Ｖの眼球の黒目の回転角を特定した上で、視聴者Ｖの視線Ｌ（図６参照）の方向を示す視線情報を取得する。さらに、制御部２０は、当該所定のフレームに基づいて、視聴者Ｖの顔の方向を示す顔向き情報を取得する。尚、制御部２０は、三次元眼球モデル（パッシブ方式）に基づいて視線情報を取得してもよいし、角膜反射法（アクティブ方式）に基づいて視線情報を取得してもよい。角膜反射法に基づいて視線情報が取得される場合、視聴者端末２は、赤外線を出射するように構成された赤外線発光素子（例えば、赤外線ＬＥＤ）と赤外線カメラ（赤外線イメージセンサ）をさらに備えてもよい。

次に、制御部２０は、位置情報と、視線情報と、顔向き情報とに基づいて、視聴者Ｖの視線Ｌと視聴者端末２の表示画面１２５とが交差した点である注視点Ｐの位置（Ｘ，Ｙ）（ＸＹ座標）を取得する。ここで、視線Ｌと表示画面１２５が交差する注視点Ｐの位置は、表示画面１２５に設定されたＸＹ座標空間上の位置として取得されてもよい。このように、制御部２０は、映像データの所定のフレームから視線Ｌと表示画面１２５が交差する注視点Ｐの位置を取得することができる。制御部２０は、映像データのフレームレートに対応する取得レートで注視点Ｐの位置を取得してもよいし、当該フレームレートとは異なるレートで注視点Ｐの位置を取得してもよい。例えば、映像データのフレームレートが３０ｆｐｓである場合に、注視点Ｐの取得レートは３０Ｈｚであってもよいし、３０Ｈｚよりも低い取得レート（例えば、１５Ｈｚ）であってもよい。

次に、制御部２０は、視聴者Ｖの注視点Ｐの位置を表示画面１２５に設定されたＸＹ座標空間上の位置から動画の表示領域Ｓに設定されたＸＹ座標空間上の位置に変換する。この点において、動画がフルスクリーンモードで表示画面１２５上に表示されていない場合、動画の表示領域Ｓに設定されたＸＹ座標空間は、表示画面１２５に設定されたＸＹ座標空間とは一致していない。このため、注視点Ｐの位置が表示画面１２５に設定されたＸＹ座標空間上の位置から動画の表示領域Ｓに設定されたＸＹ座標空間上の位置に変換される。尚、動画がフルスクリーンモードで表示画面１２５上に表示されている場合では、動画の表示領域Ｓに設定されたＸＹ座標空間は表示画面１２５に設定されたＸＹ座標空間と一致しているため、当該座標変換処理を実行しなくてもよい。

さらに、制御部２０は、表示領域Ｓ上の注視点Ｐの位置と共に、注視点Ｐの位置が取得された際の動画の再生時刻を取得する。例えば、注視点Ｐ１の位置（Ｘ１，Ｙ１）が取得された際の動画の再生時刻がｔ１である場合には、表示領域Ｓ上における注視点Ｐ１の位置（Ｘ１，Ｙ１）と再生時刻ｔ１が互いに関連付けられた状態で注視点Ｐ１の位置（Ｘ１，Ｙ１）と再生時刻ｔ１が記憶される。このように、制御部２０は、表示領域Ｓ上の注視点Ｐの位置の時間的変化を示す注視点データを取得することができる。例えば、注視点の取得レートが３０Ｈｚであって、動画の再生時間が３０秒である場合、注視点データに含まれている注視点Ｐの数は９００となる。

＜表情データの取得手法＞
視聴者端末２は、撮像部２２を用いた撮影を通じて視聴者Ｖを示す映像データを取得した上で、当該映像データに基づいて視聴者Ｖの表情データを取得する。この点において、視聴者端末２の制御部２０は、撮像部２２によって取得された映像データに基づいて視聴者Ｖの表情の変化を検出する表情トラッキング部として機能する。ここで、表情データは、視聴者Ｖの表情情報の時間的変化を示すデータである。より具体的には、表情データは、視聴者Ｖの表情要素（本例では、嬉しい、悲しい、中立（無表情）、怒り、驚きの５種類の表情要素）の確率情報の時間的変化を示すデータである。

表情データの取得方法の一例として、制御部２０は、映像データＭの所定のフレーム（静止画像）に基づいて、当該所定のフレームに示された視聴者Ｖの顔を特定した上で、視聴者Ｖの顔に含まれている複数の顔特徴点Ｋを取得する（図７参照）。図７に示すように、本例では、眉、目、鼻、口のそれぞれに関連する２４個の顔特徴点Ｋが取得される。次に、制御部２０は、取得された複数の顔特徴点Ｋに基づいて複数の顔特徴量を算出した上で、当該算出された複数の顔特徴量と表情認識モデル（学習モデル）とに基づいて、視聴者Ｖの各表情要素の確率情報を取得する。当該表情認識モデルでは、入力層の各ユニットの値が複数の顔特徴量のうちの対応する一つを示すと共に、出力層の各ユニットの値が複数の表情要素のうちの対応する一つの確率情報を示す。各表情要素の確率情報は、百分率％として示されてもよい。特に、「嬉しい」の表情要素の確率、「悲しい」の表情要素の確率、「中立」の表情要素の確率、「怒り」の表情要素の確率、および「驚き」の表情要素の確率のそれぞれが百分率％として示される。このように、制御部２０は、所定のフレームから視聴者Ｖの各表情要素の確率情報を取得することができる。

制御部２０は、映像データのフレームレートに対応する取得レートで視聴者Ｖの表情情報を取得してもよいし、当該フレームレートとは異なるレートで視聴者Ｖの表情情報を取得してもよい。例えば、映像データのフレームレートが３０ｆｐｓである場合に、表情情報の取得レートは３０Ｈｚであってもよいし、３０Ｈｚよりも低い取得レート（例えば、１５Ｈｚ）であってもよい。

また、制御部２０は、表情情報と共に、当該表情情報が取得された際の動画の再生時刻を取得する。例えば、各表情要素の確率情報が取得された際の動画の再生時刻がｔ１である場合には、各表情要素の確率情報と再生時刻ｔ１が互いに関連付けられた状態で確率情報と再生時刻ｔ１が記憶される。このように、制御部２０は、視聴者Ｖの表情情報の時間的変化を示す表情データを取得することができる。

図５に戻ると、ステップＳ７において、サーバ３は、各視聴者端末２から動画に関する視聴者Ｖの注視点データと表情データを受信した上で、各視聴者Ｖの注視点データと表情データが視聴対象となった動画と関連付けられた状態で各視聴者Ｖの注視点データ及び表情データを記憶装置３１に保存する。尚、図５に示す例では、説明の便宜上、一種類の動画が各視聴者端末２に送信されているが、複数種類の動画が各視聴者端末２に送信されてもよい。この場合、注視点データ及び表情データは、視聴者の識別情報及び動画の識別情報に両方に関連付けられてもよい。例えば、視聴者端末２ａから送信された視聴者Ｖａの注視点データと表情データは、視聴者Ｖａの識別情報と、視聴対象となった動画の識別情報とに関連付けられてもよい。同様に、視聴者端末２ｂから送信された視聴者Ｖｂの注視点データと表情データは、視聴者Ｖｂの識別情報と、視聴対象となった動画の識別情報とに関連付けられてもよい。このように、図５に示す一連の処理を通じて、各視聴者Ｖの注視点データと表情データをサーバ３内に蓄積することが可能となる。

次に、図８を参照して、本実施形態に係る動画視聴解析システム１のうちサーバ３と企業側端末４との間で実行される一連の処理について以下に説明する。図８は、動画視聴解析システム１のうちサーバ３と企業側端末４との間で実行される一連の処理を説明するためのシーケンス図である。本例では、企業側端末４を操作するユーザＵは、動画に関するデジタルマーケティング業務に従事しており、動画を視聴した複数の視聴者Ｖの生体情報（注視点や表情）に基づく動画の詳細なインサイトを把握することを所望している。図５に示す一連の処理において各視聴者Ｖによって視聴された動画は、ユーザＵのデジタルマーケティング業務に関連する動画（例えば、動画プラットフォーム上において表示される広告動画等）である。

図８に示すように、ステップＳ１０において、企業側端末４は、ユーザＵの入力操作を通じてユーザＵのログイン情報（例えば、ログインＩＤとログインパスワード）をサーバ３に送信する。ステップＳ１１において、サーバ３は、企業側端末４から送信されたログイン情報に基づいてユーザＵを認証する。尚、ユーザＵの認証方法はログイン認証に限定されるものではない。サーバ３は、ユーザＵの認証を実行した後に、記憶装置３１に保存されたユーザ情報テーブルを参照することで、ユーザＵに関連付けられた動画を特定する。

ステップＳ１２において、サーバ３は、通信ネットワーク８を介して、図９に示す動画視聴解析画面７０を表示するためのデータ（以下、動画視聴解析画面データ）を企業側端末４に送信する。動画視聴解析画面データは、動画視聴解析画面７０を企業側端末４のＷＥＢブラウザ上に表示するためのファイル（例えば、ＨＴＭＬファイル、ＣＳＳファイル、プログラムファイル等）であってもよい。ここで、プログラムファイルはＪａｖａＳｃｒｉｐｔ等のＷＥＢブラウザ上で実行可能なプログラムファイルであってもよい。

図９に示すように、動画視聴解析画面７０は、動画表示領域７１と、注目オブジェクト表示領域７６と、表情情報表示領域７２と、表情・興味度情報表示領域７３とを有する。さらに、動画視聴解析画面７０は、視聴者選択ボタン７４と、動画選択ボタン７５とを有する。動画表示領域７１には、後述する合成動画６３が表示される。注目オブジェクト表示領域７６には、動画内の注目オブジェクトに関する情報が表示される。表情情報表示領域７２には、レーダチャート形式の総合表情情報が表示される。表情・興味度情報表示領域７３には、時系列グラフの総合表情情報と時系列グラフの総合興味度情報が表示される。

ステップＳ１３において、企業側端末４は、動画視聴解析画面７０に対するユーザＵの入力操作に応じて、動画視聴解析画面７０に表示される選択動画と視聴者Ｖの抽出条件を選択する。具体的には、企業側端末４は、動画選択ボタン７５に対するユーザＵの入力操作に応じて、動画表示領域７１に表示される選択動画を選択する。動画選択ボタン７５を通じて選択可能となる選択動画は、ユーザＵに関連付けられた動画となる。視聴者選択ボタン７４に対するユーザの入力操作に応じて、視聴者Ｖの抽出条件を選択する。より具体的には、図１２に示すように、企業側端末４は、視聴者選択ボタン７４に対するユーザＵの入力操作に応じて、視聴者Ｖの抽出条件を指定するための抽出条件表示画面８０を動画視聴解析画面７０上に表示する。

図１２に示す抽出条件表示画面８０では、視聴者Ｖの抽出条件は、視聴者Ｖの性別情報と、視聴者Ｖの年代情報と、視聴者Ｖの世帯人数情報に関連付けられている。例えば、抽出条件として４０代の視聴者Ｖが選択される場合には、ステップＳ１５において、サーバ３は、４０代の視聴者Ｖの注視点データを取得する。また、ユーザＵは、抽出条件表示画面８０を通じて、性別情報と年代情報と世帯情報とのうちの少なくとも一つに関連付けられた抽出条件を指定することができる。例えば、図１２に示すように、ユーザＵは、一人世帯の２０代女性に関する抽出条件（項目名：ターゲット）を指定した場合、ステップＳ１５において、サーバ３は、一人世帯の２０代女性に合致した視聴者Ｖの注視点データを取得する。

尚、図１２では、視聴者Ｖの抽出条件として性別情報、年代情報、世帯人数情報の３つが例示されているが、本実施形態はこれらに限定されるべきではない。この点において、視聴者Ｖの住所情報、職業情報、婚姻情報、及び学歴情報が視聴者Ｖの抽出条件にさらに関連付けられてもよい。このように、視聴者Ｖの抽出条件は、視聴者Ｖの年代情報、性別情報、住所情報、職業情報、世帯人数情報、婚姻情報、及び学歴情報のうちの少なくとも一つに関連付けられてもよい。

また、視聴者Ｖの抽出条件は、視聴者Ｖのアンケート情報、調査情報、過去の行動履歴情報（例えば、映画館に行く頻度等）のうちの少なくとも一つに更に関連付けられてもよい。

次に、ステップＳ１４において、企業側端末４は、ユーザＵの入力操作に応じて合成動画の送信をサーバ３にリクエストする。この点において、動画視聴解析画面７０上に設けられた合成動画の再生ボタンに対するユーザＵの入力操作に応じて、企業側端末４は、動画選択ボタン７５を通じて選択された選択動画に関連付けられた合成動画の送信リクエストをサーバ３に送信する。さらに、企業側端末４は、合成動画の送信リクエストと共に、視聴者Ｖの抽出条件に関する情報をサーバ３に送信する。

ステップＳ１５において、サーバ３は、合成動画の送信リクエストと視聴者Ｖの抽出条件に関する情報を企業側端末４から受信した上で、当該抽出条件に合致する視聴者Ｖの注視点データを記憶装置３１から抽出する。この点において、サーバ３は、各視聴者Ｖの情報に関連する視聴者情報テーブルを参照することで、抽出条件に合致する視聴者Ｖの識別情報を抽出する。その後、サーバ３は、選択動画の識別情報及び当該抽出された視聴者Ｖの識別情報の両方に関連付けられた注視点データを抽出する。例えば、図１３に示すように、視聴者Ｖの抽出条件が年代：２０代、性別：女性、且つ世帯人数：一人世帯である場合には、サーバ３は、年代：２０代、性別：女性、且つ世帯人数：一人世帯の全ての条件を満たす視聴者Ｖの識別情報を特定した上で、当該特定された視聴者Ｖの識別情報と選択動画の識別情報の両方に関連付けられた視聴者Ｖの注視点データを抽出する。一方、図９に示すように、視聴者Ｖの抽出条件が全ての視聴者である場合には、選択動画の識別情報に関連付けられた視聴者Ｖの注視点データを抽出する。

ステップＳ１６において、サーバ３は、当該抽出された注視点データに基づいて、抽出条件に合致する複数の視聴者Ｖの注視点Ｐの位置の時間的変化を可視化した注視点ヒートマップ（注視点可視化マップの一例）を生成する。注視点ヒートマップでは、複数の視聴者Ｖの注視点Ｐの集合体の時間的変化が可視化されている。注視点ヒートマップのフレームレートは、注視点データの取得レートと同一であってもよい。例えば、動画の再生時刻ｔ１における視聴者Ｖ１～Ｖｎ（ｎは２以上の整数）の注視点がＰ１～Ｐｎである場合、再生時刻ｔ１における注視点ヒートマップでは注視点Ｐ１～Ｐｎが可視化されている。注視点ヒートマップでは、所定の領域に重なる注視点の数が多い場合（つまり、所定の領域が複数の視聴者Ｖによって注視されている領域である場合）、当該所定の領域は赤色等の暖色で着色されてもよい。その一方で、所定の領域に重なる注視点の数が少ない場合（つまり、所定の領域が複数の視聴者Ｖによってあまり注視されていない領域である場合）、当該所定の領域は青色等の寒色で着色されてもよい。このように、所定の領域に重なる注視点の数が増加する程、当該所定の領域の着色が寒色から暖色に徐々に変化してもよい。さらに、所定の領域に含まれる注視点が全く存在しない場合（つまり、所定の領域が複数の視聴者Ｖによって全く注視されていない領域である場合）当該所定の領域は着色されなくてもよい。この点において、ノイズ（外れ値）として扱われる注視点のみが含まれる領域は全く着色されなくてもよい。

本実施形態では、複数の視聴者Ｖの注視点の時間的変化を可視化した注視点可視化マップの一例として注視点ヒートマップが説明されているが、注視点可視化マップは注視点ヒートマップに限定されるものではない。

また、本実施形態において、視聴者Ｖの抽出条件が全ての視聴者である場合には、全ての視聴者Ｖの注視点Ｐの位置の時間的変化を可視化した注視点ヒートマップが生成される。このように、視聴者Ｖの抽出条件（換言すれば、視聴者Ｖの属性）に応じて生成される注視点ヒートマップが変化する。

ステップＳ１７において、サーバ３は、注視点ヒートマップ６２が動画６０に重畳された合成動画６３を生成する（図１０参照）。特に、サーバ３は、注視点ヒートマップ６２と動画６０が時間的に同期した状態で注視点ヒートマップ６２が動画６０に重畳された合成動画６３を生成する。この点において、動画６０のフレームレートと注視点ヒートマップ６２のフレームレートが同一である場合、図１１（ａ）に示すように、注視点ヒートマップ６２を構成する各フレームＦｂ１～Ｆｂ６が動画６０を構成する複数のフレームＦａ１～Ｆａ６のうちの対応する一つに重畳されている。例えば、動画６０の再生時刻ｔ３に対応する注視点ヒートマップ６２のフレームＦｂ３は、再生時刻ｔ３に対応する動画６０のフレームＦａ３に重畳されている。一方、注視点ヒートマップ６２のフレームレートが動画６０のフレームレートの半分である場合、図１１（ｂ）に示すように、注視点ヒートマップ６２を構成する複数のフレームＦｂ１～Ｆｂ３の各々が動画６０を構成する複数のフレームＦａ１～Ｆａ６のうちの対応する少なくとも一つ（本例では、２つのフレーム）に重畳されている。図１１（ｂ）に示す例では、注視点ヒートマップ６２のフレームＦｂ１は、動画６０のフレームＦａ１及びフレームＦａ２に重畳されている。このように、本実施形態では、「注視点ヒートマップ６２と動画６０が時間的に同期した状態」とは、図１１（ａ）に示す状態だけでなく図１１（ｂ）に示す状態も含むものとする。

ステップＳ１８において、サーバ３は、合成動画６３を企業側端末４に送信する。合成動画６３は、ストリーミング形式で送信されてもよいし、ダウンロード形式で送信されてもよい。企業側端末４は、合成動画６３をサーバ３から受信した上で、合成動画６３を動画視聴解析画面７０の動画表示領域７１内に表示する。このように、合成動画６３が企業側端末４において再生される（ステップＳ１９）。

ステップＳ２０において、サーバ３は、動画６０内の注目オブジェクト（注目領域）に関する情報を取得した上で、注目オブジェクトに関する情報を企業側端末４に送信する。この点において、サーバ３は、ステップＳ１５において抽出された視聴者Ｖの注視点データに基づいて、抽出条件に合致する複数の視聴者Ｖの注視点と多く重なる動画６０内の注目オブジェクト（注目領域）を特定した上で、当該注目オブジェクトに関する情報を取得する。当該情報の送信タイミングとしては、当該情報は合成動画６３の再生後に送信されてもよい。図９に示すように、動画６０内の注目オブジェクトに関する情報は、動画視聴解析画面７０の注目オブジェクト表示領域７６内に表示される（ステップＳ２１）。

注目オブジェクトに関する情報は、特定された注目オブジェクト（注目領域）を示す情報と、注目オブジェクトの注目度に関する注目度情報と、注目オブジェクトの登場時間に関する登場時間情報と、注目オブジェクトの平均注目度に関する平均注目度情報とを含んでもよい。特定された注目オブジェクトを示す情報は、図９に示すように、動画６０の一部領域を示すトリミング画像１７６として表示されてもよい。例えば、サーバ３は、複数の視聴者Ｖの注視点と多く重なる動画６０内の注目オブジェクトとして、注目度ランキング上位３つの注目オブジェクトを特定した上で、当該３つの注目オブジェクトのトリミング画像１７６を注目オブジェクト表示領域７６内に表示してもよい。この場合、視聴者Ｖの注視点と最も多く重なる注目オブジェクトが注目度ランキング第一位の注目オブジェクトとなる。

また、サーバ３は、動画６０の各フレームにおいて注目オブジェクト（本例では、注目度ランキング上位３つの注目オブジェクト）に重なる視聴者Ｖの注視点の数に基づいて、各注目オブジェクトの注目度を決定してもよい。注目オブジェクトの注目度は、百分率％として表示されてもよいし、グレード（Ａ，Ｂ，Ｃ等）として表示されてもよい。

サーバ３は、動画６０の各フレーム内に注目オブジェクト（本例では、注目度ランキング上位３つの注目オブジェクト）が存在するかどうかを判定した上で、注目オブジェクトの登場時間を決定してもよい。例えば、フレームレートが６０ｆｐｓで再生時間が３０秒の動画である場合、動画の合計フレーム数は１８００枚となる。ここで、注目度ランキング第一位の注目オブジェクトＯ１が６００フレーム内に存在している場合、注目オブジェクトＯ１の登場時間は３０秒×（６００フレーム／１８００フレーム）＝１０秒となる。

サーバ３は、動画６０の各フレームにおいて注目オブジェクト（本例では、注目度ランキング上位３つの注目オブジェクト）に重なる視聴者Ｖの注視点の数を特定した上で、注目オブジェクトに重なる視聴者Ｖの注視点の平均数を特定する。その後、サーバ３は、注目オブジェクトに重なる視聴者Ｖの注視点の平均数に基づいて注目オブジェクトの平均注目度を決定してもよい。注目オブジェクトの平均注目度は、百分率％として表示されてもよいし、グレード（Ａ，Ｂ，Ｃ等）として表示されてもよい。

次に、ステップＳ２２において、サーバ３は、当該抽出条件に合致する視聴者Ｖの表情データを記憶装置３１から抽出する。この点において、サーバ３は、各視聴者Ｖの情報に関連する視聴者情報テーブルを参照することで、抽出条件に合致する視聴者Ｖの識別情報を抽出する。その後、サーバ３は、選択動画の識別情報及び当該抽出された視聴者Ｖの識別情報の両方に関連付けられた表情データを抽出する。例えば、図１３に示すように、視聴者Ｖの抽出条件が年代：２０代、性別：女性、且つ世帯人数：一人世帯である場合には、サーバ３は、年代：２０代、性別：女性、且つ世帯人数：一人世帯の全ての条件を満たす視聴者Ｖの識別情報を特定した上で、当該特定された視聴者Ｖの識別情報と選択動画の識別情報の両方に関連付けられた視聴者Ｖの表情データを抽出する。一方、図９に示すように、視聴者Ｖの抽出条件が全ての視聴者である場合には、選択動画の識別情報に関連付けられた視聴者Ｖの表情データを抽出する。

ステップＳ２３において、サーバ３は、ステップＳ２２で抽出された視聴者Ｖの表情データに基づいて、総合表情情報と総合興味度情報を生成する。その後、サーバ３は、生成された総合表情情報と総合興味度情報を企業側端末４に送信する。これらの情報の送信タイミングとしては、これら情報は合成動画６３の再生後に送信されてもよい。図９に示すように、企業側端末４は、レーダチャート形式で表示される総合表情情報を動画視聴解析画面７０の表情情報表示領域７２内に表示すると共に、時系列グラフ形式で表示される総合表情情報を動画視聴解析画面７０の表情・興味度情報表示領域７３内に表示する（ステップＳ２４）。さらに、企業側端末４は、時系列グラフで表示される総合興味度情報を表情・興味度情報表示領域７３内に表示する。

総合表情情報は、抽出条件に合致する視聴者Ｖの総合的な表情情報を示し、レーダチャート形式の総合表情情報と、時系列グラフ形式の総合表情情報とを含む。レーダチャート形式の総合表情情報は、抽出条件に合致する視聴者Ｖの総合的な各表情要素（嬉しい、悲しい、中立、怒り、驚き）の平均確率情報（百分率％）を示すものである。例えば、レーダチャート形式の総合表情情報は、抽出条件に合致する複数の視聴者Ｖの表情要素「嬉しい」の平均確率と、当該複数の視聴者Ｖの表情要素「悲しい」の平均確率と、当該複数の視聴者Ｖの表情要素「中立」の平均確率と、当該複数の視聴者Ｖの表情要素「怒り」の平均確率と、当該複数の視聴者Ｖの表情要素「驚き」の平均確率と、を含んでもよい。

例えば、抽出された視聴者Ｖが視聴者Ｖａ，Ｖｂ，Ｖｃを含む場合、サーバ３は、視聴者Ｖａの各表情要素の時間的変化を示す表情データに基づいて、視聴者Ｖａの各表情要素の平均確率を決定する。同様に、サーバ３は、視聴者Ｖｂの各表情要素の時間的変化を示す表情データに基づいて、視聴者Ｖｂの各表情要素の平均確率を決定すると共に、視聴者Ｖｃの各表情要素の時間的変化を示す表情データに基づいて、視聴者Ｖｃの各表情要素の平均確率を決定する。その後、サーバ３は、視聴者Ｖａ～Ｖｃの各表情要素の平均確率に基づいて、視聴者Ｖａ～Ｖｃの総合的な各表情要素の平均確率を決定する。この点において、視聴者Ｖａ，Ｖｂ，Ｖｃの表情要素「嬉しい」の平均確率がＲａ１，Ｒｂ１，Ｒｃ１である場合には、視聴者Ｖａ～Ｖｃの総合的な表情要素「嬉しい」の平均確率Ｒａｖｅ１は、Ｒａｖｅ１＝（Ｒａ１＋Ｒｂ１＋Ｒｃ１）／３となる。同様に、視聴者Ｖａ，Ｖｂ，Ｖｃの表情要素「悲しい」の平均確率がＲａ２，Ｒｂ２，Ｒｃ２である場合には、視聴者Ｖａ～Ｖｃの総合的な表情要素「悲しい」の平均確率Ｒａｖｅ２は、Ｒａｖｅ２＝（Ｒａ２＋Ｒｂ２＋Ｒｃ２）／３となる。

また、サーバ３は、抽出された視聴者Ｖの総合的な各表情要素の平均確率に基づいて、抽出された視聴者Ｖの動画６０に対するポジティブ度及びネガティブ度を百分率％として算出してもよい。さらに、サーバ３は、ポジティブ度及びネガティブ度を示す情報を企業側端末４に送信してもよい。図９に示すように、ポジティブ度及びネガティブ度を示す情報は表情情報表示領域７２内に表示されてもよい。例えば、表情要素「嬉しい」の平均確率が高い場合に、当該ポジティブ度の値が大きくなってもよい。その一方、表情要素「怒り」の平均確率が高い場合に、当該ネガティブ度の値が大きくなってもよい。サーバ３は、総合的な各表情要素の平均確率が入力値として設定されると共に、ポジティブ度及びネガティブ度の値が出力値として設定された関係式若しくは学習モデルを用いることで、総合的な各表情要素の平均確率からポジティブ度及びネガティブ度を算出してもよい。

時系列グラフ形式の総合表情情報は、抽出条件に合致する視聴者Ｖの総合的な各表情要素（嬉しい、悲しい、中立、怒り、驚き）の時間的変化を示すものである。例えば、時系列グラフ形式の総合表情情報は、抽出条件に合致する複数の視聴者Ｖの表情要素「嬉しい」の平均確率の時間的変化を示す情報と、当該複数の視聴者Ｖの表情要素「悲しい」の平均確率の時間的変化を示す情報と、当該複数の視聴者Ｖの表情要素「中立」の平均確率の時間的変化を示す情報と、当該複数の視聴者Ｖの表情要素「怒り」の平均確率の時間的変化を示す情報と、当該複数の視聴者Ｖの表情要素「驚き」の平均確率の時間的変化を示す情報と、を含んでもよい。

例えば、抽出された視聴者Ｖが視聴者Ｖａ，Ｖｂ，Ｖｃを含む場合、サーバ３は、視聴者Ｖａ～Ｖｃの表情要素「嬉しい」の平均確率の時間的変化を示す情報と、視聴者Ｖａ～Ｖｃの表情要素「悲しい」の平均確率の時間的変化を示す情報と、視聴者Ｖａ～Ｖｃの表情要素「中立」の平均確率の時間的変化を示す情報と、視聴者Ｖａ～Ｖｃの表情要素「怒り」の平均確率の時間的変化を示す情報と、視聴者Ｖａ～Ｖｃの表情要素「驚き」の平均確率の時間的変化を示す情報とを算出した上で、これらの情報を時系列グラフ形式の総合表情情報として企業側端末４に送信する。

また、サーバ３は、時系列グラフ形式の総合表情情報に基づいて、時系列グラフ形式の総合興味度情報を算出してもよい。総合興味度情報は、抽出条件に合致する視聴者Ｖの動画６０に対する総合的な興味度（百分率％）の時間的変化を示すものである。例えば、再生時刻ｔ１における総合的な各表情要素の平均確率がＲ１～Ｒ５である場合、再生時刻ｔ１における総合的な興味度Ｉは、平均確率Ｒ１～Ｒ５に基づいて算出されてもよい。この点において、サーバ３は、総合的な各表情要素の平均確率Ｒ１～Ｒ５が入力値として設定されると共に、総合的な興味度Ｉが出力値として設定された関係式若しくは学習モデルを用いることで、総合的な各表情要素の平均確率Ｒ１～Ｒ５から総合的な興味度Ｉを算出してもよい。

また、本実施形態において、視聴者Ｖの抽出条件が全ての視聴者Ｖである場合には、総合表情情報は全ての視聴者Ｖの総合的な表情情報を示すと共に、総合興味度情報は全ての視聴者Ｖの動画６０に対する総合的な興味度の時間的変化を示す。このように、視聴者Ｖの抽出条件（換言すれば、抽出される視聴者Ｖの属性）に応じて総合表情情報と総合興味度情報は変化する。

また、本実施形態では、総合表情情報（特に、視聴者Ｖの各表情要素の平均確率の時間的変化）に基づいて複数の視聴者Ｖの総合興味度情報が算出されているが、総合興味度情報は、各視聴者Ｖの注視点データに基づいて算出されてもよい。具体的には、総合興味度情報は、各視聴者Ｖの興味度データに基づいて算出されると共に、視聴者Ｖの興味度データは、視聴者Ｖの注視点データと、視聴者Ｖの瞬きに関する情報と、視聴者Ｖの眠気情報とに基づいて算出されてもよい。視聴者Ｖの瞬きに関する情報は、視聴者Ｖの瞬きの回数を示す情報や瞬きの有無を示す情報であってもよい。視聴者Ｖの瞬きに関する情報は、視聴者Ｖの映像データの各フレームに基づいて特定されてもよい。視聴者Ｖの眠気情報は、視聴者Ｖの眠気の有無を示す情報であってもよい。視聴者Ｖの眠気情報は、視聴者Ｖの映像データの各フレームに基づいて特定されてもよい。例えば、視聴者Ｖの興味度データは、視聴者Ｖの注視点Ｐの位置が動画の表示領域Ｓ内に存在するかどうかに関する情報と、視聴者Ｖの眠気の有無に関する情報と、視聴者Ｖの瞬きの有無に関する情報に基づいて算出されてもよい。各視聴者Ｖの興味度データに基づいて、複数の視聴者Ｖの総合興味度情報を算出することが可能となる。

また、本実施形態では、複数の視聴者Ｖのポジティブ度及びネガティブ度を示す情報は、各視聴者Ｖの表情データに基づいて算出されているが、これらの情報は各視聴者Ｖの注視点データに基づいて算出されてもよい。

尚、本実施形態では、図８に示す各処理の順番は特に限定されるものではない。また、図９及び図１３に示す例では、注視点ヒートマップ６２が動画６０に重畳された合成動画６３が動画表示領域７１に表示されているが、動画表示領域７１には、合成動画６３に代わり動画６０が表示されてもよい。この場合であっても、動画６０内の注目オブジェクトに関する情報が注目オブジェクト表示領域７６内に表示されてもよい。さらに、レーダチャート形式の総合表情情報が表情情報表示領域７２内に表示されると共に、時系列グラフ形式の総合表情情報及び総合興味度情報が表情・興味度情報表示領域７３内に表示されてもよい。

また、本例では、総合表情情報と総合興味度情報の２つの情報が動画視聴解析画面７０に表示されているが、総合表情情報と総合興味度情報の２つの情報のうちのいずれか一方の情報のみが動画視聴解析画面７０上に表示されてもよい。また、表情情報として本例では、嬉しい、悲しい、中立、怒り、驚きの５種類の表情要素が採用されているが、表情要素の種類はこれらに限定されるものではない。例えば、これら以外の表情要素として、恐怖、幸福、楽しみ、嫌悪等が更に追加で採用されてもよい。

本実施形態によれば、注視点ヒートマップ６２と動画６０が時間的に同期した状態で注視点ヒートマップ６２が動画６０に重畳された合成動画６３が企業側端末４に提示されるため、ユーザＵは、動画視聴解析画面７０上に表示された合成動画６３を確認することで、動画６０に対する複数の視聴者Ｖの視聴行動を詳細に把握することが可能となる。特に、ユーザＵは、動画６０の再生時間毎の複数の視聴者Ｖによる動画６０内の注目オブジェクト（注目領域）を詳細に把握することが可能となる。このように、動画解析を所望する企業側に動画６０に関する詳細なインサイト（より詳細には、動画広告のデジタルマーケティングに関する詳細なインサイト）を提供することが可能となる。

また、動画６０内の注目オブジェクトに関する情報が動画視聴解析画面７０上に表示されるため、ユーザＵは、当該注目オブジェクトに関する情報（特に、注目オブジェクトのトリミング画像、注目オブジェクトの注目度情報若しくは平均注目度情報、注目オブジェクトの登場時間等）を確認することで、動画６０内に存在する注目オブジェクトに関するインサイトをより詳細に把握することが可能となる。

特に、本実施形態では、複数の視聴者Ｖの年代情報、性別情報、世帯人数情報等に関連付けられた抽出条件に合致した視聴者Ｖの注視点データに基づいて、これらの属性条件を満たす視聴者Ｖの注視点の位置の時間的変化を可視化した注視点ヒートマップが生成される。このように、視聴者の属性に応じた動画６０に関するより詳細なインサイトを企業側に提供することが可能となる。

また、本実施形態によれば、レーダチャート形式及び時系列グラフ形式の総合表情情報及び総合興味度情報が企業側端末４に提示されるため、ユーザＵは、動画視聴解析画面７０上に表示されたこれらの情報を確認することで、動画６０に対する複数の視聴者Ｖの視聴行動を詳細に把握することができる。特に、ユーザＵは、再生時間毎の視聴者Ｖによる動画６０に対する表情（嬉しい、悲しい、中立、怒り、驚き等）や興味度を詳細に把握することが可能となる。このように、動画解析を所望する企業側に動画に関する詳細なインサイト（より詳細には、動画広告のデジタルマーケティングに関する詳細なインサイト）を提供することが可能となる。

特に、本実施形態では、複数の視聴者Ｖの年代情報、性別情報、世帯人数情報等に関連付けられた抽出条件に合致した視聴者Ｖの表情データに基づいて、これらの属性条件を満たす視聴者Ｖの総合的な各表情要素の確率情報を示す総合表情情報が生成されると共に、抽出条件に合致した視聴者Ｖの総合的な動画６０に対する興味度を示す総合興味度情報が生成される。このように、これらの情報を通じて、抽出条件に合致した視聴者Ｖの視聴行動を詳細に把握することができるため、動画６０に関するより詳細なインサイトを企業側に提供することが可能となる。

以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

１：動画視聴解析システム、２，２ａ，２ｂ：視聴者端末、３：サーバ、４：企業側端末、８：通信ネットワーク、２０：制御部、２１：記憶装置、２２：撮像部、２３：通信部、２４：入力操作部、２５：表示部、２６：スピーカ、ＲＴＣ：２８、３０：制御部、３１：記憶装置、３２：入出力インターフェース、３３：通信部、３４：入力操作部、３５：表示部、４０：制御部、４１：記憶装置、４２：入出力インターフェース、４３：通信部、４４：入力操作部、４５：表示部、６０：動画、６２：注視点ヒートマップ、６３：合成動画、７０：動画視聴解析画面、７１：動画表示領域、７２：表情情報表示領域、７３：興味度情報表示領域、７４：視聴者選択ボタン、７５：動画選択ボタン、７６：注目オブジェクト表示領域、８０：抽出条件表示画面、１２５：表示画面、１７６：トリミング画像、Ｋ：顔特徴点、Ｌ：視線、Ｍ：映像データ、Ｐ：注視点、Ｓ：表示領域、Ｕ：ユーザ、Ｖ，Ｖａ，Ｖｂ：視聴者

Claims (11)

1. 動画に対する複数の視聴者のインサイトを解析する動画視聴解析システムであって、
   各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
   ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
   前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
   前記動画視聴解析システムは、
   前記動画を前記複数の視聴者端末の各々に提供し、
   前記動画を前記複数の視聴者端末の各々の表示部に表示させ、
   各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得し、
   前記複数の視聴者の抽出条件を前記企業側端末から受信し、
   前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出し、
   前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な表情を示す総合表情情報を生成し、
   前記総合表情情報を前記企業側端末の表示部に表示させる、
   動画視聴解析システム。
2. 動画に対する複数の視聴者のインサイトを解析する動画視聴解析システムであって、
   各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
   ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
   前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
   前記動画視聴解析システムは、
   前記動画を前記複数の視聴者端末の各々に提供し、
   前記動画を前記複数の視聴者端末の各々の表示部に表示させ、
   各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得し、
   前記複数の視聴者の抽出条件を前記企業側端末から受信し、
   前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出し、
   前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な興味度を示す総合興味度情報を生成し、
   前記総合興味度情報を前記企業側端末の表示部に表示させる、
   動画視聴解析システム。
3. 前記抽出条件は、
   前記複数の視聴者の年代情報と、
   前記複数の視聴者の性別情報と、
   前記複数の視聴者の住所情報と、
   前記複数の視聴者の職業情報と、
   前記複数の視聴者の世帯人数情報と、
   前記複数の視聴者の婚姻情報と、
   前記複数の視聴者の学歴情報と、
   のうち少なくとも一つに関連付けられている、
   請求項１又は２に記載の動画視聴解析システム。
4. 前記動画は、広告コンテンツを含む、
   請求項１又は２に記載の動画視聴解析システム。
5. 前記総合表情情報は、前記動画の全体を通した前記複数の視聴者の各表情要素の平均確率を示す、請求項１に記載の動画視聴解析システム。
6. 前記総合表情情報は、前記動画の時系列に沿った前記複数の視聴者の各表情要素の平均確率の時間的推移を示す、請求項１に記載の動画視聴解析システム。
7. 前記総合興味度情報は、前記動画の時系列に沿った前記複数の視聴者の総合的な興味度の時間的推移を示す、請求項２に記載の動画視聴解析システム。
8. 前記複数の視聴者の各表情要素の確率に基づいて、前記動画に対する前記複数の視聴者のポジティブ度又はネガティブ度を算出し、
   前記ポジティブ度又は前記ネガティブ度を表示する、
   請求項１に記載の動画視聴解析システム。
9. 動画に対する複数の視聴者のインサイトを解析し、動画視聴解析システムによって実行される動画視聴解析方法であって、
   前記動画視聴解析システムは、
   各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
   ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
   前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
   前記動画視聴解析方法は、
   前記動画を前記複数の視聴者端末の各々に提供するステップと、
   前記動画を前記複数の視聴者端末の各々の表示部に表示させるステップと、
   各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得するステップと、
   前記複数の視聴者の抽出条件を前記企業側端末から受信するステップと、
   前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出するステップと、
   前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な表情を示す総合表情情報を生成するステップと、
   前記総合表情情報を前記企業側端末の表示部に表示させるステップと、
   を含む、動画視聴解析方法。
10. 動画に対する複数の視聴者のインサイトを解析し、動画視聴解析システムによって実行される動画視聴解析方法であって、
    前記動画視聴解析システムは、
    各々が前記複数の視聴者のうちの対応する一人に関連付けられ、表示部を備えた複数の視聴者端末と、
    ネットワークを介して前記複数の視聴者端末に通信可能に接続されたサーバと、
    前記ネットワークを介して前記サーバに通信可能に接続され、表示部を備えた企業側端末と、を備え、
    前記動画視聴解析方法は、
    前記動画を前記複数の視聴者端末の各々に提供するステップと、
    前記動画を前記複数の視聴者端末の各々の表示部に表示させるステップと、
    各々が前記動画に対する前記複数の視聴者のうちの対応する一人の複数の表情要素の確率の時間的変化を示す複数の表情データを取得するステップと、
    前記複数の視聴者の抽出条件を前記企業側端末から受信するステップと、
    前記抽出条件に基づいて、前記複数の表情データのうち幾つかを抽出するステップと、
    前記抽出された幾つかの表情データを統合した後に、前記統合された幾つかの表情データに基づいて前記複数の視聴者が前記動画を見たときの時間軸における総合的な興味度を示す総合興味度情報を生成するステップと、
    前記総合興味度情報を前記企業側端末の表示部に表示させるステップと、
    を含む、動画視聴解析方法。
11. 請求項９又は１０に記載の動画視聴解析方法をコンピュータに実行させる動画視聴解析プログラム。

Images