JP6905775B1 - プログラム、情報処理装置及び方法 - Google Patents

Abstract

【課題】映画館等の施設で映像コンテンツを視聴した視聴者同士をつなげることが可能な技術を提供する。【解決手段】映像提供システム１のサーバ２０は、その機能として、カメラ４０により視聴者を撮影し、撮影した画像データを取得するカメラ撮影制御モジュール２０３４と、視聴者を個別に識別し、視聴者データベース２０２１に格納されている視聴者情報と紐付けを行う視聴者識別モジュール２０３５と、画像データを解析して視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報との紐付けを行う視聴状態取得モジュール２０３６と、視聴状態情報に基づき、施設において同時に映像コンテンツを視聴している視聴者間のマッチングを行う視聴者マッチングモジュール２０３７と、を備える。【選択図】図４

Description

本開示は、プログラム、情報処理装置及び方法に関する。

近年、映画等の映像コンテンツを上映する映画館等の施設では、観客（視聴者）動員数をどのように拡大させていくかが課題となっている。この背景として、映像コンテンツの配信サービスの普及、低額化、家庭におけるテレビの大型化により、家庭で良質な映像コンテンツの視聴が可能になり、映画館に足を運ぶ必要がなくなっていることが挙げられる。また、昨今のコロナウイルスの影響により、この傾向はさらに進んでいるといえる。

そのため、例えば、映像コンテンツをカフェ等の飲食店で上映することで、新たな観客の拡大を図るように、従来とは異なる新たな取り組みが見られている。

また、特許文献１には、映像の再生中における、視聴者の心理的な状態に応じて、映像の内容を変える再生システムの技術が開示されている。特許文献１に記載の再生システムでは、視聴者の生体情報を検知し、視聴者の生体情報に応じて、異なる複数のストーリーの映像から選択して再生するように構成されている。

特開２０１４−０５３６７２号公報

ところで、良質な映像コンテンツを視聴した視聴者には、映像コンテンツの感想を他人と共感したいという欲求がある。例えば、ＳＮＳ等の普及により、視聴者が映像コンテンツの感想を投稿することで他人と共感することも考えられるが、映像コンテンツを視聴していない者が参照する可能性のある場所で、映像コンテンツの内容が分かってしまうようなこと（いわゆるネタバレ）を書き込むのは、一般的にはマナー違反とされている。そのため、映画館等の施設において、映像コンテンツを同時に視聴した者同士でつながり、感想を話し合うことが可能であれば、共感したいという欲求を満たすことが可能になる。

そこで、本開示では、映画館等の施設で映像コンテンツを視聴した視聴者同士をつなげることが可能な技術について説明する。

本開示の一実施形態によると、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムが提供される。プログラムは、メモリに、映像を上映する施設において、映像を視聴する視聴者として登録されている視聴者情報を記憶させ、プログラムは、プロセッサに、映像を視聴する複数の視聴者を撮影した画像データから、視聴者を個別に識別し、視聴者情報とそれぞれ紐付けを行うステップと、画像データを視聴者ごとに解析し、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報とそれぞれ紐付けを行うステップと、視聴者ごとの視聴状態情報に基づき、施設における視聴者間のマッチングを行うステップと、を実行させる。

本開示の一実施形態によると、制御部と、記憶部とを備える情報処理装置が提供される。記憶部は、映像を上映する施設において、映像を視聴する視聴者として登録されている視聴者情報を記憶し、制御部は、映像を視聴する複数の視聴者を撮影した画像データから、視聴者を個別に識別し、視聴者情報とそれぞれ紐付けを行うステップと、画像データを視聴者ごとに解析し、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報とそれぞれ紐付けを行うステップと、視聴者ごとの視聴状態情報に基づき、当該施設における視聴者間のマッチングを行うステップと、を実行する。

また、一実施形態によると、プロセッサと、メモリとを備えるコンピュータにより実行されるための方法が提供される。方法は、メモリに、映像を上映する施設において、映像を視聴する視聴者として登録されている視聴者情報を記憶し、方法は、プロセッサが、映像を視聴する複数の視聴者を撮影した画像データから、視聴者を個別に識別し、視聴者情報とそれぞれ紐付けを行うステップと、画像データを視聴者ごとに解析し、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報とそれぞれ紐付けを行うステップと、視聴者ごとの視聴状態情報に基づき、当該施設における視聴者間のマッチングを行うステップと、を実行する。

本開示によれば、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴状態情報に基づき、当該施設における視聴者間のマッチングを行う。そのため、当該施設で映像を視聴した視聴者同士をつなげることが可能である。

映像提供システム１の全体の構成を示す図である。 映像提供システム１が設置された施設の外観の例を示す鳥瞰図である。 実施の形態１の映像提供システム１を構成する端末装置１０の機能的な構成を示すブロック図である。 実施の形態１の映像提供システム１を構成するサーバ２０の機能的な構成を示すブロック図である。 図４の視聴者識別モジュール２０３５における視聴者を識別する具体的手法を示す模式図である。 図４の視聴状態取得モジュール２０３６における視聴状態を示す涙腺の状態を取得する具体的手法を示す模式図である。 サーバ２０が記憶する視聴者データベース２０２１、映像コンテンツデータベース２０２２のデータ構造を示す図である。 実施の形態１の映像提供システム１による視聴者識別処理を行う流れの一例を示すフローチャートである。 実施の形態１の映像提供システム１による視聴状態取得処理を行う流れの一例を示すフローチャートである。 実施の形態１の映像提供システム１による視聴者マッチング処理を行う流れの一例を示すフローチャートである。 視聴者マッチング処理におけるマッチング相手を通知する端末装置１０の画面例を示す図である。 視聴者マッチング処理におけるマッチング相手を通知する端末装置１０の他の画面例を示す図である。 視聴者マッチング処理における集合場所を通知する端末装置１０の画面例を示す図である。 実施の形態２の映像提供システム１を構成するサーバ２０の機能的な構成を示すブロック図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。

＜概要＞
以下、映像提供システムにおける、映像コンテンツを視聴した視聴者の視聴状態情報を取得し、視聴者同士をマッチングする処理について説明する。映像提供システムは、映画館のような施設において、映画のような映像コンテンツを表示（上映）して視聴者に視聴する機会を提供し、視聴者が当該映像コンテンツを視聴している状態を撮影し、撮影した画像データから視聴者の視聴状態の解析を行い、視聴者同士をマッチングするシステムである。

映像コンテンツを視聴している視聴者は、その映像コンテンツを面白い、楽しいと感じている場合、集中度合いが上昇すると考えられ、その映像コンテンツをつまらない、退屈なものだと感じている場合、集中度合いが散漫になって低下すると考えられる。一般に、（映像コンテンツに限らず）何かを視聴している者がその対象について集中して視聴している場合、目（瞼）の開きが大きくなり、まばたきの回数が減少することが経験的に知られているため、映像コンテンツを視聴している視聴者が、上記のような反応を示している場合、当該視聴者はその映像コンテンツの視聴に集中していると考えられる。また、映像コンテンツの視聴に集中した場合、その映像コンテンツへの満足度も高いと考えられる。そのため、視聴者の視聴状態を撮影して解析することにより、視聴者の映像コンテンツへの集中度合い、及び満足度が推定できると考えられる。

また、映像コンテンツを視聴している視聴者は、その映像コンテンツのストーリーが悲しいとき、悲しいと感じると涙が出そうになり、目の状態が充血し、涙腺に涙がたまるように目の状態が変化することが経験的に知られている。そのため、視聴者の顔の状態を解析することにより、視聴者のそのときの感情、覚醒／睡眠の状態が推定できると考えられる。

そこで、本開示の映像提供システムでは、視聴者が映像コンテンツを視聴している状態をカメラで撮影し、撮影した画像データから、視聴者の顔を識別してそれぞれの視聴者の顔を検知する。画像データにおける視聴者の顔の状態から、顔の表情や目の状態、涙腺の状態を解析し、視聴者の覚醒／睡眠の状態、視聴者の映像コンテンツに対する集中度、満足度、感情を示す情報を取得し、視聴者情報と紐付けを行う。このように構成することで、視聴者の顔の反応に基づく、視聴者の映像コンテンツに対する集中度、満足度、感情等のような視聴状態情報を視聴者情報に紐づけて把握することを可能にしている。

また、本開示の映像提供システムでは、視聴者の映像コンテンツに対する視聴状態情報に基づき、視聴者同士をマッチングするように構成されている。映画館等の施設において、映像コンテンツを同じタイミングで視聴した視聴者の視聴状態情報を解析することで、同じ映像コンテンツを視聴した者がどのシーンで感情を変化させたか、集中していたか等が把握できるので、同じような反応をした者同士は、感想を共感しやすいと考えられる。そのため、視聴状態情報が類似する視聴者同士をマッチングすることで、感想を話し合うことや、お互いに共感することができるようになっている。なお、このような構成にするため、視聴者は会員登録され、視聴者情報が登録されていることが前提である。このように構成することで、同じ映画を視聴する、という共通の体験について、同じような感想を有する者同士をつなげて共感させることを可能にし、映画館の新たな価値を提供することを可能にしている。

さらに、本開示の映像提供システムでは、映像コンテンツを視聴している視聴者をそれぞれ識別し、視聴者情報と紐付けを行っている。これにより、視聴者の属性ごとに視聴状態情報を取得し、映像コンテンツに対する評価を分析することを可能にしている。

＜第１の実施の形態＞
以下、映像提供システム１について説明する。

＜１ 映像提供システム１の全体構成＞
図１は、映像提供システム１の全体の構成を示す図である。映像提供システムは、映画のような映像コンテンツ（映像）を表示（上映）して視聴者に視聴する機会を提供し、視聴者が当該映像コンテンツを視聴している状態を撮影し、撮影した画像データから視聴者の視聴状態の解析を行い、視聴者同士をマッチングするシステムである。図１に示すように、映像提供システム１は、複数の端末装置（図１では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０と、映像出力装置３０と、カメラ４０とを含む。端末装置１０とサーバ２０と映像出力装置３０とカメラ４０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。

端末装置１０は、各ユーザ（視聴者）が操作する装置である。端末装置１０は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末等により実現される。この他、端末装置１０は、例えば持ち運び可能なノートＰＣ（Personal Computer）、ラップトップＰＣであるとしてもよい。図１に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。

端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。

通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネルや、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

サーバ２０は、視聴者の情報、視聴者に視聴させる映像コンテンツ、視聴者を撮影した画像データ、及び、視聴者ごとの映像コンテンツを視聴した際の視聴状態情報を管理する装置である。サーバ２０は、映像コンテンツの映像データを映像出力装置３０へ送信する。また、サーバ２０は、視聴者同士をマッチングした結果を、視聴者の端末装置１０へ送信する。

サーバ２０は、ネットワーク８０に接続されたコンピュータである。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。サーバ２０は、ネットワーク８０を介して端末装置１０、映像出力装置３０、及びカメラ４０と通信可能に接続される。

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置（例えば、マウス等のポインティングデバイス、キーボード）、及び、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

映像出力装置３０は、サーバ２０からの指示により、映像コンテンツの映像データを受信して映像として表示（上映）を行う装置であり、例えば、フレームの縁にＬＥＤ素子を配列したＬＥＤパネルや、有機ＥＬディスプレイ、または液晶ディスプレイにより構成されている。この映像出力装置３０は、映画館のような上映施設等に設けられている。なお、映像出力装置３０は、例えば複数のＬＥＤパネルを並列に配置して数１００インチ程度の大型ビジョンとして構成し、一度に大人数の視聴者により視聴が可能に構成してもよい。さらに、映像出力装置３０は１つに限られず、複数の映像出力装置３０により構成してもよく、複数の映像出力装置３０を備えた施設を１のサーバ２０で、例えば遠隔により制御するように構成してもよい。

カメラ４０は、サーバ２０からの指示により、映像コンテンツを視聴している視聴者を撮影する装置であり、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像装置と、撮影した画像をデジタル信号からなる画像データに変換するＡ／Ｄ変換装置とを備えるデジタルカメラ等により構成されている。カメラ４０は、サーバ２０の制御により撮影する方向を変更するように構成してもよく、広範囲を撮影可能にするために撮影方向を適宜動かせるように構成してもよい。

カメラ４０は、映像コンテンツを視聴している視聴者を動画として撮影し、または所定の時間間隔で静止画として撮影し、動画または静止画の画像データへの変換を行う。また、カメラ４０は、撮影した画像データをサーバ２０へ送信する。なお、カメラ４０は１つに限られず、１つの施設に複数のカメラ４０が設けられてもよい。また、カメラ４０は単体の装置とは限られず、例えば、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末に設けられたカメラ機能により構成してもよい。

＜１．１ 映像出力装置３０及びカメラ４０の構成＞
図２は、映像提供システム１が設置された施設の外観の例を示す鳥瞰図である。映像提供システム１は、例えば映画館のように映像コンテンツの上映を行うスペースに設置される。図２に示す映像提供システム１は、視聴者がヘッドホン等の音声出力装置を装着して音声を取得するように構成された例を示しており、この場合、この施設は映像コンテンツを視聴する以外の、飲食やその他の作業も可能となっており、いわゆるカフェスペースも併設され、多目的スペースを構成している施設である。

図２に示す映像提供システム１は、映像コンテンツの上映を行う上映スペースと、カフェスペースとが併設されたフロアＦに設けられ、フロアＦの所定の箇所（図２に示す右上方向）に映像出力装置３０とカメラ４０とが設置されている。映像出力装置３０が映像コンテンツの映像情報を上映する正面側には、映像コンテンツを視聴者Ｗが視聴するために着座する席が設けられている。視聴者Ｗは、前述のように映像コンテンツを視聴する際に音声出力装置を装着する。

この施設では、視聴者Ｗが入室するためには会員登録が必要であり、視聴者Ｗの氏名、性別、年齢等の属性情報を管理し、それぞれの視聴者の動きがカメラ４０による撮影により把握されるようになっている。なお、音声出力装置は、当該施設の管理者により貸与されたものであってもよい。これにより、会員登録されている視聴者Ｗの属性情報と、カメラ４０が撮影した視聴者Ｗの画像データとが対応付けられるようになっており、視聴者Ｗの属性ごとの視聴状態情報を把握することが可能になっている。

さらに、このような構成により、視聴者Ｗは周囲の状況を気にすることなく、映像コンテンツの視聴に集中することが可能となっており、また、カフェスペースの利用者のように映像コンテンツを視聴していない者は、映像コンテンツの音声を気にすることなく飲食やその他の行為が可能となっている。

また、映像出力装置３０はＬＥＤパネル等により構成されているため、一定の明るさの光を視聴者Ｗ側に照射する。そのため、カメラ４０は、その光により視聴者Ｗを一定の解像度で撮影することが可能になっている。

映像提供システム１が設置された施設は、図２に示すように、映画館のような閉鎖空間とは限られず、例えばコンビニエンスストアのイートインコーナーや、イベントスペースのような商業施設の空間であってもよい。また、飲食店内や、ホテルのラウンジ、マンションのような集合住宅の共有スペースのように、一定の静音性が確保されているスペースに映像提供システム１を設置してもよい。さらに、パチンコやパチスロ店のような遊技施設や、ゲームセンター、アミューズメント施設のように、一定の雑音がある施設に映像提供システム１を設置してもよい。

＜１．２ 端末装置１０の構成＞
図３は、実施の形態１の映像提供システム１を構成する端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３１及びディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、記憶部１７０と、制御部１８０とを含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図３に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。

アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。

アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。

第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１８０へ与える。

操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス１３１と、ディスプレイ１３２とを含む。なお、操作受付部１３０は、例えばキーボードやマウス等により構成してもよい。

タッチ・センシティブ・デバイス１３１は、端末装置１０のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス１３１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス１３１は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部１８０へ出力する。

ディスプレイ１３２は、制御部１８０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。

音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１８０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。

カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できる深度カメラである。

記憶部１７０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１７０は、視聴者情報１７１を記憶する。

視聴者情報１７１は、映像提供システム１に会員登録されている視聴者の視聴者情報である。視聴者情報としては、サーバ２０に登録されている視聴者を識別する情報（視聴者ＩＤ）、氏名、年齢、性別等が含まれる。

制御部１８０は、記憶部１７０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１８０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１８０は、プログラムにしたがって動作することにより、入力操作受付部１８１と、送受信部１８２と、データ処理部１８３と、通知制御部１８４としての機能を発揮する。

入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１に対してユーザが自己の指等を接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ（スワイプ）操作であるか等の操作の種別を判定する。

送受信部１８２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルにしたがってデータを送受信するための処理を行う。

データ処理部１８３は、端末装置１０が入力を受け付けたデータに対し、プログラムにしたがって演算を行い、演算結果をメモリ等に出力する処理を行う。

通知制御部１８４は、ユーザに対し情報を提示する処理を行う。通知制御部１８４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１６０に発生させる処理等を行う。

＜１．３ サーバ２０の機能的な構成＞
図４は、実施の形態１の映像提供システム１を構成するサーバ２０の機能的な構成を示す図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、視聴者データベース２０２１と、映像コンテンツデータベース２０２２と、カメラ撮影画像データベース２０２３等を記憶する。

視聴者データベース２０２１は、映像提供システム１を利用する視聴者の情報と、視聴者ごとの映像コンテンツを視聴した際の視聴状態情報を保持するためのデータベースである。詳細は後述する。なお、視聴者データベース２０２１は、当該施設に登録されている会員情報（属性情報を含む）を格納してもよい。

映像コンテンツデータベース２０２２は、映像提供システム１において提供する映像コンテンツ及びその上映時間の情報、すなわち映像出力装置３０の上映スケジュールを保持するためのデータベースである。詳細は後述する。

カメラ撮影画像データベース２０２３は、映像提供システム１により映像コンテンツを視聴する視聴者を撮影した、カメラ４０の画像データを時系列で保持するためのデータベースである。カメラ４０の画像データは、日時情報が付加されてカメラ４０からサーバ２０へ送信されるので、その検知信号が格納される。

制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール２０３１、送信制御モジュール２０３２、映像コンテンツ出力制御モジュール２０３３、カメラ撮影制御モジュール２０３４、視聴者識別モジュール２０３５、視聴状態取得モジュール２０３６、視聴者マッチングモジュール２０３７、及びレコメンドモジュール２０３８に示す機能を発揮する。

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

映像コンテンツ出力制御モジュール２０３３は、映像コンテンツを視聴者に視聴させるため、映像コンテンツの映像データ（音声データを含む）を映像出力装置３０へ送信する処理を制御する。映像コンテンツ出力制御モジュール２０３３は、映像コンテンツデータベース２０２２を参照し、映像コンテンツを上映させる日時を示すスケジュール情報に基づき、映像コンテンツの画像データを送信すると共に、映像コンテンツを上映させるように制御信号を送信し、映像コンテンツのデータ容量やデータ形式、解像度等の情報も送信する。

このとき、映像コンテンツ出力制御モジュール２０３３は、映像出力装置３０に対して、画像データを一括送信して上映させてもよく、ストリーミング形式で順次送信して上映させてもよい。なお、映像コンテンツ出力制御モジュール２０３３は、映像コンテンツの上映時間やクリエイターの氏名または名称等のクレジット情報を送信しても良い。

カメラ撮影制御モジュール２０３４は、カメラ４０により視聴者を撮影し、撮影した画像データを生成する処理を制御する。例えば、図２に示す施設に新たな視聴者が来場した場合、必要に応じてカメラ４０の撮影方向を移動させ、カメラ４０に当該視聴者を撮影するように制御し、視聴者の動きに応じて追跡して撮影し、撮影した画像データを生成する。カメラ撮影制御モジュール２０３４により撮影された視聴者の画像データは、後述する視聴者識別モジュール２０３５による視聴者情報との紐付けに使用される。なお、図２に示す施設の入口付近に人感センサ（図示は省略）を設置して新たな視聴者を検知し、カメラ４０の撮影方向を検知した視聴者の方向に移動させて撮影を継続するように制御してもよい。

また、カメラ撮影制御モジュール２０３４は、カメラ４０による視聴者の撮影を、視聴者の目の状態や、目の周囲の状態を識別できるような解像度で撮影するように制御する。この画像データは、後述する視聴状態取得モジュール２０３６による視聴状態情報の取得に使用される。なお、人の目のまばたきを画像データとして取得するためには、一般には５０ｆｐｓ（frame per second）以上のフレームレートが必要とされているため、カメラ４０では、５０ｆｐｓ以上のフレームレートで撮影が行われる。

視聴者識別モジュール２０３５は、カメラ４０が撮影した画像データを取得し、画像データを解析して視聴者を個別に識別し、視聴者データベース２０２１に格納されている視聴者情報と紐付けを行う処理を制御する。例えば、視聴者識別モジュール２０３５は、カメラ４０が撮影した画像データから抽出した視聴者の顔画像データと、視聴者データベース２０２１に格納されている視聴者の顔写真とを比較し、視聴者を個別に識別して視聴者情報と紐付けを行う。視聴者を個別に識別する手法としては、例えば、公知技術である機械学習等による顔画像の画像認識技術が用いられる。

また、視聴者識別モジュール２０３５は、図２に示す施設の入口で視聴者である会員の登録情報を、視聴者データベース２０２１に格納されている視聴者情報に照会して確認するので、その状態をカメラ４０で撮影し、視聴者データベース２０２１に格納されている視聴者情報と紐付けを行ってもよい。さらに、視聴者識別モジュール２０３５は、会員登録されている視聴者が使用している端末装置１０と通信を行い、位置情報センサ１５０による位置情報と、カメラ４０が撮影した画像データとの位置関係を識別し、視聴者データベース２０２１に格納されている視聴者情報に含まれる各視聴者の端末装置１０の情報と照会し、視聴者データベース２０２１に格納されている視聴者情報と紐付けを行ってもよい。

図５は、図４の視聴者識別モジュール２０３５における視聴者を識別する具体的手法を示す模式図である。視聴者識別モジュール２０３５では、図５に示す画像データＷ１において視聴者Ｈ１，Ｈ２の画像を抽出したフレームＦＬから、視聴者Ｈ１，Ｈ２の顔を示す顔画像Ｆ１，Ｆ２を識別して認識するため、公知技術である顔認識の手法が用いられる。この顔認識の手法は、例えば、図示しないデータベースとして保有している顔情報のデータベースと、フレームＦＬ内の物体を照合し、眉、目、鼻、口のような各パーツと、その物体の輪郭の位置関係とから顔であるか否かを判定することにより行われる。これにより、視聴者の属性、例えば視聴者の年齢層や性別を判定することが可能である。

視聴状態取得モジュール２０３６は、カメラ４０が撮影した画像データを取得し、画像データを解析して視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴状態情報と、視聴者データベース２０２１に格納されている視聴者情報との紐付けを行う処理を制御する。ここで、視聴状態情報とは、例えば視聴者の涙腺の状態、視聴者の覚醒／睡眠の状態、視聴者の映像コンテンツに対する集中度、視聴者の映像コンテンツに対する満足度、視聴者の感情を示す情報である。視聴状態取得モジュール２０３６は、例えば、これらの視聴状態情報を、それぞれの情報を示す数値化した値としてそれぞれ算出し、それぞれの瞬間の値を取得し、さらにその値を積分した値を累積値として算出して取得してもよい。さらに、視聴状態取得モジュール２０３６は、これらの視聴状態情報の値から、統計学的な手法による外れ値を検出し、特異情報としてもよい。視聴状態取得モジュール２０３６は、例えば、視聴状態情報を、映像コンテンツの上映開始からの経過時間の情報と紐付けて、時系列で取得する。また、例えば、視聴状態取得モジュール２０３６は、図５に示す顔画像Ｆ１，Ｆ２から視聴者Ｈ１，Ｈ２の目の周囲の画像データを抽出し、視聴者の涙腺の状態を検出する。

図６は、図４の視聴状態取得モジュール２０３６における視聴状態を示す涙腺の状態を取得する具体的手法を示す模式図である。視聴状態取得モジュール２０３６では、図６に示す目Ｅの周囲の画像データから、目Ｅの情報にある涙腺ＥＲの状態を検出する。一般的に、人が悲しい感情になり、涙を流しそうになると、涙腺ＥＲが涙液を分泌して涙を流す状態になるため、涙腺ＥＲが腫れた状態になる。これを検出することにより、視聴者の感情が悲しい状態であることを判定することが可能である。そのため、視聴状態取得モジュール２０３６は、視聴状態情報として涙腺ＥＲの状態を通常の状態（例えば、映像コンテンツの視聴開始時）と比較して腫れた割合を取得し、この数値に基づき、視聴者の感情が悲しい状態であることを数値化して取得する。

他の例として、視聴状態取得モジュール２０３６は、図６に示す上瞼ＥＬ１と下瞼ＥＬ２との開閉の頻度を分析する。一般的に、人が何かに集中しているときは目の開閉は減少する傾向にあるため、目の開閉の頻度を分析することにより、視聴者の集中度を推定できると考えられる。また、視聴者が映像コンテンツの視聴に集中している場合、満足度も高いと考えられる。そのため、視聴状態取得モジュール２０３６は、視聴状態情報として上瞼ＥＬ１と下瞼ＥＬ２との開閉の頻度（回数）を取得し、この数値に基づき、視聴者の映像コンテンツに対する集中度、及び満足度を数値化して取得する。さらに、図６に示す上瞼ＥＬ１と下瞼ＥＬ２とが一定時間以上閉じている場合、視聴者が覚醒しておらず、睡眠状態であると考えられる。そのため、視聴状態取得モジュール２０３６は、視聴状態情報として上瞼ＥＬ１と下瞼ＥＬ２とが開いている状態の時間、または閉じている状態の時間を取得し、この数値に基づき、視聴者が覚醒／睡眠の状態（時間）を取得する。

さらに他の例として、視聴状態取得モジュール２０３６は、図５に示す顔画像Ｆ１，Ｆ２から、視聴者Ｈ１，Ｈ２ごとに表情の分析を行う。視聴状態取得モジュール２０３６は、図５に示す顔画像Ｆ１，Ｆ２から、視聴者Ｈ１，Ｈ２の表情を分析して視聴者の感情等を読み取るため、公知技術であるＦＡＣＳ（Facial Action Coding System：顔面動作符号化システム）等の手法が用いられる。このＦＡＣＳは、顔の表情筋それぞれにアクションユニットと呼ばれるコードが割り振られ、顔の表情筋の動きに応じて変化するアクションユニットの強度やバランスに対応してそのときの感情を特定する手法であり、人の感情を認識するための人工知能技術である。そのため、視聴状態取得モジュール２０３６は、視聴状態情報として顔画像Ｆ１，Ｆ２の表情の状態を取得し、この表情筋の状態を示す数値に基づき、視聴者の感情を取得する。

視聴者マッチングモジュール２０３７は、視聴状態取得モジュール２０３６が取得した視聴状態情報に基づき、図２に示すような施設において同時に映像コンテンツを視聴している視聴者間のマッチングを行う処理を制御する。例えば、視聴者マッチングモジュール２０３７は、視聴していた映像コンテンツにおける近似する時間帯（同じシーン）で感情が変動した２人以上の視聴者同士、映像コンテンツの作品全体として満足度が近い２人以上の視聴者同士をマッチングする。なお、視聴者マッチングモジュール２０３７は、映像コンテンツを視聴した視聴者の、当該映像コンテンツに対する集中度、満足度のランキングを視聴者全員に提示し、視聴者同士でアクセス可能なようにすることで、視聴者同士のマッチングを促すように構成してもよい。このときの集中度及び満足度は、映像コンテンツの作品全体としての値でもよく、瞬間的な最大値でもよい。

また、視聴者マッチングモジュール２０３７は、視聴していた映像コンテンツに対する感情の種類（楽しい、興奮、嬉しい、悲しい等）が近似する２人以上の視聴者同士をマッチングする。さらに、視聴者マッチングモジュール２０３７は、視聴していた映像コンテンツに対する集中度、及び満足度が近似する２人以上の視聴者同士をマッチングする。

レコメンドモジュール２０３８は、視聴者マッチングモジュール２０３７によるマッチング結果を、マッチングされた当該視聴者へそれぞれレコメンドする処理を制御する。具体的には、レコメンドモジュール２０３８は、マッチングされた当該視聴者の端末装置１０へ、レコメンドする通知として送信し、当該視聴者へ通知する。このとき、レコメンドモジュール２０３８は、どのような理由によりマッチングされたのかを示す視聴状態情報（例えば、映像コンテンツの所定のシーンで同じような感情の変化を示した、または当該映像コンテンツに対する満足度等）を通知してもよく、視聴者情報を通知してもよい。

例えば、レコメンドモジュール２０３８は、図２に示す施設の中において、マッチングされた相手の視聴者がいる位置情報を通知する。位置情報とは、映画館のような施設における席の番号、図２に示すようなカフェスペース等のテーブル番号である。また、レコメンドモジュール２０３８は、図２に示す施設のレイアウト情報（平面図）を端末装置１０へ表示（提示）させ、マッチングされた相手の視聴者がいる位置をレイアウト情報の中に表示（提示）してもよい。

また、レコメンドモジュール２０３８は、マッチングされた視聴者同士が、施設の中または近傍の所定の場所（例えば、施設内におけるロビー）に移動して集合するように通知する。さらに、レコメンドモジュール２０３８は、図２に示す施設または近傍のレイアウト情報（平面図）を端末装置１０へ表示（提示）させ、マッチングされた視聴者同士が移動する位置をレイアウト情報の中に表示（提示）してもよい。

また、レコメンドモジュール２０３８は、マッチングされた視聴者同士がその場で交流するように促すだけではなく、連絡先を通知して（例えば、非対面で）交流するように促してもよい。連絡先として、メールアドレス、各種ＳＮＳのアカウント情報でもよく、映像提供システム１で提供する（交流サイト等の）アカウント情報であってもよい。さらにまた、レコメンドモジュール２０３８は、マッチングされた相手の視聴者が視聴した映像コンテンツをレコメンドしてもよく、マッチング情報の通知後、相手の視聴者が視聴した映像コンテンツをレコメンドしてもよく、相手の視聴者が視聴する予定の映像コンテンツの日時情報をレコメンドして再開を促してもよい。

さらに、レコメンドモジュール２０３８は、マッチングされた視聴者の通知に対する可否情報、具体的には会うことを許可または拒否する入力を促し、端末装置１０へ表示（提示）させてもよい。この場合、レコメンドモジュール２０３８は、許可または拒否する入力を受け付けると、マッチングされた相手の視聴者へ通知してもよい。

＜２ データ構造＞
図７は、サーバ２０が記憶する視聴者データベース２０２１、映像コンテンツデータベース２０２２のデータ構造を示す図である。

図７に示すように、視聴者データベース２０２１のレコードのそれぞれは、「視聴者ＩＤ」と、項目「視聴者名」と、項目「年齢」と、項目「性別」と、項目「顔写真データ」と、項目「視聴映像」と、項目「視聴状態情報」と、項目「マッチングＩＤ」等を含む。

項目「視聴者ＩＤ」は、映像提供システム１を利用する施設に会員登録されている視聴者それぞれを識別する情報である。

項目「視聴者名」は、映像提供システム１を利用する施設に会員登録されている視聴者の氏名を示す情報である。

項目「年齢」は、映像提供システム１を利用する施設に会員登録されている視聴者の年齢を示す情報である。

項目「性別」は、映像提供システム１を利用する施設に会員登録されている視聴者の性別を示す情報である。

項目「顔写真データ」は、映像提供システム１を利用する施設に会員登録されている視聴者の顔を撮影した写真画像データを示す情報である。

項目「視聴映像」は、映像提供システム１を利用して当該視聴者が視聴した映像コンテンツそれぞれを識別する情報であり、後述する映像コンテンツデータベース２０２２の項目「コンテンツＩＤ」に対応している。なお、視聴者データベース２０２１における当該項目以降の情報は、当該視聴者が視聴した映像コンテンツの数だけ格納されている。

項目「視聴状態情報」は、映像提供システム１を利用して当該視聴者が、項目「視聴映像」に示す映像コンテンツを視聴した際の視聴状態情報であり、例えば、視聴時間、涙腺の状態、集中度等の情報が格納されている。視聴状態取得モジュール２０３６が取得した情報である。

項目「マッチングＩＤ」は、映像提供システム１を利用した当該視聴者にマッチングされた視聴者それぞれを識別する情報であり、項目「視聴者ＩＤ」に対応している。

サーバ２０の視聴状態取得モジュール２０３６は、映像提供システム１を利用して視聴者が映像コンテンツを視聴して視聴者の視聴状態情報を取得するごとに、視聴者データベース２０２１を更新する。視聴者マッチングモジュール２０３７は、視聴者同士をマッチングするごとに、視聴者データベース２０２１を更新する。

映像コンテンツデータベース２０２２のレコードのそれぞれは、項目「施設ＩＤ」と、項目「施設名」と、項目「コンテンツ上映情報」等を含む。

項目「施設ＩＤ」は、映像提供システム１が設置された施設それぞれを識別する情報である。１つの施設に映像出力装置３０が複数設置され、それぞれ異なる映像コンテンツを上映する場合、異なる値の項目「施設ＩＤ」が付与され、別々に管理される。

項目「施設名」は、映像提供システム１が設置された施設の名称を示す情報である。

項目「コンテンツ上映情報」は、映像提供システム１を利用する施設で上映される映画等の映像コンテンツの上映スケジュールの情報であり、具体的には、項目「開始日時」と、項目「終了時刻」と、項目「コンテンツＩＤ」等を含む。図７に示すように、１の項目「施設ＩＤ」に対して、１または複数の項目「コンテンツ上映情報」が時系列で格納されている。

項目「開始日時」は、当該施設で上映される映像コンテンツの開始日及び開始時刻を示す情報である。

項目「終了時刻」は、当該施設で上映される映像コンテンツの終了時刻を示す情報である。

項目「コンテンツＩＤ」は、当該施設で上映される映像コンテンツそれぞれを識別する情報である。

サーバ２０は、施設の管理者から映像コンテンツの上映情報の入力を受け付けることに伴って、映像コンテンツデータベース２０２２を更新する。

＜３ 動作＞
以下、図８ないし図１０を参照しながら、第１の実施の形態における映像提供システム１による視聴者識別、視聴状態取得、及び視聴者マッチングの各処理について説明する。

図８は、実施の形態１の映像提供システム１による視聴者識別処理を行う流れの一例を示すフローチャートである。

ステップＳ１２１において、カメラ４０は、視聴者を撮影し、撮影した画像データを生成する。例えば、新たな視聴者が来場した場合、必要に応じて撮影方向を移動させ、当該視聴者の動きに応じて追跡して撮影する。カメラ４０は、撮影した画像データをサーバ２０へ送信する。

ステップＳ１１１において、サーバ２０のカメラ撮影制御モジュール２０３４は、カメラ４０から送信された画像データを、通信部２０１を介して受信する。また、カメラ撮影制御モジュール２０３４は、受信した画像データをカメラ撮影画像データベース２０２３へ格納する。

ステップＳ１１２において、サーバ２０の視聴者識別モジュール２０３５は、ステップＳ１１１で受信した画像データを解析し、視聴者を個別に識別する。

ステップＳ１１３において、サーバ２０の視聴者識別モジュール２０３５は、ステップＳ１１２識別した視聴者について、視聴者データベース２０２１に格納されている視聴者情報と紐付けを行う。例えば、視聴者識別モジュール２０３５は、カメラ４０が撮影した画像データから抽出した視聴者の顔画像データと、視聴者データベース２０２１に格納されている視聴者の顔写真とを比較し、視聴者を個別に識別して視聴者情報との紐付けを行う。

以上のように、映像提供システム１は、カメラ４０で視聴者を撮影し、視聴者を個別に識別して視聴者情報との紐付けを行う。これにより、視聴者を個別にトレーシングし、後続の視聴状態情報の取得処理やマッチング処理に結びつける。

図９は、実施の形態１の映像提供システム１による視聴状態取得処理を行う流れの一例を示すフローチャートである。

ステップＳ２２１において、サーバ２０の映像コンテンツ出力制御モジュール２０３３は、映像コンテンツデータベース２０２２を参照し、映像コンテンツを上映させる日時を管理する。映像コンテンツ出力制御モジュール２０３３は、映像コンテンツを上映するために送信すべき時間になると、ステップＳ２２２の処理へ進む。

ステップＳ２２２において、サーバ２０の映像コンテンツ出力制御モジュール２０３３は、映像コンテンツを視聴者に視聴させるため、映像コンテンツの映像データを映像出力装置３０へ、通信部２０１を介して送信する。

ステップＳ２１２において、映像出力装置３０は、サーバ２０が送信する映像コンテンツの映像データを受信し、映像として上映する。

ステップＳ２３３において、カメラ４０は、映像を視聴している視聴者を撮影し、撮影した画像データを生成する。カメラ４０は、撮影した画像データをサーバ２０へ送信する。

ステップＳ２２３において、サーバ２０のカメラ撮影制御モジュール２０３４は、カメラ４０から送信された画像データを、通信部２０１を介して受信する。また、カメラ撮影制御モジュール２０３４は、受信した画像データをカメラ撮影画像データベース２０２３へ格納する。

ステップＳ２２４において、サーバ２０の視聴状態取得モジュール２０３６は、ステップＳ２２３で受信した画像データを解析して視聴者の視聴状態情報をそれぞれ取得し、視聴状態情報と、視聴者データベース２０２１に格納されている視聴者情報との紐付けを行う。例えば、視聴状態取得モジュール２０３６は、視聴状態情報を、映像コンテンツの上映開始からの経過時間の情報と紐付けて、時系列で取得する。

ステップＳ２２５において、サーバ２０の視聴状態取得モジュール２０３６は、視聴状態情報を視聴者データベース２０２１へ格納する。

以上のように、映像提供システム１は、所定の時間になると映像コンテンツの映像データを映像出力装置３０へ送信する。映像出力装置３０は、映像データを映像として上映する。この映像を視聴する視聴者をカメラ４０で撮影し、撮影した画像データから、視聴状態情報を取得する。これにより、映像コンテンツに対する視聴者の反応を視聴者情報に紐づけて把握することが可能になる。

図１０は、実施の形態１の映像提供システム１による視聴者マッチング処理を行う流れの一例を示すフローチャートである。

ステップＳ３１１において、サーバ２０の視聴者マッチングモジュール２０３７は、ステップＳ２２４で取得した視聴状態情報に基づき、図２に示すような施設において同時に映像コンテンツを視聴している視聴者間のマッチングを行う。例えば、視聴者マッチングモジュール２０３７は、視聴していた映像コンテンツにおける近似する時間帯（同じシーン）で感情が変動した２人以上の視聴者同士をマッチングする。

ステップＳ３１２において、サーバ２０のレコメンドモジュール２０３８は、ステップＳ３１１でマッチングしたマッチング結果を、マッチングされた当該視聴者の端末装置１０へ、レコメンドする通知として通信部２０１を介して送信する。

ステップＳ３２２において、端末装置１０の送受信部１７２は、サーバ２０から送信されたマッチング結果を受信する。

ステップＳ３２３において、端末装置１０の通知制御部１７４は、受信したマッチング結果を、ディスプレイ１３２に表示させる。

以上のように、映像提供システム１のサーバ２０は、視聴者の視聴状態情報に基づき、映画館等の施設において同時に映像コンテンツを視聴している視聴者間のマッチングを行い、当該視聴者へ通知する。これにより、同じ映像コンテンツを視聴して同じような反応を示した視聴者同士をつなげ、視聴者同士で共感してもらうことが可能になる。

＜４ 画面例＞
以下、図１１ないし図１３を参照しながら、映像提供システム１による視聴者マッチング処理の画面例について説明する。

図１１は、視聴者マッチング処理におけるマッチング相手を通知する端末装置１０の画面例を示す図である。図１１の画面例は、サーバ２０のレコメンドモジュール２０３８による、マッチングされた当該視聴者へのレコメンドの通知内容を表示した画面例を示す。図１０のステップＳ３２３に相当する。

図１１に示すように、端末装置１０のディスプレイ１３２には、視聴者マッチングモジュール２０３７によるマッチング結果として、映画館等の施設の中におけるマッチング相手の視聴者がいる席の番号である位置情報１０３１ａと、視聴者マッチングモジュール２０３７によるマッチング理由１０３１ｂと、当該マッチング相手への連絡を許可することを通知する許可通知ボタン１０３１ｃと、当該マッチング相手への連絡を許可しないことを通知する拒否通知ボタン１０３１ｄとが表示されている。

このマッチング結果が通知された視聴者は、位置情報１０３１ａに、視聴していた映像コンテンツに対する感想等が共通する視聴者がいることを知ることができる。また、このマッチング相手と会うことを希望する場合には許可通知ボタン１０３１ｃを押下し、会うことを希望しない場合には拒否通知ボタン１０３１ｄを押下する。このような許可通知ボタン１０３１ｃ及び拒否通知ボタン１０３１ｄにより、マッチング相手への通知が容易になる。

図１２は、視聴者マッチング処理におけるマッチング相手を通知する端末装置１０の他の画面例を示す図である。図１２の画面例は、サーバ２０のレコメンドモジュール２０３８による、マッチングされた当該視聴者へのレコメンドの通知内容を表示した画面例を示す。図１０のステップＳ３２３に相当する。

図１２に示すように、端末装置１０のディスプレイ１３２には、映画館等の施設のレイアウト情報を示す座席表１０３２ａと、レイアウト情報における席の位置を示す席情報１０３２ｂと、視聴者マッチングモジュール２０３７によるマッチング結果として、レイアウト情報においてマッチング相手の視聴者がいる席の位置である席情報１０３２ｃとが表示されている。このようなレイアウト情報にマッチング相手の視聴者の位置情報を表示することにより、マッチング相手の位置を把握することが容易になる。

図１３は、視聴者マッチング処理における集合場所を通知する端末装置１０の画面例を示す図である。図１３の画面例は、サーバ２０のレコメンドモジュール２０３８による、マッチングされた当該視聴者へのレコメンドの通知内容を表示した画面例を示す。図１０のステップＳ３２３に相当する。

図１３に示すように、端末装置１０のディスプレイ１３２には、映画館等の施設のレイアウト情報を示す座席表１０３３ａと、レイアウト情報における席の位置を示す席情報１０３３ｂと、視聴者マッチングモジュール２０３７によるマッチング結果として、レイアウト情報においてマッチング相手の視聴者と集合する位置である席情報１０３３ｃとが表示されている。このようなレイアウト情報にマッチング相手の視聴者との集合位置の情報を表示することにより、集合する位置を把握することが容易になる。

＜小括＞
以上のように、本実施形態によると、視聴者が映像コンテンツを視聴している状態をカメラで撮影し、撮影した画像データから、視聴者の顔を識別してそれぞれの視聴者の顔を検知し、視聴者情報との紐付けを行う。これにより、視聴者の行動を追跡するトラッキングが可能になり、視聴者の行動を把握することが可能になる。

また、画像データにおける視聴者の顔の状態から、顔の表情や目の状態、涙腺の状態を解析し、視聴者の覚醒／睡眠の状態、視聴者の映像コンテンツに対する集中度、満足度、感情を示す視聴状態情報を取得し、視聴者情報と紐付けを行う。そのため、映像コンテンツに対する視聴者の反応を示す情報を、視聴者情報に紐づけて取得することができる。これにより、視聴者情報に含まれる視聴者の属性ごとに映像コンテンツに対する視聴者の反応を示す情報を取得することができるので、視聴者の属性ごとの分析が可能になる。

さらに、視聴者の視聴状態情報に基づき、映画館等の施設において同時に映像コンテンツを視聴している視聴者間のマッチングを行い、当該視聴者へ通知する。これにより、同じ映像コンテンツを視聴する、という共通の体験について、同じような感想を有する者同士をつなげて共感させることを可能にし、映画館の新たな価値を提供することが可能になる。

＜第２の実施の形態＞
以下、映像提供システム１の他の実施の形態について説明する。

＜１ 映像提供システム１の全体構成＞
図１３は、実施の形態２の映像提供システム１を構成するサーバ２０の機能的な構成を示す図である。第２の実施の形態における映像提供システム１の全体の構成、端末装置１０の構成は、第１の実施の形態と同様であるので、繰り返して説明しない。サーバ２０の構成については、図１３に示すように、新たに映像コンテンツ評価モジュール２０３９の機能を備える以外、第１の実施の形態と同様である。以下、第２の実施の形態における映像コンテンツ評価モジュール２０３９の機能について説明する。

映像コンテンツ評価モジュール２０３９は、視聴状態取得モジュール２０３６が取得した視聴状態情報に基づき、対象となる映像コンテンツの評価情報を生成する処理を制御する。上記のように、視聴状態情報には、映像コンテンツに対する集中度、映像コンテンツに対する満足度、視聴者の感情が含まれるため、これらの情報に基づき、当該映像コンテンツの評価情報を生成する。

例えば、ある映像コンテンツを視聴した視聴者の視聴状態情報が一定数収集できると、当該映像コンテンツを視聴した視聴者がどのシーンで感情を変化させたか、集中したか等の情報が取得できる。これにより、当該映像コンテンツを視聴した視聴者の集中度や満足度、感情の傾向を把握することが可能であり、これによる映像コンテンツの評価が可能になる。また、このような評価は、視聴者の属性に基づいて行うことが可能である。映像コンテンツ評価モジュール２０３９は、このような映像コンテンツに対する評価情報を生成する。

また、映像コンテンツの評価情報は、映像コンテンツの経過時間に対応させて取得してもよい。このような経過時間に対応した評価情報により、視聴者が最も感動した、興奮したシーン等を把握することができるので、当該映像コンテンツのプロモーションに活用することが可能になる。

＜２ データ構造＞
実施の形態２におけるデータ構造は、実施の形態１と同様である。

＜３ 動作＞
実施の形態２における動作は、実施の形態１と同様である。

＜小括＞
以上のように、本実施形態によると、映像コンテンツの視聴者の視聴状態情報に基づき、対象となる映像コンテンツの評価情報を生成する。これにより、映像コンテンツに対する評価に基づき、プロモーション等の手法を分析することが可能になる。

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。

（付記１）プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、メモリに、映像を上映する施設において、映像を視聴する視聴者として登録されている視聴者情報を記憶させ、プログラムは、プロセッサに、映像を視聴する複数の視聴者を撮影した画像データから、視聴者を個別に識別し、視聴者情報とそれぞれ紐付けを行うステップと、画像データを視聴者ごとに解析し、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報とそれぞれ紐付けを行うステップと、視聴者ごとの視聴状態情報に基づき、当該施設における視聴者間のマッチングを行うステップと、を実行させる、プログラム。

（付記２）プログラムはプロセッサに、さらに、マッチングされた視聴者に関する視聴者情報を、マッチングされた相手の視聴者へそれぞれレコメンドするステップを実行させる、（付記１）に記載のプログラム。

（付記３）マッチングされた視聴者の施設における位置情報を、マッチングされた相手の視聴者へそれぞれ通知する、（付記２）に記載のプログラム。

（付記４）施設のレイアウト情報を提示し、マッチングされた視聴者の位置情報をレイアウト情報の中に提示する、（付記３）に記載のプログラム。

（付記５）施設の中または施設の近傍に、マッチングされた視聴者同士が移動するようにレコメンドする、（付記２）に記載のプログラム。

（付記６）施設のレイアウト情報を提示し、マッチングされた視聴者同士が移動する移動先の位置をレイアウト情報の中に提示する、（付記５）に記載のプログラム。

（付記７）視聴者情報とともに、視聴者情報にかかる視聴者の視聴状態情報を通知する、（付記２）から（付記６）のいずれかに記載のプログラム。

（付記８）視聴者情報とともに、視聴者情報にかかる視聴者が視聴した映像の情報を通知する、（付記２）から（付記７）のいずれかに記載のプログラム。

（付記９）プログラムはプロセッサに、さらに、マッチングされた視聴者に対する、マッチング結果の可否情報を受け付け、マッチングされた相手の視聴者へそれぞれ通知するステップを実行させる、（付記２）から（付記８）のいずれかに記載のプログラム。

（付記１０）視聴状態情報を、映像の上映開始からの経過時間の情報と紐付けて時系列で取得する、（付記１）から（付記９）のいずれかに記載のプログラム。

（付記１１）画像データを解析し、視聴者の涙腺の状態、視聴者の覚醒／睡眠の状態、視聴者の映像に対する集中度、視聴者の映像に対する満足度、視聴者の感情のいずれか１つまたは複数を示す情報を、視聴状態情報として取得する、（付記１）から（付記１０）のいずれかに記載のプログラム。

（付記１２）視聴者の涙腺の状態、視聴者の覚醒／睡眠の状態、視聴者の映像に対する集中度、視聴者の映像に対する満足度、視聴者の感情を示す数値化した値としてそれぞれ算出して取得する、（付記１１）に記載のプログラム。

（付記１３）プログラムはプロセッサに、さらに、視聴者ごとの視聴状態情報に基づき、映像の評価情報を生成する、（付記１）から（付記１２）のいずれかに記載のプログラム。

（付記１４）映像の評価情報に基づき、当該施設における視聴者間のマッチングを行う、（付記１）から（付記１３）のいずれかに記載のプログラム。

（付記１５）制御部と、記憶部とを備える情報処理装置であって、記憶部は、映像を上映する施設において、映像を視聴する視聴者として登録されている視聴者情報を記憶し、制御部は、映像を視聴する複数の視聴者を撮影した画像データから、視聴者を個別に識別し、視聴者情報とそれぞれ紐付けを行うステップと、画像データを視聴者ごとに解析し、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報とそれぞれ紐付けを行うステップと、視聴者ごとの視聴状態情報に基づき、当該施設における視聴者間のマッチングを行うステップと、を実行する、情報処理装置。

（付記１６）プロセッサと、メモリとを備えるコンピュータにより実行されるための方法であって、方法は、メモリに、映像を上映する施設において、映像を視聴する視聴者として登録されている視聴者情報を記憶し、方法は、プロセッサが、映像を視聴する複数の視聴者を撮影した画像データから、視聴者を個別に識別し、視聴者情報とそれぞれ紐付けを行うステップと、画像データを視聴者ごとに解析し、視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、視聴者情報とそれぞれ紐付けを行うステップと、視聴者ごとの視聴状態情報に基づき、当該施設における視聴者間のマッチングを行うステップと、を実行する、方法。

１０ 端末装置、２０ サーバ、８０ ネットワーク、１３０ 操作受付部、１７１ ユーザ情報、２２ 通信ＩＦ、２３ 入出力ＩＦ、２５ メモリ、２６ ストレージ、２９ プロセッサ、２０１ 通信部、２０２ 記憶部、２０２１ 視聴者データベース、２０２２ 映像コンテンツデータベース、２０２３ カメラ撮影画像データベース、２０３ 制御部、３０１ 通信部、３０２ 記憶部、３０３ 制御部

Claims (12)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、
   前記プログラムは、前記メモリに、
   映像を上映する施設において、前記映像を視聴する視聴者として登録されている視聴者情報を記憶させ、
   前記プログラムは、前記プロセッサに、
   前記映像を視聴する複数の視聴者を撮影した画像データから、前記視聴者を個別に識別し、前記視聴者情報とそれぞれ紐付けを行うステップと、
   前記画像データを前記視聴者ごとに解析し、前記視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、前記視聴者情報とそれぞれ紐付けを行うステップと、
   前記視聴者ごとの前記視聴状態情報に基づき、当該施設における前記視聴者間のマッチングを行うステップと、
   前記視聴者が使用する端末装置の位置情報センサによる位置情報を取得し、前記位置情報センサによる位置情報と、前記画像データにおける位置情報とから、前記視聴者を個別に識別し、前記視聴者の前記施設における位置情報を取得するステップと、
   マッチングされた前記視聴者に関する前記視聴者情報を、マッチングされた相手の前記視聴者へそれぞれレコメンドし、マッチングされた前記視聴者の前記施設における位置情報と、マッチングされた前記視聴者のマッチングされた理由とを、マッチングされた相手の前記視聴者へ通知するステップと、を実行させる、プログラム。
2. 前記端末装置にあらかじめ記憶された前記施設のレイアウト情報を提示し、マッチングされた前記視聴者の位置情報に基づき特定された前記レイアウト情報における前記視聴者の位置情報を前記レイアウト情報の中に提示する、請求項１に記載のプログラム。
3. 前記視聴者情報とともに、前記視聴者情報にかかる前記視聴者の前記視聴状態情報を通知する、請求項１または請求項２に記載のプログラム。
4. 前記視聴者情報とともに、前記視聴者情報にかかる前記視聴者が視聴した映像の情報を通知する、請求項１から請求項３のいずれか１項に記載のプログラム。
5. 前記プログラムは前記プロセッサに、さらに、
   マッチングされた前記視聴者に対する、マッチング結果の可否情報を受け付け、マッチングされた相手の前記視聴者へそれぞれ通知するステップを実行させる、請求項１から請求項４のいずれか１項に記載のプログラム。
6. 前記視聴状態情報を、前記映像の上映開始からの経過時間の情報と紐付けて時系列で取得する、請求項１から請求項５のいずれか１項に記載のプログラム。
7. 前記画像データを解析し、前記視聴者の涙腺の状態、前記視聴者の覚醒／睡眠の状態、前記視聴者の前記映像に対する集中度、前記視聴者の前記映像に対する満足度、前記視聴者の感情のいずれか１つまたは複数を示す情報を、前記視聴状態情報として取得する、請求項１から請求項６のいずれか１項に記載のプログラム。
8. 前記視聴者の涙腺の状態、前記視聴者の覚醒／睡眠の状態、前記視聴者の前記映像に対する集中度、前記視聴者の前記映像に対する満足度、前記視聴者の感情を示す数値化した値としてそれぞれ算出して取得する、請求項７に記載のプログラム。
9. 前記プログラムは前記プロセッサに、さらに、
   前記視聴者ごとの前記視聴状態情報に基づき、前記映像の評価情報を生成する、請求項１から請求項８のいずれか１項に記載のプログラム。
10. 前記映像の評価情報に基づき、当該施設における前記視聴者間のマッチングを行う、請求項１から請求項９のいずれか１項に記載のプログラム。
11. 制御部と、記憶部とを備える情報処理装置であって、
    前記記憶部は、
    映像を上映する施設において、前記映像を視聴する視聴者として登録されている視聴者情報を記憶し、
    前記制御部は、
    前記映像を視聴する複数の視聴者を撮影した画像データから、前記視聴者を個別に識別し、前記視聴者情報とそれぞれ紐付けを行うステップと、
    前記画像データを前記視聴者ごとに解析し、前記視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、前記視聴者情報とそれぞれ紐付けを行うステップと、
    前記視聴者ごとの前記視聴状態情報に基づき、当該施設における前記視聴者間のマッチングを行うステップと、
    前記視聴者が使用する端末装置の位置情報センサによる位置情報を取得し、前記位置情報センサによる位置情報と、前記画像データにおける位置情報とから、前記視聴者を個別に識別し、前記視聴者の前記施設における位置情報を取得するステップと、
    マッチングされた前記視聴者に関する前記視聴者情報を、マッチングされた相手の前記視聴者へそれぞれレコメンドし、マッチングされた前記視聴者の前記施設における位置情報と、マッチングされた前記視聴者のマッチングされた理由とを、マッチングされた相手の前記視聴者へ通知するステップと、を実行する、情報処理装置。
12. プロセッサと、メモリとを備えるコンピュータにより実行されるための方法であって、
    前記方法は、前記メモリに、
    映像を上映する施設において、前記映像を視聴する視聴者として登録されている視聴者情報を記憶し、
    前記方法は、前記プロセッサが、
    前記映像を視聴する複数の視聴者を撮影した画像データから、前記視聴者を個別に識別し、前記視聴者情報とそれぞれ紐付けを行うステップと、
    前記画像データを前記視聴者ごとに解析し、前記視聴者の視聴状態を示す視聴状態情報をそれぞれ取得し、前記視聴者情報とそれぞれ紐付けを行うステップと、
    前記視聴者ごとの前記視聴状態情報に基づき、当該施設における前記視聴者間のマッチングを行うステップと、
    前記視聴者が使用する端末装置の位置情報センサによる位置情報を取得し、前記位置情報センサによる位置情報と、前記画像データにおける位置情報とから、前記視聴者を個別に識別し、前記視聴者の前記施設における位置情報を取得するステップと、
    マッチングされた前記視聴者に関する前記視聴者情報を、マッチングされた相手の前記視聴者へそれぞれレコメンドし、マッチングされた前記視聴者の前記施設における位置情報と、マッチングされた前記視聴者のマッチングされた理由とを、マッチングされた相手の前記視聴者へ通知するステップと、を実行する、方法。
    

Images