JP2019212137A - ヒートマップ提示装置およびヒートマップ提示用プログラム - Google Patents

Abstract

【課題】３次元空間に表示された３次元画像に対するユーザの視聴状況について、多元的な情報をヒートマップにより提供することができるようにする。【解決手段】３次元画像内で視聴者が見ている領域の検出結果に基づいて、３次元画像を分割した複数の領域ごとに、視聴者により見られた回数および時間をヒートマップの複数の生成因子として検出する生成因子検出部１３と、当該検出した複数の生成因子に基づいて３次元空間用のヒートマップを生成するヒートマップ生成部１４とを備え、複数の生成因子に基づいて、３次元空間に表示させるヒートマップを生成することにより、２次元空間に表示する従来のヒートマップよりも次元数の多い３次元空間上のヒートマップによって、複数の生成因子に基づく多元的な情報を提供することができるようにする。【選択図】図３

Description

本発明は、ヒートマップ提示装置およびヒートマップ提示用プログラムに関し、特に、視聴者による３次元画像の視聴状況を分析してヒートマップとして提示する装置に用いて好適なものである。

近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲは、コンピュータグラフィックスなどを利用して作成した３次元画像をユーザに提示するものと、現実の世界を撮影して取得した動画をＶＲ用に加工することによって作成した３次元画像をユーザに提示するものとに大別される。後者の一例として、視聴者の視線の動きに合わせて３６０度全方位を見られるようにした３６０度動画と呼ばれるものも提供されている。

ＶＲの応用例は様々であるが、ユーザがゴーグルのようなＨＭＤ（ヘッドマウントディスプレイ）を装着して、コンピュータによりＨＭＤに対して３次元画像として描き出された３次元空間を自由に移動することにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。ゴーグル型のＨＭＤの代わりに眼鏡型や帽子型のＨＭＤを用いる場合もある。ＶＲは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。

ＶＲコンテンツは既存コンテンツと比較して、ユーザが見る方向を自由に選択できるという特徴がある。その一方で、ユーザが３次元空間の中のどこを見ているのか分からないため、開発者はどこに重点をおいてＶＲコンテンツを作成・改善すべきか分からないという問題があった。この問題に対して、ユーザによるＶＲコンテンツの注視点を分析してヒートマップ表示する技術が提供されている（例えば、非特許文献１参照）。

この非特許文献１に記載されたInstaVRという技術によれば、ヒートマップ分析機能を有効化すると、InstaVRで作成されたアプリケーションが自動的にユーザの注視点の情報を収集し、InstaVRの分析基盤に送信する。InstaVRの利用者は、ブラウザ上のＶＲコンテンツ編集画面で、ユーザが見ている領域・視線の移動する順番をヒートマップで把握することができ、分析事実に基づいた効果的なＶＲコンテンツの作成や調整が可能になるとしている。

なお、特許文献１にも、ＶＲコンテンツでユーザが凝視している位置を検出してヒートマップ表示することが開示されている（請求項５７、段落[０３０３]、[０３１９]等参照）。すなわち、特許文献１に記載のＶＲシステムでは、３次元映像データの圧縮されたストリームを含むバーチャルリアリティコンテンツに対してユーザ凝視している位置を検出し、位置ごとのユーザ凝視の数（特定の位置を見たユーザの数）に基づいて、別々の色を含むヒートマップを生成する。

特表２０１６−５３７９０３号公報

ＶＲ体験者が"どこを見ているか"をヒートマップ分析する「InstaVR」 2016.4.26 https://japan.cnet.com/article/35081481/

上述の通り、ユーザによるＶＲコンテンツの注視点を分析してヒートマップ表示することにより、ＶＲコンテンツの中で多くのユーザが見ている領域を把握することが可能となる。しかしながら、上記従来技術において表示されるヒートマップは、２次元の画像により表されるものである。そのため、このようにして作られたヒートマップを見ても、ＶＲコンテンツ上でユーザにより見られた回数の多い位置が分かるだけで、それ以上の情報を得ることができないという問題があった。

本発明は、このような問題を解決するために成されたものであり、３次元空間にＶＲコンテンツとして表示された３次元画像に対するユーザの視聴状況について、多元的な情報をヒートマップにより提供することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、仮想的な３次元空間上に表示された３次元画像内で視聴者が見ている領域の検出した結果として得られる目視領域情報に基づいて、３次元画像を分割した複数の領域ごとに、視聴者により見られた回数および視聴者により見られた時間をヒートマップの複数の生成因子として検出し、当該検出した複数の生成因子に基づいて３次元空間用のヒートマップを生成し、３次元空間上に表示させるようにしている。

上記のように構成した本発明によれば、ヒートマップを生成する際に用いる因子として複数の生成因子が用いられ、当該複数の生成因子に基づいて、３次元空間に表示させるヒートマップが生成される。これにより、３次元空間に表示された３次元画像に対する視聴者の視聴状況について、２次元空間に表示する従来のヒートマップよりも次元数の多い３次元空間上のヒートマップによって、複数の生成因子に基づく多元的な情報を提供することができる。

本実施形態によるヒートマップ提示装置を適用したＶＲ視聴システムの全体構成例を示す図である。 視聴者による目視領域の検出方法の一例を説明するための図である。 第１の実施形態によるヒートマップ提示装置の機能構成例を示すブロック図である。 ヒートマップを生成する際に用いる複数の分割領域を示す図である。 第２の実施形態によるヒートマップ提示装置の機能構成例を示すブロック図である。 第２の実施形態によるヒートマップの生成例を示す図である。 第３の実施形態によるヒートマップ提示装置の機能構成例を示すブロック図である。 第３の実施形態によるヒートマップの生成例を示す図である。 第３の実施形態においてユーザ位置とマップ位置との相対距離がゼロとなった場合におけるヒートマップの生成例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるヒートマップ提示装置を適用したＶＲ視聴システムの全体構成例を示す図である。図１に示すように、本実施形態のＶＲ視聴システムは、サーバ装置１００、ユーザ端末２００および複数の視聴者端末３００を備えて構成される。ユーザ端末２００は、ＨＭＤ２０１を備えている。視聴者端末３００は、再生装置３０１、ＨＭＤ３０２、コントローラ３０３およびモーションセンサ３０４を備えている。なお、再生装置３０１およびＨＭＤ３０２は、図示の通りそれぞれが別体を成す構成でもよいし、両者が１つのコンピュータとして提供される構成であってもよい。

再生装置３０１とサーバ装置１００との間は、インターネットや携帯電話網などの通信ネットワーク４００を介して接続可能に構成されている。また、ユーザ端末２００とサーバ装置１００との間も、通信ネットワーク４００を介して接続可能に構成されている。詳細は後述するが、複数の再生装置３０１からサーバ装置１００に送信される視聴者によるＶＲコンテンツの視聴状況や視聴者の身体の動きを示す情報に基づいて、サーバ装置１００においてヒートマップが生成される。また、サーバ装置１００にて生成されたヒートマップは、ユーザ端末２００に提示される。ユーザ端末２００を使用するユーザは、ＶＲコンテンツの開発者であり、提示されたヒートマップを参照して、ＶＲコンテンツの作成や調整を行うことが可能である。

再生装置３０１は、ＶＲコンテンツとしての３次元画像を再生する。３次元画像は、ＶＲの仮想的な３次元空間を作るための視差画像であり、経時的に内容が変化する動画像である。例えば、３次元画像は、視聴者の視線の動きに合わせて３６０度全方位を見られるようにした３６０度動画と呼ばれるものである。再生装置３０１により再生された３次元画像は、視聴者が装着したＨＭＤ３０２に表示される。

３次元画像が表示されるＨＭＤ３０２には、ジャイロセンサや加速度センサが搭載されており、視聴者の頭の動きを検出することが可能となっている。そして、再生装置３０１は、ＨＭＤ３０２のセンサにより検出された視聴者の頭の動きに応じて、ＨＭＤ３０２の表示上に実現される３次元空間が動的に変わるように、３次元画像の再生を制御する。すなわち、再生装置３０１は、視聴者が正面を向けば正面の３次元空間が広がるような３次元画像を再生し、視聴者が右を向けば右側の３次元空間が広がるような３次元画像を再生し、視聴者が左を向けば左側の３次元空間が広がるような３次元画像を再生する。

再生装置３０１は、仮想的な３次元空間上に表示された３次元画像内で視聴者が見ている領域を検出する機能を有している。すなわち、再生装置３０１は、図２に示すように、ＨＭＤ３０２の表示画面の中央部に設定した所定領域（以下、画面中央領域３０という）を、視聴者が見ている目視領域として検出する。上述のように、ＨＭＤ３０２の表示画面に表示される内容が視聴者の頭の動きに応じて変わるので、３次元画像の全体の中で実際に表示画面に表示されている領域は、視聴者が自分の意思で選択して表示させた領域であり、視聴者が見ている領域であると言える。

よって、ＨＭＤ３０２の表示画面に表示された領域の全体を目視領域として検出するようにしてもよいが、本実施形態ではその中でも特に、表示画面の中央部に設定した画面中央領域３０を視聴者による目視領域として検出する。視聴者は、ＨＭＤ３０２の表示画面の中でも画面中央領域３０に対して特に注目している可能性が高いと考えられるからである。

なお、ＨＭＤ３０２に視線検出センサを搭載して視聴者の実際の視線を検出し、その視線の方向にある所定範囲の領域を視聴者による目視領域として検出するようにしてもよい。所定範囲の大きさは、例えば画面中央領域３０の大きさと同じとする。視線検出センサに代えて、視聴者の目を撮影するカメラを設け、目の撮影画像を画像処理することによって、視聴者の視線を検出するようにしてもよい。視聴者の視線を検出する手段はこの例に限らず、他の公知の手段を用いることも可能である。

ここで、視聴者が頭を動かしている最中に画面中央領域３０に瞬間的に表示される画像が視聴者による目視領域として検出されることがないように、頭の動きが一定時間以上止まっている（多少の動きは許容してよい）ことがセンサにより検出されたときに限り、画面中央領域３０に表示されている３次元画像の領域を目視領域として検出するようにするのが好ましい。なお、頭の多少の動きを許容して頭が一定時間以上止まっていることを検出する場合、その一定時間の間に画面中央領域３０に表示される３次元画像の領域も頭の動きに応じて多少の揺れが生じる。この場合は、例えば、一定時間の間に画面中央領域３０に表示され続けていた画像部分のみ、あるいは一定時間の中の所定割合以上表示されていた画像部分のみを目視領域として検出するようにしてよい。

視聴者の視線を検出する場合も同様に、視聴者が視線を動かしている最中にその視線が瞬間的に通った領域が視聴者による目視領域として検出されることがないように、視線の動きが一定時間以上止まっている（多少の動きは許容してよい）ことがセンサ等により検出されたときに限り、その視線方向の所定範囲に表示されている３次元画像の領域を目視領域として検出するようにするのが好ましい。なお、視線の多少の動きを許容して視線が一定時間以上止まっていることを検出する場合は、例えば、一定時間の間に所定範囲内の画像として表示され続けていた画像部分のみ、あるいは一定時間の中の所定割合以上、所定範囲内の画像として表示されていた画像部分のみを目視領域として検出するようにしてよい。

視聴者は、３次元画像の再生中に、コントローラ３０３を操作することによって、所与の処理実行を再生装置３０１に指示することが可能となっている。例えば、３次元画像の中に操作可能なユーザインタフェースが表示されている場合に、そのユーザインタフェースをコントローラ３０３によって操作することにより、３次元画像の再生を一時停止させたり、操作時に表示されていたコンテンツの一部（例えば、３次元画像内に含まれる特定のオブジェクト）を拡大表示させたり、当該オブジェクトに関連する情報をポップアップ表示させたりすることが可能となっている。なお、ここに挙げた処理は一例であって、これ以外の処理をユーザインタフェースの操作に応じて行うようにしてもよい。

モーションセンサ３０４は、視聴者の手や足などに装着されるセンサであり、３次元画像の表示中における視聴者の身体（手や足）の動きを検出する。なお、視聴者の頭の動きに関しては、上述したように、ＨＭＤ３０２に搭載されたセンサにより検出される。

再生装置３０１は、３次元画像内で視聴者が見ている領域を検出した結果として得られる目視領域情報と、３次元画像の表示中で視聴者が所望の領域を見ているときに視聴者の身体上の動きを検出した結果として得られる動き情報（ＨＭＤ３０２のセンサにより検出される頭の動きや、モーションセンサ３０４により検出される手や足の動きを表す動き情報）とをサーバ装置１００に送信する。

ここで、目視領域情報は、時系列データである３次元画像（動画像）を所定の時間間隔ごとに時分割した単位時間ごとに視聴者の目視領域を示した情報であり、目視領域の位置と、当該目視領域を見ていた時間とを含む。単位時間の長さは任意に設定可能である。例えば、１フレームを単位時間としてもよいし、数フレームを含む所定時間を単位時間としてもよい。また、動き情報は、目視領域情報と関連付けられた情報である。すなわち、動き情報は、視聴者がどの領域を見ているときの動きであるのかが分かる情報として構成されている。

なお、動き情報は、視聴者が３次元画像のある領域を見たときに、身体の動きとして反応があったことを示す情報として利用するものである。そのため、視聴者の微動については動き情報としてサーバ装置１００に送信せず、所定の大きさ以上の動きがあったことをセンサ等により検出した場合にのみ、動き情報をサーバ装置１００に送信するようにするのが好ましい。また、手の動きに関しては、視聴者がコントローラ３０３を操作したことを検出したときにのみ、動き情報をサーバ装置１００に送信するようにしてもよい。また、頭の動きに関しては、視聴者が３次元画像の見る範囲を変えるために行った動きと区別するために、所定の頭の動き（例えば、頷きの動きや、頭を前のめりにする動きなど）を検出した場合にのみ、動き情報をサーバ装置１００に送信するようにしてもよい。

サーバ装置１００は、複数の視聴者端末３００から送られてくる目視領域情報および動き情報に基づいて、３次元空間内に表示させるためのヒートマップを生成する。また、サーバ装置１００は、ユーザ端末２００からの要求に応じて、生成したヒートマップのデータをユーザ端末２００に提供し、ＨＭＤ２０１にヒートマップを表示させる。

本実施形態において生成するヒートマップは、基本的に、時系列データである３次元画像を時分割した単位時間ごとに、複数の視聴者によって３次元画像内のどの領域がどの程度見られているのか、視聴者が身体を動かすという反応がどの領域を見ているときにどの程度行われていたのかが分かるように構成したマップ情報である。また、後述する第２および第３の実施形態において生成するヒートマップは、ユーザ端末２００においてヒートマップを見ているユーザの３次元空間内における仮想的な立ち位置に応じて見え方が変わるマップ情報である。以下に、このサーバ装置１００におけるヒートマップの生成処理の詳細を説明する。

（第１の実施形態）
図３は、サーバ装置１００に実装される第１の実施形態によるヒートマップ提示装置の機能構成例を示すブロック図である。図３に示すように、第１の実施形態によるヒートマップ提示装置は、その機能構成として、目視領域情報取得部１１、動き情報取得部１２、生成因子検出部１３、ヒートマップ生成部１４およびヒートマップ表示制御部１５を備えている。

上記各機能ブロック１１〜１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

目視領域情報取得部１１は、複数の視聴者端末３００（再生装置３０１）から目視領域情報を取得する。すなわち、目視領域情報取得部１１は、仮想的な３次元空間上に表示された３次元画像内で視聴者が見ている領域を検出した結果として得られる目視領域情報を複数の視聴者端末３００から取得し、これを保存する。なお、視聴者端末３００の再生装置３０１は、３次元画像の再生が終了した時点で目視領域情報をサーバ装置１００に送信し、目視領域情報取得部１１がこれを取得する。

動き情報取得部１２は、複数の視聴者端末３００（再生装置３０１）から動き情報を取得する。すなわち、動き情報取得部１２は、３次元画像の表示中で視聴者が所望の領域を見ているときに視聴者の身体上の動きを検出した結果として得られる動き情報を複数の視聴者端末３００から取得し、これを保存する。なお、視聴者端末３００の再生装置３０１は、３次元画像の再生が終了した時点で動き情報をサーバ装置１００に送信し、動き情報取得部１２がこれを取得する。なお、説明の便宜上、目視領域情報取得部１１と動き情報取得部１２とを分けているが、視聴者端末３００から送られてくる目視領域情報および動き情報を受信する機能をサーバ装置１００が備えていればよい。

生成因子検出部１３は、目視領域情報取得部１１により取得された目視領域情報に基づいて、３次元画像を分割した複数の領域ごとに、視聴者により見られた回数および視聴者により見られた時間を、ヒートマップの生成因子として検出する。また、生成因子検出部１３は、目視領域情報により示される視聴者が見ている領域について、動き情報取得部１２により取得された動き情報により示される視聴者の身体上の動きの状況を、ヒートマップの生成因子として検出する。このように、生成因子検出部１３は、領域が視聴者により見られた回数、領域が視聴者により見られた時間、領域が見られているときの視聴者の身体上の動きの状況の３つをヒートマップの生成因子として検出する。

ここで、３次元画像を分割した複数の領域とは、３次元画像の全体を格子状に分割した個々の領域をいう。この領域の大きさは、画面中央領域３０の大きさよりも小さく設定されている。図４は、ヒートマップを生成する際に用いる複数の分割領域を示す図である。図４に示すように、３次元画像の全体を格子状に分割した個々の領域４１が、ヒートマップを生成する際に用いる複数の分割領域である。

なお、図４には、ある視聴者端末３００から送られてきた目視領域情報により示される目視領域４２を示している。この目視領域４２は、ある１つの単位時間において視聴者が目視した領域を示すものであり、その大きさは画面中央領域３０の大きさと同じである（ただし、頭の動きが一定時間以上止まっている場合にのみ目視領域を検出する場合は、目視領域４２は画面中央領域３０より小さい範囲で、矩形領域になるとは限らない）。

３次元画像を分割した複数の領域のうち、ある領域が視聴者により見られた回数とは、複数の視聴者端末３００から送られてくる目視領域情報のうち、当該ある領域が見られていることが示されている目視領域情報の個数を意味する。すなわち、ある領域が視聴者により見られた回数とは、当該ある領域を見た視聴者の数に相当する。

例えば、図４の例において、ある一人の視聴者に関する１つの目視領域４２に含まれる複数（図４の例では３０個）の分割領域４１は、視聴者により見られた回数として１回がカウントされる。別の視聴者に関しても同じ分割領域４１が目視されていたことが当該別の視聴者に関する目視領域情報により示されていれば、その分割領域４１が視聴者により見られた回数は２回となる。このようにして、目視領域情報取得部１１により複数の視聴者端末３００から取得された複数の目視領域情報に基づいて、３次元画像を分割した複数の領域４１ごとに、視聴者により見られた回数がカウントされ、それがヒートマップの生成因子の１つとして検出される。

また、３次元画像を分割した複数の領域のうち、ある領域が視聴者により見られた時間とは、視聴者が分割領域を見ていた時間の総計である。例えば、上述した図４の例において、ある一人の視聴者が目視領域４２を見ていた時間が２秒であれば、当該目視領域４２に含まれる複数の分割領域４１が視聴者により見られた時間は２秒とカウントされる。別の視聴者に関しても同じ分割領域４１が目視されていたことが当該別の視聴者に関する目視領域情報により示されていて、その目視時間が３秒であれば、その分割領域４１が視聴者により見られた時間は合計の５秒とカウントされる。このようにして、目視領域情報取得部１１により複数の視聴者端末３００から取得された複数の目視領域情報に基づいて、３次元画像を分割した複数の領域４１ごとに、視聴者により見られた時間がカウントされ、それがヒートマップの生成因子の１つとして検出される。

また、目視領域情報により示される視聴者が見ている領域について、動き情報により示される視聴者の身体上の動きの状況とは、視聴者がある領域を見ているときに、視聴者が頭、手、足の何れかを動かした回数を示す情報である。すなわち、ある領域が視聴者により見られているときにおける視聴者の身体上の動きの状況とは、当該ある領域を見ているときに頭、手、足の何れかを動かした視聴者の数に相当する。

例えば、上述した図４の例において、ある一人の視聴者が目視領域４２を見ているときに身体の動きがあったことが動き情報により示されていれば、当該目視領域４２に含まれる複数の分割領域４１について、視聴者の身体の動きは１回とカウントされる。別の視聴者に関しても、同じ分割領域４１を見ているときに身体の動きがあったことが動き情報により示されていれば、その分割領域４１に関して、視聴者の身体の動きは２回とカウントされる。このようにして、動き情報取得部１２により複数の視聴者端末３００から取得された複数の動き情報に基づいて、３次元画像を分割した複数の領域４１ごとに、視聴者の身体の動きの回数がカウントされ、それがヒートマップの生成因子の１つとして検出される。

ヒートマップ生成部１４は、生成因子検出部１３により検出された複数の生成因子に基づいて、３次元空間上に表示させるヒートマップを生成する。３次元空間上に表示させるヒートマップとは、３次元空間に表示された３次元画像を時分割した複数の単位時間ごとに、かつ、３次元画像を空間的に分割した複数の領域ごとに、視聴者による目視状況および身体の動き状況に応じた表示態様を決定して表示させるマップ情報である。

第１の実施形態において、ヒートマップ生成部１４は、複数の生成因子の何れか１つまたは複数の組み合わせに基づいてヒートマップの平面上の表示態様を決定するとともに、複数の生成因子の残りに基づいてヒートマップの奥行上の表示態様を決定して、当該決定内容に基づいてヒートマップを生成する。例えば、ヒートマップ生成部１４は、視聴者により見られた回数および時間に応じてヒートマップの平面上の表示態様を決定するとともに、視聴者の身体上の動きの状況に応じてヒートマップの奥行上の表示態様を決定して、当該決定内容に基づいてヒートマップを生成する。

平面上の表示態様とは、例えば表示色の種類、表示の濃度、表示パターンの種類などである。例えば、ヒートマップ生成部１４は、視聴者により見られた回数および時間を用いて所定の関数値を計算し、その関数値の大きさに応じて表示色の種類と濃度とを分割領域ごとに決定することにより、ヒートマップの平面上の表示態様を決定する。また、奥行上の表示態様とは、分割領域の遠近、厚みなどである。例えば、ヒートマップ生成部１４は、ある領域について検出された視聴者の動きの回数が０回の場合の表示を基準として、動きの回数が多くなるほど、その領域が近くに見えるように表示したり、その領域が厚く見えるように表示したりするように、ヒートマップの奥行上の表示態様を決定する。

なお、平面上の表示態様を決定するための生成因子と、奥行上の表示態様を決定するための生成因子との組み合わせは、上記の例に限定されない。例えば、視聴者により見られた回数に基づいてヒートマップの平面上の表示態様を決定するとともに、視聴者により見られた時間および視聴者の身体上の動きの状況に基づいてヒートマップの奥行上の表示態様を決定するようにしてもよい。あるいは、視聴者の身体上の動きの状況に基づいてヒートマップの平面上の表示態様を決定するとともに、視聴者により見られた回数および時間に基づいてヒートマップの奥行上の表示態様を決定するようにしてもよい。その他の組み合わせでも構わない。

ヒートマップ表示制御部１５は、ヒートマップ生成部１４により生成されたヒートマップを３次元空間上に表示させる。具体的には、ヒートマップ表示制御部１５は、ユーザ端末２００から送られてくる表示要求に応じて、ヒートマップ生成部１４により生成されたヒートマップをユーザ端末２００のＨＭＤ２０１に表示させる。すなわち、ユーザ端末２００は、ヒートマップの表示要求をサーバ装置１００に送信することにより、ヒートマップのデータをサーバ装置１００から取得し、ヒートマップをＨＭＤ２０１に表示させる。

ここで、ヒートマップ表示制御部１５は、３次元空間に展開される３次元画像の全体領域に関する全体のヒートマップをユーザ端末２００のＨＭＤ２０１の表示画面に表示させる。または、３次元画像の全体領域に対応する全体のヒートマップのうち、一部の領域に対応するヒートマップをＨＭＤ２０１の表示画面に表示させ、ＨＭＤ２０１を装着したユーザの頭の動きに応じて、全体のヒートマップの中から抽出する一部の領域を変えるようにしてもよい。すなわち、視聴者端末３００のＨＭＤ３０２に表示される３次元画像と同様に、ＨＭＤ２０１のセンサにより検出されるユーザの頭の動きに応じて、ＨＭＤ２０１に表示されるヒートマップの方向が動的に変わるようにしてもよい。

上述のように、ヒートマップは、３次元空間に表示された３次元画像を時分割した複数の単位時間ごとに生成されている。したがって、ヒートマップ表示制御部１５は、単位時間ごとに生成された複数のヒートマップを、順次切り替えながら動画のようにして表示させる。

なお、単位時間ごとに生成された複数のヒートマップの表示方法は、以上の例に限定されない。例えば、３次元画像の再生開始時点から再生終了時点までの複数の単位時間の中から所望の単位時間を選択可能にするユーザインタフェースを表示させ、ユーザ端末２００において当該ユーザインタフェースの操作を通じて選択された単位時間に対応するヒートマップのみを選択的に表示させるようにしてもよい。

以上詳しく説明したように、第１の実施形態では、３次元画像内でユーザが見ている領域の検出した結果として得られる目視領域情報と、３次元画像の表示中で視聴者が所望の領域を見ているときに視聴者の身体上の動きを検出した結果として得られる動き情報とに基づいて、３次元画像を分割した複数の領域ごとに、視聴者により見られた回数、視聴者により見られた時間および視聴者の身体の動きの状況をヒートマップの複数の生成因子として検出し、当該検出した複数の生成因子に基づいて３次元空間用のヒートマップを生成し、３次元空間上に表示させるようにしている。

このように構成した第１の実施形態によれば、ヒートマップを生成する際に用いる因子として複数の生成因子が用いられ、当該複数の生成因子に基づいて、３次元空間に表示させるヒートマップが生成される。これにより、３次元空間に表示された３次元画像に対する視聴者の視聴状況について、２次元空間に表示する従来のヒートマップよりも次元数の多い３次元空間上のヒートマップによって、複数の生成因子に基づく多元的な情報を提供することができる。

なお、上記実施形態では、ヒートマップを生成する際に用いる生成因子として、視聴者により見られた回数、視聴者により見られた時間、視聴者の身体の動きの状況の３つを用いる例について説明したが、本発明はこれに限定されない。例えば、視聴者により見られた回数および時間の２つを生成因子として用いるようにしてもよい。これは、以下に述べる第２の実施形態および第３の実施形態でも同様である。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。第２の実施形態において、ＶＲ視聴システムの全体構成は、図１と同様である。図５は、サーバ装置１００に実装される第２の実施形態によるヒートマップ提示装置の機能構成例を示すブロック図である。なお、この図５において、図３に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図５に示すように、第２の実施形態によるヒートマップ提示装置は、その機能構成として、ユーザ位置検出部１６を更に備えている。また、第２の実施形態によるヒートマップ提示装置は、ヒートマップ生成部１４に代えてヒートマップ生成部１４’を備えている。

ユーザ位置検出部１６は、ヒートマップ表示制御部１５によりユーザ端末２００のＨＭＤ２０１にヒートマップが表示されている３次元空間内におけるユーザの仮想的な存在位置を示すユーザ位置を検出する。すなわち、ユーザ端末２００では、ユーザ端末２００に対するユーザ操作に応じて、ＨＭＤ２０１に表示されるヒートマップを見る際の仮想的な視点の位置、つまり、ユーザが３次元空間内にいると仮想した場合におけるユーザの存在位置を任意に変えることができるようになっている。

ここで言う任意に変えられる視点の位置とは、３次元空間内においてヒートマップが表示される位置が固定であるとして、そのヒートマップが表示される固定位置からの相対距離と相対方向との少なくとも一方が異なる視点の位置のことである。すなわち、ユーザは、３次元空間内におけるユーザの仮想的な存在位置（仮想的な視点の位置）をヒートマップに近づけたり、ヒートマップから遠ざけたりすることができるようになっている。また、ユーザは、３次元空間内におけるユーザの仮想的な存在位置を、ヒートマップからみて正面以外の様々な方向に変えることができるようになっている。

ユーザ端末２００は、この仮想的な視点の位置、つまりユーザの仮想的な存在位置を示す情報をサーバ装置１００に送信する。サーバ装置１００のユーザ位置検出部１６は、このユーザの存在位置情報をユーザ端末２００から取得することにより、３次元空間内におけるユーザの仮想的な存在位置を示すユーザ位置を検出する。

ヒートマップ生成部１４’は、ユーザ位置検出部１６により検出された３次元空間内におけるユーザ位置と、３次元空間内におけるヒートマップの仮想的な存在位置を示すマップ位置（ヒートマップが表示される固定位置）との相対関係に応じて、見え方が異なるヒートマップを生成する。すなわち、ヒートマップ生成部１４’は、ユーザ位置とマップ位置との相対距離が大きくなるほど広範囲のヒートマップを生成し、ユーザ位置とマップ位置との相対距離が小さくなるほど狭範囲のヒートマップを生成する。また、ヒートマップ生成部１４’は、マップ位置から見たユーザ位置の相対方向が変わった場合には、その相対方向から見た状態のヒートマップを生成する。

図６は、第２の実施形態によるヒートマップの生成例を示す図である。図６（ａ）は、ユーザ位置とマップ位置との相対距離が大きい場合に生成される広範囲のヒートマップを示し、図６（ｂ）は、ユーザ位置とマップ位置との相対距離が小さい場合に生成される狭範囲のヒートマップを示している。

例えば、ユーザ位置としてデフォルトの位置を定め、そのデフォルトの位置においてユーザ位置とマップ位置との相対距離が最も大きくなるようにする。すなわち、３次元空間内における仮想的なユーザ位置を、ユーザ位置とマップ位置との相対距離が最も大きくなるデフォルトの位置と、ユーザ位置とマップ位置との相対距離が最も小さくなる（ゼロとなる）マップ位置との間で任意に変えることができるようにする。

また、ユーザ位置とマップ位置との相対方向に関しては、デフォルトのユーザ位置が、全体領域のヒートマップの中心点から正面の位置となるようにする。そして、３次元空間内における仮想的なユーザ位置を、全体領域のヒートマップの表示範囲内を限度として任意に変えることができるようにする。

そして、ヒートマップ生成部１４’は、デフォルトの位置にユーザ位置があることがユーザ位置検出部１６により検出された場合に、図６（ａ）に示すように、３次元空間に展開される３次元画像の全体領域に関する全体のヒートマップ６１を生成する。これにより、ユーザ端末２００のＨＭＤ２０１には、ヒートマップ表示制御部１５によって全体のヒートマップ６１が表示される。

また、ヒートマップ生成部１４’は、デフォルトの位置よりもマップ位置側に近づいた位置にユーザ位置があることがユーザ位置検出部１６により検出された場合は、図６（ｂ）に示すように、ユーザ位置とマップ位置との相対距離および相対方向に応じて絞り込まれた範囲６２のヒートマップ６３を生成する。範囲６２は、移動したユーザ位置からヒートマップの方向を正面視した場合における視線とヒートマップとの交点を中心として、相対距離に応じた大きさに設定される。これにより、ユーザ端末２００のＨＭＤ２０１には、ヒートマップ表示制御部１５によって一部の領域６２のヒートマップ６３が拡大した態様で表示される。

なお、図６（ａ）のように全体領域のヒートマップ６１を表示するときには奥行上の表示態様は考慮せずにヒートマップを生成し、図６（ｂ）のように一部領域６２のヒートマップ６３を拡大表示するときのみ奥行上の表示態様を考慮してヒートマップを生成するようにしてもよい。

このように構成した第２の実施形態によれば、ユーザ操作に応じて設定される３次元空間内における仮想的なユーザ位置に応じて、ヒートマップの表示範囲を変えることができる。すなわち、ヒートマップの表示位置から遠い位置にユーザ位置を設定すれば、全体領域のヒートマップを表示させることができる。また、ヒートマップの表示位置にユーザ位置を近づければ、一部領域のヒートマップを拡大して表示させることができる。これにより、ユーザが確認したい範囲に合わせてヒートマップを切り替えて表示させることができ、３次元画像に対する視聴者の視聴状況をユーザの意思に応じて確認しやすくすることができる。

（第３の実施形態）
次に、本発明の第３の実施形態を図面に基づいて説明する。第３の実施形態において、ＶＲ視聴システムの全体構成は、図１と同様である。図７は、サーバ装置１００に実装される第３の実施形態によるヒートマップ提示装置の機能構成例を示すブロック図である。なお、この図７において、図５に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図７に示すように、第３の実施形態によるヒートマップ提示装置は、図５に示したヒートマップ生成部１４’に代えてヒートマップ生成部１４”を備えている。ヒートマップ生成部１４”は、ユーザ位置検出部１６により検出された３次元空間内におけるユーザ位置と、３次元空間内におけるヒートマップの仮想的な存在位置を示すマップ位置との相対関係に基づいて、生成因子検出部１３により検出された複数の生成因子のうち何れか１つまたは複数を用いてヒートマップを生成する。

例えば、ヒートマップ生成部１４”は、ユーザ位置とマップ位置との相対距離が閾値以上の場合に、複数の生成因子のうち何れか１つ、または複数の生成因子から算出される１つの関数値を用いてヒートマップを生成する。複数の生成因子のうち何れか１つを用いてヒートマップを生成する場合は、視聴者により見られた回数、視聴者により見られた時間、視聴者の身体の動きの状況のうち、どれを用いてヒートマップを生成するかをあらかじめ決めておく。また、複数の生成因子から算出される１つの関数値を用いてヒートマップを生成する場合は、複数の生成因子を変数として用いる関数をあらかじめ設定しておき、この関数によって算出される値を用いてヒートマップを生成する。

また、ヒートマップ生成部１４”は、ユーザ位置とマップ位置との相対距離が閾値未満の場合に、複数の生成因子のうち何れか複数または全部をそれぞれ個別の生成因子として用いてヒートマップを生成する。例えば、ヒートマップ生成部１４”は、ユーザ位置とマップ位置との相対距離が閾値未満となって全体領域から絞り込まれた範囲のヒートマップを生成する際に、３次元画像の元々の分割領域のそれぞれを更に複数の小領域に平面分割し、それぞれの小領域に対して複数の生成因子のうち何れか複数または全部を要素とする表示態様を決定して、当該決定内容に基づいてヒートマップを生成する。

図８は、第３の実施形態によるヒートマップの生成例を示す図である。図８（ａ）は、ユーザ位置とマップ位置との相対距離が閾値以上の場合に生成される広範囲のヒートマップを示し、図８（ｂ）は、ユーザ位置とマップ位置との相対距離が閾値未満の場合に生成される狭範囲のヒートマップを示している。図８において、範囲６２の絞り方は、図６を用いて説明した第２の実施形態と同様でよい。

第３の実施形態が第２の実施形態と異なるのは、図８（ｂ）のようにユーザ位置とマップ位置との相対距離が閾値未満の場合に生成されるヒートマップの態様である。図８の例において、ヒートマップ生成部１４”は、３次元画像の範囲６２について拡大表示されたヒートマップ６３”の分割領域のそれぞれを更に３つの小領域８１，８２，８３に平面分割し、それぞれの小領域８１，８２，８３に対し、視聴者により見られた回数、視聴者により見られた時間、視聴者の身体の動きの状況を要素とする表示態様をそれぞれ決定して、当該決定内容に基づいてヒートマップ６３”を生成する。

例えば、第１の小領域８１においては、視聴者により見られた回数をヒートマップ６３”の生成因子として、第１の表示色（例えば、赤色）を目視回数に応じた濃度で可変とするような表示態様を決定する。また、第２の小領域８２においては、視聴者により見られた時間をヒートマップ６３”の生成因子として、第２の表示色（例えば、青色）を目視時間に応じた濃度で可変とするような表示態様を決定する。また、第３の小領域８３においては、視聴者の身体の動きの状況をヒートマップ６３”の生成因子として、第３の表示色（例えば、緑色）を動きの回数に応じた濃度で可変とするような表示態様を決定する。

このようにすれば、３次元空間内における仮想的なユーザ位置がマップ位置に近づくことによって一部領域のヒートマップが拡大表示される場合に、拡大された分割領域を更に複数の小領域に分割して、異なる生成因子の観点から異なる態様でヒートマップを表示させることができる。これにより、３次元空間に表示された３次元画像に対する視聴者の視聴状況について、複数の生成因子を個別に考慮した場合の多元的なヒートマップをユーザに提供することができ、３次元画像に対する視聴者の視聴状況をより詳細に分析することができるようになる。

なお、小領域８１〜８３ごとに決定された表示態様に基づくヒートマップがヒートマップ表示制御部１５により表示されているときに、ユーザ位置がマップ位置に更に近づいていって、ユーザ位置とマップ位置との相対距離がゼロとなった場合、ヒートマップ生成部１４”は、そのときのユーザ位置が存在する小領域に対応する生成因子だけを用いて、ユーザ位置が３次元空間上の所定位置（例えば、デフォルト位置としてよいが、これに限定されない）にいるとした場合におけるヒートマップを生成するようにしてもよい。

図９は、ユーザ位置とマップ位置との相対距離がゼロとなった場合におけるヒートマップの生成例を示す図である。図９（ａ）は、ユーザ位置とマップ位置との相対距離がゼロとなる直前に生成されるヒートマップを示している。この場合、ユーザ位置はマップ位置の直前にあるので、１つの分割領域に相当するヒートマップが拡大表示されている。すなわち、１つの分割領域を３つに分割した小領域８１〜８３のヒートマップが表示された状態になっている。

この状態において、ユーザが小領域８１〜８３の中の何れかを選択して更に近づくと（選択した小領域の中に入る状態）、ユーザ位置とマップ位置との相対距離がゼロとなる。この場合、ヒートマップ生成部１４”は、図９（ｂ）に示すように、相対距離がゼロとなったユーザ位置が存在する小領域に対応する生成因子だけを用いて、ユーザ位置が３次元空間上のデフォルト位置にいるとした場合における全体領域のヒートマップを生成する。図９の例では、視聴者の身体の動きの状況を生成因子とする第３の小領域８３に入った場合を示しており、この場合にヒートマップ生成部１４”は、身体の動きの状況だけを生成因子として全体領域のヒートマップを生成する。

このように、３つの小領域に分割して表示されていた３つの態様のヒートマップのうち、ユーザが特に見たいと考える生成因子のヒートマップがある場合、仮想的なユーザ位置をマップ位置に近づけていって、見たいと考える生成因子に対応する小領域を選択してユーザ位置とマップ位置との相対距離をゼロにすればよい。これにより、視聴者による視聴状況を分析するユーザの希望に応じて、仮想的なユーザ位置を制御するだけで、注目して見たい生成因子のヒートマップに動的に切り替えることができる。

なお、上記第３の実施形態では、１つの分割領域を３つの小領域に更に分割する例について説明したが、２つの小領域に分割するようにしてもよい。例えば、ヒートマップ生成部１４”は、１つの小領域に対して、２つの生成因子から求めた関数値を生成因子として第１のヒートマップを生成するとともに、もう１つの小領域に対して、残り１つの生成因子を用いて第２のヒートマップを生成するようにすることが可能である。

また、ヒートマップ生成部１４”は、ユーザ位置とマップ位置との相対距離が閾値未満の場合に、複数の生成因子のうち何れか複数または全部を用いて、ヒートマップの平面上の表示態様および奥行上の表示態様をそれぞれ決定して、当該決定内容に基づいてヒートマップを生成するようにしてもよい。例えば、１つの分割領域を２つの小領域に分割し、当該２つの小領域に対して、それぞれ２つの生成因子を用いて第１および第２のヒートマップを生成し、残り１つの生成因子を用いて何れかのヒートマップに奥行を与えるようにすることが可能である。

また、上記第３の実施形態では、３つの生成因子の全てを用い、それぞれを個別の生成因子として３つの小領域に対するヒートマップを生成する例について説明したが、３つの生成因子のうち何れか２つをそれぞれ個別の生成因子として用いて、２つの小領域に対するヒートマップを生成するようにしてもよい。例えば、ユーザ位置とマップ位置の相対距離に関して２つの閾値を設定し、相対距離が最も大きいデフォルト位置からマップ位置の方に近づいていって１つ目の閾値未満となったときに２つの小領域に対するヒートマップを生成し、２つ目の閾値未満となったときに３つの小領域に対するヒートマップを生成するようにすることが可能である。この場合、２つの小領域に対するヒートマップの生成に用いる２つの生成因子は、あらかじめ決められたものとしてもよいし、ユーザが任意に設定できるようにしてもよい。

また、上記第１〜第３の実施形態において、視聴者の身体の動き情報として、センサにより検出される頭、手、足の動きに関する情報を用いる例について説明したが、本発明はこれに限定されない。例えば、胴の動きを検出して動き情報として用いるようにしてもよい。あるいは、心拍数または脈拍数をセンサにより検出し、これを視聴者の身体の動き情報として用いるようにしてもよい。また、３次元画像内に表示されたユーザインタフェースに対するユーザ操作を検出し、当該ユーザインタフェースに対するユーザの操作を視聴者の身体の動き情報として用いるようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ 目視領域情報取得部
１２ 動き情報取得部
１３ 生成因子検出部
１４，１４’，１４” ヒートマップ生成部
１５ ヒートマップ表示制御部
１６ ユーザ位置検出部
１００ サーバ装置（ヒートマップ提示装置）
２００ ユーザ端末
３００ 視聴者端末

Claims (10)

1. 仮想的な３次元空間上に表示された３次元画像内で視聴者が見ている領域を検出した結果として得られる目視領域情報を取得する目視領域情報取得部と、
   上記目視領域情報に基づいて、上記３次元画像を分割した複数の領域ごとに、上記視聴者により見られた回数および上記視聴者により見られた時間をヒートマップの複数の生成因子として検出する生成因子検出部と、
   上記生成因子検出部により検出された上記複数の生成因子に基づいて、上記３次元空間上に表示させるヒートマップを生成するヒートマップ生成部と、
   上記ヒートマップ生成部により生成されたヒートマップを上記３次元空間上に表示させるヒートマップ表示制御部とを備えたことを特徴とするヒートマップ提示装置。
2. 上記３次元画像の表示中で上記視聴者が所望の領域を見ているときに上記視聴者の身体上の動きを検出した結果として得られる動き情報を取得する動き情報取得部を更に備え、
   上記生成因子検出部は、上記目視領域情報により示される上記視聴者が見ている領域について、上記動き情報により示される上記視聴者の身体上の動きの状況を、上記ヒートマップの生成因子として更に検出することを特徴とする請求項１に記載のヒートマップ提示装置。
3. 上記ヒートマップ表示制御部により上記ヒートマップが表示されている上記３次元空間内におけるユーザの仮想的な存在位置を示すユーザ位置を検出するユーザ位置検出部を更に備え、
   上記ヒートマップ生成部は、上記ユーザ位置検出部により検出された上記３次元空間内における上記ユーザ位置と、上記３次元空間内における上記ヒートマップの仮想的な存在位置を示すマップ位置との相対関係に応じて、見え方が異なるヒートマップを生成することを特徴とする請求項１または２に記載のヒートマップ提示装置。
4. 上記ヒートマップ生成部は、上記複数の生成因子の何れか１つまたは複数の組み合わせに基づいて上記ヒートマップの平面上の表示態様を決定するとともに、上記複数の生成因子の残りに基づいて上記ヒートマップの奥行上の表示態様を決定して、当該決定内容に基づいて上記ヒートマップを生成することを特徴とする請求項３に記載のヒートマップ提示装置。
5. 上記ヒートマップ生成部は、上記ユーザ位置検出部により検出された上記３次元空間内における上記ユーザ位置と、上記３次元空間内における上記ヒートマップの仮想的な存在位置を示すマップ位置との相対関係に基づいて、上記生成因子検出部により検出された複数の生成因子のうち何れか１つまたは複数を用いて上記ヒートマップを生成することを特徴とする請求項３または４に記載のヒートマップ提示装置。
6. 上記ヒートマップ生成部は、上記ユーザ位置と上記マップ位置との相対距離が閾値以上の場合に、上記複数の生成因子のうち何れか１つ、または上記複数の生成因子から算出される１つの関数値を用いて上記ヒートマップを生成することを特徴とする請求項５に記載のヒートマップ提示装置。
7. 上記ヒートマップ生成部は、上記ユーザ位置と上記マップ位置との相対距離が上記閾値未満の場合に、上記複数の生成因子のうち何れか複数または全部をそれぞれ個別の生成因子として用いて上記ヒートマップを生成することを特徴とする請求項６に記載のヒートマップ提示装置。
8. 上記ヒートマップ生成部は、上記ユーザ位置と上記マップ位置との相対距離が上記閾値未満の場合に、上記分割した複数の領域のそれぞれを更に複数の小領域に平面分割し、それぞれの小領域に対して上記複数の生成因子のうち何れか複数または全部を要素とする表示態様を決定して、当該決定内容に基づいて上記ヒートマップを生成することを特徴とする請求項７に記載のヒートマップ提示装置。
9. 上記ヒートマップ生成部により上記小領域ごとに決定された表示態様に基づくヒートマップが上記ヒートマップ表示制御部により表示されているときに、上記ユーザ位置と上記マップ位置との相対距離がゼロとなった場合、上記ヒートマップ生成部は、そのときの上記ユーザ位置が存在する小領域に対応する生成因子だけを用いて、上記ユーザ位置が上記３次元空間上の所定位置にいるとした場合におけるヒートマップを生成することを特徴とする請求項８に記載のヒートマップ提示装置。
10. 仮想的な３次元空間上に表示された３次元画像内でユーザが見ている領域を検出する目視領域検出手段、
    上記目視領域検出手段による検出結果に基づいて、上記３次元画像を分割した領域ごとに、ユーザにより見られた回数およびユーザにより見られた時間をヒートマップの複数の生成因子として検出する生成因子検出手段、
    上記生成因子検出手段により検出された上記複数の生成因子に基づいて、上記３次元空間上に表示させるヒートマップを生成するヒートマップ生成手段、および
    上記ヒートマップ生成手段により生成されたヒートマップを上記３次元空間上に表示させるヒートマップ表示制御手段
    としてコンピュータを機能させるためのヒートマップ提示用プログラム。