JP6055535B1 - 集中度処理システム - Google Patents
集中度処理システム Download PDFInfo
- Publication number
- JP6055535B1 JP6055535B1 JP2015237432A JP2015237432A JP6055535B1 JP 6055535 B1 JP6055535 B1 JP 6055535B1 JP 2015237432 A JP2015237432 A JP 2015237432A JP 2015237432 A JP2015237432 A JP 2015237432A JP 6055535 B1 JP6055535 B1 JP 6055535B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- content
- concentration
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】集中度の利用を容易にするための仕組みを有する集中度処理システムを提供する。【解決手段】集中度処理システムを構成するソフトウェアは、エンジン部501、ツール部503、インターフェース部502に機能を分化させている。エンジン部501は、撮像装置411が出力する画像データストリームからベクトルデータ等の基本的なデータを生成する。ツール部503は、エンジン部501が出力するデータに基づいて、集中度等の、顧客システム505に対して有用なデータを算出する。また、集中度とは別に、コンテンツ102の様々な情報や、ユーザー101を特定する情報等も、ツール部503が出力する。インターフェース部502は、エンジン部501から出力されるデータをツール部503に引き渡したり、ツール部503から出力されるデータを顧客システム505へ引き渡す等の、データの授受を管理する。【選択図】図5
Description
本発明は、コンピューターや電子機器等が利用者に提供するコンテンツに対し、利用者がコンテンツに示す集中度に関する情報を検出し、利用する、集中度処理システムに関する。
テレビジョン放送(以下「TV放送」)において放送される映像コンテンツが、どれだけ視聴者に視聴されているのかを示す指標として、従来から「世帯視聴率」が用いられている。TV放送における世帯視聴率の計測は、サンプルとなる家庭に視聴率を測定するための機器を設置し、その機器が、テレビジョン受像機(以下「TV」)がオン状態で表示しているチャンネルに関する情報をほぼリアルタイムで集計拠点へ送信する。すなわち世帯視聴率とは、視聴時間と視聴チャンネルに関する情報を集計した結果であり、世帯視聴率という情報から視聴者がどのような状態で番組(映像コンテンツ)を視聴したのかはわからない。
例えば、視聴者がTV番組に対し、画面を注視せずラジオのように聞き流すような視聴形態である場合には、当該番組は視聴者にとって集中した状態で視聴されていないこととなる。このような視聴形態では、TV番組に挟まれるコマーシャル(以下「CM」)の宣伝効果はあまり期待できない。
例えば、視聴者がTV番組に対し、画面を注視せずラジオのように聞き流すような視聴形態である場合には、当該番組は視聴者にとって集中した状態で視聴されていないこととなる。このような視聴形態では、TV番組に挟まれるコマーシャル(以下「CM」)の宣伝効果はあまり期待できない。
視聴者がTV番組をどの程度集中して視聴しているのかを知るための技術が、幾つか検討されている。
特許文献1には、TV番組に対し、視聴者がどの程度集中しているのかを「集中度」と定義し、その集中度を習得し、利用する技術内容が開示されている。
特許文献2には、2個の撮像素子を用いて、ユーザーの注視状態(集中度に等しい)を評価するための技術内容が開示されている。
特許文献3には、1個の撮像素子を用いて、TV番組ではなく、端末装置を用いた試験における、受験者の集中度を評価するための技術内容が開示されている。
特許文献1には、TV番組に対し、視聴者がどの程度集中しているのかを「集中度」と定義し、その集中度を習得し、利用する技術内容が開示されている。
特許文献2には、2個の撮像素子を用いて、ユーザーの注視状態(集中度に等しい)を評価するための技術内容が開示されている。
特許文献3には、1個の撮像素子を用いて、TV番組ではなく、端末装置を用いた試験における、受験者の集中度を評価するための技術内容が開示されている。
前述の特許文献3に示されるように、視聴者の集中度とは、対象となるコンテンツは必ずしもTV番組に限らない。あらゆるコンテンツが対象となる。ここで、オンライン若しくはオフラインにて、コンピューターや電子機器を介して提供される文字列、音声、静止画像、映像(動画)、またこれらが組み合わされたプレゼンテーションやゲーム等の、対象者が理解可能な内容にて享受する情報を、コンテンツ(contents)と総称する。またこれ以降、本明細書では、コンテンツを享受及び/または利用する者を、視聴者ではなくユーザーと総称する。
これまで、コンテンツに対するユーザーの集中度を測定する技術は、例えば前述の特許文献1、2及び3にあるように、幾つか提案されているが、ユーザーから測定した集中度をどのように利用するかについては、あまり議論がされていなかった。
本発明はかかる課題に鑑みてなされたものであり、集中度の利用を容易にするための仕組みを有する集中度処理システムを提供することを目的とする。
上記課題を解決するために、本発明集中度処理システムは、コンテンツを表示する表示部と、表示部を見るユーザーの顔を撮影可能な方向に設置される撮像装置を備え、更にエンジンコア部と該エンジンコア部以外のソフトウェア機能を有するエンジン部とからなり、撮像装置から出力される画像データストリームからユーザーの顔の向き及びユーザーの視線の向きを示すベクトルデータを出力するエンジン部を備える。
また、ベクトルデータからユーザーが表示部に表示されているコンテンツに対する集中度を算出する集中度算出機能を有する第一ツール部と、ベクトルデータ及び/又は集中度を所定の情報処理装置へ出力する入出力制御部と、を備える。
そして、エンジンコア部は、ユーザーの顔が存在するか否かを検出し、ユーザーの顔の三次元イメージから前記ユーザーの顔の抽出点の座標情報を出力し、エンジンコア部以外のソフトウェア機能を有するエンジン部は、ユーザーの顔の向き及びユーザーの視線の向きを示すベクトルデータ、及び該ベクトルデータの時間軸上の揺らぎである変化量を算出し、第一ツール部は、ユーザーが表示部に表示されているコンテンツを注視しているか否かを所定の範囲を有するデータとして出力する。
また、ベクトルデータからユーザーが表示部に表示されているコンテンツに対する集中度を算出する集中度算出機能を有する第一ツール部と、ベクトルデータ及び/又は集中度を所定の情報処理装置へ出力する入出力制御部と、を備える。
そして、エンジンコア部は、ユーザーの顔が存在するか否かを検出し、ユーザーの顔の三次元イメージから前記ユーザーの顔の抽出点の座標情報を出力し、エンジンコア部以外のソフトウェア機能を有するエンジン部は、ユーザーの顔の向き及びユーザーの視線の向きを示すベクトルデータ、及び該ベクトルデータの時間軸上の揺らぎである変化量を算出し、第一ツール部は、ユーザーが表示部に表示されているコンテンツを注視しているか否かを所定の範囲を有するデータとして出力する。
本発明により、集中度の利用を容易にするための仕組みを有する集中度処理システムを提供できる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本実施形態に係る集中度処理システムは、特許文献3に開示されている集中度の測定技術を利用する。その上で、集中度処理システムは、様々な利用形態が想定される集中度について、ソフトウェアの開発と利用を容易にするフレームワークを提供する。
なお、本実施形態における集中度処理システムでは、視覚を利用するコンテンツを対象とする。したがって、音声のみのコンテンツは、本実施形態の集中度処理システムにおける集中度の測定及び利用の対象外である。
なお、本実施形態における集中度処理システムでは、視覚を利用するコンテンツを対象とする。したがって、音声のみのコンテンツは、本実施形態の集中度処理システムにおける集中度の測定及び利用の対象外である。
[集中度について]
図1A及び図1Bは、本実施形態に係る集中度処理システムにおける、ユーザーの集中度の仕組みを説明する概略図である。
図1Aにおいて、ユーザー101はコンテンツ102を表示しているディスプレイ103を注視している。ディスプレイ103のすぐ上にはカメラ104が装着されている。カメラ104はディスプレイ103の前に存在するユーザー101の顔を撮影可能な方向に向けられている。カメラ104には、図示しない(図4以降で後述する)情報処理装置が接続されている。情報処理装置は、カメラ104から得られる画像データから、ユーザー101の顔の向き及び/又は視線がディスプレイ103の方向に向いているか否かを検出し、ユーザー101がコンテンツ102に注視しているか否かを、0から1まで、あるいは0から255まで、または0から1023まで等、所定の範囲を有する値のデータで出力する。この値が集中度である。
図1A及び図1Bは、本実施形態に係る集中度処理システムにおける、ユーザーの集中度の仕組みを説明する概略図である。
図1Aにおいて、ユーザー101はコンテンツ102を表示しているディスプレイ103を注視している。ディスプレイ103のすぐ上にはカメラ104が装着されている。カメラ104はディスプレイ103の前に存在するユーザー101の顔を撮影可能な方向に向けられている。カメラ104には、図示しない(図4以降で後述する)情報処理装置が接続されている。情報処理装置は、カメラ104から得られる画像データから、ユーザー101の顔の向き及び/又は視線がディスプレイ103の方向に向いているか否かを検出し、ユーザー101がコンテンツ102に注視しているか否かを、0から1まで、あるいは0から255まで、または0から1023まで等、所定の範囲を有する値のデータで出力する。この値が集中度である。
図1Bにおいて、ユーザー101はコンテンツ102を表示しているディスプレイ103を注視していない。カメラ104に接続されている情報処理装置は、カメラ104から得られる画像データから、図1Aにおける集中度よりも低い値の集中度を出力する。
このように、本実施形態に係る集中度処理システムは、ユーザー101の顔の向き及び/又は視線がコンテンツ102を表示しているディスプレイ103に向かっているか否かを、カメラ104から得られる画像データから算出する。
このように、本実施形態に係る集中度処理システムは、ユーザー101の顔の向き及び/又は視線がコンテンツ102を表示しているディスプレイ103に向かっているか否かを、カメラ104から得られる画像データから算出する。
図2A、図2B及び図2Cは、ディスプレイ103の種類とカメラ104のバリエーションを示す図である。
図3A及び図3Bは、ディスプレイ103の種類とカメラ104が装着される配置関係を示す図である。
図2Aは、据え置き型のLCDディスプレイ201に、外付けのUSBタイプwebカメラ202が装着されている例である。
図2Bは、ノートパソコン203のLCDディスプレイ204の枠に、webカメラ205が埋設されている例である。
図2Cは、スマートフォン等の携帯型無線端末206のLCDディスプレイ207の枠に、自分撮り用インカメラ208が埋設されている例である。
これら図2A、図2B及び図2Cに共通する点は、カメラ104がディスプレイ103の中心線近傍に設けられている点である。
図3A及び図3Bは、ディスプレイ103の種類とカメラ104が装着される配置関係を示す図である。
図2Aは、据え置き型のLCDディスプレイ201に、外付けのUSBタイプwebカメラ202が装着されている例である。
図2Bは、ノートパソコン203のLCDディスプレイ204の枠に、webカメラ205が埋設されている例である。
図2Cは、スマートフォン等の携帯型無線端末206のLCDディスプレイ207の枠に、自分撮り用インカメラ208が埋設されている例である。
これら図2A、図2B及び図2Cに共通する点は、カメラ104がディスプレイ103の中心線近傍に設けられている点である。
図3Aは、図2A及び図2Bに対応する、横型のディスプレイ103aにおける、カメラ104の最適な配置位置の領域を示す図である。
図3Bは、図2Cに対応する、縦型のディスプレイ103aにおける、カメラ104の最適な配置位置の領域を示す図である。
図3Aのディスプレイ103a、及び図3Bのディスプレイ103b、すなわちディスプレイが横型、縦型の何れの場合でも、ディスプレイ103a及び103bの上下の辺の、中心線L302及びL304を通過する領域301a、301b、303a及び303bが、カメラ104がユーザー101の顔と視線を無調整で正しく捕捉できる位置である。カメラ104が中心線L302及びL304の近傍に配置されていれば、ユーザー101の顔がディスプレイ103a及び103bの真正面からずれた位置に存在していても、ディスプレイ103a及び103bからユーザー101の顔と視線の角度を無調整で正しく把握できる。
図3Bは、図2Cに対応する、縦型のディスプレイ103aにおける、カメラ104の最適な配置位置の領域を示す図である。
図3Aのディスプレイ103a、及び図3Bのディスプレイ103b、すなわちディスプレイが横型、縦型の何れの場合でも、ディスプレイ103a及び103bの上下の辺の、中心線L302及びL304を通過する領域301a、301b、303a及び303bが、カメラ104がユーザー101の顔と視線を無調整で正しく捕捉できる位置である。カメラ104が中心線L302及びL304の近傍に配置されていれば、ユーザー101の顔がディスプレイ103a及び103bの真正面からずれた位置に存在していても、ディスプレイ103a及び103bからユーザー101の顔と視線の角度を無調整で正しく把握できる。
なお、カメラ104がこれらの領域から外れる位置に設置される場合は、ユーザー101の顔と視線がディスプレイ103に正しく向かっているか否かを検出するために、予めユーザー101の顔と視線がディスプレイ103に正しく向かっている時の、カメラ104から見たユーザー101の顔と視線の向きの情報を検出して、不揮発性ストレージ406(図4参照)等に記憶しておくとよい。
[集中度処理システム:ハードウェア構成]
図4は、集中度処理システム401のハードウェア構成を示すブロック図である。
クライアント402は一般的なコンピューターであり、CPU403、ROM404、RAM405、不揮発性ストレージ406、現在日時情報を出力するリアルタイムクロック(以下「RTC」)407、操作部408がバス409に接続されている。そして、集中度処理システム401において重要な役割を持つ表示部410(ディスプレイ103)と撮像装置411(カメラ104)もバス409に接続されている。
クライアント402はバス409に接続されたNIC(Network Interface Card)412を通じて、インターネット413を介してサーバー414と通信を行う。
サーバー414もまた一般的なコンピューターであり、CPU415、ROM416、RAM417、不揮発性ストレージ418、NIC419がバス420に接続されている。
図4は、集中度処理システム401のハードウェア構成を示すブロック図である。
クライアント402は一般的なコンピューターであり、CPU403、ROM404、RAM405、不揮発性ストレージ406、現在日時情報を出力するリアルタイムクロック(以下「RTC」)407、操作部408がバス409に接続されている。そして、集中度処理システム401において重要な役割を持つ表示部410(ディスプレイ103)と撮像装置411(カメラ104)もバス409に接続されている。
クライアント402はバス409に接続されたNIC(Network Interface Card)412を通じて、インターネット413を介してサーバー414と通信を行う。
サーバー414もまた一般的なコンピューターであり、CPU415、ROM416、RAM417、不揮発性ストレージ418、NIC419がバス420に接続されている。
なお、図4では一般的なクライアント・サーバーシステムを例示しているが、必ずしも集中度処理システム401にはインターネット413(ネットワーク)やサーバー414が必須ではない。後述する実施形態の中には、サーバー414やネットワークが存在しないスタンドアロンの装置もありうる。
[第一実施形態:ソフトウェア機能の概要]
図5は、本発明の第一の実施形態に係る集中度処理システム401のソフトウェア機能を示すブロック図である。なお、図5のブロック図は集中度処理システム401において想定されるソフトウェア機能を上位概念で記述している。
集中度処理システム401は、撮像装置411、エンジン部501、インターフェース部502、ツール部503、コンテンツ再生部504、顧客システム505及び顧客ツール506よりなる。
図5は、本発明の第一の実施形態に係る集中度処理システム401のソフトウェア機能を示すブロック図である。なお、図5のブロック図は集中度処理システム401において想定されるソフトウェア機能を上位概念で記述している。
集中度処理システム401は、撮像装置411、エンジン部501、インターフェース部502、ツール部503、コンテンツ再生部504、顧客システム505及び顧客ツール506よりなる。
撮像装置411から出力される画像データは、エンジン部501に供給される。エンジン部501は、撮像装置411から出力される画像データから、ユーザー101の顔の向き、ユーザー101の視線の向き、そしてそれらの動きを算出する。先ず、エンジン部501は撮像装置411から出力される画像データを静止画として捉え、周知のポリゴン処理等の三次元的解析処理を経て、ユーザー101の顔の存在を認識し、顔の向き、視線の向きをベクトルデータとして算出する。次に、静止画が時間軸上で連続することで動画データとして捉え、顔の向き及び視線の向きのベクトルデータが時間軸上でどのように変動したかを算出する。このような演算処理を経て、最終的にエンジン部501は、直交座標系または3次元極座標系等の3次元空間における、ユーザー101の顔の向きを示すベクトル、ユーザー101の視線の向きを示すベクトル、そしてこれらベクトルの時間軸上の揺らぎ、すなわち変動量を出力する。
エンジン部501の内部には、エンジンコア部507が備わっている。このエンジンコア部507は、エンジン部501が出力するベクトルデータ等の算出根拠として最低限必要な機能を担う。具体的には、例えば画像データ中にユーザー101の顔が存在するか否かを検出する機能と、ユーザー101の顔にポリゴン処理を施してそのベクトルデータを生成する機能である。
もし、ワンチップマイコン等の、演算能力と記憶容量が限られている低資源装置をクライアント402として使用する場合、クライアント402のソフトウェアとしてエンジン部501を実装することが困難である場合が想定される。そのような状況で、撮像装置411が出力する画像データを映像データストリームとしてインターネット413等のネットワークを介して連続的に顧客システム505へ送信すると、ネットワークに多大な負荷をかけてしまう。そこで、このような場合の対処として、通信のデータ量を削減するため、エンジン部501の中でも最低限必要な部分をエンジンコア部507として切り分け可能な形態にする。
もし、ワンチップマイコン等の、演算能力と記憶容量が限られている低資源装置をクライアント402として使用する場合、クライアント402のソフトウェアとしてエンジン部501を実装することが困難である場合が想定される。そのような状況で、撮像装置411が出力する画像データを映像データストリームとしてインターネット413等のネットワークを介して連続的に顧客システム505へ送信すると、ネットワークに多大な負荷をかけてしまう。そこで、このような場合の対処として、通信のデータ量を削減するため、エンジン部501の中でも最低限必要な部分をエンジンコア部507として切り分け可能な形態にする。
エンジン部501又はエンジンコア部507から出力されるデータは、インターフェース部502に供給される。入出力制御部ともいえるインターフェース部502は、ツール部503が存在する場合にはツール部503とデータの入出力を行い、また顧客システム505に対してもデータの入出力を行う。
ツール部503は、エンジン部501またはエンジンコア部507が出力するデータ以外のデータをインターフェース部502に供給する。このツール部503は、クライアント402の実装形態に応じて様々な形態が想定される。ツール部503が存在しないクライアント402もあれば、複数のツール部503を有するクライアント402も存在しうる。図5では、典型的な例として、3種類のツール部503を例示している。
ツール部503は、エンジン部501またはエンジンコア部507が出力するデータ以外のデータをインターフェース部502に供給する。このツール部503は、クライアント402の実装形態に応じて様々な形態が想定される。ツール部503が存在しないクライアント402もあれば、複数のツール部503を有するクライアント402も存在しうる。図5では、典型的な例として、3種類のツール部503を例示している。
第一ツール部508は、多くのクライアント402に実装されることを想定される、集中度を算出する機能(ソフトウェアコンポーネントあるいはライブラリモジュール)である。第一ツール部508は、予めROM404または不揮発性ストレージ406に保持されている、表示部410(ディスプレイ103)の大きさ、また撮像装置411(カメラ104)の設置位置等の情報を基に、ユーザー101の顔の向きを示すベクトルとユーザー101の視線の向きを示すベクトルが、ユーザー101と表示部410とを結ぶベクトルに対してどれだけ角度がずれているかを算出する。この角度が、集中度を算出する基礎となるデータになる。そして、ベクトルの変動量を所定の閾値と比較して、集中度の基礎データに対する加減算を施し、最終的に0から1まで等、所定の範囲を有する値の集中度を算出する。
エンジン部501、エンジンコア部507、インターフェース部502、そしてこの第一ツール部508は、多くのクライアント402に共通して実装されることを想定して作られる、標準コンポーネントである。
エンジン部501、エンジンコア部507、インターフェース部502、そしてこの第一ツール部508は、多くのクライアント402に共通して実装されることを想定して作られる、標準コンポーネントである。
第二ツール部509は、コンテンツ102の情報をインターフェース部502に供給する。例えば、ネットワークストレージ510またはローカルストレージ511に保持されているコンテンツ102をコンテンツ再生処理部512が再生している時、コンテンツ再生処理部512が現在再生しているコンテンツ102の再生時間または再生シーン等の情報を、コンテンツ102を一意に特定するコンテンツ情報と共にインターフェース部502に供給する。
第三ツール部513は、コンテンツ102以外の情報をインターフェース部502に供給する。例えば、RTC407が出力する現在日時情報や、不揮発性ストレージ406に保持されている、クライアント402を使用するユーザー101を一意に特定する利用者情報(以下「UID」)等である。
第二ツール部509と第三ツール部513は、クライアント402の要求仕様、そして実装形態に応じて追加又は削除されうる、オプションのコンポーネントである。
なお、顧客の要求仕様に対応するために用意されるカスタマイズコンポーネントは、インターフェース部502の外側に実装される。
第三ツール部513は、コンテンツ102以外の情報をインターフェース部502に供給する。例えば、RTC407が出力する現在日時情報や、不揮発性ストレージ406に保持されている、クライアント402を使用するユーザー101を一意に特定する利用者情報(以下「UID」)等である。
第二ツール部509と第三ツール部513は、クライアント402の要求仕様、そして実装形態に応じて追加又は削除されうる、オプションのコンポーネントである。
なお、顧客の要求仕様に対応するために用意されるカスタマイズコンポーネントは、インターフェース部502の外側に実装される。
例えば、コンテンツ102が光ディスク等のローカルストレージ511に保持されている映像である場合は、第二ツール部509は最初にコンテンツ再生処理部512が再生しようとするコンテンツ102のコンテンツ情報をインターフェース部502に出力した後、コンテンツ再生処理部512が現在再生している映像の再生時間をインターフェース部502に出力する。そして、第三ツール部513は不揮発性ストレージ406に保持されている、クライアント402を使用するユーザー101を一意に特定する利用者情報をインターフェース部502に出力する。すると、インターフェース部502は第一ツール部508から得られる集中度と、第二ツール部509から得られるコンテンツ情報とコンテンツ102の再生時間と、第三ツール部513から得られる利用者情報を組み合わせて、特定のユーザー101におけるリアルタイムの集中度の情報として、顧客システム505に出力することができる。
インターフェース部502は、顧客システム505に対し、集中度又はこれに準じる情報を出力する。顧客システム505は、インターフェース部502から集中度又はこれに準じる情報を受信して、所定の処理を実行する。その際、顧客システム505は所定の処理の一部として、顧客ツール506を用いて、集中度又はこれに準じる情報を処理する。
なお、図5における顧客システム505及び顧客ツール506は、図4のサーバー414として実装される場合がある他、サーバー414及びネットワークを廃し、クライアント402に含める、すなわち、スタンドアロンの構成もあり得る。
なお、図5における顧客システム505及び顧客ツール506は、図4のサーバー414として実装される場合がある他、サーバー414及びネットワークを廃し、クライアント402に含める、すなわち、スタンドアロンの構成もあり得る。
[第二実施形態:低資源装置における実装形態]
図6は、本発明の第二の実施形態に係る集中度処理システム601の実装例におけるソフトウェア機能を示すブロック図である。
図6に示す集中度処理システム601は、低資源装置をクライアント402として使用する場合を想定している。例えば、クライアント402が携帯型ゲーム機の場合、ゲームソフトウェアの実行にCPU403の演算能力やRAM405の容量等、計算機資源の大半が消費され、集中度の処理に十分な計算機資源を回す余裕がない場合が考えられる。このような状況では、クライアント402には集中度の演算処理として必要最小限のものを搭載することが好ましい。具体的には、エンジンコア部507とインターフェース部502のみをクライアント402に搭載する。エンジン部501、第一ツール部508等は顧客システム505であるサーバー414に搭載される。
図6は、本発明の第二の実施形態に係る集中度処理システム601の実装例におけるソフトウェア機能を示すブロック図である。
図6に示す集中度処理システム601は、低資源装置をクライアント402として使用する場合を想定している。例えば、クライアント402が携帯型ゲーム機の場合、ゲームソフトウェアの実行にCPU403の演算能力やRAM405の容量等、計算機資源の大半が消費され、集中度の処理に十分な計算機資源を回す余裕がない場合が考えられる。このような状況では、クライアント402には集中度の演算処理として必要最小限のものを搭載することが好ましい。具体的には、エンジンコア部507とインターフェース部502のみをクライアント402に搭載する。エンジン部501、第一ツール部508等は顧客システム505であるサーバー414に搭載される。
[第三実施形態:エンジン部501、ツール部503のバリエーション]
図7A及び図7Bは、本発明の第三の実施形態に係る集中度処理システム601の実装例におけるソフトウェア機能を示すブロック図である。
図7Aに示す集中度処理システム701及び図7Bに示す集中度処理システム702は、図6の事例とは異なり、一般的なパソコン等におけるソフトウェア機能の実装を想定している。
図7Aの集中度処理システム701において、第一エンジン部703はエンジンコア部507を内蔵する。エンジンコア部507は、撮像装置411から受信した画像データから、ユーザー101の顔の三次元イメージを計算して、顔の抽出点(目、鼻、口などを特定する点)の座標情報を出力する。そして、第一エンジン部703の、エンジンコア部507以外のソフトウェア機能は、エンジンコア部507が出力した抽出点の座標情報から、ユーザー101の顔の向きや視線の向きのベクトル及びその変化量を算出し、インターフェース部502へ出力する。
図7A及び図7Bは、本発明の第三の実施形態に係る集中度処理システム601の実装例におけるソフトウェア機能を示すブロック図である。
図7Aに示す集中度処理システム701及び図7Bに示す集中度処理システム702は、図6の事例とは異なり、一般的なパソコン等におけるソフトウェア機能の実装を想定している。
図7Aの集中度処理システム701において、第一エンジン部703はエンジンコア部507を内蔵する。エンジンコア部507は、撮像装置411から受信した画像データから、ユーザー101の顔の三次元イメージを計算して、顔の抽出点(目、鼻、口などを特定する点)の座標情報を出力する。そして、第一エンジン部703の、エンジンコア部507以外のソフトウェア機能は、エンジンコア部507が出力した抽出点の座標情報から、ユーザー101の顔の向きや視線の向きのベクトル及びその変化量を算出し、インターフェース部502へ出力する。
この第一エンジン部703に代えて、第二エンジン部704として、撮像装置411から得られる映像データから、ユーザー101の顔皮膚の直下に存在する静脈を撮影し、静脈が拡張、収縮する変動をデータとして抽出する機能に交換することが可能である。この第二エンジン部704も、第一エンジン部703と同様、エンジンコア部507を内蔵する。そして、第二エンジン部704の、エンジンコア部507以外のソフトウェア機能は、エンジンコア部507が出力した抽出点の一部(ユーザー101の顔の局部)の座標情報から、顔の局部の画像データをインターフェース部502へ出力する。顔の局部の画像データには、ユーザー101の顔皮膚の直下に存在する静脈が含まれる。エンジンコア部507は共通のまま、エンジンコア部507以外のソフトウェア機能を第一エンジン部703から第二エンジン部704に変更することで、顔と視線のベクトル及びその変化量を算出するソフトウェア機能が、顔の局部の画像データを出力するソフトウェア機能に変更できる。
そして、エンジン部501を第一エンジン部703から第二エンジン部704に交換した場合、ツール部503も第一ツール部508である集中度算出処理から、第四ツール部705として、静脈の変動データから脈拍を算出する処理に交換する必要が生じる。
そして、エンジン部501を第一エンジン部703から第二エンジン部704に交換した場合、ツール部503も第一ツール部508である集中度算出処理から、第四ツール部705として、静脈の変動データから脈拍を算出する処理に交換する必要が生じる。
図7Bの集中度処理システム702において、エンジン部501は直交座標系または3次元極座標系等の3次元空間における、ユーザー101の顔の向きを示すベクトル、ユーザー101の視線の向きを示すベクトル、そしてこれらベクトルの時間軸上の揺らぎ、すなわち変動量を出力する。なお、エンジン部501にはエンジンコア部507が内蔵されており、エンジンコア部507は画像データ中にユーザー101の顔が存在するか否かを検出し、ユーザー101の顔にポリゴン処理を施してその3Dデータを生成する。そして、第一ツール部508はエンジン部501のデータを基に集中度算出処理を行う。この第一ツール部508に代えて、第五ツール部706として、エンジンコア部507から得られるユーザー101の顔の3Dデータから、ユーザー101の表情を解析する機能に交換することが可能である。
[第四実施形態:集中度の代わりにベクトルデータをネットワークに送信]
図8は、本発明の第四の実施形態に係る集中度処理システム801の実装例におけるソフトウェア機能を示すブロック図である。
図8に示す集中度処理システム801は、図6に類似する、低資源装置をクライアント402として使用する場合を想定している。図6の場合と同様、低資源装置に集中度処理を搭載する場合、コンテンツの再生に低資源装置が有する計算機資源の大半が消費され、集中度の処理に十分な計算機資源を回す余裕がない場合が考えられる。このような状況では、クライアント402には集中度の演算処理として必要最小限のものを搭載することが好ましい。図8に示す、図6の集中度処理システム801との相違点は、エンジン部501とインターフェース部502、そして第二ツール部509、第三ツール部513をクライアント402に搭載する。集中度の算出を行う第一ツール部508は顧客システム505であるサーバー414に搭載させる。この場合、エンジン部501から出力される、直交座標系または3次元極座標系等の3次元空間における、ユーザー101の顔の向きを示すベクトル、ユーザー101の視線の向きを示すベクトル、そしてこれらベクトルの時間軸上の揺らぎ、すなわち変動量が、ネットワークを通じて顧客システム505へ出力される。
図8は、本発明の第四の実施形態に係る集中度処理システム801の実装例におけるソフトウェア機能を示すブロック図である。
図8に示す集中度処理システム801は、図6に類似する、低資源装置をクライアント402として使用する場合を想定している。図6の場合と同様、低資源装置に集中度処理を搭載する場合、コンテンツの再生に低資源装置が有する計算機資源の大半が消費され、集中度の処理に十分な計算機資源を回す余裕がない場合が考えられる。このような状況では、クライアント402には集中度の演算処理として必要最小限のものを搭載することが好ましい。図8に示す、図6の集中度処理システム801との相違点は、エンジン部501とインターフェース部502、そして第二ツール部509、第三ツール部513をクライアント402に搭載する。集中度の算出を行う第一ツール部508は顧客システム505であるサーバー414に搭載させる。この場合、エンジン部501から出力される、直交座標系または3次元極座標系等の3次元空間における、ユーザー101の顔の向きを示すベクトル、ユーザー101の視線の向きを示すベクトル、そしてこれらベクトルの時間軸上の揺らぎ、すなわち変動量が、ネットワークを通じて顧客システム505へ出力される。
顧客システム505のデータベース802には、第三ツール部513が出力する、RTC407から得られる現在日時情報、不揮発性ストレージ406に保持されている利用者情報、第二ツール部509が出力する、コンテンツ識別情報、コンテンツ102の現在再生時間またはシーン情報等、そしてエンジン部501が出力する、ユーザー101の顔の向きのベクトル、ユーザー101の視線のベクトル、これらベクトルの時間軸上の変動量、表示部410とユーザー101の顔との角度の差等の情報が蓄積される。
集中度の算出処理を行う第一ツール部508は、顧客システム505にて様々なデータ解析作業を実行する際に稼働する。
図8に示す集中度処理システム801は、顧客システム505のデータベース802に第一ツール部508の算出結果である集中度を格納せず、エンジン部501が出力する、集中度を算出するための根拠となるデータを格納することで、第一ツール部508のバージョンアップ等に即応できる。
集中度の算出処理を行う第一ツール部508は、顧客システム505にて様々なデータ解析作業を実行する際に稼働する。
図8に示す集中度処理システム801は、顧客システム505のデータベース802に第一ツール部508の算出結果である集中度を格納せず、エンジン部501が出力する、集中度を算出するための根拠となるデータを格納することで、第一ツール部508のバージョンアップ等に即応できる。
[第五実施形態:ユーザー101のカテゴライズ]
図9Aは、本発明の第五の実施形態に係る集中度処理システム901の実装例におけるソフトウェア機能を示すブロック図である。
図9に示す集中度処理システム901は、クライアント402として一般的なパソコン等を使用し、サーバー414を有するシステムを想定している。
顧客システム505のデータベース802には、インターフェース部502から、第一ツール部508が出力する集中度、第二ツール部509が出力する、コンテンツ識別情報、コンテンツ102の現在再生時間またはシーン情報等、第三ツール部513が出力する、RTC407から得られる現在日時情報、及び不揮発性ストレージ406に保持されている利用者情報等の情報が蓄積される。
顧客システム505は、顧客ツール506の一種としてクラスター分析処理部902を備える。クラスター分析処理部902は、データベース802に格納されているユーザー101毎の集中度の変化について、類似度を算出し、この類似度に基づいてユーザー101を幾つかのクラスターに分化させる。
図9Aは、本発明の第五の実施形態に係る集中度処理システム901の実装例におけるソフトウェア機能を示すブロック図である。
図9に示す集中度処理システム901は、クライアント402として一般的なパソコン等を使用し、サーバー414を有するシステムを想定している。
顧客システム505のデータベース802には、インターフェース部502から、第一ツール部508が出力する集中度、第二ツール部509が出力する、コンテンツ識別情報、コンテンツ102の現在再生時間またはシーン情報等、第三ツール部513が出力する、RTC407から得られる現在日時情報、及び不揮発性ストレージ406に保持されている利用者情報等の情報が蓄積される。
顧客システム505は、顧客ツール506の一種としてクラスター分析処理部902を備える。クラスター分析処理部902は、データベース802に格納されているユーザー101毎の集中度の変化について、類似度を算出し、この類似度に基づいてユーザー101を幾つかのクラスターに分化させる。
図9Bは、顧客システム505のデータベース802を構成するテーブルの、フィールド構成の一例を示す図である。
データベース802には、ユーザーマスター903、集中度テーブル904、クラスターテーブル905が含まれる。
ユーザーマスター903は、UIDフィールド、性別フィールド、年齢フィールド、その他属性情報フィールドを有する。
UIDフィールドには、ユーザー101を一意に識別するユーザーID(UID)が格納される。
性別フィールドには、ユーザー101の性別が格納され、年齢フィールドにはユーザー101の年齢が格納される。
その他属性情報フィールドには、ユーザー101の住環境、未婚既婚、家族構成、就業就学等の、性別と年齢以外のユーザー101に纏わる情報が格納される。
データベース802には、ユーザーマスター903、集中度テーブル904、クラスターテーブル905が含まれる。
ユーザーマスター903は、UIDフィールド、性別フィールド、年齢フィールド、その他属性情報フィールドを有する。
UIDフィールドには、ユーザー101を一意に識別するユーザーID(UID)が格納される。
性別フィールドには、ユーザー101の性別が格納され、年齢フィールドにはユーザー101の年齢が格納される。
その他属性情報フィールドには、ユーザー101の住環境、未婚既婚、家族構成、就業就学等の、性別と年齢以外のユーザー101に纏わる情報が格納される。
集中度テーブル904は、UIDフィールド、コンテンツIDフィールド、コンテンツ再生日時フィールド、コンテンツ再生時間又はコンテンツチャプターIDフィールド、集中度フィールドを有する。
UIDフィールドは、ユーザーマスター903の同名フィールドと同じである。
コンテンツIDフィールドには、コンテンツ102を一意に識別するためのコンテンツIDが格納される。
コンテンツ再生日時フィールドには、ユーザー101がコンテンツ102を再生した日時が格納される。殆どの場合、コンテンツ再生日時は、クライアント402が内蔵するRTC407が出力する現在日時情報である。
コンテンツ再生時間又はコンテンツチャプターIDフィールドには、コンテンツ102の再生時間、またはコンテンツ102のシーンやチャプターを示す情報、すなわちコンテンツ102の再生位置情報が格納される。
集中度フィールドには、コンテンツ再生時間又はコンテンツチャプターIDフィールドに格納されるコンテンツ102の再生位置情報における、ユーザー101の集中度が格納される。
UIDフィールドは、ユーザーマスター903の同名フィールドと同じである。
コンテンツIDフィールドには、コンテンツ102を一意に識別するためのコンテンツIDが格納される。
コンテンツ再生日時フィールドには、ユーザー101がコンテンツ102を再生した日時が格納される。殆どの場合、コンテンツ再生日時は、クライアント402が内蔵するRTC407が出力する現在日時情報である。
コンテンツ再生時間又はコンテンツチャプターIDフィールドには、コンテンツ102の再生時間、またはコンテンツ102のシーンやチャプターを示す情報、すなわちコンテンツ102の再生位置情報が格納される。
集中度フィールドには、コンテンツ再生時間又はコンテンツチャプターIDフィールドに格納されるコンテンツ102の再生位置情報における、ユーザー101の集中度が格納される。
クラスターテーブル905は、UIDフィールド、コンテンツIDフィールド、コンテンツ102再生日時フィールド、集中度空間内座標フィールド、クラスターIDフィールド、推定性別フィールド、推定年齢フィールド、その他推定属性情報フィールド、推定適合率フィールドを有する。
UIDフィールド、コンテンツIDフィールド及びコンテンツ102再生日時フィールドは、それぞれ集中度テーブル904の同名フィールドと同じである。
集中度空間内座標フィールドには、コンテンツ102の再生地点情報とユーザー101の集中度を示す仮想的多次元座標空間内における、ユーザー101の位置情報が格納される。
クラスターIDフィールドには、クラスター分析処理部902によって仮想的多次元座標空間内に形成される、集中度の変動傾向が類似するユーザー101同士の集合体を一意に識別するためのクラスターIDが格納される。
UIDフィールド、コンテンツIDフィールド及びコンテンツ102再生日時フィールドは、それぞれ集中度テーブル904の同名フィールドと同じである。
集中度空間内座標フィールドには、コンテンツ102の再生地点情報とユーザー101の集中度を示す仮想的多次元座標空間内における、ユーザー101の位置情報が格納される。
クラスターIDフィールドには、クラスター分析処理部902によって仮想的多次元座標空間内に形成される、集中度の変動傾向が類似するユーザー101同士の集合体を一意に識別するためのクラスターIDが格納される。
推定性別フィールドには、クラスター分析処理部902による分析の結果として推定した、ユーザー101の推定性別が格納される。
推定年齢フィールドには、クラスター分析処理部902による分析の結果として推定した、ユーザー101の推定年齢が格納される。
その他推定属性情報フィールドには、クラスター分析処理部902による分析の結果として推定した、ユーザー101の推定住環境、推定未婚既婚、推定家族構成、推定就業就学等の、性別と年齢以外のユーザー101に纏わる推定情報が格納される。
推定適合率フィールドには、当該ユーザー101の過去の推定結果と照らし合わせて、どの程度合致しているかを示す適合率が格納される。この推定適合率は、クラスター分析処理部902による推定結果の確からしさでもある。
推定年齢フィールドには、クラスター分析処理部902による分析の結果として推定した、ユーザー101の推定年齢が格納される。
その他推定属性情報フィールドには、クラスター分析処理部902による分析の結果として推定した、ユーザー101の推定住環境、推定未婚既婚、推定家族構成、推定就業就学等の、性別と年齢以外のユーザー101に纏わる推定情報が格納される。
推定適合率フィールドには、当該ユーザー101の過去の推定結果と照らし合わせて、どの程度合致しているかを示す適合率が格納される。この推定適合率は、クラスター分析処理部902による推定結果の確からしさでもある。
図10は、本発明の第五の実施形態に係る集中度処理システム901における、ユーザー101の属性情報を推定する処理の流れを示すフローチャートである。本フローチャートにおける処理は、データベース802に所定のコンテンツ102における各ユーザー101の集中度が格納された時点で実行される。
処理を開始すると(S1001)、クラスター分析処理部902は集中度テーブル904とユーザーマスター903を参照して、性別・年齢や他の属性情報が既知のユーザー101について、仮想的な集中度空間内における座標を計算する(S1002)。
次にクラスター分析処理部902は、集中度空間内における各々のユーザー101同士の距離を計算し、その距離が近いユーザー101同士をカテゴライズするクラスターIDを付与する(S1003)。このクラスター分析には、ウォード法、K−means++法等、既知のアルゴリズムを利用する。
次にクラスター分析処理部902は、クラスターIDを付与したクラスター毎にクラスター内の平均となる位置、すなわち重心を求める(S1004)。
次にクラスター分析処理部902は、クラスターIDを付与したクラスターに属するユーザー101の性別や年齢等の属性情報について、統計処理に必要な出現頻度や分散を算出する(S1005)。
ステップS1005の時点で、性別・年齢他の属性情報が既知のユーザー101について、クラスタリングが完了する。
処理を開始すると(S1001)、クラスター分析処理部902は集中度テーブル904とユーザーマスター903を参照して、性別・年齢や他の属性情報が既知のユーザー101について、仮想的な集中度空間内における座標を計算する(S1002)。
次にクラスター分析処理部902は、集中度空間内における各々のユーザー101同士の距離を計算し、その距離が近いユーザー101同士をカテゴライズするクラスターIDを付与する(S1003)。このクラスター分析には、ウォード法、K−means++法等、既知のアルゴリズムを利用する。
次にクラスター分析処理部902は、クラスターIDを付与したクラスター毎にクラスター内の平均となる位置、すなわち重心を求める(S1004)。
次にクラスター分析処理部902は、クラスターIDを付与したクラスターに属するユーザー101の性別や年齢等の属性情報について、統計処理に必要な出現頻度や分散を算出する(S1005)。
ステップS1005の時点で、性別・年齢他の属性情報が既知のユーザー101について、クラスタリングが完了する。
次にクラスター分析処理部902は、集中度テーブル904とユーザーマスター903を参照して、性別・年齢や他の属性情報が不明のユーザー101について、集中度空間内における座標を計算する(S1006)。
次にクラスター分析処理部902は、ステップS1006で算出した座標情報と、各クラスターIDの重心との距離を計算して、最も重心との距離が短い、すなわち重心が近いクラスターのクラスターIDを、当該ユーザー101に付与する(S1007)。
最後にクラスター分析処理部902は、ステップS1006にて算出した分散を参照して、性別・年齢や他の属性情報が不明のユーザー101が属するクラスターとの距離から、当該ユーザー101の性別・年齢や他の属性情報を推定して(S1008)、一連の処理を終了する(S1009)。
次にクラスター分析処理部902は、ステップS1006で算出した座標情報と、各クラスターIDの重心との距離を計算して、最も重心との距離が短い、すなわち重心が近いクラスターのクラスターIDを、当該ユーザー101に付与する(S1007)。
最後にクラスター分析処理部902は、ステップS1006にて算出した分散を参照して、性別・年齢や他の属性情報が不明のユーザー101が属するクラスターとの距離から、当該ユーザー101の性別・年齢や他の属性情報を推定して(S1008)、一連の処理を終了する(S1009)。
ユーザー101の集中度を、ユーザー101の性別・年齢や他の属性情報と共にサーバー414に集めることで、集中度の傾向をユーザー101の属性情報でクラスタリングすることが可能になる。すると、逆に、性別・年齢や他の属性情報が不明なユーザー101の集中度のデータを、既知のクラスター化された集中度の傾向と比較して類似度を算出することで、当該ユーザー101がどのクラスターに属するのかを類推することが可能になる。年齢等の推定は、当該クラスターにおける分散を考慮して、クラスターの重心とユーザー101との距離を参照することで、推定を行う。
更に、コンテンツ102毎の、当該ユーザー101の属性情報の推定を繰り返すことで、属性情報の推定の精度を高めることも可能になる。
更に、コンテンツ102毎の、当該ユーザー101の属性情報の推定を繰り返すことで、属性情報の推定の精度を高めることも可能になる。
[第六実施形態:集中度の低下を検出してコンテンツ102の一時停止]
図11は、本発明の第六の実施形態に係る集中度処理システム1101の実装例におけるソフトウェア機能を示すブロック図である。
図11に係る集中度処理システム1101は、一例としてスタンドアロンの光ディスク装置等の、動画再生装置を想定している。
図11中、コンテンツ再生処理部512は、光ディスク等のローカルストレージ511に記録されている動画等のコンテンツ102を再生し、表示部410に表示する。その際、コンテンツ102の再生時間情報等を第二ツール部509に出力する。
インターフェース部502は、第一ツール部508から出力されるユーザー101の集中度と、第二ツール部509が出力するコンテンツ102の再生時間情報等を、集中度判定処理部1102に出力する。
集中度判定処理部1102は、所定の単位時間毎に集中度の変動量を検出し、集中度の変動量が所定の第一の閾値を下回ったか否かを検出する。そして、集中度の変動量が所定の閾値を下回った時点で、コンテンツ再生処理部512にコンテンツ102再生の一時停止指示を出力する。
更に集中度処理部は、コンテンツ再生処理部512にコンテンツ再生の一時停止指示を出力した後、集中度の変動量が所定の第二の閾値を上回ったか否かを検出する。そして、集中度の変動量が所定の第二の閾値を上回った時点で、コンテンツ再生処理部512に数秒の巻き戻し指示と、コンテンツ再生指示を出力する。
また集中度処理部は、コンテンツ再生処理部512にコンテンツ再生の一時停止指示を出力した後、コンテンツ再生処理部512からユーザー101が操作部408を通じて再生指示が来たことを検出したら、コンテンツ再生処理部512に数秒の巻き戻し指示と、コンテンツ再生指示を出力してもよい。
図11は、本発明の第六の実施形態に係る集中度処理システム1101の実装例におけるソフトウェア機能を示すブロック図である。
図11に係る集中度処理システム1101は、一例としてスタンドアロンの光ディスク装置等の、動画再生装置を想定している。
図11中、コンテンツ再生処理部512は、光ディスク等のローカルストレージ511に記録されている動画等のコンテンツ102を再生し、表示部410に表示する。その際、コンテンツ102の再生時間情報等を第二ツール部509に出力する。
インターフェース部502は、第一ツール部508から出力されるユーザー101の集中度と、第二ツール部509が出力するコンテンツ102の再生時間情報等を、集中度判定処理部1102に出力する。
集中度判定処理部1102は、所定の単位時間毎に集中度の変動量を検出し、集中度の変動量が所定の第一の閾値を下回ったか否かを検出する。そして、集中度の変動量が所定の閾値を下回った時点で、コンテンツ再生処理部512にコンテンツ102再生の一時停止指示を出力する。
更に集中度処理部は、コンテンツ再生処理部512にコンテンツ再生の一時停止指示を出力した後、集中度の変動量が所定の第二の閾値を上回ったか否かを検出する。そして、集中度の変動量が所定の第二の閾値を上回った時点で、コンテンツ再生処理部512に数秒の巻き戻し指示と、コンテンツ再生指示を出力する。
また集中度処理部は、コンテンツ再生処理部512にコンテンツ再生の一時停止指示を出力した後、コンテンツ再生処理部512からユーザー101が操作部408を通じて再生指示が来たことを検出したら、コンテンツ再生処理部512に数秒の巻き戻し指示と、コンテンツ再生指示を出力してもよい。
図12は、動画再生装置にて動画を再生するユーザー101の、時間経過に伴う集中度の変動を示すグラフと、動画再生装置が動画の再生を一時停止して再度再生を行う過程を示すタイムチャートである。
時点T1201において、ユーザー101は再生中のコンテンツ102に対して高い集中度を示している。しかし、時点T1202で電話がかかってきたことにより、ユーザー101の集中度は時点T1203にて急激に低下する。集中度判定処理部1102は、時点T1203における集中度から時点T1202における集中度を減算して、集中度変動量を得る。そして、集中度判定処理部1102はこの集中度変動量が所定の第一の閾値を下回ったことを検出すると、コンテンツ再生処理部512に対し、コンテンツ102の再生を一時停止する命令を発する。また、集中度判定処理部1102は時点T1202のコンテンツ再生時間をRAM417に保持する。
図12において、時点T1202のコンテンツ再生時間は、10分23秒である。
時点T1201において、ユーザー101は再生中のコンテンツ102に対して高い集中度を示している。しかし、時点T1202で電話がかかってきたことにより、ユーザー101の集中度は時点T1203にて急激に低下する。集中度判定処理部1102は、時点T1203における集中度から時点T1202における集中度を減算して、集中度変動量を得る。そして、集中度判定処理部1102はこの集中度変動量が所定の第一の閾値を下回ったことを検出すると、コンテンツ再生処理部512に対し、コンテンツ102の再生を一時停止する命令を発する。また、集中度判定処理部1102は時点T1202のコンテンツ再生時間をRAM417に保持する。
図12において、時点T1202のコンテンツ再生時間は、10分23秒である。
時点T1204においてユーザー101が電話連絡を終了し、再びコンテンツ102の再生に注目し始めると、時点T1205においてユーザー101の集中度は急激に上昇する。集中度判定処理部1102は、時点T1205における集中度から時点T1204における集中度を減算して、集中度変動量を得る。そして、集中度判定処理部1102はこの集中度変動量が所定の第二の閾値を上回ったことを検出すると、コンテンツ再生処理部512に対し、一時停止されていたコンテンツ102の再生を再開する命令を発する。その際、コンテンツ102の再生位置は、時点T1203で保持していた時点T1202の再生時間(10分23秒)から、更に数秒の巻き戻しを行う。
図12において、時点T1205では、コンテンツ再生時間を10分20秒まで巻き戻して再生を再開している。
図12において、時点T1205では、コンテンツ再生時間を10分20秒まで巻き戻して再生を再開している。
例えば映画等が記録されている光ディスク等の動画コンテンツをディスク再生装置にて再生し、ユーザー101がコンテンツ102を視聴している状態において、ユーザー101に電話がかかる等、それまでユーザー101が維持していた集中度が急激に低下する事態が生じることがある。集中度判定処理部1102は、そのような集中度の急激な低下を検出し、ディスク再生装置におけるコンテンツ再生処理を一時停止する。ユーザー101の集中度が回復したり、ユーザー101が再生ボタンを押したら、集中度が低下した時点より数秒前の再生位置からコンテンツ再生を再開することで、ユーザー101に快適なコンテンツ再生環境を提供することができる。
なお、以上に説明した第六実施形態では、光ディスク等の記録済コンテンツを対象として説明したが、ネットワーク経由のコンテンツや、TV等のストリーミングコンテンツでも、常時録画を伴うことで対応が可能である。
なお、以上に説明した第六実施形態では、光ディスク等の記録済コンテンツを対象として説明したが、ネットワーク経由のコンテンツや、TV等のストリーミングコンテンツでも、常時録画を伴うことで対応が可能である。
[第七実施形態:集中度に加えてコンテンツ102の再生中断をデータベース802に記録]
図13は、本発明の第七の実施形態に係る集中度処理システム1301の実装例におけるソフトウェア機能を示すブロック図である。
図13に係る集中度処理システム1301は、一例としてネットワークに接続されている動画再生装置を想定している。
図13中、コンテンツ再生処理部512は、光ディスク等のローカルストレージ511や、ネットワークストレージ510からネットワークを通じて受信する動画等のコンテンツ102を再生し、表示部410に表示する。その際、コンテンツ102の再生時間情報に加え、操作部408を通じてコンテンツ102の再生が中断されたことを示す情報も、第二ツール部509に出力する。また、図13では図示していないが、TV放送等の放送コンテンツもコンテンツ再生処理部512の処理対象である。
インターフェース部502は、第一ツール部508から出力されるユーザー101の集中度と、第二ツール部509が出力するコンテンツID及びコンテンツ102の再生時間情報等と、第三ツール部513が出力する現在日時情報やUID等を、顧客システム505に送信する。
顧客システム505はデータベース802に、UID、現在日時、コンテンツID、コンテンツ再生時間、コンテンツ再生中断情報、集中度等を記録する。
図13は、本発明の第七の実施形態に係る集中度処理システム1301の実装例におけるソフトウェア機能を示すブロック図である。
図13に係る集中度処理システム1301は、一例としてネットワークに接続されている動画再生装置を想定している。
図13中、コンテンツ再生処理部512は、光ディスク等のローカルストレージ511や、ネットワークストレージ510からネットワークを通じて受信する動画等のコンテンツ102を再生し、表示部410に表示する。その際、コンテンツ102の再生時間情報に加え、操作部408を通じてコンテンツ102の再生が中断されたことを示す情報も、第二ツール部509に出力する。また、図13では図示していないが、TV放送等の放送コンテンツもコンテンツ再生処理部512の処理対象である。
インターフェース部502は、第一ツール部508から出力されるユーザー101の集中度と、第二ツール部509が出力するコンテンツID及びコンテンツ102の再生時間情報等と、第三ツール部513が出力する現在日時情報やUID等を、顧客システム505に送信する。
顧客システム505はデータベース802に、UID、現在日時、コンテンツID、コンテンツ再生時間、コンテンツ再生中断情報、集中度等を記録する。
例えばコンテンツ102が放送コンテンツ等の場合、ユーザー101がコンテンツ102に不快に感じるか、あるいはユーザー101がコンテンツ102に飽きた時、コンテンツ102の視聴を中断することがある。もし、ユーザー101がコンテンツ102に飽きた場合、ユーザー101の集中度は低い値を示すことが考えられる。一方、ユーザー101がコンテンツ102に不快感を覚える場合、ユーザー101の集中度は相応に高い値を示すことが考えられる。つまり、集中度とコンテンツ102は相関性を有することが考えられる。本実施形態の集中度処理システム1301では、集中度の記録に加えて、ユーザー101が操作部408を操作して、コンテンツ102の視聴を停止したことを示す情報も記録する。視聴停止情報と集中度を記録することで、ユーザー101がコンテンツ102に飽きて視聴を停止したのか、あるいはコンテンツ102がユーザー101に不快感を与えたためにユーザー101が視聴を停止したのか等、集中度と視聴停止のタイミングとの相関性を検出することができる。
なお、視聴停止の検出は、停止ボタンに限らず、早送りボタン、巻き戻しボタン等の、操作部408における操作ボタンの操作情報を記録することが好ましい。また、TV放送等の放送コンテンツにおいては、チャンネルの変更指示等も視聴停止の情報として記録できる。
なお、視聴停止の検出は、停止ボタンに限らず、早送りボタン、巻き戻しボタン等の、操作部408における操作ボタンの操作情報を記録することが好ましい。また、TV放送等の放送コンテンツにおいては、チャンネルの変更指示等も視聴停止の情報として記録できる。
本実施形態においては、集中度処理システムを開示した。
集中度処理システムを構成するソフトウェアは、エンジン部501、ツール部503、インターフェース部502に機能を分化させている(図5参照)。
エンジン部501は、撮像装置411が出力する画像データストリームからベクトルデータ等の基本的なデータを生成する。
ツール部503は、エンジン部501が出力するデータに基づいて、集中度等の、顧客システム505に対して有用なデータを算出する。また、集中度とは別に、コンテンツ102の様々な情報や、ユーザー101を特定する情報等も、ツール部503が出力する。
インターフェース部502は、エンジン部501から出力されるデータをツール部503に引き渡したり、ツール部503から出力されるデータを顧客システム505へ引き渡す等の、データの授受を管理する。
様々な顧客の要求に対し、データフォーマットの要求についてはインターフェース部502で吸収し、データ種類の要求についてはツール部503で吸収する。このように、機能を分化させることで、ソフトウェアの開発効率を向上させると共に、顧客の要求に対して迅速な対応が可能になる。なお、エンジン部501とツール部503は、用途に応じて交換が可能である(図7A、図7B参照)。
集中度処理システムを構成するソフトウェアは、エンジン部501、ツール部503、インターフェース部502に機能を分化させている(図5参照)。
エンジン部501は、撮像装置411が出力する画像データストリームからベクトルデータ等の基本的なデータを生成する。
ツール部503は、エンジン部501が出力するデータに基づいて、集中度等の、顧客システム505に対して有用なデータを算出する。また、集中度とは別に、コンテンツ102の様々な情報や、ユーザー101を特定する情報等も、ツール部503が出力する。
インターフェース部502は、エンジン部501から出力されるデータをツール部503に引き渡したり、ツール部503から出力されるデータを顧客システム505へ引き渡す等の、データの授受を管理する。
様々な顧客の要求に対し、データフォーマットの要求についてはインターフェース部502で吸収し、データ種類の要求についてはツール部503で吸収する。このように、機能を分化させることで、ソフトウェアの開発効率を向上させると共に、顧客の要求に対して迅速な対応が可能になる。なお、エンジン部501とツール部503は、用途に応じて交換が可能である(図7A、図7B参照)。
例えば、多大な計算機資源を要求する集中度算出機能を提供する第一ツール部508をクライアント402に搭載せず、顧客システム505に搭載する。そして、クライアント402に実装するソフトウェア機能を、エンジン部501とインターフェース部502(図8)、またはエンジン部501の中核部分であるエンジンコア部507とインターフェース部502を搭載する(図6参照)構成とする。すなわち、特に低資源装置に集中度処理システム1301を実装できるように構成することができる。このようにソフトウェア機能を分化させると、様々な形態のシステムに対して柔軟な実装を実現できる。
集中度処理システム1301によって測定した集中度は、コンテンツ102に対するユーザー101の集中度そのものを表すに留まらず、ユーザー101の嗜好を示す情報ともなり得る。そこで、ユーザー101の集中度を、ユーザー101の性別・年齢や他の属性情報と共にサーバー414に集めることで、集中度の傾向をユーザー101の属性情報でクラスタリングすることが可能になる。すると、逆に、性別・年齢や他の属性情報が不明なユーザー101の集中度のデータを、既知のクラスター化された集中度の傾向と比較して類似度を算出することで、当該ユーザー101がどのクラスターに属するのかを類推することが可能になる(図9参照)。
動画コンテンツを所定の再生装置で再生し、ユーザー101がその動画コンテンツを視聴している状態において、動画コンテンツを視聴中のユーザー101に電話がかかる等、それまでユーザー101が維持していた集中度が急激に低下する場合がある。このような場合は、単位時間毎の、ユーザー101の集中度の急激な低下を検出し、再生装置におけるコンテンツ再生処理を一時停止する。ユーザー101の集中度が回復したり、ユーザー101が再生ボタンを押すと、集中度が低下した時点より数秒前の再生位置からコンテンツ再生を再開することで、ユーザー101に快適なコンテンツ再生環境を提供することができる(図11参照)。
放送コンテンツ等を視聴中のユーザー101が、当該コンテンツ102に不快感を感じるか、あるいはユーザー101が当該コンテンツ102に飽きた時、ユーザー101がコンテンツ102の視聴を中断することがある。そこで、集中度処理システム1301において、集中度の記録に加えて、ユーザー101がコンテンツ再生装置の操作部408を操作して、コンテンツ102の視聴を停止したことを示す情報も、サーバー414に記録する。視聴停止情報と集中度を記録することで、ユーザー101がコンテンツ102に飽きて視聴を停止したのか、あるいはコンテンツ102がユーザー101に不快感を与えたためにユーザー101が視聴を停止したのか等、集中度と視聴停止のタイミングとの相関性を検出することができる(図13参照)。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の揮発性あるいは不揮発性のストレージ、または、ICカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101…ユーザー、102…コンテンツ、103…ディスプレイ、104…カメラ、201…LCDディスプレイ、202…webカメラ、203…ノートパソコン、204…LCDディスプレイ、205…webカメラ、206…携帯型無線端末、207…LCDディスプレイ、208…インカメラ、401…集中度処理システム、402…クライアント、403…CPU、404…ROM、405…RAM、406…不揮発性ストレージ、407…RTC、408…操作部、409…バス、410…表示部、411…撮像装置、412…NIC、413…インターネット、414…サーバー、415…CPU、416…ROM、417…RAM、418…不揮発性ストレージ、419…NIC、420…バス、501…エンジン部、502…インターフェース部、503…ツール部、504…コンテンツ再生部、505…顧客システム、506…顧客ツール、507…エンジンコア部、508…第一ツール部、509…第二ツール部、510…ネットワークストレージ、511…ローカルストレージ、512…コンテンツ再生処理部、513…第三ツール部、601…集中度処理システム、701…集中度処理システム、702…集中度処理システム、703…第一エンジン部、704…第二エンジン部、705…第四ツール部、706…第五ツール部、801…集中度処理システム、802…データベース、901…集中度処理システム、902…クラスター分析処理部、903…ユーザーマスター、904…集中度テーブル、905…クラスターテーブル、1101…集中度処理システム、1102…集中度判定処理部、1301…集中度処理システム
Claims (4)
- コンテンツを表示する表示部と、
前記表示部を見るユーザーの顔を撮影可能な方向に設置される撮像装置と、
エンジンコア部と該エンジンコア部以外のソフトウェア機能を有するエンジン部とからなり、前記撮像装置から出力される画像データストリームから前記ユーザーの顔の向き及び前記ユーザーの視線の向きを示すベクトルデータ及び該ベクトルデータの時間軸上の揺らぎである変化量を出力するエンジン部と、
前記ベクトルデータ及び前記変化量から前記ユーザーが前記表示部に表示されている前記コンテンツに対する集中度を算出する集中度算出機能を有する第一ツール部と、
前記ベクトルデータ及び/又は前記集中度を所定の情報処理装置へ出力する入出力制御部と、を備え、
前記エンジンコア部は、前記ユーザーの顔が存在するか否かを検出し、前記ユーザーの顔の三次元イメージから前記ユーザーの顔の抽出点の座標情報を出力し、
前記エンジンコア部以外のソフトウェア機能を有するエンジン部は、前記ユーザーの顔の向き及び前記ユーザーの視線の向きを示すベクトルデータ、及び前記ベクトルデータの前記変化量を算出し、
前記第一ツール部は、前記ユーザーが前記表示部に表示されている前記コンテンツを注視しているか否かを所定の範囲を有するデータとして出力する、
集中度処理システム。 - 更に、
前記表示部と、前記撮像装置と、前記エンジンコア部と、前記入出力制御部はクライアントに装備され、
前記エンジンコア部以外のソフトウェア機能を有するエンジン部及び前記第一ツール部は、前記所定の情報処理装置に装備される、
請求項1に記載の集中度処理システム。 - 更に、
前記表示部に表示されている前記コンテンツの再生位置情報を前記入出力制御部に出力する第二ツール部と、
前記コンテンツを前記表示部に再生すると共に、前記コンテンツの再生位置情報を前記第二ツール部に出力するコンテンツ再生処理部と、
ある時点における集中度から一つ前の時点における集中度を減算したときの集中度の変化量が所定の第一の閾値を下回り、前記集中度が低下した場合に、前記コンテンツ再生処理部に対し、前記コンテンツの再生の一時停止を指示し、
ある時点における集中度から一つ前の時点における集中度を減算したときの集中度の変化量が所定の第二の閾値を上回り、前記集中度が上昇した場合には、前記コンテンツ再生処理部に対し、一時停止された前記コンテンツの再生の再開を指示する集中度判定処理部と、を備える、
請求項1に記載の集中度処理システム。 - 更に、
前記ユーザーの操作を受け付けて、前記コンテンツの再生指示情報及び再生停止指示情報を送信する操作部と、
前記コンテンツを前記表示部に再生すると共に、前記コンテンツの再生位置情報と、前記操作部からの前記コンテンツの再生指示情報及び再生停止指示情報とを出力するコンテンツ再生処理部と、
前記コンテンツ再生処理部から、前記表示部に表示されている前記コンテンツのコンテンツID及び再生位置情報、前記コンテンツの再生指示情報及び再生停止指示情報を受けて、前記入出力制御部に出力する第二ツール部と、
前記ユーザーを一意に識別するためのユーザーID、及び現在日時情報を前記入出力制御部に出力する第三ツール部と、を備え、
前記入出力制御部は、前記第一ツール部から出力される前記集中度と、前記第二ツール部から出力される前記コンテンツのコンテンツID及び再生位置情報、前記コンテンツの再生指示情報及び再生停止指示情報と、前記第三ツール部から出力される前記ユーザーIDと、前記現在日時情報とを所定の情報処理装置に送信し、
前記所定の情報処理装置は、
前記集中度、前記コンテンツのコンテンツID及び再生位置情報、前記コンテンツの再生指示情報及び再生停止指示情報、及び前記ユーザーID、前記現在日時情報を記録するデータベースを備える、
請求項1に記載の集中度処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237432A JP6055535B1 (ja) | 2015-12-04 | 2015-12-04 | 集中度処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237432A JP6055535B1 (ja) | 2015-12-04 | 2015-12-04 | 集中度処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6055535B1 true JP6055535B1 (ja) | 2016-12-27 |
JP2017103702A JP2017103702A (ja) | 2017-06-08 |
Family
ID=57582276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015237432A Expired - Fee Related JP6055535B1 (ja) | 2015-12-04 | 2015-12-04 | 集中度処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6055535B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021125734A (ja) * | 2020-02-03 | 2021-08-30 | マルコムホールディングス株式会社 | 対話ユーザの感情情報の提供装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002014821A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | サーバクライアントシステム及びこのサーバクライアントシステムにおけるアプリケーション配布方法を記憶した記憶媒体 |
JP2004362145A (ja) * | 2003-06-03 | 2004-12-24 | Sony Corp | コンテンツ再生方法、コンテンツ再生装置、コンテンツ配信方法、コンテンツ配信装置、コンテンツ記録方法、コンテンツ記録媒体、情報記録方法および情報記録装置 |
JP2005167628A (ja) * | 2003-12-02 | 2005-06-23 | Sony Corp | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
JP2005260578A (ja) * | 2004-03-11 | 2005-09-22 | Ricoh Co Ltd | 視聴解析サーバ、映像表示装置、および視聴解析サーバと映像表示装置とを備えた視聴情報収集配信システム |
JP2007036846A (ja) * | 2005-07-28 | 2007-02-08 | Nippon Telegr & Teleph Corp <Ntt> | 動画再生装置およびその制御方法 |
WO2010021373A1 (ja) * | 2008-08-22 | 2010-02-25 | ソニー株式会社 | 画像表示装置、制御方法およびコンピュータプログラム |
WO2012137318A1 (ja) * | 2011-04-06 | 2012-10-11 | 株式会社日立製作所 | コンテンツ推薦サーバ、コンテンツ表示端末、及び、コンテンツ推薦方法 |
WO2014147828A1 (ja) * | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法 |
-
2015
- 2015-12-04 JP JP2015237432A patent/JP6055535B1/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002014821A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | サーバクライアントシステム及びこのサーバクライアントシステムにおけるアプリケーション配布方法を記憶した記憶媒体 |
JP2004362145A (ja) * | 2003-06-03 | 2004-12-24 | Sony Corp | コンテンツ再生方法、コンテンツ再生装置、コンテンツ配信方法、コンテンツ配信装置、コンテンツ記録方法、コンテンツ記録媒体、情報記録方法および情報記録装置 |
JP2005167628A (ja) * | 2003-12-02 | 2005-06-23 | Sony Corp | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
JP2005260578A (ja) * | 2004-03-11 | 2005-09-22 | Ricoh Co Ltd | 視聴解析サーバ、映像表示装置、および視聴解析サーバと映像表示装置とを備えた視聴情報収集配信システム |
JP2007036846A (ja) * | 2005-07-28 | 2007-02-08 | Nippon Telegr & Teleph Corp <Ntt> | 動画再生装置およびその制御方法 |
WO2010021373A1 (ja) * | 2008-08-22 | 2010-02-25 | ソニー株式会社 | 画像表示装置、制御方法およびコンピュータプログラム |
WO2012137318A1 (ja) * | 2011-04-06 | 2012-10-11 | 株式会社日立製作所 | コンテンツ推薦サーバ、コンテンツ表示端末、及び、コンテンツ推薦方法 |
WO2014147828A1 (ja) * | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021125734A (ja) * | 2020-02-03 | 2021-08-30 | マルコムホールディングス株式会社 | 対話ユーザの感情情報の提供装置 |
JP7316664B2 (ja) | 2020-02-03 | 2023-07-28 | マルコムホールディングス株式会社 | 対話ユーザの感情情報の提供装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2017103702A (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102025334B1 (ko) | 검출된 물리적 표시를 통한 사용자 관심 결정 | |
JP6282769B2 (ja) | エンゲージメント値処理システム及びエンゲージメント値処理装置 | |
US9681201B2 (en) | Comment information generating apparatus and comment information generating method | |
CN107801096B (zh) | 视频播放的控制方法、装置、终端设备及存储介质 | |
KR101741352B1 (ko) | 데이터 및 오디오/비디오 콘텐츠의 전달을 제어하는 관심도 평가 | |
US20160255401A1 (en) | Providing recommendations based upon environmental sensing | |
US20160358628A1 (en) | Hierarchical segmentation and quality measurement for video editing | |
US20120072936A1 (en) | Automatic Customized Advertisement Generation System | |
KR20140045412A (ko) | 환경 센싱에 기초한 비디오 하이라이트 식별 기법 | |
CN110163066B (zh) | 多媒体数据推荐方法、装置及存储介质 | |
US20160343402A1 (en) | Automatic generation of time-lapse videos | |
JP2017525176A (ja) | 双方向性サブタイトルデータの管理 | |
US20140331242A1 (en) | Management of user media impressions | |
CN110248245A (zh) | 一种视频定位方法、装置、移动终端及存储介质 | |
US11812105B2 (en) | System and method for collecting data to assess effectiveness of displayed content | |
CN111723237A (zh) | 媒体内容访问控制方法 | |
CN111432245A (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
Bâce et al. | Quantification of users' visual attention during everyday mobile device interactions | |
CN108924534B (zh) | 全景图像的展示方法、客户端、服务器及存储介质 | |
EP3550817B1 (en) | Apparatus and method for associating images from two image streams | |
JP6055535B1 (ja) | 集中度処理システム | |
US11843829B1 (en) | Systems and methods for recommending content items based on an identified posture | |
WO2014151022A1 (en) | Demographic determination for media consumption analytics | |
CN115086774B (zh) | 资源显示方法、装置、电子设备及存储介质 | |
TWI762257B (zh) | 於虛擬實境影片中推薦觀看方向之方法及電腦可讀媒介 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6055535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |