JP2014215828A - 画像データ再生装置、および視点情報生成装置 - Google Patents
画像データ再生装置、および視点情報生成装置 Download PDFInfo
- Publication number
- JP2014215828A JP2014215828A JP2013092908A JP2013092908A JP2014215828A JP 2014215828 A JP2014215828 A JP 2014215828A JP 2013092908 A JP2013092908 A JP 2013092908A JP 2013092908 A JP2013092908 A JP 2013092908A JP 2014215828 A JP2014215828 A JP 2014215828A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- information
- individual
- viewpoint information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】ユーザが自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる装置を提供すること。
【解決手段】本発明において、分離部(2)は、コンテンツデータから、少なくとも1つ以上の画像データと、少なくとも1つ以上の画像データのうちのいずれか1つに指定された画像データを用いて、どの視点で画像を生成するかを示す個別視点情報を含む視点情報とを分離して出力する。視点決定部(5)は、視点情報に含まれる個別視点情報のうちの1つを視点選択情報として生成する。視点画像生成部(3)は、少なくとも1つ以上の画像データのうちの、視点選択情報により指定された画像データを用いて、視点選択情報が示す視点の画像を視点画像として生成する。個別視点情報生成部(6)は、視点選択情報に対し、ユーザの属性を表すユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する。
【選択図】図1
【解決手段】本発明において、分離部(2)は、コンテンツデータから、少なくとも1つ以上の画像データと、少なくとも1つ以上の画像データのうちのいずれか1つに指定された画像データを用いて、どの視点で画像を生成するかを示す個別視点情報を含む視点情報とを分離して出力する。視点決定部(5)は、視点情報に含まれる個別視点情報のうちの1つを視点選択情報として生成する。視点画像生成部(3)は、少なくとも1つ以上の画像データのうちの、視点選択情報により指定された画像データを用いて、視点選択情報が示す視点の画像を視点画像として生成する。個別視点情報生成部(6)は、視点選択情報に対し、ユーザの属性を表すユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する。
【選択図】図1
Description
本発明は、画像データ再生装置と、視点情報生成装置に関する。
近年、任意の視点位置から見ることのできる自由視点画像を表示するために、複数台のカメラで異なる視点位置から同一シーンを撮影し、様々な方法でそれらの画像を再生して見せる手法が存在する。例えば、特許文献1では、複数のカメラにより撮影された画像から補間した中間視点画像を生成する技術が開示されている。
また、複数台のカメラによる撮影画像から、画像内の特定オブジェクトを識別し、そのオブジェクトの軌跡を抽出する手法が存在する。例えば、特許文献2では、オブジェクトを識別する技術として、1つ又は複数のビデオ画像から生成されたシーンのビューから、スポーツの競技場の選手等のオブジェクトの画像特徴を抽出し、想定されるオブジェクトのサンプル画像の特徴と比較し、オブジェクトを識別する技術が開示されている。また、特許文献2で開示されている技術においては、経時的な位置を示すオブジェクト経路データを生成し、各オブジェクトの高さに関する所定の推定値を用いて、オブジェクト経路データに基づくオブジェクトの位置を、競技場に提示することができる。
上記特許文献1では、自由視点画像の生成に必要な視点情報として、ユーザが任意に指定した位置を入力している。しかしながら、上記特許文献1では、この仮想視点は、いつ、誰が、入力した情報であるのかが不明であり、特に、自由視点画像を複数のユーザに放送・配信する場合、ユーザ間で仮想視点の情報を共有化することができないことから、自分の見ている仮想視点の画像を、他の人に伝えることができず、場の共有感が減じるといった問題があった。また、スポーツ中継などにおいて、そのシーンの解説を行なう際、ユーザが選択した仮想視点からの画像を表示した場合に、表示画像と、解説の内容とがそぐわない可能性が生じるといった問題があった。
一方、特許文献2の手法では、複数の撮影画像から、競技場の選手を識別し、3次元モデルで構成した競技場の上に、選手位置や選手名などを投影表示しているが、各選手のアップ画像を自由な仮想視点で表示できないという問題があった。
本発明は、このような問題に鑑みてなされたもので、その目的は、コンテンツデータから、個別視点情報を用いた視点で画像を表示することができ、コンテンツデータに対して、ユーザが、どの個別視点情報による視点で表示を行なうかを選択することができる画像データ再生装置、および視点情報生成装置を提供することにある。
上記の課題を解決するために、本発明の一態様によれば、入力されたコンテンツデータに対し、任意の視点からの画像を再生する画像データ再生装置において、外部から入力されたコンテンツデータから、少なくとも1つ以上の画像データと、前記少なくとも1つ以上の画像データのうちのいずれか1つに指定された画像データを用いて、どの視点で画像を生成するかを示す、少なくとも1つ以上の個別視点情報を含む視点情報とを分離して出力する分離部と、前記視点情報に含まれる前記個別視点情報のうちのいずれか1つを視点選択情報として生成する視点決定部と、前記少なくとも1つ以上の画像データのうちの、前記視点選択情報により指定された画像データを用いて、前記視点選択情報が示す視点の画像を視点画像として生成し、出力する視点画像生成部と、前記視点選択情報に対し、ユーザの属性を表す情報であるユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する個別視点情報生成部と、を具備することを特徴とする。
本発明の別の一態様によれば、本発明にかかる画像データ再生装置において、前記ユーザ属性情報は、前記個別視点情報が、個人で生成された視点であるのか、所定のグループで生成された視点であるかを示す、視点種別情報を含む、ことを特徴とする。
本発明の別の一態様によれば、本発明にかかる画像データ再生装置において、前記分離部から出力された前記視点情報を解析し、ユーザにより指定されない場合に指定される1つの個別視点情報を示す解析結果と、前記視点情報に含まれる前記個別視点情報とを出力する視点情報解析部、を更に具備し、前記視点決定部は、前記視点情報解析部から出力された前記個別視点情報のうちの、前記視点情報解析部から出力された前記解析結果に基づく1つの個別視点情報、または、ユーザにより任意に指定された1つの個別視点情報を前記視点選択情報として生成することを特徴とする。
本発明の別の一態様によれば、本発明にかかる視点情報生成装置において、上記画像データ再生装置から出力されたユーザ属性付加個別視点情報を受け取る個別視点情報入力部と、前記個別視点情報入力部からの前記ユーザ属性付加個別視点情報を蓄積する個別視点情報記憶部と、前記個別視点情報記憶部に蓄積された複数の前記ユーザ属性付加個別視点情報の中から、第1の所定の条件に合致する少なくとも1つ以上のユーザ属性付加個別視点情報をグループ単位個別視点情報として抽出し、前記グループ単位個別視点情報に対して、所定の範囲に含まれる視点毎に集計をとることにより複数の分類個別視点情報に分類し、前記複数の分類個別視点情報の中から、第2の所定の条件に合致する分類個別視点情報を含む視点情報を統計視点情報として生成する統計視点情報生成部と、入力されたコンテンツデータから視点情報以外の情報を抽出して、視点情報除外コンテンツデータを出力するコンテンツ抽出部と、前記視点情報除外コンテンツデータと、前記統計視点情報とを多重化する多重化部と、を具備することを特徴とする。
本発明の別の一態様によれば、本発明にかかる視点情報生成装置において、前記第1の所定の条件は、その個別視点情報が、現在、再生しているコンテンツの再生時刻と同じであること、もしくは、前記再生時刻の前後所定の時間内の時刻であることを示す時刻情報をもつこと、もしくは、個別視点情報に含まれるユーザ属性情報を構成する各項目のうちの少なくとも1つ以上の項目が一致すること、もしくは、各条件の組みあわせであることであり、前記第2の所定の条件は、前記所定の範囲に含まれる視点毎に集計された個別視点情報の数のうち、最も集計数の多い視点とする、ことを特徴とする。
本発明の画像データ再生装置によれば、少なくとも1つ以上の個別視点情報から構成される視点情報を含むコンテンツデータから、個別視点情報を用いた視点で画像を表示することができる。
また、コンテンツデータに対して、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。
そのため、ユーザは、自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる。
また、コンテンツデータに対して、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。
そのため、ユーザは、自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる。
さらに、本発明の画像データ再生装置を、同じく本発明の視点情報生成装置と組み合わせることにより、画像データ再生装置において、ユーザが変更した視点の情報を、ユーザの属性を示すユーザ属性情報とともに、個別視点情報として生成し、生成した個別視点情報を、その都度、インターネット等の通信網を通じて、クラウド上の視点情報生成装置に集計し、視点情報生成装置において、集計した個別視点情報を母集団とし、特定の時刻ごとに、最もよく視聴されている視点を示す視聴ランキングデータを集計することができる。
また、このとき、個別視点情報のユーザ属性情報の内容を参照し、特定の条件ごとに抽出し、抽出した個別視点情報を母集団とし、特定の時刻ごとに、特定の条件の下で、最もよく視聴されている視点を示す視聴ランキングデータを集計することができる。
また、このとき、個別視点情報のユーザ属性情報の内容を参照し、特定の条件ごとに抽出し、抽出した個別視点情報を母集団とし、特定の時刻ごとに、特定の条件の下で、最もよく視聴されている視点を示す視聴ランキングデータを集計することができる。
また、視聴時、各種視聴ランキングデータを、お勧め視点として、ユーザに表示することにより、他のユーザと視点を共有することができ、他のユーザと一体感を感じながら、視聴することができる。
以下に添付図面を参照して、本発明に係る画像データ再生装置の好適な実施形態を詳細に説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。
以下で述べる画像とは、静止画像と動画像の両方を示すものとし、この画像データを含んだものを、コンテンツデータとする。また、コンテンツデータは、音声データや、視点情報を含んでも構わない。視点情報については後述する。
<1.本発明の実施形態に係る画像データ再生装置の構成の概略>
図1は、本発明の実施形態に係る画像データ再生装置1の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ再生装置1の構成の概略を説明する。画像データ再生装置1は、分離部2と、視点画像生成部3と、視点情報解析部4と、視点決定部5と、個別視点情報生成部6とを具備している。
図1は、本発明の実施形態に係る画像データ再生装置1の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ再生装置1の構成の概略を説明する。画像データ再生装置1は、分離部2と、視点画像生成部3と、視点情報解析部4と、視点決定部5と、個別視点情報生成部6とを具備している。
なお、画像データ再生装置1の具体的な例として、例えば、DVD、Blu−ray(登録商標)Discなどに代表される光磁気ディスク、USBメモリやSD(登録商標)カードなどに代表される半導体メモリ等の電子媒体から、コンテンツデータを読み込み、再生する装置であってもよい。また、TV放送の放送波を受信するテレビ信号受信装置、インターネットや、その他の通信回線から配信されるコンテンツデータを受信する装置であってもよい。あるいは、ブルーレイ(Blu−ray(登録商標))ディスクプレイヤーなどの外部機器からの画像信号を受け付けるHDMI(登録商標)(High−Definition Multimedia Interface)レシーバなどで構成しても構わない。すなわち、外部からコンテンツデータの入力を受け、入力されたコンテンツデータを再生するための装置であれば、どのような装置であっても構わない。
<2.本発明の実施形態に係る画像データ再生装置の構成要素の詳細な説明>
分離部2は、画像データ再生装置1に、外部からコンテンツデータの入力を受け付け、そのコンテンツデータから、アップ画面用データと、ゴール前画面用データと、スタジアム画面用データと、視点情報とを分離して出力するための装置である。
分離部2は、画像データ再生装置1に、外部からコンテンツデータの入力を受け付け、そのコンテンツデータから、アップ画面用データと、ゴール前画面用データと、スタジアム画面用データと、視点情報とを分離して出力するための装置である。
ここで、分離部2が受け付けるコンテンツデータについて図面を用いて詳細に説明する。図2は、コンテンツデータの構成の一例を示す図である。図2において、コンテンツデータは、例えば、アップ画面用データ、ゴール前画面用データ、スタジアム画面用データのうちの少なくとも1つ以上の画像データと、視点情報とを含んで構成されている。なお、アップ画面用データと、ゴール前画面用データと、スタジアム画面用データと、視点情報については後述する。分離部2は、入力されたコンテンツデータから、視点情報を視点情報解析部4に出力し、少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前画面用データ、スタジアム画面用データ)を視点画像生成部3に出力する。
ここで、視点画像生成部3は、分離部2から出力された少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前画面用データ、スタジアム画面用データ)のうちの、視点決定部5から出力された視点選択情報により指定された画像データを用いて、後述の視点画像を生成し、その視点画像を出力する。視点選択情報の詳細については後述するが、少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前画面用データ、スタジアム画面用データ)のうち、どの画像データを用いて、どのような視点で画像を生成するかを指定する情報であり、ユーザにより外部から入力される。
ここで、画像データ再生装置1において、アップ画面用データを再生したときに表示される表示画面をアップ画面とし、また、ゴール前画面用データを再生したときに表示される表示画面をゴール前画面とし、さらに、スタジアム画面用データを再生したときに表示される表示画面をスタジアム画面とする。
次に、アップ画面について図面を用いて説明する。図3は、アップ画面の一例を示す図である。図3において、アップ画面8の一部分、例えばアップ画面8の右上に表示される表示エリア9には、現在の表示画面の名称を表す「アップ画面」が表示されている。このとき、アップ画面8の他の一部分、例えばアップ画面8の右下に表示される表示選択画面ダイアログ10には、切り替え可能な表示画面の名称を表す「スタジアム画面」と「ゴール前画面」とが表示されており、ユーザが外部から切り替えの指示を入力することにより、スタジアム画面、またはゴール前画面に、表示を切り替えることができる。
ここで、アップ画面用データについて説明する。アップ画面用データは、例えば、カメラの画角内に存在する、被写体の3次元モデルとそのテクスチャを含んで構成されている。このときのアップ画面用データに含まれるテクスチャ付きの3次元モデルは、コンピュータグラフィック(以下、CGと呼ぶ)で作成されたものであっても構わないし、複数のカメラを用いて、被写体を複数の方向から撮影した画像から、特徴点を算出し、特徴点マッチングを行ない、3次元モデルを生成し、生成した3次元モデルにテクスチャを張り付けるといった一般的な手法で生成されたものであっても構わない。
例えば、近年、被写体を複数の方向から撮影した画像を、クラウド上のサーバにアップロードし、テクスチャ付きの3次元モデルを生成・配信するサービスが始まっており、分離部2が取り扱うコンテンツデータを、そのような配信サービスで取り扱っているデータとしても構わないし、その他のフォーマットのデータであっても構わない。
なお、これらアップ画面用データのフォーマットについては、本発明とは直接関係がないため、その詳細な説明は省略する。
なお、これらアップ画面用データのフォーマットについては、本発明とは直接関係がないため、その詳細な説明は省略する。
例えば、視点選択情報が、アップ画面データを用いた視点情報を示す場合、視点画像生成部3は、アップ画面用データを用いて、カメラの視点を指定し、レンダリングを行ない、アップ画面を生成する。
また、このときの3次元モデルは、TOF(Time of Flight)方式などのデプスカメラで撮影した点群のデプスデータや、2枚の画像からステレオマッチングにより算出した視差マップ画像から、それぞれ、もしくはそれらを組み合わせることにより、生成しても構わない。
さらに、このアップ画面用データの別の構成例として、3次元モデルとテクスチャ以外の構成として、もっと簡易な構成であっても構わない。例えば、被写体を複数の方向から撮影した多視点画像を含んで構成されたものでも構わない。この場合のアップ画面は、カメラの視点を指定して、カメラの視点に最も近い視点の画像を、多視点画像から選択することにより、または、多視点画像から視点補間を行なって新たに生成することにより、生成する。
次に、スタジアム画面について図面を用いて説明する。図4は、スタジアム画面の一例を示す図である。図4において、スタジアム画面11の一部分、例えばスタジアム画面11の右上に表示される表示エリア9には、現在の表示画面の名称を表す「スタジアム画面」が表示されている。このとき、スタジアム画面11の他の一部分、例えばスタジアム画面11の右下に表示される表示選択画面ダイアログ10には、切り替え可能な表示画面の名称を表す「アップ画面」と「ゴール前画面」とが表示されており、ユーザが外部から切り替えの指示を入力することにより、アップ画面、またはゴール前画面に、表示を切り替えることができる。
ここで、スタジアム画面用データについて説明する。スタジアム画面用データは、スタジアムを上から俯瞰したスタジアム俯瞰画像と、スタジアム上にいる各選手や、ボールの位置で構成されている。
例えば、視点選択情報が、スタジアム画面データを用いた視点情報を示す場合、視点画像生成部3は、スタジアム画面用データを用いて、スタジアム画面を生成する。このとき、スタジアム画面は、スタジアム俯瞰画像上に、スタジアム上にいる各選手の位置に選手名や、選手の写真を、ボールの位置にボールの画像を、それぞれ重畳することにより生成される。
また、スタジアム画面用データの別の構成例として、あらかじめ構築しておいた、スタジアムのテクスチャ付きの3次元モデルと、スタジアム上にいる各選手や、ボールの位置で構成しても構わない。さらに、これらに加え、同じくあらかじめ構築しておいた、スタジアム上にいる各選手、または、ボールのテクスチャ付きの3次元モデル、もしくはその両方を追加して、構成しても構わない。このとき、各選手の3次元モデルは、板状のモデルに選手の画像を張り付けた簡単なものでも構わない。
この場合においても、視点画像生成部3は、上記で説明したスタジアム画面用データを用いて、カメラの視点を指定して、レンダリングを行なうことにより、スタジアム画面を生成する。
次に、ゴール前画面について図面を用いて説明する。図5は、ゴール前画面の一例を示す図である。図5において、ゴール前画面12の一部分、例えばゴール前画面12の右上に表示される表示エリア9には、現在の表示画面の名称を表す「ゴール前画面」が表示されている。このとき、ゴール前画面12の他の一部分、例えばゴール前画面12の右下に表示される表示選択画面ダイアログ10には、切り替え可能な表示画面の名称を表す「スタジアム画面」と「アップ画面」とが表示されており、ユーザが外部から切り替えの指示を入力することにより、スタジアム画面、またはアップ画面に、表示を切り替えることができる。
ここで、ゴール前画面用データについて説明する。ゴール前画面用データは、ゴール付近で撮影された複数の撮影画像を結合して生成されたパノラマ画像である。なお、このときのパノラマ画像の生成については、複数の撮影画像の特徴点を抽出する等により、画像のサイズや位置合わせなどを行ない、生成するといった、汎用の手法で構わず、本発明とは直接関係がないため、その詳細な説明は省略する。
例えば、視点選択情報が、ゴール前画面データを用いた視点情報を示す場合、視点画像生成部3は、ゴール前画面用データを用いて、ゴール前画面を生成する。このときのゴール前画面は、指定されたカメラの視点に合わせ、ゴール前画面用データの一部を切り出したり、全体が映るように縮小したりすることにより、生成される。
なお、各画面の生成の際に述べたカメラの視点は、視点選択情報の示す視点である。このときの視点選択情報に含まれる視点は、画像データ再生装置1であらかじめ決められた視点でもよいし、ユーザが外部から別途入力した視点や、コンテンツデータ内の視点情報で指定された視点を用いても構わない。
このとき、各画面を切り替えても、視点選択情報の示す視点は同じであるため、視点画像を作り出す素材は異なるが、同じ視点からの画像が表示される。ここで、切り替え時刻の後の特定の期間の間に表示する画像として、切り替え時刻を起点に、フェードアウトさせた切り替え前の画像と、フェードインさせた切り替え後の画像とを、オーバーラップ表示させて、作成した画像を表示しても構わない。このようにすることにより、画面の切り替え時の違和感を減らすことができる。
ここで、視点情報とは、各画面の生成の際に必要となる視点を示す情報であり、以下に図面を用いて詳細に説明する。図6は視点情報の一例を示す図である。図6に示すように、視点情報は、少なくともn個以上(nは1以上の整数)の個別視点情報を含んで構成される。
ここで、個別視点情報とは、コンテンツデータ内の指定時刻における1つの視点を示す情報であり、時刻情報、画面情報、カメラ情報、属性情報を、それぞれ含んで構成される。
ここで、時刻情報は、コンテンツデータ再生時に、指定した時刻に、個別視点情報に含まれる視点で表示することを指定する情報である。
ここで、画面情報は、コンテンツデータに含まれる少なくとも1つ以上の画像データ(アップ画面用データ、スタジアム画面用データ、ゴール前画面用データ)のうち、画面表示するために指定された画像データを示す情報である。
ここで、カメラ情報は、各画面の生成の際に述べたカメラの視点位置を示す情報であり、例えば、カメラの注視点の位置を示す注視点位置情報と、カメラのある位置を示すカメラ位置情報、カメラの上方向の向きを示すカメラ上方向情報から構成されており、その詳細は後述する。
ここで、属性情報は、個別視点情報の属性に関する情報を示し、その詳細は後述する。
次に、カメラ情報について、図面を用いて詳細に説明する。
図7は、カメラ位置を表すための世界座標の一例を示す。例えば、スタジアム13の中央の点14を原点とし、世界座標のX、Y、Z軸を、それぞれ図7に示すように設定する。また、カメラ情報を構成する、注視点位置情報、カメラ位置情報、カメラ上方向情報は、一般的なCGにおいて取り扱われるカメラ情報と同じものであり、注視点位置情報は、カメラの注視点の位置の情報を、カメラ位置情報はカメラの位置の情報を、カメラ上方向情報は、カメラの上方向を示す単位ベクトルであり、視線方向と直交する平面において、カメラがどれだけ回転しているかを示す。カメラ上方向情報は、通常、(0,1,0)というベクトルの値がよく使われるが、カメラの縦撮り等、回転させて使う場合、設定したいカメラの回転角に合わせ、その値を変えて使用する。
図8は、個別視点情報I1の一例を示す図である。図8の個別視点情報I1において、例えば、時刻情報には、コンテンツデータの先頭から30秒後の再生時刻を示す値「00:00:30:00」が設定され、画面情報にはアップ画面を示す情報が設定されている。また、個別視点情報I1のカメラ情報において、例えば、注視点位置情報には座標を示す値(0,1,0)が設定され、カメラ位置情報には座標を示す値(−5,1,10)が設定され、カメラ上方向情報には座標を示す値(0,1,0)が設定されている。また、個別視点情報I1の属性情報において、例えば、視点種別情報がデフォルトであることを示す情報が設定されている。なお、カメラ情報の座標の単位はメートルとする。
ここで、カメラ情報について図面を用いて説明する。図9は、個別視点情報I1が示すカメラ位置を説明するための図である。図9において、スタジアム15は世界座標系のXZ平面状に位置しており、点16は、カメラ17の注視点であり、スタジアム15の中心位置を示している。また、点18は、カメラ17のカメラ位置を示している。また、カメラ17の注視点と、カメラ位置を示すY座標は、スタジアムからの高さを示しており、図8の例では、それぞれ地面から1mの高さにあることを示している。
次に属性情報について図面を用いて説明する。図10は、個別視点情報I1の属性情報の一例を示す図である。属性情報は、個別視点情報の属性に関する情報を示し、視点種別情報と、ユーザ属性情報とを含んで構成される。
まず、視点種別情報について説明する。視点種別情報は、その個別視点情報の示す視点が、デフォルトの視点なのか、ユーザがカスタムで作成した視点なのか、複数のユーザが選択した視点なのかを示す情報であり、値により表される。視点種別情報の値が「デフォルト」を示す値である場合、個別視点情報の示す視点は、デフォルトで使用されることを示し、視点種別情報の値が「カスタム」を示す値である場合、個別視点情報の示す視点は、ユーザが任意に指定した視点であることを示し、視点種別情報の値が「グループ」を示す値である場合、個別視点情報の示す視点は、複数のユーザから構成されたグループで選択された視点であることを示す。
また、視点種別情報の別の例として、「強制固定視点」を示す値を設定し、その視点以外の視点に切り替えられないようにしても構わない。このようにすることにより、視点の切り替えの制御を送信側で行なうことができ、例えば、緊急放送など、ユーザに正しい情報を緊急に伝えたい場合は、有効である。
また、視点種別情報の別の例として、「お勧め視点」を示す値を設定し、受信側で、例えば、視点種別情報が、「お勧め視点」を示す値である場合、お勧め視点で表示するというような設定をしていると、お勧め視点で表示することができ、視点を選択するのが面倒な場合や、他の人のお勧めの視点を視聴したい場合に便利である。
次に、ユーザ属性情報について説明する。ユーザ属性情報は、個別視点情報を入力した際のユーザの属性に関する情報であり、例えば、そのユーザのユーザ名や、性別、年齢、お気に入りのチーム名や選手名、また、そのユーザが、一般の人であるのか、もしくは、現在見ている映像の解説者等のエキスパートであるのかを示すエキスパート情報を含んで構成してもよい。
例えば、図10に示すユーザ属性情報は、ユーザ名が「A」、性別が「女性」、年齢が「20歳」、お気に入りチーム名が「赤チーム」、お気に入りの選手名が「B」、エキスパート情報は「一般」を示す情報となる。
なお、ユーザ属性情報は、あらかじめ画像データ再生装置1にユーザが入力している情報であっても構わないし、その場で入力しても構わない。また、ユーザ属性情報には、ユーザが任意のキーワードを入力して生成したキーワード情報を含んでも構わない。
ここで、視点情報解析部4は、分離部2から出力された視点情報に対して、どのような個別視点情報が含まれるかを解析し、ユーザにより指定されない場合に指定される1つの個別視点情報を示す解析結果と、視点情報に含まれる個別視点情報とを視点決定部5に出力する。
視点決定部5は、視点情報解析部4から出力された個別視点情報のうちの、視点情報解析部4から出力された解析結果に基づく1つの個別視点情報、または、ユーザにより任意に指定された1つの個別視点情報を選択する。視点決定部5は、選択された個別視点情報を視点選択情報として生成し、視点画像生成部3と個別視点情報生成部6とに出力する。具体的には、視点選択情報は、選択された個別視点情報に含まれる画面情報とカメラ情報により構成される。
個別視点情報生成部6は、入力された視点選択情報に対してユーザ属性情報を追加した新たな個別視点情報を生成し、ユーザ属性付加個別視点情報として出力する。このときのユーザ属性情報は、現在、視点画像生成部3で生成された視点画像の視点選択情報を生成したユーザの属性情報となる。
なお、画像データ再生装置1の出力に、例えば表示装置7(図1参照)を設置して、ユーザは、視点画像生成部3で生成された視点画像を視聴することができる。
<3.本発明の実施形態に係る画像データ再生装置1の動作>
次に、本発明の実施形態に係る画像データ再生装置1の動作について説明する。
次に、本発明の実施形態に係る画像データ再生装置1の動作について説明する。
<3−1.全体動作>
図11は、画像データ再生装置1の動作を示すフローチャートである。
図11は、画像データ再生装置1の動作を示すフローチャートである。
ステップS1において、画像データ再生装置1の分離部2に、コンテンツデータが入力される。分離部2は、入力されたコンテンツデータから、少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ)を分離し、視点画像生成部3に出力する。これと同時に、分離部2は、入力されたコンテンツデータから、視点情報を分離し、視点情報解析部4に出力する。次に、画像データ再生装置1の動作はステップS2に移行する。
ステップS2において、視点情報解析部4は、分離部2から出力された視点情報を解析し、その視点情報に含まれる、少なくとも1つ以上の個別視点情報を抽出し、視点種別情報がデフォルトである個別視点情報を示す解析結果と、視点情報に含まれる個別視点情報とを視点決定部5に出力する。次に、画像データ再生装置1の動作はステップS3に移行する。
ステップS3において、視点決定部5は、視点情報解析部4から出力された個別視点情報の中から、視点情報解析部4から出力された解析結果に基づく1つの個別視点情報を選択する。この場合、視点決定部5は、視点情報解析部4から出力された個別視点情報の中から、視点種別情報がデフォルトである個別視点情報を選択する。視点決定部5は、選択された個別視点情報を視点選択情報として生成し、視点画像生成部3に出力する。次に、画像データ再生装置1の動作はステップS4に移行する。
ステップS4において、視点画像生成部3は、分離部2から出力された少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ)と、視点決定部5から出力された視点選択情報とを入力し、少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ)のうちの、視点選択情報により指定された1つの画像データを用いて、そのときの視点選択情報の示す視点の画像を視点画像として生成し、出力する。次に、画像データ再生装置1の動作は判定ステップS5に移行する。
なお、ユーザは、画像データ再生装置1の出力に表示装置7を接続することにより、このとき生成された視点画像を視聴することができる。
判定ステップS5において、視点決定部5は、少なくとも1つ以上の画像データ(アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ)のうち、いずれか1つの画像データを選択し、選択した画像データを用いて作成した画面を表示することを示す表示指定情報を、ユーザが入力したか否かを判定する。ここで、ユーザが、表示指定情報を入力した場合は、画像データ再生装置1の動作はステップS6に移行し、そうでない場合、画像データ再生装置1の動作は判定ステップS7に移行する。
ステップS6において、視点決定部5は、表示指定情報の示すデータの種類に合わせ、視点選択情報の画面情報を修正し、修正された視点選択情報を出力して、画像データ再生装置1の動作は判定ステップS7に移行する。
判定ステップS7において、視点決定部5は、現在の視点を任意に変更するためのカスタム視点を、ユーザが入力したか否かを判定する。ここで、ユーザが、カスタム視点を入力した場合は、画像データ再生装置1の動作はステップS8に移行し、そうでない場合、画像データ再生装置1の動作はステップS9に移行する。
ステップS8において、視点決定部5は、ユーザが入力したカスタム視点の情報(後述のユーザ注視点情報、ユーザカメラ位置情報、ユーザカメラ上方向情報)に合わせ、視点選択情報に含まれるカメラ情報を修正し、修正された視点選択情報を個別視点情報生成部6に出力する。次に、画像データ再生装置1の動作はステップS9に移行する。なお、ユーザ注視点情報と、ユーザカメラ位置情報と、ユーザカメラ上方向情報については後述する。
ステップS9において、個別視点情報生成部6に視点選択情報が入力され、個別視点情報生成部6は、入力された視点選択情報に対して、現在の時刻情報と、視点を入力したユーザ属性情報とを追加することにより、新たに個別視点情報I2を生成し、ユーザ属性付加個別視点情報として出力する。次に、画像データ再生装置1の動作は判定ステップS10に移行する。個別視点情報I2については、後述する。
このとき、個別視点情報生成部6から出力されたユーザ属性付加個別視点情報は、画像データ再生装置1内に含まれる図示しない記憶装置に、蓄積、記憶しても構わないし、インターネット等の通信網を介して、ユーザ属性付加個別視点情報を集計するクラウド上のサーバである視点情報生成装置に送信しても構わない。視点情報生成装置は、各ユーザから送信、蓄積されたユーザ属性付加個別視点情報のデータベースを構築して、集計されたユーザ属性付加個別視点情報に対して分析を行ない、各種統計をとった後、特定のグループ単位で生成したユーザ属性付加個別視点情報を生成する装置であり、視点情報生成装置は、新たに生成したユーザ属性付加個別視点情報を、コンテンツデータ内の視点情報に新たに追加して送信する。視点情報生成装置については後述する。
このようにして、ユーザは、コンテンツデータが、複数の個別視点情報を持つ場合、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。
また、ユーザ属性付加個別視点情報を、クラウドサーバに集約し、統計を取って生成した個別視点情報を、新たな個別視点情報として、リアルタイムで追加することができる。
判定ステップS10において、画像データ再生装置1の分離部2は、入力されたコンテンツデータの最終フレームを再生したか否かを判定する。ここで、最終フレームを再生した場合は、画像データ再生装置1の動作は終了し、そうでない場合、画像データ再生装置1の動作はステップS4に移行する。
<3−2.判定ステップS7の処理>
次に、判定ステップS7について詳細に説明する。
次に、判定ステップS7について詳細に説明する。
図12は、判定ステップS7において、視点決定部5の動作を示すフローチャートである。
判定ステップS11において、視点決定部5は、ユーザがカスタム視点の入力を開始したか否かを判定する。ここで、ユーザが、カスタム視点を入力した場合は、視点決定部5の動作は、判定ステップS12に移行し、そうでない場合、視点決定部5の動作はステップS8に移行する。
判定ステップS12において、視点決定部5は、ユーザが注視点を選択したか否かを判定する。ここで、注視点を選択した場合は、視点決定部5の動作は、ステップS13に移行し、そうでない場合、視点決定部5の動作はステップS14に移行する。
ステップS13において、視点決定部5は、ユーザは注視点を入力し、視点決定部5の動作はステップS15に移行する。
ここで、ユーザが注視点を入力する際の方法について説明する。注視点とは、視点を切り替える際の中心となる点である。例えば、ユーザが視点を回転させたい場合、注視点を中心に、視点を回転させる。図13は、アップ画面において、ユーザが任意の注視点を入力する際の様子を説明する図である。
ここで、説明の簡略化のため、例えば、スマートフォンやタブレットのようなタッチパネル機能を持つ表示機器に画像が表示されている場合について説明する。
またここで、カメラの初期位置は、図9のカメラ17と同じ位置とする。図13において、ユーザは、アップ画面19内のボール20を、指先21でタッチして、注視点としたい場所を画面上で選択する。ここで、世界座標における、画面上の選択された位置にある被写体であるボール20の位置が、ユーザ注視点情報として生成される。ユーザ注視点情報は、ユーザによりカスタマイズ化された注視点位置情報であり、視点選択情報内のカメラ情報における注視点位置情報を修正する際に用いられる。
なお、このとき、選択された注視点が、ユーザに目で見て分かるように、注視点の周りの領域を点線22のように囲って表示しても構わない。このようにして、ユーザは注視点を選択する。
ステップS15において、視点決定部5は、ユーザは回転角を入力し、視点決定部5の動作は判定ステップS16に移行する。
ここで、ユーザが回転角を入力する際の方法について説明する。
下記の説明では、簡略化のため、回転方向を水平方向のみとした場合について説明する。回転角とは、ユーザが注視点を中心にして、注視点からカメラまでの距離を変えずに、カメラの位置を回転させる場合の回転の角度であり、視点を回転させる場合は、注視点を中心に視点を回転させる。図14は、アップ画面において、ユーザが任意のカメラ位置を入力する際の様子を説明する図である。図14において、ユーザは、指先21で、アップ画面19上の点23にタッチして、点24の位置まで、水平に、左から右に動かすよう、画面をフリックする。このときのフリックの量にあわせて、回転角を生成設定し、ボール20を注視点として、設定した回転角で回転させた場合の画面を表示する。
画面上を、水平に、左から右にフリックした場合は、真上から見て、カメラは反時計回りに回転させ、画面上を、右から左にフリックした場合は、真上から見て、カメラは時計回りに回転させる(これをインターフェース1とする)。このとき、画面上を、左から右にフリックした場合は、真上から見て、カメラは時計回りに回転し、画面上を、右から左にフリックした場合は、真上から見て、カメラは反時計回りに回転させても構わない(これをインターフェース2とする)。インターフェース1と、インターフェース2は、インターフェースの設計の違いであり、フリックの向きに合わせて、カメラを動かしたかのようにユーザに見せたい場合はインターフェース1を、オブジェクト全体を動かしたかのようにユーザに見せたい場合はインターフェース2を選択すればよく、それらをユーザの好みに合わせ、切り替えられるようにしても構わない。
図15は、このとき入力されたユーザ注視点情報と、ユーザカメラ位置情報に基づいて変更されたカメラ位置を説明するための図である。図15のスタジアム画面25において、カメラ26を初期位置にあるカメラとした場合、カメラ27は、このとき入力されたユーザ注視点情報と、ユーザカメラ位置情報に基づいて変更されたカメラ位置、つまり、ボール20を中心として、反時計回りに回転した位置となる。
このときの回転角から、世界座標におけるカメラ位置を算出し、ユーザカメラ位置情報として生成する。ユーザカメラ位置情報は、ユーザによりカスタマイズ化されたカメラ位置情報であり、視点選択情報内のカメラ情報におけるカメラ位置情報を修正する際に用いられる。
なお、もし回転方向を垂直方向に拡張したい場合は、上記で説明した水平方向の回転の方法を、垂直方向に置き換えて使用すればよい。またこのとき、水平方向の回転と、垂直方向の回転とが同時に行なわれる場合では、入力が複雑になるとユーザが感じることが考えられるため、水平方向と、垂直方向の回転角の入力を、別々に行なうようにしても構わない。
また、上記では、注視点からカメラまでの距離を変えずに、カメラの位置を回転させる場合について説明したが、注視点からカメラまでの距離は、別途入力により、変更しても構わない。
ステップS14において、視点決定部5は、カメラ位置を入力し、視点決定部5の動作は判定ステップS16に移行する。このとき、注視点の指定がないため、カメラの向きを変えずに、単純に、入力されたカメラ位置にカメラが移動した際の視点となる。
なお、このとき、ユーザ注視点情報と、ユーザカメラ位置情報が算出される。これらの値は、変更前の値に対して、単純に、ユーザが入力した上下左右方向の平行移動量を足し合わせることにより生成する。
判定ステップS16において、視点決定部5は、ユーザがカメラの上方向の入力を開始したか否かを判定する。ここで、ユーザが、カメラの上方向を入力した場合は、視点決定部5の動作は、ステップS17に移行し、そうでない場合、視点決定部5の動作はステップS8に移行する。
ステップS17において、ユーザは、カメラの上方向を入力し、視点決定部5の動作はステップS8に移行する。このとき、ユーザは、カメラの上方向を指定する情報を、数値で直接入力してもよいし、もしくは、カメラの上方向を画面上に示し、傾けたい向きとなるように、画面をフリックして、カメラの上方向の向きを変え、そのときのカメラの上方向情報を、ユーザカメラ上方向情報として生成する。
上記で説明したようにして、視点選択情報に対し、ユーザがカスタマイズ入力を行ない、生成したユーザ注視点情報と、ユーザカメラ位置情報と、ユーザカメラ上方向情報とを、それぞれ、新たな注視点情報と、カメラ位置情報と、カメラ上方向情報とし、視点選択情報を修正する(ステップS8)。
以下に、上述のユーザ属性付加個別視点情報として、個別視点情報I2について説明する。図16は、個別視点情報I2の一例を示す図である。ここで、個別視点情報I2は、個別視点情報I1に対し、図15で示したカメラ位置となるよう、ユーザが入力した場合に生成された個別視点情報である。
このとき、注視点の位置や、カメラの上方向は変えていないため、個別視点情報I2において、個別視点情報I1から変更された情報は、時刻情報と、カメラ位置情報と、視点種別情報となる。ここで、時刻情報は現在の入力時刻に、カメラ位置情報は(5,1,10)という値に、視点種別情報はカスタムという値に、それぞれ変更されている。
またこのときの個別視点情報I2の属性情報には、個別視点情報I2を入力したユーザの属性情報であるユーザ属性情報を含んで構成されている。図17に、個別視点情報I2の属性情報の一例について示す。
例えば、図17に示すユーザ属性情報は、ユーザ名が「C」、性別が「男性」、年齢が「40歳」、お気に入りチーム名が「白チーム」、お気に入りの選手名が「D」、エキスパート情報は「解説者」を示す情報となる。
また、上記で説明した、ユーザ注視点位置情報と、ユーザカメラ位置情報と、ユーザカメラ上方向情報の入力は、スタジアム画面で入力しても構わない。
図18は、スタジアム画面における、ユーザ注視点情報を入力する際の様子を説明した図である。例えば、図18のスタジアム画面28において、ユーザは、指先29で、ボール30の位置をタッチし、タッチしたボール30のある位置をユーザ注視点情報として入力する。
図19は、スタジアム画面における、ユーザカメラ位置情報を入力する際の様子を説明した図である。図19のスタジアム画面28において、ユーザは、指先29で、点31の位置をタッチし、その位置をユーザ注視点情報として入力する。
図20は、スタジアム画面上における、ユーザ注視点情報とユーザカメラ位置情報に基づいた、カメラ位置を説明するための図である。図20のスタジアム画面28において、ボール30のある位置が注視点として、点31の位置にカメラ32が配置される。この時のカメラの視点による画像を、子画面33に表示しても構わない。ユーザは、子画面33を通じて、カメラ位置を調整することができる。
また、注視点の指定がない場合について説明する。
図21は、スタジアム画面における、注視点の指定がない場合における、ユーザ注視点情報と、ユーザカメラ位置情報を入力する際の様子を説明した図である。図21のスタジアム画面28において、ユーザは、例えば指先のタッチ入力等により、初期位置にあるカメラ34を、移動後の位置にあるカメラ35に移動するよう指示する。
このとき、注視点の入力がないため、カメラの向きは変わらず、入力された位置に合わせ、スタジアム上での位置が変化する。
またここで、スタジアム画面自体を回転させても構わない。こうすることにより、カメラの高さを変えたい場合等、別の角度から被写体とカメラの位置を確認しながら、カメラ位置を調整することができる。
以上のようにして、本発明の画像データ再生装置1によれば、少なくとも1つ以上の個別視点情報から構成される視点情報を含むコンテンツデータから、個別視点情報を解析することにより、個別視点情報を用いた視点で画像を表示することができる。
また、コンテンツデータに対して、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。そのため、ユーザは、自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる。
また、ユーザは、カスタマイズ化した視点の表示を行なうことができ、カスタマイズした視点は、個別視点情報として、ユーザ属性情報とともに、保存することができる。
また、その視点が、例えば、デフォルトで表示する視点であることを示す値や、個人がカスタマイズ化された視点であることを示す値や、グループでカスタマイズ化された視点であることを示す値や、特定の視点を強制表示することを示す値や、お勧めの視点であることを示す値等、どのような意図でもって生成された視点であるかを説明する情報として、送信側で視点種別情報を生成することにより、受信側の視点表示を制御することができる。
また、本発明は、上記で説明した、例えばテレビや、デジタルビデオレコーダーのような画像データ再生装置だけでなく、デジタルカメラ、デジタルムービー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型DVDプレイヤー、PC等、画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の画像表示装置を用いる、画像データ再生装置であっても構わない。
また、画像データ処理装置と外部の画像表示装置を含む、画像データ表示システムであってもよい。また、本発明は、画像データ表示方法や画像データ処理方法にも適用可能である。
<4.本発明の実施形態に係る視点情報生成装置の構成の概略>
続いて、本発明の実施形態に係る視点情報生成装置100について、図面を用いて詳細に説明する。
続いて、本発明の実施形態に係る視点情報生成装置100について、図面を用いて詳細に説明する。
図22は、本発明の実施形態に係る視点情報生成装置100の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る視点情報生成装置100の構成の概略を説明する。
視点情報生成装置100は、個別視点情報入力部101と、個別視点情報記憶部102と、統計視点情報生成部103と、コンテンツ抽出部104と、多重化部105とを具備している。視点情報生成装置100の具体的な例として、クラウド上のサーバ等が挙げられる。
個別視点情報入力部101は、外部からのユーザ属性付加個別視点情報(画像データ再生装置1から出力されたユーザ属性付加個別視点情報)を受け付け、個別視点情報記憶部102に出力するための装置である。
個別視点情報記憶部102は、個別視点情報入力部101からのユーザ属性付加個別視点情報を蓄積するための装置である。ここで、個別視点情報記憶部102は、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを示す。さらに個別視点情報記憶部102は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
統計視点情報生成部103は、個別視点情報記憶部102に蓄積された複数のユーザ属性付加個別視点情報を分析し、複数のユーザ属性付加個別視点情報の中から、第1の所定の条件(特定の時刻ごとや、特定のカテゴリーごと)に合致する少なくとも1つ以上のユーザ属性付加個別視点情報を抽出し、特定のグループ単位で構成したグループ単位個別視点情報として生成する。また、統計視点情報生成部103は、グループ単位個別視点情報に対して、所定の範囲に含まれる視点毎に集計をとることにより、グループ単位個別視点情報を複数の分類個別視点情報に分類し、複数の分類個別視点情報の中から、第2の所定の条件に合致する分類個別視点情報を含む1つの視点情報を統計視点情報として生成し、多重化部105に出力する。統計視点情報生成部103の詳細な動作については後述する。
コンテンツ抽出部104は、視点情報生成装置100に入力される個別視点情報の対象となるコンテンツデータを受け付け、そのコンテンツデータに視点情報が含まれる場合は、そのコンテンツデータから、視点情報以外の情報を抽出して、視点情報除外コンテンツデータとして多重化部105に出力する装置である。
多重化部105は、統計視点情報生成部103から出力された統計視点情報と、コンテンツ抽出部104から出力された視点情報除外コンテンツデータを多重化し、統計視点情報を含んだコンテンツデータを生成し、出力するための装置である。
<5.本発明の実施形態に係る視点情報生成装置の構成の概略>
次に、本発明の実施形態に係る視点情報生成装置100の動作について説明する。図23は、視点情報生成装置100の動作を示すフローチャートである。
次に、本発明の実施形態に係る視点情報生成装置100の動作について説明する。図23は、視点情報生成装置100の動作を示すフローチャートである。
判定ステップS100において、個別視点情報入力部101は、ユーザ属性付加個別視点情報の入力があるか否かを判定する。ここで、外部からユーザ属性付加個別視点情報の入力があった場合は、視点情報生成装置100の動作はステップS101に移行し、そうでない場合、視点情報生成装置100の動作は判定ステップS104に移行する。
ステップS101において、個別視点情報入力部101は、入力されたユーザ属性付加個別視点情報を、個別視点情報記憶部102に出力し、個別視点情報記憶部102は、入力されたユーザ属性付加個別視点情報を用いて、データベースを更新する。次に、視点情報生成装置100の動作はステップS102に移行する。
ステップS102において、統計視点情報生成部103は、個別視点情報記憶部102から、複数のユーザ属性付加個別視点情報を読み取り、所定の条件に基づいて分類を行なった後、各視点の視聴者数について統計をとり、その結果に基づいて、新たに個別視点情報として、上述のグループ単位個別視点情報を経由して、上述の分類個別視点情報を生成する。このとき、複数の分類条件を用いて、複数の分類個別視点情報を生成しても構わない。ここで求めた分類個別視点情報を含む1つの視点情報を統計視点情報として、多重化部105に出力する。次に、視点情報生成装置100の動作はステップS103に移行する。
ここで、統計視点情報生成部103が生成する統計視点情報は、特定の抽出条件(第1の所定の条件)に基づいて抽出を行なった後、各視点の視聴者数の統計に基づいて生成される。このときの抽出条件と、その条件のもとで、新たに生成される個別視点情報について、以下で説明する。
例えば、抽出条件は、現在、再生しているコンテンツの再生時刻、もしくは、その再生時刻の前後所定の時間内の時刻におけるユーザ属性付加個別視点情報に含まれるカメラ情報であるものとする。このとき、統計視点情報生成部103は、個別視点情報記憶部102から読み出した複数のユーザ属性付加個別視点情報の中から、この抽出条件にあうカメラ情報を含むユーザ属性付加個別視点情報を抽出し、特定のグループ単位で構成したグループ単位個別視点情報として生成する。また、統計視点情報生成部103は、グループ単位個別視点情報の中から、もっとも数の多いカメラ情報を含むユーザ属性付加個別視点情報を分類個別視点情報として選択し、その分類個別視点情報を含む新たな視点情報を統計視点情報として生成する。なお、以下の説明における抽出条件には、基本的に、この時刻に関する抽出条件が含まれるものとする。
また、このときの集計対象のカメラ情報を、その値が完全に一致するものだけではなく、第2の所定の条件として、ある程度の範囲(所定の範囲)内に納まるものとしても構わない。この場合、統計視点情報生成部103は、グループ単位個別視点情報に対して、ある程度似ている視点を集計することにより、グループ単位個別視点情報を複数の分類個別視点情報に分類し、複数の分類個別視点情報の中から、それらの値の平均値、もしくは中央値、最頻値のうちのいずれかに合致するカメラ情報を含む分類個別視点情報を選択して、その分類個別視点情報を含む新たな視点情報を統計視点情報として生成する。ユーザが自由に視点を指定する場合、その際に生成されるカメラ情報は完全に一致せず、僅かに値が異なっている可能性が高いため、このように類似した視点位置のカメラ情報を、同じ集計対象とすると、より精度の高い結果が得られる可能性が高くなる。
以下に、その方法について説明する。
図24は、スタジアム上のカメラの注視点の位置を説明する図である。図24において、例えば、スタジアム106を、競技場のフィールド外とフィールド内を別のエリアに分け、さらにフィールド内を水平垂直均等の9つのエリアに分け、それぞれのエリアを注視点エリアm(mは1から10までの整数)とする。例えば、カメラ107の注視点108は、注視点エリア5内の点となり、このカメラ107のカメラ情報は、注視点エリア5のカメラ情報として分類される。
ここで、各分類個別視点情報の注視点位置情報を参照して、各分類個別視点情報をエリア毎で分類し、エリア毎で、注視点位置情報とカメラ位置情報と、カメラ上方向情報のそれぞれにおいて、平均値、もしくは中央値、最頻値のうちのいずれかに合致するカメラ情報を含む分類個別視点情報を選択しても構わない。なお、ここでは、スタジアム上の注視点について着目して分類しているため、注視点位置情報のX座標とZ座標のみに着目し、Y座標では分類していないが、Y座標を用いて3次元空間内で、さらに分類しても構わない。
また、上記では、フィールドを均等に9つのエリアに分類する場合について説明したが、いくつに分類しても構わないし、また、フィールド内の各エリアのサイズを均等に分けなくても構わず、例えば、ゴール前や、センターや、コーナー等において、それぞれ異なるサイズのエリアを設定しても構わない。
このように、ある程度の範囲内に含まれる注視点を用いて、カメラ情報を生成することにより、ユーザが自由に指定して生成した、僅かに異なる値を持つカメラ情報が対象であっても、より多くの視聴者の好みを反映したカメラ情報を取得することができる。
また、上記では、注視点位置情報がスタジアム上のどこに位置するかにより、カメラ情報を集計したが、これに加え、さらにカメラ位置情報毎に、集計しても構わない。
図25は、スタジアム上におけるカメラの方向を説明する図である。図25において、注視点エリア5にあるカメラ107の注視点位置情報が示す注視点108を中心とし、カメラ位置情報の示す座標にある点109を含む円を円110とし、円110内のどのエリアに、点109が存在するかによって、カメラ107の方向は判別できる。
ここで、例えば円110を、上下左右均等に4つのカメラ方向エリアに分け、エリア毎で、カメラ情報を集計しても構わない。ここで、点109は、カメラ方向エリア1内の点となり、このカメラ107のカメラ情報は、注視点エリア5内のカメラ方向エリア1のカメラ情報として集計される。
また、このときのカメラ方向エリアは4つ以外のエリアに分けてもよく、各エリアのサイズは均等でなくても構わないし、注視点エリア毎に、カメラ方向エリアの数やサイズが異なっていても構わない。
また、このときのカメラ方向エリアは4つ以外のエリアに分けてもよく、各エリアのサイズは均等でなくても構わないし、注視点エリア毎に、カメラ方向エリアの数やサイズが異なっていても構わない。
このようにして、注視点情報とカメラ位置情報の2つのパラメータでカメラ情報を分類することにより、より多くの視聴者の好みを、より精度を高く反映したカメラ情報を取得することができる。
図26に、このときに選択される分類個別視点情報の一例を示す。統計視点情報生成部103が複数のユーザ属性付加個別視点情報に対してグループ単位個別視点情報を生成したときの個別視点情報については、個別視点情報J1と称する。図26において、個別視点情報J1は、時刻情報が30秒、画面情報がアップ画面となっており、また、カメラ情報は、注視点位置情報が(0,1,0)、カメラ位置情報が(4,1,−2)、カメラ上方向情報が(0,1,0)を示す値となっている。また、個別視点情報J1の属性情報については、視点種別情報がグループを示す値となっている。
ここで、個別視点情報J1のユーザ属性情報について説明する。個別視点情報J1に含まれるユーザ属性情報は、グループ名、視聴者数を含んで構成される。グループ名とは、個別視点情報のカメラ情報を用いた視点で視聴しているグループの特長を表す名前を示す。視聴者数とは、グループの構成人数であり、その視点で視聴している視聴者数を示す。
図26に示す個別視点情報J1の例では、ユーザ属性情報の、グループ名が「全体視聴ランキング1位」、視聴者数が「350人」を示す値となり、この場合のユーザ属性情報は、個別視点情報J1が、全視聴者の中で最も人気のある視点であることを示し、その視点での視聴者数が350人であることを示す。
なお、このときの抽出条件は、前述した時刻に関する条件のみとなる。
また、個別視点情報J1のユーザ属性情報の別の構成例について説明する。図27、図28は、個別視点情報J1のユーザ属性情報の別の構成例を示す。
図27において、ユーザ属性情報は、グループ名が「赤チーム応援Gr視聴ランキング1位」、視聴者数が「150人」を示す値となる。
この場合の個別視点情報J1は、データベース上の各ユーザ属性付加個別視点情報のユーザ属性情報を参照し、お気に入りチームとして、赤チームの情報が登録されているユーザ属性情報を持つカメラ情報を抽出するという抽出条件に基づき、形成された母集団から、同様にしてカメラ情報を生成する。この場合のユーザ属性情報は、個別視点情報J1が、赤チームをお気に入りとしている視聴者グループの中で最も人気のある視点であることを示し、その視点での視聴者数が150人であることを示す。
この場合の個別視点情報J1は、データベース上の各ユーザ属性付加個別視点情報のユーザ属性情報を参照し、お気に入りチームとして、赤チームの情報が登録されているユーザ属性情報を持つカメラ情報を抽出するという抽出条件に基づき、形成された母集団から、同様にしてカメラ情報を生成する。この場合のユーザ属性情報は、個別視点情報J1が、赤チームをお気に入りとしている視聴者グループの中で最も人気のある視点であることを示し、その視点での視聴者数が150人であることを示す。
図28において、ユーザ属性情報は、グループ名が「B選手ファンGr視聴ランキング1位」、視聴者数が「100人」を示す値となる。この場合の個別視点情報J1は、データベース上の各ユーザ属性付加個別視点情報のユーザ属性情報を参照し、お気に入り選手として、B選手の情報が登録されているユーザ属性情報を持つカメラ情報を抽出するという抽出条件に基づき、形成された母集団から、同様にしてカメラ情報を生成する。この場合のユーザ属性情報は、個別視点情報J1が、B選手をお気に入りとしている視聴者グループの中で最も人気のある視点であることを示し、その視点での視聴者数が100人であることを示す。
なお、上記では、リアルタイム放送ではない場合について説明したが、スポーツ中継などのライブ放送の場合は、現在の時刻における最新の視点ランキングを表示しても構わない。
ステップS103において、コンテンツ抽出部104に、コンテンツデータが入力され、入力されたコンテンツデータから、視点情報を含まない部分を抽出し、多重化部105に出力し、多重化部105は、入力された視点情報と、視点情報を持たないコンテンツデータを多重化して、新たな視点情報を持つコンテンツデータを生成し、出力する。次に、視点情報生成装置100の動作は判定ステップS104に移行する。
判定ステップS104において、視点情報生成装置100のコンテンツ抽出部104は、入力されたコンテンツデータの最終フレームを再生したか否かを判定する。次に、最終フレームを再生した場合は、視点情報生成装置100の動作は終了し、そうでない場合、視点情報生成装置100の動作は、判定ステップS100に移行する。
以上の説明により、本発明の視点情報生成装置100によれば、入力された複数のユーザ属性付加個別視点情報から、時刻情報や、カメラ情報、属性情報の内容を参照し、特定の抽出条件にあったカメラ情報を抽出し、抽出した複数のカメラ情報に対して、類似した視点毎に集計を行ない、その結果から、最も視聴数の多いカメラ情報を算出することにより、全ユーザに対し、最もよく視聴されている視点の個別視点情報を生成することができる。
また、抽出条件を変えることにより、種々の抽出条件に応じた個別視点情報を生成することができる。例えば、特定のチームを応援しているユーザの中で最も人気のある視点や、特定の選手を応援しているユーザの中で最も人気のある視点等の個別視点情報を生成すること等が可能となる。
<6.本発明の実施形態に係る画像データ再生装置の別の実施例>
また、ここで、上記で述べた、新たに生成されたユーザ属性付加個別視点情報は、再度コンテンツデータ内に多重化されて配信され、画像データ再生装置1は、このコンテンツデータを受信し、再生する。このとき、コンテンツデータに含まれる複数の個別視点情報を、ユーザが選択して、表示を切り替えても構わず、以下に、そのときの画像データ再生装置の動作について、図面を用いて説明する。
また、ここで、上記で述べた、新たに生成されたユーザ属性付加個別視点情報は、再度コンテンツデータ内に多重化されて配信され、画像データ再生装置1は、このコンテンツデータを受信し、再生する。このとき、コンテンツデータに含まれる複数の個別視点情報を、ユーザが選択して、表示を切り替えても構わず、以下に、そのときの画像データ再生装置の動作について、図面を用いて説明する。
図29は、このときの画像データ再生装置1の動作を示すフローチャート図である。画像データ再生装置1は、図11で説明したときと、ほぼ同じ動作であり、図29において、ステップS4と判定ステップS5の間に、視点画像の選択、および表示の切り替えを行なうためのステップS200が挿入される点が異なっているため、以下ではステップS200の説明を行なうものとする。
図30は、画像データ再生装置1が、視点画像の選択、および表示の切り替えを行なう際の動作について説明するフローチャート図である。
判定ステップS201において、視点決定部5は、コンテンツデータ内に、個別視点情報が複数存在するか否かを判定する。ここで、複数存在する場合は、画像データ再生装置1の動作はステップS202に移行し、そうでない場合、画像データ再生装置1の動作は判定ステップS5に移行する。
ステップS202において、視点決定部5は、コンテンツデータに含まれる複数の個別視点情報のユーザ属性情報を参照し、ユーザ属性情報に含まれるグループ名やユーザ名を用いて、各個別視点情報の視点に表示を切り替えるためのボタンを画面上に重畳表示した視点画像を生成するよう、視点画像生成部3に指示し、視点画像生成部3は、指示された内容に従って視点画像を生成し、出力する。次に、画像データ再生装置1の動作は判定ステップS203に移行する。
図31は、このときの各個別視点情報の視点に表示を切り替える際の様子について説明する図である。図31において、画面111には、デフォルトの視点画像が表示されており、視点選択ダイアログ112内に、例えば、4つの個別視点情報に切り替えるためのボタンが表示されている。
このとき、ボタン113は、図26で説明した個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上に、個別視点情報のグループ名である「全体視聴ランキング1位」と、視聴者数である「350人」という数字をもとに、「350人視聴」というテキストが表示されている。
また、ボタン114は、図27で説明したユーザ属性情報を持つ個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上に、個別視点情報のグループ名である「赤チーム応援Gr視聴ランキング1位」と、視聴者数である「150人」という数字をもとに、「150人視聴」というテキストが表示されている。
また、ボタン115は、図28で説明したユーザ属性情報を持つ個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上に、個別視点情報のグループ名である「B選手ファンGr視聴ランキング1位」と、視聴者数である「100人」という数字をもとに、「100人視聴」というテキストが表示されている。
また、ボタン116は、図10で説明したユーザ属性情報を持つ個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上には、個別視点情報のユーザ名である「Aさん」という情報をもとに、「Aさんの視点」というテキストが表示されている。
判定ステップS203において、視点決定部5は、ユーザが、視点を選択するためにボタンを押したか否かを判定する。ここで、ユーザが、ボタンを押した場合は、画像データ再生装置1の動作はステップS204に移行し、そうでない場合、画像データ再生装置1の動作は判定ステップS5に移行する。
ステップS204において、視点決定部5は、ユーザが選択した個別視点情報から、上記で説明した場合と同様にして、視点選択情報を生成し、視点画像生成部3に送信し、視点画像生成部3は、その情報に従って、視点画像を生成し、出力する。次に、画像データ再生装置1の動作は判定ステップS5に移行する。
以上のようにすることにより、本発明の実施形態に係る画像データ再生装置1は、入力されたコンテンツデータ内に、複数の個別視点情報がある場合、それぞれの視点情報を表示し、切り換えることにより、ユーザはより多彩な種類の視点から、映像を視聴することができる。また、同じチームや選手を応援しているグループの視点を選択することにより、他のユーザとの一体感や、場の共有感を感じることができる。
また、本発明の実施形態に係る画像データ再生装置1は、例えば自分の知人や、お気に入りの有名人など、特定ユーザの視点を視聴することにより、そのユーザとの一体感や、場の共有感を感じることができる。さらにまた、エキスパート情報が解説者となっている個別視点情報による視点を選択した場合、例えばゴールシーンなどにおいて、解説者の視点で視聴することにより、そのシーンの状況をより正確に把握することができる可能性がある。
上記では、アップ画面における、複数の個別視点情報の表示について説明したが、ゴール前画面や、スタジアム画面に切り替えても同様にして、視点選択ダイアログ112を表示しても構わない。
また、ここで、複数の個別視点情報に含まれる注視点位置情報とカメラ位置情報を用いて、スタジアム画面上に、各個別視点情報の示す視点の注視点とカメラの向きを示す指標画像を表示しても構わない。
図32は、画像データ再生装置1が、各個別視点情報の示す視点の注視点と向きをスタジアム画面上に表示した際の例を示す図である。
図32において、指標画像117は、全体における視聴ランキング1位の視点を示し、指標画像118は、赤チーム応援Grにおける視聴ランキング1位の視点を示し、指標画像119は、B選手ファンGrにおける視聴ランキング1位の視点を示し、指標画像120は、Aさんの視点をそれぞれ示す。
このようにすることにより、各個別視点情報の示す視点が、スタジアム画面上で、どのカメラ位置からをどの位置を注視しているのかが、ユーザに明示できるため、ユーザは、視点を選択する際に、非常に分かりやすい。
また、アップ画面やゴール前画面を、子画面にして、スタジアム画面上に表示しても構わない。図33は、アップ画面、およびゴール前画面を子画面にして、スタジアム画面上に表示した際の画面について説明する図である。
図33において、斜め方向から見たスタジアム上に、アップ画面121と、ゴール前画面122をそれぞれ、各画面に対応する個別視点情報の注視点位置情報の示す位置に、板状のモデルを設置し、その板状のモデルの上に対応するアップ画面、およびゴール前画面の映像を張り付ける。このときの板状のモデルの向きは、各画面に対応する個別視点情報が示す視点の向きに垂直となるように設置する。ここで、この板状のモデルを逆方向から見た場合も、同じ映像を表示しても構わないし、映像の左右を反転させて表示しても構わない。
さらにまた、視点の切り替え時に、スタジアム画面を真上から見た画像を表示し、どの視点から、どの視点に遷移するかをユーザに示してから切り替えるようにしても構わない。
このようにすることにより、ユーザは混乱することなく、視点の切り替えができる。
また、画像データ再生装置1から、クラウド上にある視点情報生成装置100に対して、インターネット回線を介して、コンテンツデータに含む個別視点情報をどのような抽出条件で生成するかを指示しても構わない。
このようにすることにより、ユーザは、自分の好みの個別視点情報をコンテンツデータに含ませることができる。例えば、自分の、現在見たい視点に合わせ、お気に入りのチームや、お気に入り選手の指定や、自分の知人、有名人などの特定のユーザ名の指定や、エキスパート情報が解説者である人の視点の抽出等が可能である。
さらにまた、スタジアム上を複数の注視点エリアに分割し、視点情報生成装置100の個別視点情報記憶部102内にある複数のユーザ属性付加個別視点情報のうち、分割した各注視点エリアに位置する注視点位置情報を持つユーザ属性付加個別視点情報の数を、エリア別注視点情報として集計し、集計したエリア別注視点情報を、画像データ再生装置1に送信しても構わない。
図34は、入力されたエリア別注視点情報に基づき、画像データ再生装置1が、注視点エリア毎に、何人の視聴者がいるかをスタジアム画面上に表示する際の様子について説明した図である。図34において、注視点エリア1は40人、注視点エリア2は30人、注視点エリア3は10人、注視点エリア4は20人、注視点エリア5は350人、注視点エリア6は5人、注視点エリア7は3人、注視点エリア8は70人、注視点エリア9は8人、注視点エリア10は1のユーザがそれぞれ視聴している。
以上のようにすることにより、全視聴者が最も注視しているスタジアム上の位置を、ユーザは簡単に目に見える形で理解することができ、そのユーザが自分で視点を選択する際の参考にすることができる。
また、上記の各注視点エリアを、さらに複数のカメラ方向エリアに分割し、視点情報生成装置100の個別視点情報記憶部102内にある複数のユーザ属性付加個別視点情報のうち、その注視点エリアに存在することを示す注視点位置情報を持つユーザ属性付加個別視点情報から、分割した各カメラ方向エリアに位置するカメラ位置情報を持つユーザ属性付加個別視点情報の数を、カメラ方向別視点情報として集計し、集計したカメラ方向別視点情報を、画像データ再生装置1に送信しても構わない。
図35は、入力されたカメラ方向別視点情報に基づき、画像データ再生装置1が、カメラ方向エリア毎に、何人の視聴者がいるかをスタジアム画面上に表示する際の様子について説明した図である。図35において、カメラ方向エリア1は50人、カメラ方向エリア2は80人、カメラ方向エリア3は20人、カメラ方向エリア4は200人のユーザがそれぞれ視聴している。
以上のようにすることにより、全視聴者が最も注視しているスタジアム上の位置、および、そのときのカメラの向きを、ユーザは簡単に目に見える形で理解することができ、そのユーザが自分で視点を選択する際の参考にすることができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
また、本発明では、ユーザが、画像データ再生装置1(画像データ再生方法)を利用して、画像データの再生と視点情報の入力を行ない、視点情報生成装置100(視点情報生成方法)を利用して、画像データ再生装置1で入力された視点情報をインターネットなどの通信網を利用して集計し、集計した視点情報から、新たな視点情報を生成し、画像データ再生装置1に送信を行なっているが、これに限定されない。
本発明は、図36に示されるように、画像データ再生装置1と、視点情報生成装置100とが一体化されてもよい。すなわち、本発明に係る画像処理システム200は、画像データ再生装置1と、視点情報生成装置100とを具備している。
この場合、第1のユーザ、および第2のユーザは、画像処理システム200を共有または個別に所有し、第1のユーザは、画像処理システム200の画像データ再生装置1を利用して、画像データの再生を行ない、第2のユーザは、画像処理システム200の視点情報生成装置100を利用して、新たな視点情報を生成し、生成した視点情報に基づき、画像データの再生を行なっても構わない。
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1 画像データ再生装置
2 分離部
3 視点画像生成部
4 視点情報解析部
5 視点決定部
6 個別視点情報生成部
7 表示装置
8 アップ画面
9 表示エリア
10 表示選択画面ダイアログ
11 スタジアム画面
12 ゴール前画面
13 スタジアム
14 点
15 スタジアム
16 点
17 カメラ
18 点
19 アップ画面
20 ボール
21 指先
22 点線
23 点
24 点
25 スタジアム画面
26 カメラ
27 カメラ
28 スタジアム画面
29 指先
30 ボール
31 点
32 カメラ
33 子画面
34 カメラ
35 カメラ
100 視点情報生成装置
101 個別視点情報入力部
102 個別視点情報記憶部
103 統計視点情報生成部
104 コンテンツ抽出部
105 多重化部
106 スタジアム
107 カメラ
108 注視点
109 点
110 円
111 画面
112 視点選択ダイアログ
113、114、115、116 ボタン
117、118、119、120 指標画像
121 アップ画面
122 ゴール前画面
200 画像処理システム
2 分離部
3 視点画像生成部
4 視点情報解析部
5 視点決定部
6 個別視点情報生成部
7 表示装置
8 アップ画面
9 表示エリア
10 表示選択画面ダイアログ
11 スタジアム画面
12 ゴール前画面
13 スタジアム
14 点
15 スタジアム
16 点
17 カメラ
18 点
19 アップ画面
20 ボール
21 指先
22 点線
23 点
24 点
25 スタジアム画面
26 カメラ
27 カメラ
28 スタジアム画面
29 指先
30 ボール
31 点
32 カメラ
33 子画面
34 カメラ
35 カメラ
100 視点情報生成装置
101 個別視点情報入力部
102 個別視点情報記憶部
103 統計視点情報生成部
104 コンテンツ抽出部
105 多重化部
106 スタジアム
107 カメラ
108 注視点
109 点
110 円
111 画面
112 視点選択ダイアログ
113、114、115、116 ボタン
117、118、119、120 指標画像
121 アップ画面
122 ゴール前画面
200 画像処理システム
Claims (5)
- 入力されたコンテンツデータに対し、任意の視点からの画像を再生する画像データ再生装置において、
外部から入力されたコンテンツデータから、少なくとも1つ以上の画像データと、前記少なくとも1つ以上の画像データのうちのいずれか1つに指定された画像データを用いて、どの視点で画像を生成するかを示す、少なくとも1つ以上の個別視点情報を含む視点情報とを分離して出力する分離部と、
前記視点情報に含まれる前記個別視点情報のうちのいずれか1つを視点選択情報として生成する視点決定部と、
前記少なくとも1つ以上の画像データのうちの、前記視点選択情報により指定された画像データを用いて、前記視点選択情報が示す視点の画像を視点画像として生成し、出力する視点画像生成部と、
前記視点選択情報に対し、ユーザの属性を表す情報であるユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する個別視点情報生成部と、
を具備することを特徴とする画像データ再生装置。 - 前記ユーザ属性情報は、前記個別視点情報が、個人で生成された視点であるのか、所定のグループで生成された視点であるかを示す、視点種別情報を含むことを特徴とする請求項1に記載の画像データ再生装置。
- 前記分離部から出力された前記視点情報を解析し、ユーザにより指定されない場合に指定される1つの個別視点情報を示す解析結果と、前記視点情報に含まれる前記個別視点情報とを出力する視点情報解析部、
を更に具備し、
前記視点決定部は、前記視点情報解析部から出力された前記個別視点情報のうちの、前記視点情報解析部から出力された前記解析結果に基づく1つの個別視点情報、または、ユーザにより任意に指定された1つの個別視点情報を前記視点選択情報として生成することを特徴とする請求項1に記載の画像データ再生装置。 - 請求項1から3のいずれかに記載の画像データ再生装置から出力されたユーザ属性付加個別視点情報を受け取る個別視点情報入力部と、
前記個別視点情報入力部からの前記ユーザ属性付加個別視点情報を蓄積する個別視点情報記憶部と、
前記個別視点情報記憶部に蓄積された複数の前記ユーザ属性付加個別視点情報の中から、第1の所定の条件に合致する少なくとも1つ以上のユーザ属性付加個別視点情報をグループ単位個別視点情報として抽出し、前記グループ単位個別視点情報に対して、所定の範囲に含まれる視点毎に集計をとることにより複数の分類個別視点情報に分類し、前記複数の分類個別視点情報の中から、第2の所定の条件に合致する分類個別視点情報を含む視点情報を統計視点情報として生成する統計視点情報生成部と、
入力されたコンテンツデータから視点情報以外の情報を抽出して、視点情報除外コンテンツデータを出力するコンテンツ抽出部と、
前記視点情報除外コンテンツデータと、前記統計視点情報とを多重化する多重化部と、
を具備することを特徴とする視点情報生成装置。 - 前記第1の所定の条件は、
その個別視点情報が、現在、再生しているコンテンツの再生時刻と同じであること、もしくは、
前記再生時刻の前後所定の時間内の時刻であることを示す時刻情報をもつこと、もしくは、
個別視点情報に含まれるユーザ属性情報を構成する各項目のうちの少なくとも1つ以上の項目が一致すること、もしくは、
各条件の組みあわせであることであり、
前記第2の所定の条件は、
前記所定の範囲に含まれる視点毎に集計された個別視点情報の数のうち、最も集計数の多い視点とすることを特徴とする請求項4に記載の視点情報生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013092908A JP2014215828A (ja) | 2013-04-25 | 2013-04-25 | 画像データ再生装置、および視点情報生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013092908A JP2014215828A (ja) | 2013-04-25 | 2013-04-25 | 画像データ再生装置、および視点情報生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014215828A true JP2014215828A (ja) | 2014-11-17 |
JP2014215828A5 JP2014215828A5 (ja) | 2016-06-16 |
Family
ID=51941532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013092908A Pending JP2014215828A (ja) | 2013-04-25 | 2013-04-25 | 画像データ再生装置、および視点情報生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014215828A (ja) |
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016123069A (ja) * | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 映像配信方法、映像受信方法、サーバ及び端末装置 |
WO2017022296A1 (ja) * | 2015-08-03 | 2017-02-09 | ソニー株式会社 | 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法 |
EP3182694A1 (en) | 2015-12-14 | 2017-06-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer-readable storage medium |
JP2017191492A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法および映像生成システム |
EP3291549A1 (en) | 2016-09-01 | 2018-03-07 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and program |
WO2018051688A1 (ja) * | 2016-09-15 | 2018-03-22 | キヤノン株式会社 | 仮想視点画像の生成に関する情報処理装置、方法及びプログラム |
JP2018056971A (ja) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
JP2018055279A (ja) * | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
WO2018070121A1 (ja) | 2016-10-11 | 2018-04-19 | キヤノン株式会社 | 画像処理システム、画像処理装置、及び、制御方法 |
JP2018518081A (ja) * | 2015-04-02 | 2018-07-05 | カタプルト グループ インターナショナル リミテッド | スポーツバーチャルリアリティシステム |
JP2018530219A (ja) * | 2015-09-02 | 2018-10-11 | トムソン ライセンシングThomson Licensing | 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム |
JP6415675B1 (ja) * | 2017-12-04 | 2018-10-31 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
JP6419278B1 (ja) * | 2017-09-19 | 2018-11-07 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
EP3416137A1 (en) | 2017-06-12 | 2018-12-19 | Canon Kabushiki Kaisha | Information processing apparatus, image generating apparatus, control methods therefor, and program |
JP2019053738A (ja) * | 2018-10-10 | 2019-04-04 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2019057291A (ja) * | 2018-10-10 | 2019-04-11 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
JP2019079298A (ja) * | 2017-10-25 | 2019-05-23 | キヤノン株式会社 | 情報処理装置、表示制御方法、及び、プログラム |
EP3493162A1 (en) | 2017-12-04 | 2019-06-05 | Canon Kabushiki Kaisha | Virtual viewpoint synthesis |
WO2019123957A1 (ja) | 2017-12-21 | 2019-06-27 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
JP2019115035A (ja) * | 2018-10-25 | 2019-07-11 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
WO2019176713A1 (ja) | 2018-03-13 | 2019-09-19 | キヤノン株式会社 | 制御装置、画像処理システム、制御方法、及びプログラム |
JP2020008972A (ja) * | 2018-07-04 | 2020-01-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2020017354A1 (ja) * | 2018-07-20 | 2020-01-23 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020014159A (ja) * | 2018-07-19 | 2020-01-23 | キヤノン株式会社 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
US10552980B2 (en) | 2016-11-09 | 2020-02-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US10659769B2 (en) | 2016-09-01 | 2020-05-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
WO2020100770A1 (ja) | 2018-11-14 | 2020-05-22 | キヤノン株式会社 | 情報処理システム、情報処理方法、およびプログラム |
US10701448B2 (en) | 2014-12-25 | 2020-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
RU2725682C1 (ru) * | 2019-04-29 | 2020-07-03 | Кэнон Кабусики Кайся | Устройство обработки информации, способ обработки информации и носитель данных |
US10742852B2 (en) | 2017-06-15 | 2020-08-11 | Canon Kabushiki Kaisha | Image processing apparatus, object shape estimation method, and storage medium |
JP2020135222A (ja) * | 2019-02-15 | 2020-08-31 | キヤノン株式会社 | 画像生成装置および画像生成方法、プログラム |
JP2020135130A (ja) * | 2019-02-14 | 2020-08-31 | キヤノン株式会社 | 画像表示装置、画像表示装置の制御方法及びプログラム |
JP2021010083A (ja) * | 2019-06-28 | 2021-01-28 | 株式会社Nttドコモ | 情報処理装置 |
JP2021026526A (ja) * | 2019-08-06 | 2021-02-22 | 凸版印刷株式会社 | 表示制御装置、表示制御方法、及びプログラム |
US10951873B2 (en) | 2018-08-08 | 2021-03-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
WO2021200140A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、および信号処理システム |
US11172188B2 (en) | 2019-04-25 | 2021-11-09 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
WO2022024594A1 (ja) * | 2020-07-31 | 2022-02-03 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11250633B2 (en) | 2019-07-05 | 2022-02-15 | Canon Kabushiki Kaisha | Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time |
US11328473B2 (en) | 2017-11-13 | 2022-05-10 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
US11451759B2 (en) | 2018-03-09 | 2022-09-20 | Canon Kabushiki Kaisha | Generation apparatus, generation method, and storage medium |
US11457195B2 (en) * | 2018-10-18 | 2022-09-27 | Samsung Electronics Co., Ltd. | Portable device and control method thereof |
US11483470B2 (en) | 2019-08-08 | 2022-10-25 | Canon Kabushiki Kaisha | Control apparatus, control method, and recording medium |
WO2022234699A1 (ja) * | 2021-05-07 | 2022-11-10 | キヤノン株式会社 | 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム |
US11528472B2 (en) | 2017-11-28 | 2022-12-13 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and non-transitory computer-readable storage medium |
US11528462B2 (en) | 2018-06-13 | 2022-12-13 | Canon Kabushiki Kaisha | Display control apparatus, method for controlling display control apparatus, and storage medium |
US11627256B2 (en) | 2018-08-31 | 2023-04-11 | Canon Kabushiki Kaisha | Information processing apparatus, method, and non-transitory computer-readable storage medium |
US11750851B2 (en) | 2018-06-18 | 2023-09-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US11818323B2 (en) | 2020-03-05 | 2023-11-14 | Canon Kabushiki Kaisha | Image generation system, method for generating a virtual viewpoint image, and storage medium |
JP7403581B2 (ja) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | システム及びデバイス |
JP7458889B2 (ja) | 2020-05-08 | 2024-04-01 | キヤノン株式会社 | 画像表示装置、制御方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005415A (ja) * | 2004-06-15 | 2006-01-05 | Sharp Corp | コンテンツ視聴装置、テレビジョン装置、コンテンツ視聴方法、プログラム、及び記録媒体 |
JP2009278437A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | 映像受信装置、映像配信システム及びプログラム |
JP2012015990A (ja) * | 2010-06-01 | 2012-01-19 | Canon Inc | 映像処理装置及びその制御方法 |
JP2012142860A (ja) * | 2011-01-05 | 2012-07-26 | Canon Inc | 任意視点映像処理装置及びその制御方法、及びプログラム |
-
2013
- 2013-04-25 JP JP2013092908A patent/JP2014215828A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005415A (ja) * | 2004-06-15 | 2006-01-05 | Sharp Corp | コンテンツ視聴装置、テレビジョン装置、コンテンツ視聴方法、プログラム、及び記録媒体 |
JP2009278437A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | 映像受信装置、映像配信システム及びプログラム |
JP2012015990A (ja) * | 2010-06-01 | 2012-01-19 | Canon Inc | 映像処理装置及びその制御方法 |
JP2012142860A (ja) * | 2011-01-05 | 2012-07-26 | Canon Inc | 任意視点映像処理装置及びその制御方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
永井有希, 外3名: ""視聴者の関心を考慮したQuality−of−Viewに基づく多視点画像の評価"", 電子情報通信学会技術研究報告, vol. 第110巻, 第414号, JPN6017018080, 10 February 2011 (2011-02-10), JP, pages 147 - 152, ISSN: 0003561633 * |
Cited By (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10701448B2 (en) | 2014-12-25 | 2020-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
JP2016123069A (ja) * | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 映像配信方法、映像受信方法、サーバ及び端末装置 |
JP2018518081A (ja) * | 2015-04-02 | 2018-07-05 | カタプルト グループ インターナショナル リミテッド | スポーツバーチャルリアリティシステム |
US20180183999A1 (en) * | 2015-08-03 | 2018-06-28 | Sony Corporation | Information management apparatus and information management method, and video reproduction apparatus and video reproduction method |
WO2017022296A1 (ja) * | 2015-08-03 | 2017-02-09 | ソニー株式会社 | 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法 |
US11089213B2 (en) * | 2015-08-03 | 2021-08-10 | Sony Group Corporation | Information management apparatus and information management method, and video reproduction apparatus and video reproduction method |
US11699266B2 (en) | 2015-09-02 | 2023-07-11 | Interdigital Ce Patent Holdings, Sas | Method, apparatus and system for facilitating navigation in an extended scene |
JP2018530219A (ja) * | 2015-09-02 | 2018-10-11 | トムソン ライセンシングThomson Licensing | 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム |
EP3182694A1 (en) | 2015-12-14 | 2017-06-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer-readable storage medium |
JP2017191492A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法および映像生成システム |
US11132807B2 (en) | 2016-09-01 | 2021-09-28 | Canon Kabushiki Kaisha | Display control apparatus and display control method for receiving a virtual viewpoint by a user operation and generating and displaying a virtual viewpoint image |
EP3291549A1 (en) | 2016-09-01 | 2018-03-07 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and program |
US10659769B2 (en) | 2016-09-01 | 2020-05-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2018046448A (ja) * | 2016-09-15 | 2018-03-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2018051688A1 (ja) * | 2016-09-15 | 2018-03-22 | キヤノン株式会社 | 仮想視点画像の生成に関する情報処理装置、方法及びプログラム |
JP2018055279A (ja) * | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JP2018056971A (ja) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
US11037364B2 (en) | 2016-10-11 | 2021-06-15 | Canon Kabushiki Kaisha | Image processing system for generating a virtual viewpoint image, method of controlling image processing system, and storage medium |
WO2018070121A1 (ja) | 2016-10-11 | 2018-04-19 | キヤノン株式会社 | 画像処理システム、画像処理装置、及び、制御方法 |
US10552980B2 (en) | 2016-11-09 | 2020-02-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
RU2718413C2 (ru) * | 2017-06-12 | 2020-04-02 | Кэнон Кабусики Кайся | Устройство обработки информации, устройство формирования изображений, способы управления для них и энергонезависимый машиночитаемый носитель хранения данных |
EP3416137A1 (en) | 2017-06-12 | 2018-12-19 | Canon Kabushiki Kaisha | Information processing apparatus, image generating apparatus, control methods therefor, and program |
US10917621B2 (en) | 2017-06-12 | 2021-02-09 | Canon Kabushiki Kaisha | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium |
US10742852B2 (en) | 2017-06-15 | 2020-08-11 | Canon Kabushiki Kaisha | Image processing apparatus, object shape estimation method, and storage medium |
JP2019056978A (ja) * | 2017-09-19 | 2019-04-11 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
JP6419278B1 (ja) * | 2017-09-19 | 2018-11-07 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
WO2019059020A1 (ja) * | 2017-09-19 | 2019-03-28 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
US11003350B2 (en) | 2017-09-19 | 2021-05-11 | Canon Kabushiki Kaisha | Control apparatus, control method, and storage medium |
JP2019079298A (ja) * | 2017-10-25 | 2019-05-23 | キヤノン株式会社 | 情報処理装置、表示制御方法、及び、プログラム |
JP7140487B2 (ja) | 2017-10-25 | 2022-09-21 | キヤノン株式会社 | 情報処理装置、表示制御方法、及び、プログラム |
US10917622B2 (en) | 2017-10-25 | 2021-02-09 | Canon Kabushiki Kaisha | Information processing apparatus, display control method, and storage medium |
US11328473B2 (en) | 2017-11-13 | 2022-05-10 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
US11528472B2 (en) | 2017-11-28 | 2022-12-13 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and non-transitory computer-readable storage medium |
WO2019111817A1 (ja) | 2017-12-04 | 2019-06-13 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
EP3493162A1 (en) | 2017-12-04 | 2019-06-05 | Canon Kabushiki Kaisha | Virtual viewpoint synthesis |
JP2019101795A (ja) * | 2017-12-04 | 2019-06-24 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
US11012679B2 (en) | 2017-12-04 | 2021-05-18 | Canon Kabushiki Kaisha | Generating apparatus, generating method, and storage medium |
KR20190126919A (ko) | 2017-12-04 | 2019-11-12 | 캐논 가부시끼가이샤 | 생성 장치, 생성 방법, 및 기억 매체 |
US10979684B2 (en) | 2017-12-04 | 2021-04-13 | Canon Kabushiki Kaisha | Image processing apparatus, information processing method, and program for associating an element in a background shape model with an image capturing apparatus |
JP6415675B1 (ja) * | 2017-12-04 | 2018-10-31 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
KR20190137939A (ko) | 2017-12-21 | 2019-12-11 | 캐논 가부시끼가이샤 | 표시 제어 장치 및 표시 제어 방법 |
US10733925B2 (en) | 2017-12-21 | 2020-08-04 | Canon Kabushiki Kaisha | Display control apparatus, display control method, and non-transitory computer-readable storage medium |
WO2019123957A1 (ja) | 2017-12-21 | 2019-06-27 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
US11451759B2 (en) | 2018-03-09 | 2022-09-20 | Canon Kabushiki Kaisha | Generation apparatus, generation method, and storage medium |
WO2019176713A1 (ja) | 2018-03-13 | 2019-09-19 | キヤノン株式会社 | 制御装置、画像処理システム、制御方法、及びプログラム |
US11343425B2 (en) | 2018-03-13 | 2022-05-24 | Canon Kabushiki Kaisha | Control apparatus, control method, and storage medium |
US11528462B2 (en) | 2018-06-13 | 2022-12-13 | Canon Kabushiki Kaisha | Display control apparatus, method for controlling display control apparatus, and storage medium |
US11750851B2 (en) | 2018-06-18 | 2023-09-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2020008972A (ja) * | 2018-07-04 | 2020-01-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7277085B2 (ja) | 2018-07-04 | 2023-05-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020014159A (ja) * | 2018-07-19 | 2020-01-23 | キヤノン株式会社 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
WO2020017134A1 (ja) * | 2018-07-19 | 2020-01-23 | キヤノン株式会社 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
US11715263B2 (en) | 2018-07-19 | 2023-08-01 | Canon Kabushiki Kaisha | File generation apparatus, image generation apparatus based on file, file generation method and storage medium |
JP7271099B2 (ja) | 2018-07-19 | 2023-05-11 | キヤノン株式会社 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
WO2020017354A1 (ja) * | 2018-07-20 | 2020-01-23 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11622099B2 (en) | 2018-07-20 | 2023-04-04 | Canon Kabushiki Kaisha | Information-processing apparatus, method of processing information, and program |
US10951873B2 (en) | 2018-08-08 | 2021-03-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US11627256B2 (en) | 2018-08-31 | 2023-04-11 | Canon Kabushiki Kaisha | Information processing apparatus, method, and non-transitory computer-readable storage medium |
JP2019053738A (ja) * | 2018-10-10 | 2019-04-04 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2019057291A (ja) * | 2018-10-10 | 2019-04-11 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
US11457195B2 (en) * | 2018-10-18 | 2022-09-27 | Samsung Electronics Co., Ltd. | Portable device and control method thereof |
JP2019115035A (ja) * | 2018-10-25 | 2019-07-11 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
JP7237538B2 (ja) | 2018-11-14 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法、およびプログラム |
WO2020100770A1 (ja) | 2018-11-14 | 2020-05-22 | キヤノン株式会社 | 情報処理システム、情報処理方法、およびプログラム |
US11956408B2 (en) | 2018-11-14 | 2024-04-09 | Canon Kabushiki Kaisha | Information processing system, information processing method, and storage medium |
JP2020080101A (ja) * | 2018-11-14 | 2020-05-28 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法、およびプログラム |
KR20210072086A (ko) | 2018-11-14 | 2021-06-16 | 캐논 가부시끼가이샤 | 정보 처리 시스템, 정보 처리 방법, 및 저장 매체 |
JP7339740B2 (ja) | 2019-02-14 | 2023-09-06 | キヤノン株式会社 | 画像表示装置、画像表示装置の制御方法及びプログラム |
JP2020135130A (ja) * | 2019-02-14 | 2020-08-31 | キヤノン株式会社 | 画像表示装置、画像表示装置の制御方法及びプログラム |
JP7349793B2 (ja) | 2019-02-15 | 2023-09-25 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
JP2020135222A (ja) * | 2019-02-15 | 2020-08-31 | キヤノン株式会社 | 画像生成装置および画像生成方法、プログラム |
US11172188B2 (en) | 2019-04-25 | 2021-11-09 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
RU2725682C1 (ru) * | 2019-04-29 | 2020-07-03 | Кэнон Кабусики Кайся | Устройство обработки информации, способ обработки информации и носитель данных |
JP2021010083A (ja) * | 2019-06-28 | 2021-01-28 | 株式会社Nttドコモ | 情報処理装置 |
JP7284007B2 (ja) | 2019-06-28 | 2023-05-30 | 株式会社Nttドコモ | 情報処理装置 |
US11250633B2 (en) | 2019-07-05 | 2022-02-15 | Canon Kabushiki Kaisha | Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time |
JP7287172B2 (ja) | 2019-08-06 | 2023-06-06 | 凸版印刷株式会社 | 表示制御装置、表示制御方法、及びプログラム |
JP2021026526A (ja) * | 2019-08-06 | 2021-02-22 | 凸版印刷株式会社 | 表示制御装置、表示制御方法、及びプログラム |
US11483470B2 (en) | 2019-08-08 | 2022-10-25 | Canon Kabushiki Kaisha | Control apparatus, control method, and recording medium |
US11818323B2 (en) | 2020-03-05 | 2023-11-14 | Canon Kabushiki Kaisha | Image generation system, method for generating a virtual viewpoint image, and storage medium |
WO2021200140A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、および信号処理システム |
JP7458889B2 (ja) | 2020-05-08 | 2024-04-01 | キヤノン株式会社 | 画像表示装置、制御方法、およびプログラム |
JPWO2022024594A1 (ja) * | 2020-07-31 | 2022-02-03 | ||
WO2022024594A1 (ja) * | 2020-07-31 | 2022-02-03 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2022234699A1 (ja) * | 2021-05-07 | 2022-11-10 | キヤノン株式会社 | 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム |
JP7403581B2 (ja) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | システム及びデバイス |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014215828A (ja) | 画像データ再生装置、および視点情報生成装置 | |
JP6309749B2 (ja) | 画像データ再生装置および画像データ生成装置 | |
US11128812B2 (en) | Generating content for a virtual reality system | |
US10691202B2 (en) | Virtual reality system including social graph | |
US10699482B2 (en) | Real-time immersive mediated reality experiences | |
CN106576184B (zh) | 信息处理装置、显示装置、信息处理方法、程序和信息处理*** | |
JP2015187797A (ja) | 画像データ生成装置および画像データ再生装置 | |
KR102215166B1 (ko) | 제공장치, 제공방법 및 컴퓨터 프로그램 | |
US9026596B2 (en) | Sharing of event media streams | |
TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
CN102859486B (zh) | 缩放显示导航 | |
US10701426B1 (en) | Virtual reality system including social graph | |
JP5236039B2 (ja) | 映像処理装置及びその制御方法 | |
US10511767B2 (en) | Information processing device, information processing method, and program | |
WO2016167160A1 (ja) | データ生成装置および再生装置 | |
JP2019213196A (ja) | 三次元360°映像データの伝送方法とそのためのディスプレイ装置及び映像保存装置 | |
JP6934052B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP2015136069A (ja) | 映像配信システム、映像配信方法及び映像配信プログラム | |
KR20150048961A (ko) | 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치 | |
KR20180059281A (ko) | 타임 슬라이스 영상을 제공하는 사용자 단말 및 영상 제공 서버 | |
KR20160041038A (ko) | 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치 | |
JP2020010347A (ja) | 生成装置および生成方法、プログラム | |
GB2555840A (en) | A device, computer program and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171114 |