JP2012015990A

JP2012015990A - 映像処理装置及びその制御方法

Info

Publication number: JP2012015990A
Application number: JP2011073416A
Authority: JP
Inventors: Manabu Umeyama; 学梅山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-06-01
Filing date: 2011-03-29
Publication date: 2012-01-19
Anticipated expiration: 2031-03-29
Also published as: US8531597B2; JP5236039B2; US20110293241A1

Abstract

【課題】表示対象の映像コンテンツに類似した映像コンテンツで既に登録した視点を容易に選択できるようにする。
【解決手段】それぞれ異なる複数の視点位置で撮影された複数の映像で構成される映像コンテンツについての表示する映像の視点である入力視点情報を記憶する。このとき、映像コンテンツを構成する複数の映像が撮影された複数の視点位置の情報を含む撮影視点情報、及び映像コンテンツを識別するための識別情報の少なくとも一方の情報に関連付けて記憶する。そして、既に入力視点情報を記録した映像コンテンツとは異なる映像コンテンツを視聴する際に、当該映像コンテンツの撮影視点情報及び識別情報の少なくとも一方の情報に基づいて、記憶されている入力視点情報に対応する視点を、選択可能な視点として提示する。
【選択図】図４

Description

本発明は、複数の視点位置で撮影された映像で構成された映像コンテンツを受信する映像処理装置及びその制御方法に関する。

近年、デジタルテレビ放送等の放送技術の発達により、様々な映像コンテンツの配信技術に関する研究、及び開発がなされている。

マルチアングル放送とも言われる多視点映像の配信技術においては、１つの映像コンテンツについて、複数の位置で撮影された映像を多重化して配信することにより、ユーザは所望の視点で映像コンテンツを視聴することができる。また、多視点映像が有する複数の位置で撮影された映像を利用した、「任意視点映像」技術の研究も行われている。任意視点映像技術は、多視点映像が有する複数の位置で撮影された映像から、実際には撮影が行われていない位置の視点の映像を生成する技術であり、スポーツ中継等の映像コンテンツへの利用が検討されている。この任意視点映像技術を利用することで、ユーザに映像コンテンツの空間内を、実際に移動しながら視聴しているような没入感を与えることができる。特許文献１には、通常の放送映像から任意視点映像に再生を切り替えた際、視点の切り替えをシームレスに実現するために、任意視点映像に切り替えた際に選択される視点の情報を、通常の放送映像の視点の切り替えに合わせて制御する技術について開示されている。

また特許文献２には、視点切り換え可能な時間帯と切り替え不可能な時間帯とが混在する番組（映像コンテンツ）を受信している場合の、視点切り換えに関する技術が開示されている。具体的に特許文献２では、視点切り替え可能な時間帯にユーザが切り換えた視点の情報を記憶し、同一番組内で視点切り替え不可能な時間帯を経た後、再び視点切り替え可能な時間帯となった際に、記憶した当該番組の視点に切り換えている。

特開２００７−１５０７４７号公報特開２０１０−０８８０１７号公報

特許文献２に記載の技術では、視点の情報を記憶しておくことで、同一番組の視点を再現することはできる。しかしながら、ある番組で選択していた視点を、類似する内容の他の番組で再現することはできなかった。このため、ユーザは類似の内容の番組を視聴する場合であっても、視聴の度に所望の視点位置を設定するために煩わしい操作を行う必要があった。

本発明は、上述の問題点に鑑みてなされたものであり、表示対象の映像コンテンツに類似した映像コンテンツで既に登録した視点を容易に選択できるようにすることを目的とする。

前述の目的を達成するために、本発明の映像再生装置は、以下の構成を備える。
それぞれ異なる複数の視点位置で撮影された複数の映像で構成される映像コンテンツを処理する映像処理装置であって、映像コンテンツに係る、表示する映像の視点のユーザ入力を受け付ける入力手段と、入力手段により入力された視点を示す入力視点情報を、映像コンテンツを構成する複数の映像が撮影された複数の視点位置の情報を含む撮影視点情報、及び映像コンテンツを識別するための識別情報の少なくとも一方の情報と関連付けて記憶する記憶手段と、映像コンテンツとは異なる表示対象の映像コンテンツの撮影視点情報及び識別情報の少なくとも一方の情報と、記憶手段に記憶されている情報とに基づいて、記憶手段に記憶されている入力視点情報に対応する視点を、入力手段で選択可能な視点として提示する制御を行う制御手段と、を備えることを特徴とする。

このような構成により本発明によれば、表示対象の映像コンテンツに類似した映像コンテンツで既に登録した視点を容易に選択できるようにする。

実施形態に係るセットトップボックスの機能構成を示したブロック図。実施形態に係る視点登録処理のフローチャート。視点ブックマーク情報を説明するための図。実施形態１の視点切替処理のフローチャート。撮影視点情報の類似度を説明するための図。視点ブックマークを選択するためのＧＵＩデータの表示例を示す図。実施形態２の視点切替処理のフローチャート。実施形態２の画面表示例を示した図。

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、映像処理装置の一例としての、多視点映像を受信し、当該多視点映像の映像コンテンツにおける任意の視点の映像を生成可能なセットトップボックスに、本発明を適用した例を説明する。しかし、本発明は、映像コンテンツにおける任意の視点の映像を生成することが可能な任意の機器に適用可能である。多視点映像を受信する機能を有することは必須ではなく、例えば、ＤＶＤ（Digital Versatile Disc）やメモリカードなどの記録媒体に格納された多視点映像コンテンツを再生することが可能な再生装置にも適用できる。

図１は、本発明の実施形態に係るセットトップボックス１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、セットトップボックス１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、セットトップボックス１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、セットトップボックス１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要な設定パラメータ、映像に重畳させるＧＵＩデータ等を記憶する。また、ＲＯＭ１０２は後述する映像受信部１０５で受信された多視点映像から生成する、当該多視点映像の任意の視点の情報を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、セットトップボックス１００の各ブロックの動作で得られた情報や計算結果等を、一時的に記憶する領域として用いられる。

操作入力部１０４は、セットトップボックス１００が備える、当該セットトップボックス１００への指示入力を受け付けるブロックであり、入力された操作内容を制御部１０１に伝送する。操作入力部１０４は、例えばユーザがリモートコントローラ等を用いて操作を行った際に受信する操作信号を解析し、解析された指示入力を制御信号として制御部１０１に出力する。

映像受信部１０５は、セットトップボックス１００に入力された符号化映像信号を復号するブロックであり、復号して得られた映像信号を後述する視点映像生成部１０７に出力する。本実施形態のセットトップボックス１００は、互いに異なる複数の視点位置で撮影された複数の映像ストリームが多重化された１つの映像コンテンツに係る多視点映像を受信可能である。なお、本実施形態においてセットトップボックス１００は、例えばデジタルテレビ放送等の放送波により伝播された放送信号を受信し、視聴を行うチャンネルに係る映像信号を抽出して映像受信部１０５で復号を行うものとして説明する。しかしながら、本発明の映像入力方法は、放送波の受信に限定されるものではなく、例えば、インターネット回線等のネットワークを介して受信する構成であってもよい
付加情報受信部１０６は、映像受信部１０５が復号した映像に係る付加情報を取得し、制御部１０１に出力する。付加情報は、受信した映像コンテンツの番組名、ジャンル、出演者及びキーワード等のコンテンツ詳細情報、及び多視点映像に含まれる複数の撮影視点の映像の撮影された位置、撮影方向、撮影画角（視野角）を有する撮影視点情報で構成される。なお、コンテンツ詳細情報は、例えばTV-Anytime Forumが策定したコンテンツ記述メタデータや、受信した放送信号のＴＳ（Transport Stream）信号に含まれるＥＩＴ（Event Information Table）から取得すればよい。また、本実施形態において付加情報の受信方法は、セットトップボックス１００が受信する放送信号から抽出するものとして説明するが、付加情報の受信方法はこれに限らず、例えば不図示のネットワークＩ／Ｆを介してネットワーク経由で取得する方法等でもよい。

視点映像生成部１０７は、映像受信部１０５から入力された多視点映像が有する複数の視点位置で撮影された映像から、合成処理を行うことによりユーザに指定された任意の視点の映像を生成するブロックである。具体的には、操作入力部１０４から視聴を行いたい視点の情報が入力されると、制御部１０１は入力された視点の情報を視点映像生成部１０７に出力し、当該視点の映像を視点映像生成部１０７に生成させる。なお、多視点映像から任意の視点の映像を生成する方法は、前述の特許文献１に記載の方法や、オプティカルフローを用いてオブジェクトの３次元的位置を把握して得られた立体モデルに、必要な視点の映像からテクスチャマッピングを行う方法等、既存の方法を用いればよい。また、本実施形態のセットトップボックス１００は、多視点映像から生成した任意の視点の映像の出力のみを行うものである必要はなく、多視点映像が有する特定の撮影位置における映像や、多視点映像以外の通常の映像コンテンツを出力可能であるものとする。本実施形態ではセットトップボックス１００は、多視点映像から生成した任意の視点の映像の生成を行うモードと、受信した映像信号に加工を行わず出力する通常のモードとを有するものとして説明する。即ち、視点映像生成部１０７は、任意の視点の映像の生成を行うモードの場合のみ映像の生成処理を行い、通常のモードの場合は映像の生成処理を行う必要はないため、入力された映像信号をそのまま合成部１０８に出力すればよい。

合成部１０８は、視点映像生成部１０７から入力された映像信号に対し、制御部１０１がＲＯＭ１０２より読み出して合成部１０８に入力したＧＵＩデータを合成して、セットトップボックス１００に接続された表示装置に出力し、表示させる。

タイマ１０９は、セットトップボックス１００が備えるシステムタイマであり、セットトップボックス１００に設定された時刻の情報を保持する。また、タイマ１０９は任意のタイミングから開始した時間を計測する（カウント）ためにも用いられ、制御部１０１によりカウント開始の指示を受けるとカウントを開始し、時間経過に従ってカウントを加算する。

（視点登録処理）
このような構成をもつ本実施形態のセットトップボックス１００の視点登録処理について、図２のフローチャートをさらに用いて、具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本視点登録処理は、例えばユーザによって操作入力部１０４に、任意の視点の映像を生成して表示するモードに切り替える入力がなされた際に開始されるものとして説明する。また、任意の視点の映像を生成して表示するモードの開始時には、コンテンツ制作者により予め設定されたデフォルトの視点の映像を生成するものとする。

Ｓ２０１で、制御部１０１は、ＲＡＭ１０３に現在視聴中の視点の情報を登録候補の視点として一時的に記憶し、タイマ１０９にカウントを開始させる。なお、現在視聴中の視点の情報は例えば付加情報受信部１０６から入力された付加情報から取得してもよいし、操作入力部１０４によって変更された視点の情報がＲＯＭ１０２に登録候補の視点とは別に記憶されていてもよい。

Ｓ２０２で、制御部１０１は、操作入力部１０４から視点の位置、方向、及び画角の少なくともいずれかを変更する入力がなされたかを判断する。制御部１０１は、視点の変更がなされたと判断した場合は処理をＳ２０３に移し、視点の変更がなされていないと判断した場合はＳ２０２の処理を繰り返す。なお、操作入力部１０４により視点の変更の入力がなされると、制御部１０１は本視点登録処理とは関係なくＲＡＭ１０３に記憶されている現在の視点の情報を更新し、視点映像生成部１０７に現在の視点の映像を生成させて、出力させる。

Ｓ２０３で、制御部１０１は、操作入力部１０４から入力された操作によって変更された視点の情報と、登録候補の視点の情報とをＲＡＭ１０３より読み出し、二つの視点の位置、方向、及び画角の値を比較する。制御部１０１は、２つの視点の位置、方向、及び画角の値の差の少なくとも１つの値が、ＲＯＭ１０２に予め設定されている、位置、方向、及び画角それぞれの閾値以上である場合、処理をＳ２０４に移す。また制御部１０１は、２つの視点の位置、方向、及び画角の値の差が、いずれも閾値を超えない場合は処理をＳ２０２に戻す。即ち、本ステップで視点の判断を行うことにより、不用意に多数の視点を、登録候補の視点として登録することを防ぐことができる。

Ｓ２０４で、制御部１０１は、Ｓ２０１で開始させたカウンタが、ＲＯＭ１０２に予め設定されている所定の視聴時間以上であるかを判断する。即ち、制御部１０１は登録候補の視点が所定の時間以上、継続して視聴されたか否かを判断し、所定の時間以上視聴されていると判断した場合は処理をＳ２０６に進め、視聴時間が所定の時間に満たない場合は処理をＳ２０５に移す。

Ｓ２０６で、制御部１０１は、ＲＡＭ１０３に記憶されている登録候補の視点の情報を、視点ブックマーク情報（入力視点情報）としてＲＯＭ１０２に登録させる。このとき、制御部１０１は登録する視点の情報に関連付けて、視聴中の映像コンテンツの撮影視点情報、及び当該映像コンテンツを特定可能とする識別情報とともに記憶する。識別情報は、付加情報に含まれるコンテンツ詳細情報から抽出した映像コンテンツを特定可能な情報であればよく、本実施形態ではコンテンツ詳細情報から抽出した番組名やキーワード、シリーズ番組であることを示すシリーズ識別子等の文字列情報を識別情報として登録する。また、制御部１０１は視点の情報を登録すると処理をＳ２０１に戻し、新たな視点を登録するための計測を行う。

なお、ＲＡＭ１０３に記憶した登録候補の視点における視聴時間が所定の時間に満たないと判断した場合、制御部１０１はＳ２０５で、現在のカウンタ値を登録候補の視点とともに、過去の登録候補の視点としてＲＡＭ１０３に記憶し、処理をＳ２０１に戻す。なお、処理をＳ２０５からＳ２０１に移すと、制御部１０１は新たな視点の情報を登録候補の視点としてＲＡＭ１０３に記憶する。その後、視点変更がなされ、変更された視点の位置、方向、及び画角と、Ｓ２０５で記憶した過去の登録情報の視点の位置、方向、及び画角との差が、全てそれぞれについて設定されている閾値以下となった場合、制御部１０１は次のように処理すればよい。制御部は、視点変更により、再び過去の登録候補の視点が視聴されていると判断し、過去の登録候補の視点に関連付けられたカウンタの値を読み出し、読み出したカウント値に続けて再びカウントを開始する。これにより、総視聴時間が所定の時間以上となった視点の情報も登録することが可能となる。また視点の登録は、図２に示したような自動的に視点を登録する方法以外に、ユーザが好みの視点を登録する方法であってもよい。

このようにして、本実施形態のセットトップボックス１００は、ユーザが視聴した視点のうち、視聴頻度が高いものを自動的に視点ブックマーク情報（入力視点情報）としてＲＯＭ１０２に記憶させることができる。視点ブックマーク情報及び関連付けて記憶される識別情報及び撮影視点情報は、例えば図３のようになる。視点ブックマーク情報は、所定時間視聴された視点の情報であり、視点の３次元的位置（ｘ，ｙ，ｚ）、視点の方向（水平角α，仰角β）、視点の画角（水平画角γ，垂直画角θ）で構成される。また識別情報は、コンテンツ詳細情報の番組名、ジャンル、出演者、及びキーワードの情報から抽出した文字列情報で構成される。さらに撮影視点情報は、視点ブックマーク情報と同様に、多視点映像が有する複数の位置で撮影された映像の、撮影位置、撮影方向、及び撮影画角の情報で構成され、１つの視点ブックマーク情報に複数の撮影視点の情報が割り当てられる。

なお、例えば視点を登録する際に登録した時刻の情報をさらに関連付けて記憶することにより、視点ブックマーク情報を自動で消去することも可能である。この場合、制御部１０１は、例えば登録した時刻から所定の時間経過している視点の情報が存在すると判断した場合に、当該視点の情報をＲＯＭ１０２から削除すればよい。

（視点切替処理）
次に本実施形態のセットトップボックス１００の視点切替処理について、図４のフローチャートをさらに用いて、具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本視点切替処理は、例えばユーザによって操作入力部１０４に、任意の視点の映像を生成して表示するモードに切り替える入力がなされた際に開始され、任意の視点の映像を生成した表示するモード中繰り返し実行されるものとして説明する。即ち、本視点切替処理は前述の視点登録処理と並列して実行される。

なお、任意の視点の映像を生成して表示するモードの開始時には、例えば映像コンテンツとともに受信されるコンテンツ詳細情報に記述されている、コンテンツ制作者により予め設定されたデフォルトの視点の映像を生成するものとする。また、本視点切替処理は、任意の視点の映像を生成して表示するモードに切り替える入力がなされた際にのみ開始されるのではなく、任意の視点の映像を生成可能な映像コンテンツを受信した際に開始される構成であってもよい。例えば、任意の視点の映像を生成可能な映像コンテンツを配信する放送番組が開始した際に、本視点切替処理が開始されてもよい。また、通常の単一視点の映像の放送番組のチャンネルから、任意の視点の映像を生成可能な映像コンテンツを配信する放送番組のチャンネルに切り替えた際に、本視点切替処理が開始されてもよい。

なお、本視点切替処理は、視聴中の映像コンテンツに係る、視点登録処理で登録された視点の情報がＲＯＭ１０２に存在する場合、ユーザが容易に当該登録された視点の映像を視聴可能とすることを目的とする。また本視点切替処理について、本実施形態では説明を簡単にするため、ＲＯＭ１０２に前述の視点登録処理で登録された視点の情報が１つだけ記憶されている場合について説明する。

Ｓ４０１で、制御部１０１は、付加情報受信部１０６より視聴中の映像コンテンツに係る付加情報を取得する。具体的には制御部１０１は、後述するステップでＲＯＭ１０２に登録されている視点の情報が、現在視聴中の映像コンテンツに類似する映像コンテンツの視点の情報であるかを判断するために、付加情報を付加情報受信部１０６から取得する。なお、本実施形態において付加情報は、映像コンテンツのコンテンツ詳細情報及び撮影視点情報をさす。

Ｓ４０２で、制御部１０１は、Ｓ４０１で受信したコンテンツ詳細情報から、視聴中の映像コンテンツの識別情報となる文字列情報を抽出する。本実施形態では、視聴中の映像コンテンツの識別情報として、キーワードとして登録されている情報（場所情報、ジャンル情報、詳細ジャンル情報など）、またはコンテンツ詳細情報に含まれる文字列からキーワードを抽出するものとして説明する。しかしながら、識別情報は上述した情報に限らず、映像コンテンツを特定できる情報であれば構わない。

Ｓ４０３で、制御部１０１は、視聴中の映像コンテンツの識別情報と、ＲＯＭ１０２に記憶されている視点ブックマーク情報に関連付けられている識別情報との類似度を算出する。具体的には制御部１０１は、２つの識別情報の文字列情報の類似度を、例えば（一致文字数）／（総文字数）等の比率（一致度）で算出し、当該得られた比率がＲＯＭ１０２に予め記憶されている識別情報が一致しているとみなす閾値を超えるか否かを判断する。制御部１０１は、２つ以上の識別情報が一致していると判断した場合は処理をＳ４０４に移し、２つの識別情報が一致していないと判断した場合、または視点ブックマーク情報が存在しない場合は処理をＳ４０９に移す。

Ｓ４０４で、制御部１０１は、さらに視聴中の映像コンテンツの撮影視点情報と、ＲＯＭ１０２に記憶されている視点ブックマーク情報に関連付けられている撮影視点情報との類似度を算出する。本実施形態では制御部１０１は、２つの撮影視点情報のそれぞれについて、全ての撮影位置を図５のように二次元的に結線した際に囲われる領域を導出し、当該２つの領域が重なる領域の比率を以下の式で算出する。なお、図５では撮影視点情報に含まれる撮影位置、撮影方向、撮影画角の情報のうち撮影位置の情報のみを用いて領域を特定する場合を例示しており、撮影位置の情報のみを用いて撮影視点情報の類似度を算出することができる。しかし、より正確な２つの撮影視点情報の類似度を算出するために、撮影位置、撮影方向、撮影画角の情報を全て用いて類似度を算出してもよい。

このように算出された重なる領域の比率、即ち２つの撮影視点情報の類似度が、ＲＯＭ１０２に予め記憶されている撮影視点情報が一致しているとみなす閾値（例えば、８０％）を超えるか否かを判断する。制御部１０１は、２つの撮影視点情報の類似度が閾値以上であると判断した場合は処理をＳ４０５に移し、２つの撮影視点情報の類似度が閾値未満であると判断した場合は処理をＳ４０９に移す。

なお、ここでは、Ｓ４０３とＳ４０４の両方の処理を行う場合を例に挙げて説明しているが、Ｓ４０３とＳ４０４のいずれか一方の処理のみを行う構成であってもよい。つまり、識別情報と撮影視点情報の一方の情報のみを用いて、類似度を判定する構成であってもよい。

Ｓ４０５で、制御部１０１は、登録されている視点ブックマーク情報が存在し、視点として選択可能であることを示すＧＵＩデータをＲＯＭ１０２から読み出して合成部１０８に出力し、合成部１０８に視聴中の映像信号と当該ＧＵＩデータを合成させて出力させる。

図６は、視聴中の映像コンテンツに類似する映像コンテンツの登録済み視点ブックマークを選択するためのＧＵＩデータの表示例を示す図である。この表示画面において、撮影視点情報の類似度が高い視点ほど上側に表示（提示）される（「視点１」の類似度＞「視点２」の類似度）。なお、撮影視点情報の類似度が同一の複数の登録済み視点ブックマークが存在する場合は、タイマ１０９でカウントされた総視聴時間の長い視点ほど上側に表示（提示）される。

Ｓ４０６で、ユーザにより、登録されている視点ブックマーク情報への視点変更が決定され、操作入力部１０４から登録されている視点ブックマーク情報への視点変更要求が入力されたかを、制御部１０１は判断する。制御部１０１は、視点変更要求が操作入力部１０４より入力された場合は処理をＳ４０７に移し、入力されなかった場合は処理をＳ４１０に移す。

Ｓ４０７で、制御部１０１は、選択されたＲＯＭ１０２に登録されている視点ブックマーク情報の視点の情報を読み出して視点映像生成部１０７に出力し、視点映像生成部１０７に当該視点の映像を生成させて、合成部１０８に出力させる。そしてＳ４０８で制御部１０１は、合成部１０８に視点ブックマーク情報の視点の映像を接続されている表示装置に出力させ、表示させる。

Ｓ４０３及びＳ４０４で、ＲＯＭ１０２に登録されている視点ブックマーク情報が、視聴中の映像コンテンツに対応していないと判断された場合、制御部１０１は次のように処理する。制御部１０１は、視聴中の映像コンテンツに対応している視点ブックマーク情報が存在しないことを示すＧＵＩデータをＲＯＭ１０２から読み出して合成部１０８に出力し、合成部１０８に視聴中の映像信号と当該ＧＵＩデータを合成させて出力させる。

また視聴中の映像コンテンツに対応している視点ブックマーク情報が存在しない場合、またはＳ４０６で視点ブックマーク情報の視点が選択されなかった場合、制御部１０１は処理をＳ４１０に移す。そしてＳ４１０で制御部１０１は、操作入力部１０４から視点の位置、方向、及び画角の少なくともいずれかを変更する入力がなされたかを判断する。制御部１０１は、視点の変更がなされたと判断した場合は処理をＳ４１１に移し、視点の変更がなされていないと判断した場合はＳ４０８に処理を移す。

Ｓ４１１で、制御部１０１は、操作入力部１０４から入力された変更後の視点の情報を視点映像生成部１０７に出力し、視点映像生成部１０７に当該視点の映像を生成させて、合成部１０８に出力させ、処理をＳ４０８に移す。

このように視点登録処理及び視点切替処理を実行することで、本実施形態のセットトップボックス１００は、受信している映像コンテンツに類似した映像コンテンツで既に登録した視点を容易に選択できるようにすることができる。具体的には、既に任意の視点の映像を生成して表示するモードで視聴を行った際に登録された視点が存在する場合に、セットトップボックス１００はユーザに過去に視聴した際の視点に切り替え可能であることを通知する。これによりユーザは、再び視点変更操作を行うことなく、過去に視聴した際の視点に容易に切り替えることが可能である。

以上説明したように、本実施形態の映像処理装置は、受信している映像コンテンツに類似した映像コンテンツで既に登録した視点を容易に選択できるようにすることができる。具体的には、映像処理装置は、それぞれ異なる複数の視点位置で撮影された複数の映像で構成される映像コンテンツについての表示する映像の視点である入力視点情報を記憶する。このとき、映像コンテンツを構成する複数の映像が撮影された複数の視点位置の情報を含む撮影視点情報、及び映像コンテンツを識別するための識別情報の少なくとも一方の情報に関連付けて記憶する。そして、既に入力視点情報を記録した映像コンテンツとは異なる映像コンテンツを視聴する際に、当該映像コンテンツの撮影視点情報及び識別情報の少なくとも一方の情報に基づいて、記憶されている入力視点情報に対応する視点を、選択可能な視点として提示する。

これにより、ユーザは任意の視点の映像を生成することができる映像コンテンツを視聴する度に所望の視点を入力する煩雑な操作を行うことなく、簡単な操作で所望の視点を選択することができる。

（実施形態２）
上述した実施形態１では、視聴中の映像コンテンツに係る選択可能な視点ブックマーク情報が存在する場合に、切り替え可能であることのＧＵＩデータを映像コンテンツとともに表示することにより、ユーザに通知する方法について説明した。本実施形態では、選択可能な視点ブックマーク情報が存在する場合に、当該視点ブックマーク情報に切り替えた際の映像をプレビュー表示（提示）することにより、ユーザの所望の視点への切り替えをさらに容易にさせる方法について説明する。なお、本実施形態のセットトップボックス１００は上述の実施形態１と同様の構成であるため機能構成の説明は省略する。また、本実施形態では、ＲＯＭ１０２に登録されている視点ブックマーク情報が複数存在する場合について説明する。

（視点切替処理）
以下、本実施形態のセットトップボックス１００の視点切替処理について、図７のフローチャートを用いて、具体的な処理を説明する。なお、本実施形態の視点切替処理において、上述した実施形態１の視点切替処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本実施形態に特徴的な処理の説明に留める。なお、本視点切替処理も、例えばユーザによって操作入力部１０４に、任意の視点の映像を生成して表示するモードに切り替える入力がなされた際に開始され、任意の視点の映像を生成した表示するモード中繰り返し実行されるものとして説明する。

Ｓ４０２でコンテンツ詳細情報から視聴中の映像コンテンツの識別情報として文字列情報を抽出すると、制御部１０１はＲＯＭ１０２に登録されている複数の視点ブックマーク情報（入力視点情報）のそれぞれについて、Ｓ４０３、Ｓ４０４、及び後述するＳ７０１及びＳ７０２の処理を適用する。

具体的には制御部１０１は、Ｓ４０３でＲＯＭ１０２に登録されている複数の視点ブックマーク情報のうち、類似度が算出されていない１つの視点ブックマーク情報を選択する。続いて、制御部１０１は、Ｓ４０３で当該選択された視点ブックマーク情報に関連付けられている識別情報と、視聴中の映像コンテンツの識別情報の類似度を算出する。そして制御部１０１は、２つの識別情報の類似度が、ＲＯＭ１０２に予め記憶されている識別情報が一致しているとみなす閾値を超えるか否かを判断する。制御部１０１は、２つの識別情報の類似度が閾値以上であると判断した場合は、その類似度をＲＡＭ１０３に記憶して処理をＳ４０４に移す。

また制御部１０１は、２つの識別情報の類似度が閾値未満であると判断した場合は、類似度を算出している識別情報に関連付けられている視点ブックマーク情報に、例えば類似度０をさらに関連付けてＲＯＭ１０２に記憶する。そして制御部１０１は、まだ類似度が算出されていない１つの視点ブックマーク情報を選択し、再びＳ４０３の処理を行う。

Ｓ４０４で、制御部１０１は、Ｓ４０３で選択された視点ブックマーク情報に関連付けられている撮影視点情報と、視聴中の映像コンテンツの撮影視点情報の類似度を算出する。そして制御部１０１は、２つの撮影視点情報の類似度が、ＲＯＭ１０２に予め記憶されている撮影視点情報が一致しているとみなす閾値を超えるか否かを判断する。制御部１０１は、２つの撮影視点情報の類似度が閾値以上であると判断した場合は、その類似度をＲＡＭ１０３に新たに記憶して処理をＳ６０１に移す。

また、制御部１０１は、２つの撮影視点情報の類似度が閾値未満であると判断した場合は、類似度を算出している撮影視点情報に関連付けられている視点ブックマーク情報に、例えば類似度０をさらに関連付けてＲＯＭ１０２に記憶する。そして制御部１０１は、まだ類似度が算出されていない１つの視点ブックマーク情報を選択し、再びＳ４０３の処理を行う。

Ｓ７０１で、制御部１０１は、Ｓ４０３で選択された視点ブックマーク情報に、Ｓ４０３及びＳ４０４で算出された２つの類似度を積算した値を、当該視点ブックマーク情報の類似度として、さらに関連付けてＲＯＭ１０２に記憶する。そしてＳ７０２で、制御部１０１は、ＲＯＭ１０２に登録されている複数の視点ブックマーク情報に、類似度が算出されていない視点ブックマークが存在するか否かを判断する。制御部１０１は、類似度が算出されていない視点ブックマークが存在する場合は処理をＳ４０３に戻し、存在しない場合は処理をＳ７０３に移す。即ち、ＲＯＭ１０２に記憶されている全ての視点ブックマーク情報について類似度の算出が完了すると、制御部１０１は処理をＳ７０３に移す。

Ｓ７０３で、制御部１０１は、ＲＯＭ１０２に記憶されている複数の視点ブックマーク情報の中に、０以外の類似度が関連付けられている視点ブックマーク情報が存在するか否かを判断する。制御部１０１は、０以外の類似度が関連付けられている視点ブックマーク情報が存在する場合は処理をＳ７０４に移し、ＲＯＭ１０２に記憶されている全ての視点ブックマーク情報に類似度０が関連付けられている場合は処理をＳ４０９に移す。

Ｓ７０４で、制御部１０１は、ＲＯＭ１０２に記憶されている複数の視点ブックマーク情報から、類似度が高い順に、所定の数の視点ブックマーク情報の視点の情報を読み出し、プレビュー表示用の視点の情報として視点映像生成部１０７に出力する。そして制御部１０１は、視点映像生成部１０７にプレビュー表示用の視点の映像を生成させて、合成部１０８に出力させて表示させる（Ｓ７０５）。プレビュー表示用の視点の映像は、例えば図８のように視聴中の視点の映像と並べて表示させればよい。図８の例では、プレビュー表示用の視点の映像は４つ、即ち、ＲＯＭ１０２に記憶されている複数の視点ブックマーク情報から、類似度が高い順に上から４つの視点ブックマーク情報の視点の映像が、視点映像生成部１０７で生成される。プレビュー表示用の映像「０００１」の類似度＞映像「０００２」の類似度＞映像「０００３」の類似度＞映像「０００４」の類似度となっている。つまり、本実施形態の視点映像生成部１０７は、視聴中の視点の映像に加え、ユーザに選択可能とさせる、登録されている視点の映像を所定の数だけ生成することになる。

このようにして本実施形態のセットトップボックス１００は、受信している映像コンテンツに類似した映像コンテンツで既に登録した視点を容易に選択できるようにすることができる。具体的には、既に任意の視点の映像を生成して表示するモードで視聴を行った際に登録された視点が存在する場合に、セットトップボックス１００は視聴中の映像コンテンツに類似度が高い視点の情報を、切り替え可能な視点として通知する。このときセットトップボックス１００は、視聴中の映像コンテンツに類似度が高い視点の映像を、プレビュー表示として表示することにより、ユーザは実際に視点切り替え後の映像を視認しながら視点の切り替えを行うことができる。なお、類似度が高い順に所定の数の視点の映像をプレビュー表示として表示した際に、ユーザの所望する視点が表示されなかった場合、例えば当該表示した視点を除いて、次に類似度が高い順の所定の数の視点の映像にユーザの指示によって切り替えてもよい。

（変形例）
上述した実施形態１及び２では、多視点映像から、当該多視点映像に含まれていない視点の映像を生成する場合について説明したが、本発明の実施はこれに限らない。例えば本発明は、受信した多視点映像から、当該多視点映像に含まれている視点の映像の中から、表示する映像の視点を選択する場合にも適用可能である。

この場合、例えば図４の視点切り替え処理は、多視点映像を受信した際に開始され、当該多視点映像に対応する視点ブックマーク情報がＲＯＭ１０２に登録されている場合は、Ｓ４０５以降の処理で次のように処理すればよい。制御部１０１は、Ｓ４０５で登録されている視点ブックマーク情報に対応する視点の映像を、受信している多視点映像から選択して映像受信部１０５から出力させ、セットトップボックス１００に接続されている表示装置に出力して表示させればよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

それぞれ異なる複数の視点位置で撮影された複数の映像で構成される映像コンテンツを処理する映像処理装置であって、
前記映像コンテンツに係る、表示する映像の視点のユーザ入力を受け付ける入力手段と、
前記入力手段により入力された視点を示す入力視点情報を、前記映像コンテンツを構成する複数の映像が撮影された複数の視点位置の情報を含む撮影視点情報、及び前記映像コンテンツを識別するための識別情報の少なくとも一方の情報と関連付けて記憶する記憶手段と、
前記映像コンテンツとは異なる表示対象の映像コンテンツの撮影視点情報及び識別情報の少なくとも一方の情報と、前記記憶手段に記憶されている情報とに基づいて、前記記憶手段に記憶されている入力視点情報に対応する視点を、前記入力手段で選択可能な視点として提示する制御を行う制御手段と、を備えることを特徴とする映像処理装置。
前記制御手段は、表示対象の映像コンテンツの撮影視点情報及び識別情報の少なくとも一方の情報と、前記記憶手段に記憶されている情報との類似度を判定し、類似度が閾値以上の場合に、前記記憶手段に記憶されている入力視点情報に対応する視点を、前記入力手段で選択可能な視点として提示する制御を行うことを特徴とする請求項１に記載の映像処理装置。
前記制御手段は、前記記憶手段に複数の入力視点情報が記憶される場合、前記入力手段で選択可能とされた、当該記憶手段に記憶されている複数の入力視点情報のうち、前記類似度が高い順に、所定の数の視点を提示することを特徴とする請求項２に記載の映像処理装置。
前記類似度は、前記映像コンテンツの番組名、ジャンル、出演者、及びキーワード、の文字列情報のうち、少なくとも１つの文字列情報の一致度により算出することを特徴とする請求項２または３に記載の映像処理装置。
前記入力手段は、前記映像コンテンツを構成する前記複数の映像のうちの１つの映像の視点を選択して入力することが可能であることを特徴とする請求項１乃至４のいずれか１項に記載の映像処理装置。
前記入力手段は、前記映像コンテンツにおける任意の視点を入力することが可能であり、
前記映像コンテンツを構成する前記複数の視点位置で撮影された複数の映像から、前記入力手段により入力された視点の映像を生成する生成手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
前記入力手段により入力された視点の映像が表示された時間を計測する計測手段をさらに備え、
前記記憶手段は、前記入力手段により入力された視点の映像の表示された時間が所定の時間を経過した場合に、当該視点を示す入力視点情報を記憶することを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
前記記憶手段は、前記入力手段により入力された視点を示す入力視点情報を記憶する際に、当該記憶する際の時刻を関連付けて記憶し、当該時刻から所定の時間を経過した後に当該時刻に関連付けられて記憶している入力視点情報を削除することを特徴とする請求項１乃至７のいずれか１項に記載の映像処理装置。
それぞれ異なる複数の視点位置で撮影された複数の映像で構成される映像コンテンツを処理する映像処理装置の制御方法であって、
入力手段が、前記映像コンテンツに係る、表示する映像の視点のユーザ入力を受け付ける入力工程と、
記憶制御手段が、前記入力工程において入力された視点を示す入力視点情報を、前記映像コンテンツを構成する複数の映像が撮影された複数の視点位置の情報を含む撮影視点情報、及び前記映像コンテンツを識別するための識別情報の少なくとも一方の情報と関連付けて記憶手段に記憶する記憶工程と、
制御手段が、前記映像コンテンツとは異なる表示対象の映像コンテンツの撮影視点情報及び識別情報の少なくとも一方の情報と、前記記憶手段に記憶されている情報とに基づいて、前記記憶手段に記憶されている入力視点情報に対応する視点を、前記入力工程で選択可能な視点として提示する制御を行う制御工程と、を備えることを特徴とする映像処理装置の制御方法。