図1は、本発明の実施の形態に係る情報処理装置1のブロック構成図である。この情報処理装置1は、たとえば、スマートフォン、タブレット端末、ノート型パソコン、デスクトップ型パソコン、又はPDA(Personal Data Assistance)等のコンピュータで構成される。情報処理装置1は、全方位画像を撮影できる広角レンズ(いわゆる魚眼レンズ)を有する撮像装置2や、全方位画像データ14Aを記憶している外部記憶装置3などから全方位画像データ14Aを取得すると共に、この取得した全方位画像データ14Aからユーザが所望する画像データを新たに生成することができる。なお、以下では、全方位画像データ14Aから新たに画像データを生成することを「再録画」、生成される画像データについては、「再録画データ」ということがある。
情報処理装置1は、図1に示すように、通信部11、入力指示受付部12、制御部13、記憶部14および表示部15を有している。なお、図1は、情報処理装置1がパソコンの場合の構成である。また、制御部13は、図1に示すように、画角変更処理部16、展開方法変更処理部17、記憶処理部18、再録画データ生成処理部19を有している。更に、記憶部14には、図1に示すように、全方位画像データ14A、画角変更データ14B、展開方法変更データ14C、録画時間データ14D、録画時間関連データ14E、再録画データ14Fが記憶される。
通信部11は、全方位画像を撮影できる撮像装置2や、全方位画像データ14Aを記憶している外部記憶装置3などとの間で通信を行う。通信部11は、たとえば、USB互換の通信コネクタ、あるいはWiFi(wireless Fidelity)やNFC等に対応した無線通信モジュールにより構成され、撮像装置2、外部記憶装置3などから全方位画像データ14Aを取得する。
入力指示受付部12は、ユーザからの各種指示を受け付けるためのもので、たとえば、表示部15内に表示される選択項目やアイコンなどであり、ユーザがキーボード、マウスなどを操作して、これらを選択することで入力指示を受け付けることができる。なお、入力指示受付部12は、タッチパネルとして後述する表示部15と共に構成されていてもよい。入力指示受付部12は、たとえば、全方位画像データ14Aの再録画処理の開始、停止、再録画の設定条件の変更(詳細は後述)などを受け付けることができる。入力指示受付部12により受け付けた各種指示を示す信号は、制御部13へ供給される。
制御部13は、情報処理装置1全体の動作を制御するCPU,基本入出力プログラムを記憶したROM,CPUのワークエリアとして使用されるRAMを備えている。制御部13は、ROMあるいは後述する記憶部14に記憶されている再録画データ14Fを生成するための専用プログラム(不図示)をRAMに展開することで、後述する画角変更処理部16、展開方法変更処理部17、記憶処理部18、再録画データ生成処理部19の各機能を実現する。
記憶部14は、CPUの制御に従ってデータの読み出し、書き込みを行うHDD(Hard disk drive)あるいはSSD(solid state drive)などで構成される。記憶部14には、上述した全方位画像データ14A、画角変更データ14B、展開方法変更データ14C、録画時間データ14D、録画時間関連データ14E、再録画データ14Fの他に、CPUが実行するOS、その他のプログラムおよび種々のデータも記憶されている。
表示部15は、全方位画像データ14Aに基づく静止画像、動画像、各種操作を行うためのアイコンを表示する液晶や有機ELなどのディスプレイである。なお、表示部15は、タッチパネルが載せられて、入力指示受付部12の一部として構成されていてもよい。
画角変更処理部16は、入力指示受付部12が画角変更指示を受け付けると、全方位画像データ14Aを表示部15に表示させる際の画角領域を変更する。
展開方法変更処理部17は、入力指示受付部12が展開方法変更指示を受け付けると、全方位画像データ14Aを表示部15に表示させる際の展開方法を変更する。
記憶処理部18は、入力指示受付部12で受け付けた各種指示を記憶部14に記憶させる。記憶処理部18は、たとえば、入力指示受付部12が画角変更指示、展開方法変更指示を受け付けると、その画角変更指示の内容を示す画角変更データ14B、その展開方法変更指示の内容を示す展開方法変更データ14Cを記憶部14に記憶させる。また、記憶処理部18は、各種指示を受けたタイミングで全方位画像データ14Aの再生時間である録画時間データ14Dを記憶部14に記憶させる。なお、記憶処理部18は、録画時間データ14Dと共に、または録画時間データ14Dの代わりに録画時間に関連する画像のコマ数などの録画時間関連データ14Eを記憶部14に記憶させるようにしてもよい。
再録画データ生成処理部19は、入力指示受付部12が再録画データ14Fの生成指示を受け付けると、記憶処理部18により記憶部14に記憶された各種変更指示を示すデータと全方位画像データ14Aとに基づいて再録画データ14Fを生成する。再録画データ生成処理部19は、生成された再録画データ14Fを記憶部14に記憶する。
(再録画データの生成処理)
図2は、図1に示す情報処理装置1の制御部13によって再録画データの生成処理を示すフローチャートである。図3は、図2の再録画処理の際に表示部15に表示される画面の一例である。
START:制御部13のCPUが、再録画データを生成するための不図示のプログラムをROMから読み出し、RAMに展開されると、たとえば、図3に示す画面が情報処理装置1の表示部15に表示される。これにより、ユーザは、全方位画像データ14Aの再録画処理を開始することが可能な状態となる。そして、ユーザは、表示部15に表示される画面を見ながら全方位画像データ14Aの再録画条件を設定することができる。なお、ここでいう再録画条件とは、たとえば、全方位画像データ14Aの表示モード(撮像装置の向き)、展開モード(グローバル、フロント、2分割、4分割、パノラマ、リング、ドーム)、画角、拡大/縮小率などの条件である。
ステップS1:情報処理装置1の制御部13は、再録画処理が開始されたか否かを判定する。再録画処理は、ユーザがたとえば図3に示す画面内の「REC」ボタンを押下することにより、ユーザにより設定された再録画条件に従って開始される。なお、この「REC」ボタンが押下されたときに既に全方位画像データ14Aの再生処理がなされている状態であれば、その再生途中から再録画処理が開始されるが、再生されていない状態で「REC」ボタンが押下されると、全方位画像データ14Aの最初から再録画条件に従った再生処理が行われると共に、再録画処理も同時に開始される。
ステップS2:ステップS1の再録画処理が開始されたと判定される(STEP1でYES)と、制御部13により全方位画像データ14Aの再録画処理を開始する。なお、背再録画の設定条件に基づいて全方位画像データ14Aの再生処理も同時に開始される。なお、再録画処理開始時の再録画設定条件についても、記憶処理部18により記憶部14に記憶される。
ステップS3:制御部13は、ユーザから再録画の設定条件に変更があるか否かを判定する。具体的には制御部13は、ユーザが入力指示受付部12を介して、全方位画像データ14Aの視点モードの変更、展開方法の変更、画角の変更、拡大/縮小率の変更などの変更指示の有無を判定する。
ステップS4:制御部13は、ステップS3の判定において、再録画の条件変更があると判定した場合(ステップS3でYES)には、その変更された条件に対応して再生条件についても変更する。これにより、ユーザは現在再生されているコンテンツからその変更を確認することができる。
ステップS5:制御部13(記憶処理部18)は、ステップS3およびS4において、再録画条件、再生条件に変更があると、その変更内容を記憶部14に記憶させる。
ステップS6:制御部13は、再録画処理が終了したか否かを判定する。制御部13は、たとえば、ユーザが画面内の再生処理の停止指示や、再録画処理の停止指示がなされたときに再録画処理が終了したと判定する。なお、上述した指示がない状態であっても、再録画データ生成処理部19からの停止指示要求があった場合には、再録画処理が終了したと判定する。
ステップS7:制御部13(再録画データ生成処理部19)は、ユーザから再録画データ14Fの生成処理要求(たとえば、図3の「SAVE AS」のボタン押下)があると、ステップS5にて記憶部14に記憶された再録画条件と全方位画像データ14Aとに基づいて再録画データ14Fを生成する。
ステップS8:制御部13(再録画データ生成処理部19)は、ステップS7で生成した再録画データ14Fを記憶部14に記憶させて処理を終了する(END)。
図3〜図6は、図2の再録画処理の際に表示部15に表示される画面の一例である。図3〜図6に示す表示画面の左側には、視点モード(View Mode)を選択する視点モード選択領域31、展開方法を選択できる展開方法選択領域32、表示エリア(画角領域)を操作できる表示エリア調整領域33、全方位画像データ14Aの取得元となる接続機器、あるいは通信機器を選択できる接続先選択領域34とが含まれている。また、表示画面の右側には、データ選択領域35、再生画面表示領域37、静止画像撮影ボタン38、再録画開始指示/停止ボタン39、再録画データ保存ボタン40、再生、停止、早送り、巻き戻し等の各種再生条件変更ボタン41および全画面表示ボタン43とから構成される。なお、図3〜図6に示す各アイコンや選択項目は入力指示受付部12の一例である。
視点モード選択領域31には、撮像装置2の方向を選択することができるアイコンが含まれている。撮像装置2の方向は、たとえば横向き、下向き、上向きがあり、それぞれに対応した撮像装置2のレンズ方向を示したアイコンをユーザが選択することにより、全方位画像データ14Aを再生、または再録画をする際の視点を指定することができる。
展開方法選択領域32には、全方位画像データ14Aの展開処理方法を選択することができるアイコンが含まれている。全方位画像データ14Aは、全方位(360度)を撮像可能な撮像装置2で取得した球状の画像データであるため、それをどのような形状で展開するかについてユーザに選択させる必要がある。図3に示すように、展開処理方法を選択できるアイコンとしては、全方位を球状のまま示した画像を示すアイコン(Global)、縦横比が4:3となるような展開処理方法を示すアイコン(Front、4:3)、16:9となるような展開処理方法を示すアイコン(Front、16:9)、縦に2分割の展開処理方法を示すアイコン(Seg)、4分割の展開処理方法を示すアイコン(Quad)、360度を一つの横長の画像で展開処理方法を示すアイコン(Panorama)、パノラマ画像であるが、中央部分や一部の領域だけ拡大して表示させるような展開処理方法を示すアイコン(Extraction、Throw−out)、リング形状となるような展開処理方法を示すアイコン(Ring)、ドーム型のなるような展開処理方法を示すアイコン(Dome)などがある。図3に示す例では、全方位を球状のまま示した画像を示すアイコン(Global)が選択されているが、図4ではリング形状、図5ではドーム型、図6では縦に2分割がそれぞれ選択されている。なお、全方位画像データ14Aの展開処理方法としては、本実施形態に示す展開処理方法すべてを備えていなくてもよいし、他の展開処理方法(不図示)があれば、その方法を追加してもよい。
表示エリア調整領域33は、再生画面表示領域37で再生中、あるいは再録画中の映像を構成する画像データの画角領域の変更、表示されている画面内での画像拡大、縮小などの各種操作についてユーザが指定することができるアイコンが含まれている。
接続先選択領域34は、全方位画像データ14Aの取得先となる、撮像装置2や外部記憶装置3のいずれかを選択させることができるインタフェースが含まれている。
データ選択領域35は、たとえば、情報処理装置1の接続先あるいは通信先となる撮像装置2や外部記憶装置3に格納されている全方位画像データ14Aのサムネイル画像が表示される。図3に示す例では、1つの画像データのみ示されているが、複数の全方位画像データ14Aが格納されている場合には、それぞれのサムネイル画像が表示されることになる。
再生画面表示領域37は、全方位画像データ14Aを再録画条件に応じた視点、展開処理および拡大/縮小などがなされた映像が表示される。なお、再生画面表示領域37に表示される初期の画像データは、撮像時に設定された展開処理方法によって表示される。しかしながら、展開方法選択領域32に既に設定されている展開処理方法で初期表示をするようにしてもよい。
静止画像撮影ボタン38は、再生画面表示領域37に表示される映像から特定の静止画像データを生成するためのボタンである。
再録画開始指示/停止ボタン39は、再録画の開始または停止を指示するためのボタンである。
再録画データ保存ボタン40は、記憶部14に記憶された再録画条件に従って新たに生成される再録画データ14Fを、記憶部14に記憶させるためのボタンである。
各種再生条件変更ボタン41は、再生画面表示領域37に表示される動画像の再生、早送り、巻き戻しの指示をするためのボタンである。なお、各種再生条件変更ボタン41では、通常の動画像の再生条件の変更のほか、再録画データ14Fを生成中に、再録画を停止させた状態で、かつ再録画データ保存ボタン40を押下する前であっても、それまでに記憶されている再録画データ14の内容を再生画面表示領域37に再生することも可能である。
再生地点指示矢印42は、再生あるいは再録画をしている録画時間の位置を模式的に示している矢印である。ユーザは、この再生地点指示矢印42を移動させることで所望の録画時間から再生あるいは再録画を開始させることができる。
全画面表示ボタン43は、再生画面表示領域37に表示される動画像を表示部15の全画面に展開して表示させるためのボタンである。
このように図3に示すような表示画面を介して、ユーザは再録画をしたい全方位画像データ14Aを指定し、好みの視点、展開方法、画角領域の調整等を行うことで、ユーザの製作意図を柔軟に反映させることができるようになっている。
以上で説明したように、情報処理装置1は、全方位画像データ14Aを、少なくとも2以上の展開方式のいずれかで展開した展開画像で表示させる制御部13(表示制御手段)を有しており、展開画像の画角位置を変更する画角変更処理部16(画角位置変更手段)と、展開画像の展開方式を変更する展開方法変更処理部17(展開方式変更手段)と、画角変更処理部16により変更されたときの画角変更データ14B(画角位置情報)、展開方法変更処理部17により変更されたときの展開方法変更データ14C(展開方式情報)、およびこれらが変更されたときの録画時間データ14D(録画時間情報)あるいは録画時間関連データ14E(録画時間に関連する情報)を記憶部14に記憶させる記憶処理部18(記憶処理手段)と、記憶部14に記憶された情報に基づいて全方位画像データ14Aから再録画データ14F(画像データ)を生成する再録画データ生成処理部19(画像データ生成手段)を有している。そのため、この情報処理装置1は、複数の展開方法で表示された映像ストリームの変更情報を記憶部14に記憶させておき、再録画データ14Fを生成する際に、その変更についても反映させることができるため、様々な展開方法を利用して表現しようとするユーザの意図が反映された画像データを簡単に作成することができる。更に、この情報処理装置1によりユーザの製作意図が反映された画像データが、全方位画像データ14Aとは別個に生成されることになるため、視聴履歴などを用いた専用の動作再生ソフトを用いることなく、一般的な動画再生ソフトを用いて誰でも容易に再生させることができる。
また、情報処理装置1は、ユーザからの再生指示を入力指示受付部12で受け付けると、全方位画像データ14Aから生成された再録画データ14Fを再生することができる。これにより、再録画条件を設定して作成した再録画データ14Fの出来栄えを自ら再生することで確かめることができる。
また、情報処理装置1は、ユーザからの録画指示を入力指示受付部12で受け付けると、記憶処理部18が、再録画データ14Fを記憶部14に記憶させることができる。これにより、再録画条件を設定して作成された再録画データ14Fを、全方位画像データ14Aとは別の画像データとして保存することができ、これを一般的な動画再生ソフトを用いて再生すれば、誰にでも容易に視聴させることができる。
なお、上述した情報処理装置1が実行する再録画データの生成処理(情報処理方法)および情報処理装置1にインストールされているプログラムについても、情報処理装置1と同様に、複数の展開方法で表示された映像ストリームの変更情報を記憶部14に記憶させておき、再録画データを生成する際に、その変更についても反映させることができるため、様々な展開方法を利用して表現しようとするユーザの意図が反映された画像データを簡単に作成することができ、ユーザの製作意図が反映された画像データが、全方位画像データ14Aとは別個に生成されることになるため、視聴履歴などを用いた専用の動作再生ソフトを用いることなく、一般的な動画再生ソフトを用いて誰でも容易に再生させることができる。すなわち、情報処理装置1が実行する再録画データの生成処理(情報処理方法)および情報処理装置1にインストールされているプログラムは、情報処理装置1と同様の効果を奏する。
以上で説明した実施の形態は、種々の変更が可能である。たとえば、撮像装置2は、全方位画像を撮影できる広角レンズ(いわゆる魚眼レンズ)を有するものとしたが、全方位(360度)の画像を撮影できない撮像装置であってもよい。同様に、全方位画像データ14Aは、全方位(360度)の画角領域を有しているものとして説明しているが、必ずしも全方位の画角領域を有していない画像データであってもよい。