JP7443100B2 - 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、電子機器、電子機器の制御方法、ブログラムおよび記憶媒体に関する。

近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つ画像を撮影することが可能な撮像装置が普及している。また、このような広い範囲の映像を持つ画像の一部をディスプレイに表示し、撮像装置の姿勢の変化に追従してディスプレイに表示する映像の範囲（表示範囲）を変更することで、没入感や臨場感の高い表示を行う方法も知られている。

特許文献１では、全天球画像に対する視点の動きや表示倍率などの視点情報をユーザーが設定することで、視点情報に応じて全天球画像をアニメーション表示する技術が開示されている。

特開２０１８－１３９０９６号公報

しかしながら、特許文献１では、１つの全天球画像に対して適用した視点情報を他の全天球画像にも適用しようとした場合に、ユーザーの意図通りのアニメーション表示されないことがあった。

そこで、本発明は、１つの画像に対してアニメーション表示するために適用させた情報を適切に、他の画像のアニメーション表示に用いることができる技術を提供することを目的とする。

本発明の１つの態様は、
第１の画像の少なくとも一部である第１の範囲を画面に表示するよう制御し、ユーザーの操作にしたがって、前記第１の範囲を変更して前記画面に順に表示するよう制御する表示制御手段と、
前記第１の範囲を示す位置情報、前記第１の範囲に含まれる被写体の種別および前記第１の範囲の順序を含むプリセット情報を、記憶手段に記憶するように制御する記憶制御手段と
を有し、
前記表示制御手段は、
前記記憶手段に記憶した前記プリセット情報を前記第１の画像とは異なる第２の画像
に対して適用し、前記第２の画像のうち前記プリセット情報の前記位置情報と対応する第２の範囲を前記プリセット情報の前記順序にしたがって前記画面に順に表示するよう制御し、
前記プリセット情報の前記被写体の種別と対応する被写体が前記第２の範囲に含まれるかどうかにしたがって、前記画面に表示される前記第２の範囲を変更するように制御する
ことを特徴とする電子機器である。

１つの画像に対してアニメーション表示するために適用させた情報を適切に、他の画像のアニメーション表示に用いることができる。

デジタルカメラの外観図である。 デジタルカメラの構成図である。 表示制御装置を示す図である。 アニメーション表示を説明する図である。 アニメーション表示を説明する図である。 画像再生処理および視点登録処理を示すフローチャートである。 アニメーション表示処理を示すフローチャートである。 メニューおよび管理テーブルを示す図である。 アニメーション表示を説明する図である。

以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）に電子機器であるデジタルカメラ１００（撮像装置）の前面斜視図（外観図）を示す。図１（Ｂ）にデジタルカメラ１００の背面斜視図（外観図）を示す。デジタルカメラ１００は、全方位カメラ（全天球カメラ）である。

バリア１０２ａはデジタルカメラ１００の前方を撮影範囲としたカメラ部ａのための撮影レンズ１０３ａの保護窓である。撮影レンズ１０３ａ自体の外側の面であってもよい。カメラ部ａはデジタルカメラ１００の前側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラである。バリア１０２ｂはデジタルカメラの後方を撮影範囲としたカメラ部ｂのための撮影レンズ１０３ｂの保護窓である。撮影レンズ１０３ｂ自体の外側の面であってもよい。カメラ部ｂはデジタルカメラ１００の後ろ側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラである。

表示部２８は各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。接続Ｉ／Ｆ２５は、スマートフォン、パーソナルコンピュータ、テレビなどの外部機器と接続するための接続ケーブルとデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサ等の操作部材より成る操作部である。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。

発光部２１は発光ダイオード（ＬＥＤ）などの発光部材であり、デジタルカメラ１００の各種状態を発光パターンや発光色によってユーザーに通知する。固定部４０は例えば三脚ネジ穴であり、三脚などの固定器具に固定して設置するための部材である。

図２は、デジタルカメラ１００の構成例を示すブロック図である。バリア１０２ａは、デジタルカメラ１００の、撮影レンズ１０３ａを含むカメラ部ａの撮像系を覆うことにより、撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａを含む撮像系の汚れや破損を防止する。撮影レンズ１０３ａはズームレンズ、フォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ａは、撮像部２２ａへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部２２ａは光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３ａは、撮像部２２ａから出力されるアナログ信号をデジタル信号に変換する。

バリア１０２ｂは、デジタルカメラ１００の、撮影レンズ１０３ｂを含むカメラ部ｂの撮像系を覆うことにより、撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂを含む撮像系の汚れや破損を防止する。撮影レンズ１０３ｂはズームレンズ、フォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ｂは、撮像部２２ｂへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部２２ｂは光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３ｂは、撮像部２２ｂから出力されるアナログ信号をデジタル信号に変換する。

撮像部２２ａ、撮像部２２ｂにより、ＶＲ画像が撮像される。ＶＲ画像とは、ＶＲ表示
をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示（表示モード：「ＶＲビュー」で表示）すると、左右回転方向に表示装置の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示手段の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。なお、ＶＲ画像の表示方法は上記に限るものではなく、姿勢の変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて、表示範囲を移動（スクロール）させてもよい。ＶＲ表示（ＶＲビューモード）での表示時にも、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ操作やマウスなどの操作部材に対するドラッグ操作に応じても表示範囲を変更できるようにしてもよい。

画像処理部２４は、Ａ／Ｄ変換器２３ａ，Ａ／Ｄ変換器２３ｂからのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演
算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、Ａ／Ｄ変換器２３ａ，Ａ／Ｄ変換器２３ｂから得られた２つの画像（魚眼画像）に基本の画像処理を施した後、合成（繋ぎ画像処理）して単一のＶＲ画像を生成する。２つの画像の繋ぎ画像処理では、画像処理部２４は、２つの画像それぞれにおいて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、繋ぎ位置を検出する。そして、検出した繋ぎ位置と各光学系レンズ特性を考慮して、画像処理部２４は、２つの画像をそれぞれ幾何学変換により歪み補正し、全天球イメージ形式に変換する。この２つの全天球イメージ形式の画像をブレンドすることで、画像処理部２４は、最終的に１つの全天球画像（ＶＲ画像）を生成する。生成された全天球画像（ＶＲ画像）は、例えば正距円筒図法を用いた画像となり、各画素の位置が球体の表面の座標と対応づけることが可能となる。また、ライブビューでのＶＲ表示時、あるいは再生時には、ＶＲ画像をＶＲ表示するための画像切り出し処理、拡大処理、歪み補正等を行いメモリ３２のＶＲＡＭへ描画するレンダリングも行う。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、接続Ｉ／Ｆ２５から外部のディスプレイに出力するための画像を格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に格納されている画像表示用のデータは、接続Ｉ／Ｆ２５から外部のディスプレイに出力することが可能である。撮像部２２ａ、２２ｂで撮像され、画像処理部２４で生成されたＶＲ画像であって、メモリ３２に蓄積されたＶＲ画像を外部ディスプレイに逐次転送して表示することで、電子ビューファインダとして機能し、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をＬＶ画像と称する。また、メモリ３２に蓄積されたＶＲ画像を、通信部５４を介して無線接続された外部機器（スマートフォンなど）に転送し、外部機器側で表示することでもライブビュー表示（リモートＬＶ表示）を行える。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサまたは回路を有する制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、画像処理部２４、メモリ制御部１５を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モ
ード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示部２８に表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体１０８に画像データを書き込むまでの一連の撮影処理の動作を開始する。

なお、シャッターボタン６１は全押しと半押しの２段階の操作ができるものに限るものではなく、１段階の押下だけができる操作部材であってもよい。その場合、１段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンをいわゆる全押しした場合と同じ動作（ＳＷ１とＳＷ２がほぼ同時に発生した場合の動作）である。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面を見ながら操作部７０を操作することで、直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０８を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリーカードやハードディスク等の記録媒体１０８とのインターフェースである。記録媒体１０８は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体１０８は、デジタルカメラ１００に着脱可能な交換記録媒体でもよいし、内蔵の記録媒体であってもよい。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２ａ，撮像部２２ｂで撮像した画像
（ＬＶ画像を含む）や、記録媒体１０８に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、ヨー、ピッチ、ローの３軸方向にどの程度傾けた姿勢で撮影された画像であるか判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２ａ、２２ｂで撮像されたＶＲ画像の画像ファイルに付加したり、画像を回転（傾き補正するように画像の向きを調整）して記録したりすることが可能である。姿勢検知部５５としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどを１つ以上組み合わせて用いることができる。姿勢検知部５５である、加速度センサー、ジャイロセンサー、方位角センサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

マイク２０は、ＶＲ画像の動画の音声として記録されるデジタルカメラ１００の周囲の音声を集音するマイクロフォンである。

接続Ｉ／Ｆ２５は、外部機器と接続して映像の送受信を行うための、ＨＤＭＩ（商標）ケーブルやＵＳＢケーブルなどとの接続プラグである。

図３（Ａ）に、電子機器の一種である表示制御装置２００の外観図の例を示す。ディスプレイ２０５は画像や各種情報を表示する表示部である。ディスプレイ２０５は後述するようにタッチパネル２０６ａと一体的に構成されており、ディスプレイ２０５の表示面へのタッチ操作を検出できるようになっている。表示制御装置２００は、ＶＲ画像（ＶＲコンテンツ）をディスプレイ２０５においてＶＲ表示することが可能である。操作部２０６には図示のようにタッチパネル２０６ａ、操作部２０６ｂ、２０６ｃ、２０６ｄ、２０６ｅが含まれる。操作部２０６ｂは表示制御装置２００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部２０６ｃと操作部２０６ｄは音声出力部２１２から出力する音声のボリュームを増減するボリュームボタンである。操作部２０６ｅは、ディスプレイ２０５にホーム画面を表示させるためのホームボタンである。音声出力端子２１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声を出力する探知である。スピーカー２１２ｂは音声を発音する本体内蔵スピーカーである。

図３（Ｂ）に、表示制御装置２００の構成の一例を示す。表示制御装置２００は、スマートフォンなどの表示装置を用いて構成可能なものである。内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、ディスプレイ２０５、操作部２０６、記憶媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、及び、通信Ｉ／Ｆ２１０が接続されている。また、内部バス２５０に対して音声出力部２１２と姿勢検出部２１３も接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ２０１は、表示制御装置２００の全体を制御する制御部であり、少なくとも１つのプロセッサまたは回路からなる。メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、表示制御装置２００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばフラッシュメモリやＲＯＭなどで構成される記憶部である。

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記憶媒体２０８に格納された画像や、外部Ｉ／Ｆ２０９を介して取得した映像信号、通信Ｉ／Ｆ２１０を介して取得した画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。

ディスプレイ２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、ディスプレイ２０５に表示するための映像信号を生成してディスプレイ２０５に出力するように表示制御装置２００の各部を制御する。ディスプレイ２０５は出力された映像信号に基づいて映像を表示する。なお、表示制御装置２００自体が備える構成としてはディスプレイ２０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ２０５は外付けのモニタ（テレビなど）で構成してもよい。

操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記憶媒体Ｉ／Ｆ２０７は、メモリーカードやＣＤ、ＤＶＤといった記憶媒体２０８が装着可能とされ、ＣＰＵ２０１の制御に基づき、装着された記憶媒体２０８からのデータの読み出しや、当該記憶媒体２０８に対するデータの書き込みを行う。外部Ｉ／Ｆ２０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、外部機器やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

音声出力部２１２は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部２１２には、イヤホンなどを接続する音声出力端子２１２ａ、スピーカー２１２ｂが含まれるものとするが、無線通信などで音声出力を行ってもよい。

姿勢検出部２１３は、重力方向に対する表示制御装置２００の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部２１３で検知された姿勢に基づいて、表示制御装置２００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部２１３としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。

なお操作部２０６には、タッチパネル２０６ａが含まれる。ＣＰＵ２０１はタッチパネル２０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル２０６ａにタッチしていなかった指やペンが新たにタッチパネル２０６ａ
にタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する。）
・タッチパネル２０６ａを指やペンがタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）
・指やペンがタッチパネル２０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）
・タッチパネル２０６ａへタッチしていた指やペンがタッチパネル２０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）
・タッチパネル２０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル２０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチパネル２０６ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル２０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合にはスライド操作が行なわれたと判定するものとする。タッチパネル２０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル２０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

図３（Ｃ）に、表示制御装置２００を装着可能なＶＲゴーグル（ヘッドマウントアダプター）２３０の外観図を示す。表示制御装置２００は、ＶＲゴーグル２３０に装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口２３１は、表示制御装置２００を差し込むための挿入口である。ディスプレイ２０５の表示面を、ＶＲゴーグル２３０をユーザーの頭部に固定するためのヘッドバンド２３２側（すなわちユーザー側）に向けて表示制御装置２００の全体をＶＲゴーグル２３０差し込むことができる。こうして表示制御装置２００が装着されたＶＲゴーグル２３０を装着することにより、ユーザーはＶＲゴーグル２３０を頭部に装着した状態で、ユーザーが手で表示制御装置２００を保持することなく、表示制御装置２００のディスプレイ２０５を視認できる。この場合、ユーザーが頭部または体全体を動かすと、表示制御装置２００の姿勢も変化する。姿勢検出部２１３はこの時の表示制御装置２００の姿勢の変化を検出し、この姿勢の変化に基づいてＣＰＵ２０１がＶＲ表示処理を行う。この場合に姿勢検出部２１３が表示制御装置２００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いて
いる方向）を検出することと同等である。

［アニメーション表示］
以下、視点情報を用いた全天球画像のアニメーション表示について説明する。本実施形態では、アニメーション表示とは、ディスプレイ２０５に表示される画像の範囲や位置が変化する表示である。アニメーション表示とは、例えば、図４（Ａ）が示すような全天球画像において、ディスプレイ２０５に表示する視点位置（位置情報；視点の範囲情報；視点の範囲）、順番、時間などの情報を含む視点情報に応じて変化するような表示をいう。具体的には、図４（Ｃ）が示すように、一人の被写体（人物Ａ）のみが表示された後に、他の被写体（人物Ｂ）が表示されて、最後に２人の被写体が表示されるようなものが、アニメーション表示に含まれる。

また、図４（Ｃ）が示すようなアニメーション表示を行うためには、上述した視点情報を、ユーザー操作によって事前に設定しておく必要がある。具体的には、図４（Ｂ）が示すように、ユーザーは、１番目に表示する範囲を視点４０１に設定し、２番目に表示する範囲を視点４０２に設定し、３番目に表示する範囲を視点４０３に設定する。そして、この設定した情報が視点情報として、図４（Ａ）が示す全天球画像に適用されることによって、図４（Ｃ）が示すようなアニメーション表示が実現される。図４（Ｃ）において、画像４１１は静止画の全天球画像４００から視点４０１に対応する視点情報に基づく範囲を切り出した画像である。画像４１２は、静止画の全天球画像４００から視点４０２に対応する視点情報に基づく範囲を切り出した画像である。画像４１３は静止画の全天球画像４００から視点４０３に対応する視点情報に基づく範囲を切り出した画像である。図４（Ｃ）が示すアニメーションでは、１フレーム目として画像４１１を、Ｍフレーム目として画像４１２を、Ｎフレーム目として画像４１３を表示する動画として視認されるアニメーションを表している。なお、１＜Ｍ＜Ｎであるものとする。１フレーム目とＭフレーム目の間のフレームでは、視点４０１に基づく範囲から視点４０２に基づく範囲に滑らかに変化するように（段階的に変化するように）画像４００から切り出された範囲の画像が表示される。Ｍフレーム目とＮフレーム目の間のフレームでは、視点４０２に基づく範囲から視点４０３に基づく範囲に滑らかに変化するように（段階的に変化するように）画像４００から切り出された範囲の画像が表示される。ユーザーが図４（Ｃ）のような視点情報を登録する際、人物Ａから人物Ｂに表示範囲が変化し、続いて人物Ａと人物Ｂの双方が含まれる範囲に映像が変化するようにフレーミングされるよう、ユーザーは被写体となる人物に着目して視点を設定した可能性がある。

ここで、１つの全天球画像に設定した視点情報を他の全天球画像にも適用させて、容易にアニメーション表示を実現したいというニーズがある。しかし、他の全天球画像に、このような視点情報を適用させてしまうと、ユーザーが所望しないアニメーション表示がされてしまう可能性がある。

例えば、図４（Ａ）が示すような全天球画像４００に対して図４（Ｃ）が示すようなアニメーション表示をするために設定した視点情報を、図５（Ａ）が示すような全天球画像５００に対して適用する場合を想定する。この場合には、図４（Ｂ）が示すように設定した視点４０１～４０３示す範囲にそれぞれ対応する全天球画像５００の範囲がアニメーションとしてディスプレイ２０５に表示される。つまり、図５（Ｂ）に示す視点４０１～４０３に対応する画像５１１～５１３が、図５（Ｃ）に示すように、それぞれアニメーションにおける１、Ｍ、Ｎフレーム目として順に表示されることになる。従って、全天球画像４００と全天球画像５００とで写っている被写体の位置がやや異なることに起因して、画像５１２が示すように、アニメーション表示におけるＭフレーム目に表示されるべき被写体（人物）が表示されないことになる。すなわち、画像４００で視点を設定した際にユーザーが意図していたような人物に着目したフレーミングが行われないアニメーションとな
ってしまう。

［画像再生処理］
以下では、１つの画像に対して適用した視点情報を、他の画像に適用しても適切にアニメーション表示をすることのできる画像再生処理（画像再生方法；表示制御装置２００の制御方法）について説明する。ここでは、図６（Ａ）、図６（Ｂ）、図７のフローチャートを用いて画像再生処理を説明する。

図６（Ａ）は、本実施形態に係る表示制御装置２００の画像再生処理を示すフローチャートである。操作部２０６ｂ（電源ボタン）が操作され電源がオンに切り替わると、ＣＰＵ２０１はフラグや制御変数等を初期化した後、図６（Ａ）のフローチャートが示す画像再生処理を開始する。なお、本フローチャートは、ＣＰＵ２０１が不揮発性メモリ２０３に記憶されたプログラムを、メモリ２０２に展開して実行することによって実現される。

Ｓ６０１において、ＣＰＵ２０１は、記憶媒体２０８に格納されている画像（画像データ）を取得し、当該画像の表示をするようにディスプレイ２０５を制御する。なお、ＣＰＵ２０１は、画像全体を表示してもよいし、画像のメタデータに含まれる基準方向に基づいた範囲を表示するようにしてもよい。

例えば、ＣＰＵ２０１は、図４（Ａ）が示すような全天球画像４００の全体をディスプレイ２０５に表示してもよいし、図４（Ｂ）が示すような視点４０１が示す画像（範囲）のみをディスプレイ２０５に表示してもよい。

Ｓ６０２において、ＣＰＵ２０１は、Ｓ６０１にて表示した画像に重畳するようにメニュー８１０を表示する。本実施形態では、図８（Ａ）が示すように、メニュー８１０は、ボタンアイコン（カスタムボタン８１１とプリセットボタン８１２～８１５）を含む。ここで、カスタムボタン８１１は、新たな視点情報を登録するためのボタンである。プリセットボタン８１２～８１５はそれぞれ、登録された視点情報（プリセット情報）を画像に対して適用するためのボタン（タッチボタン、ボタンアイコン、選択肢項目、メニュー項目）である。また、プリセットボタン８１２～８１５のそれぞれに対応する視点情報（プリセット情報）は、Ｓ６０１にて表示する画像が異なっていても共通な情報である。従って、１つの画像に対してプリセットボタン８１２を選択することによって当該画像に用いられる視点情報と、他の画像に対してプリセットボタン８１２を選択することによって当該他の画像に用いられる視点情報とは同一である。

Ｓ６０３において、ＣＰＵ２０１は、操作部２０６に対してアニメーションを指示するためのボタンアイコンの選択操作（カスタムボタン８１１とプリセットボタン８１２～８１５のいずれかへのタッチ）が行われたか否かを判定する。選択操作が行われていた場合にはＳ６０４に進み、そうでなければＳ６０７に進む。

Ｓ６０４において、ＣＰＵ２０１は、Ｓ６０３において選択されたボタンがカスタムボタン８１１であるか否かを判定する。カスタムボタン８１１が選択された場合にはＳ６０５に進み、そうでなければ（プリセットボタン８１２～８１５のいずれかが選択された場合には）Ｓ６０６に進む。

Ｓ６０５において、ＣＰＵ２０１は、視点情報を登録する処理である視点登録処理を行う。視点登録処理の詳細については、図６（Ｂ）のフローチャートを用いて後述する。

Ｓ６０６において、ＣＰＵ２０１は、選択されたプリセットボタンに応じて、アニメーション表示処理を行う。アニメーション表示処理の詳細については、図７のフローチャー
トを用いて後述する。

ここで、プリセットボタン８１２～８１５のいずれをユーザーが選択したかによって、Ｓ６０１にて表示されている画像のアニメーション表示に用いられる視点情報のセットが変化する。例えば、プリセットボタン８１２が選択されれば、Ｓ６０１にて表示されている画像に対してＳ６０５にて登録された視点情報のセットが適用されることが考えられる。プリセットボタン８１３が選択されれば、他の画像に対して登録された視点情報のセットが適用されることが考えられる。従って、ユーザーがプリセットボタン８１２～８１５のいずれかを選択することによって、他の画像に対して適用した視点情報のセットを、Ｓ６０１にて表示した画像に対して適用するか否かを選択しているといえる。

Ｓ６０７において、ＣＰＵ２０１は、操作部２０６に対して、ボタンアイコンの選択操作以外の操作が行われたか否かを判定する。ボタンアイコンの選択操作以外の操作が行われていた場合にはＳ６０８に進み、そうでなければＳ６０９に進む。

Ｓ６０８において、ＣＰＵ２０１は、Ｓ６０７にて行われた操作に応じた処理を行う。ＣＰＵ２０１は、例えば、Ｓ６０７にてタッチパネル２０６ａに対してピンチインまたはピンチアウト操作が行われていれば、表示されている画像の拡大または縮小を行う。

Ｓ６０９において、ＣＰＵ２０１は、操作部２０６に対して終了操作が行われたか否かを判定する。終了操作が行われていた場合には本フローチャートの処理が終了し、そうでなければ、Ｓ６０３に進む。

（視点登録処理；Ｓ６０５）
以下では、Ｓ６０５にて行われる処理である、視点情報を登録する視点登録処理の詳細について、図６（Ｂ）のフローチャートを用いて説明する。なお、本フローチャートは、ＣＰＵ２０１が不揮発性メモリ２０３に記憶されたプログラムを、メモリ２０２に展開して実行することによって実現される。

Ｓ６１１において、ＣＰＵ２０１は、ディスプレイ２０５に表示されているメニュー８１０を非表示にし、視点の番号を管理する視点番号ｎの値を０にするなどの初期化処理を行う。

Ｓ６１２において、ＣＰＵ２０１は、ディスプレイ２０５に表示されている全天球画像の表示範囲を変更する操作（表示範囲変更操作）があったか否かを判定する。表示範囲変更操作があった場合はＳ６１３に進み、そうでない場合はＳ６２１に進む。

Ｓ６１３において、ＣＰＵ２０１は、Ｓ６１２で受け付けた表示範囲変更操作に応じて、全天球画像のうち、ディスプレイ２０５に表示される表示範囲を変更する。例えば、表示範囲変更操作としてのタッチムーブが行われると、表示範囲の大きさ（表示倍率）を変更することなく、表示範囲の位置を変更する。これは、タッチムーブによるスクロール表示により行われる。また、表示範囲を変更する操作としてピンチイン／ピンチアウト操作が行われると、表示範囲の大きさ（表示倍率）を変更する。この際、ピンチを行う２か所のタッチ位置の中点を拡大／縮小の基準（中心）とするため、拡大／縮小の中心が表示範囲の中心でないこともある。この場合は、拡大／縮小に伴って全天球画像全体に対する表示範囲の中心位置も変化する。表示範囲が変更されると、変更された表示範囲を示す情報として、変更後の表示範囲の中心位置（全天球画像全体における座標）、表示倍率などの情報がメモリ２０２に記録される。

Ｓ６２１において、ＣＰＵ２０１は、操作部２０６に対して視点の登録操作が行われた
か否かを判定する。登録操作が行われた場合にはＳ６２２に進み、そうでなければＳ６２５に進む。

Ｓ６２２において、ＣＰＵ２０１は、視点番号ｎを１だけインクリメント（１だけ増加）させる。

Ｓ６２３において、ＣＰＵ２０１は、現時点でディスプレイ２０５に表示されているの表示範囲（以下、部分画像と呼ぶ）内の被写体情報を取得する。

なお、本実施形態では、被写体情報とは、被写体の種別を示す情報である。例えば、被写体の種別を示す情報とは、人物の顔、人物の部分（上半身、手、全身、目）、動物（犬、猫、鳥）、乗り物（自転車、飛行機、電車）、文字列の少なくとも一つを示す情報であり、さらに当該被写体が含まれていたか否かを示す情報である。または、被写体の種別を示す情報とは、画像から抽出されたエッジの形状の情報であってもよい。画像から抽出されたエッジの形状の情報を用いて、例えば、料理が盛られた皿である、などの推定が可能である。さらに、被写体情報は、被写体の数や、部分画像における被写体の相対的な位置や、被写体の部分画像を占める面積の割合などの情報を含んでいてもよい。なお、ＣＰＵ２０１は、被写体情報を、パターンマッチング等の検出を用いた判定結果から取得してもよいし、画像に紐づくメタデータ（情報）から取得してもよい。

Ｓ６２４において、ＣＰＵ２０１は、表示している画像（部分画像；視点に紐づく表示範囲）の視点位置と、Ｓ６２３で取得した被写体情報とを対応付けて、ｎ番目の視点としてメモリ２０２に記憶させる。ここでの視点位置は、Ｓ６１３でメモリ２０２に記録された情報に基づく情報（位置情報）であり、座標（位置）と表示倍率（表示範囲の大きさ）とを含む。つまり、ＣＰＵ２０１は、メモリ２０２が記憶する、図８（Ｂ）が示すような管理テーブル（複数の視点の情報のセット）に視点情報を登録する。また、座標とは、部分画像（表示範囲）の中心点、全方位画像全体に対する座標であってもよいし、例えば、部分画像の位置が特定できれば表示範囲の右上や左下など任意の位置の全方位画像全体に対する座標であってよい。図８（Ｂ）が示す管理テーブルでは、「顔の有無」が「被写体情報」である。なお、図８（Ｂ）が示す「視点」の数値は、アニメーション表示する際の表示順でもあるので、視点の表示の順序（指定順）に相当する。

Ｓ６２５において、ＣＰＵ２０１は、管理テーブルに登録されている視点の数が２個以上か否か判定する。登録されている視点の数が２個以上であればＳ６２６に進み、そうでなければＳ６３０へ遷移する。

Ｓ６２６において、ＣＰＵ２０１は、操作部２０６に対してアニメーションの編集操作が行われたか否か判定する。編集操作が行われた場合にはＳ６２７に進み、そうでなければＳ６２８に進む。

Ｓ６２７において、ＣＰＵ２０１は、Ｓ６２６にて行われた編集操作に応じて、管理テーブルに、「視点間の動き」を登録する。ここで、「視点間の動き」とは、図８（Ｂ）が示す管理テーブルにおける「次の視点への動き」に該当する。「次の視点への動き」は、視点間の移動のルートや、移動の速度、もしくは切替方法などの、視点間での部分画像（表示範囲）の遷移の情報であり得る。なお、全ての視点に対して、予め１つの「視点間の動き」が設定されている場合には、Ｓ６２６およびＳ６２７の処理が行われなくてもよい。

Ｓ６２８において、ＣＰＵ２０１は、操作部２０６に対して視点情報の保存操作が行われたか否かを判定する。保存操作が行われた場合にはＳ６２９に進み、そうでなければＳ
６３０に進む。

Ｓ６２９において、ＣＰＵ２０１は、管理テーブルの情報（視点情報のセット）を、プリセット情報として不揮発性メモリ２０３に登録する（記憶させるように制御（記憶制御）する）。なお、不揮発性メモリ２０３に登録するプリセット情報は、新規な情報として登録されてもよい。また、不揮発性メモリ２０３に登録するプリセット情報は、不揮発性メモリ２０３に既に登録されているプリセット情報に上書きされてもよい。Ｓ６２９では、図８（Ａ）が示すメニュー８１０におけるプリセットボタン８１２～８１５のいずれかに対応するように、プリセット情報が不揮発性メモリ２０３に登録される。

Ｓ６３０において、ＣＰＵ２０１は、操作部２０６に対して終了操作が行われたか否かを判定する。終了操作が行われた場合には、視点登録処理が終了し、そうでなければＳ６１２に進む。

（アニメーション表示処理：Ｓ６０６）
以下では、Ｓ６０６にて行われる処理である、アニメーション表示処理の詳細について図７のフローチャートを用いて説明する。本フローチャートは、ＣＰＵ２０１が不揮発性メモリ２０３に記憶されたプログラムを、メモリ２０２に展開して実行することによって実現される。なお、以下では、被写体情報として「顔の有無」が登録されている場合を例にとって説明する。

Ｓ７０１において、ＣＰＵ２０１は、Ｓ６０３において選択されたプリセットボタン（プリセットボタン８１２～８１５のいずれか）に対応するプリセット情報（視点情報のセット）を不揮発性メモリ２０３から読み出す。また、ＣＰＵ２０１は、メニュー８１０を非表示にすることや、処理対象の視点を管理するための変数ｉの値を０に設定することなどの初期化処理を行う。

Ｓ７０２において、ＣＰＵ２０１は、変数ｉが、プリセット情報が示す視点の数（視点総数）以下であるか否かを判定する。変数ｉが視点総数以下であればＳ７０３に進み、そうでなければＳ７０９に進む。例えば、図８（Ｂ）が示すような管理テーブルに対応するプリセット情報の場合には、視点総数は３である。

Ｓ７０３において、ＣＰＵ２０１は、プリセット情報におけるｉ番目の視点位置（視点に紐づく表示範囲の座標と表示倍率）に基づいて、Ｓ６０１にて表示している画像から表示範囲となる部分画像を生成する。例えば、図５（Ｂ）が示す全天球画像５００から、視点４０１（図８（Ｂ）の視点位置Ａの情報によって特定される範囲）に基づいて部分画像を生成する場合には、全天球画像５００から視点４０１に対応する範囲を切り出した部分画像５１１が生成される。

Ｓ７０４において、ＣＰＵ２０１は、プリセット情報におけるｉ番目の視点の被写体情報（顔の有無）を取得し、被写体情報として「顔がある」が登録されているか否かを判定する。「顔がある」が登録されている場合にはＳ７０５に進み、そうでなければＳ７０８に進む。例えば、図８（Ｂ）が示すプリセット情報が登録されており、変数ｉ＝１であれば、被写体情報として「顔がある」が登録されていると判定できる。

Ｓ７０５において、ＣＰＵ２０１は、部分画像内に「顔」（被写体情報が示す被写体）があるか否かを判定する。部分画像内に「顔」があればＳ７０８に進み、そうでなければＳ７０６に進む。例えば、ＣＰＵ２０１は、図５（Ｃ）が示す、部分画像５１１内には「顔」があると判定し、部分画像５１２内には「顔」がないと判定する。

Ｓ７０６において、ＣＰＵ２０１は、部分画像を生成した視点位置が示す範囲より広い範囲（以下、拡大範囲と呼ぶ）に「顔」（被写体情報が示す被写体）があるか否かを判定する。拡大範囲に「顔」があれば、Ｓ７０７に進み、そうでなければＳ７０８に進む。例えば、ＣＰＵ２０１は、図９（Ａ）が示すように、視点４０２（図８（Ｂ）の視点位置Ｂの情報によって特定される範囲）から生成した部分画像に「顔」がない場合には、視点４０２の周辺の範囲である拡大範囲９０１において「顔」があるか否かを判定する。なお、拡大範囲９０１は、視点４０２が示す範囲を中心に、視点４０２の範囲を所定倍した範囲であってもよいし、視点４０２の範囲を縦横に所定値分だけ大きくした範囲であってもよい。また、ＣＰＵ２０１は、顔が含まれる位置まで、視点４０２の範囲を拡大した範囲を拡大範囲としてもよい。

Ｓ７０７において、ＣＰＵ２０１は、Ｓ７０６で検出された顔（被写体）を含むように視点の位置（部分画像、表示範囲）を変更する（補正処理をする）。この変更により、プリセット情報に記録された視点位置の情報が示す変更前の表示範囲から変更後の表示範囲へと、座標、表示倍率のいずれかもしくは両方が変更される。例えば、図９（Ｂ）が示すように、拡大範囲９０１には人の顔が存在しているため、当該顔を含むように、視点４０２を視点９０２に変更する。そして、図９（Ｃ）が示すように、ＣＰＵ２０１は、変更した後の視点９０２に基づき部分画像９１２を生成する。なお、ここでの「視点を変更する」とは、不揮発性メモリ２０３に記憶されたプリセット情報を更新（上書き）するのでなく、部分画像を生成するために一時的にメモリ２０２に記憶している視点の位置を変更することをいう。

なお、ＣＰＵ２０１は、視点の位置（部分画像）を変更するか否かを、ユーザーの選択によって決定してもよい。例えば、ＣＰＵ２０１は、「視点情報を直接適用すると被写体を含まない画像が表示されてしまいますが、被写体を含むように変更しますか？」といった通知をする。そして、ＣＰＵ２０１は、ユーザーがそれに対して、「はい」と「いいえ」のいずれの操作をしたかによって、視点の位置を変更するか否かを決定する。すなわち、「はい」を選択する操作（補正の実行指示操作）に応じて、視点の位置の変更（補正）を実行する。「いいえ」を選択する操作があった場合には、視点の位置の情報情報が示す表示範囲からの変更を行わない。

さらには、ＣＰＵ２０１は、視点の位置を変更した場合には、その際に用いているプリセット情報をディスプレイ２０５に表示するようにしてもよい。これによれば、ユーザーは、プリセット情報が示す表示範囲（部分画像）が変更されたことを容易に把握することができる。

なお、ＣＰＵ２０１は、部分画像を占める被写体の面積の割合や部分画像での被写体の相対的な位置が被写体情報に含まれている場合には、被写体情報が示す当該割合や当該位置に合わせる（一致する）ように、視点位置を変更してもよい。例えば、ＣＰＵ２０１は、図４（Ｃ）が示す部分画像４０４における被写体の占める面積と、図９（Ｃ）が示す部分画像９０３における被写体の占める面積とが一致するような、部分画像９０３が生成されるように視点の位置を変更する。同様に、ＣＰＵ２０１は、図４（Ｃ）が示す部分画像４０４における被写体の相対的な位置と、図９（Ｃ）が示す部分画像９０３における被写体の相対的な位置とが一致するような、部分画像９０３が生成されるように視点の位置を変更してもよい。

なお、Ｓ７０７で視点の位置が変更された場合、その際に用いたプリセット情報におけるｉ番目の視点（位置が変更された視点）の視点位置が、変更された視点の位置を示すように、不揮発性メモリ２０３に記録されたプリセット情報を上書き保存しても良い。また、Ｓ７０７で視点の位置が変更された場合、その際に用いていたプリセット情報は書き換
えずに、その際に用いていたプリセット情報におけるｉ番目の視点の視点位置のみが変更された視点の位置を示す新たなプリセット情報（視点情報のセット）を不揮発性メモリ２０３に記録してもよい。ＣＰＵ２０１は、不揮発性メモリ２０３に対して、変更した視点の位置を反映したプリセット情報を記憶させるか否かを、ユーザーによる操作によって決定してもよい。

Ｓ７０８において、ＣＰＵ２０１は、変数ｉを１だけインクリメントする。つまり、Ｓ７０３～Ｓ７０８の処理が、プリセット情報に登録されている視点の数だけ繰り返し実行される。つまり、視点ごとに、適切な被写体が部分画像に存在するか否かが判定されいる。そして、ＣＰＵ２０１は、部分画像に被写体が存在しない場合には、その周囲に適切な被写体があれば、当該被写体を示すように視点位置を変更している。

Ｓ７０９において、ＣＰＵ２０１は、プリセット情報に基づき、Ｓ７０３～Ｓ７０７で生成した部分画像を登録順（指定順）に、視点間の動き（視点間での部分画像の遷移）の情報に従って、ディスプレイ２０５にアニメーション表示をする。これによって、図９（Ｃ）を用いて説明したようなアニメーション表示（動画表示）が行われる。

Ｓ７１０において、ＣＰＵ２０１は、動画ファイルとしての書き出すことを指示する動画の書き出し指示（ユーザーによる書き出し指示操作）があったか否かを判定する。書き出し指示があった場合にはＳ７１１に進み、そうでない場合には処理を終了する。

Ｓ７１１において、ＣＰＵ２０１は、Ｓ７０９で表示した動画を一般的な動画ファイルとして不揮発性メモリ２０３または記録媒体２０８に記録する。こうして動画ファイルとして書きだすことで、生成したアニメーションを動画として他の機器などで再生できるように共有することが可能となる。

本実施形態によれば、図４（Ｃ）が示すように、１人の被写体、他の１人の被写体、２人の被写体が順に表示されるように或る画像に設定された視点情報を他の画像に用いても、図９（Ｃ）が示すように同様の順に表示される。図９（Ｃ）において、画像５１１は静止画の全天球画像５００から視点４０１に対応する視点情報に基づく範囲を切り出した画像である。画像９１２は、静止画の全天球画像５００から視点４０２を補正した視点９０２に対応する範囲を切り出した画像である。画像５１３は静止画の全天球画像５００から視点４０３に対応する視点情報に基づく範囲を切り出した画像である。図９（Ｃ）が示すアニメーションでは、１フレーム目として画像５１１を、Ｍフレーム目として画像９１２を、Ｎフレーム目として画像５１３を表示する動画として視認されるアニメーションを表している。１フレーム目とＭフレーム目の間のフレームでは、視点４０１に基づく範囲から視点９０２に基づく範囲に滑らかに変化するように（段階的に変化するように）画像５００から切り出された範囲の画像が表示される。Ｍフレーム目とＮフレーム目の間のフレームでは、視点９０２に基づく範囲から視点４０３に基づく範囲に滑らかに変化するように（段階的に変化するように）画像５００から切り出された範囲の画像が表示される。これにより、ユーザーが図４（Ｃ）のような視点情報を登録する際、人物Ａから人物Ｂに表示範囲が変化し、続いて人物Ａと人物Ｂの双方が含まれる範囲に映像が変化するように人物に着目したフレーミングが実現される。つまり、図５（Ｃ）が示すように、或るシーン（Ｍフレーム目）においてユーザーが所望する被写体が欠けてしまい、ユーザーが所望する構成のアニメーション表示にならないという可能性を低減することができる。

なお、図７（Ｂ）のフローチャートの処理では、被写体情報として顔（人の顔）の有無をプリセット情報が含んでいる場合について説明した。しかし、これに限らず、被写体情報として、人の有無、動物の有無、物の有無、人の所定の部分（パーツ）の有無などがプリセット情報に含まれていても同様に処理が可能である。

また、被写体情報として、被写体および当該被写体の数を示す情報がプリセット情報に含まれている場合には、Ｓ７０４において対象の被写体情報が１以上の当該被写体があることを示していれば、Ｓ７０５に進み、そうでなければＳ７０８に進む。Ｓ７０５において、部分画像に、対象の被写体情報が示す被写体が、当該被写体情報が示す数（所定数）存在すればＳ７０８に進み、そうでなければＳ７０６に進む。Ｓ７０６において、拡大範囲に、対象の被写体情報が示す被写体が、当該被写体情報が示す数（所定数）存在すればＳ７０７に進み、そうでなければＳ７０８に進む。Ｓ７０７において、ＣＰＵ２０１は、拡大範囲のうち、対象の被写体情報が示す被写体が、当該被写体情報が示す数（所定数）存在する範囲を示すように視点の位置を変更する。なお、他の処理は、被写体情報が「顔の有無」を示す場合と同じである。これによれば、例えば、或る画像の部分画像では３人の被写体が含まれている視点情報を用いて、他の画像の部分画像でも３人の被写体が含まれるようなアニメーション表示が可能になる。

なお、上述の実施形態では、視点情報（プリセット情報）を適用する画像が静止画の全天球画像であるとして説明したが、これには限られず任意の画像であってよい。例えば、動画の全天球画像を適用し、動画の全天球画像からプリセット情報に含まれる複数の視点の情報に基づいて切り出した範囲をつなぎ合わせたアニメーション（動画）を作成するようにしてもよい。また、視点情報（プリセット情報）を適用する画像は一般的な矩形の撮像画像でもよいし、魚眼レンズによって撮像された画像などの３６０度未満の映像範囲を有するＶＲ画像であってもよい。

また、Ｓ６０１にて表示されている画像以外にも、アニメーション表示処理（プリセット情報の適用処理）を行う画像をユーザーがより容易に選択できるようにしてもよい。具体的には、Ｓ７０１において、ＣＰＵ２０１は、プリセット情報の読み出しを行うと、プリセット情報の被写体情報が示す被写体を含む画像を不揮発性メモリ２０３から検索する。そして、ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されており、かつ、プリセット情報が示す被写体を含む１または複数の画像の全てに対して、プリセット情報を適用するか否かをユーザーの選択に応じて決定する。ここで、全ての画像に対してプリセット情報を適用するとユーザーが選択すれば、全ての画像に対して、Ｓ７０２～Ｓ７０９の処理が行われる。これによれば、プリセット情報が示す被写体を含む画像に対して、一括にプリセット情報の適用が可能になる。

なお、ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されており、かつ、プリセット情報が示す被写体を含む１または複数の画像のそれぞれに対して、プリセット情報を適用するか否かをユーザーの選択に応じて決定してもよい。この場合には、ＣＰＵ２０１は、不揮発性メモリに記憶されており、かつ、プリセット情報が示す被写体を含む１または複数の画像をディスプレイ２０５に一覧表示するとよい。そして、一覧表示を見たユーザーが適用する画像を選択し、選択された画像に対して、ＣＰＵ２０１は、アニメーション表示（プリセット情報の適用処理；Ｓ７０２～Ｓ７０９）を行う。

なお、ＣＰＵ２０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を表示制御装置に適用した場合を例にして説明したが、これはこの例に限定されず、表示する画像を制御することができる電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００：表示制御装置、２０１：ＣＰＵ、２０３：不揮発性メモリ、
２０５：ディスプレイ

Claims (19)

1. 第１の画像の少なくとも一部である第１の範囲を画面に表示するよう制御し、ユーザーの操作にしたがって、前記第１の範囲を変更して前記画面に順に表示するよう制御する表示制御手段と、
   前記第１の範囲を示す位置情報、前記第１の範囲に含まれる被写体の種別および前記第１の範囲の順序を含むプリセット情報を、記憶手段に記憶するように制御する記憶制御手段と
   を有し、
   前記表示制御手段は、
   前記記憶手段に記憶した前記プリセット情報を前記第１の画像とは異なる第２の画像に対して適用し、前記第２の画像のうち前記プリセット情報の前記位置情報と対応する第２の範囲を前記プリセット情報の前記順序にしたがって前記画面に順に表示するよう制御し、
   前記プリセット情報の前記被写体の種別と対応する被写体が前記第２の範囲に含まれるかどうかにしたがって、前記画面に表示される前記第２の範囲を変更するように制御する
   ことを特徴とする電子機器。
2. 前記表示制御手段は、前記プリセット情報の前記被写体の種別と対応する被写体が前記プリセット情報の前記位置情報と対応する前記第２の範囲に含まれていない場合であって、前記第２の画像に当該被写体が含まれている場合には、当該被写体が含まれるように変更された第２の範囲を前記画面に表示するよう制御する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記ユーザーの操作にしたがって、前記第１の範囲の座標および大きさのうち少なくとも一方が変更される
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記位置情報は、座標および大きさのうち少なくとも１つを含み、
   前記表示制御手段は、前記座標および前記大きさのうち少なくとも１つを変更することにより前記第２の範囲を変更するように制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記プリセット情報は、前記種別の被写体が前記第１の範囲で占める面積の割合を示す情報をさらに含み、
   前記表示制御手段は、前記プリセット情報の前記割合と、前記第２の範囲で前記種別の被写体が占める面積の割合とが一致するように、前記第２の範囲を前記画面に表示するよう制御する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記プリセット情報は、前記第１の範囲での前記種別の被写体の相対的な位置を示す情報をさらに含み、
   前記表示制御手段は、前記プリセット情報の相対的な位置と、前記第２の範囲における前記種別の被写体の相対的な位置とが一致するように、前記第２の範囲を前記画面に表示するよう制御する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
7. 前記プリセット情報は、さらに前記種別の被写体の数の情報を含み、
   前記表示制御手段は、前記プリセット情報が示す数の前記種別の被写体が含まれるように変更された前記第２の範囲を前記画面に表示するよう制御する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。
8. 前記被写体の種別は、人物、人物の部分、動物、乗り物および文字列のうち少なくとも１つを含む
   ことを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
9. 前記被写体の種別を示す情報は、前記第１の画像から抽出されたエッジの形状の情報である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
10. 前記第１の画像と前記第２の画像とは、全天球画像である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の電子機器。
11. 前記表示制御手段は、さらにユーザーによる選択にしたがって、前記画面に表示される前記第２の範囲を変更するように制御する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の電子機器。
12. 前記表示制御手段は、ユーザーによる選択にしたがって、前記記憶手段に記憶した前記プリセット情報を、前記第２の画像に対して適用する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記表示制御手段は、さらに、
    前記プリセット情報が示す種別の被写体を含む複数の第２の画像を一覧表示し、
    前記複数の第２の画像それぞれについて、ユーザーによる選択にしたがって、前記記憶手段に記憶した前記プリセット情報を適用する
    ことを特徴とする請求項１２に記載の電子機器。
14. 前記記憶制御手段は、前記第２の範囲が変更されたとき、前記変更された第２の範囲を示す位置情報に基づいて前記プリセット情報の位置情報を上書き保存するように制御することを特徴とする請求項１乃至１３のいずれか１項に記載の電子機器。
15. 前記プリセット情報は、複数の第１の範囲の間での遷移の情報をさらに含み、
    前記表示制御手段は、前記遷移の情報に基づき、複数の第２の範囲の間にアニメーション表示を行って、前記複数の第２の範囲を、前記順序で表示するように表示手段を制御する
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の電子機器。
16. 前記第２の画像は静止画であり、
    前記第２の画像のうち複数の第２の範囲と対応する複数の部分画像を順に表示する動画ファイルを生成する生成手段をさらに有する
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の電子機器。
17. 第１の画像の少なくとも一部である第１の範囲を画面に表示するよう制御し、ユーザーの操作にしたがって、前記第１の範囲を変更して前記画面に順に表示するよう制御する表示制御工程と、
    前記第１の範囲を示す位置情報、前記第１の範囲に含まれる被写体の種別および前記第１の範囲の順序を含むプリセット情報を、記憶手段に記憶するように制御する記憶制御工程と
    を有し、
    前記表示制御工程では、
    前記記憶手段に記憶した前記プリセット情報を前記第１の画像とは異なる第２の画像に対して適用し、前記第２の画像のうち前記プリセット情報の前記位置情報と対応する第２の範囲を前記プリセット情報の前記順序にしたがって前記画面に順に表示するよう制御し、
    前記プリセット情報の前記被写体の種別と対応する被写体が前記第２の範囲に含まれるかどうかにしたがって、前記画面に表示される前記第２の範囲を変更するように制御する
    ことを特徴とする電子機器の制御方法。
18. コンピュータを、請求項１乃至１６のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
19. コンピュータを、請求項１乃至１６のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images