JP7187307B2 - 電子機器及びその制御方法 - Google Patents

電子機器及びその制御方法 Download PDF

Info

Publication number
JP7187307B2
JP7187307B2 JP2018248299A JP2018248299A JP7187307B2 JP 7187307 B2 JP7187307 B2 JP 7187307B2 JP 2018248299 A JP2018248299 A JP 2018248299A JP 2018248299 A JP2018248299 A JP 2018248299A JP 7187307 B2 JP7187307 B2 JP 7187307B2
Authority
JP
Japan
Prior art keywords
image
display
range
content
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018248299A
Other languages
English (en)
Other versions
JP2020108112A (ja
Inventor
潤 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018248299A priority Critical patent/JP7187307B2/ja
Priority to US16/725,963 priority patent/US10937217B2/en
Priority to CN201911367630.1A priority patent/CN111381750B/zh
Publication of JP2020108112A publication Critical patent/JP2020108112A/ja
Application granted granted Critical
Publication of JP7187307B2 publication Critical patent/JP7187307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Description

本発明は、電子機器及びその制御方法に関する。
近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つVR(Virtual Reality)画像を撮影することが可能な撮像装置が普及している。一方で、前方180°に特化した画像フォーマットも発表されており、VR画像から180°画像への切り出しの需要も高まっている。
特許文献1では、VR画像のタッチ操作が行われた一部の領域を抜出し、歪み補正を行って画面上に重畳して表示する手法が提案されている。特許文献2では、画像の切り出し領域の設定を、切り出し枠の大きさを変更するか、または切り出し枠は固定で画像の倍率を変更するかで指定するといった方法が提案されている。
特開2016-123127号公報 特開2014-165523号公報
VR画像から180°の切り出し領域を切り出す場合、ユーザーは360°の有効映像範囲を矩形に収めるフラット表示にすることによって、VR画像の全体を俯瞰して見ることが出来る。しかし、フラット表示の状態で180°の切り出し領域を指定しようとすると、フラット表示上の端の領域を、切り出し中心に指定することが難しいといった課題がある。
本発明は、上記課題に鑑み、VR画像からより狭い範囲のVR画像の切り出しをフラット表示上で行う場合に、フラット表示の画面端近辺の領域を切り出し中心として指定することができるようにした電子機器及びその制御方法を提供することを目的とする。
上記課題を解決するために、本発明の電子機器は、
第1の画面において、VRコンテンツの第1の映像範囲を矩形に収めるフラット表示を行い、第2の画面において、矩形領域にフラット表示された前記VRコンテンツ上に、前記VRコンテンツから切り出される領域を示すインジケータを表示するように制御する表示制御手段と、
ユーザーからの切り出し範囲の設定指示に応じて前記第1の画面から前記第2の画面に切り替える切替手段と、
前記第2の画面において、第1の操作に応じて、前記インジケータをスクロールさせることなく、フラット表示された前記VRコンテンツを第1の方向にスクロールさせるとともに、当該スクロールに応じて、前記VRコンテンツのうち前記第1の方向へのスクロール量分の画像領域を、前記矩形領域のうち前記第1の方向とは反対方向の第2の方向の端から前記第1の方向に向かって順次表示させる、同一コンテンツの循環的スクロール表示を行い、
前記第1の画面において、前記第1の操作があっても前記循環的スクロール表示は行わないように制御する制御手段と、
前記第2の画面において前記インジケータが示す領域に基づいて、前記VRコンテンツのうち前記第1の映像範囲よりも狭い第2の映像範囲を有する編集済VRコンテンツを生成する生成手段と、
を有することを特徴とする。
VR画像からより狭い範囲のVR画像の切り出しをフラット表示上で行う場合に、フラット表示の画面端近辺の領域を切り出し中心として指定することができる。
表示制御装置のブロック図である。 表示制御装置の外観図である。 VR画像から180°画像への切り出し処理を示すフローチャートである。 切り出し方向設定処理を示すフローチャートである。 VR表示での端領域確認処理を示すフローチャートである。 VR画像から180°画像への切り出し処理を行う際の表示例である。 切り出し方向を右スクロールによって変更した際の表示例である。 切り出し方向を左スクロールによって変更した際の表示例である。 VR表示での端領域確認方法の表示例である。 VR画像の各種表示の一例である。
以下、図面を参照して本発明の好適な実施形態を説明する。図1は、電子機器の一例としての表示制御装置100の構成例を示すブロック図である。内部バス150に対してCPU101、メモリ102、不揮発性メモリ103、画像処理部104、ディスプレイ105、操作部106、記録媒体I/F107、外部I/F109、及び、通信I/F110が接続されている。また、内部バス150に対して音声出力部112と姿勢検出部113も接続されている。内部バス150に接続される各部は、内部バス150を介して互いにデータのやりとりを行うことができるようにされている。
CPU101は、表示制御装置100の全体を制御する制御部であり、少なくとも1つのプロセッサーまたは回路からなる。メモリ102は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101は、例えば、不揮発性メモリ103に格納されるプログラムに従い、メモリ102をワークメモリとして用いて、表示制御装置100の各部を制御する。不揮発性メモリ103には、画像データや音声データ、その他のデータ、CPU101が動作するための各種プログラムなどが格納される。不揮発性メモリ103は例えばフラッシュメモリやROMなどで構成される。CPU101は、表示制御装置100が有する表示制御手段、制御手段、生成手段、境界表示手段の各手段の処理を実行する。
画像処理部104は、CPU101の制御に基づいて、不揮発性メモリ103や記録媒体108に格納された画像や、外部I/F109を介して取得した映像信号、通信I/F110を介して取得した画像などに対して各種画像処理を施す。画像処理部104が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるVR画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部104は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部104を用いずにCPU101がプログラムに従って画像処理を施すことも可能である。
ディスプレイ105は、CPU101の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101は、プログラムに従い表示制御信号を生成し、ディスプレイ105に表示するための映像信号を生成してディスプレイ105に出力するように表示制御装置100の各部を制御する。ディスプレイ105は生成・出力された映像信号に基づいて映像を表示する。なお、表示制御装置自体が備える構成としてはディスプレイ105に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ105は外付けのモニタ(テレビやHMDなど)で構成してもよい。
操作部106は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む、ユーザー操作を受付けるための入力デバイスである。なお、タッチパネル106aは、ディスプレイ105に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
記録媒体I/F107には、メモリーカードやCD、DVDといった記録媒体108が着脱可能である。記録媒体I/F107は、CPU101の制御に基づき、装着された記録媒体108からのデータの読み出しや、記録媒体108に対するデータの書き込みを行う。外部I/F109は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F110は、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
音声出力部112は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部112には、イヤホンなどを接続する音声出力端子112a(後述)、スピーカー112b(後述)が含まれるものとするが、音声出力部112は無線通信などで外部スピーカーに音声データを出力してもよい。
姿勢検出部113は、重力方向に対する表示制御装置100の姿勢(傾き)や、ヨー方向、ピッチ方向、ロール方向の各軸に対する表示制御装置100の姿勢を検出する。姿勢検出部113で検出された姿勢に基づいて、表示制御装置100が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における表示制御装置100の傾きの有無や大きさ、当該回転方向に表示制御装置100が回転したかなどを判別可能である。加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうちの1つのセンサーまたは複数のセンサーの組み合わせを、姿勢検出部113として用いることができる。
なお操作部106には、タッチパネル106aが含まれる。CPU101はタッチパネル106aへの以下の操作、あるいは状態を検出できる。
・タッチパネル106aにタッチしていなかった指やペンが新たにタッチパネル106aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル106aを指やペンがタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル106aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル106aへタッチしていた指やペンがタッチパネル106aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル106aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
これらの操作・状態や、タッチパネル106a上に指やペンがタッチしている位置座標は内部バスを通じてCPU101に通知され、CPU101は通知された情報に基づいてタッチパネル106a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル106a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル106a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。
タッチパネル106a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル106a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル106aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
図2は、電子機器の一例である表示制御装置100の外観図である。表示制御装置100は、例えばスマートフォンなどの表示装置である。ディスプレイ105は画像や各種情報を表示する表示部である。ディスプレイ105はタッチパネル106aと一体的に構成されており、ディスプレイ105の表示面へのタッチ操作を検出できるようになっている。表示制御装置100は、VR画像(VRコンテンツ)をディスプレイ105においてVR表示することが可能である。例えば、デジタルカメラ(全方位カメラ;全天球カメラ)で撮像されたVR画像を通信I/F110を介して取得して(無線通信により転送されたVR画像を受信し)記録媒体108に記録することができる。このようにして記録媒体108に記録されたVR画像を、ディスプレイ105でVR表示(VRビューで表示)することが可能である。また、デジタルカメラで撮像されたVR画像が記録された記録媒体を記録媒体I/F107に直接接続し、記録媒体からVR画像を読み出して再生することで、ディスプレイ105でVR表示(VRビューで表示)することも可能である。また、SNS等を介して、ネットワークに接続されたサーバー装置等に記録されたVR画像(共有されたVR画像)を取得してVR表示することも可能である。本実施形態では、操作部106は、タッチパネル106a、操作部106b、106c、106d、106eを含む。操作部106bは表示制御装置100の電源のオンとオフを切り替える操作を受付ける電源ボタンである。操作部106cと操作部106dは音声出力部112から出力する音声のボリュームを増減するボリュームボタンである。操作部106eは、ディスプレイ1
05にホーム画面を表示させるためのホームボタンである。音声出力端子112aはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声信号を出力する端子である。スピーカー112bは音声を出力する本体内蔵スピーカーである。
表示制御装置100は、VR画像(VRコンテンツ)をディスプレイ105においてVR表示することが可能である。VR画像とは、VR表示(表示モード「VRビュー」で表示)をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角)360度、左右方向(水平角度、方位角度、ヨー角)360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。また、例えば、左右方向(水平角度、方位角度)180度、水平方向を中心とした垂直角度180度の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像はVR画像の一種である。即ち、上下方向と左右方向にそれぞれ160度(±80度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。このVR画像をVR表示(表示モード:「VRビュー」で表示)すると、左右回転方向に表示装置(VR画像を表示する表示装置)の姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。表示装置であるヘッドマウントディスプレイ(HMD)を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザーがHMDを視聴している場合で言えば、ユーザーが顔を北から南に向ければ(すなわち後ろを向けば)、HMDに表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザーに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚(没入感)を提供することができる。VRゴーグル(ヘッドマウントアダプター)に装着されたスマートフォンは、HMDの一種と言える。
なお、VR画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて表示範囲を移動(スクロール)させてもよい。VR表示(表示モード「VRビュー」)で表示した場合にも、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタンの押下などに応じて表示範囲を変更できるようにしてもよい。
本実施形態では、最大で上下左右に360度の視野分の映像範囲(有効映像範囲)を持つVR画像から、上下左右に180度の視野分の映像範囲(有効映像範囲)をもつVR画像を切出す操作及び処理について説明する。なお、以下では、最大で上下左右に360度の視野分の映像範囲(有効映像範囲)を持つVR画像を、360度のVR画像と称する。また、上下左右に180度の視野分の映像範囲(有効映像範囲)をもつVR画像を、180度のVR画像と称する。360度のVR画像から180度のVR画像を切り出す処理は、概念としては、360度分の映像が全体にマッピングされた仮想的な球体から、半球を切出す処理である。本実施形態で説明する切出しは、通常の矩形画像(平面画像)を切出す処理ではなく、切出し後もVR画像として視聴可能(球体にマッピングしてVRビューで視聴可能)な画像を切出す処理である。切出し後の画像は上下左右180度分の有効映像範囲を有するため、球体にマッピングした場合には、半球分の有効な映像(撮影された画像など)がマッピングされる。残りの半球分は無効映像範囲となり、単色や所定パターンでの塗りつぶしや、何かしら補完された映像がマッピングされる。このような切出し後のVR画像をVRビューで視聴する場合、ユーザーは、前方の幅180度の範囲(中心から上下左右にそれぞれ90度の範囲)で画像を視認することができる。このような切出し処理を行う理由としては以下のようなものがある。
第1に、画像のデータ量を削減することができる。360度のVR画像に対して、切出された180度のVR画像はデータ量が小さい。そのため、保存する際の記録媒体の容量圧迫を抑制できる。また、送受信する際の通信データ量の削減、表示する際の処理負荷の削減をすることができ、その分、処理速度や応答速度の向上、消費電力の削減といった効果を奏する。
第2に、不要な被写体を削除することができる。例えば360度の視野分の有効映像範囲を有するVR画像を撮像するほとんどの場合、撮影者自身が写り込むことが避けられない。しかし、撮影者が撮影したいものが撮影者自身でなく風景などである場合、撮影者自身は余計な被写体であり、意図しないものである。意図しない映像が写っていると、撮影者が主題と考えていた風景などの映像に視聴者の関心を集中させることを阻害してしまう。また、通行人の顔や通行する車のナンバープレートといった秘匿すべき情報が写ってしまうことも多く、プライバシーやセキュリティーの観点から望ましくない場合がある。切出し処理によって、撮影者が意図する範囲のみを切出し、その他の不要な範囲の映像を破棄することで、これらの問題を回避することができる。
第3に、VRビューで視聴するユーザーの身体的負担を軽減することができる。360度のVR画像をVRビューで視聴する場合、視聴するユーザーの背後まで映像が存在する。前方の180度分の映像であれば、視聴者は自身の首の向きを変えるだけで概ね見渡すことができるが、背後を見ようとすれば、上半身を捻ったり、立つ向きを変えたりしなければならず、身体的負担がやや高い。このような背後を見ようとする身体的動きは、回転チェアでも無い限り、椅子に座って視聴する場合には不向きである。これに対し、180度のVR画像では自身の首の向きを変えるだけで概ね全体を見渡すことができるので、観賞する際の身体的負担が比較的小さい。ガイド表示や180度を超えた範囲が無効領域であることがわかるような表示によって、視聴者が180度のVR画像であることを認識していれば、視聴者は背後を見ようと試みることもない。そのため、背後を見るといった身体的動作を視聴者に行わせることを抑制することができる。
第4に、360度のVR画像を、180度のVR画像のための記録フォーマットなどに対応させて表示させることができる。360度のVR画像の記録フォーマットと、180度分のVR画像のための記録フォーマットが異なる場合、180度分のVR画像の視聴にのみ対応した再生装置(再生アプリケーションソフト)では、360度のVR画像を視聴
することができない。しかし360度のVR画像から切出して180度のVR画像を生成すれば、180度分のVR画像の視聴にのみ対応した再生装置でも視聴することが可能となる。また、180度のVR画像の視聴と360度のVR画像の視聴の双方に対応していても、180度のVR画像を視聴するモードと360度のVR画像を視聴するモードとを切り替える必要がある場合には、切替の操作が煩わしい。しかし360度のVR画像から切出して180度のVR画像を生成すれば、180度分のVR画像のための表示モードを切り替えることなく、複数のVR画像を次々と切り替えて表示させることができる。また、同一方向の被写体に向けて視差の分だけ離れた距離に設置された2つのカメラユニットによって撮影された、それぞれ右目用、左目用の2つの180度のVR画像を立体視できるように表示する表示モード(2眼VRビュー)が想定される。360度のVR画像から、右目用の180度のVR画像と左目用の180度のVR画像を切出して記録しておけば、このような2眼VRビューでも視聴可能となる。
なお、本実施形態では、360度のVR画像から180度のVR画像を切出して生成する例を説明するが、切出し前のVR画像の有効映像範囲よりも狭い有効映像範囲のVR画像を切出す処理であれば他の視野角度のVR画像にも適用可能である。すなわち、切出し前のVR画像は360度のVR画像に限るものではなく、また、切出し後のVR画像は180度のVR画像に限るものではない。
後述する各処理では、各種のタッチボタンを表示し、ユーザー操作として各種タッチボタンに対するタッチ操作を受付けて処理を進める例を説明する。各種タッチボタンに対する指示を受付けるタッチ操作とは、具体的にはタッチボタンに対応するタッチ反応領域からのタッチアップとしてもよいし、タッチボタンに対応するタッチ反応領域に対するタッチダウンとしてもよい。またこれに限るものではなく、後述するタッチボタンへの操作によって受付けるものとして説明する各指示は、他のユーザー操作によって受付けるものとしてもよい。例えば、各物理ボタンへの操作、方向キーを用いて表示アイテムを選択して決定ボタンを押下する操作、マウスを用いて表示アイテムを選択する操作、音声コマンド等であってもよい。
以下図3~図8を参照して、本発明の実施例の動作を説明する。
図3は、表示制御装置100による、360度のVR画像から180度のVR画像への切り出し処理の一例を示すフローチャートである。このフローチャートおける各処理は、CPU101が不揮発性メモリ103に格納されたプログラムをメモリ102に展開して実行することにより実現する。
表示制御装置100の電源がオンとされ、記録媒体108に記録された画像や、通信先から取得した画像のうち、VR画像(VRコンテンツ)が選択されると図3の処理が開始される。
S301では、CPU101は、記録媒体108もしくは通信I/F110を介した通信先から、表示対象となるVR画像を読みこむ。CPU101は、VR画像の属性情報として付帯する映像範囲(有効映像範囲)を示す情報を取得して、有効映像範囲を矩形に収めるフラット表示でVR画像を表示する。S301でディスプレイ105にフラット表示されるVR画像の有効映像範囲は、第1の有効映像範囲の一例である。VRビューであれば仮想球体にマッピングして表示するが、フラット表示では、正距円筒図法などによって矩形に全体を収めて表示する。そのため、矩形端部よりの部分などでは、VRビューで表示する場合よりも被写体が歪む。
有効映像範囲を示す情報とは、VR画像が、上下方向、左右方向にどの角度範囲分の有効な映像を有しているかという情報である。有効映像範囲を示す情報は、VR画像の有効
映像範囲を特定できる情報であればよく、画角、視野角、方位角、仰角、俯角、高度角度、ステラジアンなどによって表される角度情報であってもよいし、上下、左右の画素数や座標などの位置情報であってもよい。
また、有効映像範囲を示す情報は、VR画像を撮像したカメラの機種情報(機種を特定することで撮影可能な範囲を特定可能)や撮影時のズームの情報等でもよい。CPU101は、有効映像範囲を示す情報を取得すると、上下左右360度との差分で無効映像範囲(非映像範囲)も特定(算出)する。なお、逆に、VR画像の属性情報から無効映像範囲を示す情報を取得し、そこから有効映像範囲を算出してもよいし、有効映像範囲を示す情報と無効映像範囲を示す情報の双方をVR画像の属性情報から取得してもよい。
図6(a)に、S301におけるフラット表示の表示例(第1の画面における表示例)を示す。正距円筒図法を用いた画像であるため、実物とは異なり歪んだ画像となっている。ユーザーは、切り出しボタン602を選択するボタン操作により、VR画像601の切り出しモードに遷移させることが出来る。切り出しボタン602は、ユーザーからの切り出し範囲の設定指示を受付ける操作ボタンである。また、VRビューに遷移するための指示アイコンを表示してもよい。この指示アイコンに対する操作に応じて、同じ画像について、フラット表示から、VRビューに遷移することができる。なお、S301におけるフラット表示を行っている際に、VR画像601の表示領域上でタッチムーブが行われた場合、別の画像への画像切替(ファイル名順などの所定の順序における次の画像、または前の画像の表示への切り替え)を行うものとする。S301におけるフラット表示は、ユーザーが表示対象あるいは編集対象となる画像の識別を行うための画面である。タッチムーブによって画像切替を行う場合、タッチムーブに追従してVR画像601をタッチムーブ方向へスライド(スクロール)するが、図6(a)に示すVR画像601の端部の外側は、黒塗りなどの非画像領域、あるいは切替後の画像が表示される。すなわち、図4の切り出し領域設定処理におけるスクロールとは異なり、端部を識別できないような循環的なスクロールは行わない。
S302では、CPU101は、切り出しボタン602に対するタッチ操作、すなわちタッチパネル106aに対する切り出し範囲の設定指示があったか否かを判定する。切り出し範囲の設定指示があった場合は、S303に進み、切り出し範囲の設定指示がなかった場合は処理を終了させる。S303に進んだ場合は、VR画像を180°で切り出すための切り出し範囲を設定するモードに遷移する。
S303では、CPU101は、天頂補正を行うか否かを選択する選択画面を表示した上で、タッチパネル106aに入力された天頂補正に関するパラメータを受け取り、天頂補正の実施が希望されている場合は天頂補正を行う。図6(b)に、S303で表示される天頂補正を行うか否かを選択する選択画面の表示例を示す。図6(b)の天頂補正選択ダイアログ603は、切り出しボタン602を選択するボタン操作により表示される。天頂補正選択ダイアログ603は、ボタン604及びボタン605を有する。ユーザーがボタン604を選択するボタン操作により、VR画像の切り出し処理前に天頂軸の補正が実行される。また、ボタン605を選択すると、VR画像の切り出し処理前に天頂軸の補正は実行されない。
S304では、CPU101は、切り出し用のUIをディスプレイ105に表示する。すなわち、ユーザーからの切り出し範囲の設定指示に応じて、S301で説明した表示画面から、切り出し用のUI画面に切り替わる(切替制御)。図6(c)に、S304で表示される切り出し用のUIの表示例(第2の画面の表示例)を示す。切り出し領域枠606は、VR画像から切り出される180°の領域を示すインジケータである。切り出し領域枠606は、矩形領域にフラット表示されたVR画像上(VRコンテンツ上)に表示さ
れる。なお切り出し領域枠606は正確な切り出し範囲を示している訳では無く、大まかな範囲を示したものである。非切り出し領域608は、切り出す180°の領域に含まれない領域を示している。
ユーザーが切り出し決定(完了)ボタン611を選択するボタン操作により、切り出し領域枠606に囲まれた切り出し領域607が切り出し領域として設定される。天頂切り出しボタン612を選択するボタン操作により、天頂方向(VRコンテンツの上方向)を中心に180°の領域が切り出し領域として設定される。天底切り出しボタン613を選択するボタン操作により、天底方向(VRコンテンツの下方向)を中心に180°の領域が切り出し領域として設定される。CPU101は、設定された切り出し領域に基づいて、切り出し前の有効映像範囲よりも狭い有効映像範囲を有する編集済VRコンテンツを生成することができる。このように、CPU101は、VRコンテンツの上下方向のスクロールは行わず、VRコンテンツの上下方向の切り出しは、ユーザーのボタン操作(スクロールさせる操作を伴わない操作)により実行される。
S305では、CPU101は、ディスプレイ105にフラット表示されたVR画像の表示領域のうち、切り出し領域607の内側の中央領域に対してタッチダウンが検出されたか否かを判定する。切り出し領域607の内側の中央領域は、切り出し領域607の左右境界である切り出し領域枠606の左右部分より所定幅以上内側の領域である。中央領域へのタッチダウンが検出された場合はS306に進み、中央領域へのタッチダウンが検出されなかった場合はS307に進む。
S306では、CPU101は、切り出し方向設定処理を実行する。なお、切り出し方向(切り出される画像の範囲)は、図6(c)に示す切り出し領域枠606で囲まれた領域に基づいて設定される。切り出される領域の有効映像範囲は、第2の有効映像範囲の一例である。CPU101は、少なくとも図6(c)に示す切り出し領域枠606で囲まれた領域の中央と、実際に切り出される有効映像範囲(第2の有効映像範囲)の中央とを、一致またはほぼ一致するように制御する。ただし、フラット表示に重畳して示す切り出し領域枠606は、半球の切出し境界を正確に表現したものではないので、切り出し領域枠606で示した範囲と、実際に切り出される有効映像範囲(第2の有効映像範囲)とは、完全には一致しない。例えば、切り出し領域枠606で囲まれた領域の範囲を、実際に切り出される有効映像範囲(180°)より大きくしてもよい。切り出し方向設定処理については、図4を用いて後述する。
S307では、CPU101は、VR端領域確認処理を実行する。VR端領域確認処理については、図5を用いて後述する。
S308では、CPU101は、切り出し決定ボタン611に対するタッチ操作があったか否か、すなわち切り出し指示があったか否かを判定する。切り出し指示があった場合はS309に進み、切り出し指示がなかった場合は処理を終了させる。
S309では、CPU101は、S306で設定された切り出し方向に180°の範囲で画像を切り出し、VR180°フォーマットで切り出した画像を記録媒体108に保存する。すなわち、切出し済みのVR画像を記録媒体108に記録する。
S309で記録する切出し済みのVR画像(VRビューでの表示が可能な画像ファイル)について説明する。切出し済みのVR画像が静止画であれば、切出範囲内の画像を正距円筒図法で矩形内に変形して収めた画像がマルチピクチャーフォーマットで1ファイル内に複数枚格納されたファイルを生成して記録する。切出し前の360度のVR画像(元画像)を、VRビューではなく通常の平面画像として表示した場合には、図10(a)のよ
うな長方形内に正距円筒図法で描画された画像となる。S301ではこのように表示される。この元画像から図4で説明する処理によって180度の範囲が切出されると、VRビューではなく通常の平面画像として表示した場合に図10(b)に示すようにほぼ正方形内に正距円筒図法で描画された画像が記録される。この際、切出範囲内の画像をコピーした同一の画像を、視差が無いにせよ、右目用画像、左目用画像としてそれぞれ同一ファイル内に記録する。なお、疑似的に視差を有するように(すなわち左目用画像と右目用画像の範囲がやや異なるように)、切出し前の1つの360度のVR画像から2つの180度の範囲を切出して生成してもよい。切出し済みの静止画のVR画像のファイル名は例えば“123456.vr.jpg”となり、拡張子“.jpg”の手前に3文字の文字列“.vr”が記述される。このように静止画ファイルとして保存された画像をVRビューで再生表示すると、図10(b)の画像が半球にマッピングされて表示される。切出し済みの静止画のVR画像ファイルを、2眼VRビューで再生して表示した例(VRゴーグルに装着していない状態のディスプレイ105における表示例)を図10(d)に示す。
切出し済みのVR画像が動画であれば、切出範囲内の画像を正距円筒図法ではなく円または楕円内にマッピングした映像(動画)が1つの動画の映像内の左右に(サイドバイサイドで)並べられた動画ファイルを生成して記録する。この際、切出範囲内の画像をコピーした同一の画像を、視差が無いにせよ、右目用画像、左目用画像としてそれぞれ左右に並べて記録する。このような動画をVRビューではなく通常の平面画像として表示すると図10(c)のように表示される。なお、疑似的に視差を有するように(すなわち左目用画像と右目用画像の範囲がやや異なるように)、切出し前の1つの360度のVR画像から2つの180度の範囲を切出して生成してもよい。切出し済みの動画のVR画像のファイル名は例えば“123456.vr.mp4”となり、拡張子“.mp4”の手前に3文字の文字列“.vr”が記述される。切出し済みの動画のVR画像ファイルを、2眼VRビューで再生して表示した場合のあるフレームの表示例(VRゴーグルに装着していない状態のディスプレイ105における表示例)は図10(d)に示した例と同様である。
図4は、図3におけるS306の切り出し方向設定処理の一例を示すフローチャートである。切り出し方向設定処理は、CPU101が不揮発性メモリ103に格納されたプログラムをメモリ102に展開して実行することで実現される。
S401では、CPU101は、タッチパネル106aに対して右スクロールの入力が行われたか否かを判定する。右スクロールの入力は、画像を右側にスクロールさせる操作であり、右方向へのスクロール指示に相当する。右スクロールの入力は、例えば右へ移動するタッチムーブや、スクロールバー(不図示)を左側へスライドさせる操作である。右スクロールの入力が行われた場合はS402に進み、右スクロールの入力が行われなかった場合はS404に進む。
S402では、CPU101は、ユーザーから右スクロールの入力を受付けると、右方向に画像をスクロール(スライド)する。CPU101は、ディスプレイ105右方向へのスクロール量分の画像領域を、ディスプレイ105の左端から右方向に向かって、スクロールに応じて順次表示させる。なお、切り出し領域枠606の画面上の位置は固定であり、スクロールの入力があってもスクロールしない。
S403では、CPU101は、スクロール量分の右側の画像領域を除く左方向側の領域をスクロール量分、右方向に移動させて表示させる。すなわち、CPU101は、ディスプレイ105の矩形領域にフラット表示されたVRコンテンツを右方向にスクロールさせる。また、CPU101は、当該スクロールに応じて、VRコンテンツのうち右方向へのスクロール量分の画像領域を、矩形領域のうち右方向とは反対方向の左方向の端から右方向に向かって順次表示させる。
図7(a)~図7(e)に、S402,S403で行われるスクロールによる表示例を示す。図7(b)の右スクロール701は、図7(a)に対して右方向のスクロール入力を表している。右スクロール701が入力されると図4のS402、S403の処理が実行される。例えば、S401において、ユーザーが、ディスプレイ105の右端側に、スクロール量D1だけスクロールしたものと想定する。S402において、CPU101は、点線で囲まれたスクロール量分(D1)の画像領域7011を、ディスプレイ105の左端から右方向に向かって、順次表示する。次に、S403において、CPU101は、スクロール量分(D1)の画像領域7011を除く一点鎖線で囲まれた左側の領域7012を、スクロール量分(D1)右方向に移動させて表示させる。これらの処理が実行されると、ディスプレイ105は、図7(c)のような表示になる。
図7(d)の右スクロール703は、図7(c)に対して右方向のスクロール入力を表している。右スクロール703が入力されると、右スクロール701を入力した場合と同様に、図4のS402、S403の処理が実行されて図7(e)の表示になる。
このように、S402,S403で行われるスクロールは、画像を右にスクロールすれば、右側の表示領域外までスクロールされて消失した部分が、表示領域の左端から右に向かって次々と進入してくるように表示される。そして、右スクロールの入力を繰り返せば突き当たることなく無限にスクロールさせることができる。すなわちVR画像601の左右の端部といった境目を意識させない、同一コンテンツの循環的スクロール表示である。このようにすることで、図6(a)の表示例では表示領域の端部に位置していた部分を、切り出し領域枠606の中央に位置させることができる。そして、その位置を中心とした180度(その位置を中心とした周囲90度の範囲)の切れ目の無い領域を切出し後のVR画像とするように指示することが可能となる。なお、循環的スクロール表示は、VR画像の任意の方位を中央に指定することができればよいので、無限に循環できる必要はなく、少なくとも1回循環できればよい。
S404では、CPU101は、タッチパネル106aに対して、右方向とは反対側への左スクロールの入力が行われたか否かを判定する。左スクロールの入力は、画像を左側にスクロールさせる操作であり、左方向へのスクロール指示に相当する。左スクロールの入力は、例えば左へ移動するタッチムーブや、スクロールバー(不図示)を右側へスライドさせる操作である。左スクロールの入力が行われた場合はS405に進み、右スクロールの入力が行われなかった場合はS407に進む。
S405では、CPU101は、ユーザーから左スクロールの入力を受付けると、左方向に画像をスクロール(スライド)する。CPU101は、ディスプレイ105左方向へのスクロール量分の画像領域を、ディスプレイ105の右端から左方向に向かって、スクロールに応じて順次表示させる。なお、切り出し領域枠606の画面上の位置は固定であり、スクロールの入力があってもスクロールしない。
S406では、CPU101は、スクロール量分の左側の画像領域を除く右方向側の領域をスクロール量分、左方向に移動させて表示させる。すなわち、CPU101は、ディスプレイ105の矩形領域にフラット表示されたVRコンテンツを左方向にスクロールさせる。また、CPU101は、当該スクロールに応じて、VRコンテンツのうち左方向へのスクロール量分の画像領域を、矩形領域のうち左方向とは反対方向の右方向の端から右方向に向かって順次表示させる。
図8(a)~図8(e)に、S402,S403で行われるスクロールによる表示例を示す。図8(b)の左スクロール801は、図8(a)に対して左方向のスクロール入力
を表している。左スクロール801が入力されると図4のS405、S406の処理が実行される。例えば、S404において、ユーザーが、図7(b)とは反対にディスプレイ105の左端側に、スクロール量D2だけスクロールしたものと想定する。S405において、CPU101は、点線で囲まれたスクロール量分(D2)の画像領域8011を、ディスプレイ105の右端から左方向に向かって、順次表示する。次に、S406において、CPU101は、スクロール量分(D2)の画像領域8011を除く一点鎖線で囲まれた左側の領域8012を、スクロール量分(D2)左方向に移動させて表示させる。これらの処理が実行されると、ディスプレイ105は、図8(c)のような表示になる。
図8(d)の左スクロール803は、図8(c)に対して左方向のスクロール入力を表している。左スクロール803が入力されると、左スクロール801を入力した場合と同様に、図4のS405、S406の処理が実行されて図8(e)の表示になる。
このように、S404,S405で行われるスクロールは、画像を左にスクロールすれば、左側の表示領域外までスクロールされて消失した部分が、表示領域の右端から左に向かって次々と進入してくるように表示される。そして、左スクロールの入力を繰り返せば突き当たることなく無限にスクロールさせることができる。すなわちVR画像601の左右の端部といった境目を意識させない、同一コンテンツの循環的スクロール表示である。このようにすることで、図6(a)の表示例では表示領域の端部に位置していた部分を、切り出し領域枠606の中央に位置させることができる。そして、その位置を中心とした180度(その位置を中心とした周囲90度の範囲)の切れ目の無い領域を切出し後のVR画像とするように指示することが可能となる。
S407では、CPU101は、リセットボタン610に対するタッチ操作があったか否か、すなわち、切り出し方向のリセット指示の操作を受付けたか否かを判定する。リセット指示が行われた場合にはS408に進み、リセット指示が行われていなかった場合にはS409に進む。リセットされた切り出し方向位置とは、図3のS304の処理時に設定されている切り出し方向の設定である。S408では、CPU101は、切り出し方向を初期位置に設定する。
S409では、CPU101は、切り出し決定ボタン611に対するタッチ操作があったか否か、すなわち切り出し方向の決定指示の操作を受付けたか否かを判定する。切り出し方向の決定指示が行われた場合には、処理を終了し、切り出し方向の決定指示が行われていない場合はS401に進む。S409でYesと判定された場合は、S308でもYesと判定されるものとする。すなわち、本実施形態においては切り出し方向の決定指示と切り出し指示は同じ指示である。ただし、切り出し方向の決定指示と切り出し指示を別の操作によって行うものとしてもよい。例えば、切り出し方向の決定指示があったことに応じて切り出し後のVR画像の範囲を示すプレビュー表示を行い、その後、切り出し指示が行われたことによって切り出し済みのVR画像の画像ファイルを生成するようにしても良い。
なお、S401~S406で説明した左右方向へのスクロールによって、切り出し前のVR画像のうち、切り出し後のVR画像の範囲の方位を指定することができる。切り出し後のVR画像の仰俯角は、天頂から天底までの、水平方向(天頂から90度の方向。天頂補正後であれば補正後の天頂から90度の方向)を中心とした仰俯角180度の範囲に固定される。このようにすることで、切り出し範囲の指定の煩雑さを防ぐことができる。また、切り出し後のVR画像は視聴するユーザーから見て正面(水平方向)を中心とした180度とすることができ、天頂を超えた背後側の範囲や、天底を超えた背後側の範囲を含まないようにすることができる。これによってVRビューで視聴した際にのけぞって背後を見たりするような無理な姿勢での視聴を防止することができる。
なお、天頂切り出しボタン612がタッチされた場合は、切り出し範囲は、切り出し領域枠606が示す範囲(ユーザーが指定した方位)にかかわらず、天頂(天頂補正していれば補正後の天頂)を中心として全方位に90度の範囲とする。これは、仮想球体を上下に等分した場合の上側の半球範囲である。また、天底切り出しボタン613がタッチされた場合は、切り出し範囲は、切り出し領域枠606が示す範囲(ユーザーが指定した方位)にかかわらず、天底(天頂補正していれば補正後の天底)を中心として全方位に90度の範囲とする。これは、仮想球体を上下に等分した場合の下側の半球範囲である。天頂切り出しボタン612、天底切り出しボタン613がタッチされた場合は、切り出し指示もあったものとみなし、図3のS309の切り出し済みのVR画像のファイル生成まで行われる。このようにすることで、切り出し前の仮想球体が斜めに切られた半球が生成されるような不自然な切り出しを防止することができる。すなわち、水平線より上側の空全体を見渡せる切り出し後のVR画像や、天井から見た室内全体、テーブルの上から見たテーブル上の料理全体を見渡せる切り出し後のVR画像を容易に生成することができる。
図5は、図3におけるS307のVR端領域確認処理の一例を示すフローチャートである。VR端領域確認処理は、CPU101が不揮発性メモリ103に格納されたプログラムをメモリ102に展開して実行することで実現される。VR端領域確認処理は、切り出される領域の境界および境界を含む領域をVR表示することにより、切り出されるVR画像の端領域を、ユーザーが確認できるようにする処理である。
S501では、CPU101は、切り出し範囲の端部の確認指示として、表示されたVR画像の表示領域のうち、前述の中央領域ではなく、切り出し領域607の左右の端領域をタッチされたか否かを判定する。左右の端領域とは、切り出し領域607の左右境界である切り出し領域枠606の左辺を含む左辺より所定幅以内の領域(左端領域)、及び、切り出し領域枠606の右辺を含む→辺より所定幅以内の領域(右端領域)である。左右の端領域をタッチされた場合はS502に進み、端領域をタッチされていない場合は、処理は終了する。切り出し範囲の端部の確認指示はこれに限るものではない。例えば、切り出し範囲の端部の確認指示のためのアイコンを表示し、このアイコンがタッチされたことを切り出し範囲の端部の確認指示としてもよい。また、表示されたVR画像の表示領域のうち、切り出し領域枠606の左辺より左側、あるいは切り出し領域枠606の右辺より右側がタッチされたことを切り出し範囲の端部の確認指示としてもよい。
S502では、CPU101は、S301で取得したVR画像を読み込む。また、VR画像の属性情報として付帯する映像範囲(有効映像範囲)を示す情報を取得する。有効映像範囲を示す情報とは、VR画像が、上下方向、左右方向にどの角度範囲分の有効な映像を有しているかという情報である。有効映像範囲を示す情報は、VR画像の有効映像範囲を特定出来る情報であればよく、画角、視野角、方位角、仰角、左右の画素数や座標などの位置情報であってもよい。また、有効映像範囲を示す情報は、VR画像を撮像したカメラの機種情報(機種を特定することで撮影可能な範囲を特定可能)や撮影時のズームの情報等でもよい。
CPU101は、有効映像範囲を示す情報を取得すると、上下左右360度との差分で無効映像範囲(非映像範囲)も特定(算出)する。なお、逆に、VR画像の属性情報から無効映像範囲を示す情報を取得し、そこから有効映像範囲を算出してもよいし、有効映像範囲を示す情報と無効映像範囲を示す情報の双方をVR画像の属性情報から取得してもよい。
S503では、CPU101は、前述の右端領域がタッチされたか否かを判定する。右端領域がタッチされた場合はS504に進み、右端領域がタッチされていない場合はS5
05に進む。
S504では、CPU101は、VR画像のうち切り出し領域枠606の範囲内となっている表示範囲に基づき、S502で取得したVR画像の右端領域の表示処理を行う。VR画像の元データ(元画像)は、例えば正距円筒図法を用いた歪んだ画像であり、各画素の位置が球体の表面の座標と対応づけることが可能な形式の画像である。このVR画像の元画像を球体にマッピングし、一部を切り出して表示する。すなわち、S504で表示される画像はVR画像の一部を切り出して拡大した画像であり、かつ、元画像の歪みを除去(あるいは低減)した画像である。この場合、CPU101は、表示するVR画像を、切り出し領域枠606で囲まれた領域の中央線上を中心として左右に90°(計180°)の方位の範囲、及び、天頂から天底までの仰俯角の範囲を有効範囲とする。CPU101は、それ以外の範囲については、有効範囲外(無効範囲、切り出し範囲外となる除外範囲)と設定する。CPU101は、この有効範囲と無効範囲との境界線上を中心に右側端領域を表示することで、右側の有効範囲と無効範囲の境界線上の端の状況確認ができる。
S505では、CPU101は、VR画像のうち切り出し領域枠606の範囲内となっている表示範囲に基づき、S502で取得したVR画像の左端領域の表示処理を行う。表示方法はS504と同じである。ここでは有効範囲と無効範囲の境界線上を中心に左端領域を表示することで、左側の有効範囲と無効範囲の境界線上の端の状況確認ができる。
S506では、CPU101は、タッチパネル106aから通知された情報に基づいて、タッチムーブが検出されたか否かを判定する。タッチムーブが検出された場合はS507へ進み、タッチムーブが検出されていない場合はS508へ進む。
S507では、CPU101は、タッチムーブによるスライド操作の方向(タッチムーブの方向)に応じて、VR画像の表示範囲を変更する。例えば、タッチムーブの方向が左方向と判定された場合にVR画像の表示範囲を左方向へタッチムーブされた量だけずらす(スライドする)ことで、ユーザーはVR画像自体を動かすような操作感で操作することが出来る。この時、切り出し範囲外となる領域のディスプレイ105における表示位置は固定である。したがって、タッチムーブによって、切り出し範囲外となる領域と、切り出し範囲内となる表示されている範囲との相対関係がずらされ、切り出し前のVR画像にたいする切り出し範囲(切り出し方向)が変更される。このようにして、切り出し範囲の境界を確認しながら、切り出し範囲内にどこまで収めるかを微調整して切り出し範囲を設定することができる。
S508では、CPU101は、タッチパネル106aに対して切り出し指示の操作があったか否かを判定する。切り出し指示があった場合はS509に進み、切り出し指示がなかった場合にはS510へ処理が進む。
S509では、CPU101は、S508で指定した切り出し方向に180°の範囲で画像を切り出して、VR180°フォーマットで画像を記録媒体108に保存する。生成される画像ファイルはS309で説明したものと同様である。
S510では、CPU101は、タッチパネル106aから通知された情報に基づいて、戻るボタンのタッチ操作により戻る指示が行われたか否かを判定する。戻る指示が行われた場合は、S511へ処理が進み、戻る指示が行われていない場合は、S506へ処理を戻す。
S511では、CPU101は、S502で取得したVR画像を読みこみ、VR画像の属性情報として付帯する映像範囲(有効映像範囲)を示す情報を取得して、有効映像範囲
を矩形に収めるフラット表示でVR画像を表示する。S507で表示範囲を変更した場合、フラット表示する画像の中心位置は、変更後の表示範囲の中央の情報に基づいて設定される。表示後、VR端領域確認処理を終了する。
図9を用いて、VR端領域確認処理の端確認表示について説明をする。この表示は、図5のS504及びS505で行われる表示である。
図9(a)は、VR画像をVR表示した場合の右端側を表示した状態を示す図である。図9(a)は、例えば、図6(c)において、切り出し領域枠606の右側の枠の上または右側の非切り出し領域608をタッチすることで表示される。切り出し領域枠606の右側の枠の上または右側の非切り出し領域608をタッチすることは、ユーザーからの「確認指示」の一例である。確認指示は、切り出し領域枠606で囲まれた領域において確認対象となる境界または境界を含む領域を指定する操作である。右側有効範囲901及び無効範囲902がVR表示(VRビュー)で表示されている。VR表示(VRビュー)は、仮想球体にマッピングした表示形態であり、フラット表示からは変形された表示形態である。従って、フラット表示では歪曲していた部分が、歪曲が補正された形状で正確に確認することができる。無効範囲902は、黒色、白色、パターン表示などによりマスキングをして表示されてもよい。境界をほぼ中央に表示することで、VR画像の右側境界線がどのような状態になっているか確認が可能である。戻るボタン903、切り出しボタン904を無効範囲902上に配置することで、ユーザーは、右側有効範囲901及びVR画像の右側境界線を含む領域を確認し、境界を識別することが可能である。
図9(b)は、VR画像をVR表示した場合の左端側を表示した状態を示す図である。図9(b)は、例えば、図6(c)において、切り出し領域枠606の左側の枠の上または左側の非切り出し領域608をタッチすること(確認指示)で表示される。左側有効範囲905及び無効範囲906がVR表示で表示されている。無効範囲906は、黒色、白色、パターン表示などによりマスキングをして表示されてもよい。境界をほぼ中央に表示することで、VR画像の左側境界線がどのような状態になっているか確認が可能である。図9(a)と同様に、戻るボタン903、切り出しボタン904を無効範囲906上に配置することで、ユーザーは、左側有効範囲905及びVR画像の左側境界線を含む領域を確認し、境界を識別することが可能である。
ユーザーからの確認指示として、切り出し領域枠606の枠の上または非切り出し領域608をタッチする例を示したが、これに限られない。例えば、CPU101は、切り出し領域枠606の枠で囲まれた領域において確認対象となる境界を指定するためのアイコンをタッチパネル106aに表示してもよい。ユーザーは、アイコンをタッチすることで、図9(a)または図9(b)の画面により境界を含む領域を確認し、境界を識別することができる。図9(a)または図9(b)の画面は、ユーザーが境界の情報を確認し、境界を識別するために表示される仮情報である。
以上のように、上述の実施形態によればVR画像の180°切り出しをフラット表示から行う場合に、フラット表示上の画像端の方向を切り出し後の中央領域に設定することが出来る。
さらに、VR画像が切り出し編集状態になっていない場合は、左右のスクロールは画像送りすることによって、ユーザーの操作性を向上させることも出来る。
なお、CPU101が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をスマートフォンに適用した場合を例にして説明したが、これはこの例に限定されずVR画像を表示部に表示することができる装置であれば適用可能である。例えば、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、デジタルカメラ、テレビジョン装置、投影装置、タブレット端末、AIスピーカー、家電装置、車載装置、医療機器などにも適用可能である。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:表示制御装置 101:CPU 105:ディスプレイ 106:操作部

Claims (18)

  1. 第1の画面において、VRコンテンツの第1の映像範囲を矩形に収めるフラット表示を行い、第2の画面において、矩形領域にフラット表示された前記VRコンテンツ上に、前記VRコンテンツから切り出される領域を示すインジケータを表示するように制御する表示制御手段と、
    ユーザーからの切り出し範囲の設定指示に応じて前記第1の画面から前記第2の画面に切り替える切替手段と、
    前記第2の画面において、第1の操作に応じて、前記インジケータをスクロールさせることなく、フラット表示された前記VRコンテンツを第1の方向にスクロールさせるとともに、当該スクロールに応じて、前記VRコンテンツのうち前記第1の方向へのスクロール量分の画像領域を、前記矩形領域のうち前記第1の方向とは反対方向の第2の方向の端から前記第1の方向に向かって順次表示させる、同一コンテンツの循環的スクロール表示を行い、
    前記第1の画面において、前記第1の操作があっても前記循環的スクロール表示は行わないように制御する制御手段と、
    前記第2の画面において前記インジケータが示す領域に基づいて、前記VRコンテンツのうち前記第1の映像範囲よりも狭い第2の映像範囲を有する編集済VRコンテンツを生成する生成手段と、
    を有することを特徴とする電子機器。
  2. 前記制御手段は、フラット表示した前記VRコンテンツにおいて前記インジケータが示す範囲の中央と、前記第2の映像範囲の中央とが、一致またはほぼ一致する
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記インジケータは前記矩形領域よりも狭い範囲を示す
    ことを特徴とする請求項1または2に記載の電子機器。
  4. 前記第1の方向は、前記VRコンテンツに対して右方向または左方向である
    ことを特徴とする請求項1乃至3のいずれか1項に記載の電子機器。
  5. 前記第2の画面における前記第1の方向への前記循環的スクロール表示に応じて、前記第1の映像範囲を仮想球体にマッピングした場合の前記第2の映像範囲の方位が変わる
    ことを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  6. 前記制御手段は、前記第2の画面において、前記第1の方向と垂直な第3の方向へのスクロールは行わない
    ことを特徴とする請求項1乃至5のいずれか1項に記載の電子機器。
  7. 前記第2の画面における前記VRコンテンツのスクロールに応じた、前記第1の映像範囲を仮想球体にマッピングした場合の前記第2の映像範囲の仰角または俯角の変更は行わない
    ことを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
  8. 前記第1の操作は、前記矩形領域にタッチして前記第1の方向にタッチ位置を移動するスライド操作である
    ことを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
  9. 前記制御手段は、前記ユーザーから前記設定指示を受け付けた際に、天頂補正をするか否かを前記ユーザーに確認する、
    ことを特徴とする請求項1乃至8のいずれか1項に記載の電子機器。
  10. 前記制御手段は、前記VRコンテンツの天頂を中心とした切り出しまたは天底を中心とした切り出しの指示を、スクロールさせる操作を伴わない操作により受け付ける
    ことを特徴とする請求項1乃至9のいずれか1項に記載の電子機器。
  11. 前記生成手段で生成した編集済VRコンテンツを格納したファイルを生成して記録する記録手段をさらに有することを特徴とする請求項1乃至10のいずれか1項に記載の電子機器。
  12. 前記記録手段は、前記第2の映像範囲に基づく複数の画像を格納した1つの静止画ファイルを生成することを特徴とする請求項11に記載の電子機器。
  13. 前記静止画ファイルのファイル名では、拡張子の手前に文字列“.vr”が記述されることを特徴とする請求項12に記載の電子機器。
  14. 前記記録手段は、前記第2の映像範囲に基づく複数の動画を並べた1つの動画ファイルを生成することを特徴とする請求項11乃至13のいずれか1項に記載の電子機器。
  15. 前記動画ファイルのファイル名では、拡張子の手前に文字列“.vr”が記述されることを特徴とする請求項14に記載の電子機器。
  16. 第1の画面において、VRコンテンツの第1の映像範囲を矩形に収めるフラット表示を行い、第2の画面において、矩形領域にフラット表示された前記VRコンテンツ上に、前記VRコンテンツから切り出される領域を示すインジケータを表示するように制御する表示制御ステップと、
    ユーザーからの切り出し範囲の設定指示に応じて前記第1の画面から前記第2の画面に切り替える切替ステップと、
    前記第2の画面において、第1の操作に応じて、前記インジケータをスクロールさせることなく、フラット表示された前記VRコンテンツを第1の方向にスクロールさせるとともに、当該スクロールに応じて、前記VRコンテンツのうち前記第1の方向へのスクロール量分の画像領域を、前記矩形領域のうち前記第1の方向とは反対方向の第2の方向の端から前記第1の方向に向かって順次表示させる、同一コンテンツの循環的スクロール表示を行い、
    前記第1の画面において、前記第1の操作があっても前記循環的スクロール表示は行わないように制御する制御ステップと、
    前記第2の画面において前記インジケータが示す領域に基づいて、前記VRコンテンツのうち前記第1の映像範囲よりも狭い第2の映像範囲を有する編集済VRコンテンツを生成する生成ステップと、
    を有することを特徴とする電子機器の制御方法。
  17. コンピュータを、請求項1乃至15のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
  18. コンピュータを、請求項1乃至15のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2018248299A 2018-12-28 2018-12-28 電子機器及びその制御方法 Active JP7187307B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018248299A JP7187307B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
US16/725,963 US10937217B2 (en) 2018-12-28 2019-12-23 Electronic device and control method thereof for generating edited VR content
CN201911367630.1A CN111381750B (zh) 2018-12-28 2019-12-26 电子装置及其控制方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018248299A JP7187307B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法

Publications (2)

Publication Number Publication Date
JP2020108112A JP2020108112A (ja) 2020-07-09
JP7187307B2 true JP7187307B2 (ja) 2022-12-12

Family

ID=71450973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018248299A Active JP7187307B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法

Country Status (1)

Country Link
JP (1) JP7187307B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116134437A (zh) * 2020-09-24 2023-05-16 Jvc建伍株式会社 存储装置、存储方法和程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176560A (ja) 2014-03-18 2015-10-05 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
US20180121069A1 (en) 2016-10-28 2018-05-03 Adobe Systems Incorporated Facilitating editing of virtual-reality content using a virtual-reality headset

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176560A (ja) 2014-03-18 2015-10-05 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
US20180121069A1 (en) 2016-10-28 2018-05-03 Adobe Systems Incorporated Facilitating editing of virtual-reality content using a virtual-reality headset

Also Published As

Publication number Publication date
JP2020108112A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP7005161B2 (ja) 電子機器及びその制御方法
US11683464B2 (en) Electronic device, control method, and non-transitorycomputer readable medium
US10979700B2 (en) Display control apparatus and control method
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
US11706378B2 (en) Electronic device and method of controlling electronic device
JP7187307B2 (ja) 電子機器及びその制御方法
US11100903B2 (en) Electronic device and control method for controlling a display range on a display
JP2021174317A (ja) 電子機器及びその制御方法
CN111381750B (zh) 电子装置及其控制方法和计算机可读存储介质
JP7005160B2 (ja) 電子機器及びその制御方法
JP7278773B2 (ja) 電子機器及びその制御方法
JP7313822B2 (ja) 電子機器、その制御方法、プログラム及び記憶媒体
JP7214475B2 (ja) 電子機器及びその制御方法
JP7204482B2 (ja) 電子機器及びその制御方法
JP7327938B2 (ja) 電子機器およびその制御方法およびプログラムおよび記憶媒体
JP7278774B2 (ja) 電子機器及びその制御方法
JP7208002B2 (ja) 電子機器及びその制御方法
US11558599B2 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium
JP2023125345A (ja) 電子機器、その制御方法およびプログラム
JP2020043387A (ja) 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
JP2020205554A (ja) 表示制御装置、その制御方法、プログラムおよび記憶媒体
JP2019184689A (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R151 Written notification of patent or utility model registration

Ref document number: 7187307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151