JP2019184689A - 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 - Google Patents

Abstract

【課題】高い没入感や臨場感などのために頭部に装置が装着されている状態で表示位置変更処理でない再生関連処理のための操作を可能にする。【解決手段】本発明の電子機器は、表示部の姿勢変化の検出結果を取得する取得手段と、画像の一部の範囲が表示範囲として前記表示部に表示されている場合に、検出された前記姿勢変化がピッチまたはヨーであるならば、当該姿勢変化に応じて前記表示範囲の位置を変更する第１処理を行い、前記検出された姿勢変化がロールであるならば、前記第１処理とは異なる前記画像の再生に関する第２処理を行う制御手段と、を有することを特徴とする。【選択図】図３

Description

本発明は、電子機器、電子機器の制御方法、プログラム、及び、記憶媒体に関し、特に、広範囲の映像範囲を有する画像を表示する制御方法に関するものである。

近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つ画像を撮影することが可能な撮像装置が普及している。また、このような広い範囲の映像を持つ画像の一部を表示部に表示し、装置の姿勢の変化に追従して表示部に表示する映像の範囲（表示範囲）の位置を変更することで、没入感や臨場感の高い表示を行う方法も知られている（特許文献１）。ユーザーは、その装置を頭部に装着することで、より高い没入感や臨場感を得ることができる。

特開２０１５−１２５５０２号公報

しかしながら、再生関連処理（再生に関する処理）は、装置の姿勢変化に応じて表示範囲の位置を変更する表示位置変更処理だけではない。そして、装置が頭部に装着されている場合には、ユーザーは、装置を頭部から外し、表示部の状態を操作可能な状態にしなければ、表示位置変更処理でない再生関連処理のための操作を行えず、利便性が悪い。

そこで本発明は、高い没入感や臨場感などのために頭部に装置が装着されている状態で表示位置変更処理でない再生関連処理のための操作を可能にする電子機器、電子機器の制御方法、プログラム、及び、記憶媒体を提供することを目的とする。

本発明の電子機器は、表示部の姿勢変化の検出結果を取得する取得手段と、画像の一部の範囲が表示範囲として前記表示部に表示されている場合に、検出された前記姿勢変化がピッチまたはヨーであるならば、当該姿勢変化に応じて前記表示範囲の位置を変更する第１処理を行い、前記検出された姿勢変化がロールであるならば、前記第１処理とは異なる前記画像の再生に関する第２処理を行う制御手段と、を有することを特徴とする。

本発明によれば、高い没入感や臨場感などのために頭部に装置が装着されている状態で表示位置変更処理でない再生関連処理のための操作が可能となる。

本実施形態に係る電子機器の構成の一例を示す図である。 本実施形態に係る回転方向の一例を示す図である。 本実施形態に係るＶＲ表示処理の一例を示すフローチャートである。 本実施形態に係る表示状態の一例を示す図である。 本実施形態に係る設定項目の一例を示す図である。 本実施形態に係る表示装置制御処理の一例を示すフローチャートである。

以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）に、本発明を適用可能な表示制御装置の一例としての電子機器１００の構成の一例を示す。電子機器１００は、スマートフォンなどの表示装置を用いて構成可能なものである。

図１（Ａ）において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、表示部１０５、操作部１０６、記憶媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、及び、通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して音声出力部１１２と姿勢検出部１１３も接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ１０１は、電子機器１００の全体を制御する制御部であり、少なくとも１つのプロセッサーからなる。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばフラッシュメモリやＲＯＭなどで構成される。

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記憶媒体１０８に格納された画像や、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像などに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

表示部１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ
Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、表示部１０５に表示するための映像信号を生成して表示部１０５に出力するように電子機器１００の各部を制御する。表示部１０５は出力された映像信号に基づいて映像を表示する。なお、電子機器１００自体が備える構成としては表示部１０５に表示させるための映像信号を出力するためのインターフェースまでとし、表示部１０５は外付けのモニタ（ヘッドマウント型ディスプレイなど）で構成してもよい。

操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示部１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記憶媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記憶媒体１０８が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記憶媒体１０８からのデータの読み出しや、当該記憶媒体１０８に対するデータの書き込みを行う。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１な
どと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

音声出力部１１２は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部１１２には、イヤホンなどを接続する音声出力端子１１２ａ、スピーカー１１２ｂが含まれるものとするが、無線通信などで音声出力を行ってもよい。

姿勢検出部１１３は、重力方向に対する電子機器１００（表示部１０５）の姿勢を検出（検知）する。姿勢検出部１１３で検出された姿勢に基づいて、電子機器１００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。この、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別することで、電子機器１００がロール方向に回転しているのか、ピッチ方向に回転しているのか、ヨー方向に回転しているのかなどを検出することができる。それぞれの回転方向に対しての回転角度を検出することもできる。姿勢検出部１１３としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサーなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。なお、表示部１０５が外付けのモニタである場合には、姿勢検出部１１３が表示部１０５に設けられ、姿勢検出部１１３の検出結果を取得するインターフェースが電子機器１００に設けられる。

なお操作部１０６には、タッチパネル１０６ａが含まれる。ＣＰＵ１０１はタッチパネル１０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル１０６ａにタッチしていなかった指やペンが新たにタッチパネル１０６ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）
・タッチパネル１０６ａを指やペンがタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）
・指やペンがタッチパネル１０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）
・タッチパネル１０６ａへタッチしていた指やペンがタッチパネル１０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）
・タッチパネル１０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル１０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいてタッチパネル１０６ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル１０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル１０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル１０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出さ
れるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル１０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

図１（Ｂ）に、電子機器１００の外観の一例を示す。表示部１０５は画像や各種情報を表示する。表示部１０５は上述した通りタッチパネル１０６ａと一体的に構成されており、表示部１０５の表示面へのタッチ操作を検出できるようになっている。操作部１０６には図示のように操作部１０６ｂ，１０６ｃ，１０６ｄ，１０６ｅが含まれる。操作部１０６ｂは電子機器１００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部１０６ｃと操作部１０６ｄは音声出力部１１２から出力する音声のボリュームを増減するボリュームボタンである。操作部１０６ｅは、表示部１０５にホーム画面を表示させるためのホームボタンである。

図１（Ｃ）に、電子機器１００を装着可能なＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルであるヘッドマウントアダプターの外観の一例を示す。電子機器１００は、ＶＲゴーグルに装着することで、ヘッドマウント型ディスプレイとして使用することも可能である。挿入口１２０は、電子機器１００を差し込むための挿入口である。表示部１０５の表示面を、ＶＲゴーグルをユーザーの頭部に固定するためのヘッドバンド１３０側（すなわちユーザー側）に向けて電子機器１００の全体をＶＲゴーグルに差し込むことができる。こうして電子機器１００が装着されたＶＲゴーグルを装着することにより、ユーザーはＶＲゴーグルを頭部に装着した状態で、ユーザーが手で電子機器１００を保持することなく、電子機器１００の表示部１０５を視認することができる。この場合、ユーザーが頭部または体全体を動かすと、電子機器１００の姿勢も変化する。姿勢検出部１１３はこの時の電子機器１００の姿勢の変化を検出し、この姿勢変化に基づいてＣＰＵ１０１が後述するＶＲ表示（ＶＲ表示処理）を行う。この場合に姿勢検出部１１３が電子機器１００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いている方向）を検出することと同等である。

電子機器１００は、ＶＲ画像（ＶＲコンテンツ）を表示部１０５においてＶＲ表示することが可能である。

ＶＲ画像とは、ＶＲ表示をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部１０５に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。また、カメラで撮影した画像に限らず、コンピュータグラフィックスス（ＣＧ）を用いて作成した画像であっても、ＶＲ表示可能なものはＶＲ画像（ＶＲコンテンツ）に含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部１０５に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野
分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１８０度（±９０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示すると、左右回転方向に姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示とは、ＶＲ画像のうち、姿勢検出部１１３で検出した電子機器１００の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。電子機器１００をＶＲゴーグルに装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、電子機器１００の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＶＲゴーグルに装着した電子機器１００を視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、電子機器１００に表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。ＶＲ表示のようなＶＲ画像の見せ方（視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供するＶＲ画像の見せ方）は、「ＶＲビュー」などと呼ばれる。

図２（Ａ）に、電子機器１００の回転方向の一例を示す。図２（Ａ）において、ｘ軸は電子機器１００の左右方向の軸であり、ｙ軸は電子機器１００の上下方向の軸であり、ｚ軸は電子機器１００の前後方向の軸である。電子機器１００の初期（基準）の姿勢は、例えば、ＶＲゴーグルを装着した人物が顔を正面に向けた状態での姿勢である。

図２（Ａ）に示すように、電子機器１００の回転には、ｘ軸まわりの回転である「ピッチ」、ｙ軸まわりの回転である「ヨー」、及び、ｚ軸まわりの回転である「ロール」がある。上述したピッチ方向は、ピッチの回転方向、すなわちｘ軸まわりの回転方向であり、ヨー方向は、ヨーの回転方向、すなわちｙ軸まわりの回転方向であり、ロール方向は、ロールの回転方向、すなわちｚ軸まわりの回転方向である。

例えば、ＶＲゴーグルを装着した人物が、顔を正面に向けた状態から上側や下側に顔を向けると、電子機器１００のピッチが生じる。ＶＲゴーグルを装着した人物が、顔を正面に向けた状態から左側や右側に顔を向けると、電子機器１００のヨーが生じる。ＶＲゴーグルを装着した人物が、顔を正面に向けた状態から左側や右側に首を傾けると、電子機器１００のロールが生じる。本実施例では、左回りのロールを「左ロール」と記載し、右回りのロールを「右ロール」と記載する。

図２（Ｂ）〜２（Ｄ）に、ＶＲ空間の回転方向の一例を示す。図２（Ｂ）〜２（Ｄ）において、Ｘ軸はＶＲ空間の左右方向の軸であり、Ｙ軸はＶＲ空間の上下方向の軸であり、Ｚ軸はＶＲ空間の前後方向の軸である。ＶＲ空間の回転にも、Ｘ軸まわりの回転である「ピッチ」（図２（Ｂ））、Ｙ軸まわりの回転である「ヨー」（図２（Ｃ））、及び、Ｚ軸まわりの回転である「ロール」（図２（Ｄ））がある。

ＶＲ空間における電子機器１００の向きを固定として考えると、電子機器１００のピッチに応じて、電子機器１００のピッチ方向とは逆方向のピッチがＶＲ空間に生じる。電子機器１００のヨーに応じて、電子機器１００のヨー方向とは逆方向のヨーがＶＲ空間に生じる。電子機器１００のロールに応じて、電子機器１００のロール方向とは逆方向のロールがＶＲ空間に生じる。例えば、電子機器１００の右ロールが生じると、ＶＲ空間の左ロールが生じる。

図３に、電子機器１００で行われるＶＲ表示処理のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現される。電子機器１００の電源がオンされ、記憶媒体１０８に記録された画像や、通信先から取得した画像のうち、ＶＲ画像が選択され、ＶＲ画像の一部の範囲がＶＲビューで表示されると、図３の処理が開始される。なお、表示される画像はＶＲ画像でなくてもよい。画像の一部の範囲が表示範囲として表示部１０５に表示されれば、画像の一部の範囲はＶＲビューで表示されなくてもよい。

ステップＳ３０１では、ＣＰＵ１０１は、メモリ１０２に格納されている各パラメータ（各判定に使用する各パラメータ）を０に初期化する。本実施例では、ＣＰＵ１０１は、所定の時間間隔で、電子機器１００の状態が、ピッチ状態、ヨー状態、第１左ロール状態、第２左ロール状態、第１右ロール状態、第２右ロール状態、及び、停止状態のいずれであるかを判断する。そして、ステップＳ３０１では、ピッチ状態カウント値、ヨー状態カウント値、第１左ロール状態カウント値、第２左ロール状態カウント値、第１右ロール状態カウント値、及び、第２右ロール状態カウント値が、０に初期化される。

ピッチ状態は、ピッチ方向に電子機器１００が第２の角度以上回転するピッチが生じた後の状態であり、例えば、ＶＲゴーグルを装着した人物が上側に顔を向けた状態、ＶＲゴーグルを装着した人物が下側に顔を向けた状態、等である。ヨー状態は、ヨー方向に電子機器１００が第２の角度以上回転するヨーが生じた後の状態であり、例えば、ＶＲゴーグルを装着した人物が左側に顔を向けた状態、ＶＲゴーグルを装着した人物が右側に顔を向けた状態、等である。第１左ロール状態は、回転角度が第１の角度以上かつ第３の角度未満である左ロールが生じた後の状態であり、第２左ロール状態は、回転角度が第３の角度以上である左ロールが生じた後の状態である。第１左ロール状態と第２左ロール状態は、例えば、ＶＲゴーグルを装着した人物が左側に首を傾けた状態である。第１右ロール状態は、回転角度が第１の角度以上かつ第３の角度未満である右ロールが生じた後の状態であり、第２右ロール状態は、回転角度が第３の角度以上である右ロールが生じた後の状態である。第１右ロール状態と第２右ロール状態は、例えば、ＶＲゴーグルを装着した人物が右側に首を傾けた状態である。停止状態は、ピッチ状態、ヨー状態、第１左ロール状態、第２左ロール状態、第１右ロール状態、及び、第２右ロール状態とは異なる状態であり、例えば、ＶＲゴーグルを装着した人物が正面に顔を向けた状態である。

本実施例では、第２の角度として第１の角度よりも小さい角度が使用される。これにより、第１左ロール状態、第２左ロール状態、第１右ロール状態、及び、第２右ロール状態に比べ、ピッチ状態とヨー状態が判断されやすくなる。

ピッチ状態カウント値は、ピッチ状態の継続時間を示すカウント値であり、ヨー状態カウント値は、ヨー状態の継続時間を示すカウント値である。第１左ロール状態カウント値は、第１左ロール状態の継続時間を示すカウント値であり、第２左ロール状態カウント値は、第２左ロール状態の継続時間を示すカウント値である。第１右ロール状態カウント値は、第１右ロール状態の継続時間を示すカウント値であり、第２右ロール状態カウント値は、第２右ロール状態の継続時間を示すカウント値である。

ステップＳ３０２では、ＣＰＵ１０１は、表示されるＶＲ画像が動画（ＶＲ動画）か否かを判定する。ＶＲ動画と判定された場合はステップＳ３０３へ進み、そうでない場合（ＶＲ静止画と判定された場合）はステップＳ３０４へ進む。

ステップＳ３０３やステップＳ３０４では、ＣＰＵ１０１は、複数の再生関連処理（ＶＲ画像４００の再生に関する処理）のうち、表示位置変更処理とは異なる処理に関する表示アイテムを、表示部１０５に表示する。具体的には、ステップＳ３０３では、ＣＰＵ１０１は、動画用設定項目の表示アイテムを表示部１０５に表示する。ステップＳ３０４では、ＣＰＵ１０１は、静止画用設定項目の表示アイテムを表示部１０５に表示する。

図４（Ａ）に、ステップＳ３０３またはステップＳ３０４の後の表示部１０５の表示状態の一例を示す。表示部１０５には、ＶＲ画像４００が表示されており、ＶＲ画像４００上に表示アイテム４０１〜４０６が表示されている。表示アイテム４０１，４０２は、ロール方向における電子機器１００の回転角度（ロール角度）を示すゲージ４０７が表示されるインジケータである。表示アイテム４０３〜４０６は、表示位置変更処理とは異なる再生関連処理の設定項目を示すアイテムである。

図５（Ａ）に、動画用設定項目の一例を示す。図５（Ａ）の例では、ステップＳ３０３の処理により、図４（Ａ）の表示アイテム４０４として、ＶＲ動画の停止を示すアイテムが表示され、表示アイテム４０６として、ＶＲ動画の再生を示すアイテムが表示される。表示アイテム４０３として、ＶＲ動画の早戻しを示すアイテムが表示され、表示アイテム４０５として、ＶＲ動画の早送りを示すアイテムが表示される。

図５（Ｂ）に、静止画用設定項目の一例を示す。図５（Ｂ）の例では、ステップＳ３０４の処理により、図４（Ａ）の表示アイテム４０４として、ＶＲ静止画の縮小と、複数のＶＲ静止画を並べて表示するマルチ再生とを示すアイテムが表示される。表示アイテム４０６として、ＶＲ静止画の拡大と、１枚のＶＲ静止画を表示する１枚再生とを示すアイテムが表示される。表示アイテム４０３として、表示されるＶＲ静止画を前のＶＲ静止画に切り替える画像戻しを示すアイテムが表示され、表示アイテム４０５として、表示されるＶＲ静止画を次のＶＲ静止画に切り替える画像送りを示すアイテムが表示される。

ステップＳ３０５では、ＣＰＵ１０１は、姿勢検出部１１３によって検出された電子機器１００のロール角度に応じて、図４（Ａ）のゲージ４０７をインジケータ４０１またはインジケータ４０２に表示する。左ロール状態（左ロールが生じた後の状態）ではインジケータ４０１にゲージ４０７が表示され、右ロール状態（右ロールが生じた後の状態）ではインジケータ４０２にゲージ４０７が表示される。ゲージ４０７は、ロール角度が大きいほど高い高さで表示される。電子機器１００の初期の姿勢（ロール角度０°）では、ゲージ４０７は表示されない。ロール角度が５０°のときに、ゲージ４０７の高さは最大となる。

ステップＳ３０６では、ＣＰＵ１０１は、姿勢検出部１１３の検出結果に基づいて電子機器１００の状態を判断する。電子機器１００の状態が、ピッチ状態、ヨー状態、第１左ロール状態、第２左ロール状態、第１右ロール状態、第２右ロール状態、及び、停止状態のいずれであるかが判断される。

ステップＳ３０７では、ＣＰＵ１０１は、ステップＳ３０６の判断結果に応じて、電子機器１００の状態がピッチ状態またはヨー状態であるか否かを判定する。ピッチ状態またはヨー状態と判定された場合はステップＳ３０８へ進み、そうでない場合はステップＳ３１２へ進む。

ステップＳ３０８では、ＣＰＵ１０１は、ロール状態カウント値（第１左ロール状態カウント値、第２左ロール状態カウント値、第１右ロール状態カウント値、及び、第２右ロール状態カウント値）を０にクリアする。

ステップＳ３０９では、ＣＰＵ１０１は、Ｓ６２６にて、ピッチ状態カウント値またはヨー状態カウント値を１つカウントアップする。電子機器１００の状態がピッチ状態である場合にはピッチ状態カウント値がカウントアップされ、電子機器１００の状態がヨー状態である場合にはヨー状態カウント値がカウントアップされる。

ステップＳ３１０では、ＣＰＵ１０１は、ステップＳ３０９でカウントアップしたカウント値（ピッチ状態カウント値またはヨー状態カウント値）が第１の閾値以上であるか否かを判定する。カウント値が第１の閾値以上であると判定された場合はステップＳ３１１へ進み、そうでない場合はステップＳ３０５へ進む。したがって、ピッチ状態またはヨー状態の継続時間が第１の閾値時間に達すると、ステップＳ３１１へ進む。

ステップＳ３１１では、ＣＰＵ１０１は、電子機器１００の姿勢変化に応じてＶＲ画像の表示範囲の位置を変更する表示位置変更処理を行う。

ステップＳ３０７でピッチ状態またはヨー状態と判定されなかった場合には、ステップＳ３１２で、ＣＰＵ１０１は、ピッチ状態カウント値とヨー状態カウント値を０にクリアする。

ステップＳ３１３では、ＣＰＵ１０１は、ステップＳ３０６の判断結果に応じて、電子機器１００の状態が、回転角度が第１の角度以上であるロール状態であるか否かを判定する。回転角度が第１の角度以上であるロール状態（第１左ロール状態、第２左ロール状態、第１右ロール状態、または、第２右ロール状態）と判定された場合はステップＳ３１４へ進み、そうでない場合（停止状態と判定された場合）はステップＳ３１５へ進む。第１の角度は例えば１５°である。

ステップＳ３１４では、ＣＰＵ１０１は、表示装置制御処理を行う。表示装置制御処理については後述する。

ステップＳ３１５では、ＣＰＵ１０１は、ロール状態カウント値（第１左ロール状態カウント値、第２左ロール状態カウント値、第１右ロール状態カウント値、及び、第２右ロール状態カウント値）を０にクリアする。

図６に、表示装置制御処理（図３のステップＳ３１４）のフローチャートを示す。

ステップＳ６０１では、ＣＰＵ１０１は、図３のステップＳ３０６の判断結果に応じて、電子機器１００の状態が、回転角度が第１の角度以上である右ロール状態であるか否かを判定する。回転角度が第１の角度以上である右ロール状態（第１右ロール状態または第２右ロール状態）と判定された場合はステップＳ６０２へ進み、そうでない場合（第１左ロール状態または第２左ロール状態と判定された場合）はステップＳ６１２へ進む。

ステップＳ６０２では、ＣＰＵ１０１は、第１左ロール状態カウント値と第２左ロール状態カウント値を０にクリアする。

ステップＳ６０３では、ＣＰＵ１０１は、図３のステップＳ３０６の判断結果に応じて、電子機器１００のロール角度が第３の角度未満か否かを判定する。すなわち、ＣＰＵ１０１は、電子機器１００の状態が第１右ロール状態であるか否かを判定する。ロール角度
が第３の角度未満と判定された場合（電子機器１００の状態が第１右ロール状態である場合）はステップＳ６０４へ進み、そうでない場合（電子機器１００の状態が第２右ロール状態である場合）はステップＳ６０８へ進む。第３の角度は例えば３０°である。

ステップＳ６０４では、ＣＰＵ１０１は、第２右ロール状態カウント値を０にクリアする。

ステップＳ６０５では、ＣＰＵ１０１は、第１右ロール状態カウント値を１つカウントアップする。

ステップＳ６０６では、ＣＰＵ１０１は、第１右ロール状態カウント値が第２の閾値以上であるか否かを判定する。第１右ロール状態カウント値が第２の閾値以上であると判定された場合はステップＳ６０７へ進み、そうでない場合は図３のステップＳ３０５へ進む。したがって、第１右ロール状態の継続時間が第２の閾値時間に達すると、ステップＳ６０７へ進む。

ステップＳ６０７では、ＣＰＵ１０１は、第１右ロール状態に対応する設定項目の再生関連処理を行う。ここでは、図５（Ａ），５（Ｂ）の設定項目が使用されるとする。ＶＲ動画の場合は再生が行われ、ＶＲ静止画の場合は画像送りが行われる。

本実施例では、ロール状態カウント値の閾値（ステップＳ６０６などで使用される第２の閾値）として、ピッチ状態カウント値やヨー状態カウント値の閾値（ステップＳ３１０で使用される第１の閾値）よりも大きい値が使用される。これにより、ＣＰＵ１０１は、設定項目の選択における反応速度よりも速い反応速度で、表示範囲の位置の変更、マルチ表示（マルチ再生）されている画像の選択、等を行える。また、設定項目の誤選択（意図せぬ選択）などの誤動作を抑制することもできる。

ステップＳ６０３でロール角度が第３の角度以上（電子機器１００の状態が第２右ロール状態である）と判定された場合には、ステップＳ６０８で、ＣＰＵ１０１は、第１右ロール状態カウント値を０にクリアする。

ステップＳ６０９では、ＣＰＵ１０１は、第２右ロール状態カウント値を１つカウントアップする。

ステップＳ６１０では、ＣＰＵ１０１は、第２右ロール状態カウント値が第２の閾値以上であるか否かを判定する。第２右ロール状態カウント値が第２の閾値以上であると判定された場合はステップＳ６１１へ進み、そうでない場合は図３のステップＳ３０５へ進む。したがって、第２右ロール状態の継続時間が第２の閾値時間に達すると、ステップＳ６１１へ進む。

ステップＳ６１１では、ＣＰＵ１０１は、第２右ロール状態に対応する設定項目の再生関連処理を行う。ＶＲ動画の場合は早送りが行われ、ＶＲ静止画の場合は拡大／１枚再生が行われる。このとき、表示部１０５の表示状態は図４（Ｂ）に示す状態となる。図４（Ｂ）では、ゲージ４０７がインジケータ４０２に表示されており、表示アイテム４０５の位置に達している。このような表示状態から、ユーザーは、早送り、拡大、１枚再生、等が行われることを直感的に把握できる。

ステップＳ６０１で右ロール状態と判定されなかった場合（第１左ロール状態または第２左ロール状態と判定された場合）は、ステップＳ６１２で、ＣＰＵ１０１は、第１右ロール状態カウント値と第２右ロール状態カウント値を０にクリアする。

ステップＳ６１３では、ＣＰＵ１０１は、図３のステップＳ３０６の判断結果に応じて、電子機器１００のロール角度が第３の角度未満か否かを判定する。すなわち、ＣＰＵ１０１は、電子機器１００の状態が第１左ロール状態であるか否かを判定する。ロール角度が第３の角度未満と判定された場合（電子機器１００の状態が第１左ロール状態である場合）はステップＳ６１４へ進み、そうでない場合（電子機器１００の状態が第２左ロール状態である場合）はステップＳ６１８へ進む。

ステップＳ６１４では、ＣＰＵ１０１は、第２左ロール状態カウント値を０にクリアする。

ステップＳ６１５では、ＣＰＵ１０１は、第１左ロール状態カウント値を１つカウントアップする。

ステップＳ６１６では、ＣＰＵ１０１は、第１左ロール状態カウント値が第２の閾値以上であるか否かを判定する。第１左ロール状態カウント値が第２の閾値以上であると判定された場合はステップＳ６１７へ進み、そうでない場合は図３のステップＳ３０５へ進む。したがって、第１左ロール状態の継続時間が第２の閾値時間に達すると、ステップＳ６１７へ進む。

ステップＳ６１７では、ＣＰＵ１０１は、第１左ロール状態に対応する設定項目の再生関連処理を行う。ＶＲ動画の場合は停止が行われ、ＶＲ静止画の場合は画像戻しが行われる。

ステップＳ６１３でロール角度が第３の角度以上（電子機器１００の状態が第２左ロール状態である）と判定された場合には、ステップＳ６１８で、ＣＰＵ１０１は、第１左ロール状態カウント値を０にクリアする。

ステップＳ６１９では、ＣＰＵ１０１は、第２左ロール状態カウント値を１つカウントアップする。

ステップＳ６２０では、ＣＰＵ１０１は、第２左ロール状態カウント値が第２の閾値以上であるか否かを判定する。第２左ロール状態カウント値が第２の閾値以上であると判定された場合はステップＳ６２１へ進み、そうでない場合は図３のステップＳ３０５へ進む。したがって、第２左ロール状態の継続時間が第２の閾値時間に達すると、ステップＳ６２１へ進む。

ステップＳ６２１では、ＣＰＵ１０１は、第２左ロール状態に対応する設定項目の再生関連処理を行う。ＶＲ動画の場合は早戻しが行われ、ＶＲ静止画の場合は縮小／マルチ再生が行われる。このとき、表示部１０５の表示状態は図４（Ｃ）に示す状態となる。図４（Ｃ）では、ゲージ４０７がインジケータ４０１に表示されており、表示アイテム４０３の位置に達している。このような表示状態から、ユーザーは、早戻し、縮小、マルチ再生、等が行われることを直感的に把握できる。

以上述べたように、本実施形態によれば、画像の一部の範囲が表示範囲として表示部に表示されている場合に、検出された姿勢変化がピッチまたはヨーであるならば、当該姿勢変化に応じて表示範囲の位置を変更する表示位置変更処理が行われる。そして、検出された姿勢変化がロールであるならば、表示位置変更処理とは異なる再生関連処理が行われる。これにより、高い没入感や臨場感などのために頭部に装置（表示部）が装着されている状態で再生に関する操作が可能となる。

なお、ＣＰＵ１０１が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

ロールに応じて実行される再生関連処理（表示される設定項目）は、電子機器１００に予め登録された固定の処理であってもよいし、任意に変更可能であってもよい。再生、停止、早送り、早戻し、拡大、縮小、１枚再生、マルチ再生、画像送り、及び、画像戻しとは異なる再生関連処理がロールに応じて行われてもよい。例えば、表示される動画を次のファイルの動画に切り替えるファイル送り、表示される動画を前のファイルの動画に切り替えるファイル戻し、等がロールに応じて実行されてもよい。

第１の閾値（第１の閾値時間）が第２の閾値（第２の閾値時間）よりも小さい例を説明したが、第１の閾値は第２の閾値と等しくてもよいし、第２の閾値より大きくてもよい。第１の閾値と第２の閾値は０より大きければよい。第２の角度が第１の角度よりも小さい例を説明したが、第２の角度は第１の角度と等しくてもよいし、第１の角度より大きくてもよい。第１の角度と第２の角度は０より大きければよい。

ロールが生じた場合に表示範囲の位置が変更されない例を説明したが、ＣＰＵ１０１は、ロールが生じた場合に表示位置変更処理を行ってもよい。ピッチ状態とヨー状態においてロール状態が検出されず、表示位置変更処理とは異なる再生関連処理が行われない例を説明したが、ピッチ状態とヨー状態においてロール状態が検出されてもよい。そして、ピッチ状態とヨー状態においてロール状態が検出された場合に、表示位置変更処理とは異なる再生関連処理が行われてもよい。

右ロール状態が検出された場合に、再生関連処理として、左ロール状態が検出された場合とは異なる処理が行われる例を説明したが、右ロール状態が検出された場合と、左ロール状態が検出された場合とで、再生関連処理が同じであってもよい。回転角度が第３の角度未満のロールが検出された場合に、再生関連処理として、回転角度が第３の角度以上のロールが検出された場合とは異なる処理が行われる例を説明したが、これに限られない。第３の角度未満のロールが検出された場合と、回転角度が第３の角度以上のロールが検出された場合とで、再生関連処理が同じであってもよい。

表示位置変更処理とは異なる再生関連処理に関する表示アイテムを表示するタイミングは、上述したタイミング（図３のステップＳ３０３やステップＳ３０４）に限られない。例えば、ＣＰＵ１０１は、ロール状態が検出された場合に、表示位置変更処理とは異なる再生関連処理に関する表示アイテムを表示部１０５に表示する制御を行ってもよい。ＣＰＵ１０１は、表示アイテムが表示されていない状態でロール状態が検出された場合に表示アイテムを表示する制御を行い、表示アイテムが表示されている状態でロール状態が検出された場合に表示位置変更処理とは異なる再生関連処理を行ってもよい。ＣＰＵ１０１は、ロール状態が検出された場合にである場合に、表示アイテムを表示する制御を行うと共に、表示位置変更処理とは異なる再生関連処理を行ってもよい。

電子機器１００は、電子機器１００（表示部１０５）の移動の検出結果を取得してもよい。そして、ＣＰＵ１０１は、所定方向（前方向、後方向、右方向、左方向、等）のスラ
イド移動が検出された場合に、表示位置変更処理とは異なる再生関連処理を行ってもよい。例えば、ＶＲゴーグルを装着した人物が前、後、左、または、右に移動すると、電子機器１００のスライド移動として、人物の移動方向と同じ方向のスライド移動が検出される。

また、上述した実施形態においては、本発明をスマートフォンなどの電子機器１００に適用した場合を例にして説明したが、これはこの例に限定されず画像の一部分を表示するように制御することが可能である電子機器であれば適用可能である。もちろん、スマートフォンではなく、ヘッドマウント型ディスプレイ（ＨＭＤ）に適用することも可能である。また、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレームなどに適用可能である。また、本発明は音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：電子機器 １０１：ＣＰＵ １１３：姿勢検出部

Claims (19)

1. 表示部の姿勢変化の検出結果を取得する取得手段と、
   画像の一部の範囲が表示範囲として前記表示部に表示されている場合に、検出された前記姿勢変化がピッチまたはヨーであるならば、当該姿勢変化に応じて前記表示範囲の位置を変更する第１処理を行い、前記検出された姿勢変化がロールであるならば、前記第１処理とは異なる前記画像の再生に関する第２処理を行う制御手段と、
   を有することを特徴とする電子機器。
2. 前記画像の一部の範囲が表示範囲として前記表示部に表示されている場合とは、前記画像の一部の範囲がＶＲビューで表示されている場合である
   ことを特徴とする請求項１に記載の電子機器。
3. 前記第２処理は、静止画の画像送り、静止画の画像戻し、静止画の拡大、静止画の縮小、動画のファイル送り、動画のファイル戻し、動画の早送り、動画の早戻し、動画の再生、または、動画の停止である
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記制御手段は、前記検出された姿勢変化がロールである場合に、前記表示範囲の位置を変更しない
   ことを特徴とする請求項１〜３のいずれか１項に記載の電子機器。
5. 前記制御手段は、前記ピッチまたは前記ヨーの後の状態の継続時間が第１の時間に達した場合に前記第１処理を行い、前記ロールの後の状態の継続時間が第２の時間に達した場合に前記第２処理を行い、
   前記第１の時間は前記第２の時間よりも短い
   ことを特徴とする請求項１〜４のいずれか１項に記載の電子機器。
6. 前記ロールは、対応する方向に前記表示部が第１の角度以上回転する姿勢変化であり、
   前記ピッチまたは前記ヨーは、対応する方向に前記表示部が前記第１の角度よりも小さい第２の角度以上回転する姿勢変化である
   ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
7. 前記ピッチまたは前記ヨーが検出されている場合に、前記ロールは検出されない
   ことを特徴とする請求項１〜６のいずれか１項に記載の電子機器。
8. 前記制御手段は、前記ピッチまたは前記ヨーが検出されている場合に、前記第２処理を行わない
   ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
9. 前記第２処理は任意に変更可能である
   ことを特徴とする請求項１〜８のいずれか１項に記載の電子機器。
10. 前記制御手段は、前記検出された姿勢変化が第１の方向へのロールである場合に、前記第２処理として、前記検出された姿勢変化が前記第１の方向の逆方向である第２の方向へのロールである場合とは異なる処理を行う
    ことを特徴とする請求項１〜９のいずれか１項に記載の電子機器。
11. 前記制御手段は、回転角度が第３の角度未満のロールが前記姿勢変化として検出された場合に、前記第２処理として、回転角度が前記第３の角度以上のロールが前記姿勢変化と
    して検出された場合とは異なる処理を行う
    ことを特徴とする請求項１〜１０のいずれか１項に記載の電子機器。
12. 前記検出された姿勢変化がロールである場合に、前記制御手段は、前記第２処理に関する表示アイテムを前記表示部に表示する制御を行う
    ことを特徴とする請求項１〜１１のいずれか１項に記載の電子機器。
13. 前記制御手段は、
    前記表示アイテムが前記表示部に表示されていない状態で前記ロールが検出された場合に、前記表示アイテムを前記表示部に表示する制御を行い、
    前記表示アイテムが前記表示部に表示されている状態で前記ロールが検出された場合に、前記第２処理を行う
    ことを特徴とする請求項１２に記載の電子機器。
14. 前記制御手段は、前記検出された姿勢変化がロールである場合に、前記表示アイテムを前記表示部に表示する制御を行うと共に、前記第２処理を行う
    ことを特徴とする請求項１２に記載の電子機器。
15. 前記表示部は、ヘッドマウント型ディスプレイである
    ことを特徴とする請求項１〜１４のいずれか１項に記載の電子機器。
16. 前記電子機器は、前記表示部を有するヘッドマウント型ディスプレイである
    ことを特徴とする請求項１〜１２のいずれか１項に記載の電子機器。
17. 表示部の姿勢変化の検出結果を取得するステップと、
    画像の一部の範囲が表示範囲として前記表示部に表示されている場合に、検出された前記姿勢変化がピッチまたはヨーであるならば、当該姿勢変化に応じて前記表示範囲の位置を変更する第１処理を行い、前記検出された姿勢変化がロールであるならば、前記第１処理とは異なる前記画像の再生に関する第２処理を行うステップと、
    を有することを特徴とする電子機器の制御方法。
18. コンピュータを、請求項１〜１６のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
19. コンピュータを、請求項１〜１６のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images