JP2022129799A - Display control program, display control method, and display apparatus - Google Patents
Display control program, display control method, and display apparatus Download PDFInfo
- Publication number
- JP2022129799A JP2022129799A JP2021028625A JP2021028625A JP2022129799A JP 2022129799 A JP2022129799 A JP 2022129799A JP 2021028625 A JP2021028625 A JP 2021028625A JP 2021028625 A JP2021028625 A JP 2021028625A JP 2022129799 A JP2022129799 A JP 2022129799A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- target image
- display control
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御プログラム、表示制御方法および表示装置に関する。 The present invention relates to a display control program, a display control method, and a display device.
360°の水平方向の画像と天頂方向の画像を一体化した全天球画像を撮像できるカメラが知られている(例えば、特許文献1参照)。 2. Description of the Related Art A camera capable of capturing an omnidirectional image that integrates a 360° horizontal image and a zenith image is known (see, for example, Patent Document 1).
全天球画像は、人の視野とは大きく異なる範囲を捉えた画像であるので、通常の画角の画像とは異なり、そのまま全体を表示しようとすると大きく歪んでしまう。このような全体を表示する表示画像は、複数の撮像画像を一覧するサムネイル表示には適するものの、観賞するための一画像表示には適さない。一画像表示においては、全天球画像の一部が切り出されて人の視野に近い形で表示される。すなわち、ユーザが画像空間を把握しやすいように表示される。ユーザは、そのように表示された表示画面を操作することにより、表示される部分画像を観賞したい方向へ移動させたり、拡大縮小させたりすることができる。 A omnidirectional image is an image that captures a range that is significantly different from the human field of view. Therefore, unlike an image with a normal angle of view, if the entire image is displayed as it is, it will be greatly distorted. Such a display image that displays the whole image is suitable for thumbnail display of a list of a plurality of captured images, but is not suitable for one-image display for viewing. In one-image display, a part of the omnidirectional image is cut out and displayed in a form close to the human visual field. That is, it is displayed so that the user can easily grasp the image space. By operating the display screen displayed in this way, the user can move the displayed partial image in a desired viewing direction, or enlarge or reduce the image.
このようなサムネイル表示と一画像表示を採用すると、特定の全天球画像を観賞する場合には、サムネイル表示から当該特定画像を選択して一画像表示に切り替えるという作業がその都度必要となる。すなわち、全天球画像を連続して観賞する場合には、一旦サムネイル表示に戻る操作と、サムネイル表示で次の画像を選択する操作が必要となり、操作感としては快適とは言い難かった。 If such thumbnail display and single-image display are adopted, each time a specific omnidirectional image is to be viewed, it is necessary to select the specific image from the thumbnail display and switch to the single-image display. That is, when viewing omnidirectional images consecutively, it is necessary to perform an operation to temporarily return to the thumbnail display and an operation to select the next image in the thumbnail display.
本発明は、このような問題を解決するためになされたものであり、全天球画像を連続して快適に観賞できる直感的なユーザインタフェースを提供するものである。 SUMMARY OF THE INVENTION The present invention has been made to solve such problems, and provides an intuitive user interface that allows continuous and comfortable viewing of omnidirectional images.
本発明の第1の態様における表示制御プログラムは、選択可能な複数の全天球画像のうち選択された対象画像の少なくとも一部を切り出して生成した画像である第1画像を表示器の第1表示領域に表示し、対象画像の一部を水平方向へ沿って切り出して生成した画像である第2画像を表示器の第2表示領域に表示する表示ステップと、表示器に重畳して設けられたタッチセンサにより、第2表示領域でユーザの水平方向へ沿った接触操作を受け付けた場合に、複数の全天球画像のうち対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する更新ステップとをコンピュータに実行させる。 A display control program according to a first aspect of the present invention displays a first image, which is an image generated by cutting out at least a part of a target image selected from among a plurality of selectable omnidirectional images, on a display device. a display step of displaying a second image, which is an image generated by cutting out a portion of the target image along the horizontal direction, in the display area, and displaying the second image in the second display area of the display; one of the omnidirectional images ordered before or after the target image among the plurality of omnidirectional images when the user's contact operation along the horizontal direction is received in the second display area by the touch sensor. to the newly selected target image.
本発明の第2の態様における表示制御方法は、選択可能な複数の全天球画像のうち選択された対象画像の少なくとも一部を切り出して生成した画像である第1画像を表示器の第1表示領域に表示し、対象画像の一部を水平方向へ沿って切り出して生成した画像である第2画像を表示器の第2表示領域に表示する表示ステップと、表示器に重畳して設けられたタッチセンサにより、第2表示領域でユーザの水平方向へ沿った接触操作を受け付けた場合に、複数の全天球画像のうち対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する更新ステップとを有する。 A display control method according to a second aspect of the present invention provides a first image generated by cutting out at least a part of a target image selected from among a plurality of selectable omnidirectional images. a display step of displaying a second image, which is an image generated by cutting out a portion of the target image along the horizontal direction, in the display area, and displaying the second image in the second display area of the display; one of the omnidirectional images ordered before or after the target image among the plurality of omnidirectional images when the user's contact operation along the horizontal direction is received in the second display area by the touch sensor. to the newly selected target image.
本発明の第3の態様における表示装置は、選択可能な複数の全天球画像のうち選択された対象画像の少なくとも一部を切り出して生成した画像である第1画像を表示器の第1表示領域に表示し、対象画像の一部を水平方向へ沿って切り出して生成した画像である第2画像を表示器の第2表示領域に表示する表示制御部と、表示器に重畳して設けられたタッチセンサと、タッチセンサにより、第2表示領域でユーザの水平方向へ沿った接触操作を受け付けた場合に、複数の全天球画像のうち対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する更新部とを備える。 A display device according to a third aspect of the present invention displays a first image, which is an image generated by cutting out at least part of a target image selected from among a plurality of selectable omnidirectional images, on a display device. a display control unit for displaying a second image, which is an image generated by cutting out a part of the target image along the horizontal direction, in the second display area of the display, and superimposed on the display. and an omnidirectional image that is ordered before and after the target image among the plurality of omnidirectional images when the touch sensor receives a user's contact operation along the horizontal direction in the second display area. an updating unit for updating any of the images to the newly selected target image.
本発明により、全天球画像を連続して快適に観賞できる直感的なユーザインタフェースを提供することができる。 According to the present invention, it is possible to provide an intuitive user interface that allows continuous and comfortable viewing of omnidirectional images.
以下、添付図面を参照して本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。なお、各図において、同一又は同様の構成を有する要素が複数存在する場合には、煩雑となることを回避するため、一部に符号を付し、他に同一符号を付すことを省く場合がある。 Hereinafter, the present invention will be described with reference to the accompanying drawings, but the invention according to the scope of claims is not limited to the following embodiments. Moreover, not all the configurations described in the embodiments are essential as means for solving the problems. In addition, in each figure, when there are multiple elements having the same or similar configuration, in order to avoid complication, there are cases where the same reference numerals are attached to some and the same reference numerals are omitted. be.
図1は、全天球カメラ500が全天球画像を撮像する様子を説明する図である。全天球カメラ500は、ユーザが把持するグリップ部の上部に複数の撮像ユニットを内蔵するカメラ部を備える。ユーザがグリップ部を鉛直方向に把持したときに赤道方向となる水平方向に向けて配置された複数の撮像ユニットが、赤道方向に沿った360°の画像を撮像し、天頂方向となる垂直方向に向けて配置された撮像ユニットが、天頂方向の画像を撮像する。全天球カメラ500は、それぞれの撮像ユニットで撮像した画像を繋ぎ合わせて、全天球画像データを生成する。なお、全天球画像は、全天球カメラの撮像ユニットの構成に依存するので、天頂方向、地面方向の一部が欠けた画像であっても構わない。図の例は、地面方向の一部が欠けている様子を示す。
FIG. 1 is a diagram illustrating how an
図2は、全天球画像の画像データが送受信される経路を説明する図である。全天球カメラ500で生成された全天球画像データは、インタネット等であるネットワーク700を介して画像サーバ600へ転送され、画像サーバ600の記憶装置に記憶される。ユーザ端末であるスマートフォン100は、画像サーバ600からネットワーク700を介して全天球画像データを取得する。あるいは、近接通信により全天球カメラ500から直接的に取得する。
FIG. 2 is a diagram illustrating a route through which image data of an omnidirectional image is transmitted and received. The omnidirectional image data generated by the
ユーザは、スマートフォン100にインストールされた表示アプリ(表示制御プログラム)を使って、取得した全天球画像データを視認可能な画像に展開させ、表示パネル120に表示させることができる。表示パネル120にはタッチパネル130が重畳されており、ユーザは、表示パネルの表面を指やタッチペンで接触操作することにより、様々な態様で全天球画像を観賞することができる。
The user can use a display application (display control program) installed in the
なお、本実施形態においては全天球画像を表示する表示装置の例としてスマートフォン100を用いて説明するが、表示装置はこれに限らず、タブレット端末等の他のデバイスであっても構わない。表示パネルにタッチデバイスが重畳されている表示器を備えるのであれば、携帯端末に限らず、据え置き型のPC等であっても構わない。
In this embodiment, the
図3は、全天球画像の表示に関するスマートフォン100のシステム構成図である。スマートフォン100は、全天球画像を表示するシステム構成として主に、演算処理部110、表示パネル120、タッチパネル130、入出力IF140、記憶部150を備える。演算処理部110は、スマートフォン100の制御と演算処理を実行するプロセッサ(CPU:Central Processing Unit)である。演算処理部110は、GPU(Graphic Processing Unit)やASIC(Application Specific Integrated Circuit)等の演算処理チップや、各種電気信号を処理する処理回路を含む構成であってもよい。演算処理部110は、記憶部150から読み出される、あるいは入出力IF140を介して外部機器から与えられる表示制御プログラムを実行して、全天球画像の表示に関する様々な処理を実行する。
FIG. 3 is a system configuration diagram of the
表示パネル120は、表示器の一例であり、例えば有機ELパネルである。表示パネル120は、表示制御部111が調整した画像信号を受信し、当該画像信号を展開した画像を視認可能に表示する。タッチパネル130は、表示パネル120の表示領域のほぼ全面にわたって重畳された透明の接触デバイスである。タッチパネル130は、タッチセンサの一例であり、ユーザの様々な接触操作を受け付けて、その操作を電気信号に変換し、演算処理部110へ送信する。タッチパネル130は、接触操作として、一方向へ接触したまま滑らせるスワイプ動作、接触して直ちに離すタップ動作、接触する二本指を開いたり縮めたりするピンチ動作などを区別して認識する。
The
入出力IF140は、外部機器と情報の授受を行うためのインタフェースであり、例えば無線LANユニットやBluetooth(登録商標)ユニットである。入出力IFは、USB(登録商標)など有線の接続ユニットを含んでもよい。記憶部150は、不揮発性の記憶媒体であり、例えばフラッシュメモリによって構成されている。記憶部150は、表示制御プログラムの他にも、表示に関わる様々なパラメータ値、関数、ルックアップテーブル等を記憶し得る。また、取得した全天球画像データを記憶する。
The input/
演算処理部110は、表示制御プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部110は、表示制御部111、画像更新部112として機能し得る。具体的には後述するが、表示制御部111は、主に、選択可能な複数の全天球画像のうち選択された対象画像の少なくとも一部を切り出して生成した画像であるメイン画像を表示パネル120のメイン領域(第1表示領域)に表示し、当該対象画像の一部を水平方向へ沿って切り出して生成した画像であるサブ画像を表示パネル120のサブ領域(第2表示領域)に表示する。画像更新部112は、主に、タッチパネル130により、サブ領域でユーザの水平方向へ沿った接触操作を受け付けた場合に、表示中の対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する。
The
次に、表示制御プログラムによって実現される全天球画像の表示態様について説明する。以下に説明する表示態様は、いずれも、表示制御部111が表示パネル120に表示する表示対象画像から表示制御プログラムが指示する表示態様に即した表示信号を調整して表示を制御し、画像更新部112が、表示制御プログラムが指示するタイミングにおいて表示対象画像を更新する。
Next, the display mode of the omnidirectional image realized by the display control program will be described. In any of the display modes described below, the
図4は、サムネイル表示と一画像表示の切り替え手順を説明する図である。左図は複数の全天球画像が順番に配列されたサムネイル表示であり、右図は選択された1つの全天球画像の一部分が表示領域の全体に配置された一画像表示である。 FIG. 4 is a diagram for explaining a switching procedure between thumbnail display and single image display. The left figure is a thumbnail display in which a plurality of omnidirectional images are arranged in order, and the right figure is a one-image display in which a part of one selected omnidirectional image is arranged in the entire display area.
サムネイル表示においては、アイコン等の表示領域を除く画像表示領域が細分化されたサムネイル領域210のそれぞれに、全天球画像を一つずつ配置して表示している。サムネイル領域210に表示するそれぞれの全天球画像は、画像全体を円形で表示して余白を塗りつぶす態様で表示してもよいが、図の例では視認性を高めるために余白や極度の歪みを生じさせることのない、全天球画像の一部分を切り出した矩形画像で表示している。このようなサムネイル表示は、どのような全天球画像が記憶部150に記憶されているのかを確認する場合に都合が良い。なお、サムネイル表示の表示態様は、図示するような格子配列に限らない。横長のパノラマ画像が上下方向に配列された態様でもよいし、それぞれの大きさが異なっていてもよい。
In the thumbnail display, one omnidirectional image is arranged and displayed in each
ユーザは、サムネイル表示されている特定の画像をタップすると、その全天球画像を一画像表示に切り替えることができる。一画像表示においては、表示パネル120の表示領域の全体に亘って設定されたメイン領域310(第1領域)に、選択された全天球画像である対象画像の少なくとも一部を切り出して生成した画像であるメイン画像(第1画像)が表示される。同時に、メイン領域310に囲まれて設定された小領域であるサブ領域320(第2領域)に、対象画像の一部を水平方向へ沿って切り出して生成したサブ画像(第2画像)が表示される。メイン領域310の左上にはクローズボタン330が配置されており、ユーザは、クローズボタン330をタップすると、サムネイル表示に切り替えることができる。
By tapping a specific image displayed as a thumbnail, the user can switch the omnidirectional image to a single image display. In the one-image display, at least part of the target image, which is the selected omnidirectional image, is cut out and generated in the main area 310 (first area) set over the entire display area of the
図5は、一画像表示の画面構成を説明する図である。メイン領域310は、上述のように表示パネル120の全体に亘って設定されているので、メイン画像は大きく表示され、そのために視認性が高く観賞に適していると言える。
FIG. 5 is a diagram for explaining the screen configuration of one-image display. Since the
サブ領域320は、メイン領域310の下方において、その全体がメイン領域310に囲まれて配置されており、横長の長円形状を成す。サブ画像は、対象画像の一部を水平方向へ沿って切り出して生成した、メイン画像よりも広い視野角を有する小画像である。したがって、サブ画像は、メイン領域310に表示されているメイン画像が全体のどのあたりを切り出した画像であるかをユーザが認識するための、空間把握用の画像と言える。
The
全天球画像は、全体を一度に表示すると被写体像が大きく歪んでしまうので、鑑賞性と空間把握を両立させるためには、このようにメイン画像とサブ画像を同時に並べて表示することが好ましい。なお、本実施形態においてはサブ領域320として横長の長円形状を採用するが、水平画像であるサブ画像を見やすく表示できる形状であれば、横長の矩形など他の形状であってもよい。
If the entire omnidirectional image is displayed at once, the subject image will be greatly distorted. Therefore, in order to achieve both appreciation and spatial awareness, it is preferable to display the main image and sub-image side by side at the same time. In the present embodiment, the
図6は、一画像表示から次の画像の一画像表示へ、サムネイル表示を介さずに直接的に遷移する様子を説明する図である。時刻t=T0の時点において、記憶部150に記憶された全天球画像データのうち第n番目として記憶されている全天球画像データの画像(以下、「第n画像」のように称する)が一画像表示されているとする(図6左図)。この状態から、ユーザがサブ領域320の右側から左側へ向けてスワイプ動作を開始すると、サブ画像がサブ領域320内で左側へ向かってスクロールすると共に、メイン画像もメイン領域310において左側へ向かってスクロールする。換言すると、サブ画像については、スワイプの移動に連動してサブ領域320の左端から消失する画像分だけ、もとのサブ画像の右端に連続する画像部分を継ぎ足したサブ画像を全天球画像から切り出して、新たなサブ画像に逐次更新する。メイン画像についても、スワイプの移動に連動してメイン領域310の左端から消失する画像分だけ、もとのメイン画像の右端に連続する画像部分を継ぎ足したメイン画像を全天球画像から切り出して、新たなメイン画像に逐次更新する。
FIG. 6 is a diagram for explaining how the one-image display is directly transitioned to the one-image display of the next image without going through the thumbnail display. At time t=T 0 , the image of the omnidirectional image data stored as the n-th among the omnidirectional image data stored in the storage unit 150 (hereinafter referred to as the “nth image”). ) is displayed as one image (left diagram in FIG. 6). From this state, when the user starts swiping from the right side of the
図6中図は、時刻t=T1の時点における表示の様子を示し、第n画像であるメイン画像、サブ画像共にスクロールされている様子を示す。 The diagram in FIG. 6 shows the state of display at time t=T 1 , and shows the manner in which both the main image and the sub-image, which are n-th images, are being scrolled.
本実施形態においては、更新条件として「サブ画像の遷移量が360°に到達すること」が設定されている。すなわち、ユーザがサブ領域320のスワイプ動作を継続し、1周分のスクロールが完了すると、表示される対象画像が第n+1番目の全天球画像に切り替わる。図6右図は、サブ画像の遷移量が360°に到達した時刻t=T2の時点において、第n+1番目の全天球画像の表示に切り替わった様子を示す。すなわち、t=T2の時点において、それまで表示されていた全天球画像に対して1つ後に順序付けられている全天球画像を新たな対象画像として表示する。なお、ここでは1つ後に順序付けられている全天球画像を新たな対象画像とするが、事前に設定されているスキップ数に応じて、例えば5つ後に順序付けられている全天球画像を新たな対象画像としてもよい。また、事前に設定されている日付に応じて、例えば第n画像が撮影された日付けよりも設定された日数後の最初の全天球画像、あるいは翌日以降に撮像された最初の全天球画像を新たな対象画像としてもよい。
In this embodiment, "the amount of transition of sub-images reaches 360 degrees" is set as the update condition. That is, when the user continues to swipe the
図7は、一画像表示から前の画像の一画像表示へ、サムネイル表示を介さずに直接的に遷移する様子を説明する図である。図6左図と同様に、時刻t=T0の時点において第n画像が一画像表示されているとする(図7左図)。この状態から、ユーザがサブ領域320の左側から右側へ向けてスワイプ動作を開始すると、サブ画像がサブ領域320内で右側へ向かってスクロールすると共に、メイン画像もメイン領域310において右側へ向かってスクロールする。換言すると、サブ画像については、スワイプの移動に連動してサブ領域320の右端から消失する画像分だけ、もとのサブ画像の左端に連続する画像部分を継ぎ足したサブ画像を全天球画像から切り出して、新たなサブ画像に逐次更新する。メイン画像についても、スワイプの移動に連動してメイン領域310の右端から消失する画像分だけ、もとのメイン画像の左端に連続する画像部分を継ぎ足したメイン画像を全天球画像から切り出して、新たなメイン画像に逐次更新する。
FIG. 7 is a diagram for explaining how the one-image display is directly transitioned to the one-image display of the previous image without going through the thumbnail display. As in the left diagram of FIG. 6, it is assumed that the n-th image is displayed as one image at time t= T0 (left diagram of FIG. 7). From this state, when the user starts swiping from the left side of the
図7中図は、時刻t=T1の時点における表示の様子を示し、第n画像であるメイン画像、サブ画像共にスクロールされている様子を示す。 The diagram in FIG. 7 shows the state of display at time t=T 1 , and shows how both the main image and the sub-image, which are n-th images, are being scrolled.
図7右図は、サブ画像の遷移量が360°に到達した時刻t=T2の時点において、第n-1番目の全天球画像の表示に切り替わった様子を示す。すなわち、t=T2の時点において、それまで表示されていた全天球画像に対して1つ前に順序付けられている全天球画像を新たな対象画像として表示する。なお、ここでは1つ前に順序付けられている全天球画像を新たな対象画像とするが、事前に設定されているスキップ数に応じて、例えば5つ前に順序付けられている全天球画像を新たな対象画像としてもよい。 The right diagram in FIG. 7 shows a state in which display is switched to the n-1th omnidirectional image at time t=T 2 when the transition amount of the sub-image reaches 360°. That is, at the time t=T 2 , the omnidirectional image that is ordered one before the omnidirectional image that has been displayed until then is displayed as a new target image. Here, the omnidirectional image that is ordered one before is used as a new target image. may be used as a new target image.
図8は、サブ画像の生成を説明する図である。サブ画像は、上述のように、全天球画像の一部を水平方向へ沿って切り出して生成する。具体的には、全天球画像における赤道線が垂直方向の中心線となるように、水平方向へ沿って切り出して生成する。赤道線は、全天球画像の仮想球において中心点を通る平面と交差する交叉線である。 FIG. 8 is a diagram for explaining generation of sub-images. A sub-image is generated by cutting out a portion of the omnidirectional image along the horizontal direction, as described above. Specifically, the omnidirectional image is generated by cutting out along the horizontal direction so that the equator line in the omnidirectional image becomes the center line in the vertical direction. The equator line is a line of intersection that intersects a plane passing through the center point in the phantom sphere of the omnidirectional image.
図示するように全天球画像から360°分の水平部分画像を切り出し、さらに360°画像の左端側領域(a)をコピーして右端側領域(b)の右側に接続し、右端側領域(b)をコピーして左端側領域(a)の左側に接続して、360°以上の水平画像を形成する。図8下図は、このように形成した水平画像の例である。 As shown in the figure, a 360° horizontal partial image is cut out from the omnidirectional image, and the left end region (a) of the 360° image is copied and connected to the right side of the right end region (b), and the right end region ( b) is copied and connected to the left side of the left end region (a) to form a horizontal image of 360° or more. The lower diagram of FIG. 8 is an example of a horizontal image formed in this way.
サブ画像は、このような水平画像から生成する。例えば、サブ画像を360°未満の画角Aに設定する場合には、図示するサブ領域枠320aに囲まれる部分が切り出されてサブ画像が生成される。このようなサブ画像がサブ領域320に表示されると、他の画角に比較して被写体像が相対的に大きく表示されるので、サブ領域においてもいずれの被写体像が写っているのか確認しやすい。
Sub-images are generated from such horizontal images. For example, when the sub-image is set to have an angle of view A less than 360°, the sub-image is generated by cutting out the portion surrounded by the illustrated
サブ画像を360°の画角Bに設定する場合には、図示するサブ領域枠320bに囲まれる部分が切り出されてサブ画像が生成される。このようなサブ画像がサブ領域320に表示されると、一周分の画角を一度に視認できるので空間把握性に優れている。なお、画角Aおよび画角Bに設定する場合には、切り出す元画像として360°以上の水平画像を形成しなくてもよい。
When the sub-image is set to the angle of view B of 360°, the sub-image is generated by cutting out the portion surrounded by the illustrated
サブ画像を360°より大きい画角Cに設定する場合には、図示するサブ領域枠320cに囲まれる部分が切り出されてサブ画像が生成される。このようなサブ画像がサブ領域320に表示されると、上下方向の被写体領域が拡大されるので、メイン画像との間で上下方向の関連性を把握しやすい。いずれの画角でサブ画像を生成するかについては、いずれの効果を優先するかによって決定される。あるいは、ユーザが画角を指定、選択できるように構成してもよい。
When the sub-image is set to an angle of view C larger than 360°, the sub-image is generated by cutting out the portion surrounded by the illustrated
図9は、一画像表示から次の画像の一画像表示へ直接的に遷移する他の手法を説明する図である。図6および図7の例ではスワイプ動作に伴って別画像に遷移したが、図9の例は、タップ動作に伴って別画像に遷移する。 FIG. 9 is a diagram for explaining another technique for directly transitioning from one-image display to one-image display of the next image. In the examples of FIGS. 6 and 7, the swipe action causes a transition to another image, but in the example of FIG. 9, a tap action causes a transition to another image.
図6左図と同様に、時刻t=T0の時点において第n画像が一画像表示されているとする(図9左図)。この状態から、ユーザがサブ領域320を2度タップすると、表示される対象画像が第n+1番目の全天球画像に切り替わる。図9右図は、2度のタップ動作が完了した時刻t=T1の時点において、第n+1番目の全天球画像の表示に切り替わった様子を示す。すなわち、t=T1の時点において、それまで表示されていた全天球画像に対して1つ後に順序付けられている全天球画像を新たな対象画像として表示する。この場合、更新条件としては「サブ領域320が2度タップされること」が設定されている。
As in the left diagram of FIG. 6, it is assumed that the n-th image is displayed as one image at time t= T0 (left diagram of FIG. 9). From this state, when the user taps the
なお、ここでは1つ後に順序付けられている全天球画像を新たな対象画像とするが、事前に設定されているスキップ数に応じて、例えば5つ後に順序付けられている全天球画像を新たな対象画像としてもよい。また、スワイプ動作によって遷移する場合は1つ後に順序付けられている全天球画像を新たな対象画像とするが、タップ動作によって遷移する場合は事前に設定されているスキップ数に応じた後の全天球画像を新たな対象画像としてもよい。 Here, the omnidirectional image that is ordered after one is set as a new target image. may be used as a target image. When the transition is made by a swipe operation, the omnidirectional image that is ordered after one is set as a new target image. A celestial image may be used as a new target image.
また、時刻t=T0の状態から、ユーザがサブ領域320を3度タップすると、表示される対象画像が第n-1番目の全天球画像に切り替わる。すなわち、それまで表示されていた全天球画像に対して1つ前に順序付けられている全天球画像を新たな対象画像として表示する。この場合、更新条件としては「サブ領域320が3度タップされること」が設定されている。
Also, when the user taps the
なお、ここでは1つ前に順序付けられている全天球画像を新たな対象画像とするが、事前に設定されているスキップ数に応じて、例えば5つ前に順序付けられている全天球画像を新たな対象画像としてもよい。また、スワイプ動作によって遷移する場合は1つ前に順序付けられている全天球画像を新たな対象画像とするが、タップ動作によって遷移する場合は事前に設定されているスキップ数に応じた前の全天球画像を新たな対象画像としてもよい。 Here, the omnidirectional image that is ordered one before is used as a new target image. may be used as a new target image. Also, when the transition is made by swiping, the previously ordered omnidirectional image is set as the new target image. The omnidirectional image may be used as the new target image.
対象画像を前後に順序付けられた全天球画像に遷移させる更新条件は、これらに限らない。例えば、図6および図7の例では、スワイプ動作に伴うサブ画像の遷移量を更新条件
としたが、水平方向に何度回転されるかの遷移量ではなく、スワイプ動作の速さに対して更新条件を設定してもよい。例えば、サブ領域320において水平方向のLmmの距離をXmsec未満でスワイプされた場合には別画像に遷移するといった更新条件を設定し得る。この場合、別画像に遷移する速度でスワイプ動作が検知されたら、別画像に遷移するまでメイン画像は更新しなくてもよい。また、これよりも遅いスワイプ動作に対しては、別画像に遷移させることなくメイン画像、サブ画像共にスクロールを継続すればよい。すなわち、メイン画像の更新については、サブ領域320に対する接触操作の態様に応じて異ならせるとよい。
The update conditions for transitioning the target image to the omnidirectional images ordered forward and backward are not limited to these. For example, in the examples of FIGS. 6 and 7, the update condition is the amount of transition of the sub-image accompanying the swipe motion. Update conditions may be set. For example, an update condition can be set such that if the
図10は、メイン領域310の接触操作に対する画像の変化を説明する図である。図6左図と同様に、時刻t=T0の時点において第n画像が一画像表示されているとする(図10左図)。この状態から、ユーザがメイン領域310のいずれかを左側から右側へスワイプ動作を開始すると、メイン画像がメイン領域310において右側へ向かってスクロールする。しかし、サブ領域320をスワイプした場合と異なり、サブ画像はメイン画像の遷移に連動せず、スクロールしない。
10A and 10B are diagrams illustrating changes in an image in response to a contact operation on the
図10中図は、メイン画像のスクロールが完了した時刻t=T1の時点における表示の様子を示し、ユーザがさらにメイン領域310の一部に対してピンチアウト動作を行う様子を示す。メイン領域310の一部に対してピンチアウト動作が行われると、メイン画像は当該領域を拡大した拡大画像に更新される。このときも、サブ画像は、メイン画像の遷移に連動せず、拡大しない。図10右図は、メイン画像の拡大が完了した時刻t=T2の時点における表示の様子を示す。
The diagram in FIG. 10 shows the display at time t=T 1 when the scrolling of the main image is completed, and shows how the user further performs a pinch-out operation on part of the
このように、メイン領域310でユーザの接触操作を受け付けた場合には、接触操作に応じてメイン画像を更新して表示するが、サブ画像は更新しない。このように表示を制御することにより、空間把握を目的とするサブ画像の表示に影響を与えず、ユーザは、メイン画像を自由に鑑賞することができる。なお、メイン画面の更新に連動してサブ画像を更新するようにしてもよく、この場合は、メイン画面の水平成分の遷移量に応じて水平方向に限ってサブ画像を更新するとよい。このように構成する場合には、メイン画像に特徴的な被写体が写っていなくても、ユーザは、サブ画像を確認することによりいずれの方向を観賞しているかを把握することができる。
In this way, when a user's touch operation is received in the
図11は、メイン領域310の接触操作に対する画像の変化を説明する図である。具体的には、メイン領域310のいずれかをユーザがタップした様子を示す。図11左図のようにメイン領域310にメイン画像が、サブ領域320にサブ画像が表示されている状態でユーザがメイン領域310を1度タップすると、図11右図に示すように、サブ領域320の表示が取りやめられる。サブ領域320が存在していた領域はメイン領域310に組み入れられ、サブ領域320によって隠れていた画像部分が現れる。図の例では、サブ領域320が除去されることにより、人物の上半身の全体が視認できるようになっている。
11A and 11B are diagrams illustrating changes in an image in response to a contact operation on the
また、図11右図の状態でユーザがメイン領域310を1度タップすると、サブ領域320が表示される図11左図の状態に戻る。サブ領域320がメイン領域310に取り囲まれて設定されている場合には、このようなサブ領域320を除去する機能を設けることにより、メイン画像の鑑賞性を高めることができる。
When the user taps the
図12は、メイン領域310とサブ領域320の他のレイアウトを説明する図である。これまで説明した例では、サブ領域320がメイン領域310に取り囲まれて設定されていたが、図示するように、それぞれが分離した領域として設定されてもよい。このようなレイアウトであっても、図11を用いて説明した機能を除いて、これまで説明したいずれの表示態様も実現できる。
FIG. 12 is a diagram illustrating another layout of the
サブ画像の生成については、図8を用いて説明したが、他にも様々な手法を採用し得る。図13は、他の手法による被写体像に応じたサブ画像の生成を説明する図である。具体的には、顔検出機能を用いて水平画像中の顔領域340を検出する。そして、顔領域340ができるだけ多く含まれる水平方向に対してサブ領域枠320dを当てはめ、これに囲まれる部分を切り出してサブ画像を生成する。このようにサブ画像を生成すれば、人が写り込む全天球画像に対して空間把握性を高めることができる。
Although generation of sub-images has been described with reference to FIG. 8, various other methods can be employed. FIG. 13 is a diagram illustrating generation of sub-images according to a subject image by another method. Specifically, the face detection function is used to detect the
図14は、さらに他の手法による被写体像に応じたサブ画像の生成を説明する図である。具体的には、空領域および地面領域を検出する機能を用いて、水平画像から空境界線341および地面境界線342を抽出する。そして、空領域および地面領域ができるだけ含まれない水平方向に対してサブ領域枠320dを当てはめ、これに囲まれる部分を切り出してサブ画像を生成する。例えば、空境界線341と地面境界線342の中間線とサブ領域枠320dの中心線が一致するように、サブ領域枠320dを配置するとよい。このようにサブ画像を生成すれば、単調な空領域および地面領域ができる限り排除されるので、空間把握性を高めることができる。
14A and 14B are diagrams for explaining generation of sub-images according to a subject image by still another method. Specifically, a sky area and ground area detection function is used to extract a
このほかにも、画像領域に存在する主被写体の領域を学習させた学習済みモデルを用いてサブ画像を生成してもよい。具体的には、水平画像を学習済みモデルへ入力し、主被写体である可能性が最も高い領域を出力させ、その領域が含まれるようにサブ領域枠を当てはめてサブ画像を生成する。あるいは、主被写体である可能性が閾値以上の複数領域を出力させ、それらができる限り多く含まれるようにサブ領域枠を当てはめてサブ画像を生成する。このようにサブ画像を生成すれば、人物に限らず様々な被写体をサブ画像に含めることができるので、やはり空間把握性を高めることができる。 Alternatively, sub-images may be generated using a trained model obtained by learning the area of the main subject existing in the image area. Specifically, a horizontal image is input to a trained model, an area that is most likely to be the main subject is output, and a sub-area frame is applied so as to include that area to generate a sub-image. Alternatively, a sub-image is generated by outputting a plurality of areas whose probability of being the main subject is equal to or greater than a threshold, and applying a sub-area frame so as to include as many of them as possible. By generating sub-images in this way, it is possible to include not only people but also various subjects in the sub-images.
次に、特に図6および図7を用いて説明した一画像表示における対象画像の遷移に関する演算処理部110の処理手順を説明する。図15は、その処理手順を示すフロー図である。ここでは、図6および図7以外に説明した処理の処理手順については省略する。図示するフローは、サムネイル表示において第n番目の全天球画像である第n画像が選択され一画像表示に切り替えられた時点から開始する。
Next, the processing procedure of the
表示制御部111は、第n画像の一部を切り出して生成したメイン画像を表示パネル120のメイン領域310に表示し、第n画像の一部を水平方向へ沿って切り出して生成したサブ画像を表示パネル120のサブ領域320に表示する。このように第n画像を表示した状態で、画像更新部112は、ステップS101で、タッチパネル130がサブ領域320においてスワイプ動作を検出したか否かを確認する。スワイプ動作が検出されていなければステップS102へ進み、検出されたならステップS103へ進む。
The
ステップS102へ進むと、画像更新部112は、タッチパネル130がクローズボタン330に対するタップ動作を検出したか否かを確認する。タップ動作が検出されていなければ、ステップS101へ戻り、第n画像の一画像表示を継続する。タップ動作が検出されたならサムネイル表示に切り替えて一画像表示を終了する。
Upon proceeding to step S<b>102 ,
ステップS103へ進むと、画像更新部112は、サブ領域320に対するスワイプ動作が左方向であるか右方向であるかを確認する。左方向であればステップS104へ進み、右方向であればステップS109へ進む。
Proceeding to step S103, the
ステップS104へ進むと、画像更新部112は、左方向へのスワイプ量に応じてサブ領域320の左端から消失させる画像分だけもとのサブ画像の右端に連続する画像部分を継ぎ足した画像を全天球画像から切り出して、サブ画像を更新する。また、同じくメイン領域310の左端から消失させる画像分だけもとのメイン画像の右端に連続する画像部分を継ぎ足した画像を全天球画像から切り出して、メイン画像を更新する。表示制御部111は、画像更新部112が更新したサブ画像とメイン画像をそれぞれサブ領域320とメイン領域310に表示することにより、両画像の左方向へのスクロール表示を実現する。
Proceeding to step S104, the
画像更新部112は、ステップS105へ進み、左方向へのスワイプ動作が継続しているか否かを確認する。継続していればステップS106へ進み、継続していなければステップS102へ進む。ステップS106へ進むと、画像更新部112は、サブ画像の遷移量が360°に到達したか否かを確認する。到達していなければステップS104へ戻って左方向へのスクロール処理を継続し、到達していればステップS107へ進む。
The
ステップS107へ進むと、画像更新部112は、記憶部150から第n+1番目の全天球画像データを読み出し、第n画像を第n+1画像へ更新する。表示制御部111は、第n+1画像への更新を受け、第n+1画像の一部を切り出して生成したメイン画像を表示パネル120のメイン領域310に表示し、第n+1画像の一部を水平方向へ沿って切り出して生成したサブ画像を表示パネル120のサブ領域320に表示する。第n+1画像の表示処理が完了したら、演算処理部110は、ステップS108で、変数nをn+1の値に更新する。変数の更新が完了したらステップS102へ進む。
When proceeding to step S107, the
ステップS109へ進むと、画像更新部112は、右方向へのスワイプ量に応じてサブ領域320の右端から消失させる画像分だけもとのサブ画像の左端に連続する画像部分を継ぎ足した画像を全天球画像から切り出して、サブ画像を更新する。また、同じくメイン領域310の右端から消失させる画像分だけもとのメイン画像の左端に連続する画像部分を継ぎ足した画像を全天球画像から切り出して、メイン画像を更新する。表示制御部111は、画像更新部112が更新したサブ画像とメイン画像をそれぞれサブ領域320とメイン領域310に表示することにより、両画像の右方向へのスクロール表示を実現する。
Proceeding to step S109, the
画像更新部112は、ステップS110へ進み、右方向へのスワイプ動作が継続しているか否かを確認する。継続していればステップS111へ進み、継続していなければステップS102へ進む。ステップS111へ進むと、画像更新部112は、サブ画像の遷移量が360°に到達したか否かを確認する。到達していなければステップS109へ戻って右方向へのスクロール処理を継続し、到達していればステップS112へ進む。
The
ステップS112へ進むと、画像更新部112は、記憶部150から第n-1番目の全天球画像データを読み出し、第n画像を第n-1画像へ更新する。表示制御部111は、第n-1画像への更新を受け、第n-1画像の一部を切り出して生成したメイン画像を表示パネル120のメイン領域310に表示し、第n-1画像の一部を水平方向へ沿って切り出して生成したサブ画像を表示パネル120のサブ領域320に表示する。第n-1画像の表示処理が完了したら、演算処理部110は、ステップS113で、変数nをn-1の値に更新する。変数の更新が完了したらステップS102へ進む。以上の処理手順により一画像表示における対象画像の遷移を実現する。
Proceeding to step S112, the
以上説明した本実施形態においては静止画像を例に説明したが、全天球画像は動画像であっても構わない。全天球画像が動画像である場合は、サムネイル表示においてはそれぞれの全天球画像のサムネイル画像として指定される静止画像を用い、一画像表示においては動画再生表示を行うようにしてもよい。また、静止画像や動画像にさらに別の静止画像、あるいは3Dオブジェクトを重畳表示したものでもよい。 In the present embodiment described above, a still image was used as an example, but the omnidirectional image may be a moving image. When the omnidirectional images are moving images, still images designated as thumbnail images of the respective omnidirectional images may be used in the thumbnail display, and moving images may be reproduced and displayed in the one-image display. Alternatively, a still image or a moving image may be superimposed with another still image or a 3D object.
以上説明した本実施形態においてはサブ領域320を表示領域の下方に配置するレイアウト例を説明したが、サブ領域320を表示領域の上方に配置するレイアウトであってもよく、様々な表示レイアウトを採用し得る。また、更新条件として説明した具体的な数値は、一例であり、他の数値を採用してもよい。サブ画像の遷移量は360°でなくてもよく、360°よりも小さい例えば200°でもよいし、360°よりも大きい例えば400°でもよい。
In the present embodiment described above, a layout example in which the
100…スマートフォン、110…演算処理部、111…表示制御部、112…画像更新部、120…表示パネル、130…タッチパネル、140…入出力IF、150…記憶部、210…サムネイル領域、310…メイン領域、320…サブ領域、330…クローズボタン、340…顔領域、341…空境界線、342…地面境界線、500…全天球カメラ、600…画像サーバ、700…ネットワーク
DESCRIPTION OF
Claims (20)
前記表示器に重畳して設けられたタッチセンサにより、前記第2表示領域でユーザの前記水平方向へ沿った接触操作を受け付けた場合に、前記複数の全天球画像のうち前記対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する更新ステップと
をコンピュータに実行させる表示制御プログラム。 displaying a first image, which is an image generated by cutting out at least part of a target image selected from among a plurality of selectable omnidirectional images, in a first display area of a display device, and displaying a part of the target image; a display step of displaying a second image, which is an image generated by cutting out along the horizontal direction, in a second display area of the display;
When a user's contact operation along the horizontal direction is received in the second display area by a touch sensor provided superimposed on the display, the target image of the plurality of omnidirectional images is moved forward and backward. a display control program for causing a computer to execute an updating step of updating any of the ordered omnidirectional images to the newly selected target image.
前記表示器に重畳して設けられたタッチセンサにより、前記第2表示領域でユーザの前記水平方向へ沿った接触操作を受け付けた場合に、前記複数の全天球画像のうち前記対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する更新ステップと
を有する表示制御方法。 displaying a first image, which is an image generated by cutting out at least part of a target image selected from among a plurality of selectable omnidirectional images, in a first display area of a display device, and displaying a part of the target image; a display step of displaying a second image, which is an image generated by cutting out along the horizontal direction, in a second display area of the display;
When a user's contact operation along the horizontal direction is received in the second display area by a touch sensor provided superimposed on the display, the target image of the plurality of omnidirectional images is moved forward and backward. and updating any of the ordered omnidirectional images to the newly selected target image.
前記表示器に重畳して設けられたタッチセンサと、
前記タッチセンサにより、前記第2表示領域でユーザの前記水平方向へ沿った接触操作を受け付けた場合に、前記複数の全天球画像のうち前記対象画像に前後して順序付けられている全天球画像のいずれかを新たに選択された対象画像へと更新する更新部と
を備える表示装置。 displaying a first image, which is an image generated by cutting out at least part of a target image selected from among a plurality of selectable omnidirectional images, in a first display area of a display device, and displaying a part of the target image; a display control unit that displays a second image, which is an image generated by cutting out along the horizontal direction, in a second display area of the display;
a touch sensor superimposed on the display;
The omnidirectional images are ordered one after another from the target image among the plurality of omnidirectional images when the touch sensor receives a user's contact operation along the horizontal direction in the second display area. an updating unit for updating any of the images to the newly selected target image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021028625A JP2022129799A (en) | 2021-02-25 | 2021-02-25 | Display control program, display control method, and display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021028625A JP2022129799A (en) | 2021-02-25 | 2021-02-25 | Display control program, display control method, and display apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022129799A true JP2022129799A (en) | 2022-09-06 |
Family
ID=83150732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021028625A Pending JP2022129799A (en) | 2021-02-25 | 2021-02-25 | Display control program, display control method, and display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022129799A (en) |
-
2021
- 2021-02-25 JP JP2021028625A patent/JP2022129799A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102369058B1 (en) | The effect of user interface camera | |
US11740755B2 (en) | Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments | |
CN111901476B (en) | User interface for capturing and managing visual media | |
US11550420B2 (en) | Quick review of captured image data | |
US20190303423A1 (en) | Device, Method, and Graphical User Interface for Providing Handwriting Support in Document Editing | |
US8830184B2 (en) | Image displaying device, image displaying method, and program for displaying images | |
KR102140295B1 (en) | User interface camera effects | |
US11144776B2 (en) | Mobile surveillance apparatus, program, and control method | |
JP2004259065A (en) | Display processor and display processing method for three-dimensional object, and computer program | |
CN113811855A (en) | User interface for capturing and managing visual media | |
CN112585564A (en) | Method and apparatus for providing input for head-mounted image display device | |
WO2021056998A1 (en) | Double-picture display method and device, terminal and storage medium | |
JP2015138360A (en) | System, control program, and control method for object manipulation | |
JP6145738B2 (en) | Display device and computer program | |
JP7161824B2 (en) | How to navigate the display content panel | |
JP2022129799A (en) | Display control program, display control method, and display apparatus | |
CN113741775A (en) | Image processing method and device and electronic equipment | |
JP6614516B2 (en) | Display device and computer program | |
US20240080543A1 (en) | User interfaces for camera management | |
JP6344670B2 (en) | Display device and computer program | |
JP2022179592A (en) | Information display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211227 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220218 |