JP6614516B2 - Display device and computer program - Google Patents
Display device and computer program Download PDFInfo
- Publication number
- JP6614516B2 JP6614516B2 JP2018091519A JP2018091519A JP6614516B2 JP 6614516 B2 JP6614516 B2 JP 6614516B2 JP 2018091519 A JP2018091519 A JP 2018091519A JP 2018091519 A JP2018091519 A JP 2018091519A JP 6614516 B2 JP6614516 B2 JP 6614516B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- panoramic
- omnidirectional
- panoramic images
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は、映像を表示する表示装置に関し、特に、全方位カメラで撮影された映像を表示する表示装置に関する。 The present invention relates to a display device that displays an image, and more particularly to a display device that displays an image taken by an omnidirectional camera.
従来より、全方位カメラの映像をモニタに表示する表示装置が知られている。全方位カメラは水平視野角360度の魚眼レンズを用いて映像を生成するので、その映像(以下、「全方位画像」という。)は円形状又はドーナツ形状であり、外周に近い位置ほどひずみが大きくなるという特性がある。従って、従来の表示装置においては、撮影範囲の全体を確認できる全方位画像の表示のほか、全方位画像の全体又はその一部の切出し範囲について歪み補正を行なった画像(以下、「歪み補正画像」という。)の表示も可能とされている。そして、この表示の切替えは、ユーザの指示に基づいて行なわれる。 Conventionally, a display device that displays an image of an omnidirectional camera on a monitor is known. Since the omnidirectional camera uses a fish-eye lens with a horizontal viewing angle of 360 degrees to generate an image, the image (hereinafter referred to as “omnidirectional image”) is circular or donut-shaped, and the distortion is greater as the position is closer to the outer periphery. There is a characteristic to become. Therefore, in the conventional display device, in addition to the display of the omnidirectional image for confirming the entire photographing range, an image obtained by performing distortion correction on the entire omnidirectional image or a part of the cutout range (hereinafter referred to as “distortion corrected image” ") Is also possible. This display switching is performed based on a user instruction.
一方、全方位カメラの映像を表示する表示装置は、例えば以下のようなシーンで利用される。ビジネスのシーンでは、携帯電話等の携帯端末を表示装置として、工事現場、施設、店舗等に設置された全方位カメラの映像を表示する。また、全方位カメラが監視カメラとして用いられる場合には、全方位カメラが鉄道のホームや駐車場等の監視対象場所に設置され、本部ないしは中央指令室で全方位カメラの映像が表示され、警備員がこれを監視する。さらに、全方位カメラを設置する際の作業員が電柱の上などの高所に、監視カメラとして用いられる全方位カメラを設置する場合には、設置工事事業者が、腕時計タイプなど、装着型の表示装置を用いて、全方位カメラの映像を確認しながら画角を調整する。 On the other hand, a display device that displays video from an omnidirectional camera is used in the following scene, for example. In a business scene, a mobile terminal such as a mobile phone is used as a display device to display an image of an omnidirectional camera installed at a construction site, facility, store, or the like. Also, when an omnidirectional camera is used as a surveillance camera, the omnidirectional camera is installed at a monitoring target location such as a railway platform or parking lot, and an image of the omnidirectional camera is displayed at the headquarters or the central command room. The staff monitors this. In addition, when an omnidirectional camera is installed at a high place such as on a utility pole, an operator who installs an omnidirectional camera installs an omnidirectional camera that is used as a surveillance camera. Using the display device, the angle of view is adjusted while checking the image of the omnidirectional camera.
表示装置がモニタを備えたパーソナルコンピュータによって実現される場合には、マウスやキーボード等の操作入力手段があり、ユーザはこの操作入力手段を操作することで表示の切替えを指示することができる(例えば、特許文献1及び特許文献2を参照)。 When the display device is realized by a personal computer having a monitor, there are operation input means such as a mouse and a keyboard, and the user can instruct switching of the display by operating the operation input means (for example, , See Patent Document 1 and Patent Document 2).
しかしながら、上記のように、携帯電話等の小型の携帯端末を表示装置とする場合には、操作入力手段が物理的に制約され、従来のように、マウスやキーボードといった操作入力手段を採用できないことがある。上記のように高所作業者に装着される表示装置の場合には、表示装置はより小型になり、操作入力手段に対する制約はより厳しくなる。 However, as described above, when a small portable terminal such as a mobile phone is used as a display device, the operation input means is physically restricted, and the conventional operation input means such as a mouse and a keyboard cannot be employed. There is. As described above, in the case of a display device worn by an operator at a high place, the display device becomes smaller and restrictions on the operation input means become more severe.
また、上記の本部ないしは中央指令室の表示装置のように、物理的な制約が比較的少ない場合においても、複雑な操作を行なわずに、より直感的な操作で、全方位画像と歪み補正画像との間の表示の切替えをできるようにするのが望ましい。 In addition, even when there are relatively few physical restrictions, such as the above-mentioned headquarters or central command room display device, an omnidirectional image and a distortion-corrected image can be operated more intuitively without performing complicated operations. It is desirable to be able to switch the display between.
本発明は、上記の問題に鑑みてなされたものであり、直感的なユーザインターフェースにより、簡単な操作で、全方位画像と歪み補正画像との表示の切替えを行なうことができる表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a display device capable of switching display between an omnidirectional image and a distortion-corrected image with a simple operation by an intuitive user interface. For the purpose.
上記従来の課題を解決するために、本発明の表示装置は、全方位画像を取得する画像取得部と、パネルインターフェースを有するタッチパネル式の表示部と、前記全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部と、前記表示部に前記全方位画像又は前記歪み補正画像が表示されているときに、前記パネルインターフェースを用いて、表示されている画像に対して直接行われた、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えのための操作を検出する操作検出部と、前記表示部に前記全方位画像又は前記歪み補正画像を表示させるとともに、前記操作検出部にて検出された操作に従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えを行なう表示制御部とを備えた構成を有している。 In order to solve the above-described conventional problems, a display device of the present invention includes an image acquisition unit that acquires an omnidirectional image, a touch panel display unit having a panel interface, and distortion of a part or all of the omnidirectional image. A distortion-corrected image generation unit that corrects and generates a distortion-corrected image, and an image that is displayed using the panel interface when the omnidirectional image or the distortion-corrected image is displayed on the display unit An operation detection unit that detects an operation for switching between the display of the omnidirectional image and the display of the distortion-corrected image, and the omnidirectional image or the distortion correction performed on the display unit. A display control unit that displays an image and switches between the display of the omnidirectional image and the display of the distortion-corrected image according to the operation detected by the operation detection unit. We have the example was constructed.
この構成により、ユーザは、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。 With this configuration, when an omnidirectional image or a distortion-corrected image is displayed on the touch panel display unit, the user can directly input an operation for switching the display on the displayed image. Therefore, it is possible to intuitively switch the display between the omnidirectional image and the distortion corrected image with a simple operation.
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してピンチアウト操作がされたことを検出した場合に、前記全方位画像の表示を前記歪み補正画像の表示に切り替えてよい。 In the display device, when the omnidirectional image is displayed on the display unit, the operation detection unit pinches the omnidirectional image displayed on the display unit. When it is detected that an out operation has been performed, the display of the omnidirectional image may be switched to the display of the distortion corrected image.
この構成により、ユーザによる全方位画像に対するピンチアウト操作と、全方位画像が展開されて歪み補正画像が表示されるという表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。 With this configuration, the pinch-out operation for the omnidirectional image by the user and the display switching in which the omnidirectional image is expanded and the distortion corrected image is displayed intuitively match, so the user can display more intuitively. Can be switched.
上記の表示装置において、前記表示制御部は、前記表示部に前記歪み補正画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記歪み補正画像に対してピンチイン操作がされたことを検出した場合に、前記歪み補正画像の表示を前記全方位画像の表示に切り替えてよい。 In the display device, when the distortion correction image is displayed on the display unit, the operation detection unit pinches in the distortion correction image displayed on the display unit. When it is detected that an operation has been performed, the display of the distortion correction image may be switched to the display of the omnidirectional image.
この構成により、ユーザによる歪み補正画像に対するピンチイン操作と、歪み補正画像が全方位画像に戻される表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。 With this configuration, the pinch-in operation on the distortion-corrected image by the user and the switching of the display for returning the distortion-corrected image to the omnidirectional image are intuitively matched, so that the user can switch the display more intuitively. it can.
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所を基線として前記全方位画像をパノラマ展開したパノラマ画像であってよい。 In the above display device, the distortion-corrected image may be a panoramic image obtained by panoramic development of the omnidirectional image with the location where the pinch-out operation is performed as a base line.
この構成により、ユーザによるピンチアウト操作と、全方位画像からパノラマ画像への表示の切替えとが、直感的に一致しているので、ユーザは、全方位画像からパノラマ画像への表示の切替えのための操作を簡単な操作で、直感的に行なうことができる。 With this configuration, since the pinch-out operation by the user and the switching of the display from the omnidirectional image to the panoramic image are intuitively matched, the user can change the display from the omnidirectional image to the panoramic image. Can be performed intuitively with simple operations.
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所が拡大された切出し画像であってよい。 In the display device, the distortion correction image may be a cut-out image in which a portion where the pinch-out operation has been performed is enlarged.
この構成により、ピンチアウト操作と、拡大された切出し画像の表示とが、直感的に一致しているので、ユーザは、切出し画像の表示のための操作を簡単な操作で、直感的に行なうことができる。 With this configuration, since the pinch-out operation and the display of the enlarged cut-out image are intuitively matched, the user can intuitively perform the operation for displaying the cut-out image with a simple operation. Can do.
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してタップ操作がされたことを検出したときに、前記全方位画像のタップ操作がされた
箇所について、前記表示部に前記歪み補正画像を表示させてよい。
In the display device, when the omnidirectional image is displayed on the display unit, the operation detection unit taps the omnidirectional image displayed on the display unit. When it is detected that an operation has been performed, the distortion correction image may be displayed on the display unit at a location where the tap operation has been performed on the omnidirectional image.
この構成により、ユーザによる全方位画像に対するタップ操作と、そのタップ箇所の歪み補正画像の表示とが直感的に一致するので、ユーザは、歪み補正画像の表示のための操作を簡単な操作で、直感的に行なうことができる。 With this configuration, the tap operation on the omnidirectional image by the user and the display of the distortion corrected image at the tap location intuitively match, so the user can easily perform the operation for displaying the distortion corrected image, It can be done intuitively.
上記の表示装置は、さらに、前記表示制御部は、前記操作検出部にて検出された操作に基づいて、画像の補正パラメータを決定してよく、前記表示装置は、さらに、前記表示制御部が決定した補正パラメータに従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に表示する中間画像を生成する中間画像生成部を備えていてよく、 前記表示制御部は、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に、前記表示部に、前記中間画像生成部にて生成された前記中間画像を表示させてよい。 In the above display device, the display control unit may determine an image correction parameter based on an operation detected by the operation detection unit, and the display device further includes the display control unit. According to the determined correction parameter, an intermediate image generation unit that generates an intermediate image to be displayed in the middle of switching between the display of the omnidirectional image and the display of the distortion correction image may be provided, During the switching between the display of the omnidirectional image and the display of the distortion corrected image, the intermediate image generated by the intermediate image generation unit may be displayed on the display unit.
この構成により、ユーザは、中間画像によって表示の切替え過程を見ることができるので、自らが行なった操作を直感的に認識することができるとともに、切替え前の表示と切替え後の表示との間の相関を認識することができる。 With this configuration, the user can see the display switching process with the intermediate image, so that the user can intuitively recognize the operation performed by the user, and between the display before switching and the display after switching. Correlation can be recognized.
本発明の別の態様は、コンピュータプログラムであり、このコンピュータプログラムは、タッチパネル式の表示部を備えた表示装置にて実行されることにより、その表示装置を上記の表示装置として機能させる。 Another aspect of the present invention is a computer program, which is executed by a display device having a touch panel type display unit, thereby causing the display device to function as the display device.
本発明は、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。 In the present invention, when an omnidirectional image or a distortion correction image is displayed on a touch panel type display unit, an operation for display switching can be directly input to the displayed image. It is possible to intuitively switch the display between the omnidirectional image and the distortion corrected image by a simple operation.
以下、本発明を実施するための形態について、図面を参照しながら説明する。図1は、本発明の実施の形態における表示装置としてのビューワ端末の構成を示すブロックである。ビューワ端末1は、パネルインターフェース11、操作検出部12、画像補正シーケンサ13、中間画像生成部14、歪み補正画像生成部15、全方位画像取得部16、全方位画像デコード部17、画像キュー18、及び画像表示部19を備えている。なお、画像表示部19とパネルインターフェース11とは重なって設けられ、これにより、タッチパネル式の表示部が形成されている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a viewer terminal as a display device according to an embodiment of the present invention. The viewer terminal 1 includes a
パネルインターフェース11は、ユーザの指による操作を受け付けて、操作位置の情報を出力する。操作検出部12は、パネルインターフェース11から操作位置の情報を受けて、パネル操作に変化があった場合に、その変化内容に基づいて、ユーザによってなされたパネル操作の内容を検出する。ユーザの指によるパネルインターフェース11への操作には、タップ、ドラッグ、フリック、ピンチ(ピンチアウト及びピンチイン)、及び回転が含まれる。
The
タップとは、パネルインターフェース11の1箇所を指で軽く叩く操作、即ち、1つの指先でパネルインターフェース11に触れた後、その指をパネルインターフェース11上で移動させることなく、パネルインターフェース11から離す操作をいう。ドラッグとは、パネルインターフェース11を指で引きずる操作、即ち、1つの指先をパネルインターフェース11に付けたまま動かし、指の動きを停止させてパネルインターフェース11から指を離す操作をいう。フリックとは、パネルインターフェース11を指ではじく操作、即ち、1つの指先をパネルインターフェース11に付けたまま動かし、指の動きを止めないでパネルインターフェース11から指を離す操作をいう。
A tap is an operation of tapping a portion of the
ピンチアウトとは、2つの指先をパネルインターフェース11に付けたまま、互いの距離が遠くなるように、2つの指先のいずれか一方又は双方をパネルインターフェース11上で移動させる操作をいう。ピンチインとは、逆に、2つの指先をパネルインターフェース11に付けたまま、互いの距離が近くなるように、2つの指先のいずれか一方又は双方をパネルインターフェース11上で移動させる操作をいう。回転とは、2つの指先をパネルインターフェース11に付けたまま、互いを結ぶ線分がパネルインターフェース11の面内で回転するように、2つの指先のいずれか一方又は双方をパネルインターフェース11上で移動させる操作をいう。
Pinch out refers to an operation of moving one or both of the two fingertips on the
なお、ユーザの指による操作には、上記のほかに、ダブルタップ、ロングタップ等が含まれてよい。また、ビューワ端末1に電子コンパスが内蔵されており、ビューワ端末1の加速度(姿勢)を検知できる場合には、ユーザは、ビューワ端末1自体を振ったり(シェイク)、傾けたりすることで操作入力を行なってよい。この場合には、操作検出部12は、ビューワ端末1の加速度に変化があった場合に、その変化内容に基づいてユーザによる操作を検出する。 In addition to the above, the operation with the user's finger may include a double tap, a long tap, and the like. When the viewer terminal 1 has an electronic compass and can detect the acceleration (posture) of the viewer terminal 1, the user inputs an operation by shaking (shaking) or tilting the viewer terminal 1 itself. May be performed. In this case, when there is a change in the acceleration of the viewer terminal 1, the operation detection unit 12 detects an operation by the user based on the change content.
画像補正シーケンサ13は、パネル操作の内容に従って、次に生成して表示する画像の補正パラメータ(中心座標、範囲、回転、歪み等)を決定することで、画像表示部19に画像を表示させるとともに、全方位画像、中間画像、及び歪み補正画像(歪み補正画像は、パノラマ画像及び切出し画像を含む。)の表示の切替えを行なう。補正パラメータは全方位画像に対して補正を行なう際に用いられるパラメータである。全方位画像に補正パラメータが適用されることで、歪み補正画像又は中間画像が生成される。画像補正シーケンサ13は、本発明の表示制御部に相当する。
The
中間画像生成部14は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に切り替える際の中間画像を生成する。中間画像とは、切替え途中に表示する画像であ
る。中間画像生成部14は、画像補正シーケンサ13から入力した補正パラメータに基づいて、パネル操作の内容に応じた中間画像を生成する。中間画像生成部14は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に、段階的に切り替わるように見せるために、必要に応じて複数の中間画像を生成する。
The intermediate
歪み補正画像生成部15は、画像補正シーケンサ13から入力した補正パラメータに基づいて全方位画像に対して歪み補正を行い、歪み補正画像を生成する。全方位画像取得部16は、魚眼レンズを用いた撮像装置(カメラ)によって撮影された全方位画像を取得する。この撮像装置は、水平画角360度、垂直画角180度の視野角を有する。全方位画像は、円形又はドーナツ型の画像であり、中心から離れるほど歪みが大きくなっている。撮像装置は、撮影対象場所の高所に設けられ、下向きに撮影を行なう。全方位画像取得部16は、撮影装置によって撮影された全方位画像を圧縮された画像ファイルの形式で取得する。全方位画像取得部16は、例えば、無線通信によって全方位画像の画像ファイルを受信する。
The distortion correction
全方位画像デコード部17は、全方位画像取得部16にて取得された全方位画像の画像ファイルをデコードして、全方位画像を展開する。画像キュー18は、全方位画像デコード部17にて展開された全方位画像を一時的に保存し、必要に応じて、画像補正シーケンサ13又は画像表示部19に出力する。画像表示部19は、中間画像生成部14にて生成された中間画像、歪み補正画像生成部15にて生成された歪み補正画像、全方位画像でコード部17にて展開された全方位画像を、モニタを用いて表示する。画像表示部19は、本発明の表示部に相当する。
The omnidirectional
図2は、画像補正シーケンサの詳細な構成を示すブロック図である。図2に示すように、画像補正シーケンサ13は、パネル操作インターフェース部131、タイマ制御部132、目標画像判定部133、表示画像判定部134、補正パラメータ算出部135、及び画像補正インターフェース部136を備えている。
FIG. 2 is a block diagram showing a detailed configuration of the image correction sequencer. As shown in FIG. 2, the
パネル操作インターフェース部131は、パネル操作に変化があった場合に、その変化の内容を操作検出部12から取得する。タイマ制御部132は、最終的な目標画像を表示するまでの表示切替期間のタイマ制御を行う。全方位画像から歪み補正画像に表示を切り替える場合には、歪み補正画像が目標画像となり、歪み補正画像から全方位画像に表示を切り替える場合には、全方位画像が目標画像となる。パネル操作があると、タイマ制御部132は、その操作(タップ、ドラッグ、フリック、ピンチアウト、ピンチイン、回転)の具体的内容(操作位置及び強度)に応じてタイムアウト値を設定する。タイムアウトするまでは、中間画像が表示され、タイムアウト後に目標画像が表示される。
When there is a change in the panel operation, the panel
目標画像判定部133は、現在のパネル操作の内容に基づいて、目標画像の判定を行う。即ち、目標画像判定部133は、全方位画像が表示されているときに歪み補正画像へ表示を切り替える操作入力があった場合には、歪み補正画像を目標画像とする。この場合に、歪み補正画像には、パノラマ画像と切出し画像とがあるので、目標画像判定部133は、目標画像がパノラマ画像であるか切出し画像であるかも判定する。また、目標画像判定部133は、歪み補正画像が表示されているときに、全方位画像へ表示を切り替える操作入力があった場合には、全方位画像を目標画像とする。
The target
表示画像判定部134は、タイマ制御部132によるタイマ制御に従って、現在表示する画像(全方位画像、歪み補正画像、又は中間画像)を決定する。補正パラメータ算出部135は、表示する画像が中間画像である場合、それまでの操作入力の履歴や現在の操作入力の内容、及びタイマ値に従って、次に表示する中間画像の補正パラメータを決定する。補正パラメータには、中心座標、回転、及び歪みに関するパラメータが含まれる。画像
補正インターフェース部136は、表示画像判定部134にて決定された表示画像ごとに、画像生成処理を呼び出す。
The display
以上のように構成されたビューワ端末1を用いて行なう表示の切替えを説明する。表示の切替えには、(1)全方位画像からパノラマ画像への切替え、(2)パノラマ画像から全方位画像への切替え、(3)全方位画像から切出し画像を含むマルチ画像への切替え、(4)シングルパノラマ画像からダブルパノラマ画像への切替え、(5)ダブルパノラマ画像からシングルパノラマ画像への切替え、(6)パノラマ画像のスクロール、(7)切出し画像の切出し範囲の変更、(8)全方位画像の回転がある。以下、順に説明する。 Display switching performed using the viewer terminal 1 configured as described above will be described. Display switching includes (1) switching from an omnidirectional image to a panoramic image, (2) switching from a panoramic image to an omnidirectional image, (3) switching from an omnidirectional image to a multi-image including a cut-out image, ( 4) Switch from single panorama image to double panorama image, (5) Switch from double panorama image to single panorama image, (6) Scroll panorama image, (7) Change cutout range of cutout image, (8) All There is a rotation of the orientation image. Hereinafter, it demonstrates in order.
(1)全方位画像からパノラマ画像への切替え
図3は、全方位画像からパノラマ画像への表示の切替えを説明する図である。なお、本実施の形態では、ビューワ端末1の表示部が長方形であり、本来は円形である全方位画像は、その上下の一部が切れて表示されているが、このように表示される画像も全方位画像と呼ぶ。図3(a)のように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、まず、基線(展開線)の選択を行う。基線の選択では、ユーザは、図3(b)に示すように、全方位画像の中心から円周方向へドラック操作を行なう。次に、図3(c)に示すように、ドラッグした線を跨ぐようにして、ピンチアウトの操作を行なう。
(1) Switching from Omnidirectional Image to Panoramic Image FIG. 3 is a diagram for explaining switching of display from an omnidirectional image to a panoramic image. In the present embodiment, the display portion of the viewer terminal 1 is rectangular, and an omnidirectional image that is originally circular is displayed with a part of the top and bottom cut off. Is also called an omnidirectional image. When an omnidirectional image is displayed as shown in FIG. 3A, the user first selects a base line (development line) when he / she wants to develop it into a panoramic image. In the selection of the base line, the user performs a drag operation in the circumferential direction from the center of the omnidirectional image, as shown in FIG. Next, as shown in FIG. 3C, a pinch-out operation is performed across the dragged line.
操作検出部12は、この操作の類型(ドラック及びピンチアウト)、速度、及び位置を検出して画像補正シーケンサ13に出力する。画像補正シーケンサ13の操作パネルインターフェース部131は、この操作の内容及び位置を入力して、これをタイマ制御部132及び目標画像判定部133に出力する。
The operation detection unit 12 detects the type of operation (drag and pinch out), speed, and position, and outputs them to the
目標画像判定部133は、現在表示している画像(全方位画像)と操作の内容及び位置に基づいて、この操作が、全方位画像からパノラマ画像への変更であると判断し、目標画像はパノラマ画像であると判定し、その結果を表示画像判定部134及びタイマ制御部132に出力する。タイマ制御部132は、ピンチアウト操作における2つの指先が離れる速度に基づいて、全方位画像からパノラマ画像までの遷移に費やす時間を決定し、タイマをスタートさせる(即ち、指先の離れる速度が速いほど遷移時間を短くする)。
The target
表示画像判定部134は、タイマ制御部132からのタイマ値がタイムアウト値に達していない場合には、そのタイマ値に従った中間画像を表示させるべく、表示すべき画像が中間画像である旨を画像補正インターフェース136に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部135に出力する。
When the timer value from the
補正パラメータ算出部135は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部136に出力する。表示画像判定部134は、タイマ値がタイムアウト値に達したら、表示すべき画像が目標画像(即ち、パノラマ画像)である旨を画像補正インターフェース部136に通知する。
The correction
画像補正インターフェース136は、表示画像判定部134から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部14による中間画像生成処理を呼び出して、中間画像生成部14に、補正パラメータ算出部135にて算出された補正パラメータを出力する。中間画像生成部14は、補正パラメータ算出部135から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部19に出力する。
When the
タイマ制御部132は、所定の中間画像フレームレートでタイマ値を表示画像判定部134に出力し、表示画像判定部134は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース136に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部135に出力する。そして、補正パラメータ算出部135は中間画像を生成するための補正パラメータを算出して、中間画像生成部14はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
The
図3(d)及び(e)は、上記のようにして生成される中間画像を示している。中間画像は、円形の全方位画像から長方形のパノラマ画像に遷移する過程の画像であり、上方高は下に押し潰され、左右方向は外側に伸ばされ、基線に切り込みが入れられて徐々に下半分を消去していくように遷移する。 FIGS. 3D and 3E show intermediate images generated as described above. The intermediate image is an image in the process of transition from a circular omnidirectional image to a rectangular panoramic image. The upper height is crushed downward, the horizontal direction is extended outward, the base line is cut, and the lower image is gradually lowered. Transition to erase half.
タイマ制御部132から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部134にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース136は、表示画像判定部134から表示すべき画像が目標画像(即ち、歪み補正画像)である旨を歪み補正画像生成部15に通知する。歪み補正画像生成部15は、この通知を受けると、全方位画像を補正して、図3(f)に示すように、歪みのないパノラマ画像を生成する。
As a result of the timer value output from the
なお、パノラマ画像は水平画角360度の全方位が画像表示部19に表示されてもよいし、360度の水平画角の一部範囲に該当する部分のみが表示されてもよい。後者の場合には、スクロール操作によってパノラマ画像を左右にスクロールできるようにしてもよい。
The panoramic image may be displayed on the
なお、上記の例では、基線を全方位画像の中心から垂直下方向に引いてパノラマ展開をしたが、これに限られず、基線を全方位画像の中心から任意の円周方向に引いてもよい。この場合にも、中間画像生成部14及び歪み補正画像生成部15は、この基線から切り離すように全方位画像を展開して、中間画像及びパノラマ画像生成する。
In the above example, panorama development is performed by drawing the base line vertically downward from the center of the omnidirectional image. However, the present invention is not limited to this, and the base line may be drawn from the center of the omnidirectional image in any circumferential direction. . Also in this case, the intermediate
(2)パノラマ画像から全方位画像への切替え
図4は、パノラマ画像から全方位画像への表示の切替えを説明する図である。図4(a)のようにパノラマ画像が表示されている場合に、ユーザは、これを全方位画像に変更したいときは、パノラマ画像上で左右方向にピンチイン操作を行なう。操作検出部12は、この操作の類型(ピンチイン)、速度、及び位置を検出して画像補正シーケンサ13に出力する。画像補正シーケンサ13の操作パネルインターフェース部131は、この操作の内容及び位置を入力して、これをタイマ制御部132及び目標画像判定部133に出力する。
(2) Switching from panoramic image to omnidirectional image FIG. 4 is a diagram for explaining switching of display from a panoramic image to an omnidirectional image. When a panoramic image is displayed as shown in FIG. 4A, when the user wants to change this to an omnidirectional image, the user performs a pinch-in operation in the left-right direction on the panoramic image. The operation detection unit 12 detects the type (pinch-in), speed, and position of this operation, and outputs them to the
目標画像判定部133は、現在表示している画像(パノラマ画像)と操作の内容及び位置に基づいて、この操作が、パノラマ画像から全方位画像への変更であると判断し、目標画像は全方位画像であると判定し、その結果を表示画像判定部134及びタイマ制御部132に出力する。タイマ制御部132は、ピンチイン操作における2つの指先が近づく速度に基づいて、パノラマ画像から全方位画像までの遷移に費やす時間を決定し、タイマをスタートさせる(即ち、指先の近づく速度が速いほど遷移時間を短くする)。
The target
補正パラメータ算出部135は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部1
36に出力する。表示画像判定部134は、タイマ値がタイムアウト値に達したら、その旨を画像補正インターフェース部136に通知する。
The correction
To 36. When the timer value reaches the timeout value, the display
画像補正インターフェース136は、表示画像判定部134から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部14による中間画像生成処理を呼び出して、中間画像生成部14に、補正パラメータ算出部135にて算出された補正パラメータを出力する。中間画像生成部14は、補正パラメータ算出部135から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部19に出力する。
When the
タイマ制御部132は、所定の中間画像フレームレートでタイマ値を表示画像判定部134に出力し、表示画像判定部134は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース136に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部135に出力する。そして、補正パラメータ算出部135は中間画像を生成するための補正パラメータを算出して、中間画像生成部14はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
The
図4(b)は、上記のようにして生成される中間画像を示している。中間画像は、パノラマ画像が上方向に引き伸ばされ、左右方向は内側に押し潰されるように遷移する。 FIG. 4B shows an intermediate image generated as described above. The intermediate image transitions so that the panoramic image is stretched upward and the left-right direction is crushed inward.
タイマ制御部132から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部134にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース136は、表示画像判定部134から表示すべき画像が目標画像(即ち、全方位画像)である旨を画像キュー18に通知する。画像キュー18は、この通知を受けると、全方位画像を画像表示部19に出力し、画像表示部19は、図4(c)に示すように全方位画像を表示する。その際に、パノラマ画像上でピンチインした位置が目標画像である全周囲画像の上中心に対応するようにしてもよい。
As a result of the timer value output from the
図5は、上記の(1)及び(2)の切替えのフロー図である。図5に示すフローは、1フレームごとに繰り返し実行される。操作検出部12は、パネルインターフェース11に操作があるか否かを監視し(ステップS51)、パネルインターフェース11に操作があると(ステップS51にてYES)、画像補正シーケンサ13の目標画像判定部133が、目標画像がパノラマ画像であるか全方位画像であるかを判定する(ステップS52)。
FIG. 5 is a flow chart for switching between (1) and (2). The flow shown in FIG. 5 is repeatedly executed for each frame. The operation detection unit 12 monitors whether or not there is an operation on the panel interface 11 (step S51). If the operation is performed on the panel interface 11 (YES in step S51), the target
そして、タイマ制御部132がタイムアウト値を更新し(ステップS53)、補正パラメータ算出部135が補正パラメータを生成する(ステップS54)。そして、中間画像生成部14は、生成された補正パラメータを用いて中間画像を生成する。
Then, the
次にステップS51に戻ると、既に表示の切替えのための操作は終了しているので、パネルインターフェース11操作は無いと判断されて(ステップS51にてNO)、タイマ制御部におけるタイマ値がタイムアウトしているか否かを判断する(ステップS56)。タイマ値がタイムアウトしていない場合は(ステップS56にてNO)、補正パラメータ算出部135にてそのタイマ値を用いて再び補正パラメータを算出して(ステップS54)、中間画像生成部14にて中間画像を生成する(ステップS55)。
Next, when returning to step S51, since the operation for switching the display has already been completed, it is determined that there is no
上記の処理を繰り返して、ステップS56にてタイマ値がタイムアウトしたと判断されたときは(ステップS56にてYES)、表示画像判定部134は、目標画像判定部133の判定に従って、目標画像がパノラマ画像であるか否かを判定する(ステップS57)
。目標画像がパノラマ画像であるときは(ステップS57にてYES)、歪み補正画像生成部15にて、全方位画像に歪み補正を行なってパノラマ画像を生成する(ステップS58)。目標画像が全方位画像であるときは、画像キュー18から全方位画像を補正することなくそのまま画像表示部19に出力して、画像表示部19にてこれを表示する(ステップS59)。
When the above processing is repeated and it is determined in step S56 that the timer value has timed out (YES in step S56), display
. If the target image is a panoramic image (YES in step S57), the distortion corrected
(3)全方位画像から切出し画像を含むマルチ画像への切替え
図6は、全方位画像から切出し画像を含むマルチ画像への切替えを説明する図である。図6(a)のように全方位画像が表示されている場合に、全方位画像では、予め図示しない動体検出手段により前のフレームとの差分が閾値以上となる領域が動体として検出されており、ユーザは、そのいずれかの動体領域を切り出して切出し画像を表示したい場合には、図6(b)に示すように、切り出したい領域をタップする。
(3) Switching from an omnidirectional image to a multi-image including a cut-out image FIG. 6 is a diagram illustrating switching from an omnidirectional image to a multi-image including a cut-out image. When an omnidirectional image is displayed as shown in FIG. 6A, in the omnidirectional image, an area in which the difference from the previous frame is equal to or greater than a threshold is detected as a moving object in advance by a moving object detection unit (not shown). When the user wants to cut out one of the moving object areas and display the cut image, the user taps the area to be cut out as shown in FIG.
操作検出部12は、この操作の類型(タップ)、速度、及び位置を検出して画像補正シーケンサ13に出力する。画像補正シーケンサ13は、動体領域を全方位画像から切り出して、歪み補正画像生成部15は、この切り出した領域について、歪み補正を行い、切出し画像を生成する。画像表示部19は、図6(c)に示すように、生成された切出し画像を全方位画像に重畳させて表示される。このとき、切出し画像は、全方位画像中の切り出した領域に重なる位置を初期位置として、全方位画像に重畳される。
The operation detection unit 12 detects the type (tap), speed, and position of this operation and outputs the detected type to the
図6(c)に示すように、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチアウト操作を行なうことで、切出し画像を拡大することができる。また、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチイン操作を行なうことで、切出し画像を縮小することができる。 As shown in FIG. 6C, the user can enlarge the clipped image by performing a pinch-out operation on the clipped image superimposed on the omnidirectional image. In addition, the user can reduce the cutout image by performing a pinch-in operation on the cutout image superimposed on the omnidirectional image.
さらに、ユーザは、図6(d)に示すように、複数の領域についてそれぞれ切出し画像を生成することで、複数の切出し画像を全方位画像に重畳表示させることもできる。切出し画像が全方位画像に重畳されている場合に、ユーザがビューワ端末1を振る(シェイク)操作を行なうと、重畳表示されている切出し画像は、全方位画像とともに並べられて表示され、図6(f)に示すように、マルチ画面が生成される。 Furthermore, as shown in FIG. 6D, the user can also display a plurality of cut images superimposed on the omnidirectional image by generating cut images for a plurality of regions. When the cutout image is superimposed on the omnidirectional image and the user performs an operation of shaking (shaking) the viewer terminal 1, the superimposed cutout image is displayed side by side with the omnidirectional image. As shown in (f), a multi-screen is generated.
(4)シングルパノラマ画像からダブルパノラマ画像への切替え
図7は、シングルパノラマ画像からダブルパノラマ画像への切替えを説明する図である。1つのパノラマ画像が表示されている場合(シングルパノラマ画像)に、図7に示すように、このパノラマ画像に対してピンチアウト操作を行なうことで、上下2段のパノラマ画像が表示される(ダブルパノラマ画像)。ダブルパノラマ画像では、上下のそれぞれのパノラマ画像は、互いに重複しない水平画角180度分のパノラマ画像を表示してよい。
(4) Switching from Single Panorama Image to Double Panorama Image FIG. 7 is a diagram for explaining switching from a single panorama image to a double panorama image. When one panorama image is displayed (single panorama image), as shown in FIG. 7, by performing a pinch-out operation on this panorama image, two panoramic images on the upper and lower sides are displayed (double Panoramic image). In the double panorama image, the upper and lower panorama images may display panorama images having a horizontal angle of view of 180 degrees that do not overlap each other.
(5)ダブルパノラマ画像からシングルパノラマ画像への切替え
図8は、ダブルパノラマ画像からシングルパノラマ画像への切替えを説明する図である。図8(a)に示すように、ダブルパノラマ画像が表示されている場合に、ユーザは、これをシングルパノラマ画像に変更したいときは、上下のそれぞれのパノラマ画像に1つずつ指を触れて、それらの距離を近づけるように、上下にピンチインの操作を行なう。
(5) Switching from Double Panorama Image to Single Panorama Image FIG. 8 is a diagram illustrating switching from a double panorama image to a single panorama image. As shown in FIG. 8 (a), when a double panorama image is displayed, when the user wants to change this to a single panorama image, the user touches the upper and lower panorama images one by one, The pinch-in operation is performed up and down so that these distances are close.
中間画像補正部15は、図8(b)に示すように、2つのパノラマ画像が重なるように(上側のパノラマ画像が上面になるように)して、上側のパノラマ画像が下方に、下側のパノラマ画像が上方に移動するような中間画像を生成し、最終的には図8(c)に示すように、上側のパノラマ画像のみを表示する。
As shown in FIG. 8 (b), the intermediate
(6)パノラマ画像のスクロール
図9は、シングルパノラマ画像のスクロールを説明する図である。図9(a)に示すようにパノラマ画像が表示されている場合において、ユーザが、このパノラマ画像を横方向にスクロールしたいときは、パノラマ画像をスクロールしたい方向にフリックする。
(6) Scrolling of panoramic image FIG. 9 is a diagram illustrating scrolling of a single panoramic image. When a panoramic image is displayed as shown in FIG. 9A, when the user wants to scroll the panoramic image in the horizontal direction, the user flicks in the direction in which the panoramic image is to be scrolled.
図9(a)の例では、パノラマ画像が右方向にフリックされたので、図9(b)に示すように、パノラマ画像が右方向に移動する。なお、フリック操作の後には、フリック操作の強度(指がパネルインターフェース11から離れる際の指の移動速度)に応じた量だけパノラマ画像を移動させてスクロールを停止してもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じてパノラマ画像の移動の速度を決定してもよい。 In the example of FIG. 9A, since the panorama image is flicked to the right, the panorama image moves to the right as shown in FIG. 9B. After the flick operation, scrolling may be stopped by moving the panoramic image by an amount corresponding to the strength of the flick operation (the moving speed of the finger when the finger leaves the panel interface 11). If there is, scrolling may be continued at a constant speed. Furthermore, the moving speed of the panoramic image may be determined according to the strength of the flick operation.
図10は、ダブルパノラマ画像のスクロールを説明する図である。図9(a)に示すようにダブルパノラマ画像が表示されている場合において、ユーザが、このダブルパノラマ画像を横方向にスクロールしたいときは、ダブルパノラマ画像の上下のいずれか一方をスクロールしたい方向にフリックする。 FIG. 10 is a diagram illustrating scrolling of the double panoramic image. When a double panorama image is displayed as shown in FIG. 9A, when the user wants to scroll the double panorama image in the horizontal direction, the user wants to scroll either the top or bottom of the double panorama image. Flick.
図9(a)の例では、上側のパノラマ画像が右方向にフリックされたので、図9(b)に示すように、上側のパノラマ画像が右方向に移動する。このとき、下側のパノラマ画像も、上側のスクロールに応じて右側に移動する。なお、シングルパノラマの場合と同様に、フリック操作の後には、フリック操作の強度に応じた量だけ上下のパノラマ画像を移動させてもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じて上下のパノラマ画像の移動の速度を決定してもよい。 In the example of FIG. 9A, since the upper panorama image is flicked in the right direction, as shown in FIG. 9B, the upper panorama image moves in the right direction. At this time, the lower panorama image also moves to the right according to the upper scroll. As in the case of the single panorama, after the flick operation, the upper and lower panorama images may be moved by an amount corresponding to the strength of the flick operation, or when there is a flick operation, at a constant speed. You may continue scrolling. Furthermore, the moving speed of the upper and lower panoramic images may be determined according to the strength of the flick operation.
図11は、パノラマ画像のスクロールの変形例を説明する図である。パノラマ画像のスクロールは、上記のようなフリック操作のほか、ビューワ端末1を傾ける操作によっても行なうことができる。図10(a)のように、パノラマ画像が表示されている場合において、ビューワ端末1の右側が下方に、左側が上方になるように、ビューワ端末1を傾けることで、図10(b)に示すように、パノラマ画像は右側に移動する。また、ビューワ端末1を逆方向、即ち、右側が上方に、左側が下方になるように傾けることで、パノラマ画像は左側に移動する。なお、この変形例においても、傾きの度合いに応じてパノラマ画像の移動の速度を可変させてよい。 FIG. 11 is a diagram for explaining a modified example of scrolling a panoramic image. The scrolling of the panoramic image can be performed not only by the flick operation as described above but also by an operation of tilting the viewer terminal 1. As shown in FIG. 10A, when a panoramic image is displayed, the viewer terminal 1 is tilted so that the right side of the viewer terminal 1 is downward and the left side is upward. As shown, the panoramic image moves to the right. In addition, the panoramic image moves to the left side by tilting the viewer terminal 1 in the reverse direction, that is, the right side is upward and the left side is downward. In this modified example, the panoramic image moving speed may be varied according to the degree of inclination.
なお、パノラマ画像のスクロールは、ドラッグ操作によっても行なうことができる。この場合には、パノラマ画像は、ドラッグ操作によって引きずられた方向に、引きずられた量だけ移動する。 The panorama image can also be scrolled by a drag operation. In this case, the panoramic image moves in the direction dragged by the drag operation by the dragged amount.
(7)切出し画像の切出し範囲の変更
図12は、切出し画像の切出し範囲の変更を説明する図である。図12(a)に示すように、全方位画像が表示されている場合に、ユーザは、この全方位画像の一部領域を高画質(歪がなく、高解像度)で表示したいときは、当該領域に対してピンチアウト操作を行なう。なお、このとき、動体検出手段によって動体として検出された領域のみがこのピンチアウトの操作の対象とされてよい。
(7) Change of Cutout Range of Cutout Image FIG. 12 is a diagram for explaining change of the cutout range of the cutout image. As shown in FIG. 12A, when an omnidirectional image is displayed, the user wants to display a partial area of the omnidirectional image with high image quality (no distortion and high resolution). Perform a pinch out operation on the region. At this time, only the area detected as the moving object by the moving object detecting means may be the target of the pinch-out operation.
ピンチアウトの操作を受けると、歪補正画像生成部15は、該当領域の切出し画像を生成して、画像表示部19は、図12(b)に示すように、この切出し画像を全画面表示する。切出し画像中で動体が移動し、ユーザがこの移動体とともに切出し画像を生成する領域を移動させたい場合には、図12(c)に示すように、全画面表示された切出し画像を移動したい方向にドラッグする。歪み補正画像生成部15は、ドラッグに応じた方向及び量で切出し領域を移動させて、新たな切出し画像を生成し、画像表示部19はこのように
してドラッグされている間連続的に生成される切出し画像を表示する。
When a pinch-out operation is received, the distortion correction
(8)全方位画像の回転
図13は、全方位画像の回転を説明する図である。図13(a)に示すように、膳方画像が表示されている場合において、この全方位画像を回転させたいときは、図13(b)に示すように、画像中の任意の2点を2つの指で同時に触れて、当該2点を結ぶ線が画面内で回転するように、2つの指の両方又はいずれか1方をパネルインターフェース11上で移動させる。
(8) Rotation of Omnidirectional Image FIG. 13 is a diagram for explaining rotation of the omnidirectional image. As shown in FIG. 13 (a), when the omnidirectional image is displayed, to rotate this omnidirectional image, as shown in FIG. 13 (b), two arbitrary points in the image are displayed. Touching with two fingers simultaneously, both or either one of the two fingers is moved on the
このような回転操作に従って、画像表示部19は、表示する全方位画像の方向を変更する。なお、2つの指が同時にフリックされることで、指をパネルインターフェース11上から話した後にも全方位画像を継続して回転させるようにしてもよい。
In accordance with such a rotation operation, the
上記の表示の切替えについては、種々の変形が可能である。以下、変形例を説明する。 Various changes can be made to the switching of the display. Hereinafter, modified examples will be described.
(第1の変形例)
図14は、第1の変形例を示す図である。第1の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図14に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の左右両端部分にそれぞれ指を触れて、外方向に広げるようにピンチアウト操作を行う。なお、モニタが小さい場合には、このピンチアウトの操作は片手(例えば親指と人差し指)で行なうことができ、モニタが大きい場合には、図14に示すように、両手を使ってピンチアウト操作を行なえばよい。
(First modification)
FIG. 14 is a diagram illustrating a first modification. The first modified example is a modified example of switching from an omnidirectional image to a panoramic image. When the omnidirectional image is displayed as shown in FIG. 14, when the user wants to expand the panoramic image, the user touches the left and right end portions of the omnidirectional image respectively and spreads it outward. Perform a pinch out operation. When the monitor is small, this pinch-out operation can be performed with one hand (for example, thumb and index finger). When the monitor is large, the pinch-out operation can be performed using both hands as shown in FIG. Just do it.
上記のピンチアウト操作により、全方位画像は外方向に引っ張られるようにして連続的にパノラマ画像に展開される。このとき、例えば、2つの指で触れた箇所を直線で結び、その中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。 By the above pinch-out operation, the omnidirectional image is continuously developed into a panoramic image so as to be pulled outward. At this time, for example, an omnidirectional image can be developed into a panoramic image so that locations touched by two fingers are connected by a straight line and the center coordinates are positioned on a straight line extending in the vertical direction from the midpoint.
この第1の変形例によっても、全方位画像の左右両端をピンチアウトするという操作と、全方位画像が外方向に引っ張られてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Also in this first modification, the operation of pinching out the left and right ends of the omnidirectional image and the switching of the display in which the omnidirectional image is pulled outward to transition to a panoramic image are sensuously coincident. The user operability and visibility are improved.
(第2の変形例)
図15は、第2の変形例を示す図である。第2の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図15に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の上下両端部分にそれぞれ指を触れて、内方向に狭めるようにピンチイン操作を行う。なお、モニタが小さい場合には、このピンチインの操作は片手(例えば親指と人差し指)で行なうことができ、モニタが大きい場合には、図15に示すように、両手を使ってピンチイン操作を行なえばよい。
(Second modification)
FIG. 15 is a diagram illustrating a second modification. The second modified example is a modified example of switching from an omnidirectional image to a panoramic image. When the omnidirectional image is displayed as shown in FIG. 15, when the user wants to expand the panoramic image, the user touches the upper and lower end portions of the omnidirectional image respectively and narrows it inward. Perform a pinch-in operation. When the monitor is small, this pinch-in operation can be performed with one hand (for example, thumb and index finger). When the monitor is large, as shown in FIG. 15, the pinch-in operation can be performed using both hands. Good.
上記のピンチイン操作により、全方位画像は内方向に潰されるようにして連続的にパノラマ画像に展開される。このとき、例えば、2つの指で触れた箇所を直線で結び、その直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。 By the above pinch-in operation, the omnidirectional image is continuously developed into a panoramic image so as to be crushed inward. At this time, for example, an omnidirectional image can be developed into a panoramic image so that locations touched by two fingers are connected by a straight line and the center coordinates are positioned on the straight line.
この第2の変形例によっても、全方位画像の上下両端をピンチインするという操作と、全方位画像が内方向に潰されてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Also in this second modification, the operation of pinching in the upper and lower ends of the omnidirectional image and the switching of the display in which the omnidirectional image is crushed inward and transitioned to a panoramic image match sensuously, User operability and visibility are improved.
(第3の変形例)
図16は、第3の変形例を示す図である。第3の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図16(a)に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の中央部を、図16(a)のように左右方向に切込みを入れるようにドラッグ操作し、次に、図16(b)に示すように切込みを入れた線を跨ぐようにして、2つの指で上下にピンチアウト操作を行なう。
(Third Modification)
FIG. 16 is a diagram illustrating a third modification. The third modified example is a modified example of switching from an omnidirectional image to a panoramic image. When an omnidirectional image is displayed as shown in FIG. 16A, when the user wants to expand the omnidirectional image into a panoramic image, the center portion of the omnidirectional image is set to the left and right as shown in FIG. A drag operation is performed so as to make a cut in the direction, and then a pinch-out operation is performed with two fingers up and down so as to straddle the cut line as shown in FIG.
上記の一連の操作により、全方位画像はドラッグされた線から切り込みが入れられ、ドーナツ状になるように連続的にパノラマ画像に展開される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。 Through the series of operations described above, the omnidirectional image is cut from the dragged line, and continuously developed into a panoramic image so as to form a donut shape. At this time, for example, the omnidirectional image can be developed into a panoramic image so that the center coordinates are positioned on a straight line extending in the vertical direction from the midpoint of the dragged line.
この第3の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 According to this third modified example, the operation of cutting and pinching out the central portion of the omnidirectional image and the display switching of expanding the cut so that the omnidirectional image becomes a donut shape and changing to a panoramic image are performed. Are sensuously matched to improve user operability and visibility.
なお、上記の例では、全方位画像の中央部を横方向にドラッグして切込みを入れ、その切込みを開くように上下にピンチアウトの操作を行なったが、これに限らず、全方位画像の中央部を縦方向にドラッグして切込みを入れ、その切込みを開くように左右にピンチアウトの操作を行なっても、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するようにしてよい。 In the above example, the center of the omnidirectional image is dragged in the horizontal direction to make a cut, and the pinch-out operation is performed up and down to open the cut. Drag the center part vertically to make a cut, and even if you perform a pinch-out operation left and right to open the cut, the omnidirectional image will be expanded to a panoramic image so that it becomes a donut shape You can do it.
(第4の変形例)
図17は、第4の変形例を示す図である。第4の変形例は、全方位画像からパノラマ画像への切替えの変形例である。この変形例では、全方位画像からダブルパノラマ画像に表示が切替えられる。図17(a)に示すように全方位画像が表示されている場合に、ユーザは、これをダブルパノラマ画像に展開したいときは、図17(a)に示すように、全方位画像の横方向の直径に切込みを入れるようにドラッグ操作を行なう。そして、図17(b)に示すように、切込みを入れた線を跨ぐようにして、2つの指で上下にピンチアウト操作を行なう。
(Fourth modification)
FIG. 17 is a diagram illustrating a fourth modification. The fourth modification is a modification of switching from an omnidirectional image to a panoramic image. In this modification, the display is switched from an omnidirectional image to a double panoramic image. When the omnidirectional image is displayed as shown in FIG. 17A, when the user wants to expand it into a double panoramic image, as shown in FIG. 17A, the horizontal direction of the omnidirectional image is displayed. Drag to make a notch in the diameter. And as shown in FIG.17 (b), pinch out operation is performed up and down with two fingers so that the cut line may be straddled.
上記の一連の操作により、全方位画像はドラッグされた線を境に、上下それぞれについてパノラマ展開されて、ダブルパノラマ画像が表示される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像を上下それぞれのパノラマ画像に展開することができる。 Through the series of operations described above, the omnidirectional image is panorama-developed in the upper and lower directions with the dragged line as a boundary, and a double panoramic image is displayed. At this time, for example, the omnidirectional image can be developed into upper and lower panoramic images so that the center coordinates are positioned on a straight line extending in the vertical direction from the midpoint of the dragged line.
この第4の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像の切込みを境とする上半分及び下半分がそれぞれパノラマ画像に展開されて上下に並べられるという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Also in this fourth modification, an operation of cutting and pinching out the central part of the omnidirectional image and an upper half and a lower half at the boundary of the omnidirectional image cut are expanded into a panoramic image respectively. The switching of the display of being arranged in a line is sensuously coincident, and the user operability and visibility are improved.
(第5の変形例)
図18及び図19は、第5の変形例を示す図である。第5の変形例は、全方位画像からの切替えの変形例である。この変形例では、全方位画像上でのピンチアウトの行う方向に応じて目標画像を切り替える。図18(a)に示すように、全方位画像の半径方向にピンチアウトの操作が行なわれた場合は、図18(b)に示すように、切出し画像を含むマルチ画像が目標画像とされ、上記の「(3)全方位画像から切出し画像を含むマルチ画像へ
の切替え」で説明したのと同様の動作を行なう。このとき、ピンチアウトされた位置にある人物が拡大されて切出し画像として表示される。
(Fifth modification)
18 and 19 are diagrams showing a fifth modification. The fifth modified example is a modified example of switching from an omnidirectional image. In this modification, the target image is switched according to the direction in which the pinch out is performed on the omnidirectional image. As shown in FIG. 18A, when a pinch-out operation is performed in the radial direction of the omnidirectional image, as shown in FIG. 18B, a multi-image including a cut-out image is set as a target image. The same operation as described above in “(3) Switching from omnidirectional image to multi-image including cut-out image” is performed. At this time, the person at the pinched out position is enlarged and displayed as a cutout image.
一方、図19(a)に示すように、全方位画像の円周方向にピンチアウトの操作が行われた場合は、図19(b)に示すように、パノラマ画像が目標画像とされ、上記の「(1)全方位画像からパノラマ画像への切替え」で説明したパノラマ画像への切替えと同様の動作を行なう。このとき、ピンチアウトされた指の位置を結んだ線分の中心と全方位画像の中心を結んだ線分を基線としてパノラマ展開が行なわれる。 On the other hand, as shown in FIG. 19A, when the pinch-out operation is performed in the circumferential direction of the omnidirectional image, the panoramic image is set as the target image as shown in FIG. The same operation as the switching to the panoramic image described in “(1) Switching from the omnidirectional image to the panoramic image” is performed. At this time, panorama development is performed using the line segment connecting the center of the pinched-out finger position and the center of the omnidirectional image as the base line.
(第6の変形例)
図20及び図21は、第6の変形例を示す図である。第6の変形例は、シングルパノラマ画像からダブルパノラマ画像への切替えの変形例である。この変形例では、シングルパノラマ画像上でピンチアウトを行う方向に応じて中間画像を切り替える。図20(a)に示すように、シングルパノラマ画像に対して縦方向にピンチアウトを行った場合は、図20(b)に示すように、「(4)シングルパノラマ画像からダブルパノラマ画像への切替え」で説明したのと同様にして中間画像を生成して表示し、図20(c)に示すダブルパノラマ画像を表示する。
(Sixth Modification)
20 and 21 are diagrams showing a sixth modification. The sixth modified example is a modified example of switching from a single panoramic image to a double panoramic image. In this modification, the intermediate image is switched according to the direction in which the pinch out is performed on the single panoramic image. As shown in FIG. 20A, when the single panorama image is vertically pinched out, as shown in FIG. 20B, “(4) from the single panorama image to the double panorama image. An intermediate image is generated and displayed in the same manner as described in “Switching”, and a double panoramic image shown in FIG.
一方、図21(a)に示すように、シングルパノラマ画像に対して横方向にピンチアウトを行った場合は、図21(b)に示すように、ピンチアウトされた指の位置を結んだ線分の中心を通る垂直な線分でパノラマ画像を切断して、図21(c)に示すように、切断された2つのパノラマ画像の一方が上部へ、他方が下部へと移動する中間画像を生成して表示し、図21(d)に示すダブルパノラマ画像を表示する。なお、図21(d)及び図21(d)にて点線で示されている部分は、中間画像では表示されない隠れた部分である。この隠れた部分が中間画像の進展とともに、徐々に表示されていく。 On the other hand, as shown in FIG. 21A, when a single panorama image is horizontally pinched out, as shown in FIG. 21B, a line connecting the positions of the fingers pinched out. The panoramic image is cut by a vertical line segment passing through the center of the minute, and as shown in FIG. 21C, an intermediate image in which one of the two cut panoramic images moves to the top and the other moves to the bottom. Generated and displayed, a double panoramic image shown in FIG. In addition, the part shown with the dotted line in FIG.21 (d) and FIG.21 (d) is a hidden part which is not displayed in an intermediate image. This hidden portion is gradually displayed as the intermediate image progresses.
以上のように、本実施の形態のビューワ端末1によれば、画像が表示されているときに、パネルインターフェース11を用いて、直感的なユーザインターフェースにより、簡単な操作で、各種の表示の切替えを行なうことができる。また、本実施の形態のビューワ端末1によれば、表示が切り替わる過程で中間画像が生成されて表示されるので、ユーザは、表示が切り替わる前後において相関を認識し易くなる。
As described above, according to the viewer terminal 1 of the present embodiment, when an image is displayed, various display switching can be performed with a simple operation using an intuitive user interface using the
なお、上記のビューワ端末1の動作は、コンピュータプログラムがビューワ端末1に備えられた演算処理装置によって実行されることで実現されてよい。 Note that the operation of the viewer terminal 1 may be realized by executing a computer program by an arithmetic processing device provided in the viewer terminal 1.
以上のように、本発明は、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができ、全方位カメラで撮影された映像を表示する表示装置等として有用である。 As described above, the present invention is capable of intuitively switching display between an omnidirectional image and a distortion-corrected image with a simple operation, and a display device that displays an image captured by an omnidirectional camera. As useful.
1 ビューワ端末
11 パネルインターフェース
12 操作検出部
13 画像補正シーケンサ
14 中間画像生成部
15 歪み補正画像生成部
16 全方位画像取得部
17 全方位画像デコード部
18 画像キュー
19 画像表示部
131 パネル操作インターフェース部
132 タイマ制御部
133 目標画像判定部
134 表示画像判定部
135 補正パラメータ算出部
136 画像補正インターフェース部
DESCRIPTION OF SYMBOLS 1
Claims (14)
前記全方位画像の歪みを補正して少なくとも2つのパノラマ画像を生成するパノラマ画像生成部と、
取得した前記全方位画像、又は、生成した前記2つのパノラマ画像を表示部に表示する表示制御部と、
前記表示部に表示された画像に対する操作を検出する操作検出部と、を備え、
前記操作検出部が前記2つのパノラマ画像のいずれか一方に対するスクロール操作を検出する場合、前記表示制御部は前記2つのパノラマ画像の両方をスクロールする、画像表示装置。 An image acquisition unit for acquiring an omnidirectional image;
A panoramic image generation unit that corrects distortion of the omnidirectional image to generate at least two panoramic images;
A display control unit for displaying the acquired omnidirectional image or the generated two panoramic images on a display unit;
An operation detection unit that detects an operation on the image displayed on the display unit,
When the operation detection unit detects a scroll operation on one of the two panoramic images, the display control unit scrolls both the two panoramic images.
前記2つのパノラマ画像は互いに重複しない水平画角180度分のパノラマ画像である、画像表示装置。 The image display device according to claim 1,
The image display device, wherein the two panoramic images are panoramic images having a horizontal angle of view of 180 degrees that do not overlap each other.
前記操作検出部が前記2つのパノラマ画像の一方に対する前記スクロール操作を検出する場合、前記表示制御部は前記スクロール操作で指定された方向に前記2つのパノラマ画像の両方をスクロールする、画像表示装置。 The image display device according to claim 1,
When the operation detection unit detects the scroll operation with respect to one of the two panoramic images, the display control unit scrolls both the two panoramic images in the direction specified by the scroll operation.
前記操作検出部が前記2つのパノラマ画像の一方に対する前記スクロール操作を検出する場合、前記表示制御部は前記スクロール操作に応じた速度で前記2つのパノラマ画像の両方をスクロールする、画像表示装置。 The image display device according to claim 1,
When the operation detection unit detects the scroll operation with respect to one of the two panoramic images, the display control unit scrolls both the two panoramic images at a speed corresponding to the scroll operation.
前記2つのパノラマ画像のスクロール速度は、前記スクロール操作に応じて変化する、画像表示装置。 The image display device according to claim 4,
The image display device, wherein a scroll speed of the two panoramic images changes according to the scroll operation.
前記2つのパノラマ画像のスクロール速度は、前記スクロール操作に応じて変化しない、画像表示装置。 The image display device according to claim 4,
The image display device, wherein a scroll speed of the two panoramic images does not change according to the scroll operation.
前記表示制御部は、前記2つのパノラマ画像表示時において、前記操作検出部が検出する操作に基づいて前記2つのパノラマ画像のうちいずれか一方を非表示にする、画像表示装置。 The image display device according to claim 1,
The display control unit is an image display device that hides one of the two panoramic images based on an operation detected by the operation detection unit when the two panoramic images are displayed.
前記表示制御部は、前記2つのパノラマ画像の一方を非表示とする場合、前記2つのパノラマ画像の他方を前記表示部の中心方向へ移動させる、画像表示装置。 The image display device according to claim 7,
The display control unit, when one of the two panoramic images is not displayed, moves the other of the two panoramic images toward the center of the display unit.
前記表示制御部は、前記2つのパノラマ画像の一方の非表示時において、前記操作検出部が検出する操作に基づいて前記2つのパノラマ画像の両方を再表示する、画像表示装置。 The image display device according to claim 7,
The display control unit redisplays both of the two panoramic images based on an operation detected by the operation detection unit when one of the two panoramic images is not displayed.
前記表示制御部は、前記2つのパノラマ画像を再表示する場合、前記2つのパノラマ画像の他方を前記表示部の上方または下方に移動させる、画像表示装置。 The image display device according to claim 9,
The display control unit, when redisplaying the two panoramic images, moves the other of the two panoramic images upward or downward of the display unit.
前記2つのパノラマ画像表示時において前記操作検出部がピンチイン操作を検出する場合、前記表示制御部は前記2つのパノラマ画像のうちいずれか一方を非表示にする、画像表示装置。 The image display device according to claim 1,
When the operation detection unit detects a pinch-in operation when displaying the two panoramic images, the display control unit hides one of the two panoramic images.
前記パノラマ画像生成部は前記全方位画像から歪みを補正して1つのパノラマ画像を生成し、
前記表示制御部は、前記1つのパノラマ画像を表示時に前記操作検出部がピンチアウト操作を検出する場合、前記2つのパノラマ画像を表示する、画像表示装置。 The image display device according to claim 1,
The panoramic image generation unit corrects distortion from the omnidirectional image to generate one panoramic image,
The display control unit displays the two panoramic images when the operation detection unit detects a pinch-out operation when displaying the one panoramic image.
前記パノラマ画像生成部は前記全方位画像から歪みを補正して1つのパノラマ画像を生成し、
前記表示制御部は、前記1つのパノラマ画像を表示時に前記操作検出部がピンチアウト操作を検出する場合、前記ピンチアウト操作に基づいた位置より2つのパノラマ画像に分割する、画像表示装置。 The image display device according to claim 1,
The panoramic image generation unit corrects distortion from the omnidirectional image to generate one panoramic image,
The display control unit, when the operation detection unit detects a pinch-out operation when displaying the one panoramic image, divides the panoramic image into two panoramic images from a position based on the pinch-out operation.
取得した前記全方位画像から歪みを補正して少なくとも2つのパノラマ画像を生成することと、
ユーザ操作に応じて、生成した前記2つのパノラマ画像を表示部に表示することと、
前記2つのパノラマ画像のいずれか一方に対してスクロール操作された場合、前記2つのパノラマ画像の両方をスクロールすることと、を備える画像表示方法。
Acquiring an omnidirectional image,
Correcting the distortion from the acquired omnidirectional image to generate at least two panoramic images;
Displaying the generated two panoramic images on a display unit in response to a user operation;
An image display method comprising: scrolling both of the two panoramic images when a scroll operation is performed on one of the two panoramic images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018091519A JP6614516B2 (en) | 2018-05-10 | 2018-05-10 | Display device and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018091519A JP6614516B2 (en) | 2018-05-10 | 2018-05-10 | Display device and computer program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017081768A Division JP6344670B2 (en) | 2017-04-18 | 2017-04-18 | Display device and computer program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019193431A Division JP6811406B2 (en) | 2019-10-24 | 2019-10-24 | Display and computer programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018160903A JP2018160903A (en) | 2018-10-11 |
JP6614516B2 true JP6614516B2 (en) | 2019-12-04 |
Family
ID=63796805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018091519A Active JP6614516B2 (en) | 2018-05-10 | 2018-05-10 | Display device and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6614516B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7194953B1 (en) | 2022-06-03 | 2022-12-23 | 株式会社アルヴィオン | Programs for object manipulation |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115751A (en) * | 1998-09-30 | 2000-04-21 | Otec Denshi Kk | Monitor system |
JP2002152722A (en) * | 2000-11-13 | 2002-05-24 | Rosel Electronics Corp | Image projector and its method |
JP5272293B2 (en) * | 2005-09-14 | 2013-08-28 | ソニー株式会社 | Remote commander and electronic device operation input method |
JP2009188942A (en) * | 2008-02-08 | 2009-08-20 | Canon Inc | Device and method for displaying image, and program |
-
2018
- 2018-05-10 JP JP2018091519A patent/JP6614516B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018160903A (en) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11651471B2 (en) | Display device, computer program, and computer-implemented method | |
EP3792738B1 (en) | User interfaces for capturing and managing visual media | |
JP6886939B2 (en) | Information processing device control method, control program and information processing device | |
EP2207342B1 (en) | Mobile terminal and camera image control method thereof | |
KR100940971B1 (en) | Providing area zoom functionality for a camera | |
JP5429060B2 (en) | Display control apparatus, display control method, display control program, and recording medium on which this display control program is recorded | |
JP6145738B2 (en) | Display device and computer program | |
JP2004062648A5 (en) | ||
JPH09289607A (en) | Camera control system | |
JP2014127184A (en) | Information processor and display control method | |
JP5919570B2 (en) | Image display device and image display method | |
US10735606B2 (en) | Display device, image processing device and non-transitory recording medium determining continuity of operation two or more display areas | |
JP7231643B2 (en) | Information processing equipment | |
WO2018198703A1 (en) | Display device | |
JP5885152B2 (en) | Portable terminal device, program, and display control method | |
JP2011053587A (en) | Image processing device | |
JP6614516B2 (en) | Display device and computer program | |
JP2017017446A (en) | Information processing device and control method thereof, and program | |
WO2016157951A1 (en) | Display control device, display control method, and recording medium | |
JP6344670B2 (en) | Display device and computer program | |
JP7080711B2 (en) | Electronic devices, control methods, programs, and storage media for electronic devices | |
JP6811406B2 (en) | Display and computer programs | |
KR102575254B1 (en) | The Apparatus And The System For Mornitoring | |
KR101017098B1 (en) | Apparatus and method for displaying an image for a graphic user interface in a portable terminal apparatus | |
JP2006178222A (en) | Image display program and image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6614516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |