JP6811406B2 - Display and computer programs - Google Patents
Display and computer programs Download PDFInfo
- Publication number
- JP6811406B2 JP6811406B2 JP2019193431A JP2019193431A JP6811406B2 JP 6811406 B2 JP6811406 B2 JP 6811406B2 JP 2019193431 A JP2019193431 A JP 2019193431A JP 2019193431 A JP2019193431 A JP 2019193431A JP 6811406 B2 JP6811406 B2 JP 6811406B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- omnidirectional
- distortion
- correction
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Description
本発明は、映像を表示する表示装置に関し、特に、全方位カメラで撮影された映像を表示する表示装置に関する。 The present invention relates to a display device for displaying an image, and more particularly to a display device for displaying an image taken by an omnidirectional camera.
従来より、全方位カメラの映像をモニタに表示する表示装置が知られている。全方位カメラは水平視野角３６０度の魚眼レンズを用いて映像を生成するので、その映像（以下、「全方位画像」という。）は円形状又はドーナツ形状であり、外周に近い位置ほどひずみが大きくなるという特性がある。従って、従来の表示装置においては、撮影範囲の全体を確認できる全方位画像の表示のほか、全方位画像の全体又はその一部の切出し範囲について歪み補正を行なった画像（以下、「歪み補正画像」という。）の表示も可能とされている。そして、この表示の切替えは、ユーザの指示に基づいて行なわれる。 Conventionally, a display device for displaying an image of an omnidirectional camera on a monitor has been known. Since an omnidirectional camera uses a fisheye lens with a horizontal viewing angle of 360 degrees to generate an image, the image (hereinafter referred to as "omnidirectional image") is circular or donut-shaped, and the closer to the outer circumference, the greater the distortion. It has the characteristic of becoming. Therefore, in the conventional display device, in addition to displaying an omnidirectional image that can confirm the entire shooting range, an image in which distortion is corrected for the entire or a part of the cutout range of the omnidirectional image (hereinafter, "distortion correction image"). ".) Can also be displayed. Then, this display switching is performed based on the user's instruction.
一方、全方位カメラの映像を表示する表示装置は、例えば以下のようなシーンで利用される。ビジネスのシーンでは、携帯電話等の携帯端末を表示装置として、工事現場、施設、店舗等に設置された全方位カメラの映像を表示する。また、全方位カメラが監視カメラとして用いられる場合には、全方位カメラが鉄道のホームや駐車場等の監視対象場所に設置され、本部ないしは中央指令室で全方位カメラの映像が表示され、警備員がこれを監視する。さらに、全方位カメラを設置する際の作業員が電柱の上などの高所に、監視カメラとして用いられる全方位カメラを設置する場合には、設置工事事業者が、腕時計タイプなど、装着型の表示装置を用いて、全方位カメラの映像を確認しながら画角を調整する。 On the other hand, a display device that displays an image of an omnidirectional camera is used in the following scenes, for example. In the business scene, a mobile terminal such as a mobile phone is used as a display device to display images from omnidirectional cameras installed at construction sites, facilities, stores, and the like. When an omnidirectional camera is used as a surveillance camera, the omnidirectional camera is installed at a monitored location such as a railroad platform or parking lot, and the image of the omnidirectional camera is displayed at the headquarters or the central command room for security. Personnel monitor this. Furthermore, when a worker who installs an omnidirectional camera installs an omnidirectional camera used as a surveillance camera at a high place such as on an electric pole, the installation contractor installs a wearable type such as a watch type. Use the display device to adjust the angle of view while checking the image from the omnidirectional camera.
表示装置がモニタを備えたパーソナルコンピュータによって実現される場合には、マウスやキーボード等の操作入力手段があり、ユーザはこの操作入力手段を操作することで表示の切替えを指示することができる（例えば、特許文献１及び特許文献２を参照）。 When the display device is realized by a personal computer equipped with a monitor, there is an operation input means such as a mouse or a keyboard, and the user can instruct the switching of the display by operating the operation input means (for example). , Patent Document 1 and Patent Document 2).
しかしながら、上記のように、携帯電話等の小型の携帯端末を表示装置とする場合には、操作入力手段が物理的に制約され、従来のように、マウスやキーボードといった操作入力手段を採用できないことがある。上記のように高所作業者に装着される表示装置の場合には、表示装置はより小型になり、操作入力手段に対する制約はより厳しくなる。 However, as described above, when a small mobile terminal such as a mobile phone is used as a display device, the operation input means is physically restricted, and the operation input means such as a mouse or a keyboard cannot be adopted as in the conventional case. There is. In the case of the display device mounted on the worker at a high place as described above, the display device becomes smaller and the restrictions on the operation input means become stricter.
また、上記の本部ないしは中央指令室の表示装置のように、物理的な制約が比較的少ない場合においても、複雑な操作を行なわずに、より直感的な操作で、全方位画像と歪み補正画像との間の表示の切替えをできるようにするのが望ましい。 In addition, even when there are relatively few physical restrictions such as the display device of the above-mentioned headquarters or central command room, omnidirectional images and distortion correction images can be operated more intuitively without performing complicated operations. It is desirable to be able to switch the display between.
本発明は、上記の問題に鑑みてなされたものであり、直感的なユーザインターフェースにより、簡単な操作で、全方位画像と歪み補正画像との表示の切替えを行なうことができる表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a display device capable of switching between an omnidirectional image and a distortion-corrected image with a simple operation by using an intuitive user interface. The purpose is.
上記従来の課題を解決するために、本発明の表示装置は、全方位画像を取得する画像取得部と、パネルインターフェースを有するタッチパネル式の表示部と、前記全方位画像の一部又は全部について歪み補正をして歪み補正画像を生成する歪み補正画像生成部と、前記表示部に前記全方位画像又は前記歪み補正画像が表示されているときに、前記パネルインターフェースを用いて、表示されている画像に対して直接行われた、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えのための操作を検出する操作検出部と、前記表示部に前記全方位画像又は前記歪み補正画像を表示させるとともに、前記操作検出部にて検出された操作に従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えを行なう表示制御部とを備えた構成を有している。 In order to solve the above-mentioned conventional problems, the display device of the present invention distorts a part or all of an image acquisition unit that acquires an omnidirectional image, a touch panel type display unit that has a panel interface, and a part or all of the omnidirectional image. An image displayed using the panel interface when the omnidirectional image or the distortion correction image is displayed on the distortion correction image generation unit that corrects and generates the distortion correction image and the display unit. An operation detection unit that detects an operation for switching between the display of the omnidirectional image and the display of the distortion correction image, which is directly performed on the display unit, and the omnidirectional image or the distortion correction on the display unit. It has a configuration including a display control unit that displays an image and switches between displaying the omnidirectional image and displaying the distortion-corrected image according to an operation detected by the operation detection unit. There is.
この構成により、ユーザは、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。 With this configuration, when an omnidirectional image or a distortion correction image is displayed on the touch panel type display unit, the user can directly input an operation for switching the display to the displayed image. Therefore, it is possible to intuitively switch the display between the omnidirectional image and the distortion correction image with a simple operation.
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してピンチアウト操作がされたことを検出した場合に、前記全方位画像の表示を前記歪み補正画像の表示に切り替えてよい。 In the above display device, when the display control unit displays the omnidirectional image on the display unit, the operation detection unit pinches the omnidirectional image displayed on the display unit. When it is detected that the out operation has been performed, the display of the omnidirectional image may be switched to the display of the distortion correction image.
この構成により、ユーザによる全方位画像に対するピンチアウト操作と、全方位画像が展開されて歪み補正画像が表示されるという表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。 With this configuration, the pinch-out operation for the omnidirectional image by the user and the switching of the display in which the omnidirectional image is expanded and the distortion correction image is displayed are intuitively matched, so that the user can display the image more intuitively. Can be switched.
上記の表示装置において、前記表示制御部は、前記表示部に前記歪み補正画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記歪み補正画像に対してピンチイン操作がされたことを検出した場合に、前記歪み補正画像の表示を前記全方位画像の表示に切り替えてよい。 In the above display device, when the distortion correction image is displayed on the display unit, the display control unit pinches the operation detection unit with respect to the distortion correction image displayed on the display unit. When it is detected that the operation has been performed, the display of the distortion correction image may be switched to the display of the omnidirectional image.
この構成により、ユーザによる歪み補正画像に対するピンチイン操作と、歪み補正画像が全方位画像に戻される表示の切替えとが直感的に一致するので、ユーザは、より直感的に表示の切替えを行なうことができる。 With this configuration, the pinch-in operation for the distortion-corrected image by the user and the switching of the display in which the distortion-corrected image is returned to the omnidirectional image are intuitively matched, so that the user can switch the display more intuitively. it can.
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所を基線として前記全方位画像をパノラマ展開したパノラマ画像であってよい。 In the above display device, the distortion correction image may be a panoramic image obtained by panoramicly developing the omnidirectional image with the pinch-out operation as a baseline.
この構成により、ユーザによるピンチアウト操作と、全方位画像からパノラマ画像への表示の切替えとが、直感的に一致しているので、ユーザは、全方位画像からパノラマ画像への表示の切替えのための操作を簡単な操作で、直感的に行なうことができる。 With this configuration, the pinch-out operation by the user and the switching of the display from the omnidirectional image to the panoramic image are intuitively matched, so that the user can switch the display from the omnidirectional image to the panoramic image. Can be performed intuitively with simple operations.
上記の表示装置において、前記歪み補正画像は、前記ピンチアウト操作がされた箇所が拡大された切出し画像であってよい。 In the above display device, the distortion correction image may be a cut-out image in which the portion where the pinch-out operation is performed is enlarged.
この構成により、ピンチアウト操作と、拡大された切出し画像の表示とが、直感的に一致しているので、ユーザは、切出し画像の表示のための操作を簡単な操作で、直感的に行なうことができる。 With this configuration, the pinch-out operation and the display of the enlarged cutout image are intuitively matched, so that the user can intuitively perform the operation for displaying the cutout image with a simple operation. Can be done.
上記の表示装置において、前記表示制御部は、前記表示部に前記全方位画像が表示されている場合において、前記操作検出部が、前記表示部に表示されている前記全方位画像に対してタップ操作がされたことを検出したときに、前記全方位画像のタップ操作がされた
箇所について、前記表示部に前記歪み補正画像を表示させてよい。
In the above display device, the display control unit taps the omnidirectional image displayed on the display unit when the operation detection unit displays the omnidirectional image on the display unit. When it is detected that the operation has been performed, the distortion correction image may be displayed on the display unit at the portion where the tap operation of the omnidirectional image is performed.
この構成により、ユーザによる全方位画像に対するタップ操作と、そのタップ箇所の歪み補正画像の表示とが直感的に一致するので、ユーザは、歪み補正画像の表示のための操作を簡単な操作で、直感的に行なうことができる。 With this configuration, the tap operation on the omnidirectional image by the user and the display of the distortion correction image at the tapped portion intuitively match, so that the user can easily perform the operation for displaying the distortion correction image. It can be done intuitively.
上記の表示装置は、さらに、前記表示制御部は、前記操作検出部にて検出された操作に基づいて、画像の補正パラメータを決定してよく、前記表示装置は、さらに、前記表示制御部が決定した補正パラメータに従って、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に表示する中間画像を生成する中間画像生成部を備えていてよく、 前記表示制御部は、前記全方位画像の表示と前記歪み補正画像の表示との間の切替えの途中に、前記表示部に、前記中間画像生成部にて生成された前記中間画像を表示させてよい。 In the display device, the display control unit may further determine an image correction parameter based on an operation detected by the operation detection unit, and the display control unit may further determine an image correction parameter. The display control unit may include an intermediate image generation unit that generates an intermediate image to be displayed during switching between the display of the omnidirectional image and the display of the distortion correction image according to the determined correction parameter. During the switching between the display of the omnidirectional image and the display of the distortion correction image, the display unit may display the intermediate image generated by the intermediate image generation unit.
この構成により、ユーザは、中間画像によって表示の切替え過程を見ることができるので、自らが行なった操作を直感的に認識することができるとともに、切替え前の表示と切替え後の表示との間の相関を認識することができる。 With this configuration, the user can see the display switching process from the intermediate image, so that he / she can intuitively recognize the operation performed by himself / herself, and between the display before switching and the display after switching. Correlation can be recognized.
本発明の別の態様は、コンピュータプログラムであり、このコンピュータプログラムは、タッチパネル式の表示部を備えた表示装置にて実行されることにより、その表示装置を上記の表示装置として機能させる。 Another aspect of the present invention is a computer program, which is executed by a display device provided with a touch panel type display unit to cause the display device to function as the above-mentioned display device.
本発明は、タッチパネル式の表示部に全方位画像又は歪み補正画像が表示されているときに、その表示されている画像に対して、表示切替えのための操作を直接入力することができるので、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができる。 In the present invention, when an omnidirectional image or a distortion correction image is displayed on the touch panel type display unit, an operation for switching the display can be directly input to the displayed image. With a simple operation, it is possible to intuitively switch the display between the omnidirectional image and the distortion correction image.
以下、本発明を実施するための形態について、図面を参照しながら説明する。図１は、本発明の実施の形態における表示装置としてのビューワ端末の構成を示すブロックである。ビューワ端末１は、パネルインターフェース１１、操作検出部１２、画像補正シーケンサ１３、中間画像生成部１４、歪み補正画像生成部１５、全方位画像取得部１６、全方位画像デコード部１７、画像キュー１８、及び画像表示部１９を備えている。なお、画像表示部１９とパネルインターフェース１１とは重なって設けられ、これにより、タッチパネル式の表示部が形成されている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block showing a configuration of a viewer terminal as a display device according to an embodiment of the present invention. The viewer terminal 1 includes a
パネルインターフェース１１は、ユーザの指による操作を受け付けて、操作位置の情報を出力する。操作検出部１２は、パネルインターフェース１１から操作位置の情報を受けて、パネル操作に変化があった場合に、その変化内容に基づいて、ユーザによってなされたパネル操作の内容を検出する。ユーザの指によるパネルインターフェース１１への操作には、タップ、ドラッグ、フリック、ピンチ（ピンチアウト及びピンチイン）、及び回転が含まれる。
The
タップとは、パネルインターフェース１１の１箇所を指で軽く叩く操作、即ち、１つの指先でパネルインターフェース１１に触れた後、その指をパネルインターフェース１１上で移動させることなく、パネルインターフェース１１から離す操作をいう。ドラッグとは、パネルインターフェース１１を指で引きずる操作、即ち、１つの指先をパネルインターフェース１１に付けたまま動かし、指の動きを停止させてパネルインターフェース１１から指を離す操作をいう。フリックとは、パネルインターフェース１１を指ではじく操作、即ち、１つの指先をパネルインターフェース１１に付けたまま動かし、指の動きを止めないでパネルインターフェース１１から指を離す操作をいう。
The tap is an operation of tapping one part of the
ピンチアウトとは、２つの指先をパネルインターフェース１１に付けたまま、互いの距離が遠くなるように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。ピンチインとは、逆に、２つの指先をパネルインターフェース１１に付けたまま、互いの距離が近くなるように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。回転とは、２つの指先をパネルインターフェース１１に付けたまま、互いを結ぶ線分がパネルインターフェース１１の面内で回転するように、２つの指先のいずれか一方又は双方をパネルインターフェース１１上で移動させる操作をいう。
The pinch-out is an operation of moving one or both of the two fingertips on the
なお、ユーザの指による操作には、上記のほかに、ダブルタップ、ロングタップ等が含まれてよい。また、ビューワ端末１に電子コンパスが内蔵されており、ビューワ端末１の加速度（姿勢）を検知できる場合には、ユーザは、ビューワ端末１自体を振ったり（シェイク）、傾けたりすることで操作入力を行なってよい。この場合には、操作検出部１２は、ビューワ端末１の加速度に変化があった場合に、その変化内容に基づいてユーザによる操作を検出する。 In addition to the above, the operation by the user's finger may include a double tap, a long tap, and the like. Further, when the viewer terminal 1 has a built-in electronic compass and the acceleration (posture) of the viewer terminal 1 can be detected, the user inputs an operation by shaking (shaking) or tilting the viewer terminal 1 itself. May be done. In this case, when the acceleration of the viewer terminal 1 changes, the operation detection unit 12 detects the operation by the user based on the change content.
画像補正シーケンサ１３は、パネル操作の内容に従って、次に生成して表示する画像の補正パラメータ（中心座標、範囲、回転、歪み等）を決定することで、画像表示部１９に画像を表示させるとともに、全方位画像、中間画像、及び歪み補正画像（歪み補正画像は、パノラマ画像及び切出し画像を含む。）の表示の切替えを行なう。補正パラメータは全方位画像に対して補正を行なう際に用いられるパラメータである。全方位画像に補正パラメータが適用されることで、歪み補正画像又は中間画像が生成される。画像補正シーケンサ１３は、本発明の表示制御部に相当する。
The
中間画像生成部１４は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に切り替える際の中間画像を生成する。中間画像とは、切替え途中に表示する画像であ
る。中間画像生成部１４は、画像補正シーケンサ１３から入力した補正パラメータに基づいて、パネル操作の内容に応じた中間画像を生成する。中間画像生成部１４は、全方位画像から歪み補正画像、又は歪み補正画像から全方位画像に、段階的に切り替わるように見せるために、必要に応じて複数の中間画像を生成する。
The intermediate
歪み補正画像生成部１５は、画像補正シーケンサ１３から入力した補正パラメータに基づいて全方位画像に対して歪み補正を行い、歪み補正画像を生成する。全方位画像取得部１６は、魚眼レンズを用いた撮像装置（カメラ）によって撮影された全方位画像を取得する。この撮像装置は、水平画角３６０度、垂直画角１８０度の視野角を有する。全方位画像は、円形又はドーナツ型の画像であり、中心から離れるほど歪みが大きくなっている。撮像装置は、撮影対象場所の高所に設けられ、下向きに撮影を行なう。全方位画像取得部１６は、撮影装置によって撮影された全方位画像を圧縮された画像ファイルの形式で取得する。全方位画像取得部１６は、例えば、無線通信によって全方位画像の画像ファイルを受信する。
The distortion correction
全方位画像デコード部１７は、全方位画像取得部１６にて取得された全方位画像の画像ファイルをデコードして、全方位画像を展開する。画像キュー１８は、全方位画像デコード部１７にて展開された全方位画像を一時的に保存し、必要に応じて、画像補正シーケンサ１３又は画像表示部１９に出力する。画像表示部１９は、中間画像生成部１４にて生成された中間画像、歪み補正画像生成部１５にて生成された歪み補正画像、全方位画像でコード部１７にて展開された全方位画像を、モニタを用いて表示する。画像表示部１９は、本発明の表示部に相当する。
The omnidirectional
図２は、画像補正シーケンサの詳細な構成を示すブロック図である。図２に示すように、画像補正シーケンサ１３は、パネル操作インターフェース部１３１、タイマ制御部１３２、目標画像判定部１３３、表示画像判定部１３４、補正パラメータ算出部１３５、及び画像補正インターフェース部１３６を備えている。
FIG. 2 is a block diagram showing a detailed configuration of the image correction sequencer. As shown in FIG. 2, the
パネル操作インターフェース部１３１は、パネル操作に変化があった場合に、その変化の内容を操作検出部１２から取得する。タイマ制御部１３２は、最終的な目標画像を表示するまでの表示切替期間のタイマ制御を行う。全方位画像から歪み補正画像に表示を切り替える場合には、歪み補正画像が目標画像となり、歪み補正画像から全方位画像に表示を切り替える場合には、全方位画像が目標画像となる。パネル操作があると、タイマ制御部１３２は、その操作（タップ、ドラッグ、フリック、ピンチアウト、ピンチイン、回転）の具体的内容（操作位置及び強度）に応じてタイムアウト値を設定する。タイムアウトするまでは、中間画像が表示され、タイムアウト後に目標画像が表示される。
When there is a change in the panel operation, the panel
目標画像判定部１３３は、現在のパネル操作の内容に基づいて、目標画像の判定を行う。即ち、目標画像判定部１３３は、全方位画像が表示されているときに歪み補正画像へ表示を切り替える操作入力があった場合には、歪み補正画像を目標画像とする。この場合に、歪み補正画像には、パノラマ画像と切出し画像とがあるので、目標画像判定部１３３は、目標画像がパノラマ画像であるか切出し画像であるかも判定する。また、目標画像判定部１３３は、歪み補正画像が表示されているときに、全方位画像へ表示を切り替える操作入力があった場合には、全方位画像を目標画像とする。
The target
表示画像判定部１３４は、タイマ制御部１３２によるタイマ制御に従って、現在表示する画像（全方位画像、歪み補正画像、又は中間画像）を決定する。補正パラメータ算出部１３５は、表示する画像が中間画像である場合、それまでの操作入力の履歴や現在の操作入力の内容、及びタイマ値に従って、次に表示する中間画像の補正パラメータを決定する。補正パラメータには、中心座標、回転、及び歪みに関するパラメータが含まれる。画像
補正インターフェース部１３６は、表示画像判定部１３４にて決定された表示画像ごとに、画像生成処理を呼び出す。
The display
以上のように構成されたビューワ端末１を用いて行なう表示の切替えを説明する。表示の切替えには、（１）全方位画像からパノラマ画像への切替え、（２）パノラマ画像から全方位画像への切替え、（３）全方位画像から切出し画像を含むマルチ画像への切替え、（４）シングルパノラマ画像からダブルパノラマ画像への切替え、（５）ダブルパノラマ画像からシングルパノラマ画像への切替え、（６）パノラマ画像のスクロール、（７）切出し画像の切出し範囲の変更、（８）全方位画像の回転がある。以下、順に説明する。 The display switching performed by using the viewer terminal 1 configured as described above will be described. To switch the display, (1) switching from an omnidirectional image to a panoramic image, (2) switching from a panoramic image to an omnidirectional image, (3) switching from an omnidirectional image to a multi-image including a cutout image, ( 4) Switching from a single panoramic image to a double panoramic image, (5) Switching from a double panoramic image to a single panoramic image, (6) Scrolling the panoramic image, (7) Changing the cropping range of the cropped image, (8) All There is rotation of the orientation image. Hereinafter, they will be described in order.
（１）全方位画像からパノラマ画像への切替え
図３は、全方位画像からパノラマ画像への表示の切替えを説明する図である。なお、本実施の形態では、ビューワ端末１の表示部が長方形であり、本来は円形である全方位画像は、その上下の一部が切れて表示されているが、このように表示される画像も全方位画像と呼ぶ。図３（ａ）のように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、まず、基線（展開線）の選択を行う。基線の選択では、ユーザは、図３（ｂ）に示すように、全方位画像の中心から円周方向へドラック操作を行なう。次に、図３（ｃ）に示すように、ドラッグした線を跨ぐようにして、ピンチアウトの操作を行なう。
(1) Switching from an omnidirectional image to a panoramic image FIG. 3 is a diagram illustrating switching of display from an omnidirectional image to a panoramic image. In the present embodiment, the display unit of the viewer terminal 1 is rectangular, and the omnidirectional image, which is originally circular, is displayed with a part above and below it cut off, but the image is displayed in this way. Is also called an omnidirectional image. When an omnidirectional image is displayed as shown in FIG. 3A, the user first selects a baseline (expanded line) when he / she wants to develop the panoramic image. In the selection of the baseline, the user performs a drag operation from the center of the omnidirectional image in the circumferential direction as shown in FIG. 3 (b). Next, as shown in FIG. 3C, the pinch-out operation is performed so as to straddle the dragged line.
操作検出部１２は、この操作の類型（ドラック及びピンチアウト）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３の操作パネルインターフェース部１３１は、この操作の内容及び位置を入力して、これをタイマ制御部１３２及び目標画像判定部１３３に出力する。
The operation detection unit 12 detects the type (drag and pinch out), speed, and position of this operation and outputs the output to the
目標画像判定部１３３は、現在表示している画像（全方位画像）と操作の内容及び位置に基づいて、この操作が、全方位画像からパノラマ画像への変更であると判断し、目標画像はパノラマ画像であると判定し、その結果を表示画像判定部１３４及びタイマ制御部１３２に出力する。タイマ制御部１３２は、ピンチアウト操作における２つの指先が離れる速度に基づいて、全方位画像からパノラマ画像までの遷移に費やす時間を決定し、タイマをスタートさせる（即ち、指先の離れる速度が速いほど遷移時間を短くする）。
The target
表示画像判定部１３４は、タイマ制御部１３２からのタイマ値がタイムアウト値に達していない場合には、そのタイマ値に従った中間画像を表示させるべく、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。
When the timer value from the
補正パラメータ算出部１３５は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部１３６に出力する。表示画像判定部１３４は、タイマ値がタイムアウト値に達したら、表示すべき画像が目標画像（即ち、パノラマ画像）である旨を画像補正インターフェース部１３６に通知する。
The correction
画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部１４による中間画像生成処理を呼び出して、中間画像生成部１４に、補正パラメータ算出部１３５にて算出された補正パラメータを出力する。中間画像生成部１４は、補正パラメータ算出部１３５から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部１９に出力する。
When the
タイマ制御部１３２は、所定の中間画像フレームレートでタイマ値を表示画像判定部１３４に出力し、表示画像判定部１３４は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。そして、補正パラメータ算出部１３５は中間画像を生成するための補正パラメータを算出して、中間画像生成部１４はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
The
図３（ｄ）及び（ｅ）は、上記のようにして生成される中間画像を示している。中間画像は、円形の全方位画像から長方形のパノラマ画像に遷移する過程の画像であり、上方高は下に押し潰され、左右方向は外側に伸ばされ、基線に切り込みが入れられて徐々に下半分を消去していくように遷移する。 FIGS. 3 (d) and 3 (e) show intermediate images generated as described above. The intermediate image is an image of the process of transitioning from a circular omnidirectional image to a rectangular panoramic image. The upper height is crushed downward, the left-right direction is extended outward, and the baseline is cut and gradually lowered. The transition is to erase half.
タイマ制御部１３２から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部１３４にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が目標画像（即ち、歪み補正画像）である旨を歪み補正画像生成部１５に通知する。歪み補正画像生成部１５は、この通知を受けると、全方位画像を補正して、図３（ｆ）に示すように、歪みのないパノラマ画像を生成する。
If the display
なお、パノラマ画像は水平画角３６０度の全方位が画像表示部１９に表示されてもよいし、３６０度の水平画角の一部範囲に該当する部分のみが表示されてもよい。後者の場合には、スクロール操作によってパノラマ画像を左右にスクロールできるようにしてもよい。
As for the panoramic image, the omnidirectional image with a horizontal angle of view of 360 degrees may be displayed on the
なお、上記の例では、基線を全方位画像の中心から垂直下方向に引いてパノラマ展開をしたが、これに限られず、基線を全方位画像の中心から任意の円周方向に引いてもよい。この場合にも、中間画像生成部１４及び歪み補正画像生成部１５は、この基線から切り離すように全方位画像を展開して、中間画像及びパノラマ画像生成する。
In the above example, the baseline is drawn vertically downward from the center of the omnidirectional image to develop the panorama, but the present invention is not limited to this, and the baseline may be drawn from the center of the omnidirectional image in any circumferential direction. .. Also in this case, the intermediate
（２）パノラマ画像から全方位画像への切替え
図４は、パノラマ画像から全方位画像への表示の切替えを説明する図である。図４（ａ）のようにパノラマ画像が表示されている場合に、ユーザは、これを全方位画像に変更したいときは、パノラマ画像上で左右方向にピンチイン操作を行なう。操作検出部１２は、この操作の類型（ピンチイン）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３の操作パネルインターフェース部１３１は、この操作の内容及び位置を入力して、これをタイマ制御部１３２及び目標画像判定部１３３に出力する。
(2) Switching from a panoramic image to an omnidirectional image FIG. 4 is a diagram illustrating switching of display from a panoramic image to an omnidirectional image. When a panoramic image is displayed as shown in FIG. 4A, the user performs a pinch-in operation in the left-right direction on the panoramic image when he / she wants to change it to an omnidirectional image. The operation detection unit 12 detects the type (pinch-in), speed, and position of this operation and outputs it to the
目標画像判定部１３３は、現在表示している画像（パノラマ画像）と操作の内容及び位置に基づいて、この操作が、パノラマ画像から全方位画像への変更であると判断し、目標画像は全方位画像であると判定し、その結果を表示画像判定部１３４及びタイマ制御部１３２に出力する。タイマ制御部１３２は、ピンチイン操作における２つの指先が近づく速度に基づいて、パノラマ画像から全方位画像までの遷移に費やす時間を決定し、タイマをスタートさせる（即ち、指先の近づく速度が速いほど遷移時間を短くする）。
The target
補正パラメータ算出部１３５は、タイムアウト値に対する現在のタイマ値の比率に従って、中間画像を生成するための補正パラメータを生成し、画像補正インターフェース部１
３６に出力する。表示画像判定部１３４は、タイマ値がタイムアウト値に達したら、その旨を画像補正インターフェース部１３６に通知する。
The correction
Output to 36. When the timer value reaches the timeout value, the display
画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が中間画像である旨の通知を受けたら、中間画像生成部１４による中間画像生成処理を呼び出して、中間画像生成部１４に、補正パラメータ算出部１３５にて算出された補正パラメータを出力する。中間画像生成部１４は、補正パラメータ算出部１３５から入力した補正パラメータを用いて全方位画像を補正して、中間画像を生成し、画像表示部１９に出力する。
When the
タイマ制御部１３２は、所定の中間画像フレームレートでタイマ値を表示画像判定部１３４に出力し、表示画像判定部１３４は、その都度タイマ値がタイムアウト値に達していないかを判断して、タイマ値がタイムアウト値に達するまで、表示すべき画像が中間画像である旨を画像補正インターフェース１３６に通知し、タイムアウト値及び現在のタイマ値、又はタイムアウト値に対する現在のタイマ値の比率を補正パラメータ算出部１３５に出力する。そして、補正パラメータ算出部１３５は中間画像を生成するための補正パラメータを算出して、中間画像生成部１４はその補正パラメータを使用して中間画像を生成する。これにより、タイムアウトするまでは上記の中間画像フレームレートで中間画像が生成される。
The
図４（ｂ）は、上記のようにして生成される中間画像を示している。中間画像は、パノラマ画像が上方向に引き伸ばされ、左右方向は内側に押し潰されるように遷移する。 FIG. 4B shows an intermediate image generated as described above. In the intermediate image, the panoramic image is stretched upward, and the left-right direction is crushed inward.
タイマ制御部１３２から中間画像フレームレートでタイマ値が出力された結果、表示画像判定部１３４にてタイマ値がタイムアウトしたと判断された場合は、画像補正インターフェース１３６は、表示画像判定部１３４から表示すべき画像が目標画像（即ち、全方位画像）である旨を画像キュー１８に通知する。画像キュー１８は、この通知を受けると、全方位画像を画像表示部１９に出力し、画像表示部１９は、図４（ｃ）に示すように全方位画像を表示する。その際に、パノラマ画像上でピンチインした位置が目標画像である全周囲画像の上中心に対応するようにしてもよい。
If the display
図５は、上記の（１）及び（２）の切替えのフロー図である。図５に示すフローは、１フレームごとに繰り返し実行される。操作検出部１２は、パネルインターフェース１１に操作があるか否かを監視し（ステップＳ５１）、パネルインターフェース１１に操作があると（ステップＳ５１にてＹＥＳ）、画像補正シーケンサ１３の目標画像判定部１３３が、目標画像がパノラマ画像であるか全方位画像であるかを判定する（ステップＳ５２）。
FIG. 5 is a flow chart of switching between (1) and (2) above. The flow shown in FIG. 5 is repeatedly executed every frame. The operation detection unit 12 monitors whether or not the
そして、タイマ制御部１３２がタイムアウト値を更新し（ステップＳ５３）、補正パラメータ算出部１３５が補正パラメータを生成する（ステップＳ５４）。そして、中間画像生成部１４は、生成された補正パラメータを用いて中間画像を生成する。
Then, the
次にステップＳ５１に戻ると、既に表示の切替えのための操作は終了しているので、パネルインターフェース１１操作は無いと判断されて（ステップＳ５１にてＮＯ）、タイマ制御部におけるタイマ値がタイムアウトしているか否かを判断する（ステップＳ５６）。タイマ値がタイムアウトしていない場合は（ステップＳ５６にてＮＯ）、補正パラメータ算出部１３５にてそのタイマ値を用いて再び補正パラメータを算出して（ステップＳ５４）、中間画像生成部１４にて中間画像を生成する（ステップＳ５５）。
Next, when returning to step S51, since the operation for switching the display has already been completed, it is determined that there is no
上記の処理を繰り返して、ステップＳ５６にてタイマ値がタイムアウトしたと判断されたときは（ステップＳ５６にてＹＥＳ）、表示画像判定部１３４は、目標画像判定部１３３の判定に従って、目標画像がパノラマ画像であるか否かを判定する（ステップＳ５７）
。目標画像がパノラマ画像であるときは（ステップＳ５７にてＹＥＳ）、歪み補正画像生成部１５にて、全方位画像に歪み補正を行なってパノラマ画像を生成する（ステップＳ５８）。目標画像が全方位画像であるときは、画像キュー１８から全方位画像を補正することなくそのまま画像表示部１９に出力して、画像表示部１９にてこれを表示する（ステップＳ５９）。
When it is determined in step S56 that the timer value has timed out by repeating the above processing (YES in step S56), the display
.. When the target image is a panoramic image (YES in step S57), the distortion correction
（３）全方位画像から切出し画像を含むマルチ画像への切替え
図６は、全方位画像から切出し画像を含むマルチ画像への切替えを説明する図である。図６（ａ）のように全方位画像が表示されている場合に、全方位画像では、予め図示しない動体検出手段により前のフレームとの差分が閾値以上となる領域が動体として検出されており、ユーザは、そのいずれかの動体領域を切り出して切出し画像を表示したい場合には、図６（ｂ）に示すように、切り出したい領域をタップする。
(3) Switching from an omnidirectional image to a multi-image including a cut-out image FIG. 6 is a diagram illustrating switching from an omnidirectional image to a multi-image including a cut-out image. When the omnidirectional image is displayed as shown in FIG. 6A, in the omnidirectional image, a region where the difference from the previous frame is equal to or greater than the threshold value is detected as a moving object by a moving object detecting means (not shown in advance). When the user wants to cut out one of the moving body areas and display the cut-out image, the user taps the area to be cut out as shown in FIG. 6 (b).
操作検出部１２は、この操作の類型（タップ）、速度、及び位置を検出して画像補正シーケンサ１３に出力する。画像補正シーケンサ１３は、動体領域を全方位画像から切り出して、歪み補正画像生成部１５は、この切り出した領域について、歪み補正を行い、切出し画像を生成する。画像表示部１９は、図６（ｃ）に示すように、生成された切出し画像を全方位画像に重畳させて表示される。このとき、切出し画像は、全方位画像中の切り出した領域に重なる位置を初期位置として、全方位画像に重畳される。
The operation detection unit 12 detects the type (tap), speed, and position of this operation and outputs it to the
図６（ｃ）に示すように、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチアウト操作を行なうことで、切出し画像を拡大することができる。また、ユーザは、全方位画像に重畳表示された切出し画像に対してピンチイン操作を行なうことで、切出し画像を縮小することができる。 As shown in FIG. 6C, the user can enlarge the cutout image by performing a pinch-out operation on the cutout image superimposed on the omnidirectional image. In addition, the user can reduce the cutout image by performing a pinch-in operation on the cutout image superimposed on the omnidirectional image.
さらに、ユーザは、図６（ｄ）に示すように、複数の領域についてそれぞれ切出し画像を生成することで、複数の切出し画像を全方位画像に重畳表示させることもできる。切出し画像が全方位画像に重畳されている場合に、ユーザがビューワ端末１を振る（シェイク）操作を行なうと、重畳表示されている切出し画像は、全方位画像とともに並べられて表示され、図６（ｆ）に示すように、マルチ画面が生成される。 Further, as shown in FIG. 6D, the user can superimpose and display the plurality of cropped images on the omnidirectional image by generating the cropped images for each of the plurality of regions. When the user performs a shake operation of the viewer terminal 1 when the cutout image is superimposed on the omnidirectional image, the superimposed cutout image is displayed side by side with the omnidirectional image, and FIG. As shown in (f), a multi-screen is generated.
（４）シングルパノラマ画像からダブルパノラマ画像への切替え
図７は、シングルパノラマ画像からダブルパノラマ画像への切替えを説明する図である。１つのパノラマ画像が表示されている場合（シングルパノラマ画像）に、図７に示すように、このパノラマ画像に対してピンチアウト操作を行なうことで、上下２段のパノラマ画像が表示される（ダブルパノラマ画像）。ダブルパノラマ画像では、上下のそれぞれのパノラマ画像は、互いに重複しない水平画角１８０度分のパノラマ画像を表示してよい。
(4) Switching from a single panoramic image to a double panoramic image FIG. 7 is a diagram illustrating switching from a single panoramic image to a double panoramic image. When one panoramic image is displayed (single panoramic image), as shown in FIG. 7, by performing a pinch-out operation on this panoramic image, two upper and lower panoramic images are displayed (double). Panorama image). In the double panoramic image, the upper and lower panoramic images may display panoramic images having a horizontal angle of view of 180 degrees that do not overlap with each other.
（５）ダブルパノラマ画像からシングルパノラマ画像への切替え
図８は、ダブルパノラマ画像からシングルパノラマ画像への切替えを説明する図である。図８（ａ）に示すように、ダブルパノラマ画像が表示されている場合に、ユーザは、これをシングルパノラマ画像に変更したいときは、上下のそれぞれのパノラマ画像に１つずつ指を触れて、それらの距離を近づけるように、上下にピンチインの操作を行なう。
(5) Switching from a double panoramic image to a single panoramic image FIG. 8 is a diagram illustrating switching from a double panoramic image to a single panoramic image. As shown in FIG. 8A, when a double panoramic image is displayed and the user wants to change it to a single panoramic image, he / she touches each of the upper and lower panoramic images one by one with his / her finger. Pinch in up and down to bring them closer together.
中間画像補正部１５は、図８（ｂ）に示すように、２つのパノラマ画像が重なるように（上側のパノラマ画像が上面になるように）して、上側のパノラマ画像が下方に、下側のパノラマ画像が上方に移動するような中間画像を生成し、最終的には図８（ｃ）に示すように、上側のパノラマ画像のみを表示する。
As shown in FIG. 8B, the intermediate
（６）パノラマ画像のスクロール
図９は、シングルパノラマ画像のスクロールを説明する図である。図９（ａ）に示すようにパノラマ画像が表示されている場合において、ユーザが、このパノラマ画像を横方向にスクロールしたいときは、パノラマ画像をスクロールしたい方向にフリックする。
(6) Scrolling of a panoramic image FIG. 9 is a diagram illustrating scrolling of a single panoramic image. When a panoramic image is displayed as shown in FIG. 9A, when the user wants to scroll the panoramic image in the horizontal direction, he / she flicks the panoramic image in the direction in which he / she wants to scroll.
図９（ａ）の例では、パノラマ画像が右方向にフリックされたので、図９（ｂ）に示すように、パノラマ画像が右方向に移動する。なお、フリック操作の後には、フリック操作の強度（指がパネルインターフェース１１から離れる際の指の移動速度）に応じた量だけパノラマ画像を移動させてスクロールを停止してもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じてパノラマ画像の移動の速度を決定してもよい。 In the example of FIG. 9A, the panoramic image is flicked to the right, so that the panoramic image moves to the right as shown in FIG. 9B. After the flick operation, the panoramic image may be moved by an amount corresponding to the strength of the flick operation (the moving speed of the finger when the finger leaves the panel interface 11) to stop scrolling, or the flick operation may be performed. If so, scrolling may continue at a constant speed. Further, the moving speed of the panoramic image may be determined according to the intensity of the flick operation.
図１０は、ダブルパノラマ画像のスクロールを説明する図である。図９（ａ）に示すようにダブルパノラマ画像が表示されている場合において、ユーザが、このダブルパノラマ画像を横方向にスクロールしたいときは、ダブルパノラマ画像の上下のいずれか一方をスクロールしたい方向にフリックする。 FIG. 10 is a diagram illustrating scrolling of a double panoramic image. When a double panoramic image is displayed as shown in FIG. 9A, when the user wants to scroll the double panoramic image in the horizontal direction, he / she wants to scroll either the top or bottom of the double panorama image in the desired direction. Flick.
図９（ａ）の例では、上側のパノラマ画像が右方向にフリックされたので、図９（ｂ）に示すように、上側のパノラマ画像が右方向に移動する。このとき、下側のパノラマ画像も、上側のスクロールに応じて右側に移動する。なお、シングルパノラマの場合と同様に、フリック操作の後には、フリック操作の強度に応じた量だけ上下のパノラマ画像を移動させてもよいし、フリック操作があった場合には、一定の速度でスクロールを継続してもよい。さらに、フリック操作の強度の強度に応じて上下のパノラマ画像の移動の速度を決定してもよい。 In the example of FIG. 9A, the upper panoramic image is flicked to the right, so that the upper panoramic image moves to the right as shown in FIG. 9B. At this time, the lower panoramic image also moves to the right according to the scrolling of the upper side. As in the case of the single panorama, after the flick operation, the upper and lower panoramic images may be moved by an amount according to the intensity of the flick operation, and when the flick operation is performed, the panoramic image may be moved at a constant speed. You may continue scrolling. Further, the moving speed of the upper and lower panoramic images may be determined according to the intensity of the flick operation.
図１１は、パノラマ画像のスクロールの変形例を説明する図である。パノラマ画像のスクロールは、上記のようなフリック操作のほか、ビューワ端末１を傾ける操作によっても行なうことができる。図１０（ａ）のように、パノラマ画像が表示されている場合において、ビューワ端末１の右側が下方に、左側が上方になるように、ビューワ端末１を傾けることで、図１０（ｂ）に示すように、パノラマ画像は右側に移動する。また、ビューワ端末１を逆方向、即ち、右側が上方に、左側が下方になるように傾けることで、パノラマ画像は左側に移動する。なお、この変形例においても、傾きの度合いに応じてパノラマ画像の移動の速度を可変させてよい。 FIG. 11 is a diagram illustrating a modified example of scrolling of a panoramic image. In addition to the flick operation as described above, the panoramic image can be scrolled by tilting the viewer terminal 1. When a panoramic image is displayed as shown in FIG. 10 (a), tilting the viewer terminal 1 so that the right side of the viewer terminal 1 is downward and the left side is upward is shown in FIG. 10 (b). As shown, the panoramic image moves to the right. Further, by tilting the viewer terminal 1 in the opposite direction, that is, the right side is upward and the left side is downward, the panoramic image is moved to the left side. Also in this modified example, the moving speed of the panoramic image may be changed according to the degree of inclination.
なお、パノラマ画像のスクロールは、ドラッグ操作によっても行なうことができる。この場合には、パノラマ画像は、ドラッグ操作によって引きずられた方向に、引きずられた量だけ移動する。 The panoramic image can also be scrolled by dragging. In this case, the panoramic image moves in the direction dragged by the drag operation by the dragged amount.
（７）切出し画像の切出し範囲の変更
図１２は、切出し画像の切出し範囲の変更を説明する図である。図１２（ａ）に示すように、全方位画像が表示されている場合に、ユーザは、この全方位画像の一部領域を高画質（歪がなく、高解像度）で表示したいときは、当該領域に対してピンチアウト操作を行なう。なお、このとき、動体検出手段によって動体として検出された領域のみがこのピンチアウトの操作の対象とされてよい。
(7) Change of Cutout Range of Cutout Image FIG. 12 is a diagram for explaining change of the cutout range of the cutout image. As shown in FIG. 12A, when an omnidirectional image is displayed and the user wants to display a part of the omnidirectional image with high image quality (no distortion and high resolution), the user concerned. Pinch out the area. At this time, only the region detected as a moving object by the moving object detecting means may be the target of this pinch-out operation.
ピンチアウトの操作を受けると、歪補正画像生成部１５は、該当領域の切出し画像を生成して、画像表示部１９は、図１２（ｂ）に示すように、この切出し画像を全画面表示する。切出し画像中で動体が移動し、ユーザがこの移動体とともに切出し画像を生成する領域を移動させたい場合には、図１２（ｃ）に示すように、全画面表示された切出し画像を移動したい方向にドラッグする。歪み補正画像生成部１５は、ドラッグに応じた方向及び量で切出し領域を移動させて、新たな切出し画像を生成し、画像表示部１９はこのように
してドラッグされている間連続的に生成される切出し画像を表示する。
Upon receiving the pinch-out operation, the distortion correction
（８）全方位画像の回転
図１３は、全方位画像の回転を説明する図である。図１３（ａ）に示すように、膳方画像が表示されている場合において、この全方位画像を回転させたいときは、図１３（ｂ）に示すように、画像中の任意の２点を２つの指で同時に触れて、当該２点を結ぶ線が画面内で回転するように、２つの指の両方又はいずれか１方をパネルインターフェース１１上で移動させる。
(8) Rotation of Omnidirectional Image FIG. 13 is a diagram illustrating rotation of the omnidirectional image. As shown in FIG. 13 (a), when a set image is displayed and it is desired to rotate this omnidirectional image, as shown in FIG. 13 (b), any two points in the image are displayed. Touch with two fingers at the same time and move both or one of the two fingers on the
このような回転操作に従って、画像表示部１９は、表示する全方位画像の方向を変更する。なお、２つの指が同時にフリックされることで、指をパネルインターフェース１１上から話した後にも全方位画像を継続して回転させるようにしてもよい。
According to such a rotation operation, the
上記の表示の切替えについては、種々の変形が可能である。以下、変形例を説明する。 Various modifications can be made to the above-mentioned display switching. A modified example will be described below.
（第１の変形例）
図１４は、第１の変形例を示す図である。第１の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１４に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の左右両端部分にそれぞれ指を触れて、外方向に広げるようにピンチアウト操作を行う。なお、モニタが小さい場合には、このピンチアウトの操作は片手（例えば親指と人差し指）で行なうことができ、モニタが大きい場合には、図１４に示すように、両手を使ってピンチアウト操作を行なえばよい。
(First modification)
FIG. 14 is a diagram showing a first modification. The first modification is a modification of switching from an omnidirectional image to a panoramic image. When an omnidirectional image is displayed as shown in FIG. 14, when the user wants to expand the panoramic image, he / she touches the left and right ends of the omnidirectional image with his / her fingers and spreads them outward. Perform a pinch-out operation. When the monitor is small, this pinch-out operation can be performed with one hand (for example, thumb and index finger), and when the monitor is large, the pinch-out operation is performed using both hands as shown in FIG. Just do it.
上記のピンチアウト操作により、全方位画像は外方向に引っ張られるようにして連続的にパノラマ画像に展開される。このとき、例えば、２つの指で触れた箇所を直線で結び、その中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。 By the above pinch-out operation, the omnidirectional image is continuously expanded into a panoramic image so as to be pulled outward. At this time, for example, the omnidirectional image can be developed into a panoramic image so that the points touched by the two fingers are connected by a straight line and the center coordinates are positioned on the straight line extending in the vertical direction from the midpoint.
この第１の変形例によっても、全方位画像の左右両端をピンチアウトするという操作と、全方位画像が外方向に引っ張られてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Even in this first modification, the operation of pinching out the left and right ends of the omnidirectional image and the switching of the display in which the omnidirectional image is pulled outward and transitions to a panoramic image are sensuously matched. , User operability and visibility are improved.
（第２の変形例）
図１５は、第２の変形例を示す図である。第２の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１５に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の上下両端部分にそれぞれ指を触れて、内方向に狭めるようにピンチイン操作を行う。なお、モニタが小さい場合には、このピンチインの操作は片手（例えば親指と人差し指）で行なうことができ、モニタが大きい場合には、図１５に示すように、両手を使ってピンチイン操作を行なえばよい。
(Second modification)
FIG. 15 is a diagram showing a second modification. The second modification is a modification of switching from an omnidirectional image to a panoramic image. When an omnidirectional image is displayed as shown in FIG. 15, when the user wants to expand the panoramic image, he / she touches the upper and lower ends of the omnidirectional image with his / her fingers and narrows them inward. Perform a pinch-in operation. If the monitor is small, this pinch-in operation can be performed with one hand (for example, thumb and index finger), and if the monitor is large, the pinch-in operation can be performed using both hands as shown in FIG. Good.
上記のピンチイン操作により、全方位画像は内方向に潰されるようにして連続的にパノラマ画像に展開される。このとき、例えば、２つの指で触れた箇所を直線で結び、その直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。 By the above pinch-in operation, the omnidirectional image is continuously expanded into a panoramic image so as to be crushed inward. At this time, for example, the omnidirectional image can be developed into a panoramic image so that the points touched by the two fingers are connected by a straight line and the center coordinates are positioned on the straight line.
この第２の変形例によっても、全方位画像の上下両端をピンチインするという操作と、全方位画像が内方向に潰されてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Even in this second modification, the operation of pinching in the upper and lower ends of the omnidirectional image and the switching of the display in which the omnidirectional image is crushed inward and changed to a panoramic image are sensuously matched. User operability and visibility are improved.
（第３の変形例）
図１６は、第３の変形例を示す図である。第３の変形例は、全方位画像からパノラマ画像への切替えの変形例である。図１６（ａ）に示すように全方位画像が表示されている場合に、ユーザは、これをパノラマ画像に展開したいときは、全方位画像の中央部を、図１６（ａ）のように左右方向に切込みを入れるようにドラッグ操作し、次に、図１６（ｂ）に示すように切込みを入れた線を跨ぐようにして、２つの指で上下にピンチアウト操作を行なう。
(Third variant)
FIG. 16 is a diagram showing a third modification. The third modification is a modification of switching from an omnidirectional image to a panoramic image. When an omnidirectional image is displayed as shown in FIG. 16A, when the user wants to develop the panoramic image, the central portion of the omnidirectional image is moved to the left and right as shown in FIG. 16A. A drag operation is performed so as to make a notch in the direction, and then a pinch-out operation is performed up and down with two fingers so as to straddle the notched line as shown in FIG. 16 (b).
上記の一連の操作により、全方位画像はドラッグされた線から切り込みが入れられ、ドーナツ状になるように連続的にパノラマ画像に展開される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像をパノラマ画像に展開することができる。 By the above series of operations, the omnidirectional image is cut from the dragged line and continuously developed into a panoramic image so as to form a donut shape. At this time, for example, the omnidirectional image can be developed into a panoramic image so that the center coordinates are positioned on a straight line extending in the vertical direction from the midpoint of the dragged line.
この第３の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Also in this third modification, switching between the operation of making a cut in the center of the omnidirectional image and pinching out, and the display of widening the cut so that the omnidirectional image becomes a donut shape and transitioning to a panoramic image. Is sensuously matched with, and the operability and visibility of the user are improved.
なお、上記の例では、全方位画像の中央部を横方向にドラッグして切込みを入れ、その切込みを開くように上下にピンチアウトの操作を行なったが、これに限らず、全方位画像の中央部を縦方向にドラッグして切込みを入れ、その切込みを開くように左右にピンチアウトの操作を行なっても、全方位画像がドーナツ状になるように切り込みを広げてパノラマ画像に推移するようにしてよい。 In the above example, the central part of the omnidirectional image was dragged horizontally to make a notch, and the pinch-out operation was performed up and down to open the notch, but the present invention is not limited to this. Even if you drag the center part vertically to make a notch and pinch out left and right to open the notch, widen the notch so that the omnidirectional image becomes a donut shape and transition to a panoramic image. May be.
（第４の変形例）
図１７は、第４の変形例を示す図である。第４の変形例は、全方位画像からパノラマ画像への切替えの変形例である。この変形例では、全方位画像からダブルパノラマ画像に表示が切替えられる。図１７（ａ）に示すように全方位画像が表示されている場合に、ユーザは、これをダブルパノラマ画像に展開したいときは、図１７（ａ）に示すように、全方位画像の横方向の直径に切込みを入れるようにドラッグ操作を行なう。そして、図１７（ｂ）に示すように、切込みを入れた線を跨ぐようにして、２つの指で上下にピンチアウト操作を行なう。
(Fourth modification)
FIG. 17 is a diagram showing a fourth modification. The fourth modification is a modification of switching from an omnidirectional image to a panoramic image. In this modification, the display is switched from the omnidirectional image to the double panoramic image. When an omnidirectional image is displayed as shown in FIG. 17 (a), when the user wants to develop the omnidirectional image into a double panoramic image, the user wants to develop the omnidirectional image in the horizontal direction as shown in FIG. 17 (a). Perform a drag operation so as to make a notch in the diameter of. Then, as shown in FIG. 17B, the pinch-out operation is performed up and down with two fingers so as to straddle the notched line.
上記の一連の操作により、全方位画像はドラッグされた線を境に、上下それぞれについてパノラマ展開されて、ダブルパノラマ画像が表示される。このとき、例えば、ドラッグされた線の中点から垂直方向に伸ばした直線上に中心座標を位置させるように、全方位画像を上下それぞれのパノラマ画像に展開することができる。 By the above series of operations, the omnidirectional image is panoramicly expanded vertically with the dragged line as a boundary, and a double panoramic image is displayed. At this time, for example, the omnidirectional image can be expanded into the upper and lower panoramic images so that the center coordinates are positioned on a straight line extending in the vertical direction from the midpoint of the dragged line.
この第４の変形例によっても、全方位画像の中央部に切り込みをいれてピンチアウトするという操作と、全方位画像の切込みを境とする上半分及び下半分がそれぞれパノラマ画像に展開されて上下に並べられるという表示の切替えとが感覚的に一致して、ユーザの操作性及び見易さが向上する。 Also in this fourth modification, the operation of making a cut in the center of the omnidirectional image and pinching out, and the upper and lower halves of the cut in the omnidirectional image are expanded into the panoramic image and moved up and down, respectively. The user's operability and visibility are improved by sensuously matching the switching of the display of being arranged in.
（第５の変形例）
図１８及び図１９は、第５の変形例を示す図である。第５の変形例は、全方位画像からの切替えの変形例である。この変形例では、全方位画像上でのピンチアウトの行う方向に応じて目標画像を切り替える。図１８（ａ）に示すように、全方位画像の半径方向にピンチアウトの操作が行なわれた場合は、図１８（ｂ）に示すように、切出し画像を含むマルチ画像が目標画像とされ、上記の「（３）全方位画像から切出し画像を含むマルチ画像へ
の切替え」で説明したのと同様の動作を行なう。このとき、ピンチアウトされた位置にある人物が拡大されて切出し画像として表示される。
(Fifth variant)
18 and 19 are views showing a fifth modification. The fifth modification is a modification of switching from an omnidirectional image. In this modification, the target image is switched according to the direction in which the pinch out is performed on the omnidirectional image. When the pinch-out operation is performed in the radial direction of the omnidirectional image as shown in FIG. 18 (a), the multi-image including the cutout image is set as the target image as shown in FIG. 18 (b). The same operation as described in "(3) Switching from an omnidirectional image to a multi-image including a cutout image" is performed. At this time, the person at the pinched out position is enlarged and displayed as a cutout image.
一方、図１９（ａ）に示すように、全方位画像の円周方向にピンチアウトの操作が行われた場合は、図１９（ｂ）に示すように、パノラマ画像が目標画像とされ、上記の「（１）全方位画像からパノラマ画像への切替え」で説明したパノラマ画像への切替えと同様の動作を行なう。このとき、ピンチアウトされた指の位置を結んだ線分の中心と全方位画像の中心を結んだ線分を基線としてパノラマ展開が行なわれる。 On the other hand, as shown in FIG. 19 (a), when the pinch-out operation is performed in the circumferential direction of the omnidirectional image, the panoramic image is set as the target image as shown in FIG. 19 (b). The same operation as the switching to the panoramic image described in "(1) Switching from the omnidirectional image to the panoramic image" is performed. At this time, panoramic development is performed with the center of the line segment connecting the pinched-out finger positions and the line segment connecting the centers of the omnidirectional images as the baseline.
（第６の変形例）
図２０及び図２１は、第６の変形例を示す図である。第６の変形例は、シングルパノラマ画像からダブルパノラマ画像への切替えの変形例である。この変形例では、シングルパノラマ画像上でピンチアウトを行う方向に応じて中間画像を切り替える。図２０（ａ）に示すように、シングルパノラマ画像に対して縦方向にピンチアウトを行った場合は、図２０（ｂ）に示すように、「（４）シングルパノラマ画像からダブルパノラマ画像への切替え」で説明したのと同様にして中間画像を生成して表示し、図２０（ｃ）に示すダブルパノラマ画像を表示する。
(Sixth variant)
20 and 21 are views showing a sixth modification. The sixth modification is a modification of switching from a single panorama image to a double panorama image. In this modification, the intermediate image is switched according to the direction in which the pinch out is performed on the single panoramic image. When the single panoramic image is pinched out in the vertical direction as shown in FIG. 20 (a), “(4) From the single panoramic image to the double panoramic image” as shown in FIG. 20 (b). An intermediate image is generated and displayed in the same manner as described in "Switching", and the double panoramic image shown in FIG. 20 (c) is displayed.
一方、図２１（ａ）に示すように、シングルパノラマ画像に対して横方向にピンチアウトを行った場合は、図２１（ｂ）に示すように、ピンチアウトされた指の位置を結んだ線分の中心を通る垂直な線分でパノラマ画像を切断して、図２１（ｃ）に示すように、切断された２つのパノラマ画像の一方が上部へ、他方が下部へと移動する中間画像を生成して表示し、図２１（ｄ）に示すダブルパノラマ画像を表示する。なお、図２１（ｄ）及び図２１（ｄ）にて点線で示されている部分は、中間画像では表示されない隠れた部分である。この隠れた部分が中間画像の進展とともに、徐々に表示されていく。 On the other hand, as shown in FIG. 21 (a), when the single panoramic image is pinched out in the lateral direction, as shown in FIG. 21 (b), a line connecting the positions of the pinched fingers. A panoramic image is cut at a vertical line segment passing through the center of the minute, and as shown in FIG. 21 (c), an intermediate image in which one of the two cut panoramic images moves to the upper part and the other to the lower part is obtained. It is generated and displayed, and the double panoramic image shown in FIG. 21D is displayed. The portion shown by the dotted line in FIGS. 21 (d) and 21 (d) is a hidden portion that is not displayed in the intermediate image. This hidden part is gradually displayed as the intermediate image progresses.
以上のように、本実施の形態のビューワ端末１によれば、画像が表示されているときに、パネルインターフェース１１を用いて、直感的なユーザインターフェースにより、簡単な操作で、各種の表示の切替えを行なうことができる。また、本実施の形態のビューワ端末１によれば、表示が切り替わる過程で中間画像が生成されて表示されるので、ユーザは、表示が切り替わる前後において相関を認識し易くなる。
As described above, according to the viewer terminal 1 of the present embodiment, when an image is displayed, various displays can be switched by a simple operation by using the
なお、上記のビューワ端末１の動作は、コンピュータプログラムがビューワ端末１に備えられた演算処理装置によって実行されることで実現されてよい。 The operation of the viewer terminal 1 may be realized by executing a computer program by an arithmetic processing unit provided in the viewer terminal 1.
以上のように、本発明は、簡単な操作で、直感的に、全方位画像と歪み補正画像との表示の切替えを行なうことができ、全方位カメラで撮影された映像を表示する表示装置等として有用である。 As described above, the present invention can intuitively switch the display between the omnidirectional image and the distortion correction image with a simple operation, and is a display device that displays an image taken by the omnidirectional camera. It is useful as.
１ ビューワ端末
１１ パネルインターフェース
１２ 操作検出部
１３ 画像補正シーケンサ
１４ 中間画像生成部
１５ 歪み補正画像生成部
１６ 全方位画像取得部
１７ 全方位画像デコード部
１８ 画像キュー
１９ 画像表示部
１３１ パネル操作インターフェース部
１３２ タイマ制御部
１３３ 目標画像判定部
１３４ 表示画像判定部
１３５ 補正パラメータ算出部
１３６ 画像補正インターフェース部
1
Claims (12)
取得した前記全方位画像を表示部上に表示する画像表示部と、
前記表示部上でのユーザ操作に基づいて、前記全方位画像から歪みを補正して歪み補正画像を生成する歪み画像生成部と、
前記全方位画像及び前記歪み補正画像間の切替の遷移を示す少なくとも２つの中間画像を生成する中間画像生成部と、を備え、
前記少なくとも２つの中間画像は第１の中間画像と、前記第１の中間画像よりも多くの歪みが補正された第２の中間画像と、を含み、
中間画像生成部は、前記歪み補正画像が表示された表示部上で実行された移動方向指示を含むユーザ操作に基づいて、前記歪み補正画像とは異なる領域を表示する新たな歪み補正画像を生成する、画像表示装置。 Image acquisition unit that acquires omnidirectional images,
An image display unit that displays the acquired omnidirectional image on the display unit, and
A distortion image generation unit that corrects distortion from the omnidirectional image and generates a distortion correction image based on a user operation on the display unit.
An intermediate image generation unit that generates at least two intermediate images showing the transition of switching between the omnidirectional image and the distortion correction image is provided.
It said at least two intermediate images are viewed contains a first intermediate image, and a second intermediate image in which many distortions have been corrected than the first intermediate image,
The intermediate image generation unit generates a new distortion correction image that displays a region different from the distortion correction image based on a user operation including a movement direction instruction executed on the display unit on which the distortion correction image is displayed. to, the image display device.
取得した前記全方位画像を表示部上に表示する画像表示部と、 An image display unit that displays the acquired omnidirectional image on the display unit, and
前記表示部上でのユーザ操作に基づいて、前記全方位画像からから歪みを補正して歪み補正画像を生成する歪み画像生成部と、 A distortion image generation unit that corrects distortion from the omnidirectional image and generates a distortion correction image based on a user operation on the display unit.
前記全方位画像及び前記歪み補正画像間の切替の遷移を示す少なくとも２つの中間画像を生成する中間画像生成部と、 An intermediate image generation unit that generates at least two intermediate images showing the transition of switching between the omnidirectional image and the distortion correction image.
前記全方位画像から前記中間画像又は前記歪み補正画像を生成するために少なくとも１つの補正パラメータを適用する画像補正部と、を備え、 An image correction unit that applies at least one correction parameter to generate the intermediate image or the distortion correction image from the omnidirectional image is provided.
前記少なくとも２つの中間画像は第１の中間画像と、前記第１の中間画像よりも多くの歪みが補正された第２の中間画像と、を含む、画像表示装置。 An image display device, wherein the at least two intermediate images include a first intermediate image and a second intermediate image corrected for more distortion than the first intermediate image.
取得した前記全方位画像を表示部上に表示することと、
前記表示部上でのユーザ操作に基づいて、前記全方位画像から歪みを補正して歪み補正画像を生成することと、
前記全方位画像及び前記歪み補正画像間の切替の遷移を示す少なくとも２つの中間画像を生成することと、
前記歪み補正画像が表示された表示部上で実行された移動方向指示を含むユーザ操作に基づいて、前記歪み補正画像とは異なる領域を表示する新たな歪み補正画像を生成すること、を備え、
前記少なくとも２つの中間画像は第１の中間画像と、前記第１の中間画像よりも多くの歪みが補正された第２の中間画像と、を含む、画像表示方法。 Acquiring omnidirectional images and
Displaying the acquired omnidirectional image on the display unit and
To generate a distortion-corrected image by correcting distortion from the omnidirectional image based on a user operation on the display unit.
To generate at least two intermediate images showing the transition of switching between the omnidirectional image and the distortion correction image.
A new distortion correction image that displays a region different from the distortion correction image is generated based on a user operation including a movement direction instruction executed on the display unit on which the distortion correction image is displayed .
An image display method, wherein the at least two intermediate images include a first intermediate image and a second intermediate image in which more distortion is corrected than the first intermediate image.
取得した前記全方位画像を表示部上に表示することと、 Displaying the acquired omnidirectional image on the display unit and
前記表示部上でのユーザ操作に基づいて、前記全方位画像から歪みを補正して歪み補正画像を生成することと、 To generate a distortion-corrected image by correcting distortion from the omnidirectional image based on a user operation on the display unit.
前記全方位画像及び前記歪み補正画像間の切替の遷移を示す少なくとも２つの中間画像を生成することと、 To generate at least two intermediate images showing the transition of switching between the omnidirectional image and the distortion correction image.
前記全方位画像から前記中間画像又は前記歪み補正画像を生成するために少なくとも１つの補正パラメータを適用すること、を備え It comprises applying at least one correction parameter to generate the intermediate image or the distortion correction image from the omnidirectional image.
前記少なくとも２つの中間画像は第１の中間画像と、前記第１の中間画像よりも多くの歪みが補正された第２の中間画像と、を含む、画像表示方法。 An image display method, wherein the at least two intermediate images include a first intermediate image and a second intermediate image in which more distortion is corrected than the first intermediate image.
前記少なくとも２つの中間画像は、前記全方位画像が表示する領域よりも小さい、かつ、前記歪み補正画像が表示する領域よりも大きい領域を表示する画像を含む、画像表示方法。 The image display method according to claim 7 or 8 .
An image display method, wherein the at least two intermediate images include an image that displays an area that is smaller than the area displayed by the omnidirectional image and larger than the area displayed by the distortion correction image.
前記全方位画像から前記中間画像又は前記歪み補正画像を生成するために少なくとも１つの補正パラメータを適用すること、をさらに備える画像表示方法。 The image display method according to claim 7.
An image display method further comprising applying at least one correction parameter to generate the intermediate image or the distortion correction image from the omnidirectional image.
前記表示部上でのユーザ操作に基づいて、前記少なくとも１つの補正パラメータを決定すること、をさらに備える画像表示方法。 The image display method according to claim 8 or 10.
An image display method further comprising determining the at least one correction parameter based on a user operation on the display unit.
前記歪み補正画像が表示されたユーザ操作に基づいて、前記歪み補正画像を拡大又は縮小することを、さらに備える画像表示方法。 The image display method according to claim 7 or 8 .
An image display method further comprising enlarging or reducing the distortion-corrected image based on a user operation in which the distortion-corrected image is displayed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019193431A JP6811406B2 (en) | 2019-10-24 | 2019-10-24 | Display and computer programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019193431A JP6811406B2 (en) | 2019-10-24 | 2019-10-24 | Display and computer programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018091519A Division JP6614516B2 (en) | 2018-05-10 | 2018-05-10 | Display device and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020061739A JP2020061739A (en) | 2020-04-16 |
| JP6811406B2 true JP6811406B2 (en) | 2021-01-13 |
Family
ID=70220393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019193431A Active JP6811406B2 (en) | 2019-10-24 | 2019-10-24 | Display and computer programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6811406B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0962861A (en) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | Panoramic video device |
| JP2005252626A (en) * | 2004-03-03 | 2005-09-15 | Canon Inc | Image pickup device and image processing method |
| JP2007081925A (en) * | 2005-09-15 | 2007-03-29 | Nippon Seiki Co Ltd | Omnidirectional imaging apparatus |
-
2019
- 2019-10-24 JP JP2019193431A patent/JP6811406B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020061739A (en) | 2020-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11651471B2 (en) | Display device, computer program, and computer-implemented method | |
| KR100835956B1 (en) | Method for processing image of mobile communication terminal | |
| WO2015030126A1 (en) | Image processing device and image processing program | |
| JP6145738B2 (en) | Display device and computer program | |
| JP2009075685A (en) | Image processor, image processing method, and program | |
| WO2013168387A1 (en) | Display image formation device and display image formation method | |
| JPH09289607A (en) | Camera control system | |
| JP7231643B2 (en) | Information processing equipment | |
| JP5919570B2 (en) | Image display device and image display method | |
| JP2011053587A (en) | Image processing device | |
| JP6543108B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM | |
| JP6614516B2 (en) | Display device and computer program | |
| JP2018084851A (en) | Information processing apparatus and program | |
| JP6811406B2 (en) | Display and computer programs | |
| WO2016157951A1 (en) | Display control device, display control method, and recording medium | |
| JP7080711B2 (en) | Electronic devices, control methods, programs, and storage media for electronic devices | |
| JP6344670B2 (en) | Display device and computer program | |
| JP7252398B2 (en) | Virtual object manipulation method and head-mounted display | |
| KR102575254B1 (en) | The Apparatus And The System For Mornitoring | |
| JP6873186B2 (en) | Information processing equipment, switching systems, programs and methods | |
| JP2021040231A (en) | Image processing device and program | |
| JP2017182843A (en) | Program, display control device, and display control method | |
| KR101017098B1 (en) | Apparatus and method for displaying an image for a graphic user interface in a portable terminal apparatus | |
| CN116457745A (en) | Display control device, display control method, and display control program | |
| JP2011128384A (en) | Information processor, control method therefor, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191024 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201125 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6811406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |