JP2018005634A

JP2018005634A - Screen sharing system, screen sharing method, terminal device, and screen sharing program

Info

Publication number: JP2018005634A
Application number: JP2016132862A
Authority: JP
Inventors: 孝太今; Kota Kon
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2016-07-04
Filing date: 2016-07-04
Publication date: 2018-01-11

Abstract

PROBLEM TO BE SOLVED: To share a display range between a plurality of terminals in an entire celestial sphere.SOLUTION: A screen sharing system including a plurality of terminal devices has: selection means that selects entire celestial sphere image data to be shared between the plurality of terminal devices; creation means that creates display image data indicative of a display range to be displayed on a screen of the plurality of terminal devices, of an image area of an entire celestial sphere image based on the entire celestial sphere image data selected by the selection means; display means that displays a display image based on the display image data created by the creation means on a screen of the plurality of terminal devices; and operation means that receives change operation of the display range to be displayed on the screen of the plurality of terminal devices, of the image area of the entire celestial sphere. The creation means is configured to when the change operation is received by the operation means, create display image data indicative of the changed display area, of the image area of the entire celestial sphere.SELECTED DRAWING: Figure 3

Description

本発明は、画面共有システム、画面共有方法、端末装置、及び画面共有プログラムに関する。 The present invention relates to a screen sharing system, a screen sharing method, a terminal device, and a screen sharing program.

撮像装置の全方位３６０度を撮像した画像は、全天球画像とも呼ばれる。このような全天球画像は、専用のアプリケーションソフトやＷｅｂアプリケーション等を用いて表示することができる。このとき、ユーザは、全天球画像に対して、表示範囲の変更操作（例えば、パン操作、ティルト操作、ズーム操作等）を行うことにより、全天球画像における所望の表示範囲を表示することができる。 An image obtained by imaging 360 degrees of the imaging device is also called an omnidirectional image. Such an omnidirectional image can be displayed using dedicated application software, a Web application, or the like. At this time, the user displays a desired display range in the omnidirectional image by performing a display range changing operation (for example, pan operation, tilt operation, zoom operation, etc.) on the omnidirectional image. Can do.

また、複数の端末間で、画像データ等のコンテンツデータをシェアリングして、同時再生することができる技術が知られている（例えば特許文献１参照） In addition, a technique is known that enables content data such as image data to be shared and reproduced simultaneously between a plurality of terminals (see, for example, Patent Document 1).

しかしながら、上記の従来技術では、全天球画像における表示範囲を複数の端末間で共有することができない場合があった。すなわち、複数の端末間で同一の全天球画像を共有しつつも、各端末それぞれが、当該全天球画像における異なる表示範囲を表示している場合があった。 However, in the above-described conventional technology, there are cases where the display range in the omnidirectional image cannot be shared among a plurality of terminals. That is, there are cases where each terminal displays a different display range in the omnidirectional image while sharing the same omnidirectional image among a plurality of terminals.

本発明の実施の形態は、上記の点に鑑みてなされたもので、全天球画像における表示範囲を複数の端末間で共有することを目的とする。 Embodiments of the present invention have been made in view of the above points, and an object of the present invention is to share a display range in an omnidirectional image among a plurality of terminals.

上記目的を達成するため、本発明の実施の形態は、複数の端末装置を含む画面共有システムであって、複数の前記端末装置の間で共有する全天球画像データを選択する選択手段と、前記選択手段により選択された前記全天球画像データに基づく全天球画像の画像領域のうち、複数の前記端末装置の画面に表示される表示範囲を示す表示画像データを生成する生成手段と、前記生成手段により生成された前記表示画像データに基づく表示画像を、複数の前記端末装置の画面に表示する表示手段と、前記全天球画像の画像領域のうち、複数の前記端末装置の画面に表示される前記表示範囲の変更操作を受け付ける操作手段と、を有し、前記生成手段は、前記操作手段により前記変更操作が受け付けられた場合、前記全天球画像の画像領域のうち、変更後の表示範囲を示す表示画像データを生成する。 In order to achieve the above object, an embodiment of the present invention is a screen sharing system including a plurality of terminal devices, and selection means for selecting omnidirectional image data shared between the plurality of terminal devices; Generating means for generating display image data indicating display ranges displayed on the screens of the plurality of terminal devices, out of the image area of the omnidirectional image based on the omnidirectional image data selected by the selection means; Display means for displaying a display image based on the display image data generated by the generation means on a plurality of terminal device screens, and a plurality of terminal device screens among the image areas of the omnidirectional image. An operation unit that accepts a change operation of the displayed display range, and the generation unit, when the change operation is accepted by the operation unit, of the image area of the omnidirectional image, It generates display image data indicating the display range of Sarago.

本発明の実施の形態によれば、全天球画像における表示範囲を複数の端末間で共有することができる。 According to the embodiment of the present invention, the display range in the omnidirectional image can be shared among a plurality of terminals.

本実施形態に係る画面共有システムの一例のシステム構成を示す図である。It is a figure which shows the system configuration | structure of an example of the screen sharing system which concerns on this embodiment. 本実施形態に係る端末装置の一例のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of an example of the terminal device which concerns on this embodiment. 全天球画像における表示範囲の同期の概要を説明する図である。It is a figure explaining the outline | summary of the synchronization of the display range in an omnidirectional image. 本実施形態に係る端末装置の一例の機能構成を示す図である。It is a figure which shows the function structure of an example of the terminal device which concerns on this embodiment. 全天球画像の共有及び表示処理の一例を示すシーケンス図である。It is a sequence diagram showing an example of sharing and display processing of the omnidirectional image. 共有開始、共有に参加、共有終了、及び共有の一時停止を選択するための選択欄が表示された初期画面を示す図である。It is a figure which shows the initial screen on which the selection column for selecting a share start, participation in a share, a share end, and a share pause was displayed. 全天球画像における初期表示範囲の共有を説明する図である。It is a figure explaining sharing of the initial display range in a spherical image. 全天球画像の共有及び表示処理の変形例を示すシーケンス図である。It is a sequence diagram which shows the modification of sharing and a display process of a omnidirectional image. 全天球画像の表示範囲の変更処理の一例を示すシーケンス図である。It is a sequence diagram which shows an example of the change process of the display range of an omnidirectional image. 表示範囲の変更の反映を説明する図である。It is a figure explaining reflection of a change of a display range. 全天球画像の表示範囲の変更処理の変形例を示すシーケンス図である。It is a sequence diagram which shows the modification of the change process of the display range of an omnidirectional image. 全天球画像の表示範囲に対する描画処理の一例を示すシーケンス図である。It is a sequence diagram which shows an example of the drawing process with respect to the display range of a spherical image. 描画情報の反映を説明する図である。It is a figure explaining reflection of drawing information. 描画情報を反映した全天球画像が表示された画面の他の例を示す図である。It is a figure which shows the other example of the screen where the omnidirectional image which reflected drawing information was displayed. 全天球画像の表示範囲に対する描画処理の変形例を示すシーケンス図である。It is a sequence diagram which shows the modification of the drawing process with respect to the display range of a spherical image.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

＜システム構成＞
まず、本実施形態に係る画面共有システム１のシステム構成について、図１を参照しながら説明する。図１は、本実施形態に係る画面共有システム１の一例のシステム構成を示す図である。 <System configuration>
First, the system configuration of the screen sharing system 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating a system configuration of an example of a screen sharing system 1 according to the present embodiment.

図１に示すように、本実施形態に係る画面共有システム１は、複数の端末装置１０を含み、例えば、インターネットや社内ＬＡＮ（Local Area Network）等のネットワークＮを介して通信可能に接続されている。なお、以降では、複数の端末装置１０について、各々を区別するときは、「端末装置１０Ａ」、「端末装置１０Ｂ」、「端末装置１０Ｃ」等と表す。 As shown in FIG. 1, a screen sharing system 1 according to the present embodiment includes a plurality of terminal devices 10 and is connected to be communicable via a network N such as the Internet or an in-house LAN (Local Area Network). Yes. Hereinafter, when a plurality of terminal devices 10 are distinguished from each other, they are expressed as “terminal device 10A”, “terminal device 10B”, “terminal device 10C”, and the like.

端末装置１０は、例えば、ノート型ＰＣ（パーソナルコンピュータ）、デスクトップ型ＰＣ、スマートフォン、タブレット端末、携帯電話、ゲーム機器等の各種の情報処理装置である。端末装置１０には、他の端末装置１０との間で、全天球画像が表示された画面を共有するための画面共有プログラム２０が搭載（インストール）されている。 The terminal device 10 is various information processing devices such as a notebook PC (personal computer), a desktop PC, a smartphone, a tablet terminal, a mobile phone, and a game machine. The terminal device 10 is installed (installed) with a screen sharing program 20 for sharing a screen on which the omnidirectional image is displayed with another terminal device 10.

これにより、本実施形態に係る画面共有システム１では、複数の端末装置１０間で、全天球画像が表示された画面を共有（すなわち、全天球画像における表示範囲を同期）することができる。したがって、本実施形態に係る画面共有システム１では、各端末装置１０のユーザは、同一の全天球画像における同一の表示範囲を閲覧等することができるようになる。 Thereby, in the screen sharing system 1 which concerns on this embodiment, the screen on which the omnidirectional image was displayed can be shared between several terminal devices 10 (namely, the display range in an omnidirectional image is synchronized). . Therefore, in the screen sharing system 1 according to the present embodiment, the user of each terminal device 10 can browse the same display range in the same omnidirectional image.

なお、全天球画像における表示範囲とは、全天球画像において、端末装置１０により表示される範囲（全天球画像における一部の領域）のことである。したがって、以降では、全天球画像における表示範囲に対応する画像（すなわち、表示範囲内の画像）を「全天球表示部分画像」とも表す。 The display range in the omnidirectional image is a range (a part of the omnidirectional image) displayed by the terminal device 10 in the omnidirectional image. Therefore, hereinafter, an image corresponding to the display range in the omnidirectional image (that is, an image within the display range) is also referred to as “omnidirectional display partial image”.

＜ハードウェア構成＞
次に、本実施形態に係る画面共有システム１に含まれる端末装置１０のハードウェア構成について、図２を参照しながら説明する。図２は、本実施形態に係る端末装置１０の一例のハードウェア構成を示す図である。 <Hardware configuration>
Next, the hardware configuration of the terminal device 10 included in the screen sharing system 1 according to the present embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating a hardware configuration of an example of the terminal device 10 according to the present embodiment.

図２に示すように、本実施形態に係る端末装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、ＲＡＭ（Random Access Memory）１０４とを有する。また、本実施形態に係る端末装置１０は、ＲＯＭ（Read Only Memory）１０５と、ＣＰＵ（Central Processing Unit）１０６と、通信Ｉ／Ｆ１０７と、記憶装置１０８とを有する。これらの各ハードウェアは、それぞれがバスＢで接続されている。 As illustrated in FIG. 2, the terminal device 10 according to the present embodiment includes an input device 101, a display device 102, an external I / F 103, and a RAM (Random Access Memory) 104. The terminal device 10 according to the present embodiment includes a ROM (Read Only Memory) 105, a CPU (Central Processing Unit) 106, a communication I / F 107, and a storage device 108. Each of these hardware is connected by a bus B.

入力装置１０１は、タッチパネル等であり、端末装置１０のユーザが各種操作を行うのに用いられる。なお、入力装置１０１は、キーボードやマウス等であっても良い。 The input device 101 is a touch panel or the like, and is used by the user of the terminal device 10 to perform various operations. Note that the input device 101 may be a keyboard, a mouse, or the like.

表示装置１０２は、ディスプレイ等であり、例えば、各端末装置１０間で共有している全天球表示部分画像を表示する。 The display device 102 is a display or the like, and displays, for example, an omnidirectional display partial image shared between the terminal devices 10.

通信Ｉ／Ｆ１０７は、端末装置１０をネットワークＮに接続するためのインタフェースである。これにより、端末装置１０は、通信Ｉ／Ｆ１０７を介して、他の端末装置１０と全天球表示部分画像の共有を行うことができる。 The communication I / F 107 is an interface for connecting the terminal device 10 to the network N. Accordingly, the terminal device 10 can share the omnidirectional display partial image with other terminal devices 10 via the communication I / F 107.

記憶装置１０８は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、各種のプログラムやデータを格納している。記憶装置１８に格納されているプログラムやデータには、端末装置１０全体を制御する基本ソフトウェアであるＯＳ（Operating System）、ＯＳ上において各種機能を提供するプログラム（例えば、画面共有プログラム２０等）がある。 The storage device 108 is, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like, and stores various programs and data. The programs and data stored in the storage device 18 include an OS (Operating System) that is basic software for controlling the entire terminal device 10 and programs that provide various functions on the OS (for example, the screen sharing program 20 and the like). is there.

なお、記憶装置１０８は、格納しているプログラムやデータを所定のファイルシステムやＤＢ（データベース）により管理している。 The storage device 108 manages stored programs and data by a predetermined file system or DB (database).

外部Ｉ／Ｆ１０３は、外部装置とのインタフェースである。外部装置には、記録媒体１０３ａ等がある。これにより、端末装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込みを行うことができる。なお、記録媒体１０３ａには、例えば、フレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤカード、ＵＳＢメモリ等がある。 The external I / F 103 is an interface with an external device. The external device includes a recording medium 103a. Thereby, the terminal device 10 can read and write the recording medium 103 a via the external I / F 103. The recording medium 103a includes, for example, a flexible disk, CD, DVD, SD card, USB memory, and the like.

ＲＯＭ１０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ１０５には、端末装置１０の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。 The ROM 105 is a non-volatile semiconductor memory that can retain programs and data even when the power is turned off. The ROM 105 stores programs and data such as BIOS (Basic Input / Output System), OS settings, and network settings that are executed when the terminal apparatus 10 is started. The RAM 104 is a volatile semiconductor memory that temporarily stores programs and data.

ＣＰＵ１０６は、ＲＯＭ１０５や記憶装置１０８等からプログラムやデータをＲＡＭ１０４上に読み出し、処理を実行することで、端末装置１０全体の制御や機能を実現する演算装置である。 The CPU 106 is an arithmetic device that realizes control and functions of the entire terminal device 10 by reading a program and data from the ROM 105, the storage device 108, and the like onto the RAM 104 and executing processing.

本実施形態に係る端末装置１０は、図２に示すハードウェア構成を有することにより、後述するような各種処理を実現できる。 The terminal device 10 according to the present embodiment has the hardware configuration shown in FIG.

＜全天球画像における表示範囲の同期の概要＞
ここで、本実施形態に係る画面共有システム１に含まれる複数の端末装置１０間で、全天球画像における表示範囲を同期する場合（すなわち、全天球表示部分画像を共有する場合）の概要について、図３を参照しながら説明する。図３は、全天球画像における表示範囲の同期の概要を説明する図である。 <Overview of display range synchronization in spherical images>
Here, an outline of the case where the display range in the omnidirectional image is synchronized between the plurality of terminal devices 10 included in the screen sharing system 1 according to the present embodiment (that is, the case where the omnidirectional display partial image is shared). Will be described with reference to FIG. FIG. 3 is a diagram for explaining the outline of synchronization of the display range in the omnidirectional image.

図３（ａ）に示すように、端末装置１０Ａにおいて、ユーザにより、全天球画像における表示範囲の変更操作（例えば、パン操作等）が行われたとする。 As shown in FIG. 3A, it is assumed that the user performs an operation for changing the display range (for example, pan operation) in the omnidirectional image in the terminal device 10A.

この場合、端末装置１０Ａの画面Ｇ１１０には、画面共有プログラム２０により、表示範囲の変更操作後の全天球表示部分画像が表示される（すなわち、全天球画像における表示範囲が変更される。）。また、図３（ａ）に示すように、端末装置１０Ｂの画面Ｇ１２０には、画面共有プログラム２０により、当該表示範囲の変更が同期され、当該表示範囲の変更後の全天球表示部分画像が表示される。 In this case, the omnidirectional display partial image after the display range changing operation is displayed on the screen G110 of the terminal device 10A by the screen sharing program 20 (that is, the display range in the omnidirectional image is changed). ). Further, as shown in FIG. 3A, the screen sharing program 20 synchronizes the change of the display range with the screen G120 of the terminal device 10B, and the omnidirectional display partial image after the change of the display range is displayed. Is displayed.

このように、本実施形態に係る画面共有システム１では、端末装置１０Ａと端末装置１０Ｂとの間で、同一の全天球表示部分画像が表示される（すなわち、端末装置１０Ａと端末装置１０Ｂとの間で、全天球表示部分画像が共有される）。言い換えれば、本実施形態に係る画面共有システム１では、端末装置１０Ａと端末装置１０Ｂとの間で、表示範囲の変更が同期される。 Thus, in the screen sharing system 1 according to the present embodiment, the same omnidirectional display partial image is displayed between the terminal device 10A and the terminal device 10B (that is, the terminal device 10A and the terminal device 10B are displayed). Between the celestial sphere display partial images). In other words, in the screen sharing system 1 according to the present embodiment, changes in the display range are synchronized between the terminal device 10A and the terminal device 10B.

以上のような全天球表示部分画像の共有は、共有ボタンＧ６００を押下して、複数の端末装置１０間における画面の共有を開始することで行うことできる。なお、図３では、表示範囲の変更操作の一例として、全天球画像に対してパン操作が行われたものとして説明したが、これに限られない。表示範囲の変更操作は、例えば、ティルト操作やズーム操作等であっても良い。 Sharing of the omnidirectional display partial image as described above can be performed by pressing the share button G600 to start sharing the screen among the plurality of terminal devices 10. In FIG. 3, as an example of the display range changing operation, the panning operation has been performed on the omnidirectional image. However, the present invention is not limited to this. The display range changing operation may be, for example, a tilt operation or a zoom operation.

また、端末装置１０の画面には、ペンボタンＧ２００、スタンプボタンＧ３００、消しゴムボタンＧ４００、及びポインタボタンＧ５００も表示されている。これらのボタンを押下することにより、全天球表示部分画像上に描画された様々な描画情報を複数の端末装置１０間で共有することができる。 In addition, a pen button G200, a stamp button G300, an eraser button G400, and a pointer button G500 are also displayed on the screen of the terminal device 10. By pressing these buttons, various drawing information drawn on the omnidirectional display partial image can be shared among a plurality of terminal devices 10.

例えば、ペンボタンＧ２００を押下することで、ユーザは、任意の直線や曲線、文字等の描画情報を全天球表示部分画像上に描画する操作（ペン操作）を行うことができる。同様に、例えば、スタンプボタンＧ３００を押下することで、ユーザは、スタンプと呼ばれる画像（アイコン）等の描画情報を全天球表示部分画像上に描画する操作（スタンプ操作）を行うことができる。 For example, by pressing the pen button G200, the user can perform an operation (pen operation) for drawing drawing information such as an arbitrary straight line, curve, or character on the omnidirectional display partial image. Similarly, for example, by pressing the stamp button G300, the user can perform an operation (stamp operation) for drawing drawing information such as an image (icon) called a stamp on the omnidirectional display partial image.

また、例えば、消しゴムボタンＧ４００を押下することで、ユーザは、ペン描画操作やスタンプ描画操作により描画された描画情報を全天球表示部分画像上から削除する操作（消しゴム操作）行うことができる。更に、ポインタボタンＧ５００を押下することで、ユーザは、全天球表示部分画像上にポインタ（例えば、矢印形のアイコン等）等の描画情報を表示させる操作（ポインタ操作）を行うことができる。 In addition, for example, by pressing the eraser button G400, the user can perform an operation (eraser operation) of deleting drawing information drawn by a pen drawing operation or a stamp drawing operation from the omnidirectional display partial image. Further, by pressing the pointer button G500, the user can perform an operation (pointer operation) for displaying drawing information such as a pointer (for example, an arrow-shaped icon) on the omnidirectional display partial image.

そして、これらのペン操作やスタンプ操作により描画された描画情報、消しゴム操作による描画情報の削除やポインタ操作によるポインタの表示等は、複数の端末装置１０間で共有することができる。なお、以降では、ペン操作、スタンプ操作、消しゴム操作、及びポインタ操作を「描画操作」とも表す。 The drawing information drawn by the pen operation and the stamp operation, the deletion of the drawing information by the eraser operation, the pointer display by the pointer operation, and the like can be shared among the plurality of terminal devices 10. Hereinafter, the pen operation, stamp operation, eraser operation, and pointer operation are also referred to as “drawing operation”.

このように、本実施形態に係る画面共有システム１では、複数の端末装置１０間で全天球表示部分画像を共有することができると共に、当該全天球表示部分画像に対する描画情報（例えば、直線や曲線、文字、アイコン等）等を共有することができる。すなわち、本実施形態に係る画面共有システム１では、全天球画像や全天球画像における表示範囲の変更、全天球画像上の描画情報等のコンテンツを複数の端末装置１０間で共有することができる。 As described above, in the screen sharing system 1 according to the present embodiment, the omnidirectional display partial image can be shared among the plurality of terminal devices 10 and the drawing information (for example, straight line) for the omnidirectional display partial image is shared. , Curves, characters, icons, etc.). That is, in the screen sharing system 1 according to the present embodiment, content such as an omnidirectional image, a change in the display range of the omnidirectional image, and drawing information on the omnidirectional image is shared among a plurality of terminal devices 10. Can do.

ここで、本実施形態に係る画面共有システム１では、サーバとして機能する一の端末装置１０が、クライアントとして機能する他の端末装置１０との間で、全天球画像における表示範囲の変更等を同期させることにより、全天球表示部分画像等の共有を実現する。 Here, in the screen sharing system 1 according to the present embodiment, one terminal device 10 functioning as a server can change the display range in the omnidirectional image with another terminal device 10 functioning as a client. By synchronizing, omnidirectional display partial image sharing is realized.

なお、本実施形態に係る画面共有システム１では、全天球画像における一部の領域である全天球表示部分画像を、複数の端末装置１０間で共有するものとして説明するが、これに限られない。本実施形態に係る画面共有システム１では、例えば、表示範囲の変更操作が可能なパノラマ画像における一部の画像（表示範囲に対応する画像）を、複数の端末装置１０間で共有しても良い。 In the screen sharing system 1 according to the present embodiment, the description will be made assuming that the omnidirectional display partial image, which is a partial area in the omnidirectional image, is shared among the plurality of terminal devices 10, but the present invention is not limited thereto. I can't. In the screen sharing system 1 according to the present embodiment, for example, some images (images corresponding to the display range) in the panoramic image that can be changed in the display range may be shared among the plurality of terminal devices 10. .

＜機能構成＞
次に、本実施形態に係る画面共有システム１に含まれる端末装置１０の機能構成について、図４を参照しながら説明する。図４は、本実施形態に係る端末装置１０の一例の機能構成を示す図である。 <Functional configuration>
Next, the functional configuration of the terminal device 10 included in the screen sharing system 1 according to the present embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating a functional configuration of an example of the terminal device 10 according to the present embodiment.

図４に示すように、本実施形態に係る端末装置１０は、共有制御部１１と、操作受付部１２と、表示画像生成部１３と、表示制御部１４と、通信部１５とを有する。これら各機能部は、画面共有プログラム２０がＣＰＵ１０６に実行させる処理により実現される。 As illustrated in FIG. 4, the terminal device 10 according to the present embodiment includes a sharing control unit 11, an operation reception unit 12, a display image generation unit 13, a display control unit 14, and a communication unit 15. Each of these functional units is realized by processing that the screen sharing program 20 causes the CPU 106 to execute.

また、本実施形態に係る端末装置１０は、データ記憶部１６を有する。当該記憶部１６は、例えば、記憶装置１０８を用いて実現可能である。 The terminal device 10 according to the present embodiment includes a data storage unit 16. The storage unit 16 can be realized using the storage device 108, for example.

共有制御部１１は、他の端末装置１０との間で、全天球画像等のコンテンツの共有開始、共有終了、共有に参加、及び共有の一時停止等を制御する。すなわち、例えば、共有制御部１１は、操作受付部１２により共有開始操作が受け付けられると、端末装置１０をサーバとして機能させる。また、例えば、共有制御部１１は、操作受付部１２により共有参加操作が受け付けられると、サーバとして機能している他の端末装置１０に共有参加要求を送信する。更に、例えば、共有制御部１１は、操作受付部１２により共有終了操作が受け付けられると、サーバとして機能している他の端末装置１０に共有終了要求を送信する。 The sharing control unit 11 controls the sharing start, sharing end, sharing participation, sharing suspension, and the like with other terminal devices 10. That is, for example, when the sharing start operation is received by the operation receiving unit 12, the sharing control unit 11 causes the terminal device 10 to function as a server. Further, for example, when the sharing participation operation is received by the operation receiving unit 12, the sharing control unit 11 transmits a sharing participation request to another terminal device 10 functioning as a server. Furthermore, for example, when the operation accepting unit 12 accepts a sharing end operation, the sharing control unit 11 transmits a sharing end request to another terminal device 10 functioning as a server.

操作受付部１２は、ユーザによる各種操作を受け付ける。例えば、操作受付部１２は、他の端末装置１０との間で全天球画像等の共有を開始するための共有開始操作や共有参加操作を受け付ける。また、例えば、操作受付部１２は、他の端末装置１０との間で全天球画像等の共有を終了するための共有終了操作を受け付ける。更に、例えば、操作受付部１２は、他の端末装置１０との間で、全天球画像における表示範囲の変更等の同期を一時停止するための共有の一時停止操作を受け付ける。 The operation reception unit 12 receives various operations by the user. For example, the operation accepting unit 12 accepts a sharing start operation or a sharing participation operation for starting sharing of an omnidirectional image or the like with another terminal device 10. Further, for example, the operation receiving unit 12 receives a sharing end operation for ending sharing of the omnidirectional image or the like with another terminal device 10. Further, for example, the operation reception unit 12 receives a shared pause operation for temporarily stopping synchronization such as a change in the display range in the omnidirectional image with another terminal device 10.

表示画像生成部１３は、全天球画像における表示範囲の変更操作に応じて、全天球表示部分画像を示す全天球表示部分画像データを生成する。すなわち、表示画像生成部１３は、全天球画像の一部の領域を抽出すること等により、全天球表示部分画像データを生成する。 The display image generation unit 13 generates omnidirectional display partial image data indicating the omnidirectional display partial image in response to a change operation of the display range in the omnidirectional image. That is, the display image generation unit 13 generates omnidirectional display partial image data by extracting a partial region of the omnidirectional image.

ここで、全天球表示部分画像データは、例えば、特開２０１５−１８２９６号公報に記載されているように、全天球表示部分画像の中央を示す座標と、全天球表示部分画像の外縁を示す画角とで表すことができる。したがって、表示画像生成部１３は、表示範囲の変更操作に応じて、変更操作後の座標及び画角で表される範囲を全天球画像から抽出等することにより、全天球表示部分画像データを生成する。 Here, the omnidirectional display partial image data includes, for example, coordinates indicating the center of the omnidirectional display partial image and the outer edge of the omnidirectional display partial image, as described in JP-A-2015-18296. Can be expressed by an angle of view indicating. Therefore, the display image generation unit 13 extracts the range represented by the coordinates and the angle of view after the change operation from the omnidirectional image in accordance with the change operation of the display range, thereby performing the omnidirectional display partial image data. Is generated.

なお、全天球表示部分画像の中央の座標は、全天球画像上の点を球面上の点と対応させた場合における球体の中心点からの方位角（水平方向の座標）と、仰角（垂直方向の座標）とで表すことができる。更に、画角は、全天球画像を示す球体の中心点に対するカメラ装置（疑似的なカメラ装置）の位置と、当該カメラ装置のカメラアングルとで表すことができる。 Note that the coordinates of the center of the omnidirectional display partial image are the azimuth angle (horizontal coordinate) from the center point of the sphere when the point on the omnidirectional image is made to correspond to the point on the sphere, and the elevation angle ( Vertical coordinates). Further, the angle of view can be represented by the position of the camera device (pseudo camera device) with respect to the center point of the sphere showing the omnidirectional image and the camera angle of the camera device.

表示制御部１４は、全天球表示部分画像や描画情報等を表示する。すなわち、例えば、表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像を表示する。また、例えば、表示制御部１４は、各種の描画情報（例えば、曲線や直線、文字、スタンプ等）を全天球表示部分画像上に重畳表示する。 The display control unit 14 displays an omnidirectional display partial image, drawing information, and the like. That is, for example, the display control unit 14 displays the omnidirectional display partial image generated by the display image generation unit 13. Further, for example, the display control unit 14 superimposes and displays various drawing information (for example, curves, straight lines, characters, stamps, etc.) on the omnidirectional display partial image.

通信部１５は、他の端末装置１０との間で各種のデータ通信を行う。例えば、通信部１５は、サーバとして機能する端末装置１０に共有参加要求を送信する。また、例えば、通信部１５は、全天球画像における表示範囲の変更操作に関するデータ（表示範囲変更データ）を他の端末装置１０に送信する。なお、表示範囲変更データは、例えば、表示範囲の変更操作が行われた後の座標及び画角により表されるデータである。 The communication unit 15 performs various data communications with other terminal devices 10. For example, the communication unit 15 transmits a sharing participation request to the terminal device 10 that functions as a server. Further, for example, the communication unit 15 transmits data (display range change data) related to a display range change operation in the omnidirectional image to the other terminal device 10. The display range change data is, for example, data represented by coordinates and a field angle after the display range change operation is performed.

データ記憶部１６は、全天球画像を示す全天球画像データ、描画情報を示すデータ（例えば、スタンプの画像データ等）を記憶する。なお、スタンプの画像データは、例えば、透過ＰＮＧ（Portable Network Graphics）形式等で表された画像データである。 The data storage unit 16 stores omnidirectional image data indicating an omnidirectional image and data indicating drawing information (for example, image data of a stamp). The stamp image data is, for example, image data represented in a transparent PNG (Portable Network Graphics) format or the like.

＜処理の詳細＞
次に、本実施形態に係る画面共有システム１の処理の詳細について説明する。 <Details of processing>
Next, details of processing of the screen sharing system 1 according to the present embodiment will be described.

（全天球画像における初期表示範囲の共有）
まず、複数の端末装置１０（端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃ）間で、全天球画像の共有を開始して、当該全天球画像における同一の表示範囲（初期表示範囲）を表示する処理について、図５を参照しながら説明する。図５は、全天球画像の共有及び表示処理の一例を示すシーケンス図である。 (Sharing of initial display range in spherical image)
First, omnidirectional image sharing is started among a plurality of terminal devices 10 (terminal device 10A, terminal device 10B, and terminal device 10C), and the same display range (initial display range) in the omnidirectional image is started. Will be described with reference to FIG. FIG. 5 is a sequence diagram illustrating an example of processing for sharing and displaying an omnidirectional image.

まず、端末装置１０Ａの操作受付部１２は、共有開始操作を受け付ける（ステップＳ５０１）。端末装置１０Ａのユーザは、例えば、図６に示す初期画面Ｇ１００に表示された選択欄Ｇ６１０において、共有開始ボタンＧ１１１を押下することで、共有開始操作を行うことができる。これにより、端末装置１０Ａの共有制御部１１は、当該端末装置１０Ａをサーバとして機能させる。 First, the operation reception unit 12 of the terminal device 10A receives a sharing start operation (step S501). For example, the user of the terminal device 10A can perform a sharing start operation by pressing the sharing start button G111 in the selection field G610 displayed on the initial screen G100 illustrated in FIG. Accordingly, the sharing control unit 11 of the terminal device 10A causes the terminal device 10A to function as a server.

このような選択欄Ｇ６１０は、共有ボタンＧ６００を押下することにより表示することができる。また、初期画面Ｇ１００は、例えば、ユーザが画面共有プログラム２０を起動させることにより表示することができる。 Such a selection field G610 can be displayed by pressing the share button G600. Further, the initial screen G100 can be displayed, for example, when the user starts the screen sharing program 20.

なお、端末装置１０のユーザは、他の端末装置１０との間で全天球画像等の共有を行っている場合に、選択欄Ｇ６１０の共有終了ボタンＧ１１３を押下することで、共有終了操作を行うことができる。また、端末装置１０のユーザは、他の端末装置１０との間で全天球画像等の共有を行っている場合に、選択欄Ｇ６１０の共有の一時停止ボタンＧ１１４を押下することで、共有の一時停止操作を行うことができる。 In addition, when the user of the terminal device 10 is sharing the omnidirectional image or the like with another terminal device 10, the user can perform the sharing end operation by pressing the sharing end button G113 in the selection field G610. It can be carried out. In addition, when the user of the terminal device 10 shares an omnidirectional image or the like with another terminal device 10, the user can press the share pause button G114 in the selection field G610 to share the image. A pause operation can be performed.

次に、端末装置１０Ｂの操作受付部１２は、共有参加操作を受け付ける（ステップＳ５０２）。端末装置１０Ｂのユーザは、例えば、図６に示す初期画面Ｇ１００に表示された選択欄Ｇ６１０において、共有参加ボタンＧ１１２を押下することで、共有開始操作を行うことができる。なお、端末装置１０Ｂのユーザは、例えば、サーバとして機能している端末装置１０Ａの識別情報（ＩＰ（Internet Protocol）アドレス等）を指定した上で、共有参加ボタンＧ１１２を押下する。 Next, the operation reception unit 12 of the terminal device 10B receives a sharing participation operation (step S502). For example, the user of the terminal device 10B can perform a sharing start operation by pressing the sharing participation button G112 in the selection field G610 displayed on the initial screen G100 illustrated in FIG. Note that the user of the terminal device 10B presses the share participation button G112 after designating identification information (IP (Internet Protocol) address or the like) of the terminal device 10A functioning as a server, for example.

端末装置１０Ｂの共有制御部１１は、操作受付部１２により共有参加操作が受け付けられると、通信部１５を介して、端末装置１０Ａに共有参加要求を送信する（ステップＳ５０３）。そして、端末装置１０Ａの共有制御部１１は、共有参加要求を受信すると、通信部１５を介して、共有参加応答を端末装置１０Ｂに返信する。これにより、端末装置１０Ｂの共有制御部１１は、当該端末装置１０Ｂをクライアントとして機能させる。 The sharing control unit 11 of the terminal device 10B transmits a sharing participation request to the terminal device 10A via the communication unit 15 when the sharing participation operation is received by the operation receiving unit 12 (step S503). And the share control part 11 of 10 A of terminal devices will return a share participation response to the terminal device 10B via the communication part 15, if a share participation request is received. Thereby, the sharing control unit 11 of the terminal device 10B causes the terminal device 10B to function as a client.

なお、端末装置１０Ａの共有制御部１１は、共有参加要求を受信すると、当該共有参加要求の送信元の他の端末装置１０に対して、共有に参加するための認証を要求しても良い。 When the sharing control unit 11 of the terminal device 10A receives the sharing participation request, the sharing control unit 11 may request authentication for participating in sharing to the other terminal device 10 that has transmitted the sharing participation request.

次に、端末装置１０Ｃの操作受付部１２は、共有参加操作を受け付ける（ステップＳ５０４）。なお、端末装置１０Ｃのユーザは、上記のステップＳ５０２と同様に共有開始操作を行うことができる。 Next, the operation accepting unit 12 of the terminal device 10C accepts a sharing participation operation (step S504). Note that the user of the terminal device 10C can perform the sharing start operation in the same manner as in step S502.

端末装置１０Ｃの共有制御部１１は、操作受付部１２により共有参加操作が受け付けられると、通信部１５を介して、端末装置１０Ａに共有参加要求を送信する（ステップＳ５０５）。そして、端末装置１０Ａの共有制御部１１は、共有参加要求を受信すると、通信部１５を介して、共有参加応答を端末装置１０Ｃに返信する。これにより、端末装置１０Ｂの共有制御部１１は、当該端末装置１０Ｃをクライアントとして機能させる。 When the share accepting operation is accepted by the operation accepting unit 12, the share control unit 11 of the terminal device 10C transmits a share participation request to the terminal device 10A via the communication unit 15 (step S505). When the sharing control unit 11 of the terminal device 10A receives the sharing participation request, the sharing control unit 11 returns a sharing participation response to the terminal device 10C via the communication unit 15. Thereby, the sharing control unit 11 of the terminal device 10B causes the terminal device 10C to function as a client.

次に、端末装置１０Ａの操作受付部１２は、共有対象の全天球画像の選択操作を受け付ける（ステップＳ５０６）。端末装置１０Ａのユーザは、例えば、データ記憶部１６に記憶されている全天球画像データの一覧の中から所望の全天球画像データを選択することで、共有対象の全天球画像の選択操作を行うことができる。 Next, the operation accepting unit 12 of the terminal device 10A accepts an operation for selecting a omnidirectional image to be shared (step S506). The user of the terminal device 10A selects the omnidirectional image to be shared by selecting desired omnidirectional image data from the list of omnidirectional image data stored in the data storage unit 16, for example. The operation can be performed.

次に、端末装置１０Ａの表示画像生成部１３は、上記のステップＳ５０６で選択した全天球画像を示す全天球画像データに基づいて、全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ａの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する（ステップＳ５０７）。ここで、表示画像生成部１３は、例えば、全天球画像毎に予め決められた初期座標及び初期画角（すなわち、初期表示範囲データ）に基づいて、全天球表示部分画像データを生成すれば良い。 Next, the display image generation unit 13 of the terminal device 10A, based on the omnidirectional image data indicating the omnidirectional image selected in step S506, displays the omnidirectional display partial image indicating the omnidirectional display partial image. Generate data. Then, the display control unit 14 of the terminal device 10A displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13 (step S507). Here, the display image generation unit 13 generates omnidirectional display partial image data based on, for example, initial coordinates and initial angle of view (that is, initial display range data) determined in advance for each omnidirectional image. It ’s fine.

端末装置１０Ａの操作受付部１２は、共有対象の全天球画像の選択操作を受け付けると、通信部１５を介して、選択された全天球画像を示す全天球画像データと、初期表示範囲データとを端末装置１０Ｂ及び端末装置１０Ｃに送信する（ステップＳ５０８及びＳ５０９）。 When receiving the selection operation of the omnidirectional image to be shared, the operation accepting unit 12 of the terminal device 10A receives the omnidirectional image data indicating the selected omnidirectional image and the initial display range via the communication unit 15. Data is transmitted to the terminal device 10B and the terminal device 10C (steps S508 and S509).

そして、端末装置１０Ｂの表示画像生成部１３は、受信した全天球画像データ及び初期表示範囲データに基づいて、全天球表示部分画像データを生成する。そして、端末装置１０Ｂの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する（ステップＳ５１０）。 Then, the display image generation unit 13 of the terminal device 10B generates omnidirectional display partial image data based on the received omnidirectional image data and initial display range data. Then, the display control unit 14 of the terminal device 10B displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13 (step S510).

同様に、端末装置１０Ｃの表示画像生成部１３は、受信した全天球画像データ及び初期表示範囲データに基づいて、全天球表示部分画像データを生成する。そして、端末装置１０Ｃの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する（ステップＳ５１１）。 Similarly, the display image generation unit 13 of the terminal device 10C generates omnidirectional display partial image data based on the received omnidirectional image data and initial display range data. Then, the display control unit 14 of the terminal device 10C displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13 (step S511).

以上により、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球画像データと、同一の初期表示範囲データとを共有することができる。これにより、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球表示部分画像（すなわち、同一の全天球画像における同一の初期表示範囲）を表示することができる。 As described above, the same omnidirectional image data and the same initial display range data can be shared among the terminal device 10A, the terminal device 10B, and the terminal device 10C. Accordingly, the same omnidirectional display partial image (that is, the same initial display range in the same omnidirectional image) can be displayed between the terminal device 10A, the terminal device 10B, and the terminal device 10C.

すなわち、端末装置１０Ａには、例えば、図７に示すように、全天球画像における初期表示範囲が表示された画面Ｇ１１０が表示される。同様に、端末装置１０Ｂには、例えば、図７に示すように、全天球画像における初期表示範囲が表示された画面Ｇ１２０が表示される。また、同様に、端末装置１０Ｃには、例えば、図７に示すように、全天球画像における初期表示範囲が表示された画面Ｇ１３０が表示される。 That is, for example, as illustrated in FIG. 7, the terminal device 10 A displays a screen G 110 on which the initial display range in the omnidirectional image is displayed. Similarly, for example, as illustrated in FIG. 7, the terminal device 10 B displays a screen G 120 on which the initial display range in the omnidirectional image is displayed. Similarly, for example, as illustrated in FIG. 7, a screen G130 on which an initial display range in the omnidirectional image is displayed is displayed on the terminal device 10C.

これにより、サーバとして機能する端末装置１０において共有対象の全天球画像が選択された場合に、複数の端末装置１０の間で、同一の全天球表示部分画像を共有することができる。 Thereby, when the omnidirectional image to be shared is selected in the terminal device 10 functioning as a server, the same omnidirectional display partial image can be shared among the plurality of terminal devices 10.

（全天球画像における初期表示範囲の共有の変形例）
ここで、複数の端末装置１０（端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃ）間で、全天球画像の共有を開始して、当該全天球画像における同一の表示範囲（初期表示範囲）を表示する処理の変形例について、図８を参照しながら説明する。図８は、全天球画像の共有及び表示処理の変形例を示すシーケンス図である。なお、図８に示す全天球画像の共有及び表示処理において、ステップＳ５０１〜ステップＳ５０５の処理は、図５と同様であるため、その説明を省略する。 (Modification of sharing initial display range in omnidirectional image)
Here, sharing of the omnidirectional image is started between the plurality of terminal devices 10 (terminal device 10A, terminal device 10B, and terminal device 10C), and the same display range (initial display range) in the omnidirectional image is started. ) Will be described with reference to FIG. FIG. 8 is a sequence diagram showing a modification of the omnidirectional image sharing and display processing. In the omnidirectional image sharing and display process shown in FIG. 8, the processes in steps S501 to S505 are the same as those in FIG.

ステップＳ５０５に続いて、端末装置１０Ｂの操作受付部１２は、共有対象の全天球画像の選択操作を受け付ける（ステップＳ８０１）。端末装置１０Ｂのユーザは、例えば、データ記憶部１６に記憶されている全天球画像データの一覧の中から所望の全天球画像データを選択することで、共有対象の全天球画像の選択操作を行うことができる。 Subsequent to step S505, the operation accepting unit 12 of the terminal device 10B accepts an operation for selecting a omnidirectional image to be shared (step S801). The user of the terminal device 10B selects the desired omnidirectional image by selecting desired omnidirectional image data from the list of omnidirectional image data stored in the data storage unit 16, for example. The operation can be performed.

次に、端末装置１０Ｂの表示画像生成部１３は、上記のステップＳ８０１で選択した全天球画像を示す全天球画像データに基づいて、全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ｂの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する（ステップＳ８０２）。 Next, the display image generation unit 13 of the terminal device 10B, based on the omnidirectional image data indicating the omnidirectional image selected in the above step S801, displays the omnidirectional display partial image indicating the omnidirectional display partial image. Generate data. Then, the display control unit 14 of the terminal device 10B displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13 (step S802).

端末装置１０Ｂの操作受付部１２は、共有対象の全天球画像の選択操作を受け付けると、通信部１５を介して、選択された全天球画像を示す全天球画像データと、初期表示範囲データとを端末装置１０Ａに送信する（ステップＳ８０３）。 When receiving the selection operation of the omnidirectional image to be shared, the operation accepting unit 12 of the terminal device 10B receives the omnidirectional image data indicating the selected omnidirectional image and the initial display range via the communication unit 15. Data is transmitted to the terminal device 10A (step S803).

端末装置１０Ａの通信部１５は、全天球画像データ及び初期表示範囲データを受信すると、当該全天球画像データ及び初期表示範囲データを端末装置１０Ｃに送信する（ステップＳ８０４）。すなわち、サーバとして機能する端末装置１０は、クライアントとして機能する端末装置１０から全天球画像データ及び初期表示範囲データを受信すると、当該全天球画像データ及び初期表示範囲データを、クライアントとして機能する他の端末装置１０に送信する。 When receiving the omnidirectional image data and the initial display range data, the communication unit 15 of the terminal device 10A transmits the omnidirectional image data and the initial display range data to the terminal device 10C (step S804). That is, when the terminal device 10 functioning as a server receives the omnidirectional image data and the initial display range data from the terminal device 10 functioning as a client, the terminal device 10 functions as a client. It transmits to the other terminal device 10.

次に、端末装置１０Ａの表示画像生成部１３は、受信した全天球画像データ及び初期表示範囲データに基づいて、全天球表示部分画像データを生成する。そして、端末装置１０Ａの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する（ステップＳ８０５）。 Next, the display image generation unit 13 of the terminal device 10A generates omnidirectional display partial image data based on the received omnidirectional image data and initial display range data. Then, the display control unit 14 of the terminal device 10A displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13 (step S805).

同様に、端末装置１０Ｃの表示画像生成部１３は、受信した全天球画像データ及び初期表示範囲データに基づいて、全天球表示部分画像データを生成する。そして、端末装置１０Ｃの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する（ステップＳ８０６）。 Similarly, the display image generation unit 13 of the terminal device 10C generates omnidirectional display partial image data based on the received omnidirectional image data and initial display range data. Then, the display control unit 14 of the terminal device 10C displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13 (step S806).

以上により、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球表示部分画像を表示することができる。このように、クライアントとして機能する端末装置１０（例えば、端末装置１０Ｂ）において、共有対象の全天球画像が選択された場合、当該端末装置１０は、サーバとして機能する端末装置１０に全天球画像データ及び初期表示範囲データを送信する。また、サーバとして機能する端末装置１０は、クライアントとして機能する一の端末装置１０から全天球画像データ及び初期表示範囲データを受信すると、当該全天球画像データ及び初期表示範囲データを、クライアントとして機能する他の端末装置１０に送信する。 As described above, the same omnidirectional display partial image can be displayed between the terminal device 10A, the terminal device 10B, and the terminal device 10C. Thus, in the terminal device 10 that functions as a client (for example, the terminal device 10B), when the omnidirectional image to be shared is selected, the terminal device 10 sends the omnidirectional sphere to the terminal device 10 that functions as a server. Image data and initial display range data are transmitted. Further, when the terminal device 10 functioning as a server receives the omnidirectional image data and the initial display range data from the one terminal device 10 functioning as a client, the omnidirectional image data and the initial display range data are used as the client. It transmits to the other terminal device 10 which functions.

これにより、クライアントとして機能する端末装置１０において共有対象の全天球画像が選択された場合にも、複数の端末装置１０の間で、同一の全天球表示部分画像を共有することができる。 Thereby, even when the omnidirectional image to be shared is selected in the terminal device 10 functioning as a client, the same omnidirectional display partial image can be shared among the plurality of terminal devices 10.

（全天球画像における表示範囲の変更）
次に、複数の端末装置１０（端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃ）間で、全天球画像における初期表示範囲が共有された後、当該全天球画像に対して、表示範囲の変更操作が行われた場合の処理について、図９を参照しながら説明する。図９は、全天球画像の表示範囲の変更処理の一例を示すシーケンス図である。 (Change of display range in spherical image)
Next, after the initial display range in the omnidirectional image is shared among the plurality of terminal devices 10 (the terminal device 10A, the terminal device 10B, and the terminal device 10C), the display range for the omnidirectional image is displayed. The processing when the change operation is performed will be described with reference to FIG. FIG. 9 is a sequence diagram illustrating an example of processing for changing the display range of the omnidirectional image.

端末装置１０Ａの操作受付部１２は、表示範囲の変更操作を受け付ける（ステップＳ９０１）。すなわち、操作受付部１２は、全天球画像に対するパン操作、ティルト操作、ズーム操作等の表示範囲の変更操作を受け付ける。 The operation accepting unit 12 of the terminal device 10A accepts a display range changing operation (step S901). That is, the operation accepting unit 12 accepts a display range changing operation such as a pan operation, a tilt operation, and a zoom operation on the omnidirectional image.

次に、端末装置１０Ａの表示制御部１４は、操作受付部１２により表示範囲の変更操作が受け付けられると、全天球画像における表示範囲を変更する（ステップＳ９０２）。 Next, when the operation accepting unit 12 accepts a display range changing operation, the display control unit 14 of the terminal device 10A changes the display range in the omnidirectional image (step S902).

すなわち、端末装置１０Ａの表示画像生成部１３は、共有している全天球画像データに基づいて、表示範囲の変更後の全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ａの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する。これにより、全天球画像における表示範囲が変更されて、変更後の全天球表示部分画像が表示される。ここで、表示画像生成部１３は、例えば、表示範囲の変更操作により変更された後の座標及び画角（すなわち、表示範囲変更データ）に基づいて、全天球表示部分画像データを生成すれば良い。 That is, the display image generation unit 13 of the terminal device 10A generates omnidirectional display partial image data indicating the omnidirectional display partial image after changing the display range, based on the shared omnidirectional image data. . Then, the display control unit 14 of the terminal device 10 A displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13. Thereby, the display range in the omnidirectional image is changed, and the changed omnidirectional display partial image is displayed. Here, for example, the display image generation unit 13 generates the omnidirectional display partial image data based on the coordinates and the angle of view (that is, the display range change data) after being changed by the display range change operation. good.

端末装置１０Ａの操作受付部１２は、表示範囲の変更操作を受け付けると、通信部１５を介して、表示範囲変更データを端末装置１０Ｂ及び端末装置１０Ｃに送信する（ステップＳ９０３及びＳ９０４）。 When receiving the operation for changing the display range, the operation accepting unit 12 of the terminal device 10A transmits display range change data to the terminal device 10B and the terminal device 10C via the communication unit 15 (steps S903 and S904).

そして、端末装置１０Ｂの表示制御部１４は、表示範囲変更データを受信すると、全天球画像における表示範囲を変更する（ステップＳ９０５）。 And the display control part 14 of the terminal device 10B will change the display range in an omnidirectional image, if display range change data are received (step S905).

すなわち、端末装置１０Ｂの表示画像生成部１３は、共有している全天球画像データと、表示範囲変更データとに基づいて、表示範囲の変更後の全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ｂの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する。これにより、全天球画像における表示範囲が変更されて、変更後の全天球表示部分画像が表示される。 In other words, the display image generation unit 13 of the terminal device 10B is based on the shared omnidirectional image data and the display range change data, and shows an omnidirectional sphere that indicates the omnidirectional display partial image after the display range is changed. Display partial image data is generated. Then, the display control unit 14 of the terminal device 10 B displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13. Thereby, the display range in the omnidirectional image is changed, and the changed omnidirectional display partial image is displayed.

同様に、端末装置１０Ｃの表示制御部１４は、表示範囲変更データを受信すると、全天球画像における表示範囲を変更する（ステップＳ９０６）。 Similarly, when receiving the display range change data, the display control unit 14 of the terminal device 10C changes the display range in the omnidirectional image (step S906).

すなわち、端末装置１０Ｃの表示画像生成部１３は、共有している全天球画像データと、表示範囲変更データとに基づいて、表示範囲の変更後の全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ｃの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する。これにより、全天球画像における表示範囲が変更されて、変更後の全天球表示部分画像が表示される。 In other words, the display image generation unit 13 of the terminal device 10 C displays the omnidirectional sphere indicating the omnidirectional display partial image after the change of the display range based on the shared omnidirectional image data and the display range change data. Display partial image data is generated. Then, the display control unit 14 of the terminal device 10 C displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13. Thereby, the display range in the omnidirectional image is changed, and the changed omnidirectional display partial image is displayed.

なお、端末装置１０Ｂ及び端末装置１０Ｃの表示制御部１４は、例えば、共有の一時停止ボタンＧ１１４が押下されている場合、全天球画像における表示範囲を変更しない。これにより、端末装置１０Ｂや端末装置１０Ｃのユーザは、全天球画像における表示範囲の変更の同期を一時停止することができる。端末装置１０Ｂ及び端末装置１０Ｃのユーザは、再度、共有の一時停止ボタンＧ１１４を押下することで、全天球画像における表示範囲の変更同期を再開することができる。 Note that the display control unit 14 of the terminal device 10B and the terminal device 10C does not change the display range in the omnidirectional image, for example, when the shared pause button G114 is pressed. Accordingly, the user of the terminal device 10B or the terminal device 10C can temporarily stop the synchronization of the display range change in the omnidirectional image. The user of the terminal device 10B and the terminal device 10C can restart the change synchronization of the display range in the omnidirectional image by pressing the shared pause button G114 again.

以上により、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球表示部分画像を表示することができる。言い換えれば、本実施形態に係る画面共有システム１では、端末装置１０Ａにおける表示範囲の変更を、端末装置１０Ｂ及び端末装置１０Ｃにも反映させることができる。 As described above, the same omnidirectional display partial image can be displayed between the terminal device 10A, the terminal device 10B, and the terminal device 10C. In other words, in the screen sharing system 1 according to the present embodiment, the change of the display range in the terminal device 10A can be reflected in the terminal device 10B and the terminal device 10C.

すなわち、例えば、図１０に示すように、端末装置１０Ａの画面Ｇ１１０において、表示範囲の変更操作が行われたものとする。この場合、本実施形態に係る画面共有システム１では、端末装置１０Ａの画面Ｇ１１０に表示される全天球画像の表示範囲が変更される。また、本実施形態に係る画面共有システム１では、当該変更が、端末装置１０Ｂの画面Ｇ１２０に表示される全天球画像及び端末装置１０Ｃの画面Ｇ１３０に表示される全天球画像にも反映される。 That is, for example, as shown in FIG. 10, it is assumed that a display range changing operation has been performed on the screen G110 of the terminal device 10A. In this case, in the screen sharing system 1 according to the present embodiment, the display range of the omnidirectional image displayed on the screen G110 of the terminal device 10A is changed. In the screen sharing system 1 according to the present embodiment, the change is also reflected in the omnidirectional image displayed on the screen G120 of the terminal device 10B and the omnidirectional image displayed on the screen G130 of the terminal device 10C. The

これにより、サーバとして機能する端末装置１０において表示範囲の変更操作が行われた場合に、複数の端末装置１０の間で、同一の全天球表示部分画像（当該変更操作により変更された後の全天球表示部分画像）を表示することができる。すなわち、本実施形態に係る画面共有システム１では、サーバとして機能する端末装置１０において表示範囲の変更操作が行われた場合に、複数の端末装置１０の画面に表示される全天球表示部分画像を同期させることができる。 Thereby, when a change operation of the display range is performed in the terminal device 10 functioning as a server, the same omnidirectional display partial image (after being changed by the change operation) between the plurality of terminal devices 10. Omnidirectional display partial image) can be displayed. That is, in the screen sharing system 1 according to the present embodiment, the omnidirectional display partial image displayed on the screens of the plurality of terminal devices 10 when the display range changing operation is performed in the terminal device 10 functioning as a server. Can be synchronized.

（全天球画像における表示範囲の変更の変形例）
ここで、複数の端末装置１０（端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃ）間で、全天球画像における初期表示範囲が共有された後、当該全天球画像に対して、表示範囲の変更操作が行われた場合の処理の変形例について、図９を参照しながら説明する。図１１は、全天球画像の表示範囲の変更処理の変形例を示すシーケンス図である。 (Modification of changing the display range in the spherical image)
Here, after the initial display range in the omnidirectional image is shared among the plurality of terminal devices 10 (the terminal device 10A, the terminal device 10B, and the terminal device 10C), the display range for the omnidirectional image is displayed. A modification of the processing when the change operation is performed will be described with reference to FIG. FIG. 11 is a sequence diagram illustrating a modification of the processing for changing the display range of the omnidirectional image.

端末装置１０Ｂの操作受付部１２は、表示範囲の変更操作を受け付ける（ステップＳ１１０１）。すなわち、操作受付部１２は、全天球画像に対するパン操作、ティルト操作、ズーム操作等の表示範囲の変更操作を受け付ける。 The operation accepting unit 12 of the terminal device 10B accepts a display range changing operation (step S1101). That is, the operation accepting unit 12 accepts a display range changing operation such as a pan operation, a tilt operation, and a zoom operation on the omnidirectional image.

次に、端末装置１０Ｂの表示制御部１４は、操作受付部１２により表示範囲の変更操作が受け付けられると、全天球画像における表示範囲を変更する（ステップＳ１１０２）。 Next, when the operation accepting unit 12 accepts a display range changing operation, the display control unit 14 of the terminal device 10B changes the display range in the omnidirectional image (step S1102).

すなわち、端末装置１０Ｂの表示画像生成部１３は、共有している全天球画像データに基づいて、表示範囲の変更後の全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ｂの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する。これにより、全天球画像における表示範囲が変更されて、変更後の全天球表示部分画像が表示される。 That is, the display image generation unit 13 of the terminal device 10B generates omnidirectional display partial image data indicating the omnidirectional display partial image after changing the display range, based on the shared omnidirectional image data. . Then, the display control unit 14 of the terminal device 10 B displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13. Thereby, the display range in the omnidirectional image is changed, and the changed omnidirectional display partial image is displayed.

端末装置１０Ｂの操作受付部１２は、表示範囲の変更操作を受け付けると、通信部１５を介して、表示範囲変更データを端末装置１０Ａに送信する（ステップＳ１１０３）。 When receiving the operation for changing the display range, the operation accepting unit 12 of the terminal device 10B transmits display range change data to the terminal device 10A via the communication unit 15 (step S1103).

端末装置１０Ａの通信部１５は、表示範囲変更データを受信すると、当該表示範囲変更データを端末装置１０Ｃに送信する（ステップＳ１１０４）。すなわち、サーバとして機能する端末装置１０は、クライアントとして機能する端末装置１０から表示範囲変更データを受信すると、当該表示範囲変更データを、クライアントとして機能する他の端末装置１０に送信する。 When receiving the display range change data, the communication unit 15 of the terminal device 10A transmits the display range change data to the terminal device 10C (step S1104). That is, when receiving the display range change data from the terminal device 10 functioning as a client, the terminal device 10 functioning as a server transmits the display range change data to another terminal device 10 functioning as a client.

次に、端末装置１０Ａの表示制御部１４は、受信した表示範囲変更データに基づいて、全天球画像における表示範囲を変更する（ステップＳ１１０５）。 Next, the display control unit 14 of the terminal device 10A changes the display range in the omnidirectional image based on the received display range change data (step S1105).

すなわち、端末装置１０Ａの表示画像生成部１３は、共有している全天球画像データと、表示範囲変更データに基づいて、表示範囲の変更後の全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ａの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する。これにより、全天球画像における表示範囲が変更されて、変更後の全天球表示部分画像が表示される。 That is, the display image generation unit 13 of the terminal device 10A displays the omnidirectional display indicating the omnidirectional display partial image after the change of the display range based on the shared omnidirectional image data and the display range change data. Partial image data is generated. Then, the display control unit 14 of the terminal device 10 A displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13. Thereby, the display range in the omnidirectional image is changed, and the changed omnidirectional display partial image is displayed.

同様に、端末装置１０Ｃの表示制御部１４は、受信した表示範囲変更データに基づいて、全天球画像における表示範囲を変更する（ステップＳ１１０６）。 Similarly, the display control unit 14 of the terminal device 10C changes the display range in the omnidirectional image based on the received display range change data (step S1106).

すなわち、端末装置１０Ｃの表示画像生成部１３は、共有している全天球画像データと、表示範囲変更データに基づいて、表示範囲の変更後の全天球表示部分画像を示す全天球表示部分画像データを生成する。そして、端末装置１０Ｃの表示制御部１４は、表示画像生成部１３により生成された全天球表示部分画像データに基づいて、全天球表示部分画像を表示する。これにより、全天球画像における表示範囲が変更されて、変更後の全天球表示部分画像が表示される。 In other words, the display image generation unit 13 of the terminal device 10C displays the omnidirectional display indicating the omnidirectional display partial image after the change of the display range based on the shared omnidirectional image data and the display range change data. Partial image data is generated. Then, the display control unit 14 of the terminal device 10 C displays the omnidirectional display partial image based on the omnidirectional display partial image data generated by the display image generation unit 13. Thereby, the display range in the omnidirectional image is changed, and the changed omnidirectional display partial image is displayed.

以上により、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球表示部分画像を表示することができる。このように、クライアントとして機能する端末装置１０（例えば、端末装置１０Ｂ）において、表示範囲の変更操作が行われた場合、当該端末装置１０は、サーバとして機能する端末装置１０に表示範囲変更データを送信する。また、サーバとして機能する端末装置１０は、クライアントとして機能する一の端末装置１０から表示範囲変更データを受信すると、当該表示範囲変更データを、クライアントとして機能する他の端末装置１０に送信する。 As described above, the same omnidirectional display partial image can be displayed between the terminal device 10A, the terminal device 10B, and the terminal device 10C. As described above, when a display range change operation is performed in the terminal device 10 that functions as a client (for example, the terminal device 10B), the terminal device 10 sends display range change data to the terminal device 10 that functions as a server. Send. Further, when receiving the display range change data from one terminal device 10 functioning as a client, the terminal device 10 functioning as a server transmits the display range change data to another terminal device 10 functioning as a client.

これにより、クライアントとして機能する端末装置１０において表示範囲の変更操作が行われた場合にも、複数の端末装置１０の間で、同一の全天球表示部分画像（当該変更操作により変更された後の全天球表示部分画像）を表示することができる。すなわち、本実施形態に係る画面共有システム１では、クライアントとして機能する端末装置１０において表示範囲の変更操作が行われた場合にも、複数の端末装置１０の画面に表示される全天球表示部分画像を同期させることができる。 As a result, even when a display range change operation is performed in the terminal device 10 functioning as a client, the same omnidirectional display partial image (after being changed by the change operation) among the plurality of terminal devices 10. Can be displayed. That is, in the screen sharing system 1 according to the present embodiment, the omnidirectional display portion displayed on the screens of the plurality of terminal devices 10 even when the display range is changed in the terminal device 10 that functions as a client. Images can be synchronized.

（全天球表示部分画像に対する描画）
次に、複数の端末装置１０（端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃ）間で、共有されている全天球表示部分画像に対する描画操作が行われた場合の処理について、図１２を参照しながら説明する。図１２は、全天球画像の表示範囲に対する描画処理の一例を示すシーケンス図である。 (Drawing on a spherical display partial image)
Next, FIG. 12 shows processing when a drawing operation is performed on a shared omnidirectional display partial image among a plurality of terminal devices 10 (terminal device 10A, terminal device 10B, and terminal device 10C). The description will be given with reference. FIG. 12 is a sequence diagram illustrating an example of a drawing process for the display range of the omnidirectional image.

端末装置１０Ａの操作受付部１２は、全天球表示部分画像に対する描画操作を受け付ける（ステップＳ１２０１）。すなわち、操作受付部１２は、全天球表示部分画像に対するペン操作、スタンプ操作、消しゴム操作、又はポインタ操作を受け付ける。 The operation reception unit 12 of the terminal device 10A receives a drawing operation for the omnidirectional display partial image (step S1201). That is, the operation reception unit 12 receives a pen operation, a stamp operation, an eraser operation, or a pointer operation with respect to the omnidirectional display partial image.

次に、端末装置１０Ａの表示制御部１４は、操作受付部１２により描画操作が受け付けられると、描画を反映する（ステップＳ１２０２）。 Next, when the drawing operation is received by the operation receiving unit 12, the display control unit 14 of the terminal device 10A reflects the drawing (step S1202).

すなわち、表示制御部１４は、例えば、操作受付部１２によりペン操作が受け付けられた場合、当該ペン操作により描画された直線や曲線、文字等の描画情報を表示する。また、表示制御部１４は、操作受付部１２によりスタンプ操作が受け付けられた場合、当該スタンプ操作により描画されたスタンプの描画情報を表示する。なお、ユーザは、スタンプ操作により描画されるスタンプを、データ記憶部１６に記憶されている画像データの中から選択することができる。 That is, for example, when a pen operation is received by the operation receiving unit 12, the display control unit 14 displays drawing information such as a straight line, a curve, and a character drawn by the pen operation. Further, when a stamp operation is received by the operation receiving unit 12, the display control unit 14 displays the drawing information of the stamp drawn by the stamp operation. Note that the user can select a stamp drawn by the stamp operation from the image data stored in the data storage unit 16.

また、表示制御部１４は、例えば、操作受付部１２により消しゴム操作が受け付けられた場合、当該消しゴム操作による操作対象の描画情報を削除する（すなわち、非表示にする。）。更に、表示制御部１４は、例えば、操作受付部１２によりポインタ操作が受け付けられた場合、当該ポインタ操作により指定される位置（全天球画像における座標）に所定のポインタを表示する。 Further, for example, when the eraser operation is accepted by the operation accepting unit 12, the display control unit 14 deletes the drawing information of the operation target by the eraser operation (that is, hides it). Furthermore, for example, when a pointer operation is received by the operation receiving unit 12, the display control unit 14 displays a predetermined pointer at a position (coordinates in the omnidirectional image) designated by the pointer operation.

次に、端末装置１０Ａの操作受付部１２は、描画操作を受け付けると、通信部１５を介して、描画データを端末装置１０Ｂ及び端末装置１０Ｃに送信する（ステップＳ１２０３及びＳ１２０４）。 Next, when accepting a drawing operation, the operation accepting unit 12 of the terminal device 10A transmits drawing data to the terminal device 10B and the terminal device 10C via the communication unit 15 (steps S1203 and S1204).

ここで、描画データは、例えば、描画操作がペン操作やスタンプ操作である場合には、描画情報の画像データと、当該描画情報が描画される座標（全天球画像における座標）との組である。また、描画データは、例えば、描画操作が消しゴム操作である場合には、当該消しゴム操作による操作対象の描画情報が描画されている座標である。更に、描画データは、例えば、描画操作がポインタ操作である場合には、ポインタの画像データと、当該ポインタが描画される座標（全天球画像の座標）との組である。 Here, for example, when the drawing operation is a pen operation or a stamp operation, the drawing data is a set of drawing data image data and coordinates at which the drawing information is drawn (coordinates in the omnidirectional image). is there. For example, when the drawing operation is an eraser operation, the drawing data is coordinates where drawing information of an operation target by the eraser operation is drawn. Further, for example, when the drawing operation is a pointer operation, the drawing data is a set of image data of the pointer and coordinates at which the pointer is drawn (coordinates of the omnidirectional image).

端末装置１０Ｂの表示制御部１４は、通信部１５を介して、描画データを受信すると、当該描画データに基づいて、描画を反映する（ステップＳ１２０５）。 When receiving the drawing data via the communication unit 15, the display control unit 14 of the terminal device 10B reflects the drawing based on the drawing data (step S1205).

すなわち、表示制御部１４は、例えば、ペン操作やスタンプ操作の描画データを受信した場合、当該描画データに含まれる画像データを、当該描画データに含まれる座標が示す位置に描画する。また、表示制御部１４は、例えば、消しゴム操作の描画データを受信した場合、当該描画データに含まれる座標が示す位置に描画されている描画情報を削除する。更に、表示制御部１４は、例えば、ポインタ操作の描画データを受信した場合、当該描画データに含まれる画像データを、当該描画データに含まれる座標が示す位置に表示する。 That is, for example, when the display control unit 14 receives drawing data of a pen operation or a stamp operation, the display control unit 14 draws the image data included in the drawing data at a position indicated by the coordinates included in the drawing data. Further, for example, when receiving the drawing data of the eraser operation, the display control unit 14 deletes the drawing information drawn at the position indicated by the coordinates included in the drawing data. Further, for example, when receiving the drawing data of the pointer operation, the display control unit 14 displays the image data included in the drawing data at the position indicated by the coordinates included in the drawing data.

同様に、端末装置１０Ｃの表示制御部１４は、通信部１５を介して、描画データを受信すると、当該描画データに基づいて、描画を反映する（ステップＳ１２０６）。 Similarly, when receiving the drawing data via the communication unit 15, the display control unit 14 of the terminal device 10C reflects the drawing based on the drawing data (step S1206).

以上により、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球画像上に、同一の描画情報を表示することができる。言い換えれば、本実施形態に係る画面共有システム１では、端末装置１０Ａにおける描画情報の表示や削除を、端末装置１０Ｂ及び端末装置１０Ｃにも反映させることができる。 As described above, the same drawing information can be displayed on the same omnidirectional image among the terminal device 10A, the terminal device 10B, and the terminal device 10C. In other words, in the screen sharing system 1 according to the present embodiment, display and deletion of drawing information in the terminal device 10A can be reflected in the terminal device 10B and the terminal device 10C.

すなわち、例えば、図１３に示すように、端末装置１０Ａの画面Ｇ１１０において、描画操作（スタンプＧ７１０を描画するためのスタンプ操作、文字Ｇ７２０を描画するためのペン操作、ポインタＧ７３０を描画するためのポインタ操作）が行われたものとする。この場合、本実施形態に係る画面共有システム１では、端末装置１０Ａの画面Ｇ１１０に表示されている全天球表示部分画像上に、スタンプＧ７１０や文字Ｇ７２０、ポインタＧ７３０が表示される。 That is, for example, as shown in FIG. 13, on the screen G110 of the terminal device 10A, a drawing operation (a stamp operation for drawing the stamp G710, a pen operation for drawing the character G720, a pointer for drawing the pointer G730) Operation) has been performed. In this case, in the screen sharing system 1 according to the present embodiment, the stamp G710, the character G720, and the pointer G730 are displayed on the omnidirectional display partial image displayed on the screen G110 of the terminal device 10A.

また、本実施形態に係る画面共有システム１では、スタンプＧ７１０や文字Ｇ７２０、ポインタＧ７３０を端末装置１０Ｂの画面Ｇ１２０にも反映させる。同様に、本実施形態に係る画面共有システム１では、スタンプＧ７１０や文字Ｇ７２０、ポインタＧ７３０を端末装置１０Ｃの画面Ｇ１３０にも反映させる。 In the screen sharing system 1 according to the present embodiment, the stamp G710, the character G720, and the pointer G730 are also reflected on the screen G120 of the terminal device 10B. Similarly, in the screen sharing system 1 according to the present embodiment, the stamp G710, the character G720, and the pointer G730 are reflected on the screen G130 of the terminal device 10C.

これにより、サーバとして機能する端末装置１０において描画操作が行われた場合に、複数の端末装置１０の間で、同一の描画情報を表示することができる。すなわち、本実施形態に係る画面共有システム１では、サーバとして機能する端末装置１０において描画操作が行われた場合に、複数の端末装置１０の画面に表示される描画情報を同期させることができる。 Thereby, when drawing operation is performed in the terminal device 10 which functions as a server, the same drawing information can be displayed among the plurality of terminal devices 10. That is, in the screen sharing system 1 according to the present embodiment, when a drawing operation is performed on the terminal device 10 functioning as a server, the drawing information displayed on the screens of the plurality of terminal devices 10 can be synchronized.

なお、図１０に示すように、ポインタ操作を行っている端末装置１０Ａに表示されるポインタＧ７３０と、当該ポインタ操作の描画情報が反映される端末装置１０Ｂ及び１０Ｃの画面に表示されるポインタＧ７３０とは、異なる画像で表示されていても良い。 As shown in FIG. 10, the pointer G730 displayed on the terminal device 10A performing the pointer operation, and the pointer G730 displayed on the screens of the terminal devices 10B and 10C reflecting the drawing information of the pointer operation. May be displayed in different images.

ここで、例えば、描画操作を行った端末装置１０Ａの画面比率（縦横比）と、当該描画操作の描画情報が反映される端末装置１０Ｂとの画面比率とが異なっている場合には、端末装置１０Ｂが表示している全天球表示部分画像内に描画情報が反映されないことがあり得る。 Here, for example, when the screen ratio (aspect ratio) of the terminal device 10A that performed the drawing operation is different from the screen ratio of the terminal device 10B to which the drawing information of the drawing operation is reflected, the terminal device The drawing information may not be reflected in the omnidirectional display partial image displayed by 10B.

例えば、端末装置１０Ａの画面比率が「１６：９」、端末装置１０Ｂの画面比率が「４：３」である場合、端末装置１０Ａの画面の左端や右端等に描画された描画情報は、端末装置１０Ｂの全天球表示部分画像内に反映されないことがあり得る。 For example, when the screen ratio of the terminal device 10A is “16: 9” and the screen ratio of the terminal device 10B is “4: 3”, the drawing information drawn at the left end or the right end of the screen of the terminal device 10A is the terminal It may not be reflected in the omnidirectional display partial image of the device 10B.

このような場合、端末装置１０Ｂの表示制御部１４は、図１４（ａ）に示すように、画面Ｇ１２０に表示されている全天球表示部分画像外（すなわち、全天球画像における表示範囲外）に描画情報が描画されていることを示す通知矢印Ｇ７４０を表示すれば良い。これにより、端末装置１０Ｂのユーザは、全天球表示部分画像外に描画情報が反映されたことを知ることができる。 In such a case, the display control unit 14 of the terminal device 10B, as shown in FIG. 14A, is outside the omnidirectional display partial image displayed on the screen G120 (that is, outside the display range in the omnidirectional image). ) May be displayed with a notification arrow G740 indicating that the drawing information is drawn. Accordingly, the user of the terminal device 10B can know that the drawing information is reflected outside the omnidirectional display partial image.

また、端末装置１０Ｂの表示制御部１４は、図１４（ｂ）に示すように、画面Ｇ１２０内に、端末装置１０Ａと同一の画面比率で全天球表示部分画像が表示されるように、表示を切り替えても良い。これにより、端末装置１０Ｂのユーザは、全天球表示部分画像外に描画情報が反映された場合でも、当該描画情報の反映を知ることができる。 Further, as shown in FIG. 14B, the display control unit 14 of the terminal device 10B displays the omnidirectional display partial image in the screen G120 at the same screen ratio as the terminal device 10A. May be switched. Thereby, the user of the terminal device 10B can know the reflection of the drawing information even when the drawing information is reflected outside the omnidirectional display partial image.

（全天球表示部分画像に対する描画の変形例）
ここで、複数の端末装置１０（端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃ）間で、共有されている全天球表示部分画像に対する描画操作が行われた場合の処理の変形例について、図１５を参照しながら説明する。図１５は、全天球画像の表示範囲に対する描画処理の変形例を示すシーケンス図である。 (Variation of drawing for omnidirectional display partial image)
Here, regarding a modified example of processing when a drawing operation is performed on a shared omnidirectional display partial image among a plurality of terminal devices 10 (terminal device 10A, terminal device 10B, and terminal device 10C), This will be described with reference to FIG. FIG. 15 is a sequence diagram illustrating a modification of the drawing process for the display range of the omnidirectional image.

端末装置１０Ｂの操作受付部１２は、全天球表示部分画像に対する描画操作を受け付ける（ステップＳ１５０１）。すなわち、操作受付部１２は、全天球表示部分画像に対するペン操作、スタンプ操作、消しゴム操作、又はポインタ操作を受け付ける。 The operation receiving unit 12 of the terminal device 10B receives a drawing operation for the omnidirectional display partial image (step S1501). That is, the operation reception unit 12 receives a pen operation, a stamp operation, an eraser operation, or a pointer operation with respect to the omnidirectional display partial image.

次に、端末装置１０Ｂの表示制御部１４は、操作受付部１２により描画操作が受け付けられると、描画を反映する（ステップＳ１５０２）。 Next, when a drawing operation is received by the operation receiving unit 12, the display control unit 14 of the terminal device 10B reflects the drawing (step S1502).

端末装置１０Ｂの操作受付部１２は、描画操作を受け付けると、通信部１５を介して、描画データを端末装置１０Ａに送信する（ステップＳ１５０３）。 When receiving the drawing operation, the operation receiving unit 12 of the terminal device 10B transmits the drawing data to the terminal device 10A via the communication unit 15 (step S1503).

端末装置１０Ａの通信部１５は、描画データを受信すると、当該描画データを端末装置１０Ｃに送信する（ステップＳ１５０４）。すなわち、サーバとして機能する端末装置１０は、クライアントとして機能する端末装置１０から描画データを受信すると、当該描画データを、クライアントとして機能する他の端末装置１０に送信する。 When receiving the drawing data, the communication unit 15 of the terminal device 10A transmits the drawing data to the terminal device 10C (step S1504). That is, when receiving the drawing data from the terminal device 10 that functions as a client, the terminal device 10 that functions as a server transmits the drawing data to another terminal device 10 that functions as a client.

次に、端末装置１０Ａの表示制御部１４は、通信部１５を介して、描画データを受信すると、当該描画データに基づいて、描画を反映する（ステップＳ１５０５）。 Next, when receiving the drawing data via the communication unit 15, the display control unit 14 of the terminal apparatus 10A reflects the drawing based on the drawing data (step S1505).

同様に、端末装置１０Ｃの表示制御部１４は、通信部１５を介して、描画データを受信すると、当該描画データに基づいて、描画を反映する（ステップＳ１５０６）。 Similarly, when receiving the drawing data via the communication unit 15, the display control unit 14 of the terminal device 10C reflects the drawing based on the drawing data (step S1506).

以上により、端末装置１０Ａ、端末装置１０Ｂ、及び端末装置１０Ｃの間で、同一の全天球画像上に、同一の描画情報を表示することができる。このように、クライアントとして機能する端末装置１０（例えば、端末装置１０Ｂ）において、描画操作が行われた場合、当該端末装置１０は、サーバとして機能する端末装置１０に描画データを送信する。また、サーバとして機能する端末装置１０は、クライアントとして機能する一の端末装置１０から描画データを受信すると、当該描画データを、クライアントとして機能する他の端末装置１０に送信する。 As described above, the same drawing information can be displayed on the same omnidirectional image among the terminal device 10A, the terminal device 10B, and the terminal device 10C. As described above, when a drawing operation is performed in the terminal device 10 (for example, the terminal device 10B) that functions as a client, the terminal device 10 transmits drawing data to the terminal device 10 that functions as a server. Further, when receiving the drawing data from one terminal device 10 functioning as a client, the terminal device 10 functioning as a server transmits the drawing data to another terminal device 10 functioning as a client.

これにより、クライアントとして機能する端末装置１０において描画操作が行われた場合に、複数の端末装置１０の間で、同一の描画情報を表示することができる。すなわち、本実施形態に係る画面共有システム１では、クライアントとして機能する端末装置１０において描画操作が行われた場合に、複数の端末装置１０の画面に表示される描画情報を同期させることができる。 Thereby, when drawing operation is performed in the terminal device 10 which functions as a client, the same drawing information can be displayed among the plurality of terminal devices 10. That is, in the screen sharing system 1 according to the present embodiment, when a drawing operation is performed in the terminal device 10 functioning as a client, the drawing information displayed on the screens of the plurality of terminal devices 10 can be synchronized.

＜まとめ＞
以上のように、本実施形態に係る画面共有システム１では、複数の端末装置１０の間で、同一の全天球画像を共有することができると共に、一の端末装置１０で行われた全天球画像に対する表示範囲の変更を他の端末装置１０にも同期させることができる。すなわち、本実施形態に係る画面共有システム１では、複数の端末装置１０の間で、全天球画像の表示範囲（全天球表示部分画像）を共有することができる。 <Summary>
As described above, in the screen sharing system 1 according to the present embodiment, the same celestial sphere image can be shared among a plurality of terminal devices 10, and the entire sky performed by one terminal device 10. The change of the display range for the spherical image can be synchronized with the other terminal devices 10. That is, in the screen sharing system 1 according to the present embodiment, the display range of the omnidirectional image (the omnidirectional display partial image) can be shared among the plurality of terminal devices 10.

また、本実施形態に係る画面共有システム１では、一の端末装置１０で行われた全天球画像に対する描画情報を他の端末装置１０にも同期させることもできる。すなわち、本実施形態に係る画面共有システム１では、複数の端末装置１０の間で、全天球画像上の描画情報を共有することができる。 In the screen sharing system 1 according to the present embodiment, the drawing information for the omnidirectional image performed by one terminal device 10 can also be synchronized with other terminal devices 10. That is, in the screen sharing system 1 according to the present embodiment, the drawing information on the omnidirectional image can be shared among the plurality of terminal devices 10.

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 The present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

１画面共有システム
１０端末装置
１１共有制御部
１２操作受付部
１３表示画像生成部
１４表示制御部
１５通信部
１６データ記憶部 DESCRIPTION OF SYMBOLS 1 Screen sharing system 10 Terminal device 11 Sharing control part 12 Operation reception part 13 Display image generation part 14 Display control part 15 Communication part 16 Data storage part

特開２００７−１３７０４号公報JP 2007-13704 A

Claims

複数の端末装置を含む画面共有システムであって、
複数の前記端末装置の間で共有する全天球画像データを選択する選択手段と、
前記選択手段により選択された前記全天球画像データに基づく全天球画像の画像領域のうち、複数の前記端末装置の画面に表示される表示範囲を示す表示画像データを生成する生成手段と、
前記生成手段により生成された前記表示画像データに基づく表示画像を、複数の前記端末装置の画面に表示する表示手段と、
前記全天球画像の画像領域のうち、複数の前記端末装置の画面に表示される前記表示範囲の変更操作を受け付ける操作手段と、
を有し、
前記生成手段は、
前記操作手段により前記変更操作が受け付けられた場合、前記全天球画像の画像領域のうち、変更後の表示範囲を示す表示画像データを生成する、画面共有システム。 A screen sharing system including a plurality of terminal devices,
Selecting means for selecting omnidirectional image data shared among a plurality of the terminal devices;
Generating means for generating display image data indicating display ranges displayed on the screens of the plurality of terminal devices, out of the image area of the omnidirectional image based on the omnidirectional image data selected by the selection means;
Display means for displaying a display image based on the display image data generated by the generation means on a plurality of screens of the terminal devices;
An operation means for receiving a change operation of the display range displayed on the screens of the plurality of terminal devices out of the image area of the omnidirectional image;
Have
The generating means includes
A screen sharing system that generates display image data indicating a display range after change in the image area of the omnidirectional image when the change operation is received by the operation means.

前記生成手段は、
前記全天球画像における前記表示範囲の中央を示す座標と、前記表示範囲の外縁を示す画角とに基づいて、前記表示画像データを生成する、請求項１に記載の画面共有システム。 The generating means includes
The screen sharing system according to claim 1, wherein the display image data is generated based on a coordinate indicating the center of the display range in the omnidirectional image and an angle of view indicating an outer edge of the display range.

前記生成手段は、
前記操作手段により前記変更操作が受け付けられた場合、変更後の前記座標と、前記画角とに基づいて、変更後の前記表示画像データを生成する、請求項２に記載の画面共有システム。 The generating means includes
The screen sharing system according to claim 2, wherein when the change operation is received by the operation unit, the display image data after change is generated based on the coordinates after change and the angle of view.

前記表示画像上に描画情報を描画する描画手段を有し、
前記表示手段は、
前記描画手段により前記描画情報が描画された場合、複数の前記端末装置の画面に表示されている前記表示画像上に、前記描画情報を描画する、請求項１乃至３の何れか一項に記載の画面共有システム。 Drawing means for drawing drawing information on the display image;
The display means includes
The said drawing information is drawn on the said display image currently displayed on the screen of the said some terminal device, when the said drawing information is drawn by the said drawing means. Screen sharing system.

前記表示手段は、
前記描画手段により前記描画情報が描画された場合、該描画情報を描画するための画像データと、該画像データを描画する描画座標とに基づいて、複数の前記端末装置の画面に表示されている前記表示画像上に、前記描画情報を描画する、請求項４に記載の画面共有システム。 The display means includes
When the drawing information is drawn by the drawing means, the drawing information is displayed on the screens of the plurality of terminal devices based on image data for drawing the drawing information and drawing coordinates for drawing the image data. The screen sharing system according to claim 4, wherein the drawing information is drawn on the display image.

前記表示範囲の変更操作は、前記全天球画像に対するパン操作、ティルト操作、又はズーム操作である、請求項１乃至５の何れか一項に記載の画面共有システム。 The screen sharing system according to any one of claims 1 to 5, wherein the display range changing operation is a pan operation, a tilt operation, or a zoom operation on the omnidirectional image.

複数の端末装置を含む画面共有システムに用いられる画面共有方法であって、
複数の前記端末装置の間で共有する全天球画像データを選択する選択手順と、
前記選択手順により選択された前記全天球画像データに基づく全天球画像の画像領域のうち、複数の前記端末装置の画面に表示される表示範囲を示す表示画像データを生成する生成手順と、
前記生成手順により生成された前記表示画像データに基づく表示画像を、複数の前記端末装置の画面に表示する表示手順と、
前記全天球画像の画像領域のうち、複数の前記端末装置の画面に表示される前記表示範囲の変更操作を受け付ける操作手順と、
を有し、
前記生成手順は、
前記操作手順により前記変更操作が受け付けられた場合、前記全天球画像の画像領域のうち、変更後の表示範囲を示す表示画像データを生成する、画面共有方法。 A screen sharing method used in a screen sharing system including a plurality of terminal devices,
A selection procedure for selecting omnidirectional image data shared among a plurality of the terminal devices;
A generation procedure for generating display image data indicating display ranges displayed on the screens of the plurality of terminal devices, out of the image area of the omnidirectional image based on the omnidirectional image data selected by the selection procedure;
A display procedure for displaying a display image based on the display image data generated by the generation procedure on a plurality of screens of the terminal devices;
An operation procedure for accepting a change operation of the display range displayed on the screens of a plurality of the terminal devices in the image area of the omnidirectional image;
Have
The generation procedure is as follows:
A screen sharing method for generating display image data indicating a display range after change in the image area of the omnidirectional image when the change operation is accepted by the operation procedure.

他の端末装置との間で画面を共有する端末装置であって、
前記他の端末装置の間で共有する全天球画像データを選択する選択手段と、
前記選択手段により選択された前記全天球画像データを前記他の端末装置に送信する画像送信手段と、
前記選択手段により選択された前記全天球画像データに基づく全天球画像の画像領域のうち、前記端末装置及び前記他の端末装置の画面に表示される表示範囲を示す表示画像データを生成する生成手段と、
前記生成手段により生成された前記表示画像データに基づく表示画像を、前記端末装置の画面に表示する表示手段と、
前記全天球画像の画像領域のうち、前記端末装置及び前記他の端末装置の画面に表示される前記表示範囲の変更操作を受け付ける操作手段と、
を有し、
前記生成手段は、
前記操作手段により前記変更操作が受け付けられた場合、又は、前記他の端末装置で前記表示範囲を変更する操作が行われた場合、前記全天球画像の画像領域のうち、変更後の表示範囲を示す表示画像データを生成する、端末装置。 A terminal device that shares a screen with other terminal devices,
Selection means for selecting omnidirectional image data shared between the other terminal devices;
Image transmitting means for transmitting the omnidirectional image data selected by the selecting means to the other terminal device;
Display image data indicating a display range displayed on the screen of the terminal device and the other terminal device is generated from the image region of the omnidirectional image based on the omnidirectional image data selected by the selection unit. Generating means;
Display means for displaying a display image based on the display image data generated by the generation means on a screen of the terminal device;
An operation means for accepting an operation for changing the display range displayed on the screens of the terminal device and the other terminal device in the image area of the omnidirectional image;
Have
The generating means includes
When the change operation is received by the operation means, or when the operation to change the display range is performed on the other terminal device, the display range after the change in the image area of the omnidirectional image A terminal device that generates display image data indicating

他の端末装置との間で画面を共有する端末装置を、
前記他の端末装置の間で共有する全天球画像データを選択する選択手段、
前記選択手段により選択された前記全天球画像データを前記他の端末装置に送信する画像送信手段、
前記選択手段により選択された前記全天球画像データに基づく全天球画像の画像領域のうち、前記端末装置及び前記他の端末装置の画面に表示される表示範囲を示す表示画像データを生成する生成手段、
前記生成手段により生成された前記表示画像データに基づく表示画像を、前記端末装置の画面に表示する表示手段、
前記全天球画像の画像領域のうち、前記端末装置及び前記他の端末装置の画面に表示される前記表示範囲の変更操作を受け付ける操作手段、
として機能させ、
前記生成手段は、
前記操作手段により前記変更操作が受け付けられた場合、又は、前記他の端末装置で前記表示範囲を変更する操作が行われた場合、前記全天球画像の画像領域のうち、変更後の表示範囲を示す表示画像データを生成する、画面共有プログラム。 A terminal device that shares a screen with other terminal devices,
Selecting means for selecting omnidirectional image data shared between the other terminal devices;
Image transmitting means for transmitting the omnidirectional image data selected by the selecting means to the other terminal device;
Display image data indicating a display range displayed on the screen of the terminal device and the other terminal device is generated from the image region of the omnidirectional image based on the omnidirectional image data selected by the selection unit. Generating means,
Display means for displaying a display image based on the display image data generated by the generation means on a screen of the terminal device;
An operation means for accepting an operation for changing the display range displayed on the screens of the terminal device and the other terminal device out of the image area of the omnidirectional image,
Function as
The generating means includes
When the change operation is received by the operation means, or when the operation to change the display range is performed on the other terminal device, the display range after the change in the image area of the omnidirectional image A screen sharing program for generating display image data indicating