JP6521121B2

JP6521121B2 - Display device, display system, and display program

Info

Publication number: JP6521121B2
Application number: JP2018029873A
Authority: JP
Inventors: 正永中村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2018-02-22
Filing date: 2018-02-22
Publication date: 2019-05-29
Anticipated expiration: 2034-03-10
Also published as: JP2018133805A

Description

本発明は、表示装置、表示システム、および表示プログラムに関する。 The present invention relates to a display device, a display system, and a display program.

撮像装置が現在撮影して得られているスルー画像に、過去に撮影した撮影画像の位置情報を参照して、過去に撮影した撮影画像を重ねて表示する映像表示手法が、たとえば特許文献１に開示されている。同一地点で過去に撮影した撮影画像が複数ある場合にはそれら複数の撮影画像同士が重なり合い、一番上に重ねられている撮影画像しか閲覧することができない。特許文献１では、同一地点で過去に撮影した撮影画像が複数ある場合には、撮影日時を利用して一番上に重ねる撮影画像を指定する手法を提案しているが、日付の指定は煩雑な操作が必要であり、日付順に順次重ねる順番を入れ替えると何度も操作が必要であり煩雑である。 For example, Patent Document 1 discloses a video display method of superposing and displaying a captured image captured in the past with reference to position information of captured images captured in the past on a through image captured and obtained by the imaging device at present. It is disclosed. When there are a plurality of captured images captured in the past at the same point, the plurality of captured images overlap each other, and only the captured image superimposed on the top can be viewed. Patent Document 1 proposes a method of designating a photographed image to be superimposed on the top using photographing date and time when there are a plurality of photographed images photographed in the past at the same point, but designation of a date is complicated. Operations are necessary, and if the order of overlapping in order of date is changed, many operations are required and it is complicated.

特開２０１０−６３０７６JP 2010-63076

複数の撮影画像が重ねて表示されている場合に、下に重ねられている撮影画像を閲覧するための操作が煩雑である。 In the case where a plurality of photographed images are displayed in an overlapping manner, the operation for browsing the photographed images superimposed below is complicated.

本発明の第１の態様による表示装置は、複数の撮影画像および前記複数の撮影画像の撮影位置を保存する記憶部と、被写体を撮影する撮影部と、ユーザによる入力を受け付ける入力部と、表示画面に表示された前記撮影画像のうち前記入力部からの第１の入力により選択された前記撮影画像を、前記入力部からの第２の入力に応じて移動させ、前記選択された撮影画像の上に別の撮影画像があると、前記別の撮影画像も前記第２の入力に応じて移動させるとともに、前記選択された撮影画像および前記別の撮影画像の移動前の表示位置をそれぞれ記憶し、前記入力部からの前記撮影画像の選択を解除する第３の入力に応じて、前記第２の入力に応じて移動させた前記撮影画像を、前記記憶した表示位置に移動させる制御部と、を備える。
本発明の第２の態様による表示システムは、表示装置とサーバとを備える表示システムであって、前記表示装置は、前記サーバと通信する表示装置通信部をさらに備え、前記サーバは、複数の前記表示装置と通信するサーバ通信部と、前記複数の撮影画像および前記複数の撮影画像の撮影位置を保存する撮影画像データベースと、前記サーバ通信部が前記表示装置から前記現在位置および方角を受信すると、受信した前記現在位置および前記方角に基づき前記撮影画像データベースから前記撮影画像を抽出し、前記サーバ通信部により前記現在位置および前記方角を送信した表示装置へ前記抽出した撮影画像を送信するサーバ制御部と、を備える。
本発明の第３の態様による表示プログラムは、コンピュータに、複数の撮影画像および前記複数の撮影画像の撮影位置を保存する処理と、被写体を撮影する処理と、ユーザによる入力操作を受け付ける処理と、表示画面に表示された前記撮影画像のうち第１の入力操作によって選択された前記撮影画像を、第２の入力操作に応じて移動させ、前記選択された撮影画像の上に別の撮影画像があると、前記別の撮影画像も前記第２の入力操作に応じて移動させる処理と、前記選択された撮影画像および前記別の撮影画像の移動前の表示位置をそれぞれ記憶する処理と、前記撮影画像の選択を解除する第３の入力操作に応じて、前記第２の入力操作に応じて移動させた前記撮影画像を、前記記憶した表示位置に移動させる処理と、を実行させる。 A display device according to a first aspect of the present invention includes a storage unit for storing a plurality of captured images and imaging positions of the plurality of captured images, an imaging unit for capturing an object, an input unit for receiving input by a user, and a display. The photographed image selected by the first input from the input unit among the photographed images displayed on the screen is moved according to the second input from the input unit, and the selected photographed image is displayed. If there is another captured image on the upper side, the other captured image is also moved according to the second input, and the display positions before the movement of the selected captured image and the other captured image are stored respectively A control unit for moving the photographed image moved according to the second input to the stored display position according to a third input for canceling selection of the photographed image from the input unit ; Equipped with
A display system according to a second aspect of the present invention is a display system including a display device and a server, the display device further comprising a display device communication unit in communication with the server, the server including a plurality of the above When the server communication unit in communication with the display device, the photographed image database for storing the plurality of photographed images and the photographing positions of the plurality of photographed images, and the server communication unit receives the current position and direction from the display device A server control unit that extracts the captured image from the captured image database based on the received current position and the direction, and transmits the extracted captured image to the display device that has transmitted the current position and the direction by the server communication unit And.
A display program according to a third aspect of the present invention includes a process of storing a plurality of photographed images and photographing positions of the plurality of photographed images, a process of photographing a subject, and a process of receiving an input operation by a user. The captured image selected by the first input operation among the captured images displayed on the display screen is moved according to the second input operation, and another captured image is on the selected captured image. If there is, the processing for moving the other captured image according to the second input operation, the processing for storing the display positions before the movement of the selected captured image and the other captured image, and the capturing A process of moving the photographed image moved according to the second input operation to the stored display position is performed according to a third input operation of canceling the selection of the image .

本発明によれば、複数の撮影画像が重ねて表示されている場合でも、煩雑な操作を要さずに下に重ねられている撮影画像を閲覧することができる。 According to the present invention, even when a plurality of photographed images are displayed in an overlapping manner, it is possible to browse the photographed images stacked below without requiring a complicated operation.

第１の実施の形態における映像表示装置の構成を示すブロック図Block diagram showing the configuration of the video display apparatus in the first embodiment 第１の実施の形態における動作の説明のための、映像表示装置と撮影画像の撮影位置の関係を示す図The figure which shows the relationship between a video display apparatus and the photography position of a photography picture for explanation of operation in a 1st embodiment. 第１の実施の形態における表示部への表示を生成する手順を示すフローチャートFlowchart showing procedure for generating display on display unit in the first embodiment スルー画像を示す図Diagram showing through image スルー画像に撮影画像を重畳した図A figure in which the captured image is superimposed on the through image 表示部の表示を更新する手順を示すフローチャートFlow chart showing the procedure for updating the display of the display unit ユーザの指により表示部に表示された撮影画像が選択される様子を示す図The figure which shows a mode that the picked-up image displayed on the display part was selected by the user's finger ユーザの指により表示部に表示された撮影画像が移動される様子を示す図The figure which shows a mode that the picked-up image displayed on the display part is moved by the user's finger 移動された撮影画像が元の位置に戻る様子を示す図A diagram showing how a moved captured image returns to its original position 第２の実施の形態における映像表示システムの構成を示すブロック図Block diagram showing the configuration of the video display system in the second embodiment 第２の実施の形態における表示部への表示を生成する手順を示すフローチャートFlowchart showing procedure for generating display on display unit in the second embodiment

（第１の実施の形態）
以下、図１〜図９を参照して、本発明による第１の実施の形態を説明する。
第１の実施の形態にかかる映像表示装置の構成を説明する。
図１は、映像表示装置１０の構成を示すブロック図である。映像表示装置１０は、制御部１１と、撮影部１２と、記憶部１３と、ＧＰＳ受信機１４と、地磁気センサ１５と、入力部１６と、表示部１７とを備える。
制御部１１は、不図示のＣＰＵ、ＲＯＭ、およびＲＡＭを備え、後述するフローチャートにより動作が表されるプログラムをＲＯＭに格納しており、これをＲＡＭに展開して実行する。また、時計の機能も有しており、撮影部１２から受信したデータに現在時刻を付加することができる。 First Embodiment
A first embodiment according to the present invention will be described below with reference to FIGS.
The configuration of the video display apparatus according to the first embodiment will be described.
FIG. 1 is a block diagram showing the configuration of the video display device 10. As shown in FIG. The image display device 10 includes a control unit 11, an imaging unit 12, a storage unit 13, a GPS receiver 14, a geomagnetic sensor 15, an input unit 16, and a display unit 17.
The control unit 11 includes a CPU, a ROM, and a RAM (not shown), stores a program whose operation is represented by a flowchart to be described later in the ROM, and develops the program in the RAM for execution. It also has a clock function, and can add the current time to the data received from the photographing unit 12.

撮影部１２は、不図示のレンズ、撮像素子、およびＡＤ変換器を備える。レンズを通過して撮像素子に形成された被写体像の情報は、撮像素子により電気信号へと変換され、さらにＡＤ変換器によりデジタル信号に変換されて制御部１１に出力される。制御部１１は撮影部１２からデータを受信すると表示部１７にスルー画像として表示し、不図示のレリーズボタンが押されると撮影部１２から受信したデータを記憶部１３へ撮影画像として保存する。ただし、記憶部１３へ撮影画像として保存する際には、ＧＰＳ受信機１４および地磁気センサ１５の出力も参照し、撮影位置、撮影時刻、撮影方角の情報を撮影画像とともに画像ファイルに記録する。たとえば、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅｉｍａｇｅｆｉｌｅｆｏｒｍａｔ）情報として記録する。ただし、撮影位置、撮影時刻、撮影方角の情報を撮影画像と同じ画像ファイルに記録せず、写真と対応付けた別のファイルとして記憶部１３へ保存してもよい。 The imaging unit 12 includes a lens (not shown), an imaging device, and an AD converter. Information of an object image formed on the imaging device through the lens is converted to an electrical signal by the imaging device, and further converted to a digital signal by the AD converter and output to the control unit 11. The control unit 11 displays data as a through image on the display unit 17 when data is received from the photographing unit 12 and stores data received from the photographing unit 12 as a photographed image in the storage unit 13 when a release button (not shown) is pressed. However, when storing in the storage unit 13 as a captured image, the output of the GPS receiver 14 and the geomagnetic sensor 15 is also referred to, and information of the imaging position, imaging time, and imaging direction is recorded in the image file together with the captured image. For example, it records as EXIF (Exchangeable image file format) information. However, the information on the photographing position, photographing time, and photographing direction may not be recorded in the same image file as the photographed image, and may be stored in the storage unit 13 as another file associated with the photograph.

記憶部１３は、フラッシュメモリにより構成され、記憶部１３には複数の撮影画像、および撮影画像表示設定１３ａが保存される。これらの撮影画像が記録される画像ファイルには、撮影位置、撮影時刻、撮影方角が記録されている。撮影位置とは撮影地点の緯度および経度である。撮影方角とは撮影時に当該映像表示装置１０の撮影部１２が向いていた方角である。
撮影画像表示設定１３ａには、表示部１７に表示するそれぞれの撮影画像について、表示する大きさ、表示する座標が記録される。撮影画像表示設定１３ａは、映像表示装置１０の現在位置および方角、そして記憶部１３に保存されている撮影画像の情報を用いて、制御部１１により算出される。
ＧＰＳ受信機１４は、不図示のＧＰＳアンテナを備え、複数のＧＰＳ衛星から電波を受信して計算により当該映像表示装置１０の現在位置を算出し、制御部１１に出力する。 The storage unit 13 is configured by a flash memory, and the storage unit 13 stores a plurality of photographed images and photographed image display settings 13a. A photographing position, photographing time, and photographing direction are recorded in the image file in which these photographed images are recorded. The shooting position is the latitude and longitude of the shooting point. The shooting direction is the direction in which the shooting unit 12 of the video display device 10 was facing at the time of shooting.
In the photographed image display setting 13a, for each photographed image displayed on the display unit 17, the size to be displayed and the coordinates to be displayed are recorded. The photographed image display setting 13 a is calculated by the control unit 11 using the current position and direction of the video display device 10 and the information of the photographed image stored in the storage unit 13.
The GPS receiver 14 includes a GPS antenna (not shown), receives radio waves from a plurality of GPS satellites, calculates the current position of the video display device 10 by calculation, and outputs the current position to the control unit 11.

地磁気センサ１５は、３軸の地磁気センサから構成され、映像表示装置１０の３次元での姿勢をヨー角、ロール角、ピッチ角として出力する。ヨー角は映像表示装置１０の撮影部１２の撮影光軸の水平面内での向き、すなわち方角を表す。
入力部１６は、不図示のタッチパネルを表示部１７の表面に積層した構成であり、映像表示装置１０のユーザが、表示部１７に表示された撮影画像を、選択、移動、および選択解除する入力操作を制御部１１に出力する。
表示部１７は、撮影部１２が現在撮影して得ている映像をスルー画像として表示するとともに、制御部１１から出力されるデータを表示する。 The geomagnetic sensor 15 is configured of a three-axis geomagnetic sensor, and outputs the three-dimensional attitude of the image display device 10 as a yaw angle, a roll angle, and a pitch angle. The yaw angle represents the direction in the horizontal plane of the shooting optical axis of the shooting unit 12 of the image display device 10, that is, the direction.
The input unit 16 has a configuration in which a touch panel (not shown) is stacked on the surface of the display unit 17, and the user of the video display device 10 selects, moves, and deselects the captured image displayed on the display unit 17. The operation is output to the control unit 11.
The display unit 17 displays, as a through image, an image obtained and obtained by the photographing unit 12 at present, and displays data output from the control unit 11.

映像表示装置１０の動作を説明する。
（表示の生成）
以下に説明する映像表示装置１０の動作は、記憶部１３にＰ１〜Ｐ７で表す７枚の撮影画像が保存されていることを前提としている。撮影画像Ｐ１〜Ｐ７には、それぞれの撮影日時および撮影位置が内包されており、番号順に撮影画像Ｐ１の撮影日時が最も新しく、撮影画像Ｐ７の撮影日時が最も古い。撮影画像Ｐ１〜Ｐ７の画像ファイルに記録されている撮影位置と、映像表示装置１０の現在位置の関係は図２に示すものである。ただし、映像表示装置１０の現在位置ＰＯＳは二重丸で示しており、撮影画像Ｐ１〜Ｐ７の撮影位置はそれぞれの撮影画像の名称を円で囲んだ位置で示している。すなわち、撮影画像Ｐ１〜Ｐ７のうち、撮影画像Ｐ５以外の撮影位置は現在位置ＰＯＳよりも北であり、撮影画像Ｐ６以外の撮影位置は映像表示装置１０の現在位置を中心とする半径ｒの円の中である。また、映像表示装置１０は北を向いており、現在位置ＰＯＳから映像表示装置１０の向いている方角を中心に角度２θの範囲で撮影されて得られた撮影画像は、撮影画像Ｐ１〜Ｐ４、およびＰ６である。 The operation of the video display device 10 will be described.
(Generation of display)
The operation of the video display device 10 described below is based on the premise that seven photographed images represented by P1 to P7 are stored in the storage unit 13. The photographed images P1 to P7 include respective photographing date and time and photographing positions, and the photographing date and time of the photographed image P1 is the newest in order of the number, and the photographing date and time of the photographed image P7 is the oldest. The relationship between the photographing positions recorded in the image files of the photographed images P1 to P7 and the current position of the video display device 10 is as shown in FIG. However, the current position POS of the image display device 10 is indicated by a double circle, and the photographing positions of the photographed images P1 to P7 are indicated by circled names of the respective photographed images. That is, among the photographed images P1 to P7, the photographing positions other than the photographed image P5 are north of the current position POS, and the photographing positions other than the photographed image P6 are circles of radius r centered on the current position of the image display device 10. Inside. In addition, the image display device 10 faces north, and the photographed image obtained by photographing in the range of the angle 2θ from the current position POS around the direction in which the image display device 10 faces is the photographed images P1 to P4, And P6.

図３は、映像表示装置１０の表示部１７に表示する映像を生成するプログラムの動作を示すフローチャートであり、制御部１１により一定時間ごと、たとえば５秒ごとに実行される。
ステップＳ２０１では、制御部１１は、ＧＰＳ受信機１４から映像表示装置１０の現在位置、すなわち図２に示す二重丸の位置を取得してステップＳ２０２に進む。
ステップＳ２０２では、制御部１１は、地磁気センサ１５から映像表示装置１０の向いている方角を取得し、ステップＳ２０３に進む。図２の例では、撮影部１２が撮影している方角を図２に示したように北であるとして取得する。 FIG. 3 is a flowchart showing an operation of a program for generating a video to be displayed on the display unit 17 of the video display device 10. The control unit 11 executes the program every fixed time, for example, every 5 seconds.
In step S201, the control unit 11 acquires the current position of the video display device 10, that is, the position of the double circle shown in FIG. 2 from the GPS receiver 14, and proceeds to step S202.
In step S202, the control unit 11 acquires the direction in which the image display device 10 is facing from the geomagnetic sensor 15, and the process proceeds to step S203. In the example of FIG. 2, the direction in which the imaging unit 12 is imaging is acquired as being north as shown in FIG.

ステップＳ２０３では、制御部１１は、記憶部１３に保存している撮影画像のうち、映像表示装置１０を中心に所定の範囲、たとえば距離ｒ以内の撮影画像を抽出する。図２の例では、映像表示装置１０の現在位置ＰＯＳから距離ｒ以内の位置が撮影位置である、撮影画像Ｐ１〜Ｐ５，およびＰ７が抽出される。
ステップＳ２０４では、制御部１１は、ステップＳ２０３において抽出された撮影画像から、撮影位置が映像表示装置１０の現在位置を起点として映像表示装置１０の向いている方角を中心に所定の角度以内、たとえば角度２θ以内に存在する撮影画像をさらに抽出する。図２の例では、ステップＳ２０３において抽出された撮影画像Ｐ１〜Ｐ５，およびＰ７のうち、映像表示装置１０の現在位置ＰＯＳから北を中心として２θの角度内で撮影された、撮影画像Ｐ１〜Ｐ４が抽出される。次にステップＳ２０５に進む。 In step S203, the control unit 11 extracts a captured image within a predetermined range, for example, within a distance r, from the captured image stored in the storage unit 13 with the image display device 10 as the center. In the example of FIG. 2, photographed images P1 to P5 and P7 whose positions are within the distance r from the current position POS of the video display device 10 are extracted.
In step S204, the control unit 11 sets the shooting position within a predetermined angle centering on the direction in which the video display device 10 is facing from the current position of the video display device 10, for example, from the captured image extracted in step S203. The photographed image present within the angle 2θ is further extracted. In the example of FIG. 2, of the photographed images P1 to P5 and P7 extracted in step S203, photographed images P1 to P4 photographed within an angle of 2.theta. Centered on the north from the current position POS of the image display device 10. Is extracted. Next, the process proceeds to step S205.

ステップＳ２０５では、制御部１１は、撮影部１２が現在撮影して得ているリアルタイムの映像、すなわちスルー画像を表示部１７に出力し、ステップＳ２０６に進む。ただし一度ステップＳ２０５が実行されれば、これ以後はステップＳ２０５の処理が実行されていない場合であっても、撮影部１２により撮影されたスルー画像が表示部１７に表示される。このとき、表示部１７には図４のように表示される。 In step S205, the control unit 11 outputs, to the display unit 17, the real-time image currently obtained by photographing by the photographing unit 12, that is, the through image, to step S206. However, once step S205 is executed, the through image photographed by the photographing unit 12 is displayed on the display unit 17 even if the process of step S205 is not executed thereafter. At this time, the display unit 17 displays the display as shown in FIG.

ステップＳ２０６では、制御部１１は、ステップＳ２０４において抽出した撮影画像の表示部１７への表示位置および大きさを以下のように計算し、記憶部１３に撮影画像表示設定１３ａとして保存する。表示位置は、各撮影画像の撮影位置に対応する位置に各撮影画像が表示されるように、地磁気センサー１５の出力を参照して所定の計算式により算出される。表示される大きさは、映像表示装置１０の現在位置から各撮影画像の撮影位置までの距離に応じて、近いほど大きく、遠いほど小さく表示されるように、所定の関数により算出される。次にステップＳ２０７に進む。 In step S206, the control unit 11 calculates the display position and size of the photographed image extracted in step S204 on the display unit 17 as follows, and stores the calculated position and size in the storage unit 13 as the photographed image display setting 13a. The display position is calculated by a predetermined calculation formula with reference to the output of the geomagnetic sensor 15 so that each photographed image is displayed at a position corresponding to the photographed position of each photographed image. The size to be displayed is calculated by a predetermined function so that the larger the distance and the smaller the distance, the smaller the distance according to the distance from the current position of the video display device 10 to the photographing position of each photographed image. Next, the process proceeds to step S207.

ステップＳ２０７では、制御部１１は、ステップＳ２０４において抽出した撮影画像を、スルー画像の上に、撮影日時の古い順番に、撮影画像表示設定１３ａに記述された位置、大きさで表示部１７に重ねて配置し、図３に示すフローチャートを終了する。このとき表示部１７には例えば図５のように表示される。図５に示すウインドウに表示された撮影画像Ｗ１〜Ｗ４は撮影画像Ｐ１〜Ｐ４に対応し、撮影日時の古い撮影画像Ｐ４に対応する撮影画像Ｗ４から順番に重ねて配置したので、重なりの順番は上から撮影画像Ｗ１，撮影画像Ｗ２，撮影画像Ｗ３，撮影画像Ｗ４、スルー画像となっている。 In step S207, the control unit 11 superimposes the photographed images extracted in step S204 on the display unit 17 at the position and size described in the photographed image display setting 13a on the through image in the order of the photographing date and time. , And ends the flowchart shown in FIG. At this time, the display unit 17 displays, for example, as shown in FIG. The photographed images W1 to W4 displayed in the window shown in FIG. 5 correspond to the photographed images P1 to P4, and are arranged in order from the photographed image W4 corresponding to the old photographed image P4 on the photographing date and time. From the top, the photographed image W1, the photographed image W2, the photographed image W3, the photographed image W4, and the through image are formed.

（表示されている撮影画像の移動）
表示部１７に表示されている撮影画像Ｗ１〜Ｗ４は、ユーザによる入力部１６からの入力により移動させることができる。たとえば、図５に示す状態では撮影画像Ｗ１は全体が見えているが、撮影画像Ｗ２〜Ｗ４は上に重なっている撮影画像があるためその全体を見ることができない。この問題を解決するために、ユーザは表示部１７に表示されている任意の撮影画像を移動させることができる。
図６は、ユーザの入力部１６への操作に応じて表示部１７に表示されている撮影画像を移動させるプログラムの動作を示すフローチャートであり、制御部１１により一定時間ごと、たとえば１秒ごとに実行される。 (Moving the displayed captured image)
The photographed images W1 to W4 displayed on the display unit 17 can be moved by an input from the input unit 16 by the user. For example, in the state shown in FIG. 5, the entire captured image W1 can be seen, but the entire captured images W2 to W4 can not be viewed because there is a captured image overlapping on the top. In order to solve this problem, the user can move an arbitrary photographed image displayed on the display unit 17.
FIG. 6 is a flow chart showing an operation of a program for moving a photographed image displayed on the display unit 17 in response to an operation on the input unit 16 by the user. To be executed.

ステップＳ３０１では、制御部１１は、ユーザによる入力部１６への入力、たとえばタッチパネルへのタッチ操作により、表示部１７に表示されているいずれかの撮影画像の選択があったか否かを判断する。ユーザによりいずれかの撮影画像が選択されたと判断する場合はステップＳ３０２に進み、入力部１６への入力がなかった、もしくは撮影画像以外が選択されたと判断する場合は図６のフローチャートを終了する。入力部１６への入力による表示部１７に表示されている撮影画像の選択とは、たとえば表示部１７に表示されている撮影画像に触れ、タッチパネルがユーザが触れた座標を検出し、制御部１１がユーザの触れた座標に撮影画像が表示されていると判断することである。 In step S301, the control unit 11 determines whether or not one of the photographed images displayed on the display unit 17 has been selected by an input to the input unit 16 by the user, for example, a touch operation on the touch panel. If it is determined that the user selects any one of the captured images, the process proceeds to step S302, and if it is determined that there is no input to the input unit 16 or other than the captured image is selected, the flowchart of FIG. The selection of the photographed image displayed on the display unit 17 by the input to the input unit 16 is, for example, touching the photographed image displayed on the display unit 17 and detecting the coordinates touched by the user on the touch panel. Is to determine that the captured image is displayed at the coordinates touched by the user.

ステップＳ３０２では、制御部１１は、ステップＳ３０１においてユーザが選択したと判断した撮影画像の上に重ねられている撮影画像があるか否かを判断する。ユーザが選択した撮影画像の上にいずれかの撮影画像が重ねられていると判断する場合はステップＳ３０３に進み、ユーザが選択した撮影画像の上に重ねられている撮影画像はないと判断する場合はステップＳ３０４に進む。この判断は、たとえば、撮影画像表示設定１３ａの記載、および重なりの順番の基準となっている各撮影画像の撮影日時から算出する。選択された撮影画像と、選択された撮影画像よりも撮影日時が新しい撮影画像の表示エリアを撮影画像表示設定１３ａに基づいて算出し、両者のエリアに重複があれば、ユーザが選択した撮影画像の上に撮影画像が重ねられていると判断する。 In step S302, the control unit 11 determines whether there is a captured image superimposed on the captured image determined to be selected by the user in step S301. If it is determined that any captured image is superimposed on the captured image selected by the user, the process proceeds to step S303, and if it is determined that no captured image is superimposed on the captured image selected by the user The process proceeds to step S304. This determination is calculated, for example, from the description of the photographed image display setting 13a and the photographing date and time of each photographed image which is the reference of the order of overlap. The selected photographed image and the display area of the photographed image whose photographing date and time is newer than the selected photographed image is calculated based on the photographed image display setting 13a, and if there is an overlap in both areas, the photographed image selected by the user It is determined that the photographed image is superimposed on the

ステップＳ３０３では、制御部１１は、移動対象とする撮影画像を、ユーザが選択した撮影画像、およびその撮影画像の上に重ねられている撮影画像に設定してステップＳ３０５に進む。ただし、ユーザが選択した撮影画像の上に複数の撮影画像が重ねられている場合には、その全てを移動対象とする。ユーザは移動させる撮影画像の下に重ねられている撮影画像の閲覧を望んでいるので、その閲覧の障害になりうる、選択された撮影画像よりも上に重ねられている撮影画像は全て移動すべきだからである。 In step S303, the control unit 11 sets the photographed image to be moved to the photographed image selected by the user and the photographed image superimposed on the photographed image, and the process proceeds to step S305. However, when a plurality of photographed images are superimposed on the photographed image selected by the user, all of the photographed images are to be moved. Since the user desires to browse the captured image superimposed under the captured image to be moved, all captured images superimposed above the selected captured image, which can be an obstacle to the viewing, are moved It is because it should be.

ステップＳ３０４では、制御部１１は、移動対象とする撮影画像をユーザが選択した撮影画像のみに設定してステップＳ３０５に進む。
ステップＳ３０５では、制御部１１は、ステップＳ３０３またはステップＳ３０４において移動対象に設定された撮影画像の移動前の表示部１７上の位置（以後、「元の位置」と呼ぶ）を制御部１１のＲＡＭに記憶し、ステップＳ３０６に進む。
ステップＳ３０６では、制御部１１は、ユーザにより入力部１６から撮影画像を移動する入力があったか否かを判断し、撮影画像を移動する入力があると判断する場合はステップＳ３０７に進み、撮影画像を移動する入力がないと判断する場合はステップＳ３０８に進む。ユーザによる入力部１６から撮影画像を移動させる入力とは、例えばタッチパネルに指をふれたまま移動させる行為である。 In step S304, the control unit 11 sets the photographed image to be moved only to the photographed image selected by the user, and proceeds to step S305.
In step S305, the control unit 11 controls the position on the display unit 17 before the movement of the captured image set as the movement target in step S303 or step S304 (hereinafter referred to as "original position") as the RAM of the control unit 11. , And proceeds to step S306.
In step S306, the control unit 11 determines whether the user has input to move the captured image from the input unit 16 or not. If it is determined that there is an input to move the captured image, the process proceeds to step S307. If it is determined that there is no input to move, the process proceeds to step S308. The input for moving the captured image from the input unit 16 by the user is, for example, an action of moving the finger while touching the touch panel.

ステップＳ３０７では、制御部１１は、ステップＳ３０３またはステップＳ３０４において移動対象に設定された撮影画像を対象として、ユーザによる入力部１６への入力に追従して表示部１７に表示された撮影画像を移動させ、ステップＳ３０８に進む。
ステップＳ３０８では、制御部１１は、ユーザにより入力部１６から撮影画像の選択を解除する入力があったか否かを判断する。撮影画像の選択を解除する入力があったと判断する場合はステップＳ３０９に進み、撮影画像の選択を解除する入力がなかったと判断する場合はステップＳ３０６に戻る。ユーザによる入力部１６から撮影画像の選択を解除する入力とは、たとえばタッチパネルから指を離す行為である。 In step S307, the control unit 11 moves the photographed image displayed on the display unit 17 following the user's input to the input unit 16 for the photographed image set as the movement target in step S303 or step S304. And proceed to step S308.
In step S308, control unit 11 determines whether or not the user has made an input from input unit 16 to cancel the selection of the photographed image. If it is determined that the input for canceling the selection of the photographed image is received, the process proceeds to step S309. If it is determined that the input for canceling the selection of the photographed image is not received, the process returns to step S306. The input for canceling the selection of the photographed image from the input unit 16 by the user is, for example, an action of releasing a finger from the touch panel.

ステップＳ３０９では、制御部１１は、ステップＳ３０３またはステップＳ３０４において移動対象に設定された撮影画像を、移動後の位置（以後、「移動位置」とよぶ）から元の位置へと移動させ、図６のフローチャートを終了する。この移動は、ユーザが指を離したことにより撮影画像が元の位置に戻っている様子をユーザにわかりやすく伝えるために、撮影画像は移動位置と元の位置を通る直線上を元の位置を収束点とした振動が減衰するように移動させる。すなわち、撮影画像は移動位置から元の位置へと向かって移動し、元の位置を通り過ぎた後に反転して再度元の位置へ向かって移動する。元の位置を通り過ぎてから反転をするまでの距離を、元の位置を通り過ぎるたびに短くすることで、元の位置に収束する減衰振動とすることができる。 In step S309, the control unit 11 moves the photographed image set as the movement target in step S303 or step S304 from the position after movement (hereinafter referred to as "movement position") to the original position, as shown in FIG. End the flowchart. In this movement, in order to clearly convey to the user that the captured image is returned to the original position when the user releases the finger, the captured image follows the moving position and the original position on the straight line passing through the original position. It moves so that the vibration made into a convergence point dampens. That is, the photographed image moves from the movement position to the original position, passes by the original position, then reverses and moves to the original position again. By shortening the distance from the original position to the inversion every time the original position is passed, it is possible to obtain a damped oscillation that converges to the original position.

（動作例）
たとえば、ユーザが図５の撮影画像Ｗ２を移動させる際には、以下のように制御部１１により処理が行われる。
図７に示すように、ユーザが指Ｆにより表示部１７に表示されている撮影画像Ｗ２に触れると、入力部１６によりユーザによる入力が制御部１１に伝達され、制御部１１によりユーザが撮影画像Ｗ２を選択したと判断される（ステップＳ３０１：ＹＥＳ）。そして、撮影画像表示設定１３ａの記載、および重なりの順番の基準となっている各撮影画像の撮影日時から、撮影画像Ｗ２の上に撮影画像Ｗ１が重ねられていると判断する（ステップＳ３０２：ＹＥＳ）。制御部１１は、ステップＳ３０３では撮影画像Ｗ１および撮影画像Ｗ２を移動対象に設定し、ステップＳ３０５では撮影画像Ｗ１および撮影画像Ｗ２の表示位置を保存する。 (Operation example)
For example, when the user moves the photographed image W2 of FIG. 5, the processing is performed by the control unit 11 as follows.
As shown in FIG. 7, when the user touches the captured image W2 displayed on the display unit 17 with the finger F, the input by the user is transmitted to the control unit 11 and the control unit 11 captures the captured image by the user It is determined that W2 has been selected (step S301: YES). Then, it is determined that the photographed image W1 is superimposed on the photographed image W2 from the description of the photographed image display setting 13a and the photographing date and time of each photographed image which is the reference of the overlapping order (step S302: YES ). The control unit 11 sets the photographed image W1 and the photographed image W2 as moving objects in step S303, and stores the display positions of the photographed image W1 and the photographed image W2 in step S305.

ユーザがこのまま指Ｆを表示部１７に触れたまま動かさない場合は、制御部１１は、ステップＳ３０６およびステップＳ３０８にて否定判断を行い、再びステップＳ３０６に戻る。
図８に示すように、ユーザが表示部１７に触れた指Ｆをそのまま右に動かすと、制御部１１は入力部１６から移動信号の入力をうけるので、ユーザにより入力部１６から撮影画像を移動する入力があったと判断する（ステップＳ３０６：ＹＥＳ）。そして制御部１１は、移動対象に設定された撮影画像である撮影画像Ｗ１および撮影画像Ｗ２を、表示部１７上で移動させる（ステップＳ３０７）。続いてユーザが表示部１７から指Ｆを離すと、制御部１１は入力部１６から撮影画像の選択を解除した信号が入力されるので制御部１１は撮影画像の選択が解除されたと判断する（ステップＳ３０８：ＹＥＳ）。そして、図９の点線で示す、移動後の位置にあった撮影画像Ｗ１ａおよび撮影画像Ｗ２ａを元の位置に移動させる（ステップＳ３０９）。 If the user does not move the finger F while touching the display unit 17 as it is, the control unit 11 makes a negative determination in steps S306 and S308, and returns to step S306 again.
As shown in FIG. 8, when the user moves the finger F touching the display unit 17 to the right as it is, the control unit 11 receives a movement signal from the input unit 16, and the user moves the photographed image from the input unit 16. It is determined that there has been an input (step S306: YES). Then, the control unit 11 moves the photographed image W1 and the photographed image W2, which are photographed images set to be moved, on the display unit 17 (step S307). Subsequently, when the user releases the finger F from the display unit 17, the control unit 11 determines that the selection of the photographed image is canceled because the signal of which the selection of the photographed image is canceled is input from the input unit 16 ( Step S308: YES). Then, the photographed image W1a and the photographed image W2a at the moved position shown by the dotted line in FIG. 9 are moved to the original positions (step S309).

上記の動作例では、ユーザが選択した撮影画像の上に重ねられている撮影画像があったが、ユーザが選択した撮影画像の上に重ねられている撮影画像がない場合には、制御部１１によりユーザが選択した撮影画像のみが移動対象に設定され（ステップＳ３０２：ＮＯ、Ｓ３０４）、以下同様に移動の処理が行われる。また、上記の動作例では撮影画像を横方向に移動させたが、ユーザによる入力部１６からの入力に従い、撮影画像は縦方向、および斜め方向にも移動することができる。
本発明は、表示部１７に重ねて表示された撮影画像のそれぞれを容易に閲覧するために、入力部１６からの入力に従い移動対象として選択された撮影画像の上に重ねられた撮影画像がある場合には、選択された撮影画像の上に重ねられた撮影画像もあわせて移動させる。そのため、選択した撮影画像の下に重ねられていた撮影画像を容易に閲覧することができる。 In the above-described operation example, when there is a photographed image superimposed on the photographed image selected by the user but there is no photographed image superimposed on the photographed image selected by the user, the control unit 11 As a result, only the photographed image selected by the user is set as the movement target (step S302: NO, S304), and the movement processing is similarly performed thereafter. Further, in the above operation example, the photographed image is moved in the horizontal direction, but the photographed image can be moved in the vertical direction and in the oblique direction according to the input from the input unit 16 by the user.
According to the present invention, there is a photographed image superimposed on the photographed image selected as the moving object according to the input from the input unit 16 in order to easily view each of the photographed images displayed overlapping on the display unit 17. In this case, the photographed image superimposed on the selected photographed image is also moved. Therefore, it is possible to easily browse the photographed image superimposed below the selected photographed image.

以上説明した第１の実施の形態によれば、以下の作用効果を奏する。
（１）映像表示装置１０は、複数の撮影画像および複数の撮影画像の撮影位置を保存する記憶部１３と、被写体を撮影する撮影部１２と、現在位置を算出するＧＰＳ受信機１４と、撮影部１２の向く方角を検出する地磁気センサ１５と、ユーザによる入力を受け付ける入力部１６と、表示部１７と、制御部１１とを備える。表示部１７は、撮影部１２が現在撮影して得ているスルー画像を表示部１７に表示する。さらに制御部１１が、記憶部１３に保存されている撮影画像であって、撮影位置が現在位置から所定の距離範囲内でありかつ撮影位置が現在位置から検出した方角を中心に所定の角度範囲内に存在する撮影画像を、表示部１７のスルー画像の上に重ねて表示する。制御部１１は、表示部１７に表示された撮影画像のうち入力部１６からの入力により選択された撮影画像を、入力部１６からの入力に応じて移動させ、選択された撮影画像の上に別の撮影画像があると、別の撮影画像も入力部１６からの入力に応じて移動させる。
そのため、ユーザにより入力部１６から撮影画像を選択して移動させる入力があると、選択された撮影画像の上に重ねられている撮影画像も同時に移動されるため、複数の撮影画像が重なりあう場合でも、煩雑な操作を要さずに下に重ねられている撮影画像を閲覧することができる。 According to the first embodiment described above, the following effects can be obtained.
(1) The video display device 10 includes a storage unit 13 that stores shooting positions of a plurality of shooting images and a plurality of shooting images, a shooting unit 12 that shoots an object, a GPS receiver 14 that calculates a current position, and shooting. A geomagnetic sensor 15 for detecting a direction in which the unit 12 faces, an input unit 16 for receiving an input by a user, a display unit 17, and a control unit 11 are provided. The display unit 17 displays on the display unit 17 a through image obtained by the photographing unit 12 at present. Furthermore, the control unit 11 is a photographed image stored in the storage unit 13, and the photographing position is within a predetermined distance range from the current position, and the photographing position is a predetermined angle range centered on the direction detected from the current position. The photographed image present inside is superimposed on the through image of the display unit 17 and displayed. The control unit 11 moves the photographed image selected by the input from the input unit 16 among the photographed images displayed on the display unit 17 according to the input from the input unit 16 and places it on the selected photographed image. If there is another captured image, the other captured image is also moved according to the input from the input unit 16.
Therefore, when there is an input for selecting and moving a photographed image from the input unit 16 by the user, the photographed image superimposed on the selected photographed image is also moved at the same time. However, it is possible to view the photographed image superimposed below without requiring a complicated operation.

（２）制御部１１は、入力部１６からの入力により選択された撮影画像、および選択された撮影画像の上に重ねられている撮影画像の表示位置を記憶し（図６のステップＳ３０５）、入力部１６からの撮影画像の選択を解除する入力、すなわちタッチパネルから指を離す入力に応じて、入力部１６からの入力に応じて移動させた撮影画像を、記憶した表示位置に移動させる。
そのため、入力部１６への入力に応じて移動させた撮影画像を容易に元の位置に戻すことができるだけでなく、移動させた撮影画像の元の表示位置は制御部１１が記憶しているので、誤った位置に戻すことがない。 (2) The control unit 11 stores the photographed image selected by the input from the input unit 16 and the display position of the photographed image superimposed on the selected photographed image (step S305 in FIG. 6). In response to the input for canceling the selection of the photographed image from the input unit 16, that is, the input for releasing the finger from the touch panel, the photographed image moved according to the input from the input unit 16 is moved to the stored display position.
Therefore, not only can the captured image moved according to the input to the input unit 16 be easily returned to the original position, but the control unit 11 stores the original display position of the moved captured image. , Never return to the wrong position.

（３）制御部１１による、入力部１６からの入力に応じて移動させた撮影画像の記憶した表示位置への移動は、撮影画像が記憶した表示位置を１回以上通過して記憶した表示位置に収束する移動である。
そのため、ユーザは移動した撮影画像を注意深く観察していなくても、撮影画像が元の位置に戻ったことを容易に気付くことができる。また、移動後の位置から移動前の位置に移動する際に、移動前の位置を一回以上通過させて移動前の位置に収束する移動を行うので、伸ばされていた弾性体が自然長に戻る際の自由端の動きと類似しており、本来の位置へ戻ることをユーザに視覚的に伝えることができる。 (3) The movement of the captured image moved according to the input from the input unit 16 to the stored display position by the control unit 11 is the display position stored by passing the display position stored the captured image one or more times Is a move that converges to
Therefore, the user can easily notice that the captured image has returned to the original position, even if he does not carefully observe the moved captured image. In addition, when moving from the position after movement to the position before movement, the elastic body that has been stretched becomes a natural length because the movement before the movement is made to pass one or more times and converges to the position before movement. Similar to the movement of the free end on return, it can visually convey to the user the return to the original position.

（変形例１）
第１の実施の形態においては、表示部１７への撮影画像の配置は撮影日時の古い順番に配置されたが、撮影画像を重ねる順番はこれに限定されない。制御部１１は、表示部１７に撮影日時の新しい順番に配置し、撮影日時が古い撮影画像ほど上に重ねてもよいし、ＧＰＳ受信機１４により算出された映像表示装置１０と撮影画像の撮影位置との距離が近い順、または遠い順に表示部１７へ撮影画像を配置してもよい。さらに、これらの撮影画像を重ねる順番は、入力部１６から入力に応じて切り替えてもよい。
この変形例１によれば、入力部１６からの入力に応じて、表示部１７に表示する撮影画像の重ねる順番を多様に変化させることができる。 (Modification 1)
In the first embodiment, the arrangement of the photographed images on the display unit 17 is arranged in order of the photographing date and time, but the order of overlapping the photographed images is not limited to this. The control unit 11 may be arranged in the display unit 17 in the new order of the shooting date and time, and may be superimposed on the captured image with the older shooting date and time, or the video display device 10 and the shooting of the shot image calculated by the GPS receiver 14 The photographed images may be arranged on the display unit 17 in order of close distance to the position or in order of distance. Furthermore, the order in which these photographed images are superimposed may be switched according to the input from the input unit 16.
According to the first modification, in accordance with the input from the input unit 16, it is possible to change variously the stacking order of the photographed images displayed on the display unit 17.

（変形例２）
第１の実施の形態において、制御部１１は、入力部１６よりタッチパネルに指をふれたまま移動させる入力を受けると、表示部１７に表示されている撮影画像を移動させたが（図６のステップＳ３０６、Ｓ３０７）、撮影画像を移動させる入力はこれに限定されない。たとえば、入力部１６から指がタッチパネル上で軽く払われる動作が入力されると、制御部１１はこれをフリック入力と認識して、移動対象に設定されている撮影画像を指が払われた方向に所定の距離だけ移動させ、所定の時間後に元の位置に戻してもよい。ただし、次に入力部１６が入力を受けるまで元の位置に戻さなくてもよい。また、制御部１１がフリック入力を認識した際に移動対象に設定されている撮影画像を移動させる距離は、フリック入力が早いほど、すなわち指の速度が速いほど長く移動させてもよい。
この変形例２によれば、ユーザは簡易な操作により表示部１７に表示されている撮影画像を移動させることができる。また、動かす指の速さにより移動させる距離を調整することができる。 (Modification 2)
In the first embodiment, the control unit 11 moves the photographed image displayed on the display unit 17 when receiving an input for moving the finger while touching the touch panel from the input unit 16 (see FIG. 6). The input for moving the photographed image is not limited to this. For example, when an operation in which a finger is lightly paid on the touch panel is input from the input unit 16, the control unit 11 recognizes this as a flick input, and the direction in which the finger is taken the captured image set as the movement target , And may be returned to the original position after a predetermined time. However, it may not be returned to the original position until the input unit 16 receives an input next. Further, when the control unit 11 recognizes the flick input, the distance for moving the captured image set as the movement target may be moved longer as the flick input is faster, that is, as the speed of the finger is faster.
According to the second modification, the user can move the photographed image displayed on the display unit 17 by a simple operation. In addition, the moving distance can be adjusted by the speed of the moving finger.

（変形例３）
第１の実施の形態においては、入力部１６はタッチパネルから構成されていたが、入力部１６の構成はこれに限定されない。たとえば、入力部１６を複数のボタンにより構成し、表示部１７に表示された撮影画像に対する第１乃至第３の入力、すなわち撮影画像の選択、移動、および選択解除を行ってもよい。
この変形例３によれば、タッチパネルに代えてボタンを備えればよいので、映像表示装置１０を安価に製造することができる。また、映像表示装置１０の表示部１７が小さくタッチパネルによる操作が困難な場合でも、ボタンにより容易に操作ができる。 (Modification 3)
In the first embodiment, the input unit 16 is configured of a touch panel, but the configuration of the input unit 16 is not limited to this. For example, the input unit 16 may be configured by a plurality of buttons, and the first to third inputs to the photographed image displayed on the display unit 17, that is, selection, movement, and deselection of the photographed image may be performed.
According to the third modification, instead of the touch panel, a button may be provided, so that the video display device 10 can be manufactured inexpensively. Further, even when the display unit 17 of the video display device 10 is small and the operation by the touch panel is difficult, the operation can be easily performed by the button.

（第２の実施の形態）
以下、図１０〜１１を参照して、本発明による第２の実施の形態を説明する。第２の実施の形態は、サーバが撮影画像を送受信する点で第１の実施の形態と異なる。
第２の実施の形態にかかる映像表示システムの構成を説明する。
図１０は、映像表示システム２の構成を示すブロック図である。第１の実施の形態と同一の構成には同一の番号を付し、以下では主に差異点を説明する。映像表示システム２は、複数の映像表示装置１０と、サーバ２０とから構成される。
映像表示装置１０は、第１の実施の形態における構成に加えて通信部１８を備えており、制御部１１のＲＯＭに保存されているプログラム、および記憶部１３に保存されるデータが一部異なる。 Second Embodiment
The second embodiment of the present invention will be described below with reference to FIGS. The second embodiment is different from the first embodiment in that the server transmits and receives captured images.
The configuration of the video display system according to the second embodiment will be described.
FIG. 10 is a block diagram showing the configuration of the video display system 2. The same components as those in the first embodiment are assigned the same reference numerals and differences will be mainly described below. The video display system 2 includes a plurality of video display devices 10 and a server 20.
The image display apparatus 10 includes a communication unit 18 in addition to the configuration in the first embodiment, and the program stored in the ROM of the control unit 11 and the data stored in the storage unit 13 are partially different. .

制御部１１は、第１の実施の形態においては不図示のレリーズボタンが押されると、撮影部１２から受信したデータに撮影位置、撮影時刻、撮影方角の情報を付加して記憶部１３へ撮影画像として保存したが、記憶部１３へ保存するとともに通信部１８を利用してサーバ２０へ送信する。
記憶部１３には、映像表示装置１０により撮影された撮影画像、撮影画像表示設定１３ａ、および通信部１８がサーバ２０から受信した撮影画像が保存される。
通信部１８は、サーバ２０と通信を行う。 In the first embodiment, when the release button (not shown) is pressed in the first embodiment, information on the photographing position, photographing time, photographing direction is added to the data received from the photographing unit 12 and photographing is performed to the storage unit 13 Although stored as an image, it is stored in the storage unit 13 and transmitted to the server 20 using the communication unit 18.
The storage unit 13 stores a captured image captured by the video display device 10, a captured image display setting 13a, and a captured image received by the communication unit 18 from the server 20.
The communication unit 18 communicates with the server 20.

サーバ２０は、サーバ制御部２１と、サーバ通信部２２と、撮影画像データベース２３とを備える。
サーバ制御部２１は、サーバ通信部２２により映像表示装置１０から受信した位置情報などに基づき撮影画像データベース２３に保存されている撮影画像を検索し、条件に該当する撮影画像を映像表示装置１０へサーバ通信部２２により送信する。 The server 20 includes a server control unit 21, a server communication unit 22, and a photographed image database 23.
The server control unit 21 searches the photographed image stored in the photographed image database 23 based on the position information and the like received from the video display device 10 by the server communication unit 22, and transmits the photographed image corresponding to the condition to the video display device 10. It is transmitted by the server communication unit 22.

サーバ通信部２２は、複数の映像表示装置１０と映像表示装置１０が撮影した撮影画像の送受信、および複数の映像表示装置１０から受信した位置情報などのサーバ制御部２１への通知を行う。
撮影画像データベース２３は、複数の映像表示装置１０から受信する撮影画像を保存し、サーバ制御部２１により読み出される。映像表示装置１０から受信する撮影画像には、当該撮影画像の撮影位置、撮影時刻、撮影方角の情報が内包されている。 The server communication unit 22 transmits and receives a plurality of video display devices 10 and a captured image captured by the video display device 10, and notifies the server control unit 21 of position information and the like received from the plurality of video display devices 10.
The photographed image database 23 stores photographed images received from the plurality of video display devices 10 and is read by the server control unit 21. The photographed image received from the video display device 10 includes information on the photographing position, photographing time, and photographing direction of the photographed image.

第２の実施の形態の動作を説明する。
第１の実施の形態において映像表示装置１０の制御部１１は主に、図３に示した表示部１７に表示する映像を生成する動作（以下、表示生成動作とよぶ）と、図６に示したユーザによる入力部１６からの操作に応じて表示部１７の表示を変更する動作（以下、表示変更動作）を行っていた。第２の実施の形態においては、表示生成動作は第１の実施の形態と一部異なるが、表示変更動作は第１の実施の形態と同様なので表示変更動作の説明は省略する。 The operation of the second embodiment will be described.
In the first embodiment, the control unit 11 of the video display device 10 mainly generates an image to be displayed on the display unit 17 shown in FIG. 3 (hereinafter referred to as a display generation operation), as shown in FIG. The operation of changing the display of the display unit 17 in accordance with the operation by the user from the input unit 16 (hereinafter, the display change operation) is performed. In the second embodiment, the display generation operation is partially different from that of the first embodiment, but the display change operation is the same as that of the first embodiment, so the description of the display change operation is omitted.

図１１のフローチャートに示すプログラムは、第１の実施の形態における図３のフローチャートに示すプログラムに代わって、第２の実施の形態において映像表示装置１０の制御部１１が実行する表示生成動作の処理手順を示すものである。図１１において、図３に示す処理と同様な処理を行うステップに対しては同一のステップ番号を付しており、図３とはステップＳ２０３〜Ｓ２０４に代わってステップＳ４０１〜Ｓ４０２が実行される点が異なる。以下では、図１１と図３の相違点を中心に説明する。
映像表示装置１０の制御部１１は、一定時間ごとに図１１のフローチャートを実行し、表示部１７に表示する映像を生成する。 The program shown in the flowchart of FIG. 11 is a process of display generation operation executed by the control unit 11 of the video display device 10 in the second embodiment, instead of the program shown in the flowchart of FIG. 3 in the first embodiment. It shows the procedure. 11, the same step numbers are given to steps performing the same process as the process shown in FIG. 3, and steps S401 to S402 are executed instead of steps S203 to S204 in FIG. Is different. Hereinafter, differences between FIG. 11 and FIG. 3 will be mainly described.
The control unit 11 of the video display device 10 executes the flowchart of FIG. 11 at fixed time intervals to generate a video to be displayed on the display unit 17.

ステップＳ２０１およびＳ２０２では、制御部１１は、ＧＰＳ受信機１４および地磁気センサ１５から、映像表示装置１０の現在位置および方角を取得し、ステップＳ４０１に進む。
ステップＳ４０１では、制御部１１は、ステップＳ２０１およびステップＳ２０２において取得した映像表示装置１０の現在位置および方角をサーバ２０に送信し、ステップＳ４０２に進む。 In steps S201 and S202, the control unit 11 acquires the current position and direction of the video display device 10 from the GPS receiver 14 and the geomagnetic sensor 15, and proceeds to step S401.
In step S401, the control unit 11 transmits the current position and direction of the video display device 10 acquired in steps S201 and S202 to the server 20, and the process proceeds to step S402.

ステップＳ４０２では、制御部１１は、サーバ２０から撮影画像を受信し制御部１１のＲＡＭに保存してステップＳ２０５に進む。ここで受信した撮影画像は、サーバ２０のサーバ制御部２１が撮影画像データベース２３から、ステップＳ４０１において送信した現在位置および方角をもとに抽出した撮影画像である。
ステップＳ２０５では、制御部１１は、撮影部１２が現在撮影して得ているリアルタイムの映像、すなわちスルー画像を表示部１７に出力し、ステップＳ２０６ａに進む。 In step S402, the control unit 11 receives a photographed image from the server 20, stores the same in the RAM of the control unit 11, and proceeds to step S205. The photographed image received here is a photographed image extracted based on the current position and direction transmitted from the photographed image database 23 by the server control unit 21 of the server 20 in step S401.
In step S205, the control unit 11 outputs, to the display unit 17, the real-time image currently obtained by photographing by the photographing unit 12, that is, the through image, to step S206a.

ステップＳ２０６ａでは、制御部１１は、ステップＳ４０２において受信した撮影画像の表示部１７への表示位置および大きさを図３のステップＳ２０６と同様に計算して、記憶部１３に撮影画像表示設定１３ａとして保存し、ステップＳ２０７に進む。
ステップＳ２０７では、制御部１１は、ステップＳ４０２において受信した撮影画像を、スルー画像の上に、撮影日時の古い順番に、撮影画像表示設定１３ａに記述された位置、大きさで表示部１７に配置し、図１１に示すフローチャートを終了する。 In step S206a, the control unit 11 calculates the display position and size of the photographed image received in step S402 on the display unit 17 in the same manner as in step S206 in FIG. 3 and sets the photographed image display setting 13a in the storage unit 13. Save and proceed to step S207.
In step S207, the control unit 11 arranges the photographed images received in step S402 on the through image in the order and in the order of the photographing date and time in the display unit 17 at the position and size described in the photographed image display setting 13a. Then, the flowchart shown in FIG. 11 is ended.

サーバ２０のサーバ制御部２１は、映像表示装置１０から現在位置（以下、「受信した現在位置」と呼ぶ）および方角（以下、「受信した方角」と呼ぶ）を受信すると、撮影画像データベース２３に保存されている撮影画像から、以下の条件に合致する撮影画像を抽出して、映像表示装置１０に送信する。条件とは、撮影画像が記録されている画像ファイルに記録されている撮影位置が、受信した現在位置から所定の範囲内であり、かつ受信した現在位置から受信した方角を中心に所定の角度以内にあることである。 When the server control unit 21 of the server 20 receives the current position (hereinafter referred to as “received current position”) and direction (hereinafter referred to as “received direction”) from the video display device 10, the server control unit 21 From the stored captured image, a captured image meeting the following conditions is extracted and transmitted to the video display device 10. The condition is that the shooting position recorded in the image file in which the photographed image is recorded is within a predetermined range from the current position received, and within a predetermined angle around the direction received from the current position received. It is to be.

本発明は、映像表示装置１０が撮影して得られた撮影画像をサーバ２０の撮影画像データベース２３に保存し、映像表示装置１０の現在位置および向いている方角に応じてサーバ２０が撮影画像データベース２３に保存されている撮影画像を映像表示装置１０に送信する。そのため、映像表示装置１０には他の映像表示装置１０により撮影された撮影画像も表示することができる。 According to the present invention, a photographed image obtained by photographing by the video display device 10 is stored in the photographed image database 23 of the server 20, and the server 20 detects the photographed image database according to the current position and the heading of the video display device 10. The photographed image stored in 23 is transmitted to the video display device 10. Therefore, the video display device 10 can also display a captured image captured by another video display device 10.

以上説明した第２の実施の形態によれば、以下の作用効果を奏する。
（１）映像表示システム２は、映像表示装置１０とサーバ２０とを備える。映像表示装置１０は、サーバ２０と通信する通信部１８をさらに備える。サーバ２０は、複数の映像表示装置１０と通信するサーバ通信部２２と、映像表示装置１０から受信した撮影画像を保存する撮影画像データベース２３と、映像表示装置１０から現在位置および方角を受信すると、受信した現在位置および方角に基づき撮影画像データベース２３から撮影画像を抽出し、現在位置および方角を送信した映像表示装置１０に抽出した撮影画像を送信するサーバ制御部２１とを備える。
そのため、映像表示装置１０の表示部１７に異なる映像表示装置１０により撮影された撮影画像もあわせて表示することができる。 According to the second embodiment described above, the following effects can be obtained.
(1) The video display system 2 includes the video display device 10 and the server 20. The video display device 10 further includes a communication unit 18 that communicates with the server 20. When the server 20 receives the server communication unit 22 communicating with the plurality of video display devices 10, the photographed image database 23 storing the photographed images received from the video display device 10, and the current position and direction from the video display device 10, The server control unit 21 extracts a captured image from the captured image database 23 based on the received current position and direction, and transmits the extracted captured image to the video display device 10 that has transmitted the current position and direction.
Therefore, it is possible to display the photographed image photographed by the different video display device 10 on the display unit 17 of the video display device 10 as well.

（変形例４）
第２の実施の形態においては、映像表示装置１０が撮影画像表示設定１３ａを算出したが、サーバ２０が撮影画像表示設定１３ａを算出して撮影画像データベース２３から抽出した撮影画像とともに送信してもよい。すなわち、映像表示装置１０は図１１のステップＳ４０２において撮影画像と撮影画像表示設定１３ａとを受信し、ステップＳ２０５のあとにステップＳ２０６を省略してステップＳ２０７に進んでもよい。この変形例４によれば、映像表示装置１０において行う計算を削減することができる。 (Modification 4)
In the second embodiment, although the video display device 10 calculates the photographed image display setting 13a, the server 20 may calculate the photographed image display setting 13a and transmit it along with the photographed image extracted from the photographed image database 23. Good. That is, the video display device 10 may receive the photographed image and the photographed image display setting 13a in step S402 of FIG. 11, and may skip step S206 after step S205 and proceed to step S207. According to the fourth modification, it is possible to reduce the calculation performed in the video display device 10.

（変形例５）
第２の実施の形態においては、映像表示装置１０により撮影された撮影画像は記憶部１３に保存されたが、記憶部１３には保存せず撮影された撮影画像はサーバ２０へ送信した後に削除してもよい。すなわち、表示部１７に表示される撮影画像は全てサーバ２０から受信し、制御部１１のＲＡＭに一時的に保存してもよい。
この変形例５によれば、撮影部１２により撮影して得られた撮影画像は、記憶部１３に撮影画像を保存せずサーバ２０に送信するため、記憶部１３の容量を小さく抑えることができる。
また、映像表示装置１０の撮影部１２をスルー画像の取得のみに使用し、撮影画像の保存を一切行わなくてもよい。この場合は、映像表示装置１０に表示する撮影画像は、映像表示装置１０の読み取り専用領域、またはサーバにあらかじめ保存される。たとえば、博物館や美術館での使用が想定され、あらかじめ撮影した展示品の撮影画像を映像表示装置１０に表示し、展示品の展示位置を案内することができる。 (Modification 5)
In the second embodiment, although the captured image captured by the video display device 10 is stored in the storage unit 13, the captured image captured without being stored in the storage unit 13 is deleted after being transmitted to the server 20. You may That is, all photographed images displayed on the display unit 17 may be received from the server 20 and temporarily stored in the RAM of the control unit 11.
According to the fifth modification, since the photographed image obtained by photographing by the photographing unit 12 is transmitted to the server 20 without storing the photographed image in the storage unit 13, the capacity of the storage unit 13 can be reduced. .
Further, the photographing unit 12 of the video display device 10 may be used only for acquiring the through image, and the photographed image may not be stored at all. In this case, the photographed image to be displayed on the video display device 10 is stored in advance in the read only area of the video display device 10 or the server. For example, use in a museum or an art museum is assumed, and a photographed image of an exhibit taken in advance can be displayed on the image display device 10 to guide the display position of the exhibit.

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。さらに、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における機器構成に何ら限定されない。 Each embodiment and modification mentioned above may be combined respectively. Furthermore, as long as the characteristic functions of the present invention are not impaired, the present invention is not limited to the device configuration in the above-described embodiment.

１０ … 映像表示装置、１１ … 制御部
１２ … 撮影部、１３ … 記憶部
１３ａ … 撮影画像表示設定、１４ … ＧＰＳ受信機
１５ … 地磁気センサ、１６ … 入力部
１７ … 表示部、１８ … 通信部
２０ … サーバ、２１ … サーバ制御部
２２ … サーバ通信部 DESCRIPTION OF SYMBOLS 10 ... Image display apparatus, 11 ... Control part 12 ... Photography part, 13 ... Storage part 13a ... Photographed image display setting, 14 ... GPS receiver 15 ... Geomagnetic sensor, 16 ... Input part 17 ... Display part, 18 ... Communication part 20 ... server, 21 ... server control unit 22 ... server communication unit

Claims

複数の撮影画像および前記複数の撮影画像の撮影位置を保存する記憶部と、
被写体を撮影する撮影部と、
ユーザによる入力を受け付ける入力部と、
表示画面に表示された前記撮影画像のうち前記入力部からの第１の入力により選択された前記撮影画像を、前記入力部からの第２の入力に応じて移動させ、前記選択された撮影画像の上に別の撮影画像があると、前記別の撮影画像も前記第２の入力に応じて移動させるとともに、前記選択された撮影画像および前記別の撮影画像の移動前の表示位置をそれぞれ記憶し、前記入力部からの前記撮影画像の選択を解除する第３の入力に応じて、前記第２の入力に応じて移動させた前記撮影画像を、前記記憶した表示位置に移動させる制御部と、を備える表示装置。 A storage unit configured to store a plurality of photographed images and photographing positions of the plurality of photographed images;
A shooting unit for shooting a subject,
An input unit for receiving user input;
The photographed image selected by the first input from the input unit among the photographed images displayed on the display screen is moved according to the second input from the input unit, and the selected photographed image is moved. And the other captured image is also moved according to the second input, and the display positions before the movement of the selected captured image and the other captured image are respectively stored. A control unit for moving the photographed image moved according to the second input to the stored display position in response to a third input for canceling selection of the photographed image from the input unit; And a display device.

請求項１に記載の表示装置において、
前記制御部による、前記入力部からの前記第２の入力に応じて移動させた前記撮影画像の前記記憶した表示位置への移動は、前記制御部が前記撮影画像を前記記憶した表示位置を１回以上通過させて前記記憶した表示位置に収束させる移動である表示装置。 In the display device according to claim 1 ,
When the control unit moves the captured image moved according to the second input from the input unit to the stored display position, the control unit controls the display position at which the captured image is stored. The display apparatus which is movement which makes it pass through the frequency | count more than, and it converges on the said memorize | stored display position.

請求項１または２に記載の表示装置において、
現在位置を算出する現在位置算出部と、
前記記憶部には前記撮影画像の撮影日時も保存され、
前記制御部は、前記撮影画像の撮影日時、および前記現在位置と前記撮影位置との距離、のいずれか一方に基づいて前記表示画面において前記撮影画像を重ねる順番を決定する表示装置。 In the display device according to claim 1 or 2 ,
A current position calculation unit that calculates the current position;
The storage unit also stores the shooting date and time of the captured image,
The display device determines the order in which the photographed images are superimposed on the display screen based on any one of the photographing date and time of the photographed image and the distance between the current position and the photographing position.

請求項３に記載の表示装置において、
前記記憶部には、前記撮影部により撮影した撮影画像が保存される表示装置。 In the display device according to claim 3 ,
The display unit stores a photographed image photographed by the photographing unit in the storage unit.

請求項４に記載の表示装置とサーバとを備える表示システムであって、
前記表示装置は、前記サーバと通信する表示装置通信部をさらに備え、
前記サーバは、
複数の前記表示装置と通信するサーバ通信部と、
前記複数の撮影画像および前記複数の撮影画像の撮影位置を保存する撮影画像データベースと、
前記サーバ通信部が前記表示装置から前記現在位置および方角を受信すると、受信した前記現在位置および前記方角に基づき前記撮影画像データベースから前記撮影画像を抽出し、前記サーバ通信部により前記現在位置および前記方角を送信した表示装置へ前記抽出した撮影画像を送信するサーバ制御部と、
を備える表示システム。 A display system comprising the display device according to claim 4 and a server, the display system comprising:
The display device further includes a display device communication unit that communicates with the server,
The server is
A server communication unit that communicates with the plurality of display devices;
A photographed image database for storing the plurality of photographed images and the photographing positions of the plurality of photographed images;
When the server communication unit receives the current position and direction from the display device, the server communication unit extracts the photographed image from the photographed image database based on the received current position and direction, and the server communication unit extracts the current position and the current image. A server control unit that transmits the extracted captured image to the display device that has transmitted the direction;
A display system comprising:

コンピュータに、
複数の撮影画像および前記複数の撮影画像の撮影位置を保存する処理と、
被写体を撮影する処理と、
ユーザによる入力操作を受け付ける処理と、
表示画面に表示された前記撮影画像のうち第１の入力操作によって選択された前記撮影画像を、第２の入力操作に応じて移動させ、前記選択された撮影画像の上に別の撮影画像があると、前記別の撮影画像も前記第２の入力操作に応じて移動させる処理と、
前記選択された撮影画像および前記別の撮影画像の移動前の表示位置をそれぞれ記憶する処理と、
前記撮影画像の選択を解除する第３の入力操作に応じて、前記第２の入力操作に応じて移動させた前記撮影画像を、前記記憶した表示位置に移動させる処理と、
を実行させる表示プログラム。

On the computer
Processing for storing a plurality of photographed images and photographing positions of the plurality of photographed images;
A process of shooting a subject,
A process of accepting an input operation by a user;
The captured image selected by the first input operation among the captured images displayed on the display screen is moved according to the second input operation, and another captured image is on the selected captured image. A process of moving the other captured image according to the second input operation, if any;
Storing each of the selected photographed image and the display position before the movement of the other photographed image;
A process of moving the photographed image moved according to the second input operation to the stored display position according to a third input operation of canceling the selection of the photographed image;
A display program that runs