JP2021180458A - Information processing system, information processing apparatus, information processing method, and program - Google Patents

Abstract

To allow a user to share in real time an image photographed by the other user and observe a subject at the user's desired angle of view.SOLUTION: An information processing system has information processing apparatuses each having: imaging means that photographs a subject; detection means that detects the movement of a user; rotation control means that rotates the imaging means on the basis of the detected movement; and display means that displays a first display image based on a photographed image photographed by the imaging means. One information processing apparatus transmits, to the other information processing apparatus, the first photographed image photographed by the imaging means or an image cut out from the photographed image, and the other information processing apparatus receives the image transmitted from one information processing apparatus and displays a second display image based on the received image and according to the detected movement of the user of the other information processing apparatus.SELECTED DRAWING: Figure 3B

Description

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing system, an information processing device, an information processing method and a program.

望遠カメラが搭載された電子双眼鏡を用いて、各々の電子双眼鏡で任意の被写体を観察している、例えば、バードウォッチングや野生動物観察などのシーンでは、他者が観察している被写体を自分の電子双眼鏡でも観察したい場合がある。観察時に動画や静止画を撮影して観察後に共有するのではなく、自分の電子双眼鏡を用いてリアルタイムに、自分の所望する画角で被写体を観察できることが望まれる。 Using electronic binoculars equipped with a telephoto camera, we are observing any subject with each electronic binocular, for example, in scenes such as bird watching and wildlife observation, we are observing the subject being observed by others. You may want to observe with electronic binoculars. It is desirable to be able to observe the subject at the angle of view desired by oneself in real time using one's own electronic binoculars, instead of taking a moving image or a still image at the time of observation and sharing it after the observation.

例えば、特許文献１では、他者が観察している被写体を自分の電子双眼鏡で撮影するための技術が開示されている。他者が観察している被写体を自分の電子双眼鏡で撮影するためには、自分の電子双眼鏡をどの方位にどのくらい移動させれば良いのか、目の前の表示部に方位や回動角度を表示する方法である。 For example, Patent Document 1 discloses a technique for photographing a subject being observed by another person with his / her own electronic binoculars. In order to take a picture of a subject being observed by another person with your own electronic binoculars, the direction and rotation angle are displayed on the display in front of you, as to what direction and how much you should move your electronic binoculars. How to do it.

特開２０１１−１２３１５２号公報Japanese Unexamined Patent Publication No. 2011-123152

しかしながら、特許文献１に開示された技術では、電子双眼鏡を向ける方向や角度が通知されてから向きを合わせるまでの間、被写体となる対象物を見ることができない。対象物が動物等の動く物体であった場合、自分の電子双眼鏡の向きを合わせる間に被写体の様子が変化して所望のシーンが観察できない場合や、あるいは被写体が移動してしまい見失う場合もある。そこで、本発明は、他者が撮影している画像をリアルタイムで共有し、かつ、自分の所望する画角で被写体を観察できるようにすることを目的とする。 However, in the technique disclosed in Patent Document 1, it is not possible to see the object as a subject from the time when the direction or angle at which the electronic binoculars are directed is notified until the direction is adjusted. If the object is a moving object such as an animal, the appearance of the subject may change while the direction of the electronic binoculars is adjusted, and the desired scene may not be observed, or the subject may move and lose sight of it. .. Therefore, an object of the present invention is to share an image taken by another person in real time and to be able to observe the subject at an angle of view desired by oneself.

本発明に係る情報処理システムは、被写体を撮影する撮像手段と、ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出手段と、前記検出手段により検出された動きに基づいて前記撮像手段を回動する回動制御手段と、前記撮像手段により撮影された撮影画像に基づく第１の表示画像を表示する表示手段とをそれぞれ有し、相互に通信可能な第１の情報処理装置と第２の情報処理装置とを有し、前記第１の情報処理装置は、前記第１の情報処理装置が有する前記撮像手段により撮影される第１の撮影画像又は前記第１の撮影画像から切り出した画像を、前記第２の情報処理装置に送信する第１の送信手段を有し、前記表示手段は、前記検出手段により検出された前記第１の情報処理装置のユーザーの動きに基づいて生成される前記第１の表示画像を表示し、前記第２の情報処理装置は、前記第１の情報処理装置から送信された前記第１の撮影画像又は前記第１の撮影画像から切り出した画像を受信する第１の受信手段を有し、前記表示手段は、前記検出手段により検出された前記第２の情報処理装置のユーザーの動きに応じた、前記第１の受信手段により受信した前記第１の情報処理装置からの画像に基づく第２の表示画像を表示することを特徴とする。 The information processing system according to the present invention captures an image pickup means for photographing a subject, a detection means for detecting the movement of at least one of the user's head or the line of sight, and the image pickup means based on the movement detected by the detection means. A first information processing device and a second information processing device, each having a rotating rotation control means and a display means for displaying a first display image based on a captured image captured by the image pickup means, and capable of communicating with each other. The first information processing device has the information processing device of the above, and the first information processing device is a first captured image captured by the imaging means of the first information processing apparatus or an image cut out from the first captured image. The display means has a first transmission means for transmitting the information to the second information processing apparatus, and the display means is generated based on the movement of the user of the first information processing apparatus detected by the detection means. The first display image is displayed, and the second information processing apparatus receives the first captured image transmitted from the first information processing apparatus or an image cut out from the first captured image. The display means has the first receiving means, and the display means receives the first information by the first receiving means according to the movement of the user of the second information processing apparatus detected by the detecting means. It is characterized in that a second display image based on an image from a processing device is displayed.

本発明によれば、他者が撮影している画像をリアルタイムで共有し、かつ、自分の所望する画角で被写体を観察することができる。 According to the present invention, it is possible to share an image taken by another person in real time and observe the subject at a desired angle of view.

第１の実施形態における情報処理装置を説明する図である。It is a figure explaining the information processing apparatus in 1st Embodiment. 第１の実施形態における情報処理装置の構成例を示す図である。It is a figure which shows the structural example of the information processing apparatus in 1st Embodiment. 第１の実施形態における情報処理装置の処理例を示すフローチャートである。It is a flowchart which shows the processing example of the information processing apparatus in 1st Embodiment. 第１の実施形態における情報処理装置の処理例を示すフローチャートである。It is a flowchart which shows the processing example of the information processing apparatus in 1st Embodiment. 被写体と視線方向、カメラ方向の関係を説明する図である。It is a figure explaining the relationship between a subject, a line-of-sight direction, and a camera direction. 撮影画像の例を示す図である。It is a figure which shows the example of the photographed image. 共有画像の表示範囲および表示画像を説明する図である。It is a figure explaining the display range and the display image of a shared image. 被写体の位置とパン方向の回動量との関係を説明する図である。It is a figure explaining the relationship between the position of a subject and the amount of rotation in a pan direction. 頭部の揺れをキャンセルする回動量を説明する図である。It is a figure explaining the rotation amount which cancels the shaking of a head. 撮影者の視線位置および表示画像の表示範囲を説明する図である。It is a figure explaining the line-of-sight position of a photographer, and the display range of a display image. 第２の実施形態における情報処理装置の処理例を示すフローチャートである。It is a flowchart which shows the processing example of the information processing apparatus in 2nd Embodiment.

以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施形態）
図１〜図９を参照して、本発明の第１の実施形態における情報処理装置としての電子双眼鏡について説明する。本実施形態では、第１の装置である電子双眼鏡を使用しているユーザーＡと、第２の装置である電子双眼鏡を使用しているユーザーＢとが、各々の電子双眼鏡でそれぞれ所望の被写体を観察する場合を想定している。本実施形態では、ユーザーＡが使用する電子双眼鏡とユーザーＢが使用する電子双眼鏡とが相互で通信を行う情報処理システムを構成し、画像の共有を実現する。 (First Embodiment)
The electronic binoculars as the information processing apparatus according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 9. In the present embodiment, the user A using the electronic binoculars, which is the first device, and the user B, who is using the electronic binoculars as the second device, each use the electronic binoculars to capture a desired subject. It is supposed to be observed. In the present embodiment, an information processing system in which the electronic binoculars used by the user A and the electronic binoculars used by the user B communicate with each other is configured to realize image sharing.

図１は、本実施形態における電子双眼鏡１００のメカ構成の例を示す図である。本実施形態における電子双眼鏡１００は、例えば図１に示すような、ヘッドマウントディスプレイ装置を適用した眼鏡型のウェアラブルな形態の電子双眼鏡である。図１（ａ）は電子双眼鏡１００を前方側から見た外観斜視図であり、図１（ｂ）は電子双眼鏡１００を後方側から見た外観斜視図である。 FIG. 1 is a diagram showing an example of the mechanical configuration of the electronic binoculars 100 in the present embodiment. The electronic binoculars 100 in the present embodiment are eyeglass-type wearable electronic binoculars to which a head-mounted display device is applied, as shown in FIG. 1, for example. FIG. 1A is an external perspective view of the electronic binoculars 100 as viewed from the front side, and FIG. 1B is an external perspective view of the electronic binoculars 100 as viewed from the rear side.

電子双眼鏡１００は、眼鏡型のフレームを有し、右眼用の第１の表示部（ディスプレイ）１０４ａ、左眼用の第２の表示部（ディスプレイ）１０４ｂ、および観察対象を撮影するカメラ（撮像部）１０１を有する。第１の表示部（ディスプレイ）１０４ａは右眼用の画像を表示し、左眼用の第２の表示部（ディスプレイ）１０４ｂは左眼用の画像を表示する。以下、第１の表示部１０４ａと第２の表示部１０４ｂとの双方合わせて表示部１０４とも記載する。カメラ１０１は、図１（ａ）中に矢印で示すように、パン方向およびチルト方向に回動可能であり、図１（ｂ）に示すパンニング部１０２ａおよびチルト部１０２ｂに内蔵されたアクチュエータによって駆動する。 The electronic binoculars 100 have a spectacle-shaped frame, a first display unit (display) 104a for the right eye, a second display unit (display) 104b for the left eye, and a camera (imaging) for photographing an observation target. Part) 101. The first display unit (display) 104a displays an image for the right eye, and the second display unit (display) 104b for the left eye displays an image for the left eye. Hereinafter, both the first display unit 104a and the second display unit 104b are collectively referred to as a display unit 104. The camera 101 is rotatable in the pan direction and the tilt direction as shown by arrows in FIG. 1 (a), and is driven by the actuators built in the panning portion 102a and the tilt portion 102 b shown in FIG. 1 (b). do.

また、カメラ１０１は、焦点距離を複数の段階で設定することができ、ユーザー操作により切り替えて使用することができる。カメラ１０１の焦点距離の切り替えや、電子双眼鏡１００の電源ＯＮ／ＯＦＦなどの操作は、操作部材１１０を介してユーザーが行うことができる。また、電子双眼鏡１００は、ユーザー（装着者）の頭の振れを検出するためのジャイロセンサ１１１や、ユーザーの視線方向をそれぞれ検出するための右眼用の第１の視線検出部１０５ａおよび左眼用の第２の視線検出部１０５ｂを有する。以下、第１の視線検出部１０５ａと第２の視線検出部１０５ｂとの双方合わせて視線検出部１０５とも記載する。 In addition, the focal length of the camera 101 can be set in a plurality of stages, and the camera 101 can be switched and used by user operation. The user can perform operations such as switching the focal length of the camera 101 and turning on / off the power of the electronic binoculars 100 via the operation member 110. Further, the electronic binoculars 100 include a gyro sensor 111 for detecting the head shake of the user (wearer), a first line-of-sight detection unit 105a for the right eye and a left eye for detecting the line-of-sight direction of the user, respectively. It has a second line-of-sight detection unit 105b for use. Hereinafter, both the first line-of-sight detection unit 105a and the second line-of-sight detection unit 105b are collectively referred to as the line-of-sight detection unit 105.

本実施形態では、一例として、カメラ１０１は、焦点距離を１００ｍｍと４００ｍｍ（３５ｍｍフルサイズ換算での焦点距離）の２段階で切り替えて使用できるものとする。カメラ１０１は、焦点距離４００ｍｍのときには、光学ズームと電子ズームを併用して撮影する。そして、カメラ１０１は、撮影された画像（以下、撮影画像）からユーザー設定の画角に合わせて表示範囲を切り出して、ユーザーが観察する表示画像を生成する。生成された表示画像は、リアルタイムに表示部１０４に表示される。 In the present embodiment, as an example, the camera 101 can be used by switching the focal length in two stages of 100 mm and 400 mm (focal length in 35 mm full size conversion). When the focal length is 400 mm, the camera 101 takes a picture by using both the optical zoom and the electronic zoom. Then, the camera 101 cuts out a display range from the captured image (hereinafter, captured image) according to the angle of view set by the user, and generates a display image to be observed by the user. The generated display image is displayed on the display unit 104 in real time.

また、カメラ１０１は、オートフォーカス機能を有し、観察範囲内に含まれる観察対象に関して、自動的に合焦する。ピント調整で駆動する不図示のフォーカシングレンズの停止位置によって、ピントが合う被写体距離は一意に決まる。そのため、予めフォーカシングレンズの停止位置と被写体距離との関係をシステム内に保持しておくと、オートフォーカスで停止したフォーカシングレンズの停止位置から、被写体距離を検出することができる。すなわち、カメラ１０１は、被写体距離を検出する機能も有する。 Further, the camera 101 has an autofocus function and automatically focuses on the observation target included in the observation range. The focus distance is uniquely determined by the stop position of the focusing lens (not shown) driven by focus adjustment. Therefore, if the relationship between the stopping position of the focusing lens and the subject distance is maintained in the system in advance, the subject distance can be detected from the stopping position of the focusing lens stopped by autofocus. That is, the camera 101 also has a function of detecting the subject distance.

図２は、電子双眼鏡１００の構成例を示すブロック図である。ＣＰＵ１０９は、電子双眼鏡１００が有する各部を制御する。カメラ１０１、回動制御部１０３、２つの表示部１０４（１０４ａ、１０４ｂ）、２つの視線検出部１０５（１０５ａ、１０５ｂ）、通信部１０６、操作部材１１０、及びジャイロセンサ１１１の各々は、ＣＰＵ１０９と接続されている。さらに、ＣＰＵ１０９は、撮影した画像と視線検出部１０５での視線検出の結果から、表示部１０４に表示する画像の範囲を算出し、撮影した画像から任意の画像を切り出して、新な画像を生成する機能も有する。回動制御部１０３は、カメラ１０１のパン方向およびチルト方向の回動を制御する。通信部１０６は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ等の無線通信規格を利用して、同様の構成を有する他の電子双眼鏡と通信を行い、データの送受信を行う機能を有する。 FIG. 2 is a block diagram showing a configuration example of the electronic binoculars 100. The CPU 109 controls each part of the electronic binoculars 100. The camera 101, the rotation control unit 103, the two display units 104 (104a, 104b), the two line-of-sight detection units 105 (105a, 105b), the communication unit 106, the operation member 110, and the gyro sensor 111 are each with the CPU 109. It is connected. Further, the CPU 109 calculates the range of the image to be displayed on the display unit 104 from the captured image and the result of the line-of-sight detection by the line-of-sight detection unit 105, cuts out an arbitrary image from the captured image, and generates a new image. It also has a function to do. The rotation control unit 103 controls the rotation of the camera 101 in the pan direction and the tilt direction. The communication unit 106 has a function of communicating with other electronic binoculars having a similar configuration and transmitting / receiving data by using a wireless communication standard such as Wi-Fi or Bluetooth.

図３Ａおよび図３Ｂは、第１の実施形態における電子双眼鏡１００の処理例を示すフローチャートである。図３Ａおよび図３Ｂに示す処理は、電子双眼鏡１００のＣＰＵ１０９が、電子双眼鏡１００の各部を制御したり、各種演算処理を行ったりすることによって実現される。ここでは、ユーザーＡが使用する電子双眼鏡１００を親機とし、ユーザーＢが使用する電子双眼鏡１００を子機として、画像の共有を行う例を示している。図３Ａおよび図３Ｂには、撮影を開始して画像共有モードを実行・終了し、再度通常の撮影に戻るまでの処理の流れを示している。図３Ａが処理の前半部で、撮影を開始して画像共有モードを開始するまでの処理を示し、図３Ｂが処理の後半部で、撮影画像を共有する処理を示している。 3A and 3B are flowcharts showing a processing example of the electronic binoculars 100 in the first embodiment. The processes shown in FIGS. 3A and 3B are realized by the CPU 109 of the electronic binoculars 100 controlling each part of the electronic binoculars 100 and performing various arithmetic processes. Here, an example of sharing an image is shown using the electronic binoculars 100 used by the user A as a master unit and the electronic binoculars 100 used by the user B as a slave unit. FIGS. 3A and 3B show a flow of processing from starting shooting to executing / ending the image sharing mode and returning to normal shooting again. FIG. 3A shows the process from the start of shooting to the start of the image sharing mode in the first half of the process, and FIG. 3B shows the process of sharing the captured image in the second half of the process.

なお、図３Ａおよび図３Ｂにおいて、左側がユーザーＡが使用する電子双眼鏡１００（第１の装置）に係るフローチャートであり、右側がユーザーＢが使用する電子双眼鏡１００（第２の装置）に係るフローチャートである。また、図３Ａおよび図３Ｂにおいて、図中の破線の矢印は無線通信によるデータの送受信を示す。 In FIGS. 3A and 3B, the left side is a flowchart relating to the electronic binoculars 100 (first device) used by the user A, and the right side is a flowchart relating to the electronic binoculars 100 (second device) used by the user B. Is. Further, in FIGS. 3A and 3B, the broken line arrow in the figure indicates the transmission / reception of data by wireless communication.

ユーザーＡが使用する電子双眼鏡１００は、通常の撮影を開始（Ｓ３０１）するとき、ステップＳ３０２でユーザーにより操作部材１１０で電源ＯＮ操作がなされると、カメラ１０１が起動し、表示部１０４による撮影画像のリアルタイムでの表示を開始する。本実施形態では、電子双眼鏡１００は、１００ｍｍと４００ｍｍの２段階で焦点距離を切り替え可能としたが、電源ＯＮ直後に関しては、観察対象を見つけやすいように焦点距離はより広角である１００ｍｍに設定するよう制御する。 When the electronic binoculars 100 used by the user A start normal shooting (S301), when the user turns on the power of the operation member 110 in step S302, the camera 101 is activated and the captured image by the display unit 104 is activated. Start displaying in real time. In the present embodiment, the electronic binoculars 100 can switch the focal length in two stages of 100 mm and 400 mm, but immediately after the power is turned on, the focal length is set to 100 mm, which is a wider angle so that the observation target can be easily found. To control.

電子双眼鏡１００のユーザーは観察対象を見つけると、操作部材１１０を介して焦点距離を４００ｍｍと切り替える。また、ステップＳ３０３において、ユーザーＡが使用する電子双眼鏡１００は、取得画像からオートフォーカス（ＡＦ）処理や自動露出制御（ＡＥ）処理を行う。これにより、電子双眼鏡１００のユーザーは、カメラ１０１が撮影した画像を通じて、被写体の観察を始めることができる。このときのカメラ１０１の方向５０１ａは、図４（ａ）に示すように、視線検出部１０５によって検出された視線方向５０２ａと平行な方向にカメラの光軸が向く方向（以下、基準方向とも記す）である。図４（ａ）はカメラ１０１のパン方向が分かるように、ユーザーの頭上からの視点で描いた図であるが、チルト方向に関しても同様である。なお、以下の説明では、カメラの表示範囲に関してはすべてパン方向に関する説明に絞るが、チルト方向に関しても同様の制御を行い、表示範囲の算出と変更動作を行うこととする。 When the user of the electronic binoculars 100 finds an observation target, the focal length is switched to 400 mm via the operating member 110. Further, in step S303, the electronic binoculars 100 used by the user A perform autofocus (AF) processing and automatic exposure control (AE) processing from the acquired image. As a result, the user of the electronic binoculars 100 can start observing the subject through the image taken by the camera 101. As shown in FIG. 4A, the direction 501a of the camera 101 at this time is a direction in which the optical axis of the camera faces in a direction parallel to the line-of-sight direction 502a detected by the line-of-sight detection unit 105 (hereinafter, also referred to as a reference direction). ). FIG. 4A is a view drawn from a viewpoint from above the user so that the pan direction of the camera 101 can be understood, but the same applies to the tilt direction. In the following description, the display range of the camera will be limited to the pan direction, but the same control will be performed for the tilt direction to calculate and change the display range.

次いで、撮影が開始されると、ステップＳ３０４において、ユーザーＡが使用する電子双眼鏡１００は、現在撮影中の撮影画像Ａについて、設定された画角となるよう撮影画像Ａの表示範囲を算出し、その範囲の画素を読み出すことで表示画像Ａを生成する。そして、ユーザーＡが使用する電子双眼鏡１００は、生成した表示画像Ａを表示部１０４に表示する。図６は、画像の表示範囲及び表示画像を説明する図である。図６（ａ）に示す画像６０１は、ユーザーＡが使用する電子双眼鏡１００のカメラ１０１により撮影された撮影画像である。また、画像６０２は、ユーザーＡが設定した画角に切り出された、ユーザーＡが使用する電子双眼鏡１００の表示画像である。ゆえに、ユーザーＡは、図６（ｃ）に示すように電子双眼鏡１００の表示部１０４に表示される表示画像６０２を観察することができる。 Next, when shooting is started, in step S304, the electronic binoculars 100 used by the user A calculate the display range of the shot image A so as to have a set angle of view for the shot image A currently being shot. The display image A is generated by reading out the pixels in that range. Then, the electronic binoculars 100 used by the user A display the generated display image A on the display unit 104. FIG. 6 is a diagram illustrating a display range of an image and a displayed image. The image 601 shown in FIG. 6A is a photographed image taken by the camera 101 of the electronic binoculars 100 used by the user A. Further, the image 602 is a display image of the electronic binoculars 100 used by the user A, which is cut out at the angle of view set by the user A. Therefore, the user A can observe the display image 602 displayed on the display unit 104 of the electronic binoculars 100 as shown in FIG. 6 (c).

ユーザーＡが使用する電子双眼鏡１００は、撮影を開始し、表示画像６０２が表示部１０４に表示された後、ステップＳ３０５において、ユーザーＡの視線を検出する。続いて、ステップＳ３０６において、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３０５での視線の検出結果を用いて、カメラ１０１のパン方向の回動量θを算出し、パン方向に回動量θだけ回動することでカメラ１０１が視線方向に向くよう制御する。 The electronic binoculars 100 used by the user A start shooting, and after the display image 602 is displayed on the display unit 104, the line of sight of the user A is detected in step S305. Subsequently, in step S306, the electronic binoculars 100 used by the user A calculate the rotation amount θ in the pan direction of the camera 101 using the detection result of the line of sight in step S305, and rotate the camera 101 by the rotation amount θ in the pan direction. By moving the camera 101, the camera 101 is controlled to face the line-of-sight direction.

ここで、図４及び図５を参照して、ステップＳ３０４以降の処理で行われる視線の検出とパンチルトの回動制御について説明する。図４は、被写体と視線方向、カメラ方向の関係を説明する図であり、図５は、図４に対応する撮影画像の例を示す図である。 Here, with reference to FIGS. 4 and 5, the line-of-sight detection and pan-tilt rotation control performed in the processes after step S304 will be described. FIG. 4 is a diagram for explaining the relationship between the subject, the line-of-sight direction, and the camera direction, and FIG. 5 is a diagram showing an example of a captured image corresponding to FIG.

使用しているユーザーの視線方向が表示部１０４の中心を向いているのは前述した基準方向（図４（ａ））であり、このとき表示１０４に表示される画像は図５（ａ）となり、画像上のユーザーの視線位置５０４ａが撮影画像の中心５０５と一致する。それに対して、図４（ｂ）に示すようにユーザーの視線方向５０２ｂとカメラ方向５０１ｂが平行でない場合、表示部１０４に表示される画像は図５（ｂ）となり、ユーザーの視線位置５０４ｂが画像中心５０５から距離ｄだけ離れたところに位置する。したがって、ユーザーの視線位置５０４ｂが距離ｄだけ画像中心に近づくように、カメラ１０１をパン方向にθだけ回動しカメラ方向５０１ｂ’に向ける必要がある。 The line-of-sight direction of the user is facing the center of the display unit 104 in the above-mentioned reference direction (FIG. 4 (a)), and the image displayed on the display 104 at this time is FIG. 5 (a). , The user's line-of-sight position 504a on the image coincides with the center 505 of the captured image. On the other hand, when the user's line-of-sight direction 502b and the camera direction 501b are not parallel as shown in FIG. 4B, the image displayed on the display unit 104 is FIG. 5B, and the user's line-of-sight position 504b is an image. It is located at a distance d from the center 505. Therefore, it is necessary to rotate the camera 101 in the pan direction by θ so that the user's line-of-sight position 504b approaches the center of the image by the distance d, and direct the camera 101 toward the camera direction 501b'.

カメラ１０１の回動量θの算出について、図７を参照して説明する。図７は、被写体の位置と回動量θとの関係を説明する図である。図７に示すように、カメラ１０１の光軸が被写体７０１（図７において★で示す）を向くために回転する回転角度θは、θ＝ａｔａｎ（Ｄ／Ｌｆ）と算出できる。Ｌｆは被写体距離であり、Ｄは画像上の距離ｄを実空間相当の距離に換算した値である。 The calculation of the rotation amount θ of the camera 101 will be described with reference to FIG. 7. FIG. 7 is a diagram illustrating the relationship between the position of the subject and the amount of rotation θ. As shown in FIG. 7, the rotation angle θ that the optical axis of the camera 101 rotates to face the subject 701 (indicated by ★ in FIG. 7) can be calculated as θ = atan (D / Lf). Lf is the subject distance, and D is a value obtained by converting the distance d on the image into a distance equivalent to the real space.

被写体距離Ｌｆは、前述したように、不図示のフォーカシングレンズの停止位置から得られる。また、被写体距離Ｌｆとユーザーが設定した表示画像の画角設定とによって、被写体距離Ｌｆが得られれば画像上の距離ｄから一意に距離Ｄが算出される。距離Ｄについては、被写体距離と表示画像上の単位長さ当たりの関係に基づいて予め記憶しておくことができ、それを用いることで、リアルタイムで被写体距離Ｌｆが得られれば、同時に距離Ｄも算出できる。 As described above, the subject distance Lf is obtained from the stop position of the focusing lens (not shown). Further, if the subject distance Lf is obtained by the subject distance Lf and the angle of view setting of the display image set by the user, the distance D is uniquely calculated from the distance d on the image. The distance D can be stored in advance based on the relationship between the subject distance and the unit length on the displayed image, and if the subject distance Lf can be obtained in real time by using this, the distance D can be obtained at the same time. Can be calculated.

また、回動量θの回転方向については、図５（ｂ）に示すように視線位置５０４ｂがＸ軸上の正の領域に位置する場合にはマイナス方向であり、逆に、視線位置５０４ｂがＸ軸方向の負の領域に位置する場合にはプラス方向に回転させる。 Further, the rotation direction of the rotation amount θ is a negative direction when the line-of-sight position 504b is located in the positive region on the X-axis as shown in FIG. 5 (b), and conversely, the line-of-sight position 504b is X. If it is located in the negative region in the axial direction, rotate it in the positive direction.

このようにして得られた回転量θと回転方向を用いて、フィードバック制御等により、ユーザーの視線位置５０４ｂが表示画像の中心に位置するよう、カメラ１０１について回動制御を逐次行う。 Using the rotation amount θ and the rotation direction thus obtained, rotation control is sequentially performed on the camera 101 so that the user's line-of-sight position 504b is located at the center of the displayed image by feedback control or the like.

ユーザーＢが使用する電子双眼鏡１００においても、ステップＳ４０１〜Ｓ４０６において、前述したステップＳ３０１〜Ｓ３０６と同様の処理をそれぞれ行う。 In the electronic binoculars 100 used by the user B, the same processes as those in steps S301 to S306 described above are performed in steps S401 to S406, respectively.

次に、ユーザーＡが使用する電子双眼鏡１００が撮影している画像を共有したい場合の処理の流れについて説明する。図３Ａに示すフローチャートでのステップＳ３０７以降、及びステップＳ４０７以降の処理が対応する。 Next, a process flow when it is desired to share an image taken by the electronic binoculars 100 used by the user A will be described. The processes after step S307 and after step S407 in the flowchart shown in FIG. 3A correspond.

ユーザーＡが使用する電子双眼鏡１００は、ユーザーＡによる操作部材１１０に対する操作によって、現在撮影している被写体を共有したい状態であることが示されると（Ｓ３０７においてＹＥＳ）、ステップＳ３０８へ進む。ステップＳ３０８において、ユーザーＡが使用する電子双眼鏡１００は、予め通信可能な状態にしておいたユーザーＢが使用する電子双眼鏡１００に対し、無線通信により被写体を共有したい状態であることを示す共有トリガを送信する。共有トリガとは、予め登録しておいた、共有したい意思を伝える電気的な信号である。なお、ユーザーＡによって、現在撮影している被写体を共有したい状態であることが示されない場合（Ｓ３０７においてＮｏ）、ステップＳ３０４に戻り、ステップＳ３０４〜Ｓ３０７の処理を繰り返す。 When it is indicated that the electronic binoculars 100 used by the user A want to share the subject currently being photographed by the operation of the operation member 110 by the user A (YES in S307), the process proceeds to step S308. In step S308, the electronic binoculars 100 used by the user A set a sharing trigger indicating that the electronic binoculars 100 used by the user B, which has been made communicable in advance, want to share the subject by wireless communication. Send. A shared trigger is a pre-registered electrical signal that conveys the intention to be shared. If the user A does not indicate that he / she wants to share the subject currently being photographed (No in S307), he / she returns to step S304 and repeats the processes of steps S304 to S307.

ユーザーＢが使用する電子双眼鏡１００は、ユーザーＡが使用する電子双眼鏡１００からの共有トリガを受信すると（Ｓ４０７においてＹｅｓ）、ステップＳ４０８へ進む。ステップＳ４０８において、ユーザーＢが使用する電子双眼鏡１００は、共有トリガの受信に対するユーザーＢによる操作部材１１０の操作に基づいて、被写体の共有を承認するか拒否するかを判定する。 When the electronic binoculars 100 used by the user B receive the shared trigger from the electronic binoculars 100 used by the user A (Yes in S407), the process proceeds to step S408. In step S408, the electronic binoculars 100 used by the user B determine whether to approve or reject the sharing of the subject based on the operation of the operating member 110 by the user B with respect to the reception of the sharing trigger.

被写体の共有を拒否する場合（Ｓ４０８においてＮｏ）、ステップＳ４０９において、ユーザーＢが使用する電子双眼鏡１００は、ユーザーＡが使用する電子双眼鏡１００に対し、無線通信により共有拒否の通知を送信する。一方、被写体の共有を承認する場合（Ｓ４０８においてＹｅｓ）、ステップＳ４１０において、ユーザーＢが使用する電子双眼鏡１００は、ユーザーＡが使用する電子双眼鏡１００に対し、無線通信により共有承認の通知を送信する。ステップＳ４１０において共有承認の通知を送信した後、ユーザーＢが使用する電子双眼鏡１００は、画像共有モード（Ｓ４１１）へ移行する。 When refusing to share the subject (No in S408), in step S409, the electronic binoculars 100 used by the user B transmit a notification of refusal to share to the electronic binoculars 100 used by the user A by wireless communication. On the other hand, when approving the sharing of the subject (Yes in S408), in step S410, the electronic binoculars 100 used by the user B transmits a notification of sharing approval to the electronic binoculars 100 used by the user A by wireless communication. .. After transmitting the notification of sharing approval in step S410, the electronic binoculars 100 used by the user B shift to the image sharing mode (S411).

ここで、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ４０９において共有拒否の通知をした場合、ステップＳ４０４に移行し、ユーザーＢが所望の被写体を観察している状態に戻る。また、ユーザーＢが使用する電子双眼鏡１００は、ユーザーＡが使用する電子双眼鏡１００からの共有トリガを受信していない場合（Ｓ４０７においてＮｏ）、ステップＳ４０４に戻り、ステップＳ４０４〜Ｓ４０７の処理を繰り返す。 Here, when the electronic binoculars 100 used by the user B notify the sharing refusal in step S409, the process proceeds to step S404 and the user B returns to the state of observing the desired subject. If the electronic binoculars 100 used by the user B have not received the shared trigger from the electronic binoculars 100 used by the user A (No in S407), the process returns to step S404 and the processes of steps S404 to S407 are repeated.

ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３０８において共有トリガを送信した後、ステップＳ３０９において、ユーザーＢが使用する電子双眼鏡１００からの共有承認の通知または共有拒否の通知を受信するまで待機する。ユーザーＡが使用する電子双眼鏡１００は、共有承認の通知または共有拒否の通知を受信すると（Ｓ３０９においてＹｅｓ）、ステップＳ３１０において、受信した通知が共有承認であるか否かを判定する。 After transmitting the sharing trigger in step S308, the electronic binoculars 100 used by the user A waits until the notification of the sharing approval or the notification of the sharing refusal from the electronic binoculars 100 used by the user B is received in the step S309. When the electronic binoculars 100 used by the user A receive the notification of sharing approval or the notification of sharing refusal (Yes in S309), in step S310, it is determined whether or not the received notification is sharing approval.

受信した通知が共有承認ではない、すなわち共有拒否の通知である場合（Ｓ３１０においてＮｏ）、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３０４に移行し、ユーザーＡが所望の被写体を観察している状態に戻る。一方、受信した通知が共有承認である場合（Ｓ３１０においてＹｅｓ）、ユーザーＡが使用する電子双眼鏡１００は、画像共有モード（Ｓ３１１）へ移行する。 When the received notification is not a sharing approval, that is, a notification of refusal to share (No in S310), the electronic binoculars 100 used by the user A proceeds to step S304, and the user A is observing a desired subject. Return to the state. On the other hand, when the received notification is the sharing approval (Yes in S310), the electronic binoculars 100 used by the user A shift to the image sharing mode (S311).

次に、図３Ｂを参照して、画像共有モードでの処理について説明する。ユーザーＡが使用する電子双眼鏡１００は、画像共有モードを開始（Ｓ３１１）すると、ステップＳ３１２において、ユーザーの頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するように、カメラ１０１の回動制御を開始する。同様に、ユーザーＢが使用する電子双眼鏡１００は、画像共有モードを開始（Ｓ４１１）すると、ステップＳ４１２において、ユーザーの頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するように、カメラ１０１の回動制御を開始する。 Next, processing in the image sharing mode will be described with reference to FIG. 3B. When the electronic binoculars 100 used by the user A start the image sharing mode (S311), the camera 101 cancels the shaking of the user's head in step S312 and maintains the shooting range immediately before the start of the image sharing mode. Rotation control of is started. Similarly, when the electronic binoculars 100 used by the user B start the image sharing mode (S411), in step S412, the shaking of the user's head is canceled and the shooting range immediately before the start of the image sharing mode is maintained. , The rotation control of the camera 101 is started.

具体的には、電子双眼鏡１００に搭載されたジャイロセンサ１１１は、図８に示すようにユーザーの頭部の振れθｈを検出可能で、カメラ１０１は、この頭部の振れ角度θｈをキャンセルするために、パン方向に−θｈだけ回動する。画像共有中は、常に、この回動制御を行い画像共有前の画角を維持する。これにより、画像共有中に共有している画像の不用意な揺れを防止しつつ、画像共有モードが終了した時には画像共有前に撮影していた撮影範囲から撮影を再開することで、違和感なくスムーズな撮影が可能である。 Specifically, the gyro sensor 111 mounted on the electronic binoculars 100 can detect the vibration θh of the user's head as shown in FIG. 8, and the camera 101 cancels the vibration angle θh of the head. In addition, it rotates in the pan direction by −θh. During image sharing, this rotation control is always performed to maintain the angle of view before image sharing. This prevents inadvertent shaking of the shared image during image sharing, and resumes shooting from the shooting range that was shot before image sharing when the image sharing mode ends, making it smooth without discomfort. Shooting is possible.

ただし、カメラの回動可能な範囲以上に頭部が振れてしまった場合については、画像共有前の撮影範囲を維持できない。そのため、頭部の振れ角度が制御不可能な領域に近づいてきた場合には、表示部１０４を介してユーザーに頭部の振れが大きい故を警告し、表示部１０４に元の撮影範囲の方向を示す矢印を表示するようにしてもよい。ユーザーが矢印に従い頭部を回転することで元の撮影範囲を維持するための制御が可能となれば画像共有モードは維持するが、一定時間以上たっても改善されず、画像共有前の撮影範囲が維持できなくなったら、画像共有モードは終了するようにしてもよい。 However, if the head swings beyond the rotatable range of the camera, the shooting range before image sharing cannot be maintained. Therefore, when the head shake angle approaches an uncontrollable area, the user is warned via the display unit 104 that the head shake is large, and the display unit 104 is in the direction of the original shooting range. You may want to display an arrow indicating. If the user can control to maintain the original shooting range by rotating the head according to the arrow, the image sharing mode will be maintained, but it will not be improved even after a certain period of time, and the shooting range before image sharing will be If it becomes unsustainable, the image sharing mode may be terminated.

次に、図３Ｂに示すフローチャートのステップＳ３１３〜Ｓ３１８、及びステップＳ４１３〜Ｓ４１８において行われる、画像共有モードにおける共有画像の表示範囲の算出と表示範囲の変更動作について説明する。以下では、図６を適宜参照して説明する。図６（ａ）、図６（ｂ）に示す画像６０１及び画像６１１は、ユーザーＡが使用する電子双眼鏡１００のカメラ１０１で撮影された撮影画像である。画像６０１及び画像６１１は、ユーザーが設定した画角に切り出して表示部１０４に表示する表示画像になる前の、元画像である。図６（ｃ）、図６（ｄ）に示す画像６０２及び画像６１２は、ユーザーＡが使用する電子双眼鏡１００の表示部１０４に表示される表示画像である。また、図６（ｅ）、図６（ｆ）に示す画像６２１及び画像６２２は、ユーザーＢが使用する電子双眼鏡１００の表示部１０４に表示される表示画像である。また、図６（ａ）、図６（ｃ）、図６（ｅ）に示す画像は画像共有モードに入った直後の画像であるが、図６（ｂ）、図６（ｄ）、図６（ｆ）に示す画像は画像共有モードに入って各々のユーザーが所望の画角で共有画像を観察している時の画像の一例である。 Next, the operation of calculating the display range of the shared image and changing the display range in the image sharing mode, which are performed in steps S313 to S318 and steps S413 to S418 of the flowchart shown in FIG. 3B, will be described. Hereinafter, FIG. 6 will be described with reference to the appropriate reference. The images 601 and 611 shown in FIGS. 6A and 6B are captured images taken by the camera 101 of the electronic binoculars 100 used by the user A. The image 601 and the image 611 are original images before they become display images that are cut out at an angle of view set by the user and displayed on the display unit 104. The images 602 and 612 shown in FIGS. 6 (c) and 6 (d) are display images displayed on the display unit 104 of the electronic binoculars 100 used by the user A. Further, the images 621 and 622 shown in FIGS. 6 (e) and 6 (f) are display images displayed on the display unit 104 of the electronic binoculars 100 used by the user B. Further, the images shown in FIGS. 6 (a), 6 (c), and 6 (e) are images immediately after entering the image sharing mode, but FIGS. 6 (b), 6 (d), and 6 (d). The image shown in (f) is an example of an image when the image sharing mode is entered and each user is observing the shared image at a desired angle of view.

ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３１２での回動制御を開始した後、ステップＳ３１３において、共有する画像である表示部１０４に表示されている表示画像６０２を、無線通信によりユーザーＢが使用する電子双眼鏡１００へ送信する。また、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ４１２での回動制御を開始した後、ユーザーＡが使用する電子双眼鏡１００から送信された表示画像６０２を受信すると（Ｓ４１３においてＹｅｓ）、ステップＳ４１４へ進む。 The electronic binoculars 100 used by the user A start the rotation control in the step S312, and then the user B wirelessly communicates with the display image 602 displayed on the display unit 104 which is a shared image in the step S313. It is transmitted to the electronic binoculars 100 to be used. Further, when the electronic binoculars 100 used by the user B start the rotation control in step S412 and then receive the display image 602 transmitted from the electronic binoculars 100 used by the user A (Yes in S413), the electronic binoculars 100 are received in step S414. Proceed to.

ステップＳ４１４において、ユーザーＢが使用する電子双眼鏡１００は、受信した表示画像６０２を表示部１０４に表示する。このとき、ユーザーＢが使用する電子双眼鏡１００は、図６（ｅ）に示すように、ユーザーＢが使用する電子双眼鏡１００のカメラ１０１が撮影中の画像６２１の上に共有画像６０２を重ねて表示部１０４に表示する。このようにして、画像共有中は画像共有前から撮影している画角の変化を見逃さず、画像共有モードの終了時は違和感なくスムーズに撮影画像に戻ることを可能にしている。 In step S414, the electronic binoculars 100 used by the user B display the received display image 602 on the display unit 104. At this time, as shown in FIG. 6E, the electronic binoculars 100 used by the user B display the shared image 602 superimposed on the image 621 being photographed by the camera 101 of the electronic binoculars 100 used by the user B. It is displayed in the unit 104. In this way, during image sharing, changes in the angle of view taken before image sharing are not overlooked, and at the end of the image sharing mode, it is possible to smoothly return to the captured image without discomfort.

その後、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３１４において、視線検出部１０５により表示画像６０２を観察するユーザーＡの視線を検出する。このステップＳ３１４では、視線検出部１０５が瞳の位置から視線の方向を検出し、表示部１０４に映る表示画像６０２においてユーザーＡがどの位置を見ているのか、視線位置（図６（ｃ）に示す６５１）の情報を得る。 After that, the electronic binoculars 100 used by the user A detect the line of sight of the user A who observes the display image 602 by the line-of-sight detection unit 105 in step S314. In this step S314, the line-of-sight detection unit 105 detects the direction of the line-of-sight from the position of the pupil, and the line-of-sight position (FIG. 6 (c)) indicates which position the user A is looking at in the display image 602 displayed on the display unit 104. Obtain the information shown in 651).

次に、ステップＳ３１５において、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３１４で得られた視線位置６５１が画像の中心で、かつ、予め設定された画角となるように表示画像の表示範囲を算出する。そして、ユーザーＡが使用する電子双眼鏡１００は、算出した表示範囲に基づいて撮影画像６０１から表示画像を再生成して表示範囲の変更動作を行い、図６（ｄ）に示すように、新に生成された表示画像６１２を表示部１０４に表示する。 Next, in step S315, the electronic binoculars 100 used by the user A set the display range of the display image so that the line-of-sight position 651 obtained in step S314 is at the center of the image and has a preset angle of view. calculate. Then, the electronic binoculars 100 used by the user A regenerates a display image from the captured image 601 based on the calculated display range, performs an operation of changing the display range, and newly performs an operation of changing the display range, as shown in FIG. 6 (d). The generated display image 612 is displayed on the display unit 104.

また、ユーザーＢが使用する電子双眼鏡１００は、受信した表示画像６０２を表示部１０４に表示した後、ユーザーＡが使用する電子双眼鏡１００と同様に、ステップＳ４１５において、視線検出部１０５によりユーザーＢの視線を検出する。次に、ステップＳ４１６において、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ４１５での検出結果である視線位置の情報を、ユーザーＡが使用する電子双眼鏡１００に送信する。 Further, after the received display image 602 is displayed on the display unit 104, the electronic binoculars 100 used by the user B display the received display image 602 on the display unit 104, and then, in the same manner as the electronic binoculars 100 used by the user A, in step S415, the line-of-sight detection unit 105 causes the user B to use the electronic binoculars 100. Detect the line of sight. Next, in step S416, the electronic binoculars 100 used by the user B transmits information on the line-of-sight position, which is the detection result in the step S415, to the electronic binoculars 100 used by the user A.

ユーザーＡが使用する電子双眼鏡１００は、ユーザーＢが使用する電子双眼鏡１００からユーザーＢの視線の検出結果を受信すると（Ｓ３１６においてＹｅｓ）、ステップＳ３１７において、受信した視線位置６５２の情報を基づいて表示範囲の変更動作を行う。ステップＳ３１７では、ユーザーＡが使用する電子双眼鏡１００は、視線位置６５２が画像の中心で、かつ、予め設定された画角となるように表示画像の表示範囲を算出し、撮影画像６１１から切り出して表示画像６１３を生成する。次に、ステップＳ３１８において、ユーザーＡが使用する電子双眼鏡１００は、生成した表示画像６１３を、再度無線通信によりユーザーＢが使用する電子双眼鏡１００に送信する。 When the electronic binoculars 100 used by the user A receive the detection result of the line of sight of the user B from the electronic binoculars 100 used by the user B (Yes in S316), the electronic binoculars 100 are displayed in step S317 based on the information of the received line of sight position 652. Performs range change operation. In step S317, the electronic binoculars 100 used by the user A calculates the display range of the display image so that the line-of-sight position 652 is the center of the image and has a preset angle of view, and cuts out from the captured image 611. The display image 613 is generated. Next, in step S318, the electronic binoculars 100 used by the user A transmits the generated display image 613 to the electronic binoculars 100 used by the user B again by wireless communication.

ここで、ステップＳ３１５及びＳ３１７で生成する表示部１０４に表示する表示画像として、元となる撮影画像の画像範囲を超える画像は生成できない。具体的に、図９に示す仮の撮影画像９０１を用いて説明する。視線位置が撮影画像９０１の端部周辺（斜線部９０２以外の場所）に位置し、生成される表示画像が撮影画像の撮影範囲を超えてしまう場合には、電子双眼鏡１００は、新たに表示画像を生成せずに、表示画像は現状の画像に維持して次の処理に移行する。すなわち、電子双眼鏡１００は、視線位置が撮影画像の所定の範囲（図９の斜線部９０２の範囲）に存在するときだけ、表示画像を再生成し、表示範囲の変更動作を行う。図９の斜線部９０２は、ユーザーが設定する画角によってその範囲が変更されるが、撮影画像の４隅に表示画像を作成したときの画像の中心を結ぶ四角形の領域である。 Here, as the display image to be displayed on the display unit 104 generated in steps S315 and S317, an image exceeding the image range of the original captured image cannot be generated. Specifically, it will be described with reference to the provisional photographed image 901 shown in FIG. If the line-of-sight position is located around the end of the captured image 901 (a place other than the shaded portion 902) and the generated display image exceeds the capture range of the captured image, the electronic binoculars 100 newly displays the image. The displayed image is maintained as the current image and the process proceeds to the next process without generating. That is, the electronic binoculars 100 regenerates the display image and changes the display range only when the line-of-sight position is within a predetermined range of the captured image (the range of the shaded portion 902 in FIG. 9). The shaded area 902 in FIG. 9 is a rectangular area connecting the centers of the images when the display images are created at the four corners of the captured image, although the range is changed depending on the angle of view set by the user.

ユーザーＢが使用する電子双眼鏡１００は、ユーザーＡが使用する電子双眼鏡１００から表示画像６１３を受信すると（Ｓ４１７においてＹｅｓ）、ステップＳ４１８において、受信した表示画像６１３を表示部１０４に表示する。このときもステップＳ４１４と同様に、ユーザーＢが使用する電子双眼鏡１００は、図６（ｆ）に示すように、ユーザーＢが使用する電子双眼鏡１００のカメラ１０１が撮影中の画像６２２の上に表示画像６１３を重ねて表示部１０４に表示する。 When the electronic binoculars 100 used by the user B receive the display image 613 from the electronic binoculars 100 used by the user A (Yes in S417), the received display image 613 is displayed on the display unit 104 in step S418. At this time as well, similarly to step S414, the electronic binoculars 100 used by the user B are displayed on the image 622 being photographed by the camera 101 of the electronic binoculars 100 used by the user B, as shown in FIG. 6 (f). The image 613 is superimposed and displayed on the display unit 104.

前述までの処理により、ユーザーＡが使用する電子双眼鏡１００が撮影し、表示部１０４に表示された画像６０２について、ユーザーＢが使用する電子双眼鏡１００と共有し、各々のユーザーは、各々の視線の位置情報に合わせた表示画像を観察できる。そして、このまま継続してユーザーＡが使用する電子双眼鏡１００が撮影する画像をユーザーＢが使用する電子双眼鏡１００で共有する場合、それぞれステップＳ３１４の処理、ステップＳ４１５の処理に戻り、各々の視線の位置情報に合わせて画像を共有する。 By the process up to the above, the electronic binoculars 100 used by the user A take a picture, and the image 602 displayed on the display unit 104 is shared with the electronic binoculars 100 used by the user B, and each user has a line of sight. You can observe the displayed image according to the position information. Then, when the image taken by the electronic binoculars 100 used by the user A is continuously shared by the electronic binoculars 100 used by the user B, the process returns to the process of step S314 and the process of step S415, respectively, and the position of each line of sight. Share images according to the information.

一方、ユーザーＡが使用する電子双眼鏡１００又はユーザーＢが使用する電子双眼鏡１００は、使用しているユーザーが画像共有モードを終了し通常の撮影に戻りたい場合、無線通信を用いて画像共有モードの終了を他方の電子双眼鏡１００に送信する。 On the other hand, the electronic binoculars 100 used by the user A or the electronic binoculars 100 used by the user B are in the image sharing mode using wireless communication when the user who is using the electronic binoculars 100 wants to end the image sharing mode and return to normal shooting. The end is transmitted to the other electronic binoculars 100.

ユーザーＡが使用する電子双眼鏡１００は、画像共有モードの終了の通知を送信あるいは受信すると（Ｓ３１９においてＹｅｓ）、ステップＳ３２０へ進む。ステップＳ３２０において、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３１２で開始した、頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するためのカメラ１０１の回動制御を終了する。そして、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ３２１において画像共有モードを終了した後、ステップＳ３２２において前述したステップＳ３０４へ戻り通常の撮影を再開する。 When the electronic binoculars 100 used by the user A transmit or receive the notification of the end of the image sharing mode (Yes in S319), the process proceeds to step S320. In step S320, the electronic binoculars 100 used by the user A end the rotation control of the camera 101 for canceling the head shake and maintaining the shooting range immediately before the start of the image sharing mode, which was started in step S312. .. Then, the electronic binoculars 100 used by the user A finish the image sharing mode in step S321, and then return to the above-mentioned step S304 in step S322 to resume normal shooting.

同様に、ユーザーＢが使用する電子双眼鏡１００は、画像共有モードの終了の通知を送信あるいは受信すると（Ｓ４１９においてＹｅｓ）、ステップＳ４２０へ進む。ステップＳ４２０において、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ４１２で開始した、頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するためのカメラ１０１の回動制御を終了する。そして、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ４２１において画像共有モードを終了した後、ステップＳ４２２において前述したステップＳ４０４へ戻り通常の撮影を再開する。 Similarly, when the electronic binoculars 100 used by the user B transmit or receive the notification of the end of the image sharing mode (Yes in S419), the process proceeds to step S420. In step S420, the electronic binoculars 100 used by the user B end the rotation control of the camera 101 for canceling the head shake and maintaining the shooting range immediately before the start of the image sharing mode, which was started in step S412. .. Then, the electronic binoculars 100 used by the user B exit the image sharing mode in step S421, and then return to the above-mentioned step S404 in step S422 to resume normal shooting.

前述したように、ステップＳ３１２およびＳ４１２でのカメラの回動制御を行っていたため、通常の撮影を再開すると、各々の電子双眼鏡１００のカメラ１０１は、画像共有モードの開始直前の撮影範囲を撮影する。これにより、ユーザーは画像共有モード直前に任意で観察していた撮影範囲から撮影を再開でき、違和感なくスムーズな撮影が可能である。 As described above, since the rotation control of the camera was performed in steps S312 and S412, when the normal shooting is resumed, the camera 101 of each electronic binocular 100 shoots the shooting range immediately before the start of the image sharing mode. .. As a result, the user can resume shooting from the shooting range that was arbitrarily observed immediately before the image sharing mode, and smooth shooting is possible without any discomfort.

第１の実施形態では、親機となる電子双眼鏡１００が撮影する画像に対して、子機となる１台の電子双眼鏡１００がその画像を共有する手法について説明した。同様の手法で、親機となる電子双眼鏡１００が撮影する画像を、子機となる複数台の電子双眼鏡１００が共有しつつ、子機となる電子双眼鏡１００の各々が任意の画角で表示画像を観察することも可能である。その場合には、親機となる電子双眼鏡１００はステップＳ３１３〜Ｓ３１９までの処理を、子機となる電子双眼鏡１００の台数分だけ繰り返すことになる。これは、親機となる電子双眼鏡１００が子機となる複数台の電子双眼鏡１００に対して、撮影画像を送信し、視線検出結果を受信して画像の表示範囲の算出と表示範囲の変更動作を行い、再度表示画像の送信作業を行うためである。ゆえに、親機となる電子双眼鏡１００に演算負荷が集中し、処理時間が増加してしまう。 In the first embodiment, a method of sharing an image by one electronic binocular 100 as a slave unit with respect to an image taken by the electronic binoculars 100 as a master unit has been described. In the same manner, the image taken by the electronic binoculars 100 as the master unit is shared by the plurality of electronic binoculars 100 as the slave units, and each of the electronic binoculars 100 as the slave unit displays an image at an arbitrary angle of view. It is also possible to observe. In that case, the electronic binoculars 100 as the master unit repeat the processes from steps S313 to S319 for the number of electronic binoculars 100 as the slave units. This is an operation of transmitting a captured image to a plurality of electronic binoculars 100 whose master electronic binoculars 100 are slave units, receiving a line-of-sight detection result, calculating an image display range, and changing the display range. This is to perform the work of transmitting the displayed image again. Therefore, the calculation load is concentrated on the electronic binoculars 100, which is the master unit, and the processing time increases.

そこで、親機となる電子双眼鏡１００に演算負荷が集中せずに、子機となる電子双眼鏡１００が複数台となった場合に有効な画像共有モードを有する例を、以下の第２の実施形態で説明する。 Therefore, an example having an image sharing mode effective when there are a plurality of electronic binoculars 100 as slave units without concentrating the calculation load on the electronic binoculars 100 as the master unit is described in the second embodiment below. I will explain in.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態における情報処理装置としての電子双眼鏡１００の構成は、第１の実施形態における電子双眼鏡１００の構成と同様であるので、その説明は省略する。第２の実施形態では、共有する表示画像を送受信するのではなく、表示画像の元画像である撮影画像を送受信して、子機となる電子双眼鏡１００が表示画像を生成する。以下では、第２の実施形態における電子双眼鏡１００の処理において、前述した第１の実施形態と異なる、画像共有モード開始後の処理についてのみ説明する。 (Second embodiment)
Next, a second embodiment of the present invention will be described. Since the configuration of the electronic binoculars 100 as the information processing device in the second embodiment is the same as the configuration of the electronic binoculars 100 in the first embodiment, the description thereof will be omitted. In the second embodiment, instead of transmitting and receiving the shared display image, the captured image which is the original image of the display image is transmitted and received, and the electronic binoculars 100 serving as a slave unit generate the display image. Hereinafter, in the processing of the electronic binoculars 100 in the second embodiment, only the processing after the start of the image sharing mode, which is different from the first embodiment described above, will be described.

図１０は、第２の実施形態における電子双眼鏡１００の処理例を示すフローチャートである。図１０には、第１の実施形態において図３Ｂに対応する、画像共有モードの開始後の処理を示している。 FIG. 10 is a flowchart showing a processing example of the electronic binoculars 100 in the second embodiment. FIG. 10 shows the post-start processing of the image sharing mode, which corresponds to FIG. 3B in the first embodiment.

ユーザーＡが使用する電子双眼鏡１００は、画像共有モードを開始（Ｓ１００１）すると、ステップＳ１００２において、ユーザーの頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するように、カメラ１０１の回動制御を開始する。同様に、ユーザーＢが使用する電子双眼鏡１００は、画像共有モードを開始（Ｓ１１０１）すると、ステップＳ１１０２において、ユーザーの頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するように、カメラ１０１の回動制御を開始する。 When the electronic binoculars 100 used by the user A start the image sharing mode (S1001), the camera 101 cancels the shaking of the user's head in step S1002 and maintains the shooting range immediately before the start of the image sharing mode. Rotation control of is started. Similarly, when the electronic binoculars 100 used by the user B start the image sharing mode (S1101), in step S1102, the shaking of the user's head is canceled and the shooting range immediately before the start of the image sharing mode is maintained. , The rotation control of the camera 101 is started.

ユーザーＡが使用する電子双眼鏡１００は、ステップＳ１００２での回動制御を開始した後、ステップＳ１００３において、共有する画像である表示部１０４に表示されている表示画像６０２を、ユーザーＢが使用する電子双眼鏡１００へ送信する。そして、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ１００４において、視線検出部１０５により表示画像６０２を観察するユーザーＡの視線を検出し、ユーザーＡの視線位置の情報を得る。 The electronic binoculars 100 used by the user A start the rotation control in the step S1002, and then use the electronic display image 602 displayed on the display unit 104, which is a shared image, in the step S1003. It is transmitted to the binoculars 100. Then, in step S1004, the electronic binoculars 100 used by the user A detect the line of sight of the user A observing the display image 602 by the line-of-sight detection unit 105, and obtain information on the line-of-sight position of the user A.

次に、ステップＳ１００５において、ユーザーＡが使用する電子双眼鏡１００は、第１の実施形態と同様に、視線位置の情報と撮影画像６１１から、表示画像６１２を生成して表示部１０４に表示する。次に、ステップＳ１００６において、ユーザーＡが使用する電子双眼鏡１００は、撮影画像６１１を送信する。 Next, in step S1005, the electronic binoculars 100 used by the user A generate a display image 612 from the line-of-sight position information and the captured image 611 and display it on the display unit 104, as in the first embodiment. Next, in step S1006, the electronic binoculars 100 used by the user A transmits the captured image 611.

また、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ１１０２での回動制御を開始した後、ユーザーＡが使用する電子双眼鏡１００から送信された表示画像６０２を受信すると（Ｓ１１０３においてＹｅｓ）、ステップＳ１１０４へ進む。ステップＳ１１０４において、ユーザーＢが使用する電子双眼鏡１００は、受信した表示画像６０２を表示部１０４に表示する。 Further, when the electronic binoculars 100 used by the user B start the rotation control in step S1102 and then receive the display image 602 transmitted from the electronic binoculars 100 used by the user A (Yes in S1103), the electronic binoculars 100 are received in step S1104. Proceed to. In step S1104, the electronic binoculars 100 used by the user B display the received display image 602 on the display unit 104.

その後、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ１１０５において、視線検出部１０５によりユーザーＢの視線を検出し、ユーザーＢの視線位置の情報を得る。そして、ステップＳ１１０６において、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ１１０５で得られた視線位置が画像の中心で、かつ、予め設定された画角となるように表示画像の表示範囲を算出する。 After that, the electronic binoculars 100 used by the user B detect the line of sight of the user B by the line-of-sight detection unit 105 in step S1105, and obtain information on the line-of-sight position of the user B. Then, in step S1106, the electronic binoculars 100 used by the user B calculate the display range of the display image so that the line-of-sight position obtained in step S1105 is at the center of the image and has a preset angle of view. ..

次に、ユーザーＢが使用する電子双眼鏡１００は、ユーザーＡが使用する電子双眼鏡１００から送信された撮影画像６１１を受信すると（Ｓ１１０７においてＹｅｓ）、ステップＳ１１０８へ進む。ステップＳ１１０８において、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ１１０６で算出した表示範囲となるよう表示範囲の変更動作を行い、撮影画像６１１を切り出して表示画像６１３を生成する。次に、ステップＳ１１０９において、ユーザーＢが使用する電子双眼鏡１００は、生成した表示画像６１３を表示部１０４に表示する。 Next, when the electronic binoculars 100 used by the user B receive the captured image 611 transmitted from the electronic binoculars 100 used by the user A (Yes in S1107), the process proceeds to step S1108. In step S1108, the electronic binoculars 100 used by the user B perform an operation of changing the display range so as to be within the display range calculated in step S1106, cut out the captured image 611, and generate the display image 613. Next, in step S1109, the electronic binoculars 100 used by the user B display the generated display image 613 on the display unit 104.

前述までの処理により、ユーザーＡが使用する電子双眼鏡１００が撮影し、表示部１０４に表示された画像６０２について、ユーザーＢが使用する電子双眼鏡１００と共有し、各々のユーザーは、各々の視線の位置情報に合わせた表示画像を観察できる。そして、継続してユーザーＡが使用する電子双眼鏡１００が撮影する画像をユーザーＢが使用する電子双眼鏡１００で共有する場合、それぞれステップＳ１００４の処理、ステップＳ１１０５の処理に戻り、各々の視線の位置情報に合わせて画像を共有する。 By the process up to the above, the electronic binoculars 100 used by the user A take a picture, and the image 602 displayed on the display unit 104 is shared with the electronic binoculars 100 used by the user B, and each user has a line of sight. You can observe the displayed image according to the position information. Then, when the image taken by the electronic binoculars 100 used by the user A is continuously shared by the electronic binoculars 100 used by the user B, the process returns to the process of step S1004 and the process of step S1105, respectively, and the position information of each line of sight is returned. Share images according to.

一方、ユーザーＡが使用する電子双眼鏡１００又はユーザーＢが使用する電子双眼鏡１００は、使用しているユーザーが画像共有モードを終了し通常の撮影に戻りたい場合、無線通信を用いて画像共有モードの終了を他方の電子双眼鏡１００に送信する。 On the other hand, the electronic binoculars 100 used by the user A or the electronic binoculars 100 used by the user B are in the image sharing mode using wireless communication when the user who is using the electronic binoculars 100 wants to end the image sharing mode and return to normal shooting. The end is transmitted to the other electronic binoculars 100.

ユーザーＡが使用する電子双眼鏡１００は、画像共有モードの終了の通知を送信あるいは受信すると（Ｓ１００７においてＹｅｓ）、ステップＳ１００８へ進む。ステップＳ１００８において、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ１００２で開始した、頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するためのカメラ１０１の回動制御を終了する。そして、ユーザーＡが使用する電子双眼鏡１００は、ステップＳ１００９において画像共有モードを終了した後、ステップＳ１０１０において図３Ａに示したステップＳ３０４へ戻り通常の撮影を再開する。 When the electronic binoculars 100 used by the user A transmit or receive the notification of the end of the image sharing mode (Yes in S1007), the process proceeds to step S1008. In step S1008, the electronic binoculars 100 used by the user A end the rotation control of the camera 101 for canceling the head shake and maintaining the shooting range immediately before the start of the image sharing mode, which was started in step S1002. .. Then, the electronic binoculars 100 used by the user A exit the image sharing mode in step S1009, and then return to step S304 shown in FIG. 3A in step S1010 to resume normal shooting.

また、ユーザーＢが使用する電子双眼鏡１００は、画像共有モードの終了の通知を送信あるいは受信すると（Ｓ１１１０においてＹｅｓ）、ステップＳ１１１１へ進む。ステップＳ１１１１において、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ１１０２で開始した、頭部の振れをキャンセルし画像共有モードの開始直前の撮影範囲を維持するためのカメラ１０１の回動制御を終了する。そして、ユーザーＢが使用する電子双眼鏡１００は、ステップＳ１１１２において画像共有モードを終了した後、ステップＳ１１１３において図３Ａに示したステップＳ４０４へ戻り通常の撮影を再開する。 Further, when the electronic binoculars 100 used by the user B transmit or receive the notification of the end of the image sharing mode (Yes in S1110), the process proceeds to step S1111. In step S1111, the electronic binoculars 100 used by the user B end the rotation control of the camera 101 for canceling the shake of the head and maintaining the shooting range immediately before the start of the image sharing mode, which was started in step S1102. .. Then, the electronic binoculars 100 used by the user B exit the image sharing mode in step S1112, and then return to step S404 shown in FIG. 3A in step S1113 to resume normal shooting.

子機となる電子双眼鏡１００が複数台ある場合には、親機となる電子双眼鏡１００は、図１０に示したステップＳ１００３での表示画像の送信とステップＳ１００６での撮影画像の送信を、子機となる電子双眼鏡１００の台数分だけ繰り返せばよい。第２の実施形態では、第１の実施形態と異なり、ユーザーの視線の位置情報から表示画像の表示範囲を算出し、表示画像を生成する表示範囲の変更動作を子機となる電子双眼鏡１００が行う。そのため、第２の実施形態では、親機となる電子双眼鏡１００に演算負荷が集中せず、親機となる電子双眼鏡１００の演算処理時間が短縮できる。 When there are a plurality of electronic binoculars 100 as slave units, the master electronic binoculars 100 transmit the display image in step S1003 and the transmission of the captured image in step S1006 shown in FIG. It suffices to repeat as many times as the number of electronic binoculars 100. In the second embodiment, unlike the first embodiment, the electronic binoculars 100 as a slave unit calculate the display range of the display image from the position information of the user's line of sight and change the display range to generate the display image. conduct. Therefore, in the second embodiment, the calculation load is not concentrated on the electronic binoculars 100 as the master unit, and the calculation processing time of the electronic binoculars 100 as the master unit can be shortened.

このように第１及び第２の実施形態によれば、あるユーザーが使用する電子双眼鏡１００が撮影した画像を、他のユーザーが使用する電子双眼鏡１００と共有し、かつ、各々のユーザーは、視線位置に合わせた任意の画角で表示部１０４を介して観察可能である。したがって、他者が撮影している画像をリアルタイムで共有し、かつ、自分の所望する画角で被写体を観察することができる。さらに、画像共有中のカメラのパン方向およびチルト方向の回動制御によって、画像共有中に共有する画像の不用意なブレの影響を無くし、不快感無く画像共有することが可能である。そして、画像共有モードが終了すると、画像共有モードの開始直前の撮影範囲から撮影を再開できるのでスムーズな撮影再開が可能となる。 As described above, according to the first and second embodiments, the image taken by the electronic binoculars 100 used by one user is shared with the electronic binoculars 100 used by another user, and each user has a line of sight. It is possible to observe through the display unit 104 at an arbitrary angle of view adjusted to the position. Therefore, it is possible to share an image taken by another person in real time and observe the subject at a desired angle of view. Further, by controlling the rotation of the pan direction and the tilt direction of the camera during image sharing, it is possible to eliminate the influence of careless blurring of the image to be shared during image sharing and to share the image without discomfort. Then, when the image sharing mode ends, shooting can be resumed from the shooting range immediately before the start of the image sharing mode, so that smooth shooting can be resumed.

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other Embodiments of the present invention)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

１００：情報処理装置（電子双眼鏡） １０１：カメラ １０２ａ：パンニング部 １０２ｂ：チルト部 １０３：回動制御部 １０４（１０４ａ、１０４ｂ）：表示部 １０５（１０５ａ、１０５ｂ）：視線検出部 １０６：通信部 １０９：ＣＰＵ １１０：操作部材 １１１：ジャイロセンサ 100: Information processing device (electronic binoculars) 101: Camera 102a: Panning unit 102b: Tilt unit 103: Rotation control unit 104 (104a, 104b): Display unit 105 (105a, 105b): Line-of-sight detection unit 106: Communication unit 109 : CPU 110: Operating member 111: Gyro sensor

Claims (15)

被写体を撮影する撮像手段と、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出手段と、
前記検出手段により検出された動きに基づいて前記撮像手段を回動する回動制御手段と、
前記撮像手段により撮影された撮影画像に基づく第１の表示画像を表示する表示手段と
をそれぞれ有し、相互に通信可能な第１の情報処理装置と第２の情報処理装置とを有し、
前記第１の情報処理装置は、
前記第１の情報処理装置が有する前記撮像手段により撮影される第１の撮影画像又は前記第１の撮影画像から切り出した画像を、前記第２の情報処理装置に送信する第１の送信手段を有し、
前記表示手段は、前記検出手段により検出された前記第１の情報処理装置のユーザーの動きに基づいて生成される前記第１の表示画像を表示し、
前記第２の情報処理装置は、
前記第１の情報処理装置から送信された前記第１の撮影画像又は前記第１の撮影画像から切り出した画像を受信する第１の受信手段を有し、
前記表示手段は、前記検出手段により検出された前記第２の情報処理装置のユーザーの動きに応じた、前記第１の受信手段により受信した前記第１の情報処理装置からの画像に基づく第２の表示画像を表示することを特徴とする情報処理システム。 An imaging means for shooting a subject,
A detection means that detects the movement of at least one of the user's head or line of sight,
A rotation control means for rotating the image pickup means based on the movement detected by the detection means, and a rotation control means.
Each has a display means for displaying a first display image based on a captured image taken by the image pickup means, and has a first information processing device and a second information processing device capable of communicating with each other.
The first information processing device is
A first transmission means for transmitting a first captured image captured by the image pickup means of the first information processing apparatus or an image cut out from the first captured image to the second information processing apparatus. Have and
The display means displays the first display image generated based on the movement of the user of the first information processing apparatus detected by the detection means.
The second information processing device is
It has a first receiving means for receiving the first photographed image transmitted from the first information processing apparatus or an image cut out from the first photographed image.
The display means is a second based on an image from the first information processing device received by the first receiving means according to the movement of the user of the second information processing device detected by the detecting means. An information processing system characterized by displaying an image. 前記第２の情報処理装置の表示手段は、前記第１の表示画像と前記第２の表示画像とをあわせて表示することを特徴とする請求項１に記載の情報処理システム。 The information processing system according to claim 1, wherein the display means of the second information processing apparatus displays the first display image and the second display image together. 前記第２の情報処理装置の表示手段は、前記第１の表示画像の上に前記第２の表示画像を重ねて表示することを特徴とする請求項１に記載の情報処理システム。 The information processing system according to claim 1, wherein the display means of the second information processing apparatus superimposes the second display image on the first display image. 前記第１の情報処理装置は、
前記第２の情報処理装置から送信された前記第２の情報処理装置のユーザーの動きの情報を受信する第２の受信手段と、
前記第２の受信手段により受信した前記第２の情報処理装置のユーザーの動きの情報に基づいて、前記第１の撮影画像から前記第２の表示画像を生成する生成手段とを有し、
前記第１の送信手段は、前記生成手段により生成された前記第２の表示画像を送信し、
前記第２の情報処理装置は、
前記検出手段により検出された前記第２の情報処理装置のユーザーの動きの情報を前記第１の情報処理装置に送信する第２の送信手段を有し、
前記表示手段は、前記第１の受信手段により受信した前記第１の情報処理装置からの前記第２の表示画像を表示することを特徴とする請求項１〜３の何れか１項に記載の情報処理システム。 The first information processing device is
A second receiving means for receiving information on the movement of the user of the second information processing device transmitted from the second information processing device, and
It has a generation means for generating the second display image from the first captured image based on the information of the user's movement of the second information processing apparatus received by the second receiving means.
The first transmission means transmits the second display image generated by the generation means, and the first transmission means transmits the second display image.
The second information processing device is
It has a second transmission means for transmitting information on the movement of the user of the second information processing apparatus detected by the detection means to the first information processing apparatus.
The display means according to any one of claims 1 to 3, wherein the display means displays the second display image from the first information processing apparatus received by the first receiving means. Information processing system. 前記生成手段は、前記第２の受信手段により受信した前記第２の情報処理装置のユーザーの動きの情報に基づいて表示範囲を算出し、算出した表示範囲に応じて前記第１の撮影画像を切り出して前記第２の表示画像を生成することを特徴とする請求項４に記載の情報処理システム。 The generation means calculates a display range based on information on the movement of the user of the second information processing apparatus received by the second receiving means, and displays the first captured image according to the calculated display range. The information processing system according to claim 4, wherein the second display image is cut out and generated. 前記第１の情報処理装置が有する第１の送信手段は、前記第１の撮影画像を前記第２の情報処理装置に送信し、
前記第２の情報処理装置は、
前記検出手段により検出された前記第２の情報処理装置のユーザーの動きに基づいて、前記第１の受信手段により受信した前記第１の撮影画像から前記第２の表示画像を生成する生成手段を有し、
前記表示手段は、前記生成手段により生成された前記第２の表示画像を表示することを特徴とする請求項１〜３の何れか１項に記載の情報処理システム。 The first transmission means included in the first information processing apparatus transmits the first captured image to the second information processing apparatus.
The second information processing device is
A generation means for generating the second display image from the first captured image received by the first receiving means based on the movement of the user of the second information processing apparatus detected by the detection means. Have and
The information processing system according to any one of claims 1 to 3, wherein the display means displays the second display image generated by the generation means. 前記生成手段は、前記検出手段により検出された前記第２の情報処理装置のユーザーの動きの情報に基づいて表示範囲を算出し、算出した表示範囲に応じて前記第１の受信手段により受信した前記第１の撮影画像を切り出して前記第２の表示画像を生成することを特徴とする請求項６に記載の情報処理システム。 The generation means calculates a display range based on the information of the user's movement of the second information processing apparatus detected by the detection means, and receives the image by the first receiving means according to the calculated display range. The information processing system according to claim 6, wherein the first captured image is cut out to generate the second display image. 前記第２の情報処理装置が有する前記表示手段が前記第２の表示画像を表示している間は、前記回動制御手段は、撮影範囲を維持するように前記撮像手段の回動を制御することを特徴とする請求項１〜７の何れか１項に記載の情報処理システム。 While the display means included in the second information processing apparatus is displaying the second display image, the rotation control means controls the rotation of the image pickup means so as to maintain the photographing range. The information processing system according to any one of claims 1 to 7, wherein the information processing system is characterized by the above. 前記第１の情報処理装置および前記第２の情報処理装置は、ヘッドマウントディスプレイ装置であることを特徴とする請求項１〜８の何れか１項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 8, wherein the first information processing device and the second information processing device are head-mounted display devices. 他の情報処理装置と通信可能な情報処理装置であって、
被写体を撮影する撮像手段と、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出手段と、
前記検出手段により検出されたユーザーの動きに応じた、前記撮像手段により撮影された撮影画像に基づく第１の表示画像を表示する表示手段と、
前記他の情報処理装置のユーザーの動きの情報を受信する受信手段と、
前記受信手段により受信した前記他の情報処理装置のユーザーの動きの情報に基づいて、前記撮影画像から第２の表示画像を生成する生成手段と、
前記生成手段により生成された前記第２の表示画像を前記他の情報処理装置に送信する送信手段とを有することを特徴とする情報処理装置。 An information processing device that can communicate with other information processing devices.
An imaging means for shooting a subject,
A detection means that detects the movement of at least one of the user's head or line of sight,
A display means for displaying a first display image based on a captured image taken by the image pickup means according to the movement of the user detected by the detection means, and a display means.
A receiving means for receiving information on the movement of the user of the other information processing device, and
A generation means for generating a second display image from the captured image based on information on the movement of the user of the other information processing apparatus received by the reception means.
An information processing apparatus comprising: a transmission means for transmitting the second display image generated by the generation means to the other information processing apparatus. 他の情報処理装置と通信可能な情報処理装置であって、
被写体を撮影する撮像手段と、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出手段と、
前記撮像手段により撮影された撮影画像に基づく第１の表示画像を表示する表示手段と、
前記他の情報処理装置で撮影された撮影画像を受信する受信手段と、
前記検出手段により検出されたユーザーの動きに基づいて、前記受信手段により受信した前記撮影画像から第２の表示画像を生成する生成手段を有し、
前記表示手段は、前記第１の表示画像および前記生成手段により生成された前記第２の表示画像を表示することを特徴とする情報処理装置。 An information processing device that can communicate with other information processing devices.
An imaging means for shooting a subject,
A detection means that detects the movement of at least one of the user's head or line of sight,
A display means for displaying a first display image based on a captured image taken by the image pickup means, and a display means.
A receiving means for receiving a captured image captured by the other information processing device, and
It has a generation means for generating a second display image from the captured image received by the reception means based on the movement of the user detected by the detection means.
The information processing device is characterized in that the display means displays the first display image and the second display image generated by the generation means. 被写体を撮影する撮像手段と、画像を表示する表示手段とを有する情報処理装置の情報処理方法であって、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出工程と、
検出されたユーザーの動きに応じた、前記撮像手段により撮影された撮影画像に基づく第１の表示画像を前記表示手段に表示する表示工程と、
通信可能な他の情報処理装置のユーザーの動きの情報を受信する受信工程と、
受信した前記他の情報処理装置のユーザーの動きの情報に基づいて、前記撮影画像から第２の表示画像を生成する生成工程と、
生成された前記第２の表示画像を前記他の情報処理装置に送信する送信工程とを有することを特徴とする情報処理方法。 It is an information processing method of an information processing apparatus having an image pickup means for photographing a subject and a display means for displaying an image.
A detection process that detects the movement of at least one of the user's head or line of sight,
A display step of displaying a first display image based on a captured image captured by the imaging means on the display means according to the detected movement of the user.
The receiving process that receives information on the movements of users of other information processing devices that can communicate,
A generation step of generating a second display image from the captured image based on the received information on the movement of the user of the other information processing device.
An information processing method comprising a transmission step of transmitting the generated second display image to the other information processing apparatus. 被写体を撮影する撮像手段と、画像を表示する表示手段とを有する情報処理装置の情報処理方法であって、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出工程と、
通信可能な他の情報処理装置で撮影された撮影画像を受信する受信工程と、
検出されたユーザーの動きに基づいて、受信した前記撮影画像から第２の表示画像を生成する生成工程と、
前記撮像手段により撮影された撮影画像に基づく第１の表示画像及び生成された前記第２の表示画像を前記表示手段に表示する表示工程とを有することを特徴とする情報処理方法。 It is an information processing method of an information processing apparatus having an image pickup means for photographing a subject and a display means for displaying an image.
A detection process that detects the movement of at least one of the user's head or line of sight,
The receiving process of receiving captured images taken by other information processing devices that can communicate,
A generation step of generating a second display image from the received captured image based on the detected movement of the user, and
An information processing method comprising: a display step of displaying a first display image based on a captured image captured by the image pickup means and the generated second display image on the display means. 被写体を撮影する撮像手段と、画像を表示する表示手段とを有する情報処理装置のコンピュータに、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出ステップと、
検出されたユーザーの動きに応じた、前記撮像手段により撮影された撮影画像に基づく第１の表示画像を前記表示手段に表示する表示ステップと、
通信可能な他の情報処理装置のユーザーの動きの情報を受信する受信ステップと、
受信した前記他の情報処理装置のユーザーの動きの情報に基づいて、前記撮影画像から第２の表示画像を生成する生成ステップと、
生成された前記第２の表示画像を前記他の情報処理装置に送信する送信ステップとを実行させるためのプログラム。 A computer of an information processing device having an image pickup means for photographing a subject and a display means for displaying an image.
A detection step that detects the movement of at least one of the user's head or line of sight,
A display step of displaying a first display image based on a captured image captured by the imaging means on the display means according to the detected movement of the user.
A reception step that receives information on the user's movements of other information processing devices that can communicate,
A generation step of generating a second display image from the captured image based on the received information on the movement of the user of the other information processing apparatus.
A program for executing a transmission step of transmitting the generated second display image to the other information processing apparatus. 被写体を撮影する撮像手段と、画像を表示する表示手段とを有する情報処理装置のコンピュータに、
ユーザーの頭部又は視線の少なくとも一方の動きを検出する検出ステップと、
通信可能な他の情報処理装置で撮影された撮影画像を受信する受信ステップと、
検出されたユーザーの動きに基づいて、受信した前記撮影画像から第２の表示画像を生成する生成ステップと、
前記撮像手段により撮影された撮影画像に基づく第１の表示画像及び生成された前記第２の表示画像を前記表示手段に表示する表示ステップとを実行させるためのプログラム。 A computer of an information processing device having an image pickup means for photographing a subject and a display means for displaying an image.
A detection step that detects the movement of at least one of the user's head or line of sight,
A reception step to receive a captured image captured by another information processing device capable of communication,
A generation step of generating a second display image from the received captured image based on the detected user movement, and
A program for executing a first display image based on a captured image captured by the imaging means and a display step of displaying the generated second display image on the display means.

Images