JP7423270B2

JP7423270B2 - display device

Info

Publication number: JP7423270B2
Application number: JP2019206274A
Authority: JP
Inventors: 龍也華山; 祐介鳥海; 拓弥坂牧; 淳史菅原; かおり戸村; 陽介深井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2024-01-29
Anticipated expiration: 2039-11-14
Also published as: JP2021082866A

Description

本発明は、表示装置に関し、特に電子双眼鏡に関する。 The present invention relates to a display device, and particularly to electronic binoculars.

電子双眼鏡は、カメラと、使用時にユーザの目の前に配置されるディスプレイとを備え、カメラで撮影した映像をディスプレイ上にリアルタイムに表示する表示装置である。ユーザは、電子双眼鏡のディスプレイに表示された映像（望遠映像）を見ることで、双眼鏡を覗いたように遠くを観察することができる。電子双眼鏡には、ヘッドマウントディスプレイのように頭部に対して着脱可能（ウェアラブル）に構成されたものがある。 Electronic binoculars are display devices that include a camera and a display that is placed in front of a user's eyes when in use, and display images captured by the camera on the display in real time. By viewing the image (telephoto image) displayed on the display of the electronic binoculars, the user can observe distant objects as if looking through binoculars. Some electronic binoculars, such as head-mounted displays, are configured to be detachable from the head (wearable).

特許文献１には、ユーザの視線位置を検出し、視線位置が撮影範囲の中心位置となるように撮影範囲を制御する技術が開示されている。 Patent Document 1 discloses a technique for detecting a user's line of sight position and controlling the photographing range so that the line of sight position becomes the center position of the photographing range.

特開２０１５－１４９５５２号公報Japanese Patent Application Publication No. 2015-149552

しかしながら、一般的な電子双眼鏡の場合は、頭部の意図せぬ動きによって観察範囲（ディスプレイ上に表示される映像の被写体範囲（画角））が変化する。特に望遠倍率の高い映像を表示する場合には、頭部のわずかな振れによって、観察範囲が大きく変化する。また、撮影範囲が観察範囲となるような表示を行うように特許文献１に開示の技術を用いると、視線位置が撮影範囲の中心位置となるため、ユーザが所望の観察範囲の中で全体を見渡したい場合でも視線によって観察範囲が変化してしまう。 However, in the case of general electronic binoculars, the observation range (the object range (angle of view) of the image displayed on the display) changes due to unintended movement of the head. Particularly when displaying images with high telephoto magnification, the observation range changes significantly due to a slight shake of the head. Furthermore, if the technology disclosed in Patent Document 1 is used to display a display in which the photographing range becomes the observation range, the line of sight position becomes the center position of the photographing range, so that the user can view the entire image within the desired observation range. Even if you want to look around, the observation range changes depending on your line of sight.

このように、従来技術では、観察範囲の意図せぬ変化が発生するため、安定した観察（例えば、観察範囲を維持したり、ゆっくり変更したりする観察や、動きの速い観察対象を追従する観察）が行いにくい。そして、安定した観察が行いにくいことで、ユーザにストレスを与えることがある。このような課題は、ウェアラブルな電子双眼鏡の場合でも、ウェアラブルでない電子双眼鏡の場合でも生じる。 In this way, with conventional technology, unintended changes in the observation range occur, so stable observation (for example, observation that maintains or slowly changes the observation range, observation that follows a fast-moving observation target) is difficult. ) is difficult to do. Furthermore, it is difficult to perform stable observation, which may cause stress to the user. Such problems occur both in the case of wearable electronic binoculars and in the case of non-wearable electronic binoculars.

本発明は、安定した観察を行いやすくする技術を提供することを目的とする。 An object of the present invention is to provide a technique that facilitates stable observation.

本発明の第１の態様は、
ユーザの頭部に固定される表示装置であって、
焦点距離を変更可能な撮像手段と、
前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化と、前記焦点距離とに基づいて、前記表示範囲の位置を制御する制御手段と、を有することを特徴とする表示装置である。
The first aspect of the present invention is
A display device fixed to a user's head ,
an imaging means whose focal length can be changed;
Display means for displaying a part of the image captured by the image capture means as a display range;
Attitude detection means for detecting the attitude of the display device;
The display device is characterized by comprising: control means for controlling the position of the display range based on the change in the posture detected by the posture detection means and the focal length.

本発明の第２の態様は、
焦点距離を変更可能な撮像手段と、前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段とを有し、ユーザの頭部に固定される表示装置の制御方法であって、
前記表示装置の姿勢を検出する姿勢検出ステップと、
前記姿勢検出手段で検出された前記姿勢の変化と、前記焦点距離とに基づいて、前記表示範囲の位置を制御する制御ステップと、を有することを特徴とする制御方法である。
The second aspect of the invention is
1. A method of controlling a display device fixed to a user's head, the method comprising: an imaging device whose focal length can be changed; and a display device that displays a part of an image captured by the imaging device as a display range. ,
an attitude detection step of detecting an attitude of the display device;
The control method includes a control step of controlling the position of the display range based on the change in the posture detected by the posture detection means and the focal length.

本発明の第３の態様は、上述した制御方法の各ステップをコンピュータに実行させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to execute each step of the above-described control method .

本発明によれば、安定した観察を行いやすくすることができる。 According to the present invention, stable observation can be easily performed.

実施例１に係る処理フローを示すフローチャートである。3 is a flowchart showing a processing flow according to the first embodiment. 実施例１～３に係る電子双眼鏡の外観図である。3 is an external view of electronic binoculars according to Examples 1 to 3. FIG. 実施例１～３に係る電子双眼鏡のブロック図である。3 is a block diagram of electronic binoculars according to Examples 1 to 3. FIG. 実施例１に係る表示装置の状態を示す模式図である。1 is a schematic diagram showing a state of a display device according to Example 1. FIG. 実施例１～３に係る被写体距離と移動量の関係を示す模式図である。3 is a schematic diagram showing the relationship between object distance and movement amount according to Examples 1 to 3. FIG. 実施例２に係る処理フローを示すフローチャートである。7 is a flowchart showing a processing flow according to a second embodiment. 実施例３に係る処理フローを示すフローチャートである。13 is a flowchart showing a processing flow according to Example 3.

＜実施例１＞
以下、本発明の実施例１について説明する。なお、ヘッドマウントディスプレイのように頭部に対して着脱可能（ウェアラブル）な電子双眼鏡に本発明を適用した例を説明するが、本発明が適用可能な表示装置はウェアラブルな電子双眼鏡に限られない。例えば、ウェアラブルでない電子双眼鏡に本発明を適用してもよいし、頭部に対して着脱可能な他のウェアラブルデバイス（例えば、ＶＲゴーグル、ＡＲグラス、ＭＲグラス、スマートグラスなどのヘッドマウントディスプレイ）に本発明を適用してもよい。ユーザが周囲を肉眼で見ることができない（ユーザが両目で画像を見ることができる）ように両目を覆う表示装置（ＶＲゴーグルなど）に、本発明を適用してもよい。ユーザが一方の目で画像を見ることができ、他方の目で周囲を肉眼で見ることができるように一方の目のみを覆う表示装置に、本発明を適用してもよい。詳細は後述するが、本発明によれば、ユーザが周囲を肉眼で見ることができない状況でも好適な観察が可能となるため、本発明は、両目を覆う表示装置に対して好適に適用できる。 <Example 1>
Example 1 of the present invention will be described below. Although an example in which the present invention is applied to electronic binoculars that can be attached to and detached from the head (wearable) such as a head-mounted display will be described, display devices to which the present invention can be applied are not limited to wearable electronic binoculars. . For example, the present invention may be applied to electronic binoculars that are not wearable, or may be applied to other wearable devices that can be attached to and detached from the head (e.g., head-mounted displays such as VR goggles, AR glasses, MR glasses, and smart glasses). The present invention may also be applied. The present invention may be applied to a display device that covers both eyes (such as VR goggles) so that the user cannot see the surroundings with the naked eye (the user can see the image with both eyes). The present invention may be applied to a display device that covers only one eye so that the user can view an image with one eye and visually see the surroundings with the other eye. Although details will be described later, according to the present invention, suitable observation is possible even in a situation where the user cannot see the surroundings with the naked eye, so the present invention can be suitably applied to a display device that covers both eyes.

図２（Ａ），２（Ｂ）は、実施例１に係る電子双眼鏡１０のハードウェア構成を示す外観図である。図２（Ａ）は電子双眼鏡１０を前方側から見た前面斜視図であり、図２（Ｂ）は電子双眼鏡１０を後方向から見た背面斜視図である。電子双眼鏡１０は、眼鏡型の電子双眼鏡であり、頭部に対して着脱可能である。具体的には、電子双眼鏡１０の左右のテンプル１００で頭部を挟むことで、電子双眼鏡１０が頭部に固定（装着）される。電子双眼鏡１０は、テンプル１００の他に、カメラ１０１、ディスプレイ１０２，１０３、パンニング部１０４、チルト部１０５、ジャイロセンサ１０６、及び、操作部材１０７を有する。 2(A) and 2(B) are external views showing the hardware configuration of the electronic binoculars 10 according to the first embodiment. 2(A) is a front perspective view of the electronic binoculars 10 viewed from the front side, and FIG. 2(B) is a rear perspective view of the electronic binoculars 10 viewed from the rear side. The electronic binoculars 10 are glasses-type electronic binoculars that can be attached to and detached from the head. Specifically, the electronic binoculars 10 are fixed (attached) to the head by sandwiching the head between the left and right temples 100 of the electronic binoculars 10. In addition to the temple 100, the electronic binoculars 10 include a camera 101, displays 102 and 103, a panning section 104, a tilt section 105, a gyro sensor 106, and an operation member 107.

カメラ１０１は撮像部であり、図２（Ａ）に矢印で示すように、パン方向とチルト方向に個別に回動可能である。つまり、カメラ１０１の撮像方向は、パン方向とチルト方向に個別に変更可能である。パンニング部１０４は、パンニング部１０４に内蔵されたアクチュエータを駆動することにより、カメラ１０１をパン方向（電子双眼鏡１０に対してカメラ１０１を左右に傾ける方向）に回動させる。チルト部１０５は、チルト部１０５に内蔵されたアクチュエータを駆動することにより、カメラ１０１をチルト方向（電子双眼鏡１
０に対してカメラ１０１を上下に傾ける方向）に回動させる。なお、撮像方向を変更するメカニズムなどは特に限定されない。 The camera 101 is an imaging unit, and can be rotated separately in the panning direction and the tilting direction, as shown by arrows in FIG. 2(A). That is, the imaging direction of the camera 101 can be changed individually into the panning direction and the tilting direction. The panning unit 104 rotates the camera 101 in a panning direction (a direction in which the camera 101 is tilted left and right with respect to the electronic binoculars 10) by driving an actuator built into the panning unit 104. The tilt unit 105 tilts the camera 101 (electronic binoculars 1
0). Note that the mechanism for changing the imaging direction is not particularly limited.

また、カメラ１０１は、その焦点距離を変更可能に構成されている。実施例１では、カメラ１０１の焦点距離が、電子双眼鏡１０に対してユーザが行った操作（ユーザ操作）に応じて、１００ｍｍと４００ｍｍ（いずれも３５ｍｍフルサイズ換算での焦点距離）の２段階で切り替えられるとする。操作部材１０７は、ユーザ操作を受け付ける部材（ボタンやスイッチなど）であり、例えばカメラ１０１の焦点距離の変更（切り替え）や、電子双眼鏡１０の電源ＯＮ／ＯＦＦなどを指示するユーザ操作を受け付ける。なお、設定可能な焦点距離の数や範囲などは特に限定されない。焦点距離が所定の範囲内でシームレスに変更可能であってもよい。 Further, the camera 101 is configured to be able to change its focal length. In the first embodiment, the focal length of the camera 101 is set in two stages, 100 mm and 400 mm (both focal lengths in 35 mm full-frame equivalent), depending on the operation (user operation) performed by the user on the electronic binoculars 10. Suppose it can be switched. The operating member 107 is a member (such as a button or a switch) that receives a user's operation, and receives a user's operation that instructs, for example, changing (switching) the focal length of the camera 101 or turning on/off the power of the electronic binoculars 10. Note that the number and range of focal lengths that can be set are not particularly limited. The focal length may be seamlessly changeable within a predetermined range.

さらに、カメラ１０１は、オートフォーカス機能を有し、撮像範囲に含まれる被写体に対して自動的に合焦するように構成されている。ピント調整（オートフォーカス）において駆動する不図示のフォーカシングレンズの停止位置によって、ピントが合う（合焦する）被写体距離は一意に決まる。このため、フォーカシングレンズの停止位置と被写体距離との関係を示す情報（テーブルや関数）を予め電子双眼鏡１０に格納することで、電子双眼鏡１０において、当該情報を用いて、フォーカシングレンズの停止位置から、被写体距離を検出できるようになる。カメラ１０１は、このような方法で被写体距離を検出する機能も有する。なお、被写体距離の検出方法は特に限定されない。 Furthermore, the camera 101 has an autofocus function and is configured to automatically focus on a subject included in the imaging range. The distance to the subject that is in focus is uniquely determined by the stop position of a focusing lens (not shown) that is driven during focus adjustment (autofocus). Therefore, by storing information (tables and functions) indicating the relationship between the stopping position of the focusing lens and the subject distance in the electronic binoculars 10 in advance, the electronic binoculars 10 can use the information to move from the stopping position of the focusing lens to the object distance. , the distance to the subject can be detected. The camera 101 also has a function of detecting a subject distance using such a method. Note that the method of detecting the subject distance is not particularly limited.

ディスプレイ１０２，１０３は、カメラ１０１によって撮像された画像の一部を表示範囲として表示する表示部である。撮像可能範囲全体を現像した画像に基づいて表示範囲が表示されてもよいし、表示範囲のみがカメラ１０１（撮像素子）から読み出されて、現像、表示されてもよい。電子双眼鏡１０をユーザが装着することで、ディスプレイ１０２はユーザの右目の前に配置され、ディスプレイ１０３はユーザの左目の前に配置される。このため、ユーザは、ディスプレイ１０２に表示された画像を右目で、ディスプレイ１０３に表示された画像を左目で見ることになる。表示範囲は、パン方向（撮像された画像の左右方向（水平方向））とチルト方向（撮像された画像の上下方向（垂直方向））とに個別に移動可能である。なお、表示範囲の移動方向（表示範囲の位置の変更方向）などは特に限定されない。 The displays 102 and 103 are display units that display part of the image captured by the camera 101 as a display range. The display range may be displayed based on an image obtained by developing the entire imageable range, or only the display range may be read out from the camera 101 (image sensor), developed, and displayed. When the user wears the electronic binoculars 10, the display 102 is placed in front of the user's right eye, and the display 103 is placed in front of the user's left eye. Therefore, the user views the image displayed on the display 102 with his right eye and the image displayed on the display 103 with his left eye. The display range can be moved individually in the pan direction (the horizontal direction (horizontal direction) of the captured image) and the tilt direction (the vertical direction (vertical direction) of the captured image). Note that the direction of movement of the display range (direction of change in the position of the display range), etc. are not particularly limited.

ジャイロセンサ１０６は、電子双眼鏡１０の姿勢を検出する姿勢検出部であり、電子双眼鏡１０の姿勢の変化（変化の有無や方向、大きさ等）を検出することもできる。電子双眼鏡１０をユーザが装着している場合には、電子双眼鏡１０の姿勢はユーザの頭部の姿勢に対応する。このため、ジャイロセンサ１０６は、頭部の姿勢や動き（振れ）を検出できる。 The gyro sensor 106 is an attitude detection unit that detects the attitude of the electronic binoculars 10, and can also detect changes in the attitude of the electronic binoculars 10 (presence of change, direction, size, etc.). When the user is wearing the electronic binoculars 10, the posture of the electronic binoculars 10 corresponds to the posture of the user's head. Therefore, the gyro sensor 106 can detect the posture and movement (shaking) of the head.

図３は、電子双眼鏡１０の構成を示すブロック図である。ＣＰＵ２０１は、電子双眼鏡１０の各部を制御する。ＣＰＵ２０１は、カメラ１０１、ディスプレイ１０２，１０３、ジャイロセンサ１０６、操作部材１０７、カメラ回動部２０２などに接続されている。ＣＰＵ２０１は、電子双眼鏡１０の各部からの情報を処理したり、処理結果に応じて各部の動作を制御したりする。カメラ回動部２０２は、パンニング部１０４とチルト部１０５を含み、ＣＰＵ２０１からの指示に応じて、カメラ１０１をパン方向やチルト方向に回動させる。 FIG. 3 is a block diagram showing the configuration of the electronic binoculars 10. The CPU 201 controls each part of the electronic binoculars 10. The CPU 201 is connected to the camera 101, displays 102, 103, gyro sensor 106, operating member 107, camera rotation unit 202, and the like. The CPU 201 processes information from each part of the electronic binoculars 10 and controls the operation of each part according to the processing results. The camera rotation unit 202 includes a panning unit 104 and a tilt unit 105, and rotates the camera 101 in a panning direction or a tilting direction according to instructions from the CPU 201.

図１は、実施例１に係る処理フロー（電子双眼鏡１０の処理フロー）を示すフローチャートである。図１の処理フローは、例えば、ＣＰＵ２０１が不図示のＲＯＭに格納されているプログラムを不図示のＲＡＭに展開して実行することにより実現される。電子双眼鏡１０の電源ＯＮを指示するユーザ操作が行われると、電子双眼鏡１０が起動し、カメラ１
０１で撮像された画像の一部を表示範囲としてディスプレイ（ディスプレイ１０２，１０３）上にリアルタイムに表示する処理が開始される。これにより、ユーザは、カメラ１０１によって撮像されてディスプレイに表示された画像を見て、被写体の観察を始めることができる。そして、図１の処理フローが開始する。カメラ１０１の焦点距離の初期値（電源ＯＮ直後の焦点距離）は特に限定されないが、ユーザが観察対象を見つけやすいように、広角の焦点距離であることが好ましい。実施例１では、電源ＯＮ直後に焦点距離が１００ｍｍに制御されるとする。図１では示されていないが、焦点距離の変更（切り替え）を指示するユーザ操作が図１の処理フロー中に行われる度に、焦点距離は、１００ｍｍと４００ｍｍの一方から他方へ切り替えられる。また、実施例１では、カメラ１０１の光軸が電子双眼鏡１０の正面方向（電子双眼鏡１０を装着したユーザの顔が向いている方向）と平行になるように、カメラ１０１が固定されているものとする。 FIG. 1 is a flowchart showing a processing flow (processing flow of the electronic binoculars 10) according to the first embodiment. The processing flow in FIG. 1 is realized, for example, by the CPU 201 loading a program stored in a ROM (not shown) into a RAM (not shown) and executing the program. When the user performs an operation to instruct the electronic binoculars 10 to turn on, the electronic binoculars 10 start up and the camera 1
A process is started to display a part of the image captured in step 01 as a display range on the display (displays 102 and 103) in real time. Thereby, the user can start observing the subject by viewing the image captured by the camera 101 and displayed on the display. Then, the processing flow of FIG. 1 starts. Although the initial value of the focal length of the camera 101 (the focal length immediately after the power is turned on) is not particularly limited, it is preferably a wide-angle focal length so that the user can easily find the observation target. In the first embodiment, it is assumed that the focal length is controlled to 100 mm immediately after the power is turned on. Although not shown in FIG. 1, the focal length is switched from one of 100 mm and 400 mm to the other each time a user operation instructing to change (switch) the focal length is performed during the processing flow of FIG. Furthermore, in the first embodiment, the camera 101 is fixed such that the optical axis of the camera 101 is parallel to the front direction of the electronic binoculars 10 (the direction in which the face of the user wearing the electronic binoculars 10 is facing). shall be.

図４（Ａ）は、表示方向（表示範囲に対応するカメラ１０１の撮像方向；例えば、カメラ１０１から表示範囲の中心位置に対応する被写***置に向かう方向）の初期方向（電源ＯＮ直後の表示方向；基準方向）を示す。図４（Ａ）に示すように、基準方向は、カメラ１０１の光軸に一致する方向であり、電子双眼鏡１０の正面方向（電子双眼鏡１０を装着したユーザの顔が向いている方向）と平行な方向である。図４（Ａ）は、表示方向のパン方向成分が分かるように、ユーザの頭上を見る視点で描かれているが、表示方向のチルト方向成分も同様である。なお、以下ではパン方向へ表示方向（すなわち表示範囲の位置）を変更する制御のみを説明するが、表示方向は、パン方向へ表示方向を変更する制御方法と同様の制御方法で、チルト方向へも変更される。 FIG. 4A shows the initial direction (the display direction immediately after the power is turned on) of the display direction (the imaging direction of the camera 101 corresponding to the display range; for example, the direction from the camera 101 toward the subject position corresponding to the center position of the display range). ;Reference direction). As shown in FIG. 4(A), the reference direction is a direction that coincides with the optical axis of the camera 101, and is parallel to the front direction of the electronic binoculars 10 (the direction in which the face of the user wearing the electronic binoculars 10 is facing). This is the direction. Although FIG. 4A is drawn from a viewpoint looking above the user's head so that the pan direction component of the display direction can be seen, the same applies to the tilt direction component of the display direction. Note that only the control for changing the display direction (that is, the position of the display range) in the pan direction will be explained below, but the display direction can be changed in the tilt direction using the same control method as the control method for changing the display direction in the pan direction. will also be changed.

図３のＳ１０１では、カメラ１０１は、撮像した画像に基づいて、オートフォーカス（ＡＦ）制御や自動露出（ＡＥ）制御を行う。 In S101 of FIG. 3, the camera 101 performs autofocus (AF) control and automatic exposure (AE) control based on the captured image.

Ｓ１０２では、カメラ１０１は、Ｓ１０１のＡＦ制御の結果から、被写体距離Ｌを検出（取得）し、ＣＰＵ２０１は、検出された被写体距離Ｌに基づいて表示範囲の移動量Ａ１を決定（算出）する。 In S102, the camera 101 detects (obtains) the subject distance L from the result of the AF control in S101, and the CPU 201 determines (calculates) the movement amount A1 of the display range based on the detected subject distance L.

図５は、被写体距離Ｌと移動量Ａ１の関係を示す。図５の星印は、ユーザの正面に存在する観察対象を示す。通常、肉眼での観察では、ユーザは、被写体に顔を向け、被写体を視界の中央にとらえる。ここで、表示方向が基準方向である場合を考える。この場合に、カメラ１０１の取り付け位置に依って、肉眼でユーザの視界の中央にとらえられる観察対象が、ディスプレイの中央に表示されず、ユーザが違和感を覚えてしまうことがある。Ｓ１０２で決定される移動量Ａ１は、このような違和感を低減するための移動量である。実施例１では、左に向かう移動方向を正方向とし、右に向かう移動を負方向とする。図５では、頭部の中心から右側に距離ａだけずれた位置にカメラ１０１が取り付けられている。このため、移動量Ａ１＝φ１＝ａｒｃｔａｎ（ａ／Ｌ１）で表示範囲を移動させることで、被写体距離Ｌ１に存在する観察対象（ユーザの正面に存在する観察対象）をディスプレイの中央に表示できる。同様に、移動量Ａ１＝φ２＝ａｒｃｔａｎ（ａ／Ｌ２）で表示範囲を移動させることで、被写体距離Ｌ２に存在する観察対象（ユーザの正面に存在する観察対象）をディスプレイの中央に表示できる。このように、Ｓ１０２では、被写体距離が短いほど大きい移動量Ａ１が、被写体距離Ｌから、関係式「Ａ１＝ａｒｃｔａｎ（ａ／Ｌ）」に基づいて決定される。なお、この関係式によれば、被写体距離Ｌが比較的長い場合に、移動量Ａ１は略０（ゼロ）になる。このため、遠距離の被写体のみの観察を前提とする場合や、被写体距離Ｌが所定距離よりも長い場合に、移動量Ａ１＝０としてもよい。 FIG. 5 shows the relationship between the subject distance L and the movement amount A1. The star in FIG. 5 indicates an observation target that is in front of the user. Normally, when observing with the naked eye, the user faces the subject and captures the subject in the center of his or her field of vision. Here, consider the case where the display direction is the reference direction. In this case, depending on the mounting position of the camera 101, an observation target that can be seen with the naked eye at the center of the user's visual field may not be displayed at the center of the display, which may make the user feel uncomfortable. The movement amount A1 determined in S102 is a movement amount for reducing such a sense of discomfort. In the first embodiment, the direction of movement toward the left is defined as a positive direction, and the direction of movement toward the right is defined as a negative direction. In FIG. 5, the camera 101 is mounted at a position shifted by a distance a to the right from the center of the head. Therefore, by moving the display range by the amount of movement A1=φ1=arctan(a/L1), the observation target existing at the subject distance L1 (the observation target existing in front of the user) can be displayed in the center of the display. Similarly, by moving the display range by the amount of movement A1=φ2=arctan(a/L2), the observation target existing at the subject distance L2 (the observation target existing in front of the user) can be displayed in the center of the display. Thus, in S102, the movement amount A1, which is larger as the subject distance is shorter, is determined from the subject distance L based on the relational expression "A1=arctan(a/L)". According to this relational expression, when the subject distance L is relatively long, the movement amount A1 becomes approximately 0 (zero). Therefore, when observing only a distant subject or when the subject distance L is longer than a predetermined distance, the movement amount A1 may be set to 0.

図１のＳ１０３では、ＣＰＵ２０１は、カメラ１０１の焦点距離が閾値（所定距離）よりも長いが否かを判断する。焦点距離が閾値よりも長い場合はＳ１０４へ処理が進められ、焦点距離が閾値以下の場合はＳ１０７へ処理が進められる。焦点距離が閾値以上の場合
にＳ１０４へ処理が進められ、焦点距離が閾値未満の場合にＳ１０７へ処理が進められてもよい。実施例１では、設定可能な焦点距離が１００ｍｍと４００ｍｍであるため、Ｓ１０３では、焦点距離が４００ｍｍか否かが判断され、４００ｍｍの場合にＳ１０４へ処理が進められ、１００ｍｍの場合にＳ１０７へ処理が進められる。 In S103 of FIG. 1, the CPU 201 determines whether the focal length of the camera 101 is longer than a threshold (predetermined distance). If the focal length is longer than the threshold, the process proceeds to S104, and if the focal length is less than or equal to the threshold, the process proceeds to S107. If the focal length is greater than or equal to the threshold, the process may proceed to S104, and if the focal length is less than the threshold, the process may proceed to S107. In the first embodiment, the settable focal lengths are 100 mm and 400 mm, so in S103 it is determined whether the focal length is 400 mm, and if it is 400 mm, the process proceeds to S104, and if it is 100 mm, the process proceeds to S107. will proceed.

Ｓ１０４では、ＣＰＵ２０１は、ジャイロセンサ１０６を用いて電子双眼鏡１０（頭部）の姿勢を検出し、当該姿勢の変化を表す角度θを検出する。 In S104, the CPU 201 detects the attitude of the electronic binoculars 10 (head) using the gyro sensor 106, and detects an angle θ representing a change in the attitude.

Ｓ１０５では、ＣＰＵ２０１は、Ｓ１０４で検出された角度θ（電子双眼鏡１０（頭部）の姿勢の変化）に応じて処理を切り替える。具体的には、電子双眼鏡１０には、２つの閾値θ１，θ２が予め格納されている（０＜θ１＜θ２）。｜θ｜＜θ１の場合、つまり、姿勢の変化量が第１の量よりも小さい場合には、Ｓ１０７へ処理が進められる。｜θ｜＞θ２の場合、つまり、姿勢の変化量が第２の量よりも大きい場合にも、Ｓ１０７へ処理が進められる。θ１≦｜θ｜≦θ２の場合、つまり、姿勢の変化量が第１の量以上かつ第２の量以下の所定範囲内である場合には、Ｓ１０６へ処理が進められる。｜θ｜＝θ１や｜θ｜＝θ２の場合は、Ｓ１０６ではなく、Ｓ１０７へ処理が進められてもよい。 In S105, the CPU 201 switches processing according to the angle θ (change in posture of the electronic binoculars 10 (head)) detected in S104. Specifically, two threshold values θ1 and θ2 are stored in advance in the electronic binoculars 10 (0<θ1<θ2). If |θ|<θ1, that is, if the amount of change in posture is smaller than the first amount, the process advances to S107. If |θ|>θ2, that is, if the amount of change in posture is larger than the second amount, the process proceeds to S107. If θ1≦|θ|≦θ2, that is, if the amount of change in posture is within a predetermined range of greater than or equal to the first amount and less than or equal to the second amount, the process proceeds to S106. If |θ|=θ1 or |θ|=θ2, the process may proceed to S107 instead of S106.

Ｓ１０６では、ＣＰＵ２０１は、Ｓ１０４で検出された角度θ（電子双眼鏡１０（頭部）の姿勢の変化）に基づいて、表示範囲の移動量Ａ２を決定（算出）する。 In S106, the CPU 201 determines (calculates) the amount of movement A2 of the display range based on the angle θ (change in posture of the electronic binoculars 10 (head)) detected in S104.

ここで、表示範囲の移動制御を行わない場合を考える。具体的には、常に、カメラ１０１の光軸に一致し、且つ、電子双眼鏡１０の正面方向（電子双眼鏡１０を装着したユーザの顔が向いている方向）と平行な方向が、表示方向とされる場合を考える。この場合は、図４（Ｂ）に示すように、図４（Ａ）の状態から電子双眼鏡１０（頭部）が角度θだけ動くと、表示方向も角度θだけ動く。 Here, consider a case where movement control of the display range is not performed. Specifically, the display direction is always a direction that coincides with the optical axis of the camera 101 and is parallel to the front direction of the electronic binoculars 10 (the direction in which the face of the user wearing the electronic binoculars 10 is facing). Consider the case where In this case, as shown in FIG. 4(B), when the electronic binoculars 10 (head) moves by the angle θ from the state of FIG. 4(A), the display direction also moves by the angle θ.

Ｓ１０６では、ＣＰＵ２０１は、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化が小さくなるように、角度θに基づいて移動量Ａ２を決定する。具体的には、図４（Ｃ）に示すように、表示方向が角度θ／４だけ動くように、移動量Ａ２＝－３θ／４が決定される。つまり、電子双眼鏡１０（頭部）が動く方向と逆方向に、電子双眼鏡１０（頭部）が動く量（大きさ）の３／４の量だけ表示範囲が動くように、移動量Ａ２が決定される。上述したように、実施例１では、左に向かう移動方向が正方向であり、右に向かう移動方向が負方向である。そのため、電子双眼鏡１０（頭部）が左方向に回動した場合は、角度θは正の値となり、移動量Ａ２＝－３θ／４は負の値となる。電子双眼鏡１０（頭部）が右方向に回動した場合は、角度θは負の値となり、移動量Ａ２＝－３θ／４は正の値となる。電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくすることで、観察範囲（ディスプレイ上に表示される映像の被写体範囲（画角））を維持したり、ゆっくり変更したりする観察が行いやすくなる。 In S106, the CPU 201 determines the movement amount A2 based on the angle θ so that a change in the display direction due to a change in the posture of the electronic binoculars 10 (head) is small. Specifically, as shown in FIG. 4C, the amount of movement A2=-3θ/4 is determined so that the display direction moves by an angle θ/4. In other words, the movement amount A2 is determined so that the display range moves by 3/4 of the amount (size) of movement of the electronic binoculars 10 (head) in the opposite direction to the direction in which the electronic binoculars 10 (head) moves. be done. As described above, in the first embodiment, the direction of movement toward the left is the positive direction, and the direction of movement toward the right is the negative direction. Therefore, when the electronic binoculars 10 (head) rotates to the left, the angle θ will be a positive value, and the movement amount A2=-3θ/4 will be a negative value. When the electronic binoculars 10 (head) rotates to the right, the angle θ becomes a negative value, and the movement amount A2=−3θ/4 becomes a positive value. By reducing changes in the display direction due to changes in the posture of the electronic binoculars 10 (head), the observation range (the subject range (angle of view) of the image displayed on the display) can be maintained or changed slowly. Observations become easier.

Ｓ１０６の処理による上記効果について、具体的に説明する。ここでは、カメラ１０１の撮像素子（イメージセンサ）が３５ｍｍフルサイズ（３６ｍｍ×２４ｍｍ）の撮像素子であり、焦点距離が４００ｍｍである場合を考える。そして、ユーザ（電子双眼鏡１０；カメラ１０１）から２０ｍ離れた場所にいる体長０．２ｍ程度の鳥を観察する場合を考える。焦点距離が４００ｍｍの場合には、観察範囲の水平画角（水平方向（左右方向）の画角）は５．１５°程度となる。このため、２０ｍ離れた場所での観察範囲の水平幅（水平方向の幅）は、実距離で１．８ｍ程度となり、鳥を観察範囲の中央に捉えていれば図４（Ｄ）に示すような画像が表示される。ここで、電子双眼鏡１０（頭部）が左方向に角度θ＝１°だけ動いた場合を考える。この場合に、表示範囲の移動制御を行わなければ、表示方向も左方向に角度θ＝１°だけ動き、２０ｍ離れた場所で０．３５ｍ程度だけ観察範囲が左方向に動くため、図４（Ｅ）の画像が表示される。このように、角度θが小さい場合
でも、観察範囲の変化は大きいため、観察範囲を維持したり、ゆっくり変更したりする観察が行いにくい。実施例１では、表示方向が変化する角度が角度θの１／４に抑えられるため、図４（Ｆ）のように、観察範囲の変化も抑えられ、観察範囲を維持したり、ゆっくり変更したりする観察が行いやすくなる。 The above effects of the process of S106 will be specifically explained. Here, a case will be considered in which the image sensor of the camera 101 is a 35 mm full size (36 mm x 24 mm) image sensor and the focal length is 400 mm. Then, consider a case where a bird with a body length of approximately 0.2 m is observed at a location 20 m away from the user (electronic binoculars 10; camera 101). When the focal length is 400 mm, the horizontal angle of view (angle of view in the horizontal direction (horizontal direction)) of the observation range is about 5.15°. Therefore, the horizontal width (width in the horizontal direction) of the observation range at a distance of 20 m is approximately 1.8 m in actual distance, and if the bird is captured in the center of the observation range, it will be as shown in Figure 4 (D). An image will be displayed. Here, consider a case where the electronic binoculars 10 (head) moves to the left by an angle θ=1°. In this case, if the movement of the display range is not controlled, the display direction will also move to the left by an angle θ = 1°, and the observation range will move to the left by about 0.35 m at a place 20 m away. Image E) is displayed. In this way, even when the angle θ is small, the change in the observation range is large, making it difficult to maintain or slowly change the observation range. In Example 1, since the angle at which the display direction changes is suppressed to 1/4 of the angle θ, the change in the observation range is also suppressed, and the observation range can be maintained or changed slowly, as shown in FIG. This makes it easier to make observations.

Ｓ１０６の処理による他の効果について説明する。実施例１では、焦点距離が１００ｍｍの場合には、表示範囲を移動させない移動量Ａ２＝０が決定される（詳細は後述）。従って、焦点距離が４００ｍｍの場合に、表示方向が変化する角度を、電子双眼鏡１０（頭部）が変化した角度θの１／４とすることにより、ユーザは、焦点距離が１００ｍｍの場合と同じような感覚で観察範囲を変更できるようになる。具体的には、焦点距離が１００ｍｍの場合と４００ｍｍの場合とで、角度θが同じであれば、電子双眼鏡１０（頭部）の変化による観察範囲の変化（観察範囲の移動量）を同じにすることができる。 Other effects resulting from the process of S106 will be explained. In Example 1, when the focal length is 100 mm, a movement amount A2=0 is determined that does not move the display range (details will be described later). Therefore, when the focal length is 400 mm, by setting the angle at which the display direction changes to 1/4 of the angle θ at which the electronic binoculars 10 (head) changes, the user can achieve the same result as when the focal length is 100 mm. You will be able to change the observation range with a similar feeling. Specifically, if the angle θ is the same when the focal length is 100 mm and when the focal length is 400 mm, the change in the observation range (the amount of movement of the observation range) due to the change in the electronic binoculars 10 (head) will be the same. can do.

なお、Ｓ１０６で決定される移動量Ａ２は、－３θ／４に限られない。電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくすれば、観察範囲を維持したり、ゆっくり変更したりする観察が行いやすくなる。電子双眼鏡１０（頭部）の姿勢の変化量に対する表示方向の変化量の比率（敏感度；上述した１／４）を１よりも小さくすれば、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくできる。表示範囲の移動制御を行わない場合には、焦点距離が長いほど、電子双眼鏡１０（頭部）の変化による観察範囲の変化は大きくなる。このため、焦点距離が第１の距離よりも長い第２の距離である場合に、焦点距離が第１の距離である場合に比べて、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくすることが好ましい。換言すれば、焦点距離が第２の距離よりも短い第１の距離である場合に、焦点距離が第２の距離である場合に比べて、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を大きくすることが好ましい。そして、焦点距離が長いほど電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化が小さくなるようにすることがより好ましい。第１の距離と第２の距離は特に限定されないが、上記の例では、第１の距離は１００ｍｍであり、第２の距離は４００ｍｍである。さらに、上記比率（敏感度）は、焦点距離に対する第１の距離の比率と略一致することが好ましい。そのようにすれば、焦点距離を第１の距離に設定して表示範囲の移動制御を行わない場合と同じような感覚で観察範囲を変更できるようになる。この場合に、設定可能な最小の焦点距離を第１の距離として用いれば、焦点距離に依らず同じ感覚で観察範囲を変更できるようになる。 Note that the movement amount A2 determined in S106 is not limited to -3θ/4. By reducing changes in the display direction due to changes in the posture of the electronic binoculars 10 (head), it becomes easier to maintain or slowly change the observation range. If the ratio of the amount of change in the display direction to the amount of change in the attitude of the electronic binoculars 10 (head) (sensitivity; 1/4 as described above) is made smaller than 1, the change in the attitude of the electronic binoculars 10 (head) can be reduced. Changes in display direction can be reduced. When the movement of the display range is not controlled, the longer the focal length, the greater the change in the observation range due to the change in the electronic binoculars 10 (head). Therefore, when the focal length is the second distance longer than the first distance, the display direction due to a change in the posture of the electronic binoculars 10 (head) is smaller than when the focal length is the first distance. It is preferable to make the change small. In other words, when the focal length is the first distance shorter than the second distance, the display is caused by a change in the posture of the electronic binoculars 10 (head) compared to when the focal length is the second distance. It is preferable to increase the change in direction. It is more preferable that the longer the focal length, the smaller the change in the display direction due to the change in the posture of the electronic binoculars 10 (head). Although the first distance and the second distance are not particularly limited, in the above example, the first distance is 100 mm and the second distance is 400 mm. Furthermore, it is preferable that the ratio (sensitivity) is approximately equal to the ratio of the first distance to the focal length. In this way, the observation range can be changed in the same way as when the focal length is set to the first distance and the movement of the display range is not controlled. In this case, if the minimum settable focal length is used as the first distance, the observation range can be changed with the same feeling regardless of the focal length.

図１のＳ１０７では、ＣＰＵ２０１は、表示範囲を移動させない移動量Ａ２＝０を決定する。一般的に、焦点距離が短い場合（広角の場合；Ｓ１０３のＮＯに相当）は、電子双眼鏡１０の意図せぬ姿勢変化（頭部の意図せぬ動き）による観察範囲の変化は目立ちにくい。Ｓ１０５で｜θ｜＜θ１と判断された場合は、電子双眼鏡１０（頭部）の姿勢の変化量は非常に小さく、観察範囲は安定している。そして、Ｓ１０５で｜θ｜＞θ２と判断された場合は、観察範囲を変更するためにユーザが意図的に頭部を動かした可能性が高く、観察範囲の変化を抑制するＳ１０６の処理はユーザの意図に反する。このため、実施例１では、それらの場合にＳ１０７へ処理が進められるようにしている。 In S107 of FIG. 1, the CPU 201 determines a movement amount A2=0 that does not move the display range. Generally, when the focal length is short (wide-angle; corresponds to NO in S103), changes in the observation range due to unintended changes in the posture of the electronic binoculars 10 (unintended movements of the head) are less noticeable. If it is determined in S105 that |θ|<θ1, the amount of change in the posture of the electronic binoculars 10 (head) is very small, and the observation range is stable. If |θ|>θ2 is determined in S105, there is a high possibility that the user intentionally moved his head to change the observation range, and the process in S106 to suppress changes in the observation range is performed by the user. contrary to the intention of For this reason, in the first embodiment, the process proceeds to S107 in these cases.

なお、長い焦点距離（望遠の焦点距離；電子双眼鏡１０の意図せぬ姿勢変化による観察範囲の変化が目立ちやすい焦点距離）が前提の場合などにおいて、焦点距離に依らずＳ１０４などへ処理が進められるように、Ｓ１０３の処理を省略してもよい。電子双眼鏡１０（頭部）の姿勢の変化量に依らずＳ１０６へ処理が進められるように、Ｓ１０５の処理を省略してもよい。 Note that in cases where a long focal length (telephoto focal length; focal length where changes in the observation range due to unintended attitude changes of the electronic binoculars 10 are easily noticeable) is assumed, the process proceeds to S104 etc. regardless of the focal length. , the process of S103 may be omitted. The process in S105 may be omitted so that the process can proceed to S106 regardless of the amount of change in the posture of the electronic binoculars 10 (head).

図１のＳ１０８では、ＣＰＵ２０１は、Ｓ１０２で決定した移動量Ａ１と、Ｓ１０６またはＳ１０７で決定した移動量Ａ２とから、表示範囲の最終的な移動量Ａ＝Ａ１＋Ａ２を
決定（算出）する。なお、移動量Ａ１＝０とすることが予め決まっている場合、例えば遠距離の被写体のみの観察を前提とする場合には、被写体距離Ｌに依らず移動量Ａ＝Ａ２が決定されるように、Ｓ１０２の処理を省略してもよい。 In S108 of FIG. 1, the CPU 201 determines (calculates) the final movement amount A=A1+A2 of the display range from the movement amount A1 determined in S102 and the movement amount A2 determined in S106 or S107. In addition, if it is determined in advance that the amount of movement A1 = 0, for example, when observing only a long-distance object, the amount of movement A = A2 is determined regardless of the object distance L. , S102 may be omitted.

Ｓ１０９では、ＣＰＵ２０１は、Ｓ１０８で決定した移動量Ａで表示範囲を移動させる。 In S109, the CPU 201 moves the display range by the movement amount A determined in S108.

Ｓ１１０では、ＣＰＵ２０１は、操作部材１０７からの情報を監視し、電子双眼鏡１０の電源ＯＦＦを指示するユーザ操作が行われたか否かを判断する。電源ＯＦＦの指示があるまで、Ｓ１０１～Ｓ１０９の処理が繰り返され、電源ＯＦＦの指示があると、図１の処理フローが終了し、電子双眼鏡１０が停止する（電子双眼鏡１０の電源が切られる）。 In S110, the CPU 201 monitors information from the operation member 107 and determines whether a user operation to instruct the electronic binoculars 10 to be powered off is performed. The processes of S101 to S109 are repeated until there is an instruction to turn off the power, and when there is an instruction to turn off the power, the process flow in FIG. 1 ends and the electronic binoculars 10 stop (the power to the electronic binoculars 10 is turned off). .

以上述べたように、実施例１によれば、電子双眼鏡１０（頭部）の姿勢の変化に基づいては表示範囲の位置が制御される。これにより、安定した観察を行いやすくすることができる。具体的には、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくすることにより、観察範囲を維持したり、ゆっくり変更したりする観察を行いやすくすることができる。 As described above, according to the first embodiment, the position of the display range is controlled based on the change in the posture of the electronic binoculars 10 (head). This makes it easier to perform stable observation. Specifically, by reducing changes in the display direction due to changes in the posture of the electronic binoculars 10 (head), it is possible to easily maintain or slowly change the observation range.

なお、図１の処理フローでの表示範囲の位置の制御とは別に、手ブレ補正のように、電子双眼鏡１０の揺れに基づいて表示範囲の位置が常に制御されてもよい。具体的には、電子双眼鏡１０の揺れによる表示方向の揺れを抑制するように、表示範囲の位置が常に制御されてもよい。電子双眼鏡１０の姿勢が変わらずに電子双眼鏡１０が前後上下左右に揺れることによる表示方向（表示位置（表示範囲に対応するカメラ１０１の撮像位置；例えば、表示範囲の中心位置に対応する被写***置））の揺れが抑制されてもよい。電子双眼鏡１０の姿勢の揺れによる表示方向の揺れが抑制されてもよい。それらの揺れの両方が抑制されてもよい。電子双眼鏡１０の揺れは、ジャイロセンサ１０６で検出されてもよいし、ジャイロセンサ１０６とは異なる部材（センサ）で検出されてもよい。電子双眼鏡１０の揺れの検出方法は特に限定されない。例えば、所定の周波数の揺れ（微振動）が検出され、当該揺れによる表示方向の揺れが抑制されてもよい。振動センサから出力された振れ信号（検出結果）に基づき、振れ信号の値が閾値未満の場合に振動（手ブレ）と判断され、振れ信号の値が閾値以上の場合に振動でない姿勢変化と判断されてもよい。特開２０１５－０７５６９７号公報などに記載された種々の技術を用いて、振動と、振動でない姿勢変化とを区別して検出できる。 Note that, in addition to controlling the position of the display range in the process flow of FIG. 1, the position of the display range may be constantly controlled based on the shaking of the electronic binoculars 10, like camera shake correction. Specifically, the position of the display range may be constantly controlled so as to suppress shaking in the display direction due to shaking of the electronic binoculars 10. Display direction (display position (imaging position of camera 101 corresponding to the display range; for example, subject position corresponding to the center position of the display range) due to the electronic binoculars 10 shaking back and forth, up and down, left and right without changing the posture of the electronic binoculars 10 ) may be suppressed. The shaking of the display direction due to the shaking of the posture of the electronic binoculars 10 may be suppressed. Both of those swings may be suppressed. The shaking of the electronic binoculars 10 may be detected by the gyro sensor 106, or may be detected by a member (sensor) different from the gyro sensor 106. The method for detecting shaking of the electronic binoculars 10 is not particularly limited. For example, shaking (microvibration) of a predetermined frequency may be detected, and shaking in the display direction due to the shaking may be suppressed. Based on the shake signal (detection result) output from the vibration sensor, if the shake signal value is less than the threshold value, it is determined to be a vibration (camera shake), and if the shake signal value is greater than the threshold value, it is determined to be a non-vibration posture change. may be done. Vibrations and posture changes that are not vibrations can be distinguished and detected using various techniques described in Japanese Patent Application Publication No. 2015-075697 and the like.

電子双眼鏡１０の揺れに基づく表示範囲の位置の制御の代わりに、カメラ１０１の撮像方向の制御が行われてもよい。具体的には、電子双眼鏡１０の揺れによる表示方向の揺れを抑制するように、撮像方向が制御されてもよい。 Instead of controlling the position of the display range based on the shaking of the electronic binoculars 10, the imaging direction of the camera 101 may be controlled. Specifically, the imaging direction may be controlled so as to suppress shaking in the display direction due to shaking of the electronic binoculars 10.

同様に、被写体距離Ｌに基づく表示範囲の位置の制御（移動量Ａ１での移動）の代わりに、撮像方向の制御が行われてもよい。 Similarly, instead of controlling the position of the display range based on the subject distance L (movement by the movement amount A1), the imaging direction may be controlled.

また、パン方向へ表示範囲を移動させる制御方法は、チルト方向へ表示範囲を移動させる制御方法と異なってもよい。例えば、パン方向とチルト方向の一方への表示範囲の制御は第１の敏感度で行い、パン方向とチルト方向の他方への表示範囲の制御は第１の敏感度と異なる第２の敏感度で行ってもよい。
Furthermore, the control method for moving the display range in the pan direction may be different from the control method for moving the display range in the tilt direction. For example, the display range in one of the pan and tilt directions is controlled using a first sensitivity, and the display range in the other pan and tilt directions is controlled using a second sensitivity different from the first sensitivity. It may be done in degrees.

＜実施例２＞
以下、本発明の実施例２について説明する。実施例１では、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくする例を説明した。このような制御により、観察範囲を維持したり、ゆっくり変更したりする観察が行いやすくなる。しかしながら、ユ
ーザは、動きの速い観察対象を追従する観察を行いたいこともある。そのような観察は、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を大きくした方が行いやすい。そこで、実施例２では、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を大きくすることが可能な例を説明する。なお、以下では、実施例１と異なる点（構成や処理など）について詳しく説明し、実施例１と同様の点については適宜説明を省略する。 <Example 2>
Example 2 of the present invention will be described below. In the first embodiment, an example was described in which a change in the display direction due to a change in the posture of the electronic binoculars 10 (head) is reduced. Such control facilitates observation in which the observation range is maintained or slowly changed. However, the user may wish to perform observation that follows a fast-moving observation target. Such observation is easier to perform by increasing the change in the display direction due to the change in the posture of the electronic binoculars 10 (head). Therefore, in the second embodiment, an example will be described in which it is possible to increase the change in the display direction due to the change in the posture of the electronic binoculars 10 (head). Note that, below, points different from the first embodiment (such as configuration and processing) will be explained in detail, and explanations of the same points as the first embodiment will be omitted as appropriate.

図６は、実施例２に係る処理フロー（電子双眼鏡１０の処理フロー）を示すフローチャートであり、図１のフローチャートを変形したものである。図６において、図１と同じ処理には、図１と同じ符号が付されている。 FIG. 6 is a flowchart showing a processing flow (processing flow of the electronic binoculars 10) according to the second embodiment, and is a modification of the flowchart of FIG. 1. In FIG. 6, the same processing as in FIG. 1 is given the same reference numeral as in FIG.

Ｓ１０４の次に、Ｓ２０１では、ＣＰＵ２０１は、設定されている敏感度Ｓ（電子双眼鏡１０（頭部）の姿勢の変化量に対する表示方向の変化量の比率）を、不図示のメモリ（例えばＲＯＭ）から読み出す。敏感度Ｓとして設定可能な値や、設定可能な値の数などは特に限定されないが、実施例２では、以下の５段階の値のいずれかが、敏感度Ｓとして設定されるとする。敏感度Ｓの設定方法も特に限定されないが、実施例２では、ユーザ操作に応じて敏感度Ｓが設定されるとする。
非常に鈍感・・・１／４
鈍感・・・・・・１／２
標準・・・・・・１
敏感・・・・・・１．２
非常に敏感・・・１．５ Next to S104, in S201, the CPU 201 stores the set sensitivity S (the ratio of the amount of change in the display direction to the amount of change in the attitude of the electronic binoculars 10 (head)) to a memory (not shown, for example, ROM). Read from. Although the value that can be set as the sensitivity S and the number of values that can be set are not particularly limited, in the second embodiment, it is assumed that the sensitivity S is set to one of the following five values. Although the method for setting the sensitivity S is not particularly limited, in the second embodiment, it is assumed that the sensitivity S is set according to the user's operation.
Very insensitive...1/4
Insensitivity...1/2
Standard...1
Sensitive...1.2
Very sensitive...1.5

詳細は後述するが、「標準」に対応する１は、電子双眼鏡１０（頭部）の姿勢の変化に基づく表示範囲の移動制御を行わない敏感度である。「鈍感」や「非常に鈍感」に対応する値（１よりも小さい値）は、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくする敏感度であり、敏感度が小さいほど、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化が小さくなる。観察範囲を維持したり、ゆっくり変更したりする観察を行う場合には、「鈍感」（１／２）や「非常に鈍感」（１／４）を設定することが好ましい。「敏感」や「非常に敏感」に対応する値（１よりも大きい値）は、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を大きくする敏感度であり、敏感度が大きいほど、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化が大きくなる。動きの速い観察対象を追従する観察を行う場合には、「敏感」（１．２）や「非常に敏感」（１．４）を設定することが好ましい。 Although details will be described later, 1 corresponding to "standard" is a sensitivity level in which movement control of the display range based on changes in the posture of the electronic binoculars 10 (head) is not performed. A value corresponding to "insensitive" or "very insensitive" (a value smaller than 1) is a sensitivity that reduces the change in display direction due to a change in the posture of the electronic binoculars 10 (head), and the sensitivity is small. The smaller the change in the display direction due to the change in the posture of the electronic binoculars 10 (head). When performing observation in which the observation range is maintained or slowly changed, it is preferable to set "insensitive" (1/2) or "very insensitive" (1/4). A value corresponding to "sensitive" or "very sensitive" (a value larger than 1) is a sensitivity that increases the change in display direction due to a change in the posture of the electronic binoculars 10 (head), and is a high sensitivity. The larger the change in the display direction due to the change in the posture of the electronic binoculars 10 (head) becomes. When performing observation to follow a fast-moving observation target, it is preferable to set "Sensitive" (1.2) or "Very Sensitive" (1.4).

なお、設定された１つの敏感度Ｓが、パン方向への表示範囲の制御と、チルト方向への表示範囲の制御との両方に使用されてもよいし、そうでなくてもよい。例えば、パン方向への表示範囲の制御に用いる敏感度Ｓ１と、チルト方向への表示範囲の制御に用いる敏感度Ｓ２とが個別に設定されてもよい。パン方向とチルト方向の一方への表示範囲の制御には所定の敏感度（例えば１）が用いられ、パン方向とチルト方向の他方への表示範囲の制御に用いる敏感度Ｓがユーザ操作などに応じて設定されてもよい。 Note that one set sensitivity S may or may not be used to control both the display range in the pan direction and the display range in the tilt direction. For example, sensitivity S1 used for controlling the display range in the pan direction and sensitivity S2 used for controlling the display range in the tilt direction may be set separately. A predetermined sensitivity (for example, 1) is used to control the display range in one of the panning and tilting directions, and the sensitivity S used to control the displaying range in the other panning and tilting directions is determined by user operations, etc. It may be set accordingly.

図６の説明に戻る。実施例１では、Ｓ１０５で｜θ｜＞θ２と判断された場合に、表示範囲の移動制御を行わない移動量Ａ２＝０が決定されるように、Ｓ１０７へ処理を進めた。動きの速い観察対象を追従する観察では、表示範囲の移動制御を行わないと観察対象を見失う虞があるため、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化が大きくなるように、表示範囲の移動制御を行うことが好ましい。そこで、実施例２では、Ｓ１０５で｜θ｜＞θ２と判断された場合に、動きの速い観察対象を追従する観察が行われている可能性を考慮して、Ｓ２０２へ処理を進める。Ｓ２０２では、ＣＰＵ２０１は、設定されている敏感度Ｓが１よりも大きいか否か判断する。敏感度Ｓが１よりも大きい場合には、動きの速い観察対象を追従する観察が行われている可能性が高いため、Ｓ１０６へ処
理が進められる。敏感度Ｓが１以下の場合には、動きの速い観察対象を追従する観察が行われている可能性が低いため、Ｓ１０７へ処理が進められる。なお、電子双眼鏡１０（頭部）の姿勢の変化量に依らずＳ１０６へ処理が進められるように、Ｓ１０５とＳ２０２の処理を省略してもよい。敏感度Ｓに依らずＳ１０６へ処理が進められるように、Ｓ２０２の処理を省略してもよい。 Returning to the explanation of FIG. 6. In the first embodiment, when it is determined in S105 that |θ|>θ2, the process proceeds to S107 so that the movement amount A2=0, which does not perform movement control of the display range, is determined. When observing a fast-moving observation target, there is a risk of losing sight of the observation target unless the movement of the display range is controlled. , it is preferable to control the movement of the display range. Therefore, in the second embodiment, when |θ|>θ2 is determined in S105, the process proceeds to S202, taking into consideration the possibility that observation is being performed to follow a fast-moving observation target. In S202, the CPU 201 determines whether or not the set sensitivity S is greater than 1. If the sensitivity S is greater than 1, there is a high possibility that observation is being performed to follow a fast-moving observation target, so the process proceeds to S106. If the sensitivity S is 1 or less, it is unlikely that observation is being performed to follow a fast-moving observation target, so the process proceeds to S107. Note that the processes in S105 and S202 may be omitted so that the process can proceed to S106 regardless of the amount of change in the posture of the electronic binoculars 10 (head). The process in S202 may be omitted so that the process can proceed to S106 regardless of the sensitivity level S.

Ｓ１０６では、実施例１と同様に、Ｓ１０４で検出された角度θに基づく移動量Ａ２が決定（算出）される。実施例２では、角度θと敏感度Ｓから、移動量Ａ２＝－（１－Ｓ）×θが算出される。このため、敏感度Ｓ＝１の場合には、表示範囲の移動制御を行わない移動量Ａ２＝０が算出される。敏感度Ｓが１よりも小さい場合には、敏感度Ｓが小さいほど絶対値が大きく且つ角度θとは正負が逆の移動量Ａ２、すなわち敏感度Ｓが小さいほど電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくする移動量Ａ２が算出される。敏感度Ｓが１よりも大きい場合には、敏感度Ｓが大きいほど絶対値が大きく且つ角度θと正負が同じ移動量Ａ２、すなわち敏感度Ｓが大きいほど電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を大きくする移動量Ａ２が算出される。 In S106, similarly to the first embodiment, a movement amount A2 is determined (calculated) based on the angle θ detected in S104. In the second embodiment, the movement amount A2=-(1-S)×θ is calculated from the angle θ and the sensitivity S. Therefore, when the sensitivity S=1, a movement amount A2=0 is calculated in which no movement control of the display range is performed. When the sensitivity S is smaller than 1, the smaller the sensitivity S is, the larger the absolute value is, and the movement amount A2 is opposite in sign to the angle θ, that is, the smaller the sensitivity S is, the more the electronic binoculars 10 (head) A movement amount A2 that reduces a change in display direction due to a change in posture is calculated. When the sensitivity S is larger than 1, the larger the sensitivity S is, the larger the absolute value is, and the movement amount A2 is the same as the angle θ, that is, the larger the sensitivity S is, the more the attitude of the electronic binoculars 10 (head) is A movement amount A2 that increases the change in display direction due to the change is calculated.

以上述べたように、実施例２によれば、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を大きくすることが可能であるため、動きの速い観察対象を追従する観察を行いやすくすることができる。さらに、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を小さくするか、大きくするか、維持するかを設定できるため、利便性が向上される。 As described above, according to the second embodiment, it is possible to increase the change in the display direction due to a change in the posture of the electronic binoculars 10 (head), so it is possible to perform observation that follows a fast-moving observation target. It can be made easier. Furthermore, it is possible to set whether the change in display direction due to a change in the posture of the electronic binoculars 10 (head) should be reduced, increased, or maintained, improving convenience.

＜実施例３＞
以下、本発明の実施例３について説明する。実施例１では、カメラ１０１の焦点距離が１００ｍｍと４００ｍｍの２段階で切り替え可能であり、焦点距離が１００ｍｍの場合に電子双眼鏡１０（頭部）の姿勢の変化に基づく表示範囲の移動制御を行わない例を説明した。実施例３では、焦点距離が１００ｍｍから４００ｍｍまでの範囲内で自由に（連続的に）変更可能な例を説明する。そして、焦点距離に応じて敏感度Ｓを設定し、広角端（最小の焦点距離）である１００ｍｍが設定されている場合でも、電子双眼鏡１０（頭部）の姿勢の変化に基づく表示範囲の移動制御を行うことが可能な例を説明する。なお、以下では、実施例１と異なる点（構成や処理など）について詳しく説明し、実施例１と同様の点については適宜説明を省略する。 <Example 3>
Example 3 of the present invention will be described below. In the first embodiment, the focal length of the camera 101 can be switched in two stages, 100 mm and 400 mm, and when the focal length is 100 mm, movement of the display range is controlled based on changes in the posture of the electronic binoculars 10 (head). I explained an example where there is no. In the third embodiment, an example will be described in which the focal length can be freely (continuously) changed within the range of 100 mm to 400 mm. Then, the sensitivity S is set according to the focal length, and even when the wide-angle end (minimum focal length) of 100 mm is set, the display range is moved based on the change in the posture of the electronic binoculars 10 (head). An example in which control can be performed will be explained. Note that, below, points different from the first embodiment (such as configuration and processing) will be explained in detail, and explanations of the same points as the first embodiment will be omitted as appropriate.

図７は、実施例３に係る処理フロー（電子双眼鏡１０の処理フロー）を示すフローチャートであり、図１のフローチャートを変形したものである。図７において、図１と同じ処理には、図１と同じ符号が付されている。電子双眼鏡１０（頭部）の姿勢の変化に基づく表示範囲の移動制御を焦点距離に依らず行うことが可能となるように、Ｓ１０３の処理は除かれている。 FIG. 7 is a flowchart showing a processing flow (processing flow of the electronic binoculars 10) according to the third embodiment, and is a modification of the flowchart in FIG. 1. In FIG. 7, the same processes as in FIG. 1 are given the same reference numerals as in FIG. The process in S103 is omitted so that movement control of the display range based on changes in the posture of the electronic binoculars 10 (head) can be performed without depending on the focal length.

Ｓ１０４の次に、Ｓ３０１では、ＣＰＵ２０１は、カメラ１０１の焦点距離に応じて敏感度Ｓを決定（算出）する。Ｓ１０６では、実施例１と同様に、Ｓ１０４で検出された角度θに基づく移動量Ａ２が決定（算出）される。実施例３では、角度θと敏感度Ｓから、移動量Ａ２＝－（１－Ｓ）×θが算出される。 Next to S104, in S301, the CPU 201 determines (calculates) the sensitivity S according to the focal length of the camera 101. In S106, similarly to the first embodiment, a movement amount A2 is determined (calculated) based on the angle θ detected in S104. In the third embodiment, the movement amount A2=-(1-S)×θ is calculated from the angle θ and the sensitivity S.

焦点距離と敏感度Ｓの対応関係を示す情報（テーブルや関数）を用いる方法など、現在の焦点距離に応じた敏感度Ｓの決定方法は特に限定されない。焦点距離と敏感度Ｓの具体的な対応関係や、焦点距離の具体的な値、焦点距離に応じた敏感度Ｓの具体的な値なども特に限定されない。実施例３では、人間の目の画角に対応すると言われている５０ｍｍを基準の焦点距離とし、現在の焦点距離に対する基準の焦点距離の比率が、敏感度Ｓとして決定されるとする。例えば、カメラ１０１の焦点距離が１００ｍｍに設定されている場合
には、Ｓ３０１で敏感度Ｓ＝５０／１００＝１／２が決定され、Ｓ１０６で移動量Ａ２＝－（１－（１／２））×θ＝－θ／２が決定される。同様に、カメラ１０１の焦点距離が３００ｍｍに設定されている場合には、Ｓ３０１で敏感度Ｓ＝５０／３００＝１／６が決定され、Ｓ１０６で移動量Ａ２＝－（１－（１／６））×θ＝－５θ／６が決定される。 The method of determining the sensitivity S according to the current focal length is not particularly limited, such as a method using information (table or function) indicating the correspondence between the focal length and the sensitivity S. The specific correspondence between the focal length and the sensitivity S, the specific value of the focal length, and the specific value of the sensitivity S depending on the focal length are not particularly limited. In the third embodiment, it is assumed that the reference focal length is 50 mm, which is said to correspond to the angle of view of the human eye, and that the sensitivity S is determined as the ratio of the reference focal length to the current focal length. For example, if the focal length of the camera 101 is set to 100 mm, the sensitivity S = 50/100 = 1/2 is determined in S301, and the amount of movement A2 = - (1 - (1/2)) is determined in S106. )×θ=−θ/2 is determined. Similarly, if the focal length of the camera 101 is set to 300 mm, the sensitivity S=50/300=1/6 is determined in S301, and the amount of movement A2=-(1-(1/6) is determined in S106. ))×θ=−5θ/6 is determined.

以上述べたように、実施例３によれば、各焦点距離で、対応する焦点距離に応じた敏感度Ｓが決定されて、決定された敏感度Ｓで表示範囲の移動制御が行われる。これにより、焦点距離に依らず安定した観察を行いやすくすることができる。 As described above, according to the third embodiment, the sensitivity S corresponding to the corresponding focal length is determined for each focal length, and the movement of the display range is controlled using the determined sensitivity S. This makes it easier to perform stable observation regardless of the focal length.

なお、実施例１～３（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で実施例１～３の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１～３の構成を適宜組み合わせて得られる構成も、本発明に含まれる。 It should be noted that Examples 1 to 3 (including modified examples) are merely examples, and configurations obtained by appropriately modifying or changing the configurations of Examples 1 to 3 within the scope of the gist of the present invention may also be used. Included in the present invention. The present invention also includes configurations obtained by appropriately combining the configurations of Examples 1 to 3.

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Examples>
The present invention provides a system or device with a program that implements one or more of the functions of the above-described embodiments via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０：電子双眼鏡１０１：カメラ１０２，１０３：ディスプレイ
１０４：パンニング部１０５：チルト部１０６：ジャイロセンサ
２０１：ＣＰＵ２０２：カメラ回動部 10: Electronic binoculars 101: Camera 102, 103: Display 104: Panning section 105: Tilt section 106: Gyro sensor 201: CPU 202: Camera rotation section

Claims

ユーザの頭部に固定される表示装置であって、
焦点距離を変更可能な撮像手段と、
前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化と、前記焦点距離とに基づいて、前記表示範囲の位置を制御する制御手段と、
を有することを特徴とする表示装置。 A display device fixed to a user's head,
an imaging means whose focal length can be changed;
Display means for displaying a part of the image captured by the image capture means as a display range;
Attitude detection means for detecting the attitude of the display device;
control means for controlling the position of the display range based on the change in the posture detected by the posture detection means and the focal length;
A display device comprising:

ユーザの頭部に固定される表示装置であって、
被写体距離を検出する撮像手段と、
前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化と、前記撮像手段で検出された前記被写体距離とに基づいて、前記表示範囲の位置を制御する制御手段と、
を有することを特徴とする表示装置。 A display device fixed to a user's head,
an imaging means for detecting a subject distance;
Display means for displaying a part of the image captured by the image capture means as a display range;
Attitude detection means for detecting the attitude of the display device;
control means for controlling the position of the display range based on the change in the posture detected by the posture detection means and the subject distance detected by the imaging means;
A display device comprising:

前記撮像手段の焦点距離は変更可能であり、
前記制御手段は、前記焦点距離が第１の距離よりも長い第２の距離である場合に、前記焦点距離が前記第１の距離である場合に比べて、前記姿勢の変化による表示方向の変化が小さくなるように、前記姿勢の変化と前記焦点距離とに基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１または２に記載の表示装置。 the focal length of the imaging means is changeable;
The control means changes the display direction due to a change in the attitude when the focal length is a second distance longer than the first distance, compared to when the focal length is the first distance. 3. The display device according to claim 1, wherein the position of the display range is controlled based on the change in the posture and the focal length so that the focal length becomes small.

前記制御手段は、前記姿勢の変化による表示方向の変化が小さくなるように、前記姿勢の変化に基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１～３のいずれか１項に記載の表示装置。 4. The control means controls the position of the display range based on the change in the posture so that a change in the display direction due to the change in the posture is small. The display device described in .

前記制御手段は、前記姿勢の変化による表示方向の変化が大きくなるように、前記姿勢の変化に基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１～３のいずれか１項に記載の表示装置。 4. The control means controls the position of the display range based on the change in the posture so that the change in the display direction due to the change in the posture becomes large. The display device described in .

前記姿勢の変化による表示方向の変化を小さくするか大きくするかの設定を行う設定手段、をさらに有し、
前記制御手段は、前記設定に従って前記姿勢の変化に基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１～３のいずれか１項に記載の表示装置。 further comprising a setting means for setting whether to make a change in display direction due to a change in the posture smaller or larger;
The display device according to any one of claims 1 to 3, wherein the control means controls the position of the display range based on the change in the posture according to the setting.

前記制御手段は、さらに、前記表示装置の揺れに基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１～６のいずれか１項に記載の表示装置。 The display device according to claim 1, wherein the control means further controls the position of the display range based on the shaking of the display device.

前記撮像手段の焦点距離は変更可能であり、
前記制御手段は、前記焦点距離が所定の距離よりも短い場合に、前記姿勢の変化に基づいて前記表示範囲の位置を制御することはしない
ことを特徴とする請求項１～７のいずれか１項に記載の表示装置。 the focal length of the imaging means is changeable;
8. The control means does not control the position of the display range based on the change in attitude when the focal length is shorter than a predetermined distance. The display device described in section.

前記制御手段は、前記姿勢の変化量が第１の量よりも小さい場合に、前記姿勢の変化に基づいて前記表示範囲の位置を制御することはしない
ことを特徴とする請求項１～８のいずれか１項に記載の表示装置。 9. The control means does not control the position of the display range based on the change in the posture when the amount of change in the posture is smaller than a first amount. The display device according to any one of the items.

前記制御手段は、前記姿勢の変化量が第２の量よりも大きい場合に、前記姿勢の変化に基づいて前記表示範囲の位置を制御することはしない
ことを特徴とする請求項１～９のいずれか１項に記載の表示装置。 10. The control means according to claim 1, wherein when the amount of change in the posture is larger than a second amount, the control means does not control the position of the display range based on the change in the posture. The display device according to any one of the items.

焦点距離を変更可能な撮像手段と、前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段とを有し、ユーザの頭部に固定される表示装置の制御方法であって、
前記表示装置の姿勢を検出する姿勢検出ステップと、
前記姿勢検出ステップで検出された前記姿勢の変化と、前記焦点距離とに基づいて、前記表示範囲の位置を制御する制御ステップと、
を有することを特徴とする制御方法。 1. A method of controlling a display device fixed to a user's head, the method comprising: an imaging device whose focal length can be changed; and a display device that displays a part of an image captured by the imaging device as a display range. ,
an attitude detection step of detecting an attitude of the display device;
a control step of controlling the position of the display range based on the change in the posture detected in the posture detection step and the focal length;
A control method characterized by having the following.

請求項１１に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the control method according to claim 11 .