JP7446780B2

JP7446780B2 - display device

Info

Publication number: JP7446780B2
Application number: JP2019205493A
Authority: JP
Inventors: 拓弥坂牧; 龍也華山; 淳史菅原; かおり戸村; 陽介深井; 祐介鳥海
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-13
Filing date: 2019-11-13
Publication date: 2024-03-11
Anticipated expiration: 2039-11-13
Also published as: JP2021078075A

Description

本発明は、表示装置に関し、特に電子双眼鏡に関する。 The present invention relates to a display device, and particularly to electronic binoculars.

電子双眼鏡は、カメラと、使用時にユーザの目の前に配置されるディスプレイとを備え、カメラで撮影した映像をディスプレイ上にリアルタイムに表示する表示装置である。ユーザは、電子双眼鏡のディスプレイに表示された映像（望遠映像）を見ることで、双眼鏡を覗いたように遠くを観察することができる。電子双眼鏡には、ヘッドマウントディスプレイのように頭部に対して着脱可能（ウェアラブル）に構成されたものがある。 Electronic binoculars are display devices that include a camera and a display that is placed in front of a user's eyes when in use, and display images captured by the camera on the display in real time. By viewing the image (telephoto image) displayed on the display of the electronic binoculars, the user can observe distant objects as if looking through binoculars. Some electronic binoculars, such as head-mounted displays, are configured to be detachable from the head (wearable).

特許文献１には、ユーザの視線位置を検出し、視線位置が撮影範囲の中心位置となるように撮影範囲を制御する技術が開示されている。 Patent Document 1 discloses a technique for detecting a user's line of sight position and controlling the photographing range so that the line of sight position becomes the center position of the photographing range.

特開２０１５－１４９５５２号公報Japanese Patent Application Publication No. 2015-149552

電子双眼鏡の使用時には、肉眼での観察と同じように視界がユーザに提供されることが望ましい。肉眼での観察の場合は、頭部の動きや顔の向き（方向）とは関係なく、視線の向きに視界が広がる。しかし、一般的な電子双眼鏡の場合は、視線の向きとは関係なく、頭部の動きによって視界（ディスプレイ上に表示される映像の被写体範囲（画角）；観察範囲）が変化する。頭部の意図せぬ動きによって観察範囲が変化するため、ユーザは違和感をもち、観察に没入しづらくなる。特に望遠倍率の高い映像を表示する場合には、頭部のわずかな振れによって、観察範囲が大きく変化する。 When using electronic binoculars, it is desirable to provide the user with a field of view similar to that seen with the naked eye. When observing with the naked eye, the field of view expands in the direction of the line of sight, regardless of head movement or face direction. However, in the case of general electronic binoculars, the field of view (object range (angle of view) of the image displayed on the display; observation range) changes depending on the movement of the head, regardless of the direction of the line of sight. Since the observation range changes due to unintended movement of the head, the user feels uncomfortable and it becomes difficult to immerse himself in observation. Particularly when displaying images with high telephoto magnification, the observation range changes significantly due to a slight shake of the head.

また、撮影範囲が観察範囲となるような表示を行うように特許文献１に開示の技術を用いると、視線位置が撮影範囲の中心位置となるため、ユーザが所望の観察範囲の中で全体を見渡したいときでも視線によって観察範囲が変わってしまう。 Furthermore, if the technology disclosed in Patent Document 1 is used to display a display in which the photographing range becomes the observation range, the line of sight position becomes the center position of the photographing range, so that the user can view the entire image within the desired observation range. Even when you want to look around, the observation range changes depending on your line of sight.

このように、従来技術では、観察範囲の意図せぬ変化が発生したり、肉眼での観察とはほど遠い感覚（違和感）をユーザに与えたりしてしまう。このような課題は、ウェアラブルな電子双眼鏡の場合でも、ウェアラブルでない電子双眼鏡の場合でも生じる。 As described above, in the conventional technology, an unintended change in the observation range occurs, or a user feels a feeling (unnaturalness) that is far from observation with the naked eye. Such problems occur both in the case of wearable electronic binoculars and in the case of non-wearable electronic binoculars.

本発明は、観察範囲の意図せぬ変化を抑制することができると共に、肉眼での観察に近い感覚（違和感のない又は少ない感覚）をユーザに与えることのできる技術を提供することを目的とする。 An object of the present invention is to provide a technology that can suppress unintended changes in the observation range and can provide a user with a feeling similar to observation with the naked eye (a feeling that does not feel strange or has little discomfort). .

本発明の第１の態様は、
ユーザの頭部に固定して使用される表示装置であって、
撮像手段と、
前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記表示手段に対する前記ユーザの視線を検出する視線検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出手段で検出された前記視線に基づいて前記表示範囲の位置を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記表示範囲の
位置を制御する制御手段と、
を有することを特徴とする表示装置である。
The first aspect of the present invention is
A display device that is used while being fixed to a user's head ,
an imaging means;
Display means for displaying a part of the image captured by the image capture means as a display range;
Attitude detection means for detecting the attitude of the display device;
line of sight detection means for detecting the line of sight of the user with respect to the display means;
When the amount of change in the posture detected by the posture detection means is smaller than a predetermined amount, the position of the display range is not controlled based on the line of sight detected by the line of sight detection means, and the posture is changed. control means for controlling the position of the display range based on the line of sight when the amount of change in is larger than the predetermined amount;
A display device characterized by having:

本発明の第２の態様は、
撮像手段と、前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段とを有し、ユーザの頭部に固定して使用される表示装置の制御方法であって、
前記表示装置の姿勢を検出する姿勢検出ステップと、
前記表示手段に対する前記ユーザの視線を検出する視線検出ステップと、
前記姿勢検出ステップで検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出ステップで検出された前記視線に基づいて前記表示範囲の位置を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記表示範囲の位置を制御する制御ステップと、
を有することを特徴とする制御方法である。
The second aspect of the invention is
A method for controlling a display device that is used while being fixed to a user's head, and includes an imaging device and a display device that displays a part of the image captured by the imaging device as a display range, the method comprising:
an attitude detection step of detecting an attitude of the display device;
a line of sight detection step of detecting the line of sight of the user with respect to the display means;
When the amount of change in the posture detected in the posture detection step is smaller than a predetermined amount, the position of the display range is not controlled based on the line of sight detected in the line of sight detection step, and the posture is changed. a control step of controlling the position of the display range based on the line of sight when the amount of change in is larger than the predetermined amount;
This is a control method characterized by having the following.

本発明の第３の態様は、コンピュータを上述した表示装置の各手段として機能させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to function as each means of the display device described above.

本発明によれば、観察範囲の意図せぬ変化を抑制することができると共に、ユーザに肉眼での観察に近い感覚（違和感のない又は少ない感覚）を与えることができる。 According to the present invention, it is possible to suppress unintended changes in the observation range, and to provide the user with a feeling similar to observation with the naked eye (a feeling that does not feel strange or has little discomfort).

実施例１に係る処理フローを示すフローチャートである。3 is a flowchart showing a processing flow according to the first embodiment. 実施例１，２に係る電子双眼鏡の外観図である。2 is an external view of electronic binoculars according to Examples 1 and 2. FIG. 実施例１，２に係る電子双眼鏡のブロック図である。1 is a block diagram of electronic binoculars according to Examples 1 and 2. FIG. 実施例１，２に係る表示装置とユーザの状態を示す模式図である。FIG. 2 is a schematic diagram showing the display device and the state of the user according to Examples 1 and 2. FIG. 実施例１，２に係る被写体距離と移動量の関係を示す模式図である。FIG. 2 is a schematic diagram showing the relationship between object distance and movement amount according to Examples 1 and 2. FIG. 実施例２に係る処理フローを示すフローチャートである。7 is a flowchart showing a processing flow according to a second embodiment.

＜実施例１＞
以下、本発明の実施例１について説明する。なお、ヘッドマウントディスプレイのように頭部に対して着脱可能（ウェアラブル）な電子双眼鏡に本発明を適用した例を説明するが、本発明が適用可能な表示装置はウェアラブルな電子双眼鏡に限られない。例えば、ウェアラブルでない電子双眼鏡に本発明を適用してもよいし、頭部に対して着脱可能な他のウェアラブルデバイス（例えば、ＶＲゴーグル、ＡＲグラス、ＭＲグラス、スマートグラスなどのヘッドマウントディスプレイ）に本発明を適用してもよい。ユーザが周囲を肉眼で見ることができない（ユーザが両目で画像を見ることができる）ように両目を覆う表示装置（ＶＲゴーグルなど）に、本発明を適用してもよい。ユーザが一方の目で画像を見ることができ、他方の目で周囲を肉眼で見ることができるように一方の目のみを覆う表示装置に、本発明を適用してもよい。詳細は後述するが、本発明によれば、ユーザが周囲を肉眼で見ることができない状況でも好適な観察が可能となるため、本発明は、両目を覆う表示装置に対して好適に適用できる。 <Example 1>
Example 1 of the present invention will be described below. Although an example in which the present invention is applied to electronic binoculars that can be attached to and detached from the head (wearable) such as a head-mounted display will be described, display devices to which the present invention can be applied are not limited to wearable electronic binoculars. . For example, the present invention may be applied to electronic binoculars that are not wearable, or may be applied to other wearable devices that can be attached to and detached from the head (e.g., head-mounted displays such as VR goggles, AR glasses, MR glasses, and smart glasses). The present invention may also be applied. The present invention may be applied to a display device that covers both eyes (such as VR goggles) so that the user cannot see the surroundings with the naked eye (the user can see the image with both eyes). The present invention may be applied to a display device that covers only one eye so that the user can view an image with one eye and visually see the surroundings with the other eye. Although details will be described later, according to the present invention, suitable observation is possible even in a situation where the user cannot see the surroundings with the naked eye, so the present invention can be suitably applied to a display device that covers both eyes.

図２（Ａ），２（Ｂ）は、実施例１に係る電子双眼鏡１０のハードウェア構成を示す外観図である。図２（Ａ）は電子双眼鏡１０を前方側から見た前面斜視図であり、図２（Ｂ）は電子双眼鏡１０を後方向から見た背面斜視図である。電子双眼鏡１０は、眼鏡型の電子双眼鏡であり、頭部に対して着脱可能である。具体的には、電子双眼鏡１０の左右のテ
ンプル１００で頭部を挟むことで、電子双眼鏡１０が頭部に固定（装着）される。電子双眼鏡１０は、テンプル１００の他に、カメラ１０１、ディスプレイ１０２，１０３、パンニング部１０４、チルト部１０５、ジャイロセンサ１０６、視線検出部１０７、及び、操作部材１０８を有する。 2(A) and 2(B) are external views showing the hardware configuration of the electronic binoculars 10 according to the first embodiment. 2(A) is a front perspective view of the electronic binoculars 10 viewed from the front side, and FIG. 2(B) is a rear perspective view of the electronic binoculars 10 viewed from the rear side. The electronic binoculars 10 are glasses-type electronic binoculars that can be attached to and detached from the head. Specifically, the electronic binoculars 10 are fixed (attached) to the head by sandwiching the head between the left and right temples 100 of the electronic binoculars 10. In addition to the temples 100, the electronic binoculars 10 include a camera 101, displays 102 and 103, a panning section 104, a tilt section 105, a gyro sensor 106, a line of sight detection section 107, and an operation member 108.

カメラ１０１は撮像部であり、図２（Ａ）に矢印で示すように、パン方向とチルト方向に個別に回動可能である。つまり、カメラ１０１の撮像方向は、パン方向とチルト方向に個別に変更可能である。パンニング部１０４は、パンニング部１０４に内蔵されたアクチュエータを駆動することにより、カメラ１０１をパン方向（電子双眼鏡１０に対してカメラ１０１を左右に傾ける方向）に回動させる。チルト部１０５は、チルト部１０５に内蔵されたアクチュエータを駆動することにより、カメラ１０１をチルト方向（電子双眼鏡１０に対してカメラ１０１を上下に傾ける方向）に回動させる。なお、撮像方向を変更する変更方向やメカニズムなどは特に限定されない。 The camera 101 is an imaging unit, and can be rotated separately in the panning direction and the tilting direction, as shown by arrows in FIG. 2(A). That is, the imaging direction of the camera 101 can be changed individually into the panning direction and the tilting direction. The panning unit 104 rotates the camera 101 in a panning direction (a direction in which the camera 101 is tilted left and right with respect to the electronic binoculars 10) by driving an actuator built into the panning unit 104. The tilt unit 105 rotates the camera 101 in a tilt direction (a direction in which the camera 101 is tilted up and down with respect to the electronic binoculars 10) by driving an actuator built into the tilt unit 105. Note that the changing direction and mechanism for changing the imaging direction are not particularly limited.

また、カメラ１０１は、その焦点距離を変更可能に構成されている。実施例１では、カメラ１０１の焦点距離が、電子双眼鏡１０に対してユーザが行った操作（ユーザ操作）に応じて、１００ｍｍと４００ｍｍ（いずれも３５ｍｍフルサイズ換算での焦点距離）の２段階で切り替えられるとする。操作部材１０８は、ユーザ操作を受け付ける部材（ボタンやスイッチなど）であり、例えばカメラ１０１の焦点距離の変更（切り替え）や、電子双眼鏡１０の電源ＯＮ／ＯＦＦなどを指示するユーザ操作を受け付ける。なお、設定可能な焦点距離の数や範囲などは特に限定されない。焦点距離が所定の範囲内でシームレスに変更可能であってもよい。 Further, the camera 101 is configured to be able to change its focal length. In the first embodiment, the focal length of the camera 101 is set in two stages, 100 mm and 400 mm (both focal lengths in 35 mm full-frame equivalent), depending on the operation (user operation) performed by the user on the electronic binoculars 10. Suppose it can be switched. The operating member 108 is a member (such as a button or a switch) that accepts a user's operation, and accepts a user's operation that instructs, for example, changing (switching) the focal length of the camera 101 or turning on/off the power of the electronic binoculars 10. Note that the number and range of focal lengths that can be set are not particularly limited. The focal length may be seamlessly changeable within a predetermined range.

さらに、カメラ１０１は、オートフォーカス機能を有し、撮像範囲に含まれる被写体に対して自動的に合焦するように構成されている。ピント調整（オートフォーカス）において駆動する不図示のフォーカシングレンズの停止位置によって、ピントが合う（合焦する）被写体距離は一意に決まる。このため、フォーカシングレンズの停止位置と被写体距離との関係を示す情報（テーブルや関数）を予め電子双眼鏡１０に格納することで、電子双眼鏡１０において、当該情報を用いて、フォーカシングレンズの停止位置から、被写体距離を検出できるようになる。カメラ１０１は、このような方法で被写体距離を検出する機能も有する。なお、被写体距離の検出方法は特に限定されない。 Furthermore, the camera 101 has an autofocus function and is configured to automatically focus on a subject included in the imaging range. The distance to the subject that is in focus is uniquely determined by the stop position of a focusing lens (not shown) that is driven during focus adjustment (autofocus). Therefore, by storing information (tables and functions) indicating the relationship between the stopping position of the focusing lens and the subject distance in the electronic binoculars 10 in advance, the electronic binoculars 10 can use the information to move from the stopping position of the focusing lens to the object distance. , the distance to the subject can be detected. The camera 101 also has a function of detecting the subject distance using such a method. Note that the method of detecting the subject distance is not particularly limited.

ディスプレイ１０２，１０３は、カメラ１０１によって撮像された画像の一部を表示範囲として表示する表示部である。撮像可能範囲全体を現像した画像に基づいて表示範囲が表示されてもよいし、表示範囲のみがカメラ１０１（撮像素子）から読み出されて、現像、表示されてもよい。電子双眼鏡１０をユーザが装着することで、ディスプレイ１０２はユーザの右目の前に配置され、ディスプレイ１０３はユーザの左目の前に配置される。このため、ユーザは、ディスプレイ１０２に表示された画像を右目で、ディスプレイ１０３に表示された画像を左目で見ることになる。表示範囲は、パン方向（撮像された画像の左右方向（水平方向））とチルト方向（撮像された画像の上下方向（垂直方向））とに個別に移動可能である。なお、表示範囲の移動方向（表示範囲の位置の変更方向）などは特に限定されない。 The displays 102 and 103 are display units that display part of the image captured by the camera 101 as a display range. The display range may be displayed based on an image obtained by developing the entire imageable range, or only the display range may be read out from the camera 101 (image sensor), developed, and displayed. When the user wears the electronic binoculars 10, the display 102 is placed in front of the user's right eye, and the display 103 is placed in front of the user's left eye. Therefore, the user views the image displayed on the display 102 with his right eye and the image displayed on the display 103 with his left eye. The display range can be moved individually in the pan direction (the horizontal direction (horizontal direction) of the captured image) and the tilt direction (the vertical direction (vertical direction) of the captured image). Note that the direction of movement of the display range (direction of change in the position of the display range), etc. are not particularly limited.

ジャイロセンサ１０６は、電子双眼鏡１０の姿勢を検出する姿勢検出部であり、電子双眼鏡１０の姿勢の変化（変化の有無や方向、大きさ等）を検出することもできる。電子双眼鏡１０をユーザが装着している場合には、電子双眼鏡１０の姿勢はユーザの頭部の姿勢に対応する。このため、ジャイロセンサ１０６は、頭部の姿勢や動き（振れ）を検出できる。 The gyro sensor 106 is an attitude detection unit that detects the attitude of the electronic binoculars 10, and can also detect changes in the attitude of the electronic binoculars 10 (presence of change, direction, size, etc.). When the user is wearing the electronic binoculars 10, the posture of the electronic binoculars 10 corresponds to the posture of the user's head. Therefore, the gyro sensor 106 can detect the posture and movement (shaking) of the head.

視線検出部（視線検出センサ）１０７は、ディスプレイ１０２，１０３に対するユーザ
の（相対的な）視線を検出する。視線検出部１０７は、視線の変化（変化の有無や方向、大きさ等）を検出することもできる。 The line of sight detection unit (line of sight detection sensor) 107 detects the user's (relative) line of sight with respect to the displays 102 and 103. The line of sight detection unit 107 can also detect changes in the line of sight (presence or absence of change, direction, size, etc.).

図３は、電子双眼鏡１０の構成を示すブロック図である。ＣＰＵ２０１は、電子双眼鏡１０の各部を制御する。ＣＰＵ２０１は、カメラ１０１、ディスプレイ１０２，１０３、ジャイロセンサ１０６、視線検出部１０７、操作部材１０８、カメラ回動部２０２などに接続されている。ＣＰＵ２０１は、電子双眼鏡１０の各部からの情報を処理したり、処理結果に応じて各部の動作を制御したりする。カメラ回動部２０２は、パンニング部１０４とチルト部１０５を含み、ＣＰＵ２０１からの指示に応じて、カメラ１０１をパン方向やチルト方向に回動させる。 FIG. 3 is a block diagram showing the configuration of the electronic binoculars 10. The CPU 201 controls each part of the electronic binoculars 10. The CPU 201 is connected to the camera 101, the displays 102 and 103, the gyro sensor 106, the line of sight detection section 107, the operating member 108, the camera rotation section 202, and the like. The CPU 201 processes information from each part of the electronic binoculars 10 and controls the operation of each part according to the processing results. The camera rotation unit 202 includes a panning unit 104 and a tilt unit 105, and rotates the camera 101 in a panning direction or a tilting direction according to instructions from the CPU 201.

図１は、実施例１に係る処理フロー（電子双眼鏡１０の処理フロー）を示すフローチャートである。図１の処理フローは、例えば、ＣＰＵ２０１が不図示のＲＯＭに格納されているプログラムを不図示のＲＡＭに展開して実行することにより実現される。電子双眼鏡１０の電源ＯＮを指示するユーザ操作が行われると、電子双眼鏡１０が起動し、カメラ１０１で撮像された画像の一部を表示範囲としてディスプレイ（ディスプレイ１０２，１０３）上にリアルタイムに表示する処理が開始される。これにより、ユーザは、カメラ１０１によって撮像されてディスプレイに表示された画像を見て、被写体の観察を始めることができる。そして、図１の処理フローが開始する。カメラ１０１の焦点距離の初期値（電源ＯＮ直後の焦点距離）は特に限定されないが、ユーザが観察対象を見つけやすいように、広角の焦点距離であることが好ましい。実施例１では、電源ＯＮ直後に焦点距離が１００ｍｍに制御されるとする。図１では示されていないが、焦点距離の変更（切り替え）を指示するユーザ操作が図１の処理フロー中に行われる度に、焦点距離は、１００ｍｍと４００ｍｍの一方から他方へ切り替えられる。また、実施例１では、カメラ１０１の光軸が電子双眼鏡１０の正面方向（電子双眼鏡１０を装着したユーザの顔が向いている方向）と平行になるように、カメラ１０１が固定されているものとする。 FIG. 1 is a flowchart showing a processing flow (processing flow of the electronic binoculars 10) according to the first embodiment. The processing flow in FIG. 1 is realized, for example, by the CPU 201 loading a program stored in a ROM (not shown) into a RAM (not shown) and executing the program. When a user operation instructing to turn on the electronic binoculars 10 is performed, the electronic binoculars 10 are activated and display part of the image captured by the camera 101 as a display range on the display (displays 102, 103) in real time. Processing begins. Thereby, the user can start observing the subject by viewing the image captured by the camera 101 and displayed on the display. Then, the processing flow of FIG. 1 starts. Although the initial value of the focal length of the camera 101 (the focal length immediately after the power is turned on) is not particularly limited, it is preferably a wide-angle focal length so that the user can easily find the observation target. In the first embodiment, it is assumed that the focal length is controlled to 100 mm immediately after the power is turned on. Although not shown in FIG. 1, the focal length is switched from one of 100 mm and 400 mm to the other each time a user operation instructing to change (switch) the focal length is performed during the processing flow of FIG. Furthermore, in the first embodiment, the camera 101 is fixed such that the optical axis of the camera 101 is parallel to the front direction of the electronic binoculars 10 (the direction in which the face of the user wearing the electronic binoculars 10 is facing). shall be.

図４（Ａ）は、表示方向（表示範囲に対応するカメラ１０１の撮像方向；例えば、カメラ１０１から表示範囲の中心位置に対応する被写***置に向かう方向）の初期方向（電源ＯＮ直後の表示方向；基準方向）を示す。図４（Ａ）に示すように、基準方向は、カメラ１０１の光軸に一致する方向であり、電子双眼鏡１０の正面方向（電子双眼鏡１０を装着したユーザの顔が向いている方向）と平行な方向である。図４（Ａ）は、表示方向のパン方向成分が分かるように、ユーザの頭上を見る視点で描かれているが、表示方向のチルト方向成分も同様である。なお、以下ではパン方向へ表示方向（すなわち表示範囲の位置）を変更する制御のみを説明するが、表示方向は、パン方向へ表示方向を変更する制御方法と同様の制御方法で、チルト方向へも変更される。 FIG. 4A shows the initial direction (the display direction immediately after the power is turned on) of the display direction (the imaging direction of the camera 101 corresponding to the display range; for example, the direction from the camera 101 toward the subject position corresponding to the center position of the display range). ;Reference direction). As shown in FIG. 4(A), the reference direction is a direction that coincides with the optical axis of the camera 101, and is parallel to the front direction of the electronic binoculars 10 (the direction in which the face of the user wearing the electronic binoculars 10 is facing). This is the direction. Although FIG. 4A is drawn from a viewpoint looking above the user's head so that the pan direction component of the display direction can be seen, the same applies to the tilt direction component of the display direction. Note that only the control for changing the display direction (that is, the position of the display range) in the pan direction will be explained below, but the display direction can be changed in the tilt direction using the same control method as the control method for changing the display direction in the pan direction. will also be changed.

図３のＳ１０１では、カメラ１０１は、撮像した画像に基づいて、オートフォーカス（ＡＦ）制御や自動露出（ＡＥ）制御を行う。 In S101 of FIG. 3, the camera 101 performs autofocus (AF) control and automatic exposure (AE) control based on the captured image.

Ｓ１０２では、カメラ１０１は、Ｓ１０１のＡＦ制御の結果から、被写体距離Ｌを検出（取得）し、ＣＰＵ２０１は、検出された被写体距離Ｌに基づいて表示範囲の移動量Ａ１を決定（算出）する。 In S102, the camera 101 detects (obtains) the subject distance L from the result of the AF control in S101, and the CPU 201 determines (calculates) the movement amount A1 of the display range based on the detected subject distance L.

図５は、被写体距離Ｌと移動量Ａ１の関係を示す。図５の星印は、ユーザの正面に存在する観察対象を示す。通常、肉眼での観察では、ユーザは、被写体に顔を向け、被写体を視界の中央にとらえる。ここで、表示方向が基準方向である場合を考える。この場合に、カメラ１０１の取り付け位置に依って、肉眼でユーザの視界の中央にとらえられる観察対象が、ディスプレイの中央に表示されず、ユーザが違和感を覚えてしまうことがある。Ｓ１０２で決定される移動量Ａ１は、このような違和感を低減するための移動量である。こ
こで、左に向かう移動方向を正方向とし、右に向かう移動方向を負方向とする。図５では、頭部の中心から右側に距離ａだけずれた位置にカメラ１０１が取り付けられている。このため、移動量Ａ１＝φ１＝ａｒｃｔａｎ（ａ／Ｌ１）で表示範囲を移動させることで、被写体距離Ｌ１に存在する観察対象（ユーザの正面に存在する観察対象）をディスプレイの中央に表示できる。同様に、移動量Ａ１＝φ２＝ａｒｃｔａｎ（ａ／Ｌ２）で表示範囲を移動させることで、被写体距離Ｌ２に存在する観察対象（ユーザの正面に存在する観察対象）をディスプレイの中央に表示できる。このように、Ｓ１０２では、被写体距離が短いほど大きい移動量Ａ１が、被写体距離Ｌから、関係式「Ａ１＝ａｒｃｔａｎ（ａ／Ｌ）」に基づいて決定される。なお、この関係式によれば、被写体距離Ｌが比較的長い場合に、移動量Ａ１は略０（ゼロ）になる。このため、遠距離の被写体のみの観察を前提とする場合や、被写体距離Ｌが所定距離よりも長い場合に、移動量Ａ１＝０としてもよい。 FIG. 5 shows the relationship between the subject distance L and the movement amount A1. The star in FIG. 5 indicates an observation target that is in front of the user. Normally, when observing with the naked eye, the user faces the subject and captures the subject in the center of his or her field of vision. Here, consider the case where the display direction is the reference direction. In this case, depending on the mounting position of the camera 101, an observation target that can be seen with the naked eye at the center of the user's visual field may not be displayed at the center of the display, which may make the user feel uncomfortable. The movement amount A1 determined in S102 is a movement amount for reducing such a sense of discomfort. Here, the direction of movement toward the left is defined as a positive direction, and the direction of movement toward the right is defined as a negative direction. In FIG. 5, the camera 101 is mounted at a position shifted by a distance a to the right from the center of the head. Therefore, by moving the display range by the amount of movement A1=φ1=arctan(a/L1), the observation target existing at the subject distance L1 (the observation target existing in front of the user) can be displayed in the center of the display. Similarly, by moving the display range by the amount of movement A1=φ2=arctan(a/L2), the observation target existing at the subject distance L2 (the observation target existing in front of the user) can be displayed in the center of the display. Thus, in S102, the movement amount A1, which is larger as the subject distance is shorter, is determined from the subject distance L based on the relational expression "A1=arctan(a/L)". According to this relational expression, when the subject distance L is relatively long, the movement amount A1 becomes approximately 0 (zero). Therefore, when observing only a distant subject or when the subject distance L is longer than a predetermined distance, the movement amount A1 may be set to 0.

図１のＳ１０３では、ＣＰＵ２０１は、カメラ１０１の焦点距離が閾値（所定距離）よりも長いが否かを判断する。焦点距離が閾値よりも長い場合はＳ１０４へ処理が進められ、焦点距離が閾値以下の場合はＳ１０９へ処理が進められる。焦点距離が閾値以上の場合にＳ１０４へ処理が進められ、焦点距離が閾値未満の場合にＳ１０９へ処理が進められてもよい。実施例１では、設定可能な焦点距離が１００ｍｍと４００ｍｍであるため、Ｓ１０３では、焦点距離が４００ｍｍか否かが判断され、４００ｍｍの場合にＳ１０４へ処理が進められ、１００ｍｍの場合にＳ１０９へ処理が進められる。 In S103 of FIG. 1, the CPU 201 determines whether the focal length of the camera 101 is longer than a threshold (predetermined distance). If the focal length is longer than the threshold, the process proceeds to S104, and if the focal length is less than or equal to the threshold, the process proceeds to S109. If the focal length is greater than or equal to the threshold, the process may proceed to S104, and if the focal length is less than the threshold, the process may proceed to S109. In the first embodiment, the settable focal lengths are 100 mm and 400 mm, so in S103 it is determined whether the focal length is 400 mm, and if it is 400 mm, the process proceeds to S104, and if it is 100 mm, the process proceeds to S109. will proceed.

Ｓ１０４では、ＣＰＵ２０１は、ジャイロセンサ１０６を用いて電子双眼鏡１０（頭部）の姿勢を検出し、閾値（所定量）よりも大きい変化量で電子双眼鏡１０（頭部）の姿勢が変化したか否かを判断する。閾値よりも大きい変化量で姿勢が変化した場合はＳ１０５へ処理が進められ、姿勢の変化量が閾値以下の場合はＳ１０９へ処理が進められる。閾値以上の変化量で姿勢が変化した場合にＳ１０５へ処理が進められ、姿勢の変化量が閾値未満の場合にＳ１０９へ処理が進められてもよい。 In S104, the CPU 201 detects the attitude of the electronic binoculars 10 (head) using the gyro sensor 106, and determines whether the attitude of the electronic binoculars 10 (head) has changed by an amount of change greater than a threshold (predetermined amount). to judge. If the attitude has changed by an amount of change greater than the threshold, the process proceeds to S105, and if the amount of change in the attitude is less than or equal to the threshold, the process proceeds to S109. The process may proceed to S105 when the posture changes by an amount of change greater than or equal to the threshold, and the process may proceed to S109 when the amount of change in the posture is less than the threshold.

Ｓ１０５では、ＣＰＵ２０１は、電子双眼鏡１０（頭部）の姿勢が変化している期間のユーザの視線を視線検出部１０７を用いて検出し、当該視線に基づいて表示範囲の位置が制御されるように処理を切り替える。 In S105, the CPU 201 uses the line of sight detection unit 107 to detect the user's line of sight during the period when the posture of the electronic binoculars 10 (head) is changing, and controls the position of the display range based on the line of sight. Switch processing to .

図４（Ｂ）は、図４（Ａ）の状態からユーザの頭部が意図せず動いた状態を示す。頭部が意図せず動く場合は、絶対的な視線は略一定に保たれることが多い。このため、図４（Ｂ）では、頭部が左方向（正方向）に角度θ１だけ動いているが、絶対的な視線の方向は元の基準方向（頭部が動く前の基準方向；図４（Ａ）の基準方向）のままとなっている。つまり、ディスプレイに対する相対的な視線の動きとして、右方向（負方向；頭部の動きと逆方向）に角度θ１の動きが生じている。頭部が動く場合は、電子双眼鏡１０も頭部と一体的に動く。このため、図４（Ｂ）では、電子双眼鏡１０も左方向に角度θ１だけ動いている。図４（Ｂ）の状態では、ＣＰＵ２０１は、ジャイロセンサ１０６を用いて、電子双眼鏡１０（頭部）が左方向に角度θ１だけ動いたと判断する。さらに、ＣＰＵ２０１は、視線検出部１０７を用いて、右方向（電子双眼鏡１０（頭部）の動きと逆方向）に角度θ１だけ視線（相対的な視線）が動いたと判断する。 FIG. 4(B) shows a state in which the user's head has moved unintentionally from the state in FIG. 4(A). When the head moves unintentionally, the absolute line of sight is often kept approximately constant. Therefore, in Fig. 4(B), the head is moving to the left (positive direction) by an angle θ1, but the absolute direction of the line of sight is the original reference direction (the reference direction before the head moves; 4(A) reference direction). That is, as a movement of the line of sight relative to the display, a movement of angle θ1 occurs in the right direction (negative direction; opposite direction to the movement of the head). When the head moves, the electronic binoculars 10 also move together with the head. Therefore, in FIG. 4B, the electronic binoculars 10 have also moved to the left by an angle θ1. In the state shown in FIG. 4B, the CPU 201 uses the gyro sensor 106 to determine that the electronic binoculars 10 (head) has moved to the left by an angle θ1. Further, the CPU 201 uses the line-of-sight detection unit 107 to determine that the line-of-sight (relative line-of-sight) has moved in the right direction (in the opposite direction to the movement of the electronic binoculars 10 (head)) by an angle θ1.

このように、電子双眼鏡１０（頭部）の姿勢の変化方向と逆方向の視線（相対的な視線）の変化があったならば、ユーザは視認方向（見る方向）を変えたくなく、頭部が意図せず動いたと判断し、Ｓ１０６へ処理が進められる。そして、Ｓ１０６では、ＣＰＵ２０１は、頭部の動きを検出する直前の画角を保持するように表示範囲を移動させる移動量Ａ２を決定（算出）する。言い換えると、ＣＰＵ２０１は、頭部の動きをキャンセルするように表示範囲を移動させる移動量Ａ２を決定する。図４（Ｂ）の状態では、表示方向を右方向に角度θ１だけ回動させる移動量Ａ２が決定される。このとき、移動量Ａ２は、ジャイ
ロセンサ１０６の検出結果（左方向の角度θ１）から決定されてもよいし、視線検出部１０７の検出結果（右方向の角度θ１）から決定されてもよいし、それらの検出結果の両方から決定されてもよい。ジャイロセンサ１０６で検出される角度（大きさ）と、視線検出部１０７で検出される角度（大きさ）とは異なることもある。 In this way, if there is a change in the line of sight (relative line of sight) in the opposite direction to the direction of change in the posture of the electronic binoculars 10 (head), the user does not want to change the viewing direction (viewing direction) and It is determined that the has moved unintentionally, and the process proceeds to S106. Then, in S106, the CPU 201 determines (calculates) a movement amount A2 for moving the display range so as to maintain the angle of view immediately before the head movement is detected. In other words, the CPU 201 determines the amount of movement A2 for moving the display range so as to cancel the movement of the head. In the state of FIG. 4(B), a movement amount A2 for rotating the display direction rightward by an angle θ1 is determined. At this time, the movement amount A2 may be determined from the detection result of the gyro sensor 106 (leftward angle θ1), or may be determined from the detection result of the line of sight detection unit 107 (rightward angle θ1). , may be determined from both of those detection results. The angle (size) detected by the gyro sensor 106 and the angle (size) detected by the line of sight detection unit 107 may be different.

なお、電子双眼鏡１０（頭部）の姿勢の変化による表示方向の変化を０（ゼロ）にする移動量Ａ２をＳ１０６で決定する例を説明したが、Ｓ１０６で決定される移動量Ａ２はこれに限られない。姿勢の変化による表示方向の変化が小さくなればよく、表示方向の変化は完全に０（ゼロ）にならなくてもよい。 Although an example has been described in which the movement amount A2 that makes the change in display direction due to the change in the posture of the electronic binoculars 10 (head) 0 (zero) is determined in S106, the movement amount A2 determined in S106 is Not limited to. It is sufficient that the change in the display direction due to the change in posture is small, and the change in the display direction does not need to be completely zero.

図４（Ｃ）は、観察対象を変更するために、図４（Ａ）の状態からユーザが意図的に頭部を動かした状態を示す。頭部を意図的に動かす場合は、頭部が動く方向と同じ方向に、絶対的な視線も動くことが多い。このため、図４（Ｃ）では、頭部と絶対的な視線の一体的な動きが生じている。具体的には、頭部が左方向に角度θ１だけ動いており、絶対的な視線も左方向に角度θ１だけ動いている。つまり、ディスプレイに対する相対的な視線の動きは生じていない。図４（Ｃ）の状態では、ＣＰＵ２０１は、ジャイロセンサ１０６を用いて、電子双眼鏡１０（頭部）が左方向に角度θ１だけ動いたと判断する。さらに、ＣＰＵ２０１は、視線検出部１０７を用いて、視線（相対的な視線）が動いていないと判断する。 FIG. 4(C) shows a state in which the user intentionally moves his head from the state in FIG. 4(A) in order to change the observation target. When moving the head intentionally, the absolute line of sight often moves in the same direction as the head moves. Therefore, in FIG. 4C, an integral movement of the head and the absolute line of sight occurs. Specifically, the head is moving to the left by an angle θ1, and the absolute line of sight is also moving to the left by an angle θ1. In other words, no movement of the line of sight relative to the display occurs. In the state shown in FIG. 4C, the CPU 201 uses the gyro sensor 106 to determine that the electronic binoculars 10 (head) has moved to the left by an angle θ1. Further, the CPU 201 uses the line of sight detection unit 107 to determine that the line of sight (relative line of sight) is not moving.

このように、電子双眼鏡１０（頭部）の姿勢の変化のみが検出された場合には、ユーザが、頭部の動きに合わせて視認方向を変えるために、頭部を意図的に動かしたと判断し、Ｓ１０７へ処理が進められる。そして、Ｓ１０７では、ＣＰＵ２０１は、表示範囲を移動させない移動量Ａ２＝０を決定する。言い換えると、ＣＰＵ２０１は、視線方向（視線の方向）に表示方向を維持する移動量Ａ２を決定する。 In this way, when only a change in the posture of the electronic binoculars 10 (head) is detected, it is determined that the user has intentionally moved the head in order to change the viewing direction in accordance with the movement of the head. Then, the process advances to S107. Then, in S107, the CPU 201 determines a movement amount A2=0 that does not move the display range. In other words, the CPU 201 determines the movement amount A2 that maintains the display direction in the line-of-sight direction (direction of the line-of-sight).

図４（Ｄ）は、動きの速い観察対象（移動体）を追従（目で追う）するために、図４（Ａ）の状態からユーザが意図的に頭を動かした状態を示す。動きの速い観察対象などを追従する場合には、頭部が動く方向と同じ方向に、頭部の動き量よりも大きい動き量（頭部の動き量を含む）で、絶対的な視線が動くことが多い。このため、図４（Ｄ）では、頭部が左方向に角度θ１だけ動いており、絶対的な視線が左方向に角度θ１＋θ２で動いている。つまり、ディスプレイに対する相対的な視線の動きとして、左方向に角度θ２の動きが生じている。図４（Ｄ）の状態では、ＣＰＵ２０１は、ジャイロセンサ１０６を用いて、電子双眼鏡１０（頭部）が左方向に角度θ１だけ動いたと判断する。さらに、ＣＰＵ２０１は、視線検出部１０７を用いて、左方向に角度θ２だけ視線（相対的な視線）が動いたと判断する。 FIG. 4(D) shows a state in which the user intentionally moves his head from the state in FIG. 4(A) in order to follow (follow with his eyes) a fast-moving observation target (moving body). When following a fast-moving observation target, the absolute line of sight moves in the same direction as the head, with an amount of movement greater than the amount of head movement (including the amount of head movement). There are many things. Therefore, in FIG. 4(D), the head has moved to the left by an angle θ1, and the absolute line of sight has moved to the left by an angle θ1+θ2. In other words, as a movement of the line of sight relative to the display, a movement of angle θ2 occurs to the left. In the state of FIG. 4(D), the CPU 201 uses the gyro sensor 106 to determine that the electronic binoculars 10 (head) has moved leftward by an angle θ1. Further, the CPU 201 uses the line of sight detection unit 107 to determine that the line of sight (relative line of sight) has moved to the left by an angle θ2.

このように、電子双眼鏡１０（頭部）の姿勢の変化方向と同方向の視線（相対的な視線）の変化があったならば、ユーザが、視認方向を大きく変えるために、頭部を意図的に動かしたと判断し、Ｓ１０８へ処理が進められる。そして、Ｓ１０８では、ＣＰＵ２０１は、視線方向に表示方向を変更する移動量Ａ２を決定する。 In this way, if there is a change in the line of sight (relative line of sight) in the same direction as the direction of change in the posture of the electronic binoculars 10 (head), the user may change the direction of the head in order to significantly change the viewing direction. It is determined that the target has been moved, and the process proceeds to S108. Then, in S108, the CPU 201 determines a movement amount A2 for changing the display direction in the line-of-sight direction.

なお、Ｓ１０８で決定される移動量Ａ２は、視線方向に表示方向を変更する移動量に限られない。姿勢の変化による表示方向の変化が大きくなればよく、視線方向に表示方向が一致しなくてもよい。 Note that the movement amount A2 determined in S108 is not limited to the movement amount that changes the display direction in the line-of-sight direction. It is sufficient that the change in display direction due to a change in posture is large, and the display direction does not need to match the viewing direction.

Ｓ１０９では、ＣＰＵ２０１は、移動量Ａ２＝０を決定する。一般的に、焦点距離が短い場合（広角の場合；Ｓ１０３のＮＯに相当）は、電子双眼鏡１０の意図せぬ姿勢変化（頭部の意図せぬ動き）による観察範囲（ディスプレイ上に表示される映像の被写体範囲（画角））の変化は目立ちにくい。電子双眼鏡１０（頭部）の姿勢の変化量が小さい場合（
Ｓ１０４のＮＯに相当）は、電子双眼鏡１０の意図せぬ姿勢変化による観察範囲の変化は目立ちにくいし、ユーザが観察範囲の全体を見渡すように視線を動かすことがある。このため、実施例１では、それらの場合にＳ１０９へ処理が進められるようにしている。このとき、視線検出は行わないか、視線検出を行ってもその検出結果は用いない。なお、長い焦点距離（望遠の焦点距離；電子双眼鏡１０の意図せぬ姿勢変化による観察範囲の変化が目立ちやすい焦点距離）が前提の場合などにおいて、焦点距離に依らずＳ１０４へ処理が進められるように、Ｓ１０３の処理を省略してもよい。 In S109, the CPU 201 determines the movement amount A2=0. Generally, when the focal length is short (wide-angle case; corresponds to NO in S103), the observation range (displayed on the display) due to an unintended attitude change (unintended movement of the head) of the electronic binoculars Changes in the subject area (angle of view) of the video are less noticeable. When the amount of change in the posture of the electronic binoculars 10 (head) is small (
(corresponding to NO in S104), the change in the observation range due to an unintended change in the posture of the electronic binoculars 10 is difficult to notice, and the user may move his/her line of sight to look over the entire observation range. For this reason, in the first embodiment, the process proceeds to S109 in these cases. At this time, visual line detection is not performed, or even if visual line detection is performed, the detection result is not used. Note that in cases where a long focal length (telephoto focal length; focal length where changes in the observation range due to unintended attitude changes of the electronic binoculars 10 are easily noticeable) is assumed, the process proceeds to S104 regardless of the focal length. Alternatively, the process of S103 may be omitted.

Ｓ１１０では、ＣＰＵ２０１は、Ｓ１０２で決定した移動量Ａ１と、Ｓ１０６～Ｓ１０９のいずれかで決定した移動量Ａ２とから、表示範囲の最終的な移動量Ａ＝Ａ１＋Ａ２を決定（算出）する。なお、移動量Ａ１＝０とすることが予め決まっている場合、例えば遠距離の被写体のみの観察を前提とする場合には、被写体距離Ｌに依らず移動量Ａ＝Ａ２が決定されるように、Ｓ１０２の処理を省略してもよい。 In S110, the CPU 201 determines (calculates) the final movement amount A=A1+A2 of the display range from the movement amount A1 determined in S102 and the movement amount A2 determined in any one of S106 to S109. In addition, if it is determined in advance that the amount of movement A1 = 0, for example, when observing only a long-distance object, the amount of movement A = A2 is determined regardless of the object distance L. , S102 may be omitted.

Ｓ１１１では、ＣＰＵ２０１は、Ｓ１１０で決定した移動量Ａで表示範囲を移動させる。 In S111, the CPU 201 moves the display range by the movement amount A determined in S110.

Ｓ１１２では、ＣＰＵ２０１は、操作部材１０８からの情報を監視し、電子双眼鏡１０の電源ＯＦＦを指示するユーザ操作が行われたか否かを判断する。電源ＯＦＦの指示があるまで、Ｓ１０１～Ｓ１１１の処理が繰り返され、電源ＯＦＦの指示があると、図１の処理フローが終了し、電子双眼鏡１０が停止する（電子双眼鏡１０の電源が切られる）。 In S112, the CPU 201 monitors information from the operating member 108 and determines whether a user operation to instruct the electronic binoculars 10 to be powered off has been performed. The processes of S101 to S111 are repeated until there is an instruction to turn off the power, and when there is an instruction to turn off the power, the process flow in FIG. 1 ends and the electronic binoculars 10 stop (the power to the electronic binoculars 10 is turned off). .

以上述べたように、実施例１によれば、検出された姿勢（電子双眼鏡１０（頭部）の姿勢）の変化量が所定量よりも小さい場合に、検出された視線に基づいては表示範囲の位置は制御されない。そして、検出された姿勢の変化量が所定量よりも大きい場合に、検出された視線に基づいて表示範囲の位置が制御される。これにより、観察範囲の意図せぬ変化を抑制することができると共に、ユーザに肉眼での観察に近い感覚（違和感のない又は少ない感覚）を与えることができる。 As described above, according to the first embodiment, when the amount of change in the detected posture (the posture of the electronic binoculars 10 (head)) is smaller than the predetermined amount, the display range is changed based on the detected line of sight. The position of is not controlled. Then, when the detected amount of change in posture is larger than a predetermined amount, the position of the display range is controlled based on the detected line of sight. Thereby, it is possible to suppress unintended changes in the observation range, and to provide the user with a sensation similar to observation with the naked eye (feeling no or little discomfort).

なお、図１の処理フローでの表示範囲の位置の制御とは別に、手ブレ補正のように、電子双眼鏡１０の揺れに基づいて表示範囲の位置が常に制御されてもよい。具体的には、電子双眼鏡１０の揺れによる表示方向の揺れを抑制するように、表示範囲の位置が常に制御されてもよい。電子双眼鏡１０の姿勢が変わらずに電子双眼鏡１０が前後上下左右に揺れることによる表示方向（表示位置（表示範囲に対応するカメラ１０１の撮像位置；例えば、表示範囲の中心位置に対応する被写***置））の揺れが抑制されてもよい。電子双眼鏡１０の姿勢の揺れによる表示方向の揺れが抑制されてもよい。それらの揺れの両方が抑制されてもよい。電子双眼鏡１０の揺れは、ジャイロセンサ１０６で検出されてもよいし、ジャイロセンサ１０６とは異なる部材（センサ）で検出されてもよい。電子双眼鏡１０の揺れの検出方法は特に限定されない。例えば、所定の周波数の揺れ（微振動）が検出され、当該揺れによる表示方向の揺れが抑制されてもよい。振動センサから出力された振れ信号（検出結果）に基づき、振れ信号の値が閾値未満の場合に振動（手ブレ）と判断され、振れ信号の値が閾値以上の場合に振動でない姿勢変化と判断されてもよい。特開２０１５－０７５６９７号公報などに記載された種々の技術を用いて、振動と、振動でない姿勢変化とを区別して検出できる。 Note that, in addition to controlling the position of the display range in the process flow of FIG. 1, the position of the display range may be constantly controlled based on the shaking of the electronic binoculars 10, like camera shake correction. Specifically, the position of the display range may be constantly controlled so as to suppress shaking in the display direction due to shaking of the electronic binoculars 10. Display direction (display position (imaging position of camera 101 corresponding to the display range; for example, subject position corresponding to the center position of the display range) due to the electronic binoculars 10 shaking back and forth, up and down, left and right without changing the posture of the electronic binoculars 10 ) may be suppressed. The shaking of the display direction due to the shaking of the posture of the electronic binoculars 10 may be suppressed. Both of those swings may be suppressed. The shaking of the electronic binoculars 10 may be detected by the gyro sensor 106, or may be detected by a member (sensor) different from the gyro sensor 106. The method for detecting shaking of the electronic binoculars 10 is not particularly limited. For example, shaking (microvibration) of a predetermined frequency may be detected, and shaking in the display direction due to the shaking may be suppressed. Based on the shake signal (detection result) output from the vibration sensor, if the shake signal value is less than the threshold value, it is determined to be a vibration (camera shake), and if the shake signal value is greater than the threshold value, it is determined to be a non-vibration posture change. may be done. Vibrations and posture changes that are not vibrations can be distinguished and detected using various techniques described in Japanese Patent Application Publication No. 2015-075697 and the like.

電子双眼鏡１０の揺れに基づく表示範囲の位置の制御の代わりに、カメラ１０１の撮像方向の制御が行われてもよい。具体的には、電子双眼鏡１０の揺れによる表示方向の揺れを抑制するように、撮像方向が制御されてもよい。 Instead of controlling the position of the display range based on the shaking of the electronic binoculars 10, the imaging direction of the camera 101 may be controlled. Specifically, the imaging direction may be controlled so as to suppress shaking in the display direction due to shaking of the electronic binoculars 10.

同様に、被写体距離Ｌに基づく表示範囲の位置の制御（移動量Ａ１での移動）の代わり
に、撮像方向の制御が行われてもよい。 Similarly, instead of controlling the position of the display range based on the subject distance L (movement by the movement amount A1), the imaging direction may be controlled.

また、パン方向へ表示範囲を移動させる制御方法は、チルト方向へ表示範囲を移動させる制御方法と異なってもよい。例えば、パン方向とチルト方向の一方への表示範囲の移動は行われず、図１の処理フローに従ってパン方向とチルト方向の他方へ表示範囲が移動されてもよい。 Furthermore, the control method for moving the display range in the pan direction may be different from the control method for moving the display range in the tilt direction. For example, the display range may not be moved in one of the panning direction and the tilting direction, but the display range may be moved in the other of the panning direction and the tilting direction according to the processing flow of FIG.

＜実施例２＞
以下、本発明の実施例２について説明する。実施例１では、電子双眼鏡１０（頭部）の姿勢の変化量が所定量よりも大きい場合に、電子双眼鏡１０の姿勢の変化方向と視線の変化方向との比較結果や視線の変化の有無に応じて処理を切り替えて、移動量Ａ２を決定する例を説明した。実施例２では、電子双眼鏡１０の姿勢の変化量が所定量よりも大きい場合に、電子双眼鏡１０の姿勢を考慮せずに、検出された視線に応じて移動量Ａ２を決定する例を説明する。なお、以下では、実施例１と異なる点（構成や処理など）について詳しく説明し、実施例１と同様の点については適宜説明を省略する。 <Example 2>
Example 2 of the present invention will be described below. In the first embodiment, when the amount of change in the posture of the electronic binoculars 10 (head) is larger than a predetermined amount, the comparison result between the direction of change in the posture of the electronic binoculars 10 and the direction of change in the line of sight and the presence or absence of a change in the line of sight is determined. An example has been described in which the moving amount A2 is determined by switching the processing accordingly. In the second embodiment, an example will be described in which, when the amount of change in the attitude of the electronic binoculars 10 is larger than a predetermined amount, the movement amount A2 is determined according to the detected line of sight without considering the attitude of the electronic binoculars 10. . Note that, below, points different from the first embodiment (such as configuration and processing) will be explained in detail, and explanations of the same points as the first embodiment will be omitted as appropriate.

図６は、実施例２に係る処理フロー（電子双眼鏡１０の処理フロー）を示すフローチャートであり、図１のフローチャートを変形したものである。図６において、図１と同じ処理には、図１と同じ符号が付されている。閾値よりも大きい変化量で姿勢が変化した場合（Ｓ１０４のＹＥＳ）はＳ２０１へ処理が進められ、Ｓ２０１の次にＳ１１０へ処理が進められる。Ｓ２０１では、ＣＰＵ２０１は、視線検出部１０７を用いてユーザの視線を検出し、検出した視線の方向に表示方向を合わせる移動量Ａ２を決定する。 FIG. 6 is a flowchart showing a processing flow (processing flow of the electronic binoculars 10) according to the second embodiment, and is a modification of the flowchart of FIG. 1. In FIG. 6, the same processing as in FIG. 1 is given the same reference numeral as in FIG. If the posture has changed by an amount of change greater than the threshold (YES in S104), the process proceeds to S201, and after S201, the process proceeds to S110. In S201, the CPU 201 detects the user's line of sight using the line of sight detection unit 107, and determines a movement amount A2 for aligning the display direction with the direction of the detected line of sight.

以上述べたように、実施例２においても、検出された姿勢（電子双眼鏡１０（頭部）の姿勢）の変化量が所定量よりも小さい場合に、検出された視線に基づいては表示範囲の位置は制御されない。そして、検出された姿勢の変化量が所定量よりも大きい場合に、検出された視線に基づいて表示範囲の位置が制御される。これにより、実施例１と同様の効果を得ることができる。 As described above, in the second embodiment, when the amount of change in the detected posture (the posture of the electronic binoculars 10 (head)) is smaller than the predetermined amount, the display range is changed based on the detected line of sight. Position is not controlled. Then, when the detected amount of change in posture is larger than a predetermined amount, the position of the display range is controlled based on the detected line of sight. Thereby, the same effects as in the first embodiment can be obtained.

なお、実施例１，２（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。 It should be noted that Examples 1 and 2 (including modified examples) are merely examples, and configurations obtained by appropriately modifying or changing the configurations of Examples 1 and 2 within the scope of the gist of the present invention. Included in the present invention. A configuration obtained by appropriately combining the configurations of Examples 1 and 2 is also included in the present invention.

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Examples>
The present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０：電子双眼鏡１０１：カメラ１０２，１０３：ディスプレイ
１０６：ジャイロセンサ１０７：視線検出部２０１：ＣＰＵ 10: Electronic binoculars 101: Camera 102, 103: Display 106: Gyro sensor 107: Line of sight detection unit 201: CPU

Claims

ユーザの頭部に固定して使用される表示装置であって、
撮像手段と、
前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段と、
前記表示装置の姿勢を検出する姿勢検出手段と、
前記表示手段に対する前記ユーザの視線を検出する視線検出手段と、
前記姿勢検出手段で検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出手段で検出された前記視線に基づいて前記表示範囲の位置を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記表示範囲の位置を制御する制御手段と、
を有することを特徴とする表示装置。 A display device that is used while being fixed to a user's head ,
an imaging means;
Display means for displaying a part of the image captured by the image capture means as a display range;
Attitude detection means for detecting the attitude of the display device;
line of sight detection means for detecting the line of sight of the user with respect to the display means;
When the amount of change in the posture detected by the posture detection means is smaller than a predetermined amount, the position of the display range is not controlled based on the line of sight detected by the line of sight detection means, and the posture is changed. control means for controlling the position of the display range based on the line of sight when the amount of change is greater than the predetermined amount;
A display device comprising:

前記制御手段は、前記姿勢の変化量が前記所定量よりも大きい場合に、前記姿勢の変化方向と逆方向の前記視線の変化があったならば、前記姿勢の変化による表示方向の変化が小さくなるように、前記表示範囲の位置を制御する
ことを特徴とする請求項１に記載の表示装置。 The control means is configured to control, when the amount of change in the posture is larger than the predetermined amount, if there is a change in the line of sight in a direction opposite to the direction of change in the posture, the change in the display direction due to the change in the posture is small. 2. The display device according to claim 1, wherein the position of the display range is controlled so that the display range is displayed.

前記制御手段は、前記姿勢の変化量が前記所定量よりも大きい場合に、前記姿勢の変化方向と同方向の前記視線の変化があったならば、前記姿勢の変化による表示方向の変化が大きくなるように、前記表示範囲の位置を制御する
ことを特徴とする請求項１または２に記載の表示装置。 When the amount of change in the posture is larger than the predetermined amount, the control means may control the display direction to be changed significantly due to the change in the posture if there is a change in the line of sight in the same direction as the direction of change in the posture. The display device according to claim 1 or 2, characterized in that the position of the display range is controlled so that the display range is adjusted so that the display range is controlled.

前記制御手段は、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線の方向に表示方向が合うように、前記表示範囲の位置を制御する
ことを特徴とする請求項１～３のいずれか１項に記載の表示装置。 3. The control means controls the position of the display range so that the display direction matches the direction of the line of sight when the amount of change in the posture is larger than the predetermined amount. The display device according to any one of the above.

前記撮像手段の焦点距離は変更可能であり、
前記制御手段は、前記焦点距離が所定距離よりも短い場合に、前記姿勢検出手段の検出結果と前記視線検出手段の検出結果とに基づいて前記表示範囲の位置を制御することはしない
ことを特徴とする請求項１～４のいずれか１項に記載の表示装置。 the focal length of the imaging means is changeable;
The control means is characterized in that when the focal length is shorter than a predetermined distance, the control means does not control the position of the display range based on the detection result of the posture detection means and the detection result of the line of sight detection means. The display device according to any one of claims 1 to 4.

前記撮像手段は、さらに、被写体距離を検出し、
前記制御手段は、さらに、検出された被写体距離に基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１～５のいずれか１項に記載の表示装置。 The imaging means further detects a subject distance,
The display device according to claim 1, wherein the control means further controls the position of the display range based on the detected object distance.

前記制御手段は、さらに、前記表示装置の揺れに基づいて前記表示範囲の位置を制御する
ことを特徴とする請求項１～６のいずれか１項に記載の表示装置。 The display device according to claim 1, wherein the control means further controls the position of the display range based on the shaking of the display device.

前記表示範囲は、パン方向とチルト方向に個別に移動可能である
ことを特徴とする請求項１～７のいずれか１項に記載の表示装置。 8. The display device according to claim 1, wherein the display range is movable individually in a panning direction and a tilting direction.

前記パン方向へ前記表示範囲を移動させる制御方法は、前記チルト方向へ前記表示範囲を移動させる制御方法と異なる
ことを特徴とする請求項８に記載の表示装置。 9. The display device according to claim 8, wherein a control method for moving the display range in the pan direction is different from a control method for moving the display range in the tilt direction.

前記表示装置は、ユーザ自身で頭部に固定しながら使用する表示装置、又は、ユーザの頭部に対してウェアラブルな表示装置である
ことを特徴とする請求項１～９のいずれか１項に記載の表示装置。 The display device is a display device that the user uses while fixing it to the user's head, or a display device that is wearable on the user's head.
The display device according to any one of claims 1 to 9.

撮像手段と、前記撮像手段によって撮像された画像の一部を表示範囲として表示する表示手段とを有し、ユーザの頭部に固定して使用される表示装置の制御方法であって、
前記表示装置の姿勢を検出する姿勢検出ステップと、
前記表示手段に対する前記ユーザの視線を検出する視線検出ステップと、
前記姿勢検出ステップで検出された前記姿勢の変化量が所定量よりも小さい場合に、前記視線検出ステップで検出された前記視線に基づいて前記表示範囲の位置を制御することはせず、前記姿勢の変化量が前記所定量よりも大きい場合に、前記視線に基づいて前記表示範囲の位置を制御する制御ステップと、
を有することを特徴とする制御方法。 A method for controlling a display device that is used while being fixed to a user's head, and includes an imaging device and a display device that displays a part of the image captured by the imaging device as a display range, the method comprising:
an attitude detection step of detecting an attitude of the display device;
a line of sight detection step of detecting the line of sight of the user with respect to the display means;
When the amount of change in the posture detected in the posture detection step is smaller than a predetermined amount, the position of the display range is not controlled based on the line of sight detected in the line of sight detection step, and the posture is changed. a control step of controlling the position of the display range based on the line of sight when the amount of change is larger than the predetermined amount;
A control method characterized by having the following.

コンピュータを、請求項１～１０のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the display device according to claim 1.