JP6023568B2 - Head-mounted device - Google Patents

Head-mounted device Download PDF

Info

Publication number
JP6023568B2
JP6023568B2 JP2012262920A JP2012262920A JP6023568B2 JP 6023568 B2 JP6023568 B2 JP 6023568B2 JP 2012262920 A JP2012262920 A JP 2012262920A JP 2012262920 A JP2012262920 A JP 2012262920A JP 6023568 B2 JP6023568 B2 JP 6023568B2
Authority
JP
Japan
Prior art keywords
display
user
display unit
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012262920A
Other languages
Japanese (ja)
Other versions
JP2014110474A (en
Inventor
三由 貴史
貴史 三由
英喜 長田
英喜 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012262920A priority Critical patent/JP6023568B2/en
Publication of JP2014110474A publication Critical patent/JP2014110474A/en
Application granted granted Critical
Publication of JP6023568B2 publication Critical patent/JP6023568B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、頭部装着型装置等に関係する。   The present invention relates to a head-mounted device or the like.

近年、頭部に装着して使用者の視界内に配置した表示部により、映像や画像(以下、単に画像と称する)を、使用者の瞳に向けて映し出す頭部装着型装置の開発が進んでいる。   2. Description of the Related Art In recent years, development of a head-mounted device that displays a video or an image (hereinafter simply referred to as an image) toward a user's pupil by a display unit that is mounted on the head and placed in the user's field of view has progressed. It is out.

例えば特許文献1において開示される頭部装着型装置は、このような頭部装着型装置にカメラ(撮像部)を設け、カメラで撮像した画像を表示部に表示する。これにより、使用者と同じ目線で画像を撮像しつつ、使用者が視線をほとんど移動させずに、撮像した画像を表示部にて確認することが可能になる。   For example, the head-mounted device disclosed in Patent Document 1 includes a camera (imaging unit) in such a head-mounted device, and displays an image captured by the camera on a display unit. This makes it possible to check the captured image on the display unit while the user is moving the line of sight while capturing the image with the same line of sight as the user.

また、他にも例えば特許文献2では、ウェアラブル装置に内蔵した加速度センサの情報に基づいて、表示している画像の表示位置を切り替えるウェアラブル装置が開示されている。   In addition, for example, Patent Document 2 discloses a wearable device that switches a display position of a displayed image based on information of an acceleration sensor built in the wearable device.

特開2008−67218号公報JP 2008-67218 A 米国特許第8184070号明細書U.S. Pat. No. 8,184,070

前述したように、従来の頭部装着型装置を用いる場合であっても、使用者が視線をほとんど移動させずに、画像を表示部にて確認することが可能である。しかし、そのためには、高度な制御装置が必要となるという問題があった。   As described above, even when a conventional head-mounted device is used, the user can check the image on the display unit without moving the line of sight. However, there is a problem that an advanced control device is required for that purpose.

また、使用者による頭部装着型装置の使用状況によっては、使用者が常に表示画像を確認したいと思う場合と、使用者が普段は表示画像を確認しないが、必要になった時にだけ、表示画像を確認したいと思う場合がある。   Also, depending on the usage status of the head-mounted device by the user, the user always wants to check the display image, and the user does not normally check the display image, but only when it is necessary You may want to check the image.

しかし、従来手法では、複雑な処理を行わずに、使用者の使用状況に応じて、表示画像の表示位置を変更することができなかった。   However, in the conventional method, the display position of the display image cannot be changed according to the use state of the user without performing complicated processing.

また、表示画像の虚像位置が同じ位置に固定されている場合、使用者が遠くの景色を見ている際と、使用者が近くの景色を見ている際の視点移動で、使用者の目は焦点位置を調整しながら表示画像と景色を見る必要があった。これにより、使用者に目の疲れを感じさせたり、距離感の混乱を招いたりする恐れがあった。   In addition, when the virtual image position of the display image is fixed at the same position, the user's eyes are moved by the viewpoint when the user is looking at a distant view and when the user is looking at a close view. Needed to see the display image and scenery while adjusting the focus position. As a result, the user may feel tired of the eyes and may cause a sense of distance.

本発明の幾つかの態様によれば、使用者の頭部装着型装置の使用状況に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて表示することができる頭部装着型装置等を提供することができる。   According to some aspects of the present invention, a head-mounted device capable of switching and displaying a display position of a display image or a virtual image position of a display image according to a use situation of a user's head-mounted device. Etc. can be provided.

本発明の一態様は、表示画像を使用者の視野範囲に表示する表示部と、前記使用者の頭部に装着可能な装着具に取り付けられ、前記表示部を支持する支持部と、を含み、前記表示部は、前記使用者に対する前記表示部の相対的な位置に基づいて、前記表示部の表示領域における前記表示画像の表示位置及び前記表示画像の距離方向の虚像位置のうちの少なくとも一つを切り替えて表示する頭部装着型装置に関係する。   One aspect of the present invention includes a display unit that displays a display image in a visual field range of a user, and a support unit that is attached to a wearing tool that can be mounted on the user's head and supports the display unit. The display unit is based on a relative position of the display unit with respect to the user, and is at least one of a display position of the display image and a virtual image position in the distance direction of the display image in the display area of the display unit. This relates to a head-mounted device that switches between two displays.

本発明の一態様では、使用者が使用状況に応じて表示部を移動させる。そして、表示部は、表示部本体の位置に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて、表示画像を表示する。   In one embodiment of the present invention, the user moves the display unit in accordance with a use situation. The display unit displays the display image by switching the display position of the display image or the virtual image position of the display image according to the position of the display unit main body.

よって、使用者の頭部装着型装置の使用状況に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて表示することが可能となる。   Therefore, the display position of the display image or the virtual image position of the display image can be switched and displayed according to the usage status of the user's head-mounted device.

また、本発明の一態様では、前記表示画像の表示モードの設定処理を行う表示モード設定部を含み、前記表示モード設定部は、前記表示部が前記使用者の視線方向に位置する正面視モード及び前記表示部が前記使用者の前記視線方向と異なる方向に位置する周辺視モードのうちのいずれかに、前記表示モードを設定する前記設定処理を行い、前記表示部は、前記使用者に対する前記表示部の相対的な位置及び設定されている前記表示モードに基づいて、前記表示部の前記表示領域における前記表示画像の前記表示位置及び前記表示画像の前記距離方向の虚像位置のうちの少なくとも一つを切り替えて表示してもよい。   Moreover, in one aspect of the present invention, the display mode setting unit includes a display mode setting unit that performs a display mode setting process of the display image, and the display mode setting unit includes a front view mode in which the display unit is positioned in the visual line direction of the user. And the display unit performs the setting process for setting the display mode in any one of peripheral vision modes located in a direction different from the line-of-sight direction of the user, and the display unit performs the setting for the user. Based on the relative position of the display unit and the set display mode, at least one of the display position of the display image and the virtual image position of the display image in the distance direction in the display area of the display unit. You may switch and display them.

これにより、表示部の位置だけでなく、使用者が通常見ている方向に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて表示すること等が可能になる。   Accordingly, it is possible to switch and display the display position of the display image or the virtual image position of the display image in accordance with not only the position of the display unit but also the direction in which the user is normally viewing.

また、本発明の一態様では、前記表示部は、前記表示モードが前記正面視モードに設定されている場合において、前記表示部が前記使用者の眼球正面に位置する場合には、第1の表示位置に前記表示画像を表示し、前記表示部が前記使用者の眼球前方下部方向に位置する場合には、第2の表示位置に前記表示画像を表示してもよい。   Moreover, in one aspect of the present invention, the display unit includes the first display unit when the display mode is set to the front view mode and the display unit is positioned in front of the user's eyeball. The display image may be displayed at a display position, and the display image may be displayed at a second display position when the display unit is positioned in the lower front direction of the user's eyeball.

これにより、表示部が位置する方向と同じ方向を使用者が通常時に見ている場合において、表示部が使用者の眼球正面に位置する時と、表示部が使用者の眼球前方下部方向に位置する時とで、表示画像の表示位置を変えること等が可能になる。   Thus, when the user is viewing the same direction as the direction in which the display unit is located at the normal time, the display unit is positioned in front of the user's eyeball, and the display unit is positioned in the lower front direction of the user's eyeball. It is possible to change the display position of the display image, etc.

また、本発明の一態様では、前記表示部は、前記表示モードが前記正面視モードに設定されている場合において、前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記第1の表示位置よりも下方の前記第2の表示位置に前記表示画像を表示してもよい。   In one aspect of the present invention, when the display unit is positioned in the front lower direction of the user when the display mode is set to the front view mode, The display image may be displayed at the second display position below the first display position.

これにより、例えば使用者が現在見ている景観と表示画像とを同時に見たい場合に、視線方向と同じ方向に表示画像を表示すること等が可能になる。   This makes it possible to display the display image in the same direction as the line-of-sight direction, for example, when the user wants to simultaneously view the landscape currently being viewed by the user and the display image.

また、本発明の一態様では、前記表示部は、前記表示モードが前記周辺視モードに設定されている場合において、前記表示部が前記使用者の眼球正面に位置する場合には、第3の表示位置に前記表示画像を表示し、前記表示部が前記使用者の眼球前方下部方向に位置する場合には、第4の表示位置に前記表示画像を表示してもよい。   In the aspect of the invention, the display unit may include a third display unit when the display mode is set to the peripheral vision mode and the display unit is positioned in front of the user's eyeball. When the display image is displayed at a display position and the display unit is positioned in the lower front direction of the user's eyeball, the display image may be displayed at a fourth display position.

これにより、表示部が位置する方向と異なる方向を使用者が通常時に見ている場合において、表示部が使用者の眼球正面に位置する時と、表示部が使用者の眼球前方下部方向に位置する時とで、表示画像の表示位置を変えること等が可能になる。   Accordingly, when the user is viewing the direction different from the direction in which the display unit is located at the normal time, when the display unit is positioned in front of the user's eyeball, the display unit is positioned in the lower front direction of the user's eyeball. It is possible to change the display position of the display image, etc.

また、本発明の一態様では、前記表示部は、前記表示モードが前記周辺視モードに設定されている場合において、前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記第3の表示位置よりも下方の前記第4の表示位置に前記表示画像を表示してもよい。   In one aspect of the present invention, when the display mode is set in the peripheral vision mode, the display unit is positioned in the lower front direction of the user's eyeball. The display image may be displayed at the fourth display position below the third display position.

これにより、例えば使用者が必要時にだけ表示画像を見たい場合に、視線方向よりも上部方向又は下部方向に表示画像を表示すること等が可能になる。   Accordingly, for example, when the user wants to view the display image only when necessary, the display image can be displayed in the upper direction or the lower direction than the line-of-sight direction.

また、本発明の一態様では、前記表示部は、前記表示モードが前記正面視モードに設定されている場合において、前記表示部が前記使用者の眼球正面に位置する場合には、前記虚像位置が第1の虚像位置である第1の表示画像を表示し、前記表示部が前記使用者の眼球前方下部方向に位置する場合には、前記虚像位置が第2の虚像位置である第2の表示画像を表示してもよい。   In the aspect of the present invention, the display unit may be configured such that when the display mode is set to the front view mode and the display unit is positioned in front of the user's eyeball, the virtual image position is set. Displays the first display image that is the first virtual image position, and the display unit is positioned in the lower front direction of the user's eyeball, the second virtual image position is the second virtual image position. A display image may be displayed.

これにより、表示部が位置する方向と同じ方向を使用者が通常時に見ている場合において、表示部が使用者の眼球正面に位置する時と、表示部が使用者の眼球前方下部方向に位置する時とで、表示画像の虚像位置を変えること等が可能になる。   Thus, when the user is viewing the same direction as the direction in which the display unit is located at the normal time, the display unit is positioned in front of the user's eyeball, and the display unit is positioned in the lower front direction of the user's eyeball. It is possible to change the virtual image position of the display image, etc.

また、本発明の一態様では、前記表示部は、前記表示モードが前記正面視モードに設定されている場合において、前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記距離方向の虚像位置が、前記第1の虚像位置よりも前記使用者に近い前記第2の虚像位置である前記第2の表示画像を表示してもよい。   In one aspect of the present invention, when the display unit is positioned in the front lower direction of the user when the display mode is set to the front view mode, The second display image in which the virtual image position in the distance direction is the second virtual image position closer to the user than the first virtual image position may be displayed.

これにより、表示部が位置する方向と同じ方向を使用者が通常時に見ている場合に、使用者が見ている景色と近い位置に表示画像が表示されているように、使用者に見せること等が可能になる。   As a result, when the user is looking in the same direction as the direction in which the display unit is located, it is shown to the user that the display image is displayed at a position close to the scenery that the user is viewing. Etc. becomes possible.

また、本発明の一態様では、前記表示部は、前記表示モードが前記周辺視モードに設定されている場合において、前記表示部が前記使用者の眼球正面に位置する場合には、前記虚像位置が第3の虚像位置である第3の表示画像を表示し、前記表示部が前記使用者の眼球前方下部方向に位置する場合には、前記虚像位置が第4の虚像位置である第4の表示画像を表示してもよい。   In the aspect of the present invention, the display unit may be configured such that when the display mode is set to the peripheral vision mode and the display unit is positioned in front of the user's eyeball, the virtual image position is set. Displays a third display image at the third virtual image position, and the display unit is positioned in the lower front direction of the user's eyeball, the fourth virtual image position is the fourth virtual image position. A display image may be displayed.

これにより、表示部が位置する方向と異なる方向を使用者が通常時に見ている場合において、表示部が使用者の眼球正面に位置する時と、表示部が使用者の眼球前方下部方向に位置する時とで、表示画像の虚像位置を変えること等が可能になる。   Accordingly, when the user is viewing the direction different from the direction in which the display unit is located at the normal time, when the display unit is positioned in front of the user's eyeball, the display unit is positioned in the lower front direction of the user's eyeball. It is possible to change the virtual image position of the display image, etc.

また、本発明の一態様では、前記表示部は、前記表示モードが前記周辺視モードに設定されている場合において、前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記距離方向の虚像位置が、前記第3の虚像位置よりも前記使用者から遠い前記第4の虚像位置である前記第4の表示画像を表示してもよい。   In one aspect of the present invention, when the display mode is set in the peripheral vision mode, the display unit is positioned in the lower front direction of the user's eyeball. The fourth display image in which the virtual image position in the distance direction is the fourth virtual image position farther from the user than the third virtual image position may be displayed.

これにより、表示部が位置する方向と異なる方向を使用者が通常時に見ている場合に、使用者が見ている景色と近い位置に表示画像が表示されているように、使用者に見せること等が可能になる。   As a result, when the user is looking in a different direction from the direction in which the display unit is located, it is shown to the user that the display image is displayed at a position close to the scenery that the user is viewing. Etc. becomes possible.

また、本発明の一態様では、前記表示部の位置を検出する検出部を含み、前記表示部は、前記表示部が前記使用者に対して相対的に移動したことを前記検出部が検出した場合には、前記表示部の前記表示領域における前記表示画像の前記表示位置及び前記表示画像の前記距離方向の虚像位置のうちの少なくとも一つを切り替えて表示してもよい。   Moreover, in one mode of the present invention, it includes a detection unit that detects the position of the display unit, and the display unit detects that the display unit has moved relative to the user. In this case, at least one of the display position of the display image and the virtual image position in the distance direction of the display image in the display area of the display unit may be switched and displayed.

これにより、例えば表示部の位置をユーザが頭部装着型装置に入力する手間を省くこと等が可能になる。   Thereby, for example, it is possible to save the user from inputting the position of the display unit to the head-mounted device.

また、本発明の一態様では、前記使用者の前方を撮像する撮像部を含み、前記表示部は、前記撮像部が撮像した撮像画像から生成される前記表示画像を表示してもよい。   Moreover, in 1 aspect of this invention, the imaging part which images the front of the said user may be included, and the said display part may display the said display image produced | generated from the captured image which the said imaging part imaged.

これにより、使用者と同じ目線で画像を撮像しつつ、使用者が視線をほとんど移動させずに、撮像した画像を表示部にて確認すること等が可能になる。   Accordingly, it is possible to check the captured image on the display unit while the user is moving the line of sight while capturing the image with the same line of sight as the user.

本発明の他の態様は、表示画像を使用者の視野範囲に表示する表示部と、前記使用者の頭部に装着可能な装着具に取り付けられ、前記表示部を支持する支持部と、を含み、前記表示部は、前記使用者が眼球正面方向を見ている場合には、虚像位置が第1の虚像位置である第1の表示画像を表示し、前記使用者が眼球前方の周辺を見ている場合には、前記虚像位置が第2の虚像位置である第2の表示画像を表示する頭部装着型装置に関係する。   According to another aspect of the present invention, a display unit that displays a display image in a user's visual field range, and a support unit that is attached to a mounting tool that can be mounted on the user's head and supports the display unit, And the display unit displays a first display image whose virtual image position is the first virtual image position when the user is looking in the front direction of the eyeball, and the user displays the periphery in front of the eyeball. When viewing, the present invention relates to a head-mounted device that displays a second display image in which the virtual image position is the second virtual image position.

これにより、使用者が見ている方向に応じて、表示画像の虚像位置を変えることが可能になる。   Thereby, the virtual image position of the display image can be changed according to the direction in which the user is looking.

また、本発明の他の態様では、前記表示部は、前記使用者が眼球前方の周辺を見ている場合には、前記虚像位置が、前記第1の虚像位置よりも前記使用者に近い前記第2の虚像位置である前記第2の表示画像を表示してもよい。   In another aspect of the present invention, the display unit is configured so that the virtual image position is closer to the user than the first virtual image position when the user is looking around the front of the eyeball. The second display image that is the second virtual image position may be displayed.

これにより、使用者が見ている景色と近い位置に表示画像が表示されているように、使用者に見せること等が可能になる。   As a result, the display image can be shown to the user as if the display image is displayed at a position close to the scenery the user is viewing.

第1の実施形態のシステム構成例。The system configuration example of 1st Embodiment. 図2(A)及び図2(B)は、第1の実施形態における頭部装着型装置の説明図。2A and 2B are explanatory diagrams of the head-mounted device in the first embodiment. 第1の実施形態の処理の流れを説明するフローチャート。The flowchart explaining the flow of a process of 1st Embodiment. 図4(A)及び図4(B)は、表示部本体の位置と第1の表示位置との説明図。4A and 4B are explanatory diagrams of the position of the display unit main body and the first display position. 図5(A)及び図5(B)は、表示部本体の位置と第2の表示位置との説明図。FIGS. 5A and 5B are explanatory diagrams of the position of the display unit main body and the second display position. 図6(A)及び図6(B)は、表示部本体の位置と第3の表示位置との説明図。6A and 6B are explanatory diagrams of the position of the display unit main body and the third display position. 図7(A)及び図7(B)は、表示部本体の位置と第4の表示位置との説明図。7A and 7B are explanatory diagrams of the position of the display unit main body and the fourth display position. 図8(A)及び図8(B)は、第2の実施形態における頭部装着型装置の説明図。FIG. 8A and FIG. 8B are explanatory diagrams of a head-mounted device in the second embodiment. 図9(A)〜図9(C)は、第2の実施形態における頭部装着型装置の支持部内部の説明図。FIG. 9A to FIG. 9C are explanatory diagrams of the inside of the support part of the head-mounted device according to the second embodiment. 図10(A)及び図10(B)は、第2の実施形態の回動時の支持部内部の説明図。FIG. 10A and FIG. 10B are explanatory views of the inside of the support portion during rotation according to the second embodiment. 第2の実施形態の処理の流れを説明するフローチャート。The flowchart explaining the flow of a process of 2nd Embodiment.

以下、第1の実施形態及び第2の実施形態について説明する。まず、各実施形態の背景と手法の概要をまとめて説明する。次に、実施形態毎にシステム構成例と手法、処理の流れを詳細に説明し、最後に変形例について説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。   Hereinafter, the first embodiment and the second embodiment will be described. First, the background of each embodiment and the outline of the method will be described together. Next, a system configuration example, a method, and a flow of processing will be described in detail for each embodiment, and finally a modified example will be described. In addition, each embodiment described below does not unduly limit the content of the present invention described in the claims. In addition, all the configurations described in the embodiments are not necessarily essential configuration requirements of the invention.

1.概要
近年、頭部に装着して使用者の視界内に配置した表示部により、映像や画像(以下、単に画像と称する)を、使用者の瞳に向けて映し出す頭部装着型装置の開発が進んでいる。
1. Overview In recent years, there has been a development of a head-mounted device that projects a video or an image (hereinafter simply referred to as an image) toward a user's pupil by a display unit that is mounted on the head and placed in the user's field of view. Progressing.

例えば、前述した特許文献1において開示される頭部装着型装置は、このような頭部装着型装置にカメラ(撮像部)を設け、カメラで撮像した画像を表示部に表示する。これにより、使用者と同じ目線で画像を撮像しつつ、使用者が視線をほとんど移動させずに、撮像した画像を表示部にて確認することが可能になる。つまり、頭部装着型装置を、いわゆるビューファインダーや視力補助装置として用いることができる。   For example, the head mounted device disclosed in Patent Document 1 described above includes a camera (imaging unit) in such a head mounted device, and displays an image captured by the camera on the display unit. This makes it possible to check the captured image on the display unit while the user is moving the line of sight while capturing the image with the same line of sight as the user. That is, the head-mounted device can be used as a so-called view finder or visual aid device.

また、他にも例えば前述した特許文献2では、ウェアラブル装置に内蔵した加速度センサの情報に基づいて、表示している画像の表示位置を切り替えるウェアラブル装置が開示されている。   In addition, for example, Patent Document 2 described above discloses a wearable device that switches a display position of a displayed image based on information of an acceleration sensor built in the wearable device.

このように、従来の頭部装着型装置を用いる場合であっても、景観を確認しつつ視線をほとんど移動せずに、表示部にて表示画像を確認することが可能である。しかし、そのためには、高度な制御装置が必要となるという問題があった。   As described above, even when a conventional head-mounted device is used, it is possible to confirm the display image on the display unit while moving the line of sight while confirming the landscape. However, there is a problem that an advanced control device is required for that purpose.

また、使用者による頭部装着型装置の使用状況によっては、使用者が常に表示画像を確認したいと思う場合と、使用者が普段は表示画像を確認しないが、必要になった時にだけ、表示画像を確認したいと思う場合がある。   Also, depending on the usage status of the head-mounted device by the user, the user always wants to check the display image, and the user does not normally check the display image, but only when it is necessary You may want to check the image.

例えば、使用者の前方の景観に重ねて表示部で情報を確認する場合には、使用者は、頭部装着型装置の表示部により、景観を視認しながら情報の確認を行いたいと思うことが多い。   For example, when confirming information on the display in front of the user, the user wants to confirm the information while viewing the landscape with the display of the head-mounted device. There are many.

また、机に向かって作業をしている時に、頭部装着型装置の表示部に作業手順を表す画像を表示させる場合には、目線をやや下げた状態で作業を行うため、使用者は、その方向にあわせて表示部を移動して、表示される情報を確認したいと思うことが多い。   In addition, when working toward the desk, when displaying an image representing the work procedure on the display unit of the head-mounted device, the user works with the eyes slightly lowered. In many cases, the user wants to check the displayed information by moving the display unit according to the direction.

さらに、街を歩いている時に、頭部装着型装置の表示部に街のナビ情報を表す画像を表示させる場合には、普段は表示画像が視界を妨げてしまうため、必要になった時にだけ、表示画像を確認したいと思うことが多い。   In addition, when you are walking in the city, when displaying an image representing the city navigation information on the display unit of the head-mounted device, the display image usually obstructs the field of view, so only when it is necessary I often want to check the displayed image.

しかし、従来手法では、複雑な処理を行わずに、使用者の使用状況に応じて、表示画像の表示位置を変更することができなかった。   However, in the conventional method, the display position of the display image cannot be changed according to the use state of the user without performing complicated processing.

そこで、以下で説明する第1の実施形態では、使用者の頭部装着型装置の使用状況と、表示部の位置とに応じて、表示部に表示する表示画像の位置を調整する。これにより、使用者が正面方向若しくは視線を下げた下方方向に表示画像を表示させたいか、又は、常に表示画像を視野の正面で閲覧したいか若しくは表示画像を視野周辺で閲覧したいかといった使用者のニーズに応じて、表示画像を表示する頭部装着型装置を実現することができる。   Therefore, in the first embodiment described below, the position of the display image displayed on the display unit is adjusted according to the usage status of the user's head-mounted device and the position of the display unit. As a result, the user wants to display the display image in the front direction or in the downward direction with a reduced line of sight, or always wants to view the display image in front of the field of view or to view the display image around the field of view. According to the needs, a head-mounted device that displays a display image can be realized.

また、表示画像の虚像位置が同じ位置に固定されている場合、使用者が遠くの景色を見ている際と、使用者が近くの景色を見ている際の視点移動で、使用者の目は焦点位置を調整しながら表示画像と景色を見る必要があった。これにより、使用者に目の疲れを感じさせたり、距離感の混乱を招いたりする恐れがあった。   In addition, when the virtual image position of the display image is fixed at the same position, the user's eyes are moved by the viewpoint when the user is looking at a distant view and when the user is looking at a close view. Needed to see the display image and scenery while adjusting the focus position. As a result, the user may feel tired of the eyes and may cause a sense of distance.

そこで、以下で説明する第2の実施形態では、使用者の頭部装着型装置の使用状況と、表示部の位置とに応じて、距離方向において虚像位置が異なる表示画像を表示部に表示する。これにより、使用者が見ている外界の景観までの距離とあたかも同じ距離があるように表示画像を表示することが可能になる。例えば、使用者が1km離れた山を見ていた場合には、その山までの距離と同じ距離があるように見えるように表示画像を表示する。また、30cm先の机上にある書類を見ている場合には、その書類までの距離と同じ距離があるように見えるように表示画像を表示する。その結果、使用者が表示画像を見る際に自身の目で焦点調整をしなくても済むようになり、使用者の目の疲れを軽減し、距離感の混乱を防ぐことができるようになる。   Therefore, in the second embodiment described below, display images having different virtual image positions in the distance direction are displayed on the display unit in accordance with the usage status of the user's head-mounted device and the position of the display unit. . Thereby, it becomes possible to display a display image as if it had the same distance as the distance to the scenery of the outside world which the user is seeing. For example, when the user is looking at a mountain that is 1 km away, the display image is displayed so as to appear to be the same distance as the distance to the mountain. When a document on a desk 30 cm ahead is being viewed, the display image is displayed so that it appears to be the same distance as the distance to the document. As a result, it becomes unnecessary for the user to adjust the focus with his / her eyes when viewing the display image, so that the user's eyes can be less tired and the distance can be confused. .

2.第1の実施形態
2.1 システム構成例
次に、図1に本実施形態の頭部装着型装置(頭部装着型撮像装置又は頭部装着型表示装置)の構成例を示す。
2. 1. First Embodiment 2.1 System Configuration Example Next, FIG. 1 shows a configuration example of a head-mounted device (head-mounted imaging device or head-mounted display device) according to the present embodiment.

頭部装着型装置100は、表示部110と、支持部120と、表示モード設定部130と、検出部140と、を含む。なお、頭部装着型装置100は、図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。   The head-mounted device 100 includes a display unit 110, a support unit 120, a display mode setting unit 130, and a detection unit 140. The head-mounted device 100 is not limited to the configuration shown in FIG. 1, and various modifications such as omitting some of these components or adding other components are possible. .

次に各部の接続について説明する。表示部110は、支持部120に取り付けられ、検出部140に接続されている。そして、表示モード設定部130は、表示部110に接続されている。さらに、検出部140は、表示部110と、表示モード設定部130とに接続されている。   Next, the connection of each part is demonstrated. The display unit 110 is attached to the support unit 120 and connected to the detection unit 140. The display mode setting unit 130 is connected to the display unit 110. Further, the detection unit 140 is connected to the display unit 110 and the display mode setting unit 130.

また、頭部装着型装置100は、装着具に取り付けられる。例えば、装着具は、図2(A)に示すような眼鏡GLであり、使用者の目の前方に保持されるレンズと、前端部がレンズの両側に接続され、後端部が使用者の耳に係止されるテンプル部と、を備える。なお、この装着具は、眼鏡型に限らず、頭部装着型装置を使用者の頭部に装着できるのであれば、他のいかなる構成としてもよい。具体的には、ヘルメット型やヘッドフォン型、帽子型、バンド型等の装着具などであってもよい。   The head-mounted device 100 is attached to a mounting tool. For example, the wearing tool is eyeglasses GL as shown in FIG. 2 (A), the lens held in front of the user's eyes, the front end is connected to both sides of the lens, and the rear end is the user's eye. And a temple portion locked to the ear. The wearing device is not limited to the eyeglass type, and may be any other configuration as long as the head wearing device can be worn on the user's head. Specifically, a helmet-type, headphone-type, hat-type, or band-type wearing tool may be used.

次に、頭部装着型装置100の各部で行われる処理について説明する。   Next, processing performed in each part of the head-mounted device 100 will be described.

まず、表示部110は、表示画像を使用者の視野範囲に表示する。例えば、表示部110(図2(A)のDS)は、液晶や有機EL等を用いた表示素子で表示する画像を、光学プリズムやレンズ、ミラー等の接眼光学系を用い、使用者の瞳に入射させる。このような表示部110の方式としては、ハーフミラー式や、ホログラム式、光学バー式等がある。   First, the display part 110 displays a display image in a user's visual field range. For example, the display unit 110 (DS in FIG. 2A) uses an eyepiece optical system such as an optical prism, a lens, or a mirror to display an image to be displayed on a display element using liquid crystal, organic EL, or the like. To enter. Examples of the display unit 110 include a half mirror type, a hologram type, and an optical bar type.

次に、支持部(筐体)120は、使用者の頭部に装着可能な装着具に取り付けられ、表示部110を支持する。例えば、支持部120は、図2(A)のように装着具のテンプル部に取り付けられる。   Next, the support unit (housing) 120 is attached to a mounting tool that can be mounted on the user's head, and supports the display unit 110. For example, the support part 120 is attached to the temple part of the wearing tool as shown in FIG.

そして、本実施形態の支持部120(図2(A)のSU)は、例えばスライド部SLを有する。   And the support part 120 (SU of FIG. 2 (A)) of this embodiment has the slide part SL, for example.

スライド部SLは、支持部120の前面に設けられ、アームを、レンズの表面に略平行な面内で並進可能に支持する。なお、このスライド部SLにおいては、図2(A)に示すように、アームの先端部が装着者眼球の正面前方に配置される位置と、図2(B)に示すように、アームの先端部が装着者眼球の下方の位置との間で、アームの移動範囲が規制される。なお、図2(A)の状態における使用者の眼球EYと表示部DSの位置関係は後述する図4(B)のようになり、図2(B)の状態では後述する図5(B)のような位置関係になる。図2(B)の表示部DSは、スライド部SLが下方にスライドしているため、図5(B)の矢印Y1で示すように、図4(B)よりも下方に位置している。   The slide portion SL is provided on the front surface of the support portion 120, and supports the arm so that it can translate in a plane substantially parallel to the surface of the lens. In this slide portion SL, as shown in FIG. 2 (A), the position where the tip of the arm is disposed in front of the wearer's eyeball and the tip of the arm as shown in FIG. 2 (B). The movement range of the arm is restricted between the portion and the position below the wearer's eyeball. Note that the positional relationship between the user's eyeball EY and the display unit DS in the state of FIG. 2A is as shown in FIG. 4B, which will be described later, and in the state of FIG. The positional relationship is as follows. The display portion DS in FIG. 2B is positioned below the position shown in FIG. 4B as indicated by an arrow Y1 in FIG. 5B because the slide portion SL slides downward.

そして、スライド部は、基端部から先端部に向けて延びるアームを有し、アームの基端部がスライドするように設けられる。   And a slide part has an arm extended toward a front-end | tip part from a base end part, and it is provided so that the base end part of an arm may slide.

このように、支持部120がスライド部を有する場合には、表示部110は、スライド部のアームの先端部に設けられる。   Thus, when the support part 120 has a slide part, the display part 110 is provided in the front-end | tip part of the arm of a slide part.

なお、スライド部は、眼球の回転中心と同一の回転軸に沿って表示部110が動くように構成されることが望ましい。さらに、使用者が常に表示画像を視認できるように、上下方向の表示画面の光軸が回動することが特に好ましい。   The slide unit is preferably configured such that the display unit 110 moves along the same rotation axis as the rotation center of the eyeball. Further, it is particularly preferable that the optical axis of the display screen in the vertical direction is rotated so that the user can always visually recognize the display image.

次に、検出部140は、表示部110の位置を検出する。例えば、図2(A)のように表示部110(DS)がスライド部SLの先端に設けられている場合には、検出部140は、スライド部SLのアームの先端部が装着者眼球の正面前方に配置されている状態(以下、アーム位置Aと呼ぶ)にあるか否か、先端部が装着者の前方下部位置(以下、アーム位置Bと呼ぶ)にあるか否かを検出し、その検出結果に応じた信号を、表示モード設定部130に出力する。   Next, the detection unit 140 detects the position of the display unit 110. For example, when the display unit 110 (DS) is provided at the tip of the slide portion SL as shown in FIG. 2A, the detection unit 140 has the tip of the arm of the slide portion SL in front of the wearer's eyeball. It is detected whether it is in a state of being placed in the front (hereinafter referred to as arm position A), and whether the tip is in the front lower position of the wearer (hereinafter referred to as arm position B). A signal corresponding to the detection result is output to the display mode setting unit 130.

このような検出部140としては、回転接点によるスイッチ、磁石とホール素子を用いたセンサ、エンコーダーやフォトインタラプタとスリットを用いた方式等を採用することができる。検出部140は、検出結果として、現在アームが2つの位置のいずれかに位置するかを出力してもよいし、連続値としてスライド範囲のどの位置にアームが位置するかを出力してもよい。   As such a detection unit 140, a switch using a rotating contact, a sensor using a magnet and a Hall element, a system using an encoder, a photo interrupter and a slit, or the like can be adopted. The detection unit 140 may output, as a detection result, whether the current arm is located at one of the two positions, or may output at which position in the slide range the arm is located as a continuous value. .

そして、表示モード設定部130は、使用者が眼球正面方向を見る正面視モード及び使用者が眼球前方の周辺を見る周辺視モードのうちのいずれかに、表示モードを設定する。   Then, the display mode setting unit 130 sets the display mode to either the front view mode in which the user looks at the front direction of the eyeball or the peripheral vision mode in which the user looks around the front of the eyeball.

また、頭部装着型装置100には、不図示の撮像部を設けてもよい。例えば撮像部は、使用者の前方を撮像し、支持部120の前面に撮像レンズが露出するよう設けられる。   Further, the head-mounted device 100 may be provided with an imaging unit (not shown). For example, the imaging unit is provided so that the front of the user is imaged and the imaging lens is exposed on the front surface of the support unit 120.

他にも不図示であるが、支持部120内には、例えば画像処理部と、記憶部と、入出力部を機能的に実現する電子基板と、バッテリとが内蔵されていてもよい。   Although not shown in the drawings, the support unit 120 may include, for example, an image processing unit, a storage unit, an electronic board that functionally implements an input / output unit, and a battery.

画像処理部では、撮像部の操作を行うためのグラフィカルユーザインタフェース(GUI)として用いる画像の生成処理や、外部から伝送された画像データや、記憶部に記憶された画像データに対する画像処理などを行う。画像処理部は、図示しない撮像部をオプションで持つ場合に撮影した撮像画像に対して画像処理を行い、その画像データを記憶部に記憶させる場合もある。また、記憶部は、表示部110に表示する表示画像や、データベースを記憶したり、表示モード設定部130や検出部140等のワーク領域となったりするもので、その機能はRAM等のメモリやHDDなどにより実現できる。   The image processing unit performs processing for generating an image used as a graphical user interface (GUI) for operating the imaging unit, image data transmitted from the outside, and image processing for image data stored in the storage unit. . The image processing unit may perform image processing on a captured image taken when an imaging unit (not shown) is optionally provided, and store the image data in the storage unit. The storage unit stores a display image to be displayed on the display unit 110 and a database, and serves as a work area for the display mode setting unit 130 and the detection unit 140. The function of the storage unit is a memory such as a RAM, It can be realized by an HDD or the like.

さらに、入出力部は、外部のコンピュータ装置等と、通信ケーブルまたは無線を介した通信により、画像処理部で所定の画像処理が施された画像の出力を行ったり、外部のコンピュータ装置等から出力される画像データの入力を受けたりする。   Further, the input / output unit outputs an image subjected to predetermined image processing in the image processing unit or outputs from an external computer device or the like by communication with an external computer device or the like via a communication cable or wirelessly. Receive input of image data.

なお、表示モード設定部130と検出部140等の機能は、各種プロセッサー(CPU等)、ASIC(ゲートアレイ等)、GPUなどのハードウェアや、プログラムなどにより実現できる。   Note that the functions of the display mode setting unit 130 and the detection unit 140 can be realized by hardware such as various processors (CPU or the like), ASIC (gate array or the like), GPU, or a program.

2.2 処理の詳細
以下、本実施形態の頭部装着型装置の動作について、図3のフローチャートを用いて説明する。
2.2 Details of Processing Hereinafter, the operation of the head-mounted device of the present embodiment will be described with reference to the flowchart of FIG.

まず、頭部装着型装置の電源をONにし(S101)、表示部の電源をONにする(S102)。   First, the head-mounted device is turned on (S101), and the display unit is turned on (S102).

次に、表示モードが正面視モードに設定されているか、周辺視モードに設定されているかを判断する(S103)。   Next, it is determined whether the display mode is set to the front view mode or the peripheral view mode (S103).

ここで、正面視モードとは、表示部が使用者の視線方向に位置する表示モードであり、周辺視モードとは、表示部が使用者の視線方向と異なる方向に位置する表示モードである。表示部が使用者の視線方向に位置するとは、使用者の眼球からの視線の延長線上に表示部が位置することをいう。   Here, the front view mode is a display mode in which the display unit is positioned in the user's line-of-sight direction, and the peripheral vision mode is a display mode in which the display unit is positioned in a direction different from the user's line-of-sight direction. The display unit being positioned in the user's line of sight means that the display unit is positioned on an extension of the line of sight from the user's eyeball.

また、正面視モードは、使用者の視線方向と略同じ方向に表示画像を表示する場合に設定される表示モードであり、周辺視モードは、使用者の視線方向と異なる方向に表示画像を表示する場合に設定される表示モードであるとも言うことができる。さらに言い換えれば、正面視モードは、使用者が視野範囲の中央付近で表示画像を閲覧したいと思う場合に設定される表示モードであり、周辺視モードは、使用者が視野範囲の周辺領域で表示画像を閲覧したいと思う場合に設定される表示モードである。   The front view mode is a display mode that is set when a display image is displayed in substantially the same direction as the user's line of sight. The peripheral view mode displays a display image in a direction different from the user's line of sight. It can also be said that the display mode is set in the case of. In other words, the front view mode is a display mode that is set when the user wants to view the display image near the center of the visual field range, and the peripheral vision mode is displayed in the peripheral region of the visual field range. This is the display mode that is set when you want to view images.

例えば、景観に重ねて表示画像を表示する場合などには、表示モードを正面視モードに設定する。   For example, when displaying a display image over a landscape, the display mode is set to the front view mode.

一方、机に向かって作業をしており、頭部装着型装置の表示部に作業手順を表す画像を視野の隅に参照表示させる場合や、街を歩いている時に、頭部装着型装置の表示部に街のナビ情報を表す画像を表示させる場合に景観に重なると煩わしい時などには、表示モードを周辺視モードに設定する。   On the other hand, when you are working toward a desk and you want to display an image representing the work procedure on the display section of the head-mounted device as a reference in the corner of the field of view, or when walking in the city, When displaying an image representing city navigation information on the display unit and when it is bothersome to overlap with the landscape, the display mode is set to the peripheral vision mode.

また、表示モードの設定は、例えば、頭部装着型装置に設けられた表示モード切り替えスイッチの使用者によるON/OFFや、眼底カメラセンサによる水晶体厚測定による眼球焦点位置の計測結果や、水晶体反射面像移動による水晶体厚の測定結果や、視線検出による正面視線及び下方視線の検出結果等に基づいて行う。   The display mode is set by, for example, ON / OFF of the display mode changeover switch provided in the head-mounted device, the measurement result of the eyeball focal position by the lens thickness measurement by the fundus camera sensor, or the lens reflection. This is performed based on the measurement result of the lens thickness by moving the surface image, the detection result of the front line of sight and the downward line of sight by line of sight detection, and the like.

次に、表示モードが正面視モードに設定されている場合には、表示部における表示画像の表示位置を検出する(S104)。   Next, when the display mode is set to the front view mode, the display position of the display image on the display unit is detected (S104).

そして、表示部の表示領域において表示画像を表示する位置を決定するために、検出部が表示部本体の位置を検出する(S105)。   And in order to determine the position which displays a display image in the display area of a display part, a detecting part detects the position of a display part main part (S105).

例えば、頭部装着型装置の表示部の表示画像により情報を使用者の前方遠方の景観に重ねて表示したい場合には、使用者の視線移動をできるだけ減らすために、表示画像も使用者の眼球正面方向に表示することが望ましい。本例ではこの場合に、使用者が表示部をスライド移動させて、使用者の眼球正面方向に移動させていると仮定する。   For example, when it is desired to display information superimposed on a distant view of the user using the display image of the display unit of the head-mounted device, the display image is also displayed on the user's eyeball in order to reduce the user's gaze movement as much as possible. It is desirable to display in the front direction. In this example, it is assumed in this case that the user slides the display unit and moves it in the direction of the front of the user's eyeball.

一方で、撮像部を用いて使用者の手元の景観を撮影し、頭部装着型装置の表示部に撮像画像を表示する場合には、前述した例とは逆に、表示画像も使用者の眼球前方下部方向に表示した方がよい。本例ではこの場合に、使用者が表示部をスライド移動させて、使用者の眼球前方下部方向に移動させていると仮定する。   On the other hand, when shooting a landscape of the user's hand using the imaging unit and displaying the captured image on the display unit of the head-mounted device, the display image is also the user's It is better to display in the lower front direction of the eyeball. In this example, in this case, it is assumed that the user slides the display unit and moves it toward the lower front of the user's eyeball.

以上の仮定を前提として、検出部がスライド部のアームの位置を表示部の位置として検出し、検出したアームの位置がアーム位置Aである場合には、表示部にアーム位置信号Aを出力する。そして、図4(A)に示すように、表示部が、表示部の表示領域DSの第1の表示位置AR1に表示画像を表示する(S106)。この時、使用者の眼球EYと表示部DSの位置関係は、図4(B)のようになっている。   Based on the above assumption, the detection unit detects the position of the arm of the slide unit as the position of the display unit, and outputs the arm position signal A to the display unit when the detected arm position is the arm position A. . Then, as shown in FIG. 4A, the display unit displays a display image at the first display position AR1 in the display area DS of the display unit (S106). At this time, the positional relationship between the user's eyeball EY and the display unit DS is as shown in FIG.

なお、表示部には、外部から受信した画像若しくは画像処理部で生成された画像の全体若しくは一部の領域を表示画像として表示する。   Note that the display unit displays the entire image or a part of the image received from the outside or the image generated by the image processing unit as a display image.

一方で、検出したアームの位置がアーム位置Bである場合には、表示部にアーム位置信号Bを出力する。そして、図5(A)に示すように、表示部が、表示部の表示領域DSの第2の表示位置AR2に表示画像を表示する(S107)。この時、使用者の眼球EYと表示部DSの位置関係は、図5(B)のようになっている。   On the other hand, when the detected arm position is the arm position B, the arm position signal B is output to the display unit. Then, as shown in FIG. 5A, the display unit displays a display image at the second display position AR2 of the display area DS of the display unit (S107). At this time, the positional relationship between the user's eyeball EY and the display unit DS is as shown in FIG.

また、表示モードが周辺視モードに設定されている場合にも、表示モードが正面視モードに設定されている場合と同様に、表示部における表示画像の表示位置を検出し(S108)、検出部が表示部本体の位置を検出する(S109)。表示部本体の位置に応じて、表示部の表示領域における表示画像の表示位置を切り替えることも同様に行う。   Also, when the display mode is set to the peripheral vision mode, the display position of the display image on the display unit is detected (S108), as in the case where the display mode is set to the front view mode (S108). Detects the position of the display unit body (S109). The display position of the display image in the display area of the display unit is similarly switched according to the position of the display unit main body.

例えば、使用者が机に向かって自分の手元を見ながら作業をしている時に、頭部装着型装置の表示部に作業手順を表す画像等を表示させる場合には、表示画像が使用者の視界を遮り、作業を妨害しないようにすることが望ましい。従って、表示画像は使用者が見ている眼球前方下部方向ではなく、眼球正面方向の位置に表示すべきである。本例ではこの場合に、使用者が表示部をスライド移動させて、使用者の眼球正面方向に移動させていると仮定する。   For example, when the user is working while looking at his / her hand to the desk, when displaying an image or the like representing the work procedure on the display unit of the head-mounted device, the display image is It is desirable to block the view and not interfere with the work. Therefore, the display image should be displayed at a position in the front direction of the eyeball, not in the lower front direction of the eyeball viewed by the user. In this example, it is assumed in this case that the user slides the display unit and moves it in the direction of the front of the user's eyeball.

一方で、街を歩いている時に、頭部装着型装置の表示部に街のナビ情報を表す画像を表示させる場合などには、使用者は普段は前方の景色を見ており、必要時にだけ表示部に表示されるナビ情報を見たいと考えることが多い。また、安全面からも、表示画像が使用者の視界を妨げることは好ましくない。そのため、使用者の視界を妨げない位置に表示画像を表示することが望ましく、結果的に使用者の安全を確保することにもなる。本例ではこの場合に、使用者が表示部をスライド移動させて、使用者の眼球前方下部方向に移動させていると仮定する。   On the other hand, when you are walking in the city, when displaying an image representing the city navigation information on the display unit of the head-mounted device, the user usually looks at the front view and only when necessary I often want to see the navigation information displayed on the display. In view of safety, it is not preferable that the display image interferes with the user's field of view. Therefore, it is desirable to display the display image at a position that does not hinder the user's field of view, and as a result, the safety of the user is ensured. In this example, in this case, it is assumed that the user slides the display unit and moves it toward the lower front of the user's eyeball.

以上の仮定を前提として、検出部がスライド部のアームの位置を表示部の位置として検出し、検出したアームの位置がアーム位置Aである場合には、表示部にアーム位置信号Aを出力する。そして、図6(A)に示すように、表示部が、表示部の表示領域DSの第3の表示位置AR3に表示画像を表示する(S110)。この時、使用者の眼球EYと表示部DSの位置関係は、図6(B)のようになっている。   Based on the above assumption, the detection unit detects the position of the arm of the slide unit as the position of the display unit, and outputs the arm position signal A to the display unit when the detected arm position is the arm position A. . Then, as shown in FIG. 6A, the display unit displays a display image at the third display position AR3 in the display area DS of the display unit (S110). At this time, the positional relationship between the user's eyeball EY and the display unit DS is as shown in FIG.

一方で、検出したアームの位置がアーム位置Bである場合には、表示部にアーム位置信号Bを出力する。そして、図7(A)に示すように、表示部が、表示部の表示領域DSの第4の表示位置AR4に表示画像を表示する(S111)。この時、使用者の眼球EYと表示部DSの位置関係は、図7(B)のようになっている。   On the other hand, when the detected arm position is the arm position B, the arm position signal B is output to the display unit. Then, as shown in FIG. 7A, the display unit displays the display image at the fourth display position AR4 in the display area DS of the display unit (S111). At this time, the positional relationship between the user's eyeball EY and the display unit DS is as shown in FIG.

そして、装置の電源がOFFか否かを判断し、電源がOFFにされている場合には、処理を終了し、ON状態のままである場合には、ステップS103の処理に戻る(S112)。以上が、本実施形態の処理の流れである。   Then, it is determined whether or not the apparatus is turned off. If the apparatus is turned off, the process is terminated. If the apparatus remains on, the process returns to step S103 (S112). The above is the processing flow of the present embodiment.

このように、本実施形態では、使用者が現在見ている景観と表示画像とを同時に見たい場合には、視線方向と同じ方向に表示画像を表示し、使用者が必要時にだけ表示画像を見たい場合には、視線方向と異なる方向に表示画像を表示する。これにより、使用者の視線移動をできるだけ減らしつつ、不要時には視界を妨げない位置に表示画像を表示することが可能となる。   As described above, in the present embodiment, when the user wants to simultaneously view the landscape currently being viewed and the display image, the display image is displayed in the same direction as the viewing direction, and the display image is displayed only when the user needs. When viewing is desired, the display image is displayed in a direction different from the viewing direction. This makes it possible to display the display image at a position that does not obstruct the field of view when it is unnecessary, while reducing the user's line-of-sight movement as much as possible.

3.第2の実施形態
3.1 システム構成例
次に、第2の実施形態に係る頭部装着型装置について説明する。なお、以下に説明する本実施形態においては、上記第1の実施形態と共通する構成については図中に同符号を付してその説明を省略する。
3. Second Embodiment 3.1 System Configuration Example Next, a head-mounted device according to a second embodiment will be described. Note that in the present embodiment described below, the same reference numerals are given to the components common to the first embodiment, and the description thereof is omitted.

まず、基本的な構成は、図1に示した第1の実施形態の構成と同様であるが、支持部120が回動機構(ピボット部)を有する点が第1の実施形態と異なる。その他の表示部110、表示モード設定部130、検出部140は、第1の実施形態と同様であるため、説明を省略する。   First, the basic configuration is the same as the configuration of the first embodiment shown in FIG. 1, but is different from the first embodiment in that the support portion 120 has a rotation mechanism (pivot portion). The other display unit 110, display mode setting unit 130, and detection unit 140 are the same as those in the first embodiment, and thus description thereof is omitted.

支持部120の回動機構(ピボット部)は、装着具に対して表示部110を回動させる。   The rotation mechanism (pivot unit) of the support unit 120 rotates the display unit 110 with respect to the wearing tool.

例えば、図8(A)に示すように、回動機構PBは、装着具GLのテンプル部を挟み込みつつ、支持部SUと接続されている。そして、図8(B)に示すように、回動機構PBを中心に、支持部SU全体を装着具GL(又は使用者)に対して回動させることができる。この時、支持部SUだけが回動し、装着具の位置は変わらない。そのため、このような回動動作により、使用者の眼球に対する表示部DSの位置を変えることができる。   For example, as shown in FIG. 8A, the rotation mechanism PB is connected to the support part SU while sandwiching the temple part of the wearing tool GL. And as shown in FIG.8 (B), the whole support part SU can be rotated with respect to the mounting tool GL (or user) centering | focusing on the rotation mechanism PB. At this time, only the support part SU rotates and the position of the wearing tool does not change. Therefore, the position of the display unit DS with respect to the user's eyeball can be changed by such a rotation operation.

支持部120の内部構造の具体例を、図9(A)を用いて説明する。図9(A)は、頭部装着型装置を真上から見た図である。図9(A)の頭部装着型装置は、支持部の内部に、回動機構PBと、表示素子DDと、表示素子DDをスライド移動させるガイド部GDと、回動機構PBとガイド部GDとを機械的に連結させるリンク機構LIと、を有する。そして、支持部の外部に表示部(接眼光学系)を備える光学バーBRと、頭部取り付けジグマウント部JMとを有する。なお、この頭部装着型装置を図9(A)と垂直な真横方向から見ると図9(B)に示すようになる。図9(B)のLTは、表示パネルと照明ユニットである。ただし、必ずしもこの構成に限定されない。なお、支持部が図9(B)の状態の時の使用者の眼球EYと表示部DSの位置関係は図9(C)のようになる。   A specific example of the internal structure of the support portion 120 will be described with reference to FIG. FIG. 9A is a view of the head-mounted device viewed from directly above. The head-mounted device in FIG. 9A includes a rotation mechanism PB, a display element DD, a guide part GD that slides the display element DD, a rotation mechanism PB, and a guide part GD. And a link mechanism LI for mechanically connecting the two. And it has optical bar BR provided with a display part (eyepiece optical system) outside the support part, and head attachment jig mount part JM. In addition, when this head-mounted device is viewed from the side direction perpendicular to FIG. 9A, it is as shown in FIG. 9B. LT in FIG. 9B is a display panel and a lighting unit. However, it is not necessarily limited to this configuration. The positional relationship between the user's eyeball EY and the display unit DS when the support unit is in the state of FIG. 9B is as shown in FIG.

そして、図10(A)のように、回動機構PBにより支持部を角度θだけ回動させると、支持部全体が装着具に対してθ°だけ傾く。さらに、この回動動作と連動して接眼光学系に対して表示素子DDが前後に直動し(図10(A)では、距離がdだけ変化している)、その結果として虚像位置が変わる。なお、支持部が図10(A)の状態の時の使用者の眼球EYと表示部DSの位置関係は図10(B)のようになる。図10(B)の表示部DSは、回動機構による回動のため、図10(B)の矢印Y3で示すように、図9(C)よりも下方に位置している。   Then, as shown in FIG. 10A, when the support portion is rotated by the angle θ by the rotation mechanism PB, the entire support portion is inclined by θ ° with respect to the wearing tool. Further, in conjunction with this turning operation, the display element DD moves back and forth with respect to the eyepiece optical system (the distance has changed by d in FIG. 10A), and as a result, the virtual image position changes. . The positional relationship between the user's eyeball EY and the display unit DS when the support unit is in the state shown in FIG. 10A is as shown in FIG. The display portion DS in FIG. 10B is positioned below the position in FIG. 9C as indicated by an arrow Y3 in FIG. 10B because of the rotation by the rotation mechanism.

3.2 処理の詳細
以下、本実施形態の頭部装着型装置の動作について、図11のフローチャートを用いて説明する。ステップS201〜S204及びS208、S212の動作は、図7のステップS101〜S104及びS108、S112と同様であるため、説明を省略する。
3.2 Details of Processing Hereinafter, the operation of the head-mounted device of the present embodiment will be described with reference to the flowchart of FIG. The operations in steps S201 to S204, S208, and S212 are the same as those in steps S101 to S104, S108, and S112 in FIG.

さて、前述した第1の実施形態においては、表示部の表示領域において表示画像を表示する位置を決定するために、検出部が表示部本体の位置を検出したが(図3のS105、S109)、本実施形態では、表示画像の虚像位置を決定するために、検出部が表示部本体の位置を検出する(S205、S209)。   In the first embodiment described above, the detection unit detects the position of the display unit main body in order to determine the display image display position in the display area of the display unit (S105 and S109 in FIG. 3). In this embodiment, the detection unit detects the position of the display unit main body in order to determine the virtual image position of the display image (S205, S209).

例えば、使用者が街を歩いている場合には、使用者が正面を見ているため、自然と遠くの景色を見ていることが多くなる。この際に、表示画像の虚像位置が使用者に近い場合には、使用者は前方の景色を見る際には遠くに焦点を合わせ、表示画像を見る際には近くに焦点を合わせる必要がある。その結果、使用者の目を疲労させたり、距離感を混乱させたりしてしまうことになる。従って、使用者が遠くの景色を見ている場合には、表示画像の虚像位置も遠い位置にすることが望ましい。このことは、表示モードが正面視モードに設定されている場合でも、表示モードが周辺視モードに設定されている場合においても同様である。   For example, when the user is walking in a city, the user is looking at the front, and therefore often sees a natural distant view. At this time, when the virtual image position of the display image is close to the user, the user needs to focus far when viewing the front view, and focus close when viewing the display image. . As a result, the user's eyes are fatigued or the sense of distance is confused. Therefore, when the user is looking at a distant view, it is desirable to set the virtual image position of the display image to a distant position. This is the same even when the display mode is set to the front view mode and when the display mode is set to the peripheral view mode.

一方で、使用者が机で作業をしている場合には、自分の手元を見ている場合がほとんどである。この際に、表示画像の虚像位置が使用者から遠い場合には、使用者は手元の作業状況を見る場合には近くに焦点を合わせ、表示画像を見る場合には遠くに焦点を合わせる必要がある。従って、使用者自身の目による焦点調整の機会をできるだけ減らすために、前述した場合とは逆に、使用者が近くの景色を見ている場合には、表示画像の虚像位置も使用者から近い位置にすることが望ましい。このことも、表示モードが正面視モードに設定されている場合でも、表示モードが周辺視モードに設定されている場合においても同様である。   On the other hand, when the user is working at a desk, the user is mostly looking at his / her hand. At this time, if the virtual image position of the display image is far from the user, the user needs to focus close when viewing the work situation at hand, and focus far when viewing the display image. is there. Therefore, in order to reduce the chance of focus adjustment by the user's own eyes as much as possible, the virtual image position of the display image is also close to the user when the user is looking at a nearby scene, contrary to the case described above. Position is desirable. This is the same even when the display mode is set to the front view mode and when the display mode is set to the peripheral view mode.

ただし、虚像位置を遠い位置にする場合でも、近い位置にする場合でも、表示モードが正面視モードに設定されている場合には、使用者が視野の中央付近で表示画像を閲覧したいと考えているため、使用者が表示部を回動させて、使用者の眼球正面方向に移動させていると仮定する。一方で、表示モードが周辺視モードに設定されている場合には、使用者が視野の周辺で表示画像を閲覧したいと考えているため、表示部を回動させて、使用者の眼球前方下部方向に移動させていると仮定する。   However, the user wants to view the display image near the center of the field of view when the display mode is set to the front view mode regardless of whether the virtual image position is far or near. Therefore, it is assumed that the user rotates the display unit and moves it in the front direction of the user's eyeball. On the other hand, when the display mode is set to the peripheral vision mode, the user wants to view the display image around the visual field. Assume that you are moving in the direction.

以上の仮定を前提として、表示モードが正面視モードに設定されている場合には、検出部が表示部本体の位置を検出する。そして、表示部が使用者の眼球正面方向に位置すると判断された場合に、表示部は、虚像位置が第1の虚像位置である第1の表示画像を表示する(S206)。一方で、表示部が使用者の眼球前方下部方向に位置すると判断された場合には、表示部は、虚像位置が第1の虚像位置よりも使用者に近い第2の虚像位置である第2の表示画像を表示する(S207)。   Based on the above assumption, when the display mode is set to the front view mode, the detection unit detects the position of the display unit main body. When it is determined that the display unit is positioned in the front direction of the user's eyeball, the display unit displays a first display image whose virtual image position is the first virtual image position (S206). On the other hand, when it is determined that the display unit is positioned in the lower front direction of the user's eyeball, the display unit is a second virtual image position whose virtual image position is closer to the user than the first virtual image position. Is displayed (S207).

一方で、表示モードが周辺視モードに設定されている場合も同様に、検出部が表示部本体の位置を検出する。そして、表示部が使用者の眼球正面方向に位置すると判断された場合には、表示部は、虚像位置が第3の虚像位置である第3の表示画像を表示する(S210)。一方で、表示部が使用者の眼球前方下部方向に位置すると判断された場合には、表示部は、虚像位置が第3の虚像位置よりも使用者から遠い第4の虚像位置である第4の表示画像を表示する(S211)。   On the other hand, when the display mode is set to the peripheral vision mode, the detection unit similarly detects the position of the display unit main body. When it is determined that the display unit is positioned in the front direction of the user's eyeball, the display unit displays a third display image whose virtual image position is the third virtual image position (S210). On the other hand, when it is determined that the display unit is positioned in the lower front direction of the user's eyeball, the display unit is a fourth virtual image position whose virtual image position is farther from the user than the third virtual image position. Is displayed (S211).

これにより、使用者が見ている景色と近い位置に表示画像が表示されているように見せることが可能になり、使用者が自身の目で頻繁に焦点調整を行わなくて済むようにすることが可能になる。   This makes it possible to make the display image appear as if it is close to the scenery the user is looking at, so that the user does not have to make frequent focus adjustments with their own eyes. Is possible.

4.手法のまとめ
次に、第1の実施形態及び第2の実施形態の手法についてまとめて説明する。
4). Summary of Methods Next, the methods of the first embodiment and the second embodiment will be described together.

以上の第1の実施形態及び第2の実施形態の頭部装着型装置100は、表示画像を使用者の視野範囲に表示する表示部110と、使用者の頭部に装着可能な装着具に取り付けられ、表示部110を支持する支持部120と、を含む。そして、表示部110は、使用者に対する表示部110の相対的な位置に基づいて、表示部110の表示領域における表示画像の表示位置及び表示画像の距離方向の虚像位置のうちの少なくとも一つを切り替えて表示する。   The head-mounted device 100 according to the first embodiment and the second embodiment described above is a display unit 110 that displays a display image in the visual field range of the user, and a mounting tool that can be mounted on the user's head. And a support unit 120 that is attached and supports the display unit 110. Then, the display unit 110 displays at least one of the display position of the display image and the virtual image position in the distance direction of the display image in the display area of the display unit 110 based on the relative position of the display unit 110 to the user. Switch to display.

本実施形態では、前述したように、使用者が使用状況に応じて表示部110を移動させる。そして、表示部110は、表示部110本体の位置に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて、表示画像を表示する。   In the present embodiment, as described above, the user moves the display unit 110 according to the use situation. Then, the display unit 110 displays the display image by switching the display position of the display image or the virtual image position of the display image according to the position of the display unit 110 main body.

よって、使用者の頭部装着型装置100の使用状況に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて表示することが可能となる。   Therefore, the display position of the display image or the virtual image position of the display image can be switched and displayed according to the usage status of the head-mounted device 100 of the user.

ここで、使用者に対する表示部110の相対的な位置とは、例えば、使用者の眼球に対する表示部110の相対位置のことをいう。   Here, the relative position of the display unit 110 with respect to the user refers to the relative position of the display unit 110 with respect to the user's eyeball, for example.

また、表示部110の表示領域とは、表示部において表示画像を表示可能な領域のことをいう。例えば、図4(A)のDSの領域である。   The display area of the display unit 110 refers to an area where a display image can be displayed on the display unit. For example, this is the DS region in FIG.

さらに、表示位置(表示範囲)とは、表示画像を実際に表示する位置のことをいう。表示位置は、表示部110の表示領域の全体であってもよいし、表示領域の一部の範囲であってもよい。例えば、図4(A)のAR1の範囲である。   Furthermore, the display position (display range) refers to a position where the display image is actually displayed. The display position may be the entire display area of the display unit 110 or a partial range of the display area. For example, it is the range of AR1 in FIG.

また、第1の実施形態及び第2の実施形態の頭部装着型装置100は、表示画像の表示モードの設定処理を行う表示モード設定部130を含んでもよい。そして、表示モード設定部130は、表示部110が使用者の視線方向に位置する正面視モード及び表示部110が使用者の視線方向と異なる方向に位置する周辺視モードのうちのいずれかに、表示モードを設定する設定処理を行ってもよい。さらに、表示部110は、使用者に対する表示部110の相対的な位置及び設定されている表示モードに基づいて、表示部110の表示領域における表示画像の表示位置及び表示画像の距離方向の虚像位置のうちの少なくとも一つを切り替えて表示してもよい。   The head-mounted device 100 according to the first embodiment and the second embodiment may include a display mode setting unit 130 that performs display image display mode setting processing. The display mode setting unit 130 may be either one of a front view mode in which the display unit 110 is positioned in the user's line-of-sight direction and a peripheral vision mode in which the display unit 110 is positioned in a direction different from the user's line-of-sight direction. A setting process for setting the display mode may be performed. Furthermore, the display unit 110 displays the display position of the display image in the display area of the display unit 110 and the virtual image position in the distance direction of the display image based on the relative position of the display unit 110 with respect to the user and the set display mode. At least one of them may be switched and displayed.

これにより、表示部110の位置だけでなく、使用者が通常見ている方向に応じて、表示画像の表示位置又は表示画像の虚像位置を切り替えて表示すること等が可能となる。   Thereby, not only the position of the display unit 110 but also the display position of the display image or the virtual image position of the display image can be switched and displayed according to the direction in which the user is normally viewing.

また、表示部110は、表示モードが正面視モードに設定されている場合において、表示部110が使用者の眼球正面に位置する場合には、第1の表示位置に表示画像を表示し、表示部110が使用者の眼球前方下部方向に位置する場合には、第2の表示位置に表示画像を表示してもよい。   In addition, when the display mode is set to the front view mode and the display unit 110 is positioned in front of the user's eyeball, the display unit 110 displays a display image at the first display position and displays the display image. When the unit 110 is positioned in the lower front direction of the user's eyeball, the display image may be displayed at the second display position.

ここで、第2の表示位置は、第1の表示位置とは異なる位置である。   Here, the second display position is a position different from the first display position.

また、使用者の眼球正面とは、使用者の顔の前方方向のことを言う。この方向は、使用者の視線方向とは別であり、使用者が同じ姿勢を取っている限りは、使用者の眼球正面は変わらない。例えば、使用者が地面に対して垂直に立っており、使用者の視線方向が地面に平行な方向である場合には、眼球正面も地面に平行な方向である。この場合に、使用者が姿勢を変えずに、視線方向だけを使用者の前方下部方向に変更した場合であっても、眼球正面は地面に平行な方向のままである。逆に、例えば使用者が直立した状態から仰向けに寝る姿勢を取った場合には、眼球正面は地面と垂直な方向になる。なお、眼球正面と同様に、眼球前方下部方向も使用者の視線方向とは独立した方向である。   Further, the front of the user's eye refers to the forward direction of the user's face. This direction is different from the user's line-of-sight direction, and as long as the user takes the same posture, the front of the user's eyeball does not change. For example, when the user stands perpendicular to the ground and the user's line of sight is parallel to the ground, the front of the eyeball is also parallel to the ground. In this case, the front of the eyeball remains in the direction parallel to the ground even when the user changes only the line-of-sight direction to the front lower direction without changing the posture. Conversely, for example, when the user takes a posture of sleeping on his back from an upright state, the front of the eyeball is in a direction perpendicular to the ground. As with the front of the eyeball, the lower front direction of the eyeball is also a direction independent of the direction of the user's line of sight.

これにより、表示部110が位置する方向と同じ方向を使用者が通常時に見ている場合において、表示部110が使用者の眼球正面に位置する時と、表示部110が使用者の眼球前方下部方向に位置する時とで、表示画像の表示位置を変えること等が可能になる。   Thus, when the user is viewing the same direction as the direction in which the display unit 110 is located at the normal time, when the display unit 110 is positioned in front of the user's eyeball, the display unit 110 is at the lower front of the user's eyeball. It becomes possible to change the display position of the display image depending on the position in the direction.

また、例えば、第1の表示位置は、図4(A)のAR1であり、第2の表示位置は、図5(A)のAR2である。   Further, for example, the first display position is AR1 in FIG. 4A, and the second display position is AR2 in FIG. 5A.

すなわち、表示部110は、表示モードが正面視モードに設定されている場合において、表示部110が使用者の眼球前方下部方向に位置する場合には、第1の表示位置よりも下方の第2の表示位置に表示画像を表示してもよい。   In other words, when the display mode is set to the front view mode and the display unit 110 is positioned in the lower front direction of the user's eyeball, the display unit 110 has a second lower position than the first display position. A display image may be displayed at the display position.

これにより、例えば使用者が現在見ている景観と表示画像とを同時に見たい場合に、視線方向と同じ方向に表示画像を表示すること等が可能になる。   This makes it possible to display the display image in the same direction as the line-of-sight direction, for example, when the user wants to simultaneously view the landscape currently being viewed by the user and the display image.

また、表示部110は、表示モードが周辺視モードに設定されている場合において、表示部110が使用者の眼球正面に位置する場合には、第3の表示位置に表示画像を表示し、表示部110が使用者の眼球前方下部方向に位置する場合には、第4の表示位置に表示画像を表示してもよい。   Further, when the display mode is set to the peripheral vision mode and the display unit 110 is positioned in front of the user's eyeball, the display unit 110 displays a display image at the third display position and displays the display image. When the unit 110 is positioned in the lower front direction of the user's eyeball, the display image may be displayed at the fourth display position.

ここで、第4の表示位置は、前述した第1の表示位置と第3の表示位置とは異なる位置である。ただし、第3の表示位置は、第1の表示位置と同じ表示位置であってもよく、第4の表示位置は、前述した第2の表示位置と同じ表示位置であってもよい。   Here, the fourth display position is a position different from the first display position and the third display position described above. However, the third display position may be the same display position as the first display position, and the fourth display position may be the same display position as the second display position described above.

これにより、表示部110が位置する方向と異なる方向を使用者が通常時に見ている場合において、表示部110が使用者の眼球正面に位置する時と、表示部110が使用者の眼球前方下部方向に位置する時とで、表示画像の表示位置を変えること等が可能になる。   As a result, when the user is viewing the direction different from the direction in which the display unit 110 is located at the normal time, when the display unit 110 is positioned in front of the user's eyeball, the display unit 110 is at the lower front of the user's eyeball. It becomes possible to change the display position of the display image depending on the position in the direction.

また、例えば、第3の表示位置は、図6(A)のAR3であり、第4の表示位置は、図7(A)のAR4である。   Further, for example, the third display position is AR3 in FIG. 6A, and the fourth display position is AR4 in FIG. 7A.

すなわち、表示部110は、表示モードが周辺視モードに設定されている場合において、表示部110が使用者の眼球前方下部方向に位置する場合には、第3の表示位置よりも下方の第4の表示位置に表示画像を表示してもよい。   That is, when the display mode is set to the peripheral vision mode and the display unit 110 is positioned in the lower front direction of the user's eyeball, the display unit 110 has a fourth lower position than the third display position. A display image may be displayed at the display position.

これにより、例えば使用者が必要時にだけ表示画像を見たい場合に、視線方向よりも上部方向又は下部方向に表示画像を表示すること等が可能になる。   Accordingly, for example, when the user wants to view the display image only when necessary, the display image can be displayed in the upper direction or the lower direction than the line-of-sight direction.

以上により、使用者の視線移動をできるだけ減らしつつ、不要時には視界を妨げない位置に表示画像を表示すること等が可能となる。   As described above, it is possible to display a display image at a position where the visual field is not obstructed when it is unnecessary, while reducing the user's line-of-sight movement as much as possible.

また、表示部110は、表示モードが正面視モードに設定されている場合において、表示部110が使用者の眼球正面に位置する場合には、虚像位置が第1の虚像位置である第1の表示画像を表示し、表示部110が使用者の眼球前方下部方向に位置する場合には、虚像位置が第2の虚像位置である第2の表示画像を表示してもよい。   In addition, when the display mode is set to the front view mode and the display unit 110 is positioned in front of the user's eyeball, the display unit 110 includes a first virtual image position that is the first virtual image position. When a display image is displayed and the display unit 110 is positioned in the lower front direction of the user's eyeball, a second display image whose virtual image position is the second virtual image position may be displayed.

これにより、表示部110が位置する方向と同じ方向を使用者が通常時に見ている場合において、表示部110が使用者の眼球正面に位置する時と、表示部110が使用者の眼球前方下部方向に位置する時とで、表示画像の虚像位置を変えること等が可能になる。   Thus, when the user is viewing the same direction as the direction in which the display unit 110 is located at the normal time, when the display unit 110 is positioned in front of the user's eyeball, the display unit 110 is at the lower front of the user's eyeball. The virtual image position of the display image can be changed depending on the position in the direction.

また、表示部110は、表示モードが正面視モードに設定されている場合において、表示部110が使用者の眼球前方下部方向に位置する場合には、距離方向の虚像位置が、第1の虚像位置よりも使用者に近い第2の虚像位置である第2の表示画像を表示してもよい。   When the display mode is set to the front view mode and the display unit 110 is positioned in the lower front direction of the user's eyeball, the display unit 110 has the virtual image position in the distance direction as the first virtual image. A second display image that is a second virtual image position closer to the user than the position may be displayed.

これにより、表示部110が位置する方向と同じ方向を使用者が通常時に見ている場合に、使用者が見ている景色と近い位置に表示画像が表示されているように、使用者に見せること等が可能になる。   Accordingly, when the user is viewing the same direction as the direction in which the display unit 110 is located at the normal time, the display image is displayed to the user so that the display image is displayed at a position close to the scenery the user is viewing. It becomes possible.

また、表示部110は、表示モードが周辺視モードに設定されている場合において、表示部110が使用者の眼球正面に位置する場合には、虚像位置が第3の虚像位置である第3の表示画像を表示し、表示部110が使用者の眼球前方下部方向に位置する場合には、虚像位置が第4の虚像位置である第4の表示画像を表示してもよい。   In addition, when the display mode is set to the peripheral vision mode and the display unit 110 is positioned in front of the user's eyeball, the display unit 110 has a third virtual image position whose virtual image position is the third virtual image position. When the display image is displayed and the display unit 110 is positioned in the lower front direction of the user's eyeball, a fourth display image whose virtual image position is the fourth virtual image position may be displayed.

これにより、表示部110が位置する方向と異なる方向を使用者が通常時に見ている場合において、表示部110が使用者の眼球正面に位置する時と、表示部110が使用者の眼球前方下部方向に位置する時とで、表示画像の虚像位置を変えること等が可能になる。   As a result, when the user is viewing the direction different from the direction in which the display unit 110 is located at the normal time, when the display unit 110 is positioned in front of the user's eyeball, the display unit 110 is at the lower front of the user's eyeball. The virtual image position of the display image can be changed depending on the position in the direction.

また、表示部110は、表示モードが周辺視モードに設定されている場合において、表示部110が使用者の眼球前方下部方向に位置する場合には、距離方向の虚像位置が、第3の虚像位置よりも使用者から遠い第4の虚像位置である第4の表示画像を表示してもよい。   Further, when the display mode is set to the peripheral vision mode and the display unit 110 is positioned in the lower front direction of the user's eyeball, the display unit 110 has the virtual image position in the distance direction as the third virtual image. A fourth display image that is a fourth virtual image position farther from the user than the position may be displayed.

これにより、表示部110が位置する方向と異なる方向を使用者が通常時に見ている場合に、使用者が見ている景色と近い位置に表示画像が表示されているように、使用者に見せること等が可能になる。   Accordingly, when the user is viewing a direction different from the direction in which the display unit 110 is located at a normal time, the display image is displayed to the user so that the display image is displayed at a position close to the scenery the user is viewing. It becomes possible.

以上により、使用者が自身の目で頻繁に焦点調整を行わなくて済むようにすること等が可能になる。   As described above, it is possible to prevent the user from frequently performing focus adjustment with his / her eyes.

また、第1の実施形態及び第2の実施形態の頭部装着型装置100は、表示部110の位置を検出する検出部140を含んでもよい。そして、表示部110は、表示部110が使用者に対して相対的に移動したことを検出部140が検出した場合には、表示部110の表示領域における表示画像の表示位置及び表示画像の距離方向の虚像位置のうちの少なくとも一つを切り替えて表示してもよい。   In addition, the head-mounted device 100 according to the first embodiment and the second embodiment may include a detection unit 140 that detects the position of the display unit 110. When the detection unit 140 detects that the display unit 110 has moved relative to the user, the display unit 110 displays the display position of the display image and the display image distance in the display area of the display unit 110. At least one of the virtual image positions in the direction may be switched and displayed.

これにより、例えば表示部110の位置をユーザが頭部装着型装置100に入力する手間を省くこと等が可能になる。   Thus, for example, it is possible to save the user from inputting the position of the display unit 110 to the head-mounted device 100.

また、第1の実施形態及び第2の実施形態の頭部装着型装置100は、使用者の前方を撮像する撮像部を含んでもよい。そして、表示部110は、撮像部が撮像した撮像画像から生成される表示画像を表示してもよい。   Further, the head-mounted device 100 of the first embodiment and the second embodiment may include an imaging unit that images the front of the user. The display unit 110 may display a display image generated from the captured image captured by the imaging unit.

これにより、使用者と同じ目線で画像を撮像しつつ、使用者が視線をほとんど移動させずに、撮像した画像を表示部110にて確認すること等が可能になる。   This makes it possible to check the captured image on the display unit 110 while the user moves the line of sight while capturing an image with the same line of sight as the user.

5.他の実施形態
また、前述した第2の実施形態では、表示部の位置に応じて、表示画像の虚像位置を変更したが、他の実施形態では、表示部の位置以外の情報に基づいて、表示画像の虚像位置を変更してもよい。
5). Other Embodiments In the second embodiment described above, the virtual image position of the display image is changed according to the position of the display unit. However, in other embodiments, based on information other than the position of the display unit, The virtual image position of the display image may be changed.

すなわち、他の実施形態の頭部装着型装置100は、表示画像を使用者の視野範囲に表示する表示部110と、使用者の頭部に装着可能な装着具に取り付けられ、表示部110を支持する支持部120と、を含む。そして、表示部110は、使用者が眼球正面方向を見ている場合には、虚像位置が第1の虚像位置である第1の表示画像を表示し、使用者が眼球前方の周辺を見ている場合には、虚像位置が第2の虚像位置である第2の表示画像を表示する。   That is, the head-mounted device 100 according to another embodiment is attached to a display unit 110 that displays a display image in a user's visual field range and a mounting tool that can be mounted on the user's head. And a support part 120 to support. When the user is looking at the front direction of the eyeball, the display unit 110 displays the first display image whose virtual image position is the first virtual image position, and the user looks at the periphery in front of the eyeball. If there is, the second display image whose virtual image position is the second virtual image position is displayed.

これにより、使用者が見ている方向に応じて、表示画像の虚像位置を変えることが可能になる。   Thereby, the virtual image position of the display image can be changed according to the direction in which the user is looking.

また、表示部110は、使用者が眼球前方の周辺を見ている場合には、虚像位置が、第1の虚像位置よりも使用者に近い第2の虚像位置である第2の表示画像を表示してもよい。   In addition, when the user is looking around the front of the eyeball, the display unit 110 displays a second display image in which the virtual image position is a second virtual image position that is closer to the user than the first virtual image position. It may be displayed.

これにより、使用者が見ている景色と近い位置に表示画像が表示されているように、使用者に見せること等が可能になる。   As a result, the display image can be shown to the user as if the display image is displayed at a position close to the scenery the user is viewing.

また、他の実施形態では、表示部の位置に応じて、画角の異なる表示画像を表示部に表示してもよい。   In another embodiment, display images having different angles of view may be displayed on the display unit according to the position of the display unit.

例えば、頭部装着型装置の使用者が街を歩いている時に、表示部を使用者の眼球正面方向に移動させている場合には、表示画像の画角を小さくして、使用者が肉眼では視認しにくい、遠くの景色を撮像して、撮像した画像を表示部に表示させてもよい。   For example, when the user of the head-mounted device is walking in the city, if the display unit is moved in the front direction of the user's eyeball, the angle of view of the display image is reduced and the user can Then, it is also possible to capture a distant view that is difficult to visually recognize and display the captured image on the display unit.

一方で、頭部装着型装置の使用者が街を歩いている時に、表示部を使用者の眼球前方下部方向に移動させている場合には、表示画像の画角を大きくして、使用者が下を向いている時には見えない正面から手元までの景色を幅広く撮像して、撮像した画像を表示部に表示させてもよい。   On the other hand, when the user of the head-mounted device is walking in the city, if the display unit is moved in the lower front direction of the user's eyeball, the angle of view of the display image is increased, and the user It is also possible to capture a wide range of scenes from the front to the hand that cannot be seen when facing down, and display the captured image on the display unit.

以上のように第1の実施形態及び第2の実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、頭部装着型装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。   As described above, the first embodiment and the second embodiment have been described in detail. However, it is easy for those skilled in the art that many modifications that do not substantially depart from the novel matters and effects of the present invention are possible. You can understand. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described at least once together with a different term having a broader meaning or the same meaning in the specification or the drawings can be replaced with the different term in any part of the specification or the drawings. Further, the configuration and operation of the head-mounted device are not limited to those described in this embodiment, and various modifications can be made.

100 頭部装着型装置、110 表示部、120 支持部、
130 表示モード設定部、140 検出部
100 head-mounted device, 110 display unit, 120 support unit,
130 display mode setting unit, 140 detection unit

Claims (12)

表示画像を使用者の視野範囲に表示する表示部と、
前記使用者の頭部に装着可能な装着具に取り付けられ、前記表示部を支持する支持部と、
前記表示画像の表示モードの設定処理を行う表示モード設定部と、
を含み、
前記表示モード設定部は、
前記表示部が前記使用者の視線方向に位置する正面視モード及び前記表示部が前記使用者の前記視線方向と異なる方向に位置する周辺視モードのうちのいずれかに、前記表示モードを設定する前記設定処理を行い、
前記表示部は、
前記使用者に対する前記表示部の相対的な位置及び設定されている前記表示モードに基づいて、前記表示部の表示領域における前記表示画像の表示位置及び前記表示画像の距離方向の虚像位置のうちの少なくとも一つを切り替えて表示することを特徴とする頭部装着型装置。
A display unit for displaying a display image in a user's visual field range;
A support unit attached to a mounting tool that can be mounted on the user's head and supporting the display unit;
A display mode setting unit for performing processing for setting a display mode of the display image;
Including
The display mode setting unit
The display mode is set to either the front view mode in which the display unit is positioned in the user's line-of-sight direction or the peripheral vision mode in which the display unit is positioned in a direction different from the user's line-of-sight direction. Perform the setting process,
The display unit
Based on the relative position of the display unit to the user and the set display mode , the display position of the display image in the display area of the display unit and the virtual image position in the distance direction of the display image A head-mounted device characterized by switching and displaying at least one.
請求項において、
前記表示部は、
前記表示モードが前記正面視モードに設定されている場合において、
前記表示部が前記使用者の眼球正面に位置する場合には、第1の表示位置に前記表示画像を表示し、
前記表示部が前記使用者の眼球前方下部方向に位置する場合には、第2の表示位置に前記表示画像を表示することを特徴とする頭部装着型装置。
In claim 1 ,
The display unit
In the case where the display mode is set to the front view mode,
When the display unit is located in front of the user's eyeball, the display image is displayed at a first display position;
A head-mounted device that displays the display image at a second display position when the display unit is positioned in a lower front direction of the user's eyeball.
請求項において、
前記表示部は、
前記表示モードが前記正面視モードに設定されている場合において、
前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記第1の表示位置よりも下方の前記第2の表示位置に前記表示画像を表示することを特徴とする頭部装着型装置。
In claim 2 ,
The display unit
In the case where the display mode is set to the front view mode,
When the display unit is positioned in the lower front direction of the user's eyeball, the display image is displayed at the second display position below the first display position. Wearable device.
請求項1乃至3のいずれかにおいて、
前記表示部は、
前記表示モードが前記周辺視モードに設定されている場合において、
前記表示部が前記使用者の眼球正面に位置する場合には、第3の表示位置に前記表示画像を表示し、
前記表示部が前記使用者の眼球前方下部方向に位置する場合には、第4の表示位置に前記表示画像を表示することを特徴とする頭部装着型装置。
In any one of Claims 1 thru | or 3 ,
The display unit
In the case where the display mode is set to the peripheral vision mode,
When the display unit is located in front of the user's eyeball, the display image is displayed at a third display position;
A head-mounted apparatus that displays the display image at a fourth display position when the display unit is positioned in a lower front direction of the user's eyeball.
請求項において、
前記表示部は、
前記表示モードが前記周辺視モードに設定されている場合において、
前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記第3の表示
位置よりも下方の前記第4の表示位置に前記表示画像を表示することを特徴とする頭部装着型装置。
In claim 4 ,
The display unit
In the case where the display mode is set to the peripheral vision mode,
When the display unit is positioned in the lower front direction of the eyeball of the user, the display image is displayed at the fourth display position below the third display position. Wearable device.
請求項1乃至5のいずれかにおいて、
前記表示部は、
前記表示モードが前記正面視モードに設定されている場合において、
前記表示部が前記使用者の眼球正面に位置する場合には、前記虚像位置が第1の虚像位置である第1の表示画像を表示し、
前記表示部が前記使用者の眼球前方下部方向に位置する場合には、前記虚像位置が第2の虚像位置である第2の表示画像を表示することを特徴とする頭部装着型装置。
In any one of Claims 1 thru | or 5 ,
The display unit
In the case where the display mode is set to the front view mode,
When the display unit is located in front of the user's eyeball, the first display image in which the virtual image position is the first virtual image position is displayed;
A head-mounted apparatus that displays a second display image in which the virtual image position is a second virtual image position when the display unit is positioned in the lower front direction of the user's eyeball.
請求項において、
前記表示部は、
前記表示モードが前記正面視モードに設定されている場合において、
前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記距離方向の虚像位置が、前記第1の虚像位置よりも前記使用者に近い前記第2の虚像位置である前記第2の表示画像を表示することを特徴とする頭部装着型装置。
In claim 6 ,
The display unit
In the case where the display mode is set to the front view mode,
When the display unit is positioned in the lower front direction of the eyeball of the user, the virtual image position in the distance direction is the second virtual image position closer to the user than the first virtual image position. A head-mounted device that displays a second display image.
請求項1乃至7のいずれかにおいて、
前記表示部は、
前記表示モードが前記周辺視モードに設定されている場合において、
前記表示部が前記使用者の眼球正面に位置する場合には、前記虚像位置が第3の虚像位置である第3の表示画像を表示し、
前記表示部が前記使用者の眼球前方下部方向に位置する場合には、前記虚像位置が第4の虚像位置である第4の表示画像を表示することを特徴とする頭部装着型装置。
In any one of Claims 1 thru | or 7 ,
The display unit
In the case where the display mode is set to the peripheral vision mode,
When the display unit is located in front of the user's eyeball, the virtual image position is a third display image that is a third virtual image position;
A head-mounted device that displays a fourth display image in which the virtual image position is a fourth virtual image position when the display unit is positioned in a lower front direction of the user's eyeball.
請求項において、
前記表示部は、
前記表示モードが前記周辺視モードに設定されている場合において、
前記表示部が前記使用者の前記眼球前方下部方向に位置する場合には、前記距離方向の虚像位置が、前記第3の虚像位置よりも前記使用者から遠い前記第4の虚像位置である前記第4の表示画像を表示することを特徴とする頭部装着型装置。
In claim 8 ,
The display unit
In the case where the display mode is set to the peripheral vision mode,
When the display unit is positioned in the lower front direction of the user's eyeball, the virtual image position in the distance direction is the fourth virtual image position farther from the user than the third virtual image position. A head-mounted device that displays a fourth display image.
請求項1乃至9のいずれかにおいて、
前記表示部の位置を検出する検出部を含み、
前記表示部は、
前記表示部が前記使用者に対して相対的に移動したことを前記検出部が検出した場合には、前記表示部の前記表示領域における前記表示画像の前記表示位置及び前記表示画像の前記距離方向の虚像位置のうちの少なくとも一つを切り替えて表示することを特徴とする頭部装着型装置。
In any one of Claims 1 thru | or 9 ,
A detection unit for detecting the position of the display unit;
The display unit
When the detection unit detects that the display unit has moved relative to the user, the display position of the display image in the display region of the display unit and the distance direction of the display image A head-mounted apparatus characterized by switching and displaying at least one of the virtual image positions.
請求項1乃至10のいずれかにおいて、
前記使用者の前方を撮像する撮像部を含み、
前記表示部は、
前記撮像部が撮像した撮像画像から生成される前記表示画像を表示することを特徴とする頭部装着型装置。
In any one of Claims 1 thru | or 10 .
Including an imaging unit for imaging the front of the user;
The display unit
A head-mounted apparatus that displays the display image generated from a captured image captured by the imaging unit.
表示画像を使用者の視野範囲に表示する表示部と、
前記使用者の頭部に装着可能な装着具に取り付けられ、前記表示部を支持する支持部と、
を含み、
前記表示部は、
前記使用者が眼球正面方向を見ている場合には、虚像位置が第1の虚像位置である第1の表示画像を表示し、
前記使用者が眼球前方の周辺を見ている場合には、前記虚像位置が、前記第1の虚像位置よりも前記使用者に近い第2の虚像位置である第2の表示画像を表示することを特徴とする頭部装着型装置。
A display unit for displaying a display image in a user's visual field range;
A support unit attached to a mounting tool that can be mounted on the user's head and supporting the display unit;
Including
The display unit
When the user is looking in the front direction of the eyeball, the first display image whose virtual image position is the first virtual image position is displayed,
When the user is looking around the front of the eyeball, a second display image is displayed in which the virtual image position is a second virtual image position closer to the user than the first virtual image position. A head-mounted device characterized by
JP2012262920A 2012-11-30 2012-11-30 Head-mounted device Active JP6023568B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012262920A JP6023568B2 (en) 2012-11-30 2012-11-30 Head-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012262920A JP6023568B2 (en) 2012-11-30 2012-11-30 Head-mounted device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016171766A Division JP6322241B2 (en) 2016-09-02 2016-09-02 Head-mounted device

Publications (2)

Publication Number Publication Date
JP2014110474A JP2014110474A (en) 2014-06-12
JP6023568B2 true JP6023568B2 (en) 2016-11-09

Family

ID=51030885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012262920A Active JP6023568B2 (en) 2012-11-30 2012-11-30 Head-mounted device

Country Status (1)

Country Link
JP (1) JP6023568B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6330258B2 (en) * 2013-05-15 2018-05-30 セイコーエプソン株式会社 Virtual image display device
JP6396155B2 (en) * 2014-09-30 2018-09-26 株式会社ゼンリンデータコム Information processing system, information processing method, and program
JP6459380B2 (en) * 2014-10-20 2019-01-30 セイコーエプソン株式会社 Head-mounted display device, head-mounted display device control method, and computer program
JP2016149587A (en) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 Head-mounted display, method for controlling the same, and control program
JP6195126B2 (en) * 2015-03-31 2017-09-13 ブラザー工業株式会社 Image display device
JP6751124B2 (en) * 2018-10-16 2020-09-02 株式会社東芝 Electronic device and display method
JP7055925B2 (en) * 2020-08-11 2022-04-18 株式会社東芝 Electronic devices and display methods
JP7245376B2 (en) * 2020-08-11 2023-03-23 株式会社東芝 Electronic equipment and display method
JP2024040035A (en) 2022-09-12 2024-03-25 富士フイルム株式会社 Processor, image processing device, glasses-type information display device, image processing method, and image processing program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1326120B1 (en) * 1993-08-12 2010-02-24 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
JPH08328512A (en) * 1995-05-26 1996-12-13 Canon Inc Head mounting type display device
JP2005107038A (en) * 2003-09-29 2005-04-21 Brother Ind Ltd Retina scanning and display device
JP5228307B2 (en) * 2006-10-16 2013-07-03 ソニー株式会社 Display device and display method
JP2011091789A (en) * 2009-09-24 2011-05-06 Brother Industries Ltd Head-mounted display
JP5119357B2 (en) * 2011-11-28 2013-01-16 オリンパス株式会社 Information display device

Also Published As

Publication number Publication date
JP2014110474A (en) 2014-06-12

Similar Documents

Publication Publication Date Title
JP6023568B2 (en) Head-mounted device
JP6573593B2 (en) Wearable device having input / output structure
US10114466B2 (en) Methods and systems for hands-free browsing in a wearable computing device
US10591735B2 (en) Head-mounted display device and image display system
US8976086B2 (en) Apparatus and method for a bioptic real time video system
JP2013258614A (en) Image generation device and image generation method
JPWO2014156146A1 (en) Electronic mirror device
CN112655202B (en) Reduced bandwidth stereoscopic distortion correction for fisheye lenses of head-mounted displays
JP2001211403A (en) Head mount display device and head mount display system
JP2019082891A (en) Head mounted display, display control method, and computer program
JP2023541092A (en) Display eyewear that allows you to adjust the camera direction
KR20140037730A (en) Wearable system for providing information
JP6015223B2 (en) Electronic device and display device
WO2016101861A1 (en) Head-worn display device
JP2017120488A (en) Display device, display system, control method of display device, and program
CN112578562A (en) Display system, display method, and recording medium
JP6740613B2 (en) Display device, display device control method, and program
JP2015007722A (en) Image display device
JP6322241B2 (en) Head-mounted device
JP2014022942A (en) Head-mounted device
US20200073621A1 (en) Systems, Devices, Components and Associated Computer Executable Code For Providing Remote Viewing of a Display Associated with a Computational Device
KR102563076B1 (en) Hybrid image output device for selectively use augmented reality and virtual reality
JP2016090853A (en) Display device, control method of display device and program
KR101992138B1 (en) Apparatus for displaying stereoscopic image
JP2014110473A (en) Head-mounted device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161007

R151 Written notification of patent or utility model registration

Ref document number: 6023568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250