JP6347067B2 - Eyeglass type display device - Google Patents
Eyeglass type display device Download PDFInfo
- Publication number
- JP6347067B2 JP6347067B2 JP2014005568A JP2014005568A JP6347067B2 JP 6347067 B2 JP6347067 B2 JP 6347067B2 JP 2014005568 A JP2014005568 A JP 2014005568A JP 2014005568 A JP2014005568 A JP 2014005568A JP 6347067 B2 JP6347067 B2 JP 6347067B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- light beam
- line
- distance
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Liquid Crystal (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、ユーザの眼の周辺に装着可能な眼鏡型表示装置に関する。 The present invention relates to a glasses-type display device that can be worn around a user's eyes.
従来、この種の眼鏡型表示装置としては、例えば下記の特許文献1に記載のヘッドマウントディスプレー装置(以下、HMD装置という)がある。このHMD装置は、まず、画像表示手段と、画像表示手段に表示された像をユーザの眼に導く観察用光学手段と、外界からの像を観察用光学手段の光路中に導入し、外界からの像を画像表示手段に表示された像に重ねて観察することを可能にするための光路合成手段と、ユーザの観察範囲内での注視点を検出して、注視点検出信号を出力する注視点検出手段と、を備えている。HMD装置はさらに、上記四手段を収納すると共に、ユーザの眼の周囲に固定可能に構成されたハウジングと、を有する表示部と、注視点検出信号に基づいて画像表示手段を制御する制御部と、を備えている。
Conventionally, as this type of eyeglass-type display device, for example, there is a head mounted display device (hereinafter referred to as an HMD device) described in
以上の通り、従来の眼鏡型表示装置では、画像表示手段に表示された像(つまり、投射装置からの所定の情報を表す像)に、外界からの像(つまり、ユーザ前方の景色を表す像)が重畳され、合成像としてユーザに提供される。しかし、ユーザの顔の形状および/または眼鏡型表示装置の装着の仕方により、各種パラメータが設計値と異なる場合がある。その結果、所定の情報がユーザ前方の景色の適切な位置に重畳されないことがあった。 As described above, in the conventional glasses-type display device, the image displayed on the image display means (that is, the image representing the predetermined information from the projection device) is replaced with the image from the outside (that is, the image representing the scenery in front of the user). ) Are superimposed and provided to the user as a composite image. However, various parameters may differ from design values depending on the shape of the user's face and / or the manner in which the glasses-type display device is worn. As a result, the predetermined information may not be superimposed at an appropriate position in the scene in front of the user.
それゆえに、本発明の目的は、ユーザの前方景色においてより適切な位置に所定の情報を重畳可能な眼鏡型表示装置を提供することである。 Therefore, an object of the present invention is to provide a glasses-type display device that can superimpose predetermined information at a more appropriate position in the user's forward scenery.
上記目的を達成するために、本発明の一局面は、眼鏡型表示装置に向けられており、ユーザの顔に装着可能に構成されたフレームと、前記ユーザ前方を撮影可能に前記フレームに設けられた第一撮影装置と、所定の情報を表す第一光束を投射可能に前記フレームに設けられた投射装置と、装着時に前記ユーザの眼前に配置可能に前記フレームに設けられた接眼光学系であって、前記投射装置からの第一光束と、前記ユーザ前方の景色を表す第二光束とが入射されると、前記景色上に前記所定の情報が重畳された第三光束を前記ユーザの眼に向けて出射可能に構成された接眼光学系と、前記ユーザの眼と前記接眼光学系との間の距離を第一距離として導出し、導出した第一距離に基づき、前記景色上における前記所定の情報が重畳される位置を調整する制御回路と、を備え、前記接眼光学系は、第一目印および第二目印を第一位置および第二位置に表す第四光束および第五光束を前記ユーザの眼に向けて出射し、前記制御回路は、前記第四光束および前記第五光束の出射後に前記ユーザの第一視線および第二視線を検出し、検出した第一視線および第二視線に基づき、前記ユーザの眼と前記接眼光学系との間の第一距離を導出する。
In order to achieve the above object, one aspect of the present invention is directed to a glasses-type display device, and is provided on the frame so as to be attached to a user's face and capable of photographing the front of the user. A first imaging device, a projection device provided on the frame so as to be able to project a first light beam representing predetermined information, and an eyepiece optical system provided on the frame so that it can be placed in front of the user's eyes when worn. When the first luminous flux from the projection device and the second luminous flux representing the scenery in front of the user are incident, the third luminous flux in which the predetermined information is superimposed on the scenery is applied to the user's eyes. A distance between the eyepiece optical system configured to be able to emit light toward the user and the eye of the user and the eyepiece optical system is derived as a first distance, and based on the derived first distance, the predetermined on the scene Where the information is superimposed And a control circuit for integer, the ocular optical system, and emitted to the fourth light flux and fifth light flux representing a first mark and the second mark in the first position and the second position in the eye of the user, The control circuit detects the user's first line of sight and the second line of sight after emission of the fourth light beam and the fifth light beam, and based on the detected first line of sight and second line of sight, the user's eyes and the eyepiece A first distance to the optical system is derived .
上記局面によれば、ユーザの前方景色においてより適切な位置に所定の情報を重畳可能となる。 According to the above aspect, it is possible to superimpose predetermined information at a more appropriate position in the user's forward scenery.
《カメラ座標系について》
本発明の各実施形態に係る眼鏡型表示装置1aの説明に先立ち、いくつかの図面に示されるX軸、Y軸、Z軸を定義する。X軸、Y軸およびZ軸は互いに直交する。Y軸は、標準ユーザが本眼鏡型表示装置1aを装着した状態で真正面を視た時の視線方向(つまり、前後方向)である。ここで、標準ユーザは、本眼鏡型表示装置1aを設計するために設定された仮想的なモデルである。X軸,Z軸は、同状態で真正面を視た時の左右方向(つまり、横方向)および上下方向を示す。
《Camera coordinate system》
Prior to the description of the eyeglass-type display device 1a according to each embodiment of the present invention, the X axis, the Y axis, and the Z axis shown in several drawings are defined. The X axis, the Y axis, and the Z axis are orthogonal to each other. The Y-axis is the line-of-sight direction (that is, the front-rear direction) when a standard user looks directly in front with the glasses-type display device 1a attached. Here, the standard user is a virtual model set in order to design the glasses-type display device 1a. The X axis and the Z axis indicate the left and right direction (that is, the horizontal direction) and the up and down direction when looking directly in front in the same state.
《第一実施形態》
図1および図2を参照して、眼鏡型表示装置1aの大略的な構成を説明する。眼鏡型表示装置1aは、フレーム2と、接眼光学系3と、投射装置4と、透明部材5と、第一および第二カメラ61,62と、操作器7と、を備えている。
<< first embodiment >>
With reference to FIG. 1 and FIG. 2, a schematic configuration of the glasses-type display device 1a will be described. The eyeglass-type display device 1 a includes a
フレーム2は、眼鏡型表示装置1aをユーザの眼の周辺に装着可能にする部材である。ここで、以下の説明では、眼鏡型表示装置1aをユーザが眼の周辺に装着した時のことを、単に、装着時と略記する。また、フレーム2は、例えば、右側および左側のテンプル21R,21Lと、右側および左側の蝶番22R,22Lと、ブリッジ23と、右側および左側の鼻パッド24R,24Lと、を備えている。
The
接眼光学系3は、一般的な眼鏡の右側レンズと類似した形状を有し、蝶番22Rの左端とブリッジ23の右端との間に固定される。また、接眼光学系3は、装着時に右眼前方に位置決めされる。この接眼光学系3は、前方の景色をユーザが視認可能にすべく、前方からの光束(つまり、ユーザの前方の景色を表す第二光束)を透過可能に構成される。
The eyepiece
投射装置4は、ユーザの前方視界を遮らないように、接眼光学系3の周縁に固定的に取り付けられる。図示した例では、投射装置4の取付位置は、接眼光学系3の上側の周縁である。しかし、取付位置は、上下左右のいずれの周縁でも構わない。かかる投射装置4は、接眼光学系3に対し、所定の情報を表す第一光束を投射する。ここで、所定の情報とは、典型的には、第一カメラ61から得られる第一画像信号から得られる対象物α(図5等を参照)であったり、操作器7に備わる制御回路72により生成された文字情報であったりする。
The projection device 4 is fixedly attached to the periphery of the eyepiece
ここで、図3は、図1の仮想線I−I’に沿う接眼光学系3および投射装置4の縦断面をX軸方向から見た時の縦断面図である。ここで、この縦断面は、YZ平面に概ね平行であるとする。以下、図1〜図3を参照して、投射装置4、接眼光学系3の順番でそれぞれの構成を詳説する。
Here, FIG. 3 is a longitudinal sectional view of the longitudinal sections of the eyepiece
投射装置4は、光源41と、集光レンズ42と、透過型表示パネル43と、を、筐体44内に備えている。光源41は、例えばLED(Light Emitting Diode)等であり、典型的には白色光を出射する。ここで、図3には破線にて光路が仮想的に示されている。集光レンズ42は、コンデンサレンズ等を含んでおり、光源41の出射光を集光し、概ね平行な光(以下、平行光という)にして出射する。透過型表示パネル43は、例えば、空間光変調素子LCDであって、集光レンズ42からの平行光が入射されると共に、上記所定の情報を制御回路72から受信する。透過型表示パネル43は、入射光を受信情報で変調して所定の情報を表す第一光束を生成し、接眼光学系3の上端面P1に向けて出射する。
The projection device 4 includes a
接眼光学系3は、透明部材31と、透明部材31と一体的に形成されたプリズム32およびホログラフィック光学素子(以下、HOEという場合がある)33と、を備えている。
The eyepiece
プリズム32は、例えばガラスまたは樹脂のような透明材料で作製され、例えばY軸方向に向かい合う前面P2および背面P3を有する。ここで、前面P2,背面P3はZX平面に概ね平行でY軸と直交するよう設計される。また、プリズム32は、接眼光学系3の上端面P1から下方向に延在している。この上端面P1から、透過型表示パネル43から出射された第一光束が、プリズム32の内部に入射される。入射光束は、前面P2および背面P3で全反射を繰り返してプリズム32の内部を下方に伝搬され、HOE33に向けて案内される。
The
HOE33は、薄い板状の基板上に形成されており、装着時に右眼前方に基板面が斜めに位置するように、プリズム32と透明部材31との間に設けられている。また、HOE33は、基板面に対して非平行な二種類の干渉縞からなるパターンを有する。
The
HOE33には、プリズム32内を伝搬してきた第一光束が入射される。HOE33は、上記干渉縞パターンの回折作用によって、入射光束を右眼に向けて回折し反射する。これによって、接眼光学系3は、ユーザに所定の情報を仮想的に表示することが可能となる。
The first light flux that has propagated through the
また、上記の通り、接眼光学系3は、前方景色を表す第二光束を透過可能に構成される。より具体的には、HOE33には、入射光束がHOE33で屈折しないように補正プリズム(図示せず)が接合されている。したがって、HOE33は、第二光束に対しては単なる平板ガラスとして働き、これによって、ユーザは前方景色を視認可能となる。
Moreover, as above-mentioned, the eyepiece
以上から明らかなように、ユーザは、接眼光学系3を介して、第二光束が表す前方景色に第一景色が表す所定の情報を合成した映像を右眼で視認することになる。
As is clear from the above, the user visually recognizes, with the right eye, an image in which predetermined information represented by the first scenery is combined with the forward scenery represented by the second light flux through the eyepiece
ここで、再度、図1を参照する。透明部材5は、一般的な眼鏡の左側レンズに類似した形状を有しており、左側の蝶番22Lの右端とブリッジ23の左端との間に固定されている。この透明部材5は、ユーザの前方視界を確保にすべく、前方からの光束を透過可能に構成されている。
Here, referring to FIG. 1 again. The transparent member 5 has a shape similar to that of a left lens of general glasses, and is fixed between the right end of the
第一カメラ61は、右側のテンプル21Rの右側面上に固定的に取り付けられている。ここで、第一カメラ61は、自身の光軸61aがY軸と略平行となるように、かつ、かつ標準ユーザの視点位置と同じY軸方向位置で撮像を行うように取り付けられる。第一カメラ61は、自身の視野内の景色を表す画像を所定のフレームレートで撮影して、第一映像信号として操作器7に送信する。
The
第二カメラ62は、右側の蝶番22Rの上面に固定的に取り付けられている。ここで、装着時に第二カメラ62が右眼を撮影可能となるように、第二カメラ62の光軸61aは右眼の方向を向くように設計される。以上の第二カメラ62は、必要に応じて、右眼の画像を所定のフレームレートで撮影して、第二映像信号として操作器7に送信する。
The
ここで、図1に加え図2を参照する。操作器7は、筐体に、ユーザによりマニュアル操作されるHMI(より具体的には、電源スイッチおよび操作ボタン等)71を備えている。また、操作器7は、筐体内に、制御回路72を備えている。この制御回路72は、少なくとも、通信インターフェース(図示は通信IF)73と、CPU74と、EEPROM75と、RAM76と、を備えている。
Reference is now made to FIG. 2 in addition to FIG. The operating device 7 includes an HMI 71 (more specifically, a power switch and operation buttons) 71 that is manually operated by a user. The operation device 7 includes a
通信IF73は、第一カメラ61、第二カメラ62およびHMI71からの各種情報を受信してCPU74に転送する。それに加えて、通信IF73は、CPU74からの各種情報を投射装置4に送信する。
The communication IF 73 receives various information from the
CPU74は、RAM76を作業領域として使いつつ、EEPROM75に予め格納されたプログラムに従って動作する。
The
ところで、「発明が解決しようとする課題」の欄における説明からも明らかな通り、個人差により装着時の右眼と接眼光学系3の間の距離が設計値と異なる場合、所定の情報が接眼光学系3における適切な位置に表示されない場合がある。
By the way, as is clear from the description in the column “Problems to be Solved by the Invention”, when the distance between the right eye and the eyepiece
《個人差を考慮しない場合》
以下、個人差を考慮しない場合の制御回路72の動作について、図4のフロー図を参照して説明する。この場合、ユーザの視点は本眼鏡型表示装置1aに対し設計通りの位置にある。つまり、ユーザ視点は標準ユーザの視点と同じ位置にある。ここで、説明の便宜のため、図5に示すように、装着時の標準ユーザの視点位置を既知のCとする。また、位置Cを通りかつ接眼光学系3の背面P3と略平行な面と、第一カメラ61の光軸61aとの交点の位置をAとする。また、対象物αの位置をBとする。また、本眼鏡型表示装置1aの各部から視点への距離を下記の通り例示する。
交点Aから視点CへのX軸方向距離(設計値)d:50mm
背面P3と視点Cとの間の距離(設計値)l(第一距離の一例):20mm
<When not considering individual differences>
Hereinafter, the operation of the
X-axis direction distance from intersection A to viewpoint C (design value) d: 50 mm
Distance (design value) 1 between back P3 and viewpoint C (an example of the first distance): 20 mm
まず、CPU74は、接眼光学系3に表示すべき対象物α(図5を参照)を検出する(図4:S01)。具体的には、CPU74は、第二カメラ62の第二映像信号を1フレーム分取得すると共に、第一カメラ61の第一映像信号を1フレーム分取得する。次に、CPU74は、周知の視線検出手法により、取得した第二映像信号(より具体的は、1フレーム)から視線ベクトルを検出する。次に、CPU74は、周知の注視点検出手法により、取得した第一映像信号が表す景色(つまり、画像)と、検出した視線ベクトルとが交差する注視点を特定する。次に、CPU74は、第一映像信号が表す景色において、特定した注視点に映っている対象物(つまり、被写体)αを特定すると共に、注視点の位置を対象物αの位置Bとして特定する。
First, the
ここで、図5において、点Cを通りかつ線分ABと平行な直線と、接眼光学系3の背面P3との交点をDとし、線分CBと背面P3との交点をEとする。△ABCと△CDEにおいて、平行線に対する錯角の関係から、∠CDE=∠BACの関係と、∠ACB=∠DECの関係が成り立つ。ここで、第一カメラ61を基準とする対象物αの方位と、視点Cを基準とする点Dの方位とは実質的に同じである。対象物αが非常に遠くにある場合には、第一映像信号から抽出した対象物αを接眼光学系3の位置Dに表示しても、ユーザは違和を感じない。しかし、対象物αが相対的に近くにある場合には、ユーザが視認する対象物αは位置Dの方向には存在しないため、図5上段に示すように、第一映像信号から抽出した対象物αを位置Dに表示すると、ユーザは違和を感じる。
Here, in FIG. 5, the intersection of the straight line passing through the point C and parallel to the line segment AB and the back surface P3 of the eyepiece
かかる違和は、第一カメラ61の位置とユーザの視点位置との視差に起因する。この視差を補正するために、CPU74は、第一映像信号から抽出した対象物αを点Eに表示するよう決定する。この点Eを表示位置とすると、図5下段に示すように、ユーザを基準とする実際の対象物αの方位と、ユーザを基準とする表示位置Eの方位とが一致するため、ユーザの違和感を低減できる。
Such discomfort is caused by the parallax between the position of the
点Eの位置を求めるために、CPU74は、S01で検出した対象物αから線分ACまでの光軸方向距離L(第二距離の一例)を検出し(図4:S02)、その後、L>Lrefを満たすか否かを判断する(図4:S03)。このLrefは、対象物αが遠くにあるか否かを評価するための基準値である。
In order to obtain the position of the point E, the
S03でYesと判断した場合、CPU74は交点Dの位置を求めて、第一映像信号から特定した対象物αの表示位置と決定する(図4:S04)。
When it is determined Yes in S03, the
それに対し、S03でNoと判断した場合、CPU74は、交点Eの位置を求めて、求めた位置を、第一映像信号から抽出した対象物αの表示位置と決定する(図4:S05)。より具体的には、交点Dと交点Eとの間の距離を視差aとすると、aは次式(1)より算出される。
a=l×d/L …(1)
On the other hand, when it is determined No in S03, the
a = 1 × d / L (1)
CPU74はさらに、S04と同様に交点Dの位置を求めた後、X軸正方向側に視差aだけ平行移動させて、点Eの位置を求める。ここで、本実施形態では、d=50mmで、l=20mmである。また、S02で得られたLがL=400mmとすると、aは、2.5mmとなる。
Further, the
S04またはS05の実行後、CPU74は、下記の表示制御を実行する(図4:S06)。具体的には、CPU74は、第一映像信号から抽出した対象物αを、S04またはS05で決定した位置Dまたは位置Eに表示可能な画像情報を、所定の情報の一例として生成する。CPU74は、生成した所定の情報を、投射装置4の透過型表示パネルに通信IF73を介して送信する。投射装置4では上記のような処理を実行する。その結果、接眼光学系3は、第二光束に第一光束を合成した第三光束を眼に向けて出射する。これにより、ユーザは、接眼光学系3を介して、前方景色に所定の情報を合成した画像を視認する。
After execution of S04 or S05, the
《個人差を考慮する場合》
次に、個人差を考慮する場合の制御回路72の動作について説明する。この場合、視点は設計通りの位置にないため、上述の視差aを適用することは好ましくない。よって、制御回路72は、所定のタイミング(例えば、ユーザが装着した時やユーザがHMI71に対し所定の操作をした場合)で、図6のフロー図の手順に従って、第一距離l’を求める。
《When considering individual differences》
Next, the operation of the
まず、CPU74は、図7上段に示すように、背面P3上の第一位置Fに第一目印β1を表示可能な第一画像信号を生成して、通信IF73を介して投射装置4に送信する。投射装置4は、第一画像信号を受信すると、背面P3上の第一位置Fに第一目印β1を表示する。つまり、投射装置4は、第一位置Fに第一目印β1を表した第四光束をユーザに出射し、これによって、注視することをユーザに促す。ユーザが注視した状態で、CPU74は、第二カメラ62の第二映像信号を1フレーム分取得し、その後、周知の視線検出手法により、取得した第二映像信号(より具体的は、1フレーム)から、ユーザの現在の視点と第一目印β1とを結ぶ第一視線ベクトルを検出する(図6:S11)。
First, as shown in the upper part of FIG. 7, the
次に、接眼光学系3は、上記と同様に、CPU74の制御下で、図7中段に示すように、第二位置Gに第二目印γ1を表した第四光束をユーザに出射し、これによって、第二目印γ1を注視するようユーザに促す。ここで、第二位置Gは、好ましくは、第一位置FからX軸方向に平行移動した位置である。ユーザが注視した状態で、CPU74は、第二カメラ62の第二映像信号から、ユーザの現在の視点から第二目印γ1に向かう第二視線ベクトルを検出する(図6:S12)。ここで、第一視線ベクトルおよび第二視線ベクトルの方向の基準は適宜適切に選択されれば構わない。本実施形態では、第一視線ベクトルおよび第二視線ベクトルの方向の基準は線分FGとする。
Next, as described above, the eyepiece
次に、CPU74は、S11およびS12で求めた二つの視線ベクトルの交点Hの位置を求め、その後、図7下段に示すように、求めた交点Hの位置から背面P3までの距離を第一距離(測定値)l’として求める(図6:S13)。ここで、交点Hは、ユーザが真正面を視た時の視点位置と実質的に均等である。また、第一距離l’は、交点Hから平面P3に下した垂線における、交点Hからこの垂線の足までの距離である。
Next, the
CPU74は、S13で求めた第一距離l’をEEPROM75に格納し(図6:S14)、図6の処理を終了する。
The
図6の終了後、CPU74は、図8のフロー図の手順に従って、所定の情報を接眼光学系3に表示する。以下、図8の処理手順を詳細に説明する。この場合、視点位置は、図9に示すように交点Hにあり、交点Hから背面P3までの第一距離l’は上述から明らかなようにEEPROM75に格納されている。また、後述の対象物αの位置を、便宜上、上述同様にBとする。また、本眼鏡型表示装置1aの各部に対する視点への距離を下記の通り例示する。
交点Aから交点HへのX軸方向距離(測定値)d:50mm
背面P3と交点Hとの間の第一距離(測定値)l’:26mm
After the end of FIG. 6, the
X-axis direction distance from intersection A to intersection H (measured value) d: 50 mm
First distance (measured value) l ′ between back surface P3 and intersection H: 26 mm
まず、CPU74は、図4のS01〜S03と同様の処理を行う(図8:S21〜S23)。
First, the
S23でYesと判断した場合、CPU74は、図4のS04と同様の処理を行って、対象物αの表示位置Dを決定する(図8:S24)。
When it is determined Yes in S23, the
S23でNoと判断した場合、CPU74は、EEPROM75に第一距離(測定値)l’が格納されているか否かを確認する(図8:S25)。
When it is determined No in S23, the
S25でNoと判断した場合、CPU74は、図4のS04と同様にして、表示位置Dを決定する(図8:S26)。
When it is determined No in S25, the
S25でYesと判断した場合、CPU74は、S27を実行する。S27において、CPU74は、まず、EEPROM75から第一距離(測定値)l’を読み出して、上式(1)中のlをl’に書き換えて、次式(2)に変更する。
a’=l’×d/L …(2)
CPU74はさらに、上式(2)にl’,dおよびLを代入して個人差を考慮した視差a’を近似的に求める。
When it is determined Yes in S25, the
a ′ = l ′ × d / L (2)
Further, the
CPU74はさらに、点Dの位置を求め、求めた点Dの位置からX軸正方向側に視差a’だけ平行移動させて、点E’の位置を求める(図8:S27)。ここで、本実施形態では、d=50mmで、l’=26mmである。また、S22で得られたLを400mmとすると、a’は、3.25mmとなる。
Further, the
S24,S26またはS27の実行後、CPU74は、下記の表示制御を実行する(図8:S28)。具体的には、CPU74は、第一映像信号から抽出した対象物αを、S24,S26またはS27で決定した点Dまたは点E’の位置に表示可能な画像情報を、所定の情報の一例として生成する。CPU74は、生成した所定の情報を、投射装置4に通信IF73を介して送信する。投射装置4では上記のような処理を実行する。その結果、接眼光学系3は、第二光束に第一光束を合成した第三光束を眼に向けて出射する。これにより、ユーザは、接眼光学系3を介して、前方景色に所定の情報を合成した画像を視認する。ここで、いずれの場合においても、所定の情報は、前方景色における対象物の殆ど同じ位置か近接して表示される。
After execution of S24, S26, or S27, the
《効果》
以上説明した通り、本眼鏡型表示装置1aによれば、個人差によりユーザの視点位置が設計値からY軸方向にずれたとしても、図6の処理により、第一距離(測定値)l’が算出される。そして、図8の処理により、第一距離(測定値)l’を用いて視差a’が算出される。これにより、ユーザ個々の視点位置に対応して所定の情報の表示位置をより好ましいものとすることができる。
"effect"
As described above, according to the glasses-type display device 1a, the first distance (measured value) l ′ can be obtained by the process of FIG. 6 even if the viewpoint position of the user is shifted from the design value in the Y-axis direction due to individual differences. Is calculated. Then, the parallax a ′ is calculated using the first distance (measured value) l ′ by the process of FIG. Thereby, the display position of the predetermined information can be made more preferable corresponding to the viewpoint position of each user.
また、本眼鏡型表示装置1aによれば、第一カメラ61の光軸61aは、標準ユーザが真正面を視た時の視線方向と略平行となっている。これによって、光軸61aと視線とのずれに起因する誤差を抑えて、より正しい位置に所定の情報を表示させることが可能となる。
Further, according to the glasses-type display device 1a, the optical axis 61a of the
また、本眼鏡型表示装置1aによれば、図6の処理を実行することにより、ユーザの現在の視点と接眼光学系3との間の第一距離l’を測定することが可能となる。
Further, according to the present glasses-type display device 1a, it is possible to measure the first distance l 'between the user's current viewpoint and the eyepiece
《第一変形例》
なお、接眼光学系3は、時間軸上で、第一位置への第一目印β1の表示と、第二位置への第二目印γ1の表示との間に、第三位置に第三目印を表示させても構わない。ここで、第三位置は、位置的に、第一位置および第二位置の間であることが好ましい。これにより、目印はあたかも第一位置から第三位置を経由して第二位置に移動するように視認される。このようにして、制御回路72は、第一位置から第二位置へのユーザの視線移動を促すことが可能となるため、より正確に第一距離l’を検出することが可能となる。
<First modification>
The eyepiece
《第二変形例》
また、上記実施形態では、第一目印および第二目印は単に接眼光学系3に表示されるとして説明した。しかし、第一目印および第二目印は、より目立つように、図10に例示するように、時間軸上で点灯・消灯を繰り返しても構わない。また、ある点灯時と別の点灯時に、第一目印および第二目印は輝度を変えて表示されても構わない。以上のような表示制御により、ユーザへの注視をより効果的に促すことが可能となる。
《Second modification》
In the above-described embodiment, the first mark and the second mark are described as being simply displayed on the eyepiece
《第三変形例》
次に、第三変形例に係る眼鏡型表示装置1bについて、図11および図12を参照して説明する。図11,図12において、眼鏡型表示装置1bは、図1,図2に示す眼鏡型表示装置1aと比較すると、構成面では、操作検出部81をさらに備える点で異なり、処理面では、第一距離l’を求める処理の一部が異なる点で異なる。それ以外に、両眼鏡型表示装置1a,1bの間に相違点は無い。それゆえ、図11,図12において、図1,図2の構成に相当するものには同一参照符号を付け、それぞれの説明を省略する。
《Third modification》
Next, an eyeglass-
操作検出部81は、例えば、ユーザによる所定の動作を検出するセンサであって、いわゆるタッチスクリーンまたは近接センサにより実現される。かかる操作検出部81は、本変形例の説明では、第一カメラ61の周面上に取り付けられる。ユーザが操作検出部81に指を近接させたり、操作検出部81を指で触れたりすると、操作検出部81は、ユーザが所定の動作を行ったことを示す信号を制御回路72に送信する。
The
次に、図13のフロー図を参照して、眼鏡型表示装置1bによる第一距離l’を求める際の動作について説明する。
Next, with reference to the flowchart of FIG. 13, an operation for obtaining the first distance l ′ by the glasses-
図13において、接眼光学系3は、CPU74の制御下で、図14上段に示すように、前述の第一位置F周辺に第一目印β2を表した第四光束をユーザに出射し、これによって、第一目印β2を注視するよう促す。第一目印β2は、ユーザの視線がさほど移動しない範囲内(第一位置Fの周辺)で移動するよう表示される。ここで、第一目印β2の一部が移動しても良いし、その全てが移動しても構わない。
In FIG. 13, under the control of the
ユーザは、第一目印β2を注視すると、操作検出部81に対し所定の動作を行う。これに応答して、操作検出部81は、検出信号を制御回路72に送信する。その後、CPU74は、ユーザが注視した状態で、周知の視線検出手法により、第二カメラ62の第二映像信号から、ユーザ視点から第一目印β2に向かう第一視線ベクトルを検出する(図13:S31)。
When the user gazes at the first mark β2, the user performs a predetermined operation on the
次に、接眼光学系3は、CPU74の制御下で、図14下段に示すように、前述の第二位置G周辺に第二目印γ2を表した第四光束をユーザに出射し、これによって、第二目印γ2を注視するようユーザに促す。ユーザが注視した状態で、CPU74は、第二カメラ62の第二映像信号から、ユーザの現在の視点から第二目印γ2に向かう第二視線ベクトルを検出する(図13:S32)。
Next, under the control of the
以降、CPU74は、図6のS13,S14と同様にして第一距離l’を測定する(図13:S33,S34)。
Thereafter, the
以上説明したように、本変形例によれば、眼鏡型表示装置1bが操作検出部81を備え、制御回路72が操作検出部81の検出信号を受信してから、第一視線および第二視線を検出することで、より正確な第一視線および第二視線を検出することが可能となる。
As described above, according to this modification, the eyeglass-
《第四変形例》
なお、上記第三変形例では、第一目印β2および第二目印γ2は背面P3上で移動するとして説明した。しかし、これに限らず、図15に示すように、第一目印β2および第二目印γ2の色を時間経過により変化させても構わない。より具体的には、色は連続的または非連続的に変化させられる。また、他にも、図16に示すように、第一目印β2および第二目印γ2の形状を時間経過により変化させても構わない。さらに他にも、第一目印β2および第二目印γ2のそれぞれについて濃度または輝度を変化させても構わない。以上のような表示制御により、ユーザへの注視をより効果的に促すことが可能となる。
《Fourth modification》
In the third modification, the first mark β2 and the second mark γ2 are described as moving on the back surface P3. However, the present invention is not limited to this, and as shown in FIG. 15, the colors of the first mark β2 and the second mark γ2 may be changed over time. More specifically, the color is changed continuously or discontinuously. In addition, as shown in FIG. 16, the shapes of the first mark β2 and the second mark γ2 may be changed over time. In addition, the density or brightness may be changed for each of the first mark β2 and the second mark γ2. With the display control as described above, it is possible to more effectively prompt the user to pay attention.
《付記1》
以上の説明では、所定の情報は、第一カメラ61から得られる第一画像信号から得られる対象物αであるとして説明した。しかし、これに限らず、所定の情報は、前述の通り、制御回路72により生成された文字情報(詳細は後述)であっても構わない。ここで、文字情報の生成手法に関しては、例えば特開2006−309314に詳しく記載されているため、ここでは、これ以上の説明を控える。
<<
In the above description, the predetermined information has been described as the object α obtained from the first image signal obtained from the
《付記2》
また、以上の説明では、第一目印および第二目印に関し、複数の表示制御について説明した。第一目印および第二目印の表示制御に関しては、上記複数の表示制御のうち、少なくとも二種類以上を組み合わせても構わない。
<<
In the above description, a plurality of display controls have been described with respect to the first mark and the second mark. Regarding the display control of the first mark and the second mark, at least two kinds of the plurality of display controls may be combined.
《付記3》
また、図6および図13の処理において、制御回路72は、検出した第一視線ベクトルおよび第二視線ベクトルが一定時間以上、第一目印および第二目印の方向に留まっているか否かを判断し、留まっていると判断した場合に、検出した第一視線ベクトルおよび第二視線ベクトルを第一距離l’の算出に用いるものと確定するようにしても構わない。これにより、さらに正確に第一距離l’を求めることが可能となる。
<<
6 and 13, the
《付記4》
以上の説明では、HMI71および制御回路72は、投射装置4と有線により接続された操作器7に備わるとして説明した。しかし、これに限らず、HMI71および制御回路72は投射装置4に備わっていても構わない。
<< Appendix 4 >>
In the above description, the
《付記5》
以上の説明では、接眼光学系3は、HOE33を備えるとして説明した。しかし、これに限らず、接眼光学系3は、HOE33に代えてハーフミラーにより、HOE33と同等の機能を実現しても構わない。
<< Appendix 5 >>
In the above description, the eyepiece
《第二実施形態》
次に、第二実施形態に係る眼鏡型表示装置1cについて、図17〜図20を参照して説明する。まず、本眼鏡型表示装置1cは、前述の眼鏡型表示装置1aと比較すると、構成面で相違点は無く、第一距離l’に加え、ユーザ視点から第一カメラ61へのX軸方向距離である第三距離d’を考慮した視差a”を算出する点で相違する。それ以外に相違点は無いので、以下の説明では、図1〜図3を援用する。
<< Second Embodiment >>
Next, the eyeglass-type display device 1c according to the second embodiment will be described with reference to FIGS. First, the present glasses-type display device 1c has no structural difference compared to the above-described glasses-type display device 1a, and in addition to the first distance l ′, the distance from the user viewpoint to the
《個人差を考慮しない場合》
本眼鏡型表示装置1cは、個人差を考慮しない場合、前述の眼鏡型表示装置1aと同様の処理を行うため、その説明を控える。
<When not considering individual differences>
When the eyeglass-type display device 1c does not consider individual differences, the same processing as that of the eyeglass-type display device 1a described above is performed, and a description thereof is omitted.
《個人差を考慮する場合》
次に、個人差を考慮する場合の制御回路72の動作について説明する。この場合、視点は設計通りの位置にないため、前述の視差aを適用することは好ましくない。よって、制御回路72は、所定のタイミング(例えば、ユーザが装着した時やユーザがHMI71に対し所定の操作をした場合)で、図17のフロー図の手順に従って、第一距離l’に加え、第三距離d’を求める。
《When considering individual differences》
Next, the operation of the
まず、眼鏡型表示装置1cでは、図6のS11〜S13と同様にして、第一距離(測定値)l’を求める(図17:S41〜S43)。その後、図18に示すように、求めた交点Hの位置から第一カメラ61までのX軸方向距離を第三距離(測定値)d’として求める(図17:S44)。ここで、第三距離d’は、交点Hから光軸61aに下した垂線における、交点Hからこの垂線の足までの距離である。
First, in the eyeglass-type display device 1c, the first distance (measured value) l ′ is obtained in the same manner as S11 to S13 in FIG. 6 (FIG. 17: S41 to S43). Thereafter, as shown in FIG. 18, the X-axis direction distance from the obtained position of the intersection H to the
CPU74は、S43で求めた第一距離l’およびS44で求めた第三距離d’をEEPROM75に格納し(図6:S45)、図17の処理を終了する。
The
図17の終了後、CPU74は、図19のフロー図の手順に従って、所定の情報を接眼光学系3に表示する。以下、図19の処理手順を詳細に説明する。ここで、視点位置は、図20に示すように交点Hにある。また、上述から明らかなように、交点Hから背面P3までの第一距離l’と、交点Hから交点Aまでの第三距離d’とはEEPROM75に格納されている。また、後述の対象物αの位置を、便宜上、上述同様にBとする。また、本眼鏡型表示装置1cの各部に対する視点への距離を下記の通り例示する。
背面P3と交点Hとの間の第一距離(測定値)l’:26mm
交点Aから交点Hへの第三距離(測定値)d’:60mm
After the end of FIG. 17, the
First distance (measured value) l ′ between back surface P3 and intersection H: 26 mm
Third distance from intersection A to intersection H (measured value) d ′: 60 mm
まず、CPU74は、図4のS01〜S03と同様の処理を行う(図19:S51〜S53)。
First, the
S53でYesと判断した場合、CPU74は、図4のS04と同様の処理を行って、対象物αの表示位置Dを決定する(図19:S54)。
When it is determined Yes in S53, the
S53でNoと判断した場合、CPU74は、EEPROM75に第一距離(測定値)l’および第三距離(測定値)d’が格納されているか否かを確認する(図19:S55)。
When it is determined No in S53, the
S55でNoと判断した場合、CPU74は、図4のS04と同様にして、表示位置Dを決定する(図19:S56)。
If it is determined No in S55, the
S55でYesと判断した場合、CPU74は、S57を実行する。S57において、CPU74は、まず、EEPROM75から第一距離(測定値)l’および第三距離(測定値)d’を読み出して、上式(1)中のlをl’に、dをd’に書き換えて、次式(3)に変更する。
a”=l’×d’/L …(3)
CPU74はさらに、上式(3)にl’,d’およびLを代入して個人差を考慮した視差a”を近似的に求める。
When determining Yes in S55, the
a ″ = l ′ × d ′ / L (3)
Further, the
CPU74はさらに、点Dの位置を求め、求めた点Dの位置からX軸正方向側に視差a”だけ平行移動させて、点E”の位置を求める(図19:S57)。ここで、本実施形態では、d’=60mmで、l’=26mmである。また、S52で得られたLを400mmとすると、a”は、3.9mmとなる。
Further, the
S54,S56またはS57の実行後、CPU74は、図8のS28と同様の表示制御を実行する(図19:S58)。
After execution of S54, S56, or S57, the
《効果》
以上説明した通り、本眼鏡型表示装置1cによれば、個人差によりユーザの視点位置が設計値からX軸方向およびY軸方向の両方向にずれたとしても、図17の処理により、第一距離(測定値)l’および第三距離(測定値)d’が算出される。そして、図19の処理により、第一距離(測定値)l’および第三距離(測定値)d’を用いて視差a”が算出される。この視差a”に基づき表示位置を定めることにより、ユーザ個々の視点位置に対応して所定の情報の表示位置をより好ましいものとすることができる。
"effect"
As described above, according to the glasses-type display device 1c, even if the user's viewpoint position is shifted from the design value in both the X-axis direction and the Y-axis direction due to individual differences, the first distance is obtained by the process of FIG. (Measurement value) l ′ and third distance (measurement value) d ′ are calculated. Then, the process of FIG. 19 calculates the parallax a ″ using the first distance (measured value) l ′ and the third distance (measured value) d ′. By determining the display position based on the parallax a ″. The display position of the predetermined information can be made more preferable corresponding to the viewpoint position of each user.
本発明に係る眼鏡型表示装置は、前方景色においてより適切な位置に所定の情報を重畳可能であり、ウェアラブルコンピュータ等に好適である。 The glasses-type display device according to the present invention can superimpose predetermined information at a more appropriate position in the front scene, and is suitable for a wearable computer or the like.
1a,1b,1c 眼鏡型表示装置
2 フレーム
3 接眼光学系
4 投射装置
5 透明部材
61 第一カメラ
62 第二カメラ
7 操作器
72 制御回路
81 操作検出部
DESCRIPTION OF
Claims (13)
前記ユーザ前方を撮影可能に前記フレームに設けられた第一撮影装置と、
所定の情報を表す第一光束を投射可能に前記フレームに設けられた投射装置と、
装着時に前記ユーザの眼前に配置可能に前記フレームに設けられた接眼光学系であって、前記投射装置からの第一光束と、前記ユーザ前方の景色を表す第二光束とが入射されると、前記景色上に前記所定の情報が重畳された第三光束を前記ユーザの眼に向けて出射可能に構成された接眼光学系と、
前記ユーザの眼と前記接眼光学系との間の距離を第一距離として導出し、導出した第一距離に基づき、前記景色上における前記所定の情報が重畳される位置を調整する制御回路と、を備え、
前記接眼光学系は、第一目印および第二目印を第一位置および第二位置に表す第四光束および第五光束を前記ユーザの眼に向けて出射し、
前記制御回路は、前記第四光束および前記第五光束の出射後に前記ユーザの第一視線および第二視線を検出し、検出した第一視線および第二視線に基づき、前記ユーザの眼と前記接眼光学系との間の第一距離を導出する、眼鏡型表示装置。 A frame configured to be worn on the user's face;
A first photographing device provided in the frame so as to photograph the user front;
A projection device provided on the frame so as to be capable of projecting a first light beam representing predetermined information;
The eyepiece optical system provided in the frame so that it can be placed in front of the user's eyes when worn, and when the first light flux from the projection device and the second light flux representing the scenery in front of the user are incident, An eyepiece optical system configured to be able to emit a third light flux on which the predetermined information is superimposed on the scene toward the user's eye;
A control circuit for deriving a distance between the user's eye and the eyepiece optical system as a first distance, and adjusting a position where the predetermined information is superimposed on the scenery based on the derived first distance; equipped with a,
The eyepiece optical system emits a fourth light beam and a fifth light beam representing the first mark and the second mark at the first position and the second position toward the user's eye,
The control circuit detects the user's first line of sight and the second line of sight after emission of the fourth light beam and the fifth light beam, and based on the detected first line of sight and second line of sight, the user's eyes and the eyepiece An eyeglass-type display device for deriving a first distance from an optical system .
前記制御回路は、前記第四光束および前記第五光束の出射後所定時間の間、前記第一位置周辺および前記第二位置周辺に、前記ユーザの第一視線および第二視線が留まっているか否かを判断し、留まっていると判断した場合に、前記ユーザの第一視線および第二視線を検出する、請求項4に記載の眼鏡型表示装置。 The mark is visually recognized by the user so as to continuously move from the first position to the second position via the third position,
The control circuit determines whether or not the first line of sight and the second line of sight of the user remain around the first position and the second position for a predetermined time after emission of the fourth light beam and the fifth light beam. The eyeglass-type display device according to claim 4 , wherein the first line of sight and the second line of sight of the user are detected when it is determined that the user has stayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014005568A JP6347067B2 (en) | 2014-01-16 | 2014-01-16 | Eyeglass type display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014005568A JP6347067B2 (en) | 2014-01-16 | 2014-01-16 | Eyeglass type display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015132786A JP2015132786A (en) | 2015-07-23 |
JP6347067B2 true JP6347067B2 (en) | 2018-06-27 |
Family
ID=53900009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014005568A Active JP6347067B2 (en) | 2014-01-16 | 2014-01-16 | Eyeglass type display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6347067B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11579688B2 (en) | 2019-06-28 | 2023-02-14 | Canon Kabushiki Kaisha | Imaging display device and wearable device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07323008A (en) * | 1994-05-31 | 1995-12-12 | Canon Inc | Line of sight detecting apparatus, camera and method for correcting line of sight |
JP2005038008A (en) * | 2003-07-15 | 2005-02-10 | Canon Inc | Image processing method, image processor |
JP4364047B2 (en) * | 2004-04-14 | 2009-11-11 | オリンパス株式会社 | Display device, imaging device |
US8130261B2 (en) * | 2006-10-10 | 2012-03-06 | Exelis, Inc. | System and method for dynamically correcting parallax in head borne video systems |
EP2395420B1 (en) * | 2009-02-05 | 2018-07-11 | Panasonic Intellectual Property Corporation of America | Information display device and information display method |
JP5926546B2 (en) * | 2011-12-02 | 2016-05-25 | キヤノン株式会社 | Image processing apparatus and method |
WO2013128612A1 (en) * | 2012-03-01 | 2013-09-06 | パイオニア株式会社 | Head mounted display, calibration method, calibration program, and recording medium |
WO2013179427A1 (en) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | Display device, head-mounted display, calibration method, calibration program, and recording medium |
-
2014
- 2014-01-16 JP JP2014005568A patent/JP6347067B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015132786A (en) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6089705B2 (en) | Display device and control method of display device | |
JP6492531B2 (en) | Display device and control method of display device | |
JP6786792B2 (en) | Information processing device, display device, information processing method, and program | |
JP6337418B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP5960799B2 (en) | Head mounted display and display method | |
US10304253B2 (en) | Computer program, object tracking method, and display device | |
JP5420793B1 (en) | Head-mounted display with adjustable image viewing distance | |
JPWO2015012280A1 (en) | Gaze detection device | |
JP6349660B2 (en) | Image display device, image display method, and image display program | |
JP6094305B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6036291B2 (en) | Display device, display system, and display device control method | |
JP2016186561A (en) | Display device, control method for display device, and program | |
EP3771967A2 (en) | Electronic device, control method, and computer readable medium | |
JP4811683B2 (en) | Visual field detector | |
JP6314339B2 (en) | Eyeglass type display device | |
JP5909849B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6347067B2 (en) | Eyeglass type display device | |
JP4504160B2 (en) | Composite display device | |
JP6304415B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2016116066A (en) | Display device and control method of display device | |
JP2019004471A (en) | Head-mounted type display device, and control method of head-mounted type display device | |
JP6488546B2 (en) | Spectacle wearing image analysis apparatus, spectacle wearing image analysis method, and spectacle wearing image analysis program | |
JP2016181864A (en) | Display device and control method of the same | |
KR20230021551A (en) | Augmented reality device and method for detecting gaze of user | |
JP6277649B2 (en) | Glasses wearing parameter measuring apparatus, glasses wearing parameter measuring program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160427 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20160602 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161020 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20161021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6347067 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |