JP2010056661A - Head mounting type video acquiring and displaying device - Google Patents
Head mounting type video acquiring and displaying device Download PDFInfo
- Publication number
- JP2010056661A JP2010056661A JP2008217027A JP2008217027A JP2010056661A JP 2010056661 A JP2010056661 A JP 2010056661A JP 2008217027 A JP2008217027 A JP 2008217027A JP 2008217027 A JP2008217027 A JP 2008217027A JP 2010056661 A JP2010056661 A JP 2010056661A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- image
- video
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、被写体を撮像し、撮像して得られた電子映像を表示する表示頭部装着型映像取得表示装置に関する。 The present invention relates to a display head-mounted image acquisition and display device that images a subject and displays an electronic image obtained by the imaging.
従来より、眼前にＬＣＤ等の画像表示部を配置して、画像を観察する頭部装着型映像表示装置が提案され、あるいは製品化されている。 2. Description of the Related Art Conventionally, a head-mounted video display device that arranges an image display unit such as an LCD in front of the eyes and observes an image has been proposed or commercialized.
この頭部装着型映像表示装置には、何れかの映像ソースから供給される映像を表示するだけのもの（観察専用）と、撮像部を備えて該撮像部により撮像した映像を表示するもの（観察および撮像用）と、がある。 This head-mounted image display device only displays an image supplied from any image source (for observation only), and includes an image capturing unit for displaying an image captured by the image capturing unit ( For observation and imaging).
前者の例としては、国際公開番号ＷＯ２００４／０１７１２３に、メガネフレーム形状の本体と、右目用表示装置および左目用表示装置と、を備えて構成される画像表示装置が記載されている。より詳しくは、観察者の視線正面方向には通常のメガネにおいてレンズが配置されるフレーム部分が配設され、右目用表示装置および左目用表示装置はこのフレーム部分の下側に位置して視線を下方向に向けることにより映像を観察することができるようにしたものとなっている。従って、この画像表示装置は、視線を正面側へ向けることにより被写体を直視する（ここに、「直視」とは、透明板や視度調整用のレンズなどを介して観察する場合も含むものとする）ことができ、視線を下側へ向けることにより映像を観察することが可能となるものである。 As an example of the former, International Publication No. WO2004 / 017123 describes an image display device including a spectacle frame-shaped main body, a right-eye display device, and a left-eye display device. More specifically, in the front direction of the observer's line of sight, a frame part in which lenses are arranged in normal glasses is disposed, and the right-eye display device and the left-eye display apparatus are positioned below the frame part to view the line of sight. The video can be observed by pointing downward. Therefore, the image display device directly looks at the subject by directing the line of sight toward the front side (here, “direct viewing” includes the case of observing through a transparent plate, a diopter adjusting lens, etc.). The video can be observed by turning the line of sight downward.
また、後者の例としては、特開平７−１６８１２０号公報に、対物レンズを有する撮像部と、単一の画像表示部と、を備えた頭部装着型画像表示装置が記載されている。この頭部装着型画像表示装置は、片眼しか使用しない装着者のためのものであるために、画像表示部が１つのみとなっており、例えば画像表示部が設けられていない空きスペース側に撮像部を配置する構成となっている。 As an example of the latter, Japanese Patent Application Laid-Open No. 7-168120 discloses a head-mounted image display device including an imaging unit having an objective lens and a single image display unit. Since this head-mounted image display device is for a wearer who uses only one eye, there is only one image display unit, for example, an empty space side where no image display unit is provided. It is the structure which arrange | positions an imaging part.
なお、上記各公報の何れにも、画像を撮像することと、撮像した画像を両眼で観察することと、が同時には記載されておらず、これらの構成に被写体を直視することができる構成をさらに加えたものも当然にして記載されていない。
ところで、撮像部から被写体までの距離が変化すると、撮像された画像中の被写体の大きさが変化する（被写体が遠くなれば小さく写り、被写体が近くなれば大きく写る）。さらに、撮像部の光軸とは異なる方向に撮像部から被写体までの距離が変化すると、撮像された画像中の被写体の中心位置がずれることがある。 By the way, when the distance from the imaging unit to the subject changes, the size of the subject in the captured image changes (smaller when the subject is farther, and larger when the subject is closer). Furthermore, when the distance from the imaging unit to the subject changes in a direction different from the optical axis of the imaging unit, the center position of the subject in the captured image may shift.
これに対して、映像を観察する際には、被写体の中心位置が変化しないことが望ましい場合がある。そして、映像を観察する際に、被写体までの距離によることなく一定の大きさで被写体を観察したい場合もある。 On the other hand, when observing an image, it may be desirable that the center position of the subject does not change. Then, when observing an image, there is a case where it is desired to observe the subject with a certain size regardless of the distance to the subject.
本発明は上記事情に鑑みてなされたものであり、撮像された被写体像を、被写体までの距離の違いによる被写体の表示領域の変化を低減して表示することが可能な頭部装着型映像取得表示装置を提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and obtains a head-mounted image that can display a captured subject image while reducing changes in the display area of the subject due to a difference in distance to the subject. The object is to provide a display device.
上記の目的を達成するために、本発明の一態様による頭部装着型映像取得表示装置は、観察者の前頭部に装着され得るように構成されたフレームと、上記フレームから下方へ連設された支持部と、上記フレームまたは上記支持部に配設された被写体を撮像するための撮像部と、上記フレームとは別体に設けられていて上記支持部を介して該フレームとの間に観察者の視線を妨げることのない空間を構成するように配設され上記撮像部により撮像して得られた画像信号を表示信号に変換する映像処理部とこの映像処理部により変換された表示信号を電子映像として表示するための映像表示部とこの映像表示部により表示された電子映像を観察者の両眼に向けて投影するためのものであり少なくとも１つの反射面をそれぞれ備える左右の接眼光学系とを有する表示ユニットと、特定距離範囲内にある被写体の距離情報を取得する距離測定部と、を具備し、上記映像処理部は、上記距離測定部から得られる上記距離情報に基づいて、上記撮像部により得られた画像の少なくとも一部を切り出す処理を行い、切り出された画像信号を表示信号に変換するものである。 In order to achieve the above object, a head-mounted image acquisition and display device according to an aspect of the present invention includes a frame configured to be mounted on the frontal part of an observer, and a downward connection from the frame. An imaging unit for imaging the frame or the subject disposed on the support unit, and the frame is provided separately from the frame and interposed between the frame and the frame via the support unit. A video processing unit that is arranged so as to constitute a space that does not obstruct the line of sight of the observer and that converts the image signal obtained by imaging by the imaging unit into a display signal, and the display signal converted by the video processing unit For displaying an image as an electronic image, and for projecting an electronic image displayed by the image display unit toward both eyes of an observer, and left and right eyepiece optics each having at least one reflecting surface And a distance measuring unit that acquires distance information of a subject within a specific distance range, the video processing unit based on the distance information obtained from the distance measuring unit, Processing for cutting out at least a part of the image obtained by the imaging unit is performed, and the cut-out image signal is converted into a display signal.
本発明の頭部装着型映像取得表示装置によれば、撮像された被写体像を、被写体までの距離の違いによる被写体の表示領域の変化を低減して表示することが可能となる。 According to the head-mounted image acquisition and display device of the present invention, it is possible to display a captured subject image while reducing a change in the display area of the subject due to a difference in distance to the subject.
以下、図面を参照して本発明の実施の形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
［実施形態１］
図１から図１２は本発明の実施形態１を示したものである。
[Embodiment 1]
1 to 12
まず、図２〜図４を参照して、本実施形態の頭部装着型映像取得表示装置の外観やレイアウトなどについて説明する。ここに、図２は頭部装着型映像取得表示装置を正面斜め上方向から示す斜視図、図３は頭部装着型映像取得表示装置を側方から示す断面図、図４は頭部装着型映像取得表示装置を示す正面図である。 First, with reference to FIGS. 2 to 4, the appearance, layout, and the like of the head-mounted image acquisition / display device of the present embodiment will be described. 2 is a perspective view showing the head-mounted image acquisition / display device from the front obliquely upward direction, FIG. 3 is a sectional view showing the head-mounted image acquisition / display device from the side, and FIG. 4 is a head-mounted image acquisition / display device. It is a front view which shows an image | video acquisition display apparatus.
上述した頭部装着型映像取得表示装置の本体１は、図２に示すように、左右方向に横長のフレーム３と、このフレーム３の左右端部に各連設されたテンプル部４Ｒ，４Ｌと、フレーム３の中央部から下方に連設された支持部５と、この支持部５により中央部上端側を支持されている左右方向に横長の表示ユニット６と、を備えている。
As shown in FIG. 2, the
フレーム３は、テンプル部４Ｒ，４Ｌの支持により、装着時に、観察者の前頭部（眼前の上側）に位置するように構成されたものである。このフレーム３の略中央部には、被写体を撮像するための撮像部１１が配設されている。さらに、フレーム３の略中央部におけるこの撮像部１１の近傍には、撮像部１１による被写体の撮像範囲を含む範囲を照明するための照明部１２が配設されている。そして、フレーム３の一方の端部、例えば図２および図４に示す左側（観察者の右眼側）の端部から、下方（つまり、観察者の眼がある方向）へ向けて、視線方向測定部たる視線検知用照明部１３が延出して設けられている。また、このフレーム３の観察者側には例えば図示しない額パッド等が配設されて、この額パッドを介して、観察者の眼と表示ユニット６との距離が一定に保たれるように構成されている。
The
テンプル部４Ｒ，４Ｌは、この頭部装着型映像取得表示装置の本体１を装着する際に、先端側を例えば観察者の左右の耳に掛けて用いるようになされたものである。このテンプル部４Ｒ，４Ｌは、フレーム３に対してヒンジ等を介して折り畳み可能に構成されている。従って、非使用時には、頭部装着型映像取得表示装置の本体１をコンパクトに収納することが可能となっている。
The
支持部５は、観察者による直視の視野を妨げることのない空間をフレーム３と表示ユニット６との間に構成するように、表示ユニット６をフレーム３に対して支持するものである。ここに、フレーム３は上述したように観察者の眼前の上側に位置するように配設されるために、表示ユニット６は観察者の眼前の下側に位置するように配置されることになる。
The
なお、上述では撮像部１１や照明部１２をフレーム３に配設したが、これに限らず、何れか一方または両方を例えばこの支持部５に配設しても構わない。
In the above description, the
また、図２〜図４に示す構成例では、支持部５はフレーム３と表示ユニット６とを中央部で連結するものとなっているが、これに限るものではなく、左端部と右端部との何れか一方または両方で連結するものであっても良い。さらにあるいは、中央部と左端部と右端部との内の一以上の箇所でフレーム３と表示ユニット６とを連結するものであっても良い。このように、支持部５は、フレーム３と表示ユニット６とを、観察者の視線を妨げることない位置において連結するものであれば足りる。また、支持部５をどのように配置するかは、フレーム３に対して表示ユニット６を支持する際の剛性や、頭部装着型映像取得表示装置の本体１の軽量化などを勘案して、適宜に設計することが可能である。
Moreover, in the structural example shown in FIGS. 2-4, although the
そして、支持部５を介して連結されるフレーム３と表示ユニット６との間は、本実施形態においては単なる空間となっているが、この空間部分に直視の視野を妨げることのない透明な部材が配置されていても構わない。ここに、直視の視野を妨げることのない透明な部材としては、観察者の眼を保護するための透明プラスチック板、視度調整用のレンズ、などが幾つかの例として挙げられる。
The space between the
上述した支持部５の正面側には、測距用照明部１５と測距用照明受光部１６とが配設されている。なお、ここでは測距用照明部１５や測距用照明受光部１６を支持部５に配設したが、これに限らず、何れか一方または両方を例えばフレーム３に配設しても構わない。また、支持部５の観察者の眼側であって、上述した視線検知用照明部１３が配設された眼の側には、視線方向測定部たる視線検知部１４が配設されている。
A distance measuring
表示ユニット６は、映像処理部たる画像処理部１７、映像表示部１８、接眼光学系１９が配設されたものである。ここに、接眼光学系１９は、図３等に示すように、例えば自由曲面プリズム等の導光光学系（少なくとも１つの反射面を有する光学系）を含んで構成され、軽量化を図りながら高性能な光学性能を得ることができるようになっている。
The
次に、図１は、頭部装着型映像取得表示装置の電気系の構成を主に示すブロック図である。 Next, FIG. 1 is a block diagram mainly showing the configuration of the electrical system of the head-mounted image acquisition / display apparatus.
この頭部装着型映像取得表示装置は、撮像部１１と照明部１２と電気制御部２１と映像表示部１８とを備える本体１と、第２制御装置２と、を有している。
This head-mounted image acquisition and display device includes a
撮像部１１は、ＣＣＤやＣＭＯＳあるいはその他の種類の撮像素子と、この撮像素子へ被写体の光学像を結像するための撮像光学系と、を備えている。
The
照明部１２は、例えばＬＥＤ等の発光素子と、この発光素子により発光された光を被写体へ向けて照明光として照射するための照明光学系と、を備えている。
The
電気制御部２１は、第１制御装置であって、カメラＩ／Ｆ部２２と、フォーカス調整部２３と、ＡＦ駆動部２４と、上述した映像処理部たる画像処理部１７と、上述した視線方向測定部たる視線検知用照明部１３と、上述した視線方向測定部たる視線検知部１４と、視線方向測定部たる視線方向検出部３１と、映像処理部たる切出情報演算部３２と、制御部たる撮像部電源制御部３３と、制御部たる照明制御部３４と、制御部たる映像表示部電源制御部３５と、距離測定部たる測距センサ３６と、電源入力部３８と、を備えている。
The
カメラＩ／Ｆ部２２は、撮像部１１により撮像して得られた画像信号を画像処理部１７とフォーカス調整部２３とへ転送するためのインタフェースである。
The camera I /
フォーカス調整部２３は、撮像部１１により撮影して得られた画像データ（撮像画像データ）を読み込んで、切出情報演算部３２から取得した切出範囲の画像全体をエッジ強調フィルタにより輪郭検出し、全画素の輝度値を算出する。そして、フォーカス調整部２３は、ＡＦ駆動部２４を介して撮像部１１の撮像光学系に含まれるフォーカスレンズを前後に移動させ、輝度値のピークを探索しながら、輝度値がピークになるまでフォーカスを調整する。
The
ＡＦ駆動部２４は、上述したように、フォーカス調整部２３の制御に基づいて、撮像部１１の撮像光学系に含まれるフォーカスレンズを駆動するものである。
As described above, the
画像処理部１７は、倍率調整部２５と、表示信号変換部２８と、を備えている。これらの内の倍率調整部２５は、さらに、切出処理部２６と、倍率処理部２７と、を備えている。
The
切出処理部２６は、切出情報演算部３２により後述するように演算された切出範囲の情報（例えば、切出中心位置の情報と切り出す領域の大きさの情報）に基づいて、カメラＩ／Ｆ部２２を介して入力されるフォーカス調整後の画像信号（撮像画像）の切り出しを行うものである。
The cut-
倍率処理部２７は、切出処理部２６により切り出された画像を、映像表示部１８に表示するのに適した所定のサイズに拡大／縮小するものである。
The
表示信号変換部２８は、倍率調整部２５により切り出され倍率調整された画像信号を、映像表示部１８により表示可能な表示信号に変換するものである。なお、特に図示はしないが、この表示信号は、例えば教育目的などの用途を考慮して、別途の外部モニタ等へも出力可能となっている。
The display signal conversion unit 28 converts the image signal cut out by the magnification adjustment unit 25 and adjusted in magnification into a display signal that can be displayed by the
映像表示部１８は、左眼用映像表示素子１８Ｌと右眼用映像表示素子１８Ｒとを備えている。また、上述した接眼光学系１９は、図示はしないが、左眼用映像表示素子１８Ｌにより表示された映像を観察者ＯＢＳの左眼へ向けて投影するための左眼用接眼光学系と、右眼用映像表示素子１８Ｒにより表示された映像を観察者ＯＢＳの右眼へ向けて投影するための右眼用接眼光学系と、を備えている。なお、ここでは、左右一対の映像表示素子１８Ｌ，１８Ｒを設けているが、左右で同一の映像のみを表示する場合には、１つの映像表示素子を左右で兼用するように構成しても構わない。
The
視線検知用照明部１３は、例えば、光源である赤外発光ダイオード（ＩＲＬＥＤ）や、このＩＲＬＥＤから発光された光を略平行光に変換するためのコリメートレンズなどを含んで構成されたものである。
The line-of-sight
視線検知部１４は、例えば、上述した視線検知用照明部１３から投光され観察者ＯＢＳの眼で反射された光を集光するシリンドリカルレンズ１４ａ（図５参照）や、このシリンドリカルレンズ１４ａにより集光された光を電気信号に変換するラインセンサ１４ｂ（図５参照）などを含んで構成されたものである。この視線検知部１４は、視線検知用照明部１３の制御も行うようになっている。
The line-of-
視線方向検出部３１は、視線検知部１４のラインセンサから出力された信号に基づいて、観察者ＯＢＳの視線方向を検出するものである。
The line-of-sight
撮像部電源制御部３３は、撮像部１１のオン／オフを制御するものである。この撮像部電源制御部３３による撮像部１１のオン／オフ制御は、各種の要因に基づき行われるが、その要因の１つが、後述するように視線方向検出部３１により検出された視線方向となっている。
The imaging unit power
照明制御部３４は、照明部１２のオン／オフや、あるいはこの照明部１２による発光量を制御するものである。この照明制御部３４による照明部１２の制御は、各種の要因に基づき行われるが、その要因の１つが、後述するように視線方向検出部３１により検出された視線方向となっている。
The
映像表示部電源制御部３５は、映像表示部１８のオン／オフを制御するものである。この映像表示部電源制御部３５による映像表示部１８の制御は、各種の要因に基づき行われるが、その要因の１つが、後述するように視線方向検出部３１により検出された視線方向となっている。
The video display unit power
測距センサ３６は、上述した測距用照明部１５と、上述した測距用照明受光部１６と、測距部３７と、を備えている。
The
測距用照明部１５は、例えば、光源である赤外発光ダイオード（ＩＲＬＥＤ）や、このＩＲＬＥＤから発光された光を照射するための発光用レンズなどを含んで構成されている。
The distance measuring
測距用照明受光部１６は、上述した測距用照明部１５から投光され被写体（観察物体）で反射された光を受光する受光用レンズや、この受光用レンズにより集光された光を電気信号に変換する位置検出素子（ＰＳＤ）などを含んで構成されている。この測距用照明受光部１６は、測距用照明部１５とは所定距離だけ離隔して配設され、いわゆる三角測量方式により被写体までの距離を検出するものとなっている。
The distance measuring
測距部３７は、測距用照明部１５を制御して発光を行わせるとともに、測距用照明受光部１６の位置検出素子（ＰＳＤ）から出力される信号に基づいて、被写体（観察物体）までの距離を測定するものである。
The distance measurement unit 37 controls the distance
なお、ここでは測距センサ３６により観察物体ＯＢＪまでの距離を測定しているが、測定精度をより向上するために、視線方向検出部３１により検出された視線方向の延長上に位置する観察物体ＯＢＪの一部分（すなわち、観察者ＯＢＳの注視部分）までの距離を測定して距離情報とするようにしても良い。
Here, the distance to the observation object OBJ is measured by the
切出情報演算部３２は、視線方向検出部３１から得られた観察者ＯＢＳの視線方向の情報と、測距センサ３６から得られた被写体の距離情報と、設計時に予め定められている撮像部１１の取付位置や取付角度の情報と、に基づいて、視線方向にある被写体部分が中心となり、かつ例えば被写体までの距離によることなく注目部分が常に一定の大きさとして表示されるように、撮像された画像から切り出す範囲（上述したように、例えば、切出中心位置と切り出す領域の大きさ）を演算するものである。
The cut-out
また、第２制御装置２は、バッテリ４１を備えた電源部として構成されていて、頭部に装着して用いる本体１をより軽量化するために、本体１とは例えば別体として構成されている。この第２制御装置２は、本体１の電源入力部３８へ電源を供給するためのものである。また、この第２制御装置２は、ＡＣコンセント等の外部電源に接続することも可能となっていて、外部電源から得た電力を電気制御部２１へ供給したり、あるいはバッテリ４１の充電を行ったりすることができるようになっている。
Moreover, the
次に、図５は視線検知部１４の構成を図４の矢印Ａ方向から示す図、図６は視線検知部１４により眼を検出したときの受光出力の様子を示す図である。
Next, FIG. 5 is a diagram showing the configuration of the line-of-
視線検知部１４は、上述したように、シリンドリカルレンズ１４ａとラインセンサ１４ｂとを備えている。ここに、シリンドリカルレンズ１４ａは、瞳孔ＰＵＰを含む眼からの反射光ＲＥＦＬをラインセンサ１４ｂ上に集光するものであり、図２および図３における縦方向（図４における矢印Ａ方向）がレンズ面の軸方向となるように細長の形状に形成されたものである。また、ラインセンサ１４ｂは、レンズ面の軸方向と平行な方向に複数のフォトダイオードを配列したものである。
As described above, the line-of-
このような構成の視線検知部１４により、図６の右側に示すような眼を検出したときのラインセンサ１４ｂによる検出結果が、例えば図６の左側に示したようになったものとする。
Assume that the detection result by the
すなわち、眼ＥＹＥ以外の部分では受光出力が低く、眼ＥＹＥの部分で受光出力が立ち上がり、虹彩ＩＲの中心に位置する瞳孔ＰＵＰの部分で受光出力がピークとなるような検出結果であったものとする（瞳孔ＰＵＰと虹彩ＩＲとではコントラストが異なるために、受光出力に基づくこのような検出が可能である）。このとき、視線方向検出部３１は、受光出力のピーク位置が所定位置（例えば中央）である場合には観察者が正面を注視していると検出し、ピーク位置が所定位置よりも上側である場合にはそのずれ量に応じた仰角の上方向を注視していると検出し、ピーク位置が所定位置よりも下側である場合にはそのずれ量に応じた仰角の下方向を注視していると検出するようになっている。
That is, the detection result is such that the light reception output is low in the portion other than the eye EYE, the light reception output rises in the eye EYE portion, and the light reception output peaks in the portion of the pupil PUP located at the center of the iris IR. (The pupil PUP and the iris IR have different contrasts, and such detection based on the received light output is possible). At this time, when the peak position of the light reception output is a predetermined position (for example, the center), the line-of-sight
なお、この頭部装着型映像取得表示装置を、例えば歯科に使用する場合には、いわゆる横目で被写体を観察することはほとんど考えられず、上下方向の視線を検知するだけで足りる。そこで、本実施形態の図２〜図４に示すように、上下方向の視線を検知するための視線検知用照明部１３および視線検知部１４を設けたが、用途などに応じて必要な場合には、左右方向の視線を検知するための視線検知用照明部１３および視線検知部１４をさらに設けてももちろん構わない。
When this head-mounted image acquisition / display apparatus is used, for example, for dentistry, it is almost impossible to observe the subject with a so-called horizontal eye, and it is only necessary to detect the line of sight in the vertical direction. Therefore, as shown in FIGS. 2 to 4 of the present embodiment, the gaze
次に、図７はフォーカス調整部２３により算出される輝度値の総和とフォーカスレンズ位置との関係を示す線図である。
Next, FIG. 7 is a diagram showing the relationship between the sum of luminance values calculated by the
フォーカス調整部２３は、ＡＦ駆動部２４を介して焦点位置を少しずつ移動させ、各焦点位置において、カメラＩ／Ｆ部２２を介して撮像部１１から輝度信号（もしくは、Ｇ信号等の輝度信号に相当する信号）をそれぞれ取得し、その総和をコントラストを示す値として算出する。そして、このコントラスト値が最大値となるフォーカスレンズ位置を合焦位置とし、この合焦位置にフォーカスレンズを移動させるように制御するものである。
The
続いて、図８は、フレーム３と表示ユニット６との間に構成される視界の様子を示す配置図である。
Next, FIG. 8 is a layout diagram showing the state of the field of view formed between the
頭部装着型映像取得表示装置の構成が、上述した図２〜図４に示したようなものである場合には、上下方向の視界は、観察者の眼ＥＹＥから観察したときのフレーム３と表示ユニット６との間に構成される空間の画角（図８に示す視野角αは、この画角の上下方向の角度を示す）により決まることになる。この画角を決定する要因は、フレーム３の下端と表示ユニット６の上端との間の距離や、観察者の眼ＥＹＥからフレーム３の下端までの距離および表示ユニット６の上端までの距離などである。
When the configuration of the head-mounted image acquisition / display apparatus is as shown in FIGS. 2 to 4 described above, the vertical field of view is the
そこで、本実施形態の構成においては、垂直方向の視野角αとして例えば１５．２°（なお、水平方向の視野角は、右眼の水平右方向には視野を遮るものがなく、かつ左眼の水平左方向には視野を遮るものがないために、左右両眼を合わせれば通常の人間の視野角と同様の１８０°以上（例えば２００°）である。）の角度を確保することができるようにしている。ここに、１５．２°の視野角αは、観察者の頭部が垂直になっていて、視線が水平方向を向いているときの視線方向を中心として１５．２°であるために、このときには、水平方向上側７．６°、水平方向下側７．６°となる。上述したように、観察者の眼ＥＹＥからフレーム３の下端および表示ユニット６の上端までの距離が略一定に保たれるように例えば額パッド等を配置しているために、この距離と、１５．２°という垂直方向の視野角αと、に基づいて、フレーム３の下端と表示ユニット６の上端との間の距離を設計時に決定することが可能である。
Therefore, in the configuration of the present embodiment, the viewing angle α in the vertical direction is 15.2 °, for example (the viewing angle in the horizontal direction does not obstruct the viewing field in the horizontal right direction of the right eye, and the left eye Since there is nothing to block the visual field in the horizontal left direction, if the left and right eyes are combined, an angle of 180 ° or more (for example, 200 °) similar to the normal human viewing angle can be secured. I am doing so. Here, the viewing angle α of 15.2 ° is 15.2 ° centered on the viewing direction when the observer's head is vertical and the viewing direction is in the horizontal direction. In some cases, the horizontal upper side is 7.6 ° and the horizontal lower side is 7.6 °. As described above, for example, a forehead pad is arranged so that the distance from the observer's eye EYE to the lower end of the
この頭部装着型映像取得表示装置を、特定用途、例えば歯科に使用する場合には、観察者（この場合には歯科医等）の眼から観察物体である歯牙等までの想定される距離（特定距離範囲）は、最短距離Ｌ１＝３００ｍｍ〜最長距離Ｌ２＝５００ｍｍである。そこで、本実施形態の頭部装着型映像取得表示装置も、この最短距離Ｌ１および最長距離Ｌ２に合わせて設計されている。 When this head-mounted image acquisition and display device is used for a specific application, for example, dentistry, an assumed distance from an eye of an observer (in this case, a dentist, etc.) to a tooth or the like as an observation object ( The specific distance range) is the shortest distance L1 = 300 mm to the longest distance L2 = 500 mm. Therefore, the head-mounted image acquisition / display apparatus of the present embodiment is also designed in accordance with the shortest distance L1 and the longest distance L2.
また、撮像部１１は、観察者の眼ＥＹＥからの垂直方向の距離Ｔが典型値３０ｍｍとなるように設計されている（図示はしないが、本体１には装着位置調整機構が設けられていて、観察者が最適な位置での装着を行えるように調整可能である）。さらに、撮像部１１は、最短距離Ｌ１において、撮像光軸Ｏが視界の中心線（頭部を垂直にして水平方向を見ているときの視線方向（なお、ここでは説明を容易にするために頭部が垂直である場合を例に挙げて説明しているが、もちろん、頭部が斜め上あるいは斜め下に傾いているときには、その傾きに応じて視界の中心線も傾くことはいうまでもない））と交差するようにやや下へ傾けて構成されている。正接（タンジェント）がＴ／Ｌ１＝３０／３００となる角度θは５．７°であるために、撮像光軸Ｏと視界の中心線とは５．７°をなして交差することになる。
The
最短距離Ｌ１（３００ｍｍ）において観察者の視界に入り得る物体の垂直方向の大きさは、Ｌ１×２×ｔａｎ（α／２）＝３００ｍｍ×２×ｔａｎ（７．６°）＝８０ｍｍである。そこで、撮像部１１の垂直方向の画角δは、最短距離Ｌ１から最長距離Ｌ２までの何れの位置に大きさ８０ｍｍの観察物体ＯＢＪがあるときでも、この観察物体ＯＢＪを垂直方向の画像内に含み得るように設定されている。これにより、撮像部１１に機械的なチルト機構を設けなくても、被写体距離によることなく被写体を撮像することができるようになる。
The vertical size of an object that can enter the observer's field of view at the shortest distance L1 (300 mm) is L1 × 2 × tan (α / 2) = 300 mm × 2 × tan (7.6 °) = 80 mm. Therefore, the angle of view δ in the vertical direction of the
一方、表示ユニット６の接眼光学系１９は、主光線ＰＲを観察するときの視線方向が、上述した直視時の視界の中心線よりも角度β＝２５°下方を向くように構成されている。また、観察する画像の画角は、垂直方向の画角γ＝１５°（図示はしないが、水平方向の画角＝２０°）となるように構成されている。
On the other hand, the eyepiece
次に、図９は、視線方向が水平方向である場合に、観察者ＯＢＳから観察物体ＯＢＪまでの距離が変化したときにも、画像を切り出す切出中心位置を一定にするようにした様子を示す図である。ここに、図９（Ａ）は観察者ＯＢＳ（頭部装着型映像取得表示装置）から観察物体ＯＢＪまでの距離が最短距離（上述したように、例えば３００ｍｍ）であるときの様子を示し、図９（Ｂ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が中程度の距離（例えば４００ｍｍ）であるときの様子を示し、図９（Ｃ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が最長距離（上述したように、例えば５００ｍｍ）であるときの様子を示している。なお、この図９における符号ＦＰで示される四角枠は、撮像部１１による撮像範囲を示している。
Next, FIG. 9 shows a state in which, when the line-of-sight direction is the horizontal direction, the cut-out center position for cutting out the image is made constant even when the distance from the observer OBS to the observation object OBJ changes. FIG. FIG. 9A shows a state where the distance from the observer OBS (head-mounted image acquisition display device) to the observation object OBJ is the shortest distance (for example, 300 mm as described above). 9 (B) shows a state where the distance from the observer OBS to the observation object OBJ is a medium distance (for example, 400 mm), and FIG. 9 (C) shows the longest distance from the observer OBS to the observation object OBJ. A state when the distance is (for example, 500 mm as described above) is shown. In addition, the square frame shown with the code | symbol FP in this FIG. 9 has shown the imaging range by the
本実施形態の頭部装着型映像取得表示装置は、上述したように、視線検知を行って観察者ＯＢＳの視線方向を検出し、測距を行って観察物体ＯＢＪまでの距離を測定している。そして、切出情報演算部３２は、検出された視線方向の情報と観察物体ＯＢＪまでの距離とに基づいて、撮像部１１により撮像されている画像中の、どの部分を観察者ＯＢＳが注視しているかを算出する（図９の撮像範囲ＦＰ内に示されている十字線の交点が、注視点（図示の例では、歯科における注視歯牙）を示している）。さらに、算出された画像中の注視位置を、切出中心位置ＣＰとして確定するようになっている。
As described above, the head-mounted image acquisition and display apparatus according to the present embodiment performs gaze detection to detect the gaze direction of the observer OBS, and performs distance measurement to measure the distance to the observation object OBJ. . Then, based on the detected information on the line-of-sight direction and the distance to the observation object OBJ, the cut-out
すなわち、視線方向と撮像部１１の撮像光軸Ｏの方向とは図８に示したように角度θをなして交差しているために、撮像部１１により撮像して得られる画像（撮像画像）中の観察物体ＯＢＪの上下位置は、観察者ＯＢＳから観察物体ＯＢＪまでの距離に応じて異なることになる。具体的には、最短距離Ｌ１においては水平方向を見ているときの視界の中心線と被写体とが交差する注視点は、撮像画像の中心（撮像画像中の撮像光軸と被写体とが交差する点）に一致する。しかし、被写体距離が最短距離Ｌ１から最長距離Ｌ２側へ向けて変化する（遠ざかる）と、図９（Ａ）〜図９（Ｃ）に示すように、注視点は被写体距離に応じて撮像画像の中心よりも上にずれていくことになる。
That is, since the line-of-sight direction and the direction of the imaging optical axis O of the
そこで、切出情報演算部３２は、視線方向の情報および被写体距離の情報に基づいて、表示画像の中心に注視点が位置するように切出中心位置ＣＰを設定することにより、このようなずれを補正するようになっている。
Therefore, the cutout
続いて、図１０は、視線方向が水平方向であって、観察者ＯＢＳから観察物体ＯＢＪまでの距離が変化したときに、図９に示したように切出中心位置ＣＰを一定にしながら、画像を切り出す範囲を設定する様子を示す図である。上述した図９と同様に、図１０（Ａ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が最短距離であるときの様子を示し、図１０（Ｂ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が中程度の距離であるときの様子を示し、図１０（Ｃ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が最長距離であるときの様子を示している。 Subsequently, FIG. 10 shows an image while keeping the cutting center position CP constant as shown in FIG. 9 when the line-of-sight direction is horizontal and the distance from the observer OBS to the observation object OBJ changes. It is a figure which shows a mode that the range which cuts out is set. Similarly to FIG. 9 described above, FIG. 10A shows a state where the distance from the observer OBS to the observation object OBJ is the shortest distance, and FIG. 10B shows a state from the observer OBS to the observation object OBJ. FIG. 10C shows a state when the distance is a medium distance, and FIG. 10C shows a state when the distance from the observer OBS to the observation object OBJ is the longest distance.
観察者ＯＢＳから観察物体ＯＢＪまでの距離、すなわち、頭部装着型映像取得表示装置から観察物体ＯＢＪまでの距離が変化すると、撮像画像内における注視位置が変化するだけでなく、さらに、撮像画像内における観察物体ＯＢＪの大きさが変化する（すなわち、観察物体ＯＢＪは、近くにあるときには大きく撮像され、遠くにあるときには小さく撮像される）。 When the distance from the observer OBS to the observation object OBJ, that is, the distance from the head-mounted image acquisition display device to the observation object OBJ changes, not only the gaze position in the captured image changes, but also in the captured image. The size of the observation object OBJ at the position changes (that is, the observation object OBJ is imaged large when it is close and imaged small when it is far).
本実施形態においては、被写体距離の変化に伴って撮像画像中の観察物体ＯＢＪの大きさがこのように変化したとしても、表示画像中における観察物体ＯＢＪの大きさは常に略一定となるように倍率処理部２７により倍率処理を行うようになっている。そして、この倍率処理部２７により処理される画像部分を切り出すのが切出処理部２６である。さらに、この切出処理部２６により切り出される画像領域の大きさを、測距センサ３６から得られる距離情報に基づいて演算するのは、切出情報演算部３２である。
In the present embodiment, even if the size of the observation object OBJ in the captured image changes in this manner as the subject distance changes, the size of the observation object OBJ in the display image is always substantially constant. The
すなわち、切出情報演算部３２は、撮像範囲ＦＰ内において、観察物体ＯＢＪが最短距離Ｌ１にあるときには図１０（Ａ）に示すように比較的大きい範囲を切出範囲ＤＡとして設定し、中程度の距離にあるときには図１０（Ｂ）に示すように中程度の範囲を切出範囲ＤＡとして設定し、最長距離Ｌ２にあるときには図１０（Ｃ）に示すように比較的小さい範囲を切出範囲ＤＡとして設定するようになっている。なお、何れの場合にも、切出範囲ＤＡに対する観察物体ＯＢＪの相対的な大きさは一定である。また、この切出範囲ＤＡの最短距離Ｌ１におけるサイズを縦ＤＹ×横ＤＸとすると、歯科用途における具体的な数値例としてＤＹ＝２４ｍｍ、ＤＸ＝３２ｍｍが挙げられる。
That is, when the observation object OBJ is at the shortest distance L1 within the imaging range FP, the cutout
次に、図１１は頭部装着型映像取得表示装置により測距および視線検知を行って撮像画像を切り出して表示する処理を示すフローチャートである。 Next, FIG. 11 is a flowchart showing a process of performing distance measurement and line-of-sight detection by a head-mounted image acquisition and display device and cutting out and displaying a captured image.
この処理を開始すると、測距用照明部１５の赤外発光ダイオード（ＩＲＬＥＤ）を発光させ（ステップＳ１）、観察物体ＯＢＪにより反射された赤外光を測距用照明受光部１６の位置検出素子（ＰＳＤ）により受光して（ステップＳ２）、測距部３７により観察物体ＯＢＪまでの距離を算出する（ステップＳ３）。
When this process is started, the infrared light emitting diode (IRLED) of the distance measuring
このような観察物体ＯＢＪまでの距離測定を行う一方で、頭部装着型映像取得表示装置は、観察者ＯＢＳの視線方向の検出を行う（なお、測距と視線方向検知とは、同時であっても構わないし、適宜の順序による順次であっても良い）。すなわち、まず、視線検知用照明部１３の赤外発光ダイオード（ＩＲＬＥＤ）を発光させ（ステップＳ４）、観察者ＯＢＳの眼球により反射された赤外光を視線検知部１４のラインセンサにより受光して（ステップＳ５）、ラインセンサの出力に基づき視線方向検出部３１が観察者ＯＢＳの視線方向を算出する（ステップＳ６）。
While measuring the distance to the observation object OBJ, the head-mounted image acquisition and display device detects the line-of-sight direction of the observer OBS (note that the distance measurement and the line-of-sight direction detection are simultaneous. Or may be sequential in an appropriate order). That is, first, the infrared light emitting diode (IRLED) of the line-of-sight
そして、検出された視線方向が、図８に示した視野角α（上述した例においては、水平方向を中心とした１５．２°）の範囲内に入っているか否かを判定する（ステップＳ７）。なお、ここでは便宜上、図８における横方向を水平方向と述べたが、重力方向に対する水平方向である必要はなく、頭部装着型映像取得表示装置が装着されたときに観察者ＯＢＳにより直視されていると想定されている方向（頭部装着型映像取得表示装置を設計したときに、そのように想定した方向）であれば良い。 Then, it is determined whether or not the detected line-of-sight direction is within the range of the viewing angle α shown in FIG. 8 (in the above example, 15.2 ° centered on the horizontal direction) (step S7). ). Here, for the sake of convenience, the horizontal direction in FIG. 8 is described as the horizontal direction. However, the horizontal direction is not necessarily the horizontal direction with respect to the direction of gravity, and is directly viewed by the observer OBS when the head-mounted image acquisition display device is mounted. It is only necessary to be in the direction assumed to be (the direction assumed in this way when the head-mounted image acquisition / display apparatus is designed).
このステップＳ７において、視線方向が視野角αの範囲内に入っていないと判定された場合には、切出情報演算部３２は、観察者ＯＢＳが表示ユニット６を介して観察物体ＯＢＪを観察している状態であると判定して、視線を移動する前の切出中心位置ＣＰと切出範囲ＤＡとをそのまま保持する（ステップＳ８）。
In step S7, when it is determined that the line-of-sight direction is not within the range of the viewing angle α, the cut-out
一方、上記ステップＳ７において、視線方向が視野角αの範囲内に入っていると判定された場合には、切出情報演算部３２は、観察者ＯＢＳが観察物体ＯＢＪを直視で観察している状態であると判定して、撮像画像の切出中心位置ＣＰを、ステップＳ３により算出された観察物体ＯＢＪまでの距離と、ステップＳ６により算出された視線方向と、に基づき算出する（ステップＳ９）。
On the other hand, when it is determined in step S7 that the line-of-sight direction is within the range of the viewing angle α, the cut-out
そして、切出情報演算部３２は、切出中心位置ＣＰを基準にして、観察物体ＯＢＪまでの距離に基づき切出範囲ＤＡを算出する（ステップＳ１０）。
Then, the cutout
このステップＳ１０の処理または上述したステップＳ８の処理が終了したら、フォーカス調整部２３がＡＦ駆動部２４を介して撮像部１１のレンズのフォーカスを上述したように調整し（ステップＳ１１）、撮像部１１により撮像を行って撮像画像を取得する（ステップＳ１２）。
When the processing of step S10 or the processing of step S8 described above is completed, the
次に、ステップＳ８またはステップＳ１０において設定された切出範囲（中心位置および領域の大きさ）となるように切出処理部２６により撮像画像の切り出しを行い（ステップＳ１３）、切り出した画像を、映像表示部１８の各表示素子の表示領域に合わせた倍率となるように倍率処理部２７により処理して（ステップＳ１４）、表示信号変換部２８により表示信号に変換した後に映像表示部１８の各表示素子に表示する（ステップＳ１５）。なお、上述したように外部モニタ等が接続されているときには、このステップＳ１５において、外部モニタ等への表示も行われる。
Next, the cut-
このような処理は、動画像表示を行う際に、各フレーム毎に（あるいは複数フレームに１回の割合で）行われる。そして、この頭部装着型映像取得表示装置の電源がオフされるなどしたところで、この処理を終了する。 Such processing is performed for each frame (or at a rate of once per a plurality of frames) when displaying a moving image. Then, when the power of the head-mounted image acquisition / display apparatus is turned off, the process is terminated.
次に、図１２は、観察者ＯＢＳが観察物体ＯＢＪを直視で観察しているときに、より省電力を図るようにする処理例を示すフローチャートである。この図１２に示す処理は、図１１のステップＳ７において判断の分岐が行われたときの処理となっている。 Next, FIG. 12 is a flowchart illustrating a processing example for further saving power when the observer OBS is directly observing the observation object OBJ. The process shown in FIG. 12 is a process performed when the determination is branched in step S7 of FIG.
上述した図１１の処理においては、観察者ＯＢＳが観察物体ＯＢＪを直視しているかあるいは映像表示部１８を観察しているかに関わらず、映像表示部１８、撮像部１１、および照明部１２をオンにしていることを前提としていた。これに対して、この図１２に示す例においては、視線方向やモード設定に応じて適宜にオン／オフを行うことにより、省電力を図るようになっている。
In the process of FIG. 11 described above, the
すなわち、上記ステップＳ７において、視線方向が視野角αの範囲内に入っていると判定されると、この頭部装着型映像取得表示装置が映像表示部１８の自動オフモードに設定されているか否かを判定する（ステップＳ２１）。ここで、映像表示部１８の自動オフモードに設定されていると判定された場合には、映像表示部１８をオフする（ステップＳ２２）。なお、このステップＳ２２の処理が行われたときには、図１１に示したステップＳ１５においては外部モニタへの表示のみが行われるか、もしくはステップＳ１５の処理がスキップされる。
That is, if it is determined in step S7 that the line-of-sight direction is within the range of the viewing angle α, whether or not the head-mounted image acquisition / display device is set to the automatic off mode of the
このステップＳ２２の処理が終了したら、次に、この頭部装着型映像取得表示装置が撮像部１１の自動オフモードに設定されているか否かを判定する（ステップＳ２３）。ここに、観察者ＯＢＳが映像表示部１８を観察していないときであっても、撮像部１１により撮像された画像を別途のモニタ等へ出力して表示し、上述したような教育目的などに用いることが考えられる。このような理由により、映像表示部１８のオン／オフと、撮像部１１のオン／オフとは、独立して設定することができるようになっている。
When the process of step S22 is completed, it is next determined whether or not the head-mounted image acquisition / display apparatus is set to the automatic off mode of the imaging unit 11 (step S23). Here, even when the observer OBS is not observing the
このステップＳ２３において撮像部１１の自動オフモードに設定されていると判定された場合には、撮像部１１をオフする（ステップＳ２４）。
If it is determined in step S23 that the automatic off mode of the
このステップＳ２４の処理が終了したら、次に、この頭部装着型映像取得表示装置が照明部１２の自動オフモードに設定されているか否かを判定する（ステップＳ２５）。ここで、照明部１２の自動オフモードに設定されていると判定された場合には、照明部１２をオフする（ステップＳ２６）。
When the processing in step S24 is completed, it is next determined whether or not the head-mounted image acquisition / display apparatus is set to the automatic off mode of the illumination unit 12 (step S25). Here, when it is determined that the automatic off mode of the
一方、ステップＳ２５において照明部１２の自動オフモードに設定されていないと判定された場合には、照明部１２をオンする（ステップＳ２７）。
On the other hand, if it is determined in step S25 that the
これらステップＳ２６またはステップＳ２７の処理が終了したら、図１１に示したステップＳ７の処理へ戻って、視線方向が変化したか否かの検出を行う。 When the process of step S26 or step S27 is completed, the process returns to the process of step S7 shown in FIG. 11 to detect whether or not the line-of-sight direction has changed.
また、ステップＳ２１において、映像表示部１８の自動オフモードに設定されていないと判定された場合には、映像表示部１８をオンする（ステップＳ２８）。
If it is determined in step S21 that the automatic display mode of the
このステップＳ２８の処理が終了するか、またはステップＳ２３において撮像部１１の自動オフモードに設定されていないと判定された場合には、撮像部１１をオンし（ステップＳ２９）、さらに照明部１２をオンしてから（ステップＳ３０）、図１１に示したステップＳ９の処理へ移行する。なお、ここでは撮像部１１がオンのときには必ず照明部１２もオンするようにしているが、環境照明光が十分であるときやより省電力を図りたいときにはこれに限るものではない。
When the process of step S28 ends or when it is determined in step S23 that the
一方、ステップＳ７において、視線方向が視野角αの範囲内に入っていないと判定された場合には、映像表示部１８をオンし（ステップＳ３１）、撮像部１１をオンし（ステップＳ３２）、照明部１２をオンしてから（ステップＳ３３）、ステップＳ８の処理へ移行する。
On the other hand, if it is determined in step S7 that the line-of-sight direction is not within the range of the viewing angle α, the
なお、上述では、検出された視線方向が映像表示部１８による表示を観察する方向である場合にはステップＳ３３において照明部１２をオンし、映像表示部１８による表示を観察する方向外であってかつ照明部１２の自動オフモードが設定されていた場合にはステップＳ２６において照明部１２をオフするように制御するようにしていた。しかし、このような制御を行うに限るものではない。例えば、検出された視線方向が映像表示部１８による表示を観察する方向である場合には照明部１２により発光される照明光の光量を撮像部１１により撮像を行って映像表示部１８により観察するのに適した光量となるように制御し、映像表示部１８による表示を観察する方向外である場合には照明部１２により発光される照明光の光量を肉眼により被写体を観察を行うのに適した光量となるように制御するようにしても構わない。
In the above description, when the detected line-of-sight direction is the direction in which the display by the
このような実施形態１によれば、観察者が本体１を装着した際に、前頭部にフレーム３が配置され、眼前よりも下側に表示ユニット６が配置されて、フレーム３と表示ユニット６との間に視界を妨げない空間が構成されるようにしたために、観察物体の直視と、表示ユニット６を介した観察とを所望に行うことができる。さらに、撮像部１１をフレーム３または支持部５に設けているために、撮像して得られた画像を表示ユニット５により観察することが可能となる。
According to the first embodiment, when the observer wears the
そして、被写体距離に応じて画像の切り出しを制御するようにしたために、観察者の視線と撮像部の撮像光軸とが角度をもって交差していても、被写体距離によることなく被写体の所定部分に対応する画像部分が表示画像中の中心位置となるように切り出しを行うことができる。さらに、被写体距離によることなく、表示画像中の被写体の大きさを一定にすることもできる。このように、被写体距離に応じて画像の切り出しを制御することにより、撮像された被写体像を、被写体距離の違いによる被写体の表示領域の変化を低減して表示することができる。 Since the image clipping is controlled according to the subject distance, even if the observer's line of sight and the imaging optical axis of the imaging unit intersect at an angle, it corresponds to a predetermined part of the subject regardless of the subject distance. The image can be cut out so that the image portion to be centered in the display image. Furthermore, the size of the subject in the display image can be made constant regardless of the subject distance. In this way, by controlling the cutout of the image according to the subject distance, it is possible to display the captured subject image while reducing a change in the display area of the subject due to the difference in the subject distance.
また、視線方向を検知して、視線方向の延長上にある被写体部分に対応する画像部分を切り出そうとする画像の中心位置に決定するようにしたために、被写体距離によることなく、観察者の注視部分を表示画像の中心にすることができる。 Further, since the gaze direction is detected and the image center position corresponding to the subject part on the extension of the gaze direction is determined as the center position of the image, the observer's distance can be determined regardless of the subject distance. The gaze portion can be the center of the display image.
さらに、検知された視線方向に応じて撮像部、映像表示部、照明部の電源を適切にオン／オフし、あるいは照明部の光量を適切に制御するようにしたために、消費電力を効率的に低減することが可能となる。 Furthermore, the power of the imaging unit, the video display unit, and the illumination unit is appropriately turned on / off according to the detected line-of-sight direction, or the light amount of the illumination unit is appropriately controlled, so that the power consumption is efficiently reduced. It becomes possible to reduce.
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment. Furthermore, the constituent elements over different embodiments may be appropriately combined. Thus, it goes without saying that various modifications and applications are possible without departing from the spirit of the invention.
１…本体
２…第２制御装置
３…フレーム
４Ｒ，４Ｌ…テンプル部
５…支持部
６…表示ユニット
１１…撮像部
１２…照明部
１３…視線検知用照明部（視線方向測定部）
１４…視線検知部（視線方向測定部）
１４ａ…シリンドリカルレンズ
１４ｂ…ラインセンサ
１５…測距用照明部
１６…測距用照明受光部
１７…画像処理部（映像処理部）
１８…映像表示部
１８Ｌ…左眼用映像表示素子
１８Ｒ…右眼用映像表示素子
１９…接眼光学系
２１…電気制御部（第１制御装置）
２２…カメラＩ／Ｆ部
２３…フォーカス調整部
２４…ＡＦ駆動部
２５…倍率調整部
２６…切出処理部
２７…倍率処理部
２８…表示信号変換部
３１…視線方向検出部（視線方向測定部）
３２…切出情報演算部（映像処理部）
３３…撮像部電源制御部（制御部）
３４…照明制御部（制御部）
３５…映像表示部電源制御部（制御部）
３６…測距センサ（距離測定部）
３７…測距部
３８…電源入力部
４１…バッテリ
DESCRIPTION OF
14 ... Gaze detection unit (gaze direction measurement unit)
DESCRIPTION OF
DESCRIPTION OF
DESCRIPTION OF
32. Cutout information calculation unit (video processing unit)
33 ... Imaging unit power supply control unit (control unit)
34 ... Lighting control unit (control unit)
35 ... Video display power supply control unit (control unit)
36 ... Ranging sensor (distance measuring unit)
37 ... Ranging
Claims (7)
上記フレームから下方へ連設された支持部と、
上記フレームまたは上記支持部に配設された、被写体を撮像するための撮像部と、
上記フレームとは別体に設けられていて、上記支持部を介して該フレームとの間に観察者の視線を妨げることのない空間を構成するように配設され、上記撮像部により撮像して得られた画像信号を表示信号に変換する映像処理部と、この映像処理部により変換された表示信号を電子映像として表示するための映像表示部と、この映像表示部により表示された電子映像を観察者の両眼に向けて投影するためのものであり少なくとも１つの反射面をそれぞれ備える左右の接眼光学系と、を有する表示ユニットと、
特定距離範囲内にある被写体の距離情報を取得する距離測定部と、
を具備し、
上記映像処理部は、上記距離測定部から得られる上記距離情報に基づいて、上記撮像部により得られた画像の少なくとも一部を切り出す処理を行い、切り出された画像信号を表示信号に変換するものであることを特徴とする頭部装着型映像取得表示装置。 A frame configured to be worn on the front of the observer;
A support portion continuously provided downward from the frame;
An imaging unit for imaging a subject disposed on the frame or the support unit;
The frame is provided separately from the frame, and is arranged so as to form a space between the frame and the frame that does not obstruct the observer's line of sight. A video processing unit for converting the obtained image signal into a display signal, a video display unit for displaying the display signal converted by the video processing unit as an electronic video, and an electronic video displayed by the video display unit A left and right eyepiece optical system for projecting toward both eyes of an observer, each having at least one reflecting surface, and a display unit,
A distance measurement unit that acquires distance information of a subject within a specific distance range;
Comprising
The video processing unit performs processing for cutting out at least a part of the image obtained by the imaging unit based on the distance information obtained from the distance measuring unit, and converts the cut-out image signal into a display signal. A head-mounted image acquisition and display device characterized by the above.
上記視線方向測定部により測定された視線方向が上記フレームと上記表示ユニットとの間に構成された空間を介して被写体を観察する方向である場合には、上記映像処理部は、上記視線方向の延長上にある被写体部分に対応する画像部分を上記切り出そうとする画像の中心位置に決定して、上記切り出す処理を行うものであることを特徴とする請求項２に記載の頭部装着型映像取得表示装置。 It further comprises a gaze direction measurement unit that measures the gaze direction of the observer,
When the line-of-sight direction measured by the line-of-sight direction measuring unit is a direction for observing a subject through a space formed between the frame and the display unit, the video processing unit 3. The head-mounted type according to claim 2, wherein an image portion corresponding to a subject portion on the extension is determined as a center position of the image to be cut out, and the cut-out processing is performed. Video acquisition display device.
上記制御部は、さらに、上記視線方向測定部により測定された視線方向が、上記映像表示部による表示を観察する方向である場合には上記照明部をオンし、該映像表示部による表示を観察する方向外である場合には該照明部をオフするように制御するものであることを特徴とする請求項５に記載の頭部装着型映像取得表示装置。 It further includes an illumination unit for illuminating the subject,
The control unit further turns on the illumination unit when the line-of-sight direction measured by the line-of-sight direction measurement unit is a direction for observing the display by the video display unit, and observes the display by the video display unit 6. The head-mounted image acquisition and display device according to claim 5, wherein the head-mounted image acquisition and display device is controlled so as to turn off the illuminating unit when it is out of the direction.
上記制御部は、さらに、上記視線方向測定部により測定された視線方向が、上記映像表示部による表示を観察する方向である場合には上記照明部により発光される照明光の光量を上記撮像部により撮像を行って上記映像表示部により観察するのに適した光量となるように制御し、該映像表示部による表示を観察する方向外である場合には該照明部により発光される照明光の光量を肉眼により被写体を観察するのに適した光量となるように制御するものであることを特徴とする請求項５に記載の頭部装着型映像取得表示装置。 It further includes an illumination unit for illuminating the subject,
The control unit further determines the amount of illumination light emitted by the illumination unit when the line-of-sight direction measured by the line-of-sight direction measurement unit is a direction for observing display by the video display unit. Is controlled so that the amount of light is suitable for observation by the video display unit, and when the display by the video display unit is out of the direction for observing, the illumination light emitted by the illumination unit is controlled. 6. The head mounted image acquisition and display device according to claim 5, wherein the light amount is controlled so as to be a light amount suitable for observing a subject with the naked eye.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008217027A JP2010056661A (en) | 2008-08-26 | 2008-08-26 | Head mounting type video acquiring and displaying device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008217027A JP2010056661A (en) | 2008-08-26 | 2008-08-26 | Head mounting type video acquiring and displaying device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010056661A true JP2010056661A (en) | 2010-03-11 |
Family
ID=42072163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008217027A Withdrawn JP2010056661A (en) | 2008-08-26 | 2008-08-26 | Head mounting type video acquiring and displaying device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010056661A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016024751A (en) * | 2014-07-24 | 2016-02-08 | シャープ株式会社 | Image display device |
| JP2016122085A (en) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | Display device and control method of display device |
| JP2016133399A (en) * | 2015-01-20 | 2016-07-25 | セイコーエプソン株式会社 | Head-mounted display device and method of controlling head-mounted display device, and computer program |
| WO2017022872A1 (en) * | 2015-08-04 | 2017-02-09 | 엘지전자 주식회사 | Head mounted display and control method thereof |
| JP2018532288A (en) * | 2015-08-19 | 2018-11-01 | シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | Wearable display device |
| CN108957761A (en) * | 2012-12-18 | 2018-12-07 | 精工爱普生株式会社 | Display device and its control method, head-mounted display apparatus and its control method |
| US10628948B2 (en) | 2014-07-24 | 2020-04-21 | Japan Science And Technology Agency | Image registration device, image registration method, and image registration program |
| US10989924B2 (en) | 2018-02-23 | 2021-04-27 | Samsung Electronics Co., Ltd | Head-mounted electronic device |
| WO2024106376A1 (en) * | 2022-11-15 | 2024-05-23 | ヌヴォトンテクノロジージャパン株式会社 | Image sensing device, image sensing method, and program |
-
2008
- 2008-08-26 JP JP2008217027A patent/JP2010056661A/en not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108957761A (en) * | 2012-12-18 | 2018-12-07 | 精工爱普生株式会社 | Display device and its control method, head-mounted display apparatus and its control method |
| CN108957761B (en) * | 2012-12-18 | 2021-08-13 | 精工爱普生株式会社 | Display device and control method thereof, head-mounted display device and control method thereof |
| JP2016024751A (en) * | 2014-07-24 | 2016-02-08 | シャープ株式会社 | Image display device |
| US10628948B2 (en) | 2014-07-24 | 2020-04-21 | Japan Science And Technology Agency | Image registration device, image registration method, and image registration program |
| JP2016122085A (en) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | Display device and control method of display device |
| JP2016133399A (en) * | 2015-01-20 | 2016-07-25 | セイコーエプソン株式会社 | Head-mounted display device and method of controlling head-mounted display device, and computer program |
| WO2017022872A1 (en) * | 2015-08-04 | 2017-02-09 | 엘지전자 주식회사 | Head mounted display and control method thereof |
| US10379362B2 (en) | 2015-08-04 | 2019-08-13 | Lg Electronics Inc. | Head mounted display and control method thereof |
| JP2018532288A (en) * | 2015-08-19 | 2018-11-01 | シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | Wearable display device |
| US10989924B2 (en) | 2018-02-23 | 2021-04-27 | Samsung Electronics Co., Ltd | Head-mounted electronic device |
| WO2024106376A1 (en) * | 2022-11-15 | 2024-05-23 | ヌヴォトンテクノロジージャパン株式会社 | Image sensing device, image sensing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010056661A (en) | Head mounting type video acquiring and displaying device | |
| JP6539654B2 (en) | Gaze detection device | |
| JP6159264B2 (en) | Eyeglass device and method with adjustable field of view | |
| JP3309615B2 (en) | Image observation apparatus and binocular image observation apparatus using the same | |
| KR102091055B1 (en) | Head mounted display | |
| US20170318235A1 (en) | Head-mounted displaying of magnified images locked on an object of interest | |
| US20090303315A1 (en) | Binocular device using beam splitter (bino-view) | |
| FI125445B (en) | Blick Control Device | |
| JP5420793B1 (en) | Head-mounted display with adjustable image viewing distance | |
| KR20140138620A (en) | Head-mounted display with tilt sensor for medical use | |
| JP2003225207A (en) | Visual axis detector | |
| KR101650706B1 (en) | Device for wearable display | |
| CN110944567B (en) | Medical observation device | |
| KR101780669B1 (en) | binocular capturing device using single camera | |
| JP2007104036A (en) | Display device | |
| JP6379639B2 (en) | Glasses wearing parameter measurement imaging device, glasses wearing parameter measuring imaging program | |
| JP2005286927A (en) | Transparent indicating device mounted on the head | |
| JP3709921B2 (en) | Image providing method and image providing apparatus for patients with eye diseases | |
| JP7485426B1 (en) | Head-mounted imaging device and line-of-sight image adjustment method | |
| JP2021044602A (en) | Electronic apparatus, method for controlling electronic apparatus, program, and storage medium | |
| US20230224561A1 (en) | Display apparatus, finder apparatus, and imaging apparatus | |
| JP3225628B2 (en) | Eye gaze detection device | |
| JP7246708B2 (en) | head mounted display | |
| JP2011039284A (en) | Display device | |
| JP2021064928A (en) | Electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111101 |