JP2008077572A - Image display unit - Google Patents
Image display unit Download PDFInfo
- Publication number
- JP2008077572A JP2008077572A JP2006258926A JP2006258926A JP2008077572A JP 2008077572 A JP2008077572 A JP 2008077572A JP 2006258926 A JP2006258926 A JP 2006258926A JP 2006258926 A JP2006258926 A JP 2006258926A JP 2008077572 A JP2008077572 A JP 2008077572A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- head
- display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は，画像表示装置，特に利用者の頭部に搭載する画像表示装置に関する。 The present invention relates to an image display device, and more particularly to an image display device mounted on a user's head.
近年，パネル型のディスプレイは対角１００インチを超えるような大型のものが開発されるようになり，より迫力のある画像を求める市場に対し，大画面表示という形での要求にこたえつつある。しかしながら，大きな設備規模で大画面表示が可能であることは当然であり，より小型で，より大きな画像を与える表示装置への要求も続いている。
このような要求には，ヘッドマウントディスプレイといわれる一連の表示装置が供されてきた。これは，小型液晶パネルなどを至近距離から観察するための接眼光学系を介して観察するものであり，眼鏡様のフレームなどに固定して供されることが多い。これらの装置は，主に，テレビ画像の視聴に用いられることが多く，提示画像に対しては受動的な立場で用いられることが多かった。近年，バーチャルリアリティ等，提示画像に対して，能動的に働きかけようとする試みが行われつつある（インタラクティブ画像）。これらの用途の元には，画像情報に対して身体的に働きかけを行う必要がある。
In recent years, panel-type displays with a large size exceeding 100 inches diagonal have been developed, and the market demanding more powerful images is responding to demands in the form of large screen displays. However, it is a matter of course that a large screen can be displayed with a large equipment scale, and there is a continuing demand for a display device that is smaller and gives a larger image.
To meet such demands, a series of display devices called head mounted displays have been provided. This is an observation through an eyepiece optical system for observing a small liquid crystal panel or the like from a close range, and is often provided by being fixed to a spectacle-like frame or the like. These devices are often used mainly for viewing television images, and often used in a passive position for the presented images. In recent years, attempts have been made to actively work on presented images such as virtual reality (interactive images). For these purposes, it is necessary to physically work on image information.
従来のヘッドマウントディスプレイは，常に眼前に表示装置を置くために，外界情報の授受に難点があった。これを避けるために，バーチャルリアリティに用いられる表示装置には，外界情報と表示情報を重畳させて表示する手法（ミックスドリアリティ）や，表示装置を常に透過させて外界情報を呈示する（シースルー表示）といった方策が採られたりする。また，ヘッドマウントディスプレイに定点観測用カメラを置き，その画像を呈示するものもある（特許文献１参照）。
一方，据え置き型パネルディスプレイがその表示規模をあげることにより，より迫力や臨場感を高めた画像呈示形体を示しつつある。ヘッドマウントディスプレイの今後の展開として，このような高い臨場感を持った画像呈示をも可能とする必要がある。すでに，表示装置の臨場感は観察者の視野の大きさに比例することが知られている。臨場感は水平視野角１００度程度で飽和するだろうとされており，ＮＨＫのスーパーハイビジョン画像は，このレベルのセグメントをターゲットにおいている。
ヘッドマウントディスプレイで高い臨場感を与えることを考えると，前述したような水平視野角１００度を超えるような広視野画像を呈示する必要がある。また，呈示画像に能動的な働きかけをする際には，コンソールのような能動的操作を行うための情報呈示が必要である。このとき，広視野画像の臨場感を損ねることなく，必要最低限度の操作のための情報を呈示する必要がある。
On the other hand, a stationary panel display has been increasing its display scale, and is showing an image presentation form that is more powerful and realistic. As a future development of head-mounted displays, it is necessary to be able to display images with such a high presence. It is already known that the presence of the display device is proportional to the size of the observer's visual field. The realistic sensation is expected to saturate at a horizontal viewing angle of about 100 degrees, and NHK's Super Hi-Vision images target this level of segment.
Considering giving a high sense of realism with a head-mounted display, it is necessary to present a wide-field image that exceeds the horizontal viewing angle of 100 degrees as described above. In addition, when actively acting on the presented image, it is necessary to present information for performing an active operation such as a console. At this time, it is necessary to present information for the minimum necessary operation without impairing the presence of the wide-field image.
広い表示視野を持つ，頭部搭載型の表示装置をシュミレータなどに使用する際，外界情報，特にシュミレータ操作などに必要とされる，手元機器の操作が不便であった。固定カメラを限られた視野に提示する，表示装置下部に設けた穴から手元だけを観察する，といった施策が提案されているが，頭部運動に追随した全周表示を行う際に，常に必要な情報を得られるわけではない。
本発明は，利用者の頭部に搭載し，かつ利用者による操作対象の確認が容易な画像表示装置を提供することを目的とする。
When a head-mounted display device with a wide display field is used for a simulator or the like, it is inconvenient to operate hand-held devices required for external information, particularly for simulator operation. Although measures such as presenting a fixed camera in a limited field of view and observing only the hand from the hole provided in the lower part of the display device have been proposed, it is always necessary for displaying the entire circumference following the head movement. Can't get the right information.
It is an object of the present invention to provide an image display device that is mounted on a user's head and that allows the user to easily confirm an operation target.
本発明の一態様に係る画像表示装置は，画像信号を生成する画像信号生成部と，利用者の頭部に固定される頭部固定部と，前記頭部固定部に支持され，前記利用者が操作する操作対象を撮像する撮像部と，前記画像信号生成部からの画像信号と，前記撮像部からの画像信号とを合成する画像合成部と，前記頭部固定部に支持され，前記画像合成部からの信号に基づき，画像を表示する画像表示部と，を具備することを特徴とする。 An image display device according to an aspect of the present invention includes an image signal generation unit that generates an image signal, a head fixing unit that is fixed to a user's head, and the head fixing unit that is supported by the user. Supported by an imaging unit that captures an operation target operated by the image processing unit, an image synthesis unit that synthesizes an image signal from the image signal generation unit and an image signal from the imaging unit, and the head fixing unit. And an image display unit for displaying an image based on a signal from the synthesis unit.
本発明によれば，利用者の頭部に搭載し，かつ利用者による操作対象の確認が容易な画像表示装置を提供できる。 According to the present invention, it is possible to provide an image display device that is mounted on the user's head and that allows the user to easily confirm the operation target.
（第１の実施の形態）
一般に，インタラクティブ画像の操作には，そのコンテンツに依存した操作対象，例えば，操作機器コンソールが用いられる。インタラクティブ画像操作に必要とされる最低限度の情報は，この操作対象に関する情報である。多くの場合，操作対象は手の操作で制御されるものであり，この操作情報が視覚的に与えられていれば必要最低限度の情報は得られる。表示装置の下部に手元情報を撮像する装置を付随させれば，この撮像情報から操作対象（例えば，コンソール）と手からなる，手元情報の呈示が可能である。
(First embodiment)
In general, an operation target depending on the content, for example, an operation device console is used for the operation of the interactive image. The minimum information required for the interactive image operation is information related to the operation target. In many cases, the operation target is controlled by hand operation, and if this operation information is given visually, the minimum necessary information can be obtained. If a device for imaging hand information is attached to the lower part of the display device, hand information consisting of an operation target (for example, a console) and a hand can be presented from the imaged information.
但し，インタラクティブな表示装置は頭部運動を伴うものも多く，頭部運動した場合には撮像装置と手元との相対位置関係が変わるために，十分な情報の入手が困難となる可能性がある。
このため，本実施形態では，表示装置自体に付随した頭部運動検出部からの情報を用いることにより，常に撮像装置から手元情報を取り込めるように制御を行うことで，使用状態に関係なく，手元情報の常なる入手を可能としている。
However, many interactive display devices are accompanied by head movement, and if the head moves, the relative positional relationship between the imaging device and the hand changes, which may make it difficult to obtain sufficient information. .
For this reason, in this embodiment, by using the information from the head movement detection unit attached to the display device itself, the control is performed so that the hand information can always be taken in from the imaging device. The information is always available.
以下，図面を参照して，本発明の実施の形態を詳細に説明する。
図１は，本発明の第１実施形態に係るヘッドアップディスプレイ１００を横方向から見た状態を表す模式図である。図２は，ヘッドアップディスプレイ１００を正面方向から見た状態を表す模式図である。
ヘッドアップディスプレイ１００は，利用者に広視野画像を呈示するため装置であり，利用者によって装着される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a schematic diagram illustrating a state in which the head-up
The head-up
ヘッドアップディスプレイ１００は，プロジェクタ１１０，スクリーン１２０，画像処理部１３０，ケーシング１４０，撮像素子１５０（１５１〜１５３），頭部運動検出部１６０，保持部１７０，操作対象１８０，表示・非表示スイッチ１８５を備える。
The head-up
プロジェクタ１１０は，光源１１１，コリメータレンズ１１２，表示素子１１３，および投影レンズ１１４を有し，スクリーン１２０に画像を投影する。
光源１１１は，表示素子１１３上の画像をスクリーン１２０上に投影する投影光を生成する。
コリメータレンズ１１２は，光源１１１から出射する光を平行光に変換する。
表示素子１１３は，スクリーン１２０上に投影する画像を生成する素子，例えば，液晶表示素子である。表示素子１１３は，画像を表示する画像表示部として機能する。
投影レンズ１１４は，表示素子１１３上の画像をスクリーン１２０上に投影するための光学素子である。
The
The light source 111 generates projection light that projects an image on the
The
The
The
スクリーン１２０は，ケーシング１４０に接続され，ドーム形状を有し，プロジェクタ１１０から投影された画像を広い視野角で投影するためのものである。プロジェクタ１１０からの投影像を利用者の眼前に配置したスクリーン１２０に投影することで，水平視野１００度以上の広視野画像が実現される。
The
画像処理部１３０は，画像信号を生成する。この画像は静止画，動画の何れでも差し支えない。なお，この詳細は後述する。
ケーシング１４０には，プロジェクタ１１０，画像処理部１３０，頭部運動検出部１６０，保持部１７０が格納，保護され，スクリーン１２０，撮像素子１５０が接続される。
The
In the
撮像素子１５０（１５１〜１５３）は，操作対象１８０や利用者の手（定点，特に利用者の手元）を撮像するための素子，例えば，ＣＣＤ（charge coupled device）であり，スクリーン１２０の下方に設置される。撮像素子１５０により，操作対象の情報（定点情報，特に，手元情報）を入手する。本実施形態では，利用者の右手方向から，撮像素子１５１〜１５３の３つの撮像素子が設けられる。撮像素子１５２は，利用者前面の左右１５度（水平３０ｄｅｇ）の撮像，撮像素子１５１，１５３はそれぞれ，右（左）側１５度〜４５度までを撮像する。撮像素子１５１〜１５３によって，水平方向９０度を撮像できる。
The image sensor 150 (151 to 153) is an element for imaging the
頭部運動検出部１６０は，利用者の頭部の運動を検出する素子，例えば，角速度センサ，加速度センサである。この結果，利用者の頭部運動に追随して，プロジェクタ１１０からの画像出力を変化させ，例えば，擬似的な全視野の画像表示が可能となる。
保持部１７０は，ヘッドギア１７１，接続部１７２を有する。ヘッドギア１７１は，頭部に装着する固定用の部材である。接続部１７２は，ヘッドギア１７１とプロジェクタ１１０とを接続する部材である。
The head
The
操作対象１８０は，利用者の前面に配置され，利用者が画像操作のための情報を入力する入力装置，例えば，コンソール（一例として，キーボード）である。
表示・非表示スイッチ１８５は，操作対象１８０の表示・非表示を制御するスイッチであり，利用者の手の甲に貼り付けられ，利用者の手で操作される。スクリーン１２０上への操作対象１８０の表示・非表示の操作は，体感的に単純な操作で行われることが誤操作の防止上望ましいからである。眼球運動や瞬きなどによる操作は装置構成の複雑さを増すだけでなく，観察者の操作の煩雑性や誤謬を増やす可能性が有る。
The
The display /
図３は，画像処理部１３０の内部構成を表すブロック図である。
画像処理部１３０は，画像情報入力部１３１，画像情報処理部１３２，撮像素子セレクタ１３３，画像合成部１３４，画像出力部１３５から構成される。
FIG. 3 is a block diagram illustrating the internal configuration of the
The
画像情報入力部１３１は，ヘッドアップディスプレイ１００で表示するための画像（静止画，動画）情報を入力する。
画像情報処理部１３２は，頭部運動検出部１６０，操作対象１８０からの情報に基づき，画像情報入力部１３１から入力される画像を処理する。
画像情報処理部１３２は，頭部運動検出部１６０からの頭部運動情報に基づき，頭部運動に連動して画像処理する。この結果，利用者の頭部運動に連動して，利用者が見たい方向の画像が表示されることになる。
画像情報処理部１３２は，操作対象１８０からの操作情報に基づき画像処理する。この結果，利用者の操作によって，表示される画像が変更され，例えば，ゲーム等を実行できる。
The image
The image
The image
The image
撮像素子セレクタ１３３は，頭部運動検出部１６０からの頭部運動情報に基づき，頭部運動に連動して撮像素子１５１〜１５３を選択し，選択された撮像素子１５０で撮像された画像を出力する。利用者の頭部が回転した場合，撮像素子１５１〜１５３を切り替えることで，ヘッドアップディスプレイ１００内に操作対象１８０や利用者の手を常に表示させるためである。撮像素子セレクタ１３３から出力される信号が定点情報（手元情報）に対応する。操作対象１８０や利用者の手の位置（手元位置）と観察者頭部の位置関係をプリセットすることで，手元位置を検知できる。
The
画像合成部１３４は，画像情報処理部１３２で処理された（頭部運動処理を施した）画像（以下，「主画像」という）と，撮像素子セレクタ１３３で選択された撮像素子１５０からの画像（以下，「補助画像」という）とを合成する。合成画像は，主画像（画像情報）および補助画像（定点情報（手元情報））を含む。
画像合成部１３４は，表示・非表示スイッチ１８５からの表示・非表示情報に基づき画像処理することで，利用者の操作によって，補助画像の表示の有無を制御する。
画像出力部１３５は，画像合成部１３４で合成された画像をプロジェクタ１１０に出力する。
The
The
The
図４は，ヘッドアップディスプレイ１００に表示される画像の一例を表す模式図である。
スクリーン１２０には，水平視野１００度以上の主画像Ｇ１（画像情報），および補助画像Ｇ２（定点情報（もしくは手元情報））が表示される。主画像Ｇ１の下部に補助画像Ｇ２が配置される。
FIG. 4 is a schematic diagram illustrating an example of an image displayed on the head-up
On the
図５，６は，ヘッドアップディスプレイ１００に表示される画像の他の例を表す模式図である。図５では，利用者が下を向いたことで，スクリーン１２０の下方に主画像Ｇ１，および補助画像Ｇ２が表示されている。また，図６では，利用者が上を向いたことで，スクリーン１２０の上方に主画像Ｇ１，および補助画像Ｇ２が表示されている。
5 and 6 are schematic views illustrating other examples of images displayed on the head-up
即ち，頭部運動検出部１６０による，頭部の上下方向の回転の検出に応じて，スクリーン１２０上での主画像Ｇ１，補助画像Ｇ２の表示位置が変更される。同様に，頭部の左右方向の回転の検出に応じて，スクリーン１２０上での主画像Ｇ１，補助画像Ｇ２の表示位置が変更される。このように，頭部の上下左右回転の検出に応じて，画像の表示位置を変えることで視認性を高めることができる。
ここでは，主画像Ｇ１と，補助画像Ｇ２の相対位置関係が固定されている。但し，主画像Ｇ１，補助画像Ｇ２それぞれの相対的位置を観察者の見易さに応じて変更可能としても良い。
That is, the display position of the main image G1 and the auxiliary image G2 on the
Here, the relative positional relationship between the main image G1 and the auxiliary image G2 is fixed. However, the relative positions of the main image G1 and the auxiliary image G2 may be changed according to the visibility of the observer.
（第２の実施の形態）
本発明の第２実施形態に係るヘッドアップディスプレイ２００につき説明する。
図７は，ヘッドアップディスプレイ２００の画像処理部２３０の内部構成の詳細を表すブロック図である。なお，画像処理部２３０以外の点では，本実施形態は第１の実施形態と同様なので，説明を省略する。
(Second Embodiment)
A head-up display 200 according to the second embodiment of the present invention will be described.
FIG. 7 is a block diagram showing details of the internal configuration of the
画像処理部２３０は，画像情報入力部１３１，画像情報処理部１３２，画像合成部１３４，画像出力部１３５，撮像メモリ２３６，画像変換／合成部２３７から構成される。
第１の実施形態では，複数の撮像点（撮像素子１５１〜１５３）から得られる画像をスイッチすることにより補助画像（手元情報）を表示している。しかし，撮像素子１５１〜１５３の撮像角や，利用者の頭部回転の方向によっては見難いものとなる可能性がある。本実施形態では，頭部の回転の有無，撮像装置（撮像素子１５０）と手元（操作対象１８０）との位置関係にかかわり無く，正面からの手元情報を得ることが可能となる。
The
In the first embodiment, auxiliary images (hand information) are displayed by switching images obtained from a plurality of imaging points (
撮像メモリ２３６は，撮像素子１５１〜１５３が撮像した画像を保持する。
画像変換／合成部２３７は，頭部運動検出部１６０からの頭部運動情報に基づき，撮像素子１５１〜１５３それぞれからの画像を選択（さらには，合成または変換）する。具体的には，画像変換／合成部２３７は，次のような処理を実行する。
頭部運動検出部１６０での検出結果に基づき，操作対象１８０に対する撮像素子１５１〜１５３それぞれの向きが算出される。即ち，撮像素子１５１〜１５３それぞれがどの角度から操作対象１８０を見ているかを演算する。この結果，操作対象１８０を正面から手元を見ているような画像が生成される。例えば，撮像素子１５１〜１５３から操作対象１８０を最も正面から見ている撮像素子が選択され，この撮像素子からの画像が画像変換／合成部２３７から出力される。
The
Based on the head movement information from the head
Based on the detection result of the head
この際に，撮像方向を視点とする画像から利用者の視点の画像に射影変換することによって，利用者の視認性を良好とすることができる。また，この変換に加えて，撮像素子１５１〜１５３の画像を合成することで，利用者の視認性をより良好とすることができる。例えば，単一の撮像素子１５１〜１５３では，操作対象１８０の全体が撮像されない場合である。
At this time, the user's visibility can be improved by performing projective transformation from an image having the imaging direction as a viewpoint to an image at the user's viewpoint. In addition to this conversion, the visibility of the user can be improved by combining the images of the
既述のように，頭部運動検出部１６０は，画像情報処理部１３２が頭部運動に応じた画像処理を施すために用いられる。本実施形態の場合，頭部運動検出部１６０は，撮像素子１５０と，操作対象１８０（固定点（もしくは手元位置））との相対角度を測定するためにも用いられる。画像変換／合成部２３７は，この測定結果に基づいて，正面を向く操作対象１８０の画像を生成できる。
As described above, the head
（第３の実施の形態）
本発明の第３実施形態に係るヘッドアップディスプレイ３００につき説明する。ヘッドアップディスプレイ３００は，第１の実施形態での撮像素子１５１〜１５３に替えて，撮像素子コントローラ３５５で制御される可動型撮像素子３５０を用いる。
(Third embodiment)
A head-up display 300 according to a third embodiment of the present invention will be described. The head-up display 300 uses a
図８は，ヘッドアップディスプレイ３００の画像処理部３３０を表すブロック図である。画像処理部３３０自体の内部構成は，第２の実施形態と実質的に変わるところがない。
頭部運動検出部１６０からの検出結果が撮像素子コントローラ３５５に入力され，撮像素子コントローラ３５５が可動型撮像素子３５０の撮像の方向を制御する。即ち，頭部運動情報を用いて，可動型撮像素子３５０の撮像方向を変化させる。この結果，撮像素子の切り換えが不要となり，撮像素子の点数を減らすことが可能となる。
FIG. 8 is a block diagram illustrating the
The detection result from the head
（第４の実施の形態）
本発明の第４実施形態に係るヘッドアップディスプレイ４００につき説明する。
図９は，本実施形態に係るヘッドアップディスプレイ４００を横方向から見た状態を表す模式図である。図１０は，画像処理部４３０の内部構成を表すブロック図である。
本実施形態では，マーカ検出部４５６が付加されている。なお，第３の実施形態と同様，撮像素子コントローラ３５５で制御される可動型撮像素子３５０を用いる。
(Fourth embodiment)
A head-up
FIG. 9 is a schematic diagram illustrating a state in which the head-up
In the present embodiment, a
操作対象１８０および利用者の腕（や指先）に付加されたマーカＭ１，Ｍ２が，マーカ検出部４５６で検出される。即ち，マーカＭ１，Ｍ２それぞれと，マーカ検出部４５６との相対的な位置関係が検出される。
マーカＭ１，Ｍ２として発光素子（例えば，ＬＥＤ），反射板（例えば，赤外光反射板）等を用いることができる。前者ではマーカＭ１，Ｍ２からの発光光によりマーカ検出部４５６がマーカＭ１，Ｍ２の位置を検出する。後者では，マーカ検出部４５６が発光素子および受光素子を有し，マーカＭ１，Ｍ２からの反射光が検出される。
なお，前者の場合，可動型撮像素子３５０をマーカ検出部４５６として兼用することができる。可動型撮像素子３５０からの画像中の光点（マーカＭ１，Ｍ２からの発光光）を認識することでマーカＭ１，Ｍ２の検出が可能である。
Markers M1 and M2 added to the
As the markers M1 and M2, a light emitting element (for example, LED), a reflecting plate (for example, an infrared light reflecting plate), or the like can be used. In the former, the
In the former case, the
マーカ検出部４５６からの検出結果が撮像素子コントローラ３５５に入力され，撮像素子コントローラ３５５が可動型撮像素子３５０の撮像の方向を制御する。この結果，マーカＭ１，Ｍ２，即ち，操作対象１８０や利用者の手（定点や手元）の位置の積極的な追尾（能動的に検知）が可能となる。この結果，補助画像Ｇ２の表示領域内に対する操作対象１８０の位置を固定できる。
The detection result from the
この場合，手元位置と観察者頭部の位置関係をプリセットすることなく，手元位置を検知可能なだけではなく，操作対象１８０を広範囲に置いた状態であっても，観察者の手元位置に連動して手元の撮像情報を得ることが可能となる。
In this case, it is possible not only to detect the hand position without presetting the positional relationship between the hand position and the observer's head, but also to be linked to the hand position of the observer even when the
（第５の実施の形態）
本発明の第５実施形態に係るヘッドアップディスプレイ５００につき説明する。
図１１は，画像処理部５３０の内部構成を表すブロック図である。
(Fifth embodiment)
A head-up display 500 according to a fifth embodiment of the present invention will be described.
FIG. 11 is a block diagram illustrating an internal configuration of the
ヘッドアップディスプレイ５００は，操作対象１８０の操作状態を検知する操作状態検知部５９０を有する。
画像処理部５３０は，画像情報入力部１３１，画像情報処理部１３２，画像合成部１３４，画像出力部１３５，撮像メモリ２３６，モデル化部５３８から構成される。
モデル化部５３８は，操作状態検知部５９０の検知結果に基づき，操作対象１８０（および利用者の手）の模式図の画像を生成する。
The head-up display 500 includes an operation
The
The
利用者のおかれた環境にあっては，実写画像そのものを手元情報として用いることは，煩雑性を増し，操作性として不利な場合がある。操作対象１８０が単純な場合には，模式的な操作対象像のみの表示でまかなえる。
たとえば，図１２に示すような操作対象１８６は，中心に一つの大型レバーを持ち，その周りに数個のボタンＢ１〜Ｂ５を持つだけである。中心の大型レバーは利用者自身の手による触覚により，簡単に認知可能であり，それを中心として周辺のボタンＢ１〜Ｂ５の知覚も容易である。このような単純な操作対象には実写画像を用いる必要は無い。
In a user's environment, using the photographed image itself as hand information increases the complexity and may be disadvantageous for operability. When the
For example, an
このため，本実施形態では，実写画像を用いず，模式的な操作対象の画像を用いた。例えば，図１３に示すような操作対象の模式像１８６Ｇを用いれば足りる。
このとき，操作状態検知部５９０の検知結果に基づき，操作対象１８６の操作状態を表示できる。即ち，模式的操作対象の画像と，現在操作中のスイッチ（実際に観察者が入力したスイッチ）を発色させることで，利用者がどのスイッチを操作したかを表示できる。例えば，操作対象１８６のボタンＢ４が操作されたときに，ボタンＢ４に対応する模式像Ｂ５Ｇに色彩を付与することができる。
For this reason, in the present embodiment, a schematic image to be operated is used without using a real image. For example, it is sufficient to use a
At this time, based on the detection result of the operation
さらに，観察者の指それぞれに対応した検出手段を装着することで，どの指でどのスイッチを操作したかが検出可能である。例えば，利用者の指に感圧センサを取り付けることで，どの指で操作対象１８０を操作したかを判別できる。この判別結果と，操作状態検知部５９０での検知結果から，どの指でどのスイッチを操作したかを判定できる。
Furthermore, it is possible to detect which switch has been operated by which finger by wearing detection means corresponding to each finger of the observer. For example, by attaching a pressure sensor to the user's finger, it is possible to determine which finger operated the
このような手段を持たせることにより，操作対象１８６の模式図に，観察者の手の模式図を重畳させることが可能となる。キーボードのような複雑で多数のスイッチを持つような操作対象の場合，単純に撮像だけでは見難いスイッチが発生する。しかし，操作対象の模式図と観察者の手の模式図を重畳させることにより，操作対象の視認性向上と操作性向上を図ることが可能である（図１４参照）。
By providing such means, it is possible to superimpose a schematic diagram of the observer's hand on the schematic diagram of the
図１４では，キーボードの機能図に，おおよその手のイメージを輪郭線とともに半透過のイメージＡＧとして重畳させ表示している。このため，実写画像では視認できない，手の下の操作対象も知覚可能であり，操作の容易性を高める。本実施形態は，操作対象が限られた，かつ容易に類推可能な既存の操作対象に作業を行う際に有用である。ここでは，キー「Ｈ」が押されていることを示すために，キー「Ｈ」の部分に色彩が付与されているものとする。 In FIG. 14, an approximate hand image is superimposed and displayed as a semi-transparent image AG along with a contour line on the functional diagram of the keyboard. For this reason, it is possible to perceive an operation object under the hand that cannot be visually recognized in a live-action image, thereby improving the ease of operation. This embodiment is useful when an operation is performed on an existing operation target that has a limited operation target and can be easily analogized. Here, in order to indicate that the key “H” is pressed, it is assumed that a color is given to the portion of the key “H”.
（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張，変更可能であり，拡張，変更した実施形態も本発明の技術的範囲に含まれる。
本発明は表示装置の形態にかかわらず適用可能である。上記実施形態では，ドームスクリーンを用いた頭部搭載型ディスプレイを用いて効果を説明した。これに対して，ヘッドマウントディスプレイなどのような，パネル直視型の頭部搭載ディスプレイに実装することも可能である。
また，撮像素子の個数，配置位置は適宜に選択可能である。
(Other embodiments)
Embodiments of the present invention are not limited to the above-described embodiments, and can be expanded and modified. The expanded and modified embodiments are also included in the technical scope of the present invention.
The present invention is applicable regardless of the form of the display device. In the above embodiment, the effect has been described using a head-mounted display using a dome screen. On the other hand, it can be mounted on a panel direct-view head-mounted display such as a head-mounted display.
In addition, the number and arrangement position of the image sensor can be selected as appropriate.
１００…ヘッドアップディスプレイ，１１０…プロジェクタ，１１１…光源，１１２…コリメータレンズ，１１３…表示素子，１１４…投影レンズ，１２０…スクリーン，１３０…画像処理部，１３１…画像情報入力部，１３２…画像情報処理部，１３３…撮像素子セレクタ，１３４…画像合成部，１３５…画像出力部，１４０…ケーシング，１５０（１５１，１５２，１５３）…撮像素子，１６０…頭部運動検出部，１７０…保持部，１７１…ヘッドギア，１７２…接続部，１８０…操作対象，１８５…表示・非表示スイッチ
DESCRIPTION OF
Claims (5)
利用者の頭部に固定される頭部固定部と，
前記頭部固定部に支持され，前記利用者が操作する操作対象を撮像する撮像部と，
前記画像信号生成部からの画像信号と，前記撮像部からの画像信号とを合成する画像合成部と，
前記頭部固定部に支持され，前記画像合成部からの信号に基づき，画像を表示する画像表示部と，
を具備することを特徴とする画像表示装置。 An image signal generator for generating an image signal;
A head fixing part fixed to the user's head;
An imaging unit which is supported by the head fixing unit and images an operation target operated by the user;
An image synthesis unit that synthesizes the image signal from the image signal generation unit and the image signal from the imaging unit;
An image display unit supported by the head fixing unit and displaying an image based on a signal from the image synthesis unit;
An image display device comprising:
画像を表示する表示素子と，
前記表示された画像を投影する画像投影部と，
利用者の頭部に固定され，前記画像投影部から投影される画像を表示するスクリーンと，を有する
ことを特徴とする請求項１記載の画像表示装置。 The image display unit is
A display element for displaying an image;
An image projection unit for projecting the displayed image;
The image display device according to claim 1, further comprising: a screen that is fixed to a user's head and displays an image projected from the image projection unit.
前記画像表示装置が，
前記利用者の頭部の運動を検出する運動検出部と，
前記運動検出部での検出結果に基づいて，前記画像表示部への表示に用いる撮像素子を切り替える切替部と，をさらに具備する
ことを特徴とする請求項１記載の画像表示装置。 The imaging unit has a plurality of imaging elements;
The image display device
A motion detector for detecting motion of the user's head;
The image display device according to claim 1, further comprising: a switching unit that switches an image sensor used for display on the image display unit based on a detection result of the motion detection unit.
前記撮像部からの画像信号および前記操作状態検知部での検知結果に基づいて，前記操作対象の操作状態を表す画像信号を生成する第２の画像信号生成部と，をさらに具備し，
前記画像合成部が，前記画像信号生成部，および前記第２の画像信号生成部からの画像信号を合成する
ことを特徴とする請求項１記載の画像表示装置。 An operation state detector for detecting an operation state of the operation target;
A second image signal generation unit that generates an image signal representing an operation state of the operation target based on an image signal from the imaging unit and a detection result in the operation state detection unit;
The image display device according to claim 1, wherein the image synthesis unit synthesizes image signals from the image signal generation unit and the second image signal generation unit.
ことを特徴とする請求項４記載の画像表示装置。 The image display apparatus according to claim 4, wherein the image signal generated by the second image signal generation unit is an image signal of a schematic diagram representing an operation state of the operation target.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006258926A JP2008077572A (en) | 2006-09-25 | 2006-09-25 | Image display unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006258926A JP2008077572A (en) | 2006-09-25 | 2006-09-25 | Image display unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008077572A true JP2008077572A (en) | 2008-04-03 |
Family
ID=39349534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006258926A Withdrawn JP2008077572A (en) | 2006-09-25 | 2006-09-25 | Image display unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008077572A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009130985A1 (en) * | 2008-04-23 | 2009-10-29 | コニカミノルタホールディングス株式会社 | Information input system |
| JP2012138011A (en) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | Information processing system, information processing method and program |
| EP2996017A1 (en) * | 2014-09-11 | 2016-03-16 | Nokia Technologies OY | Method, apparatus and computer program for displaying an image |
| WO2017085974A1 (en) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus |
| JP2017102603A (en) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | Image processor, image processing method, and image processing program |
| JP2017152010A (en) * | 2013-06-09 | 2017-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display |
-
2006
- 2006-09-25 JP JP2006258926A patent/JP2008077572A/en not_active Withdrawn
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009130985A1 (en) * | 2008-04-23 | 2009-10-29 | コニカミノルタホールディングス株式会社 | Information input system |
| JP5029759B2 (en) * | 2008-04-23 | 2012-09-19 | コニカミノルタホールディングス株式会社 | Information input system |
| JP2012138011A (en) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | Information processing system, information processing method and program |
| US10525335B2 (en) | 2013-06-09 | 2020-01-07 | Sony Interactive Entertainment Inc. | Head mounted display |
| JP2017152010A (en) * | 2013-06-09 | 2017-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display |
| US10173129B2 (en) | 2013-06-09 | 2019-01-08 | Sony Interactive Entertainment Inc. | Methods for rendering interactive content to a head mounted display |
| US10987574B2 (en) | 2013-06-09 | 2021-04-27 | Sony Interactive Entertainment Inc. | Head mounted display |
| WO2016038253A1 (en) * | 2014-09-11 | 2016-03-17 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image |
| CN106716302A (en) * | 2014-09-11 | 2017-05-24 | 诺基亚技术有限公司 | Method, apparatus and computer program for displaying an image |
| US20170263056A1 (en) * | 2014-09-11 | 2017-09-14 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image |
| JP2017528834A (en) * | 2014-09-11 | 2017-09-28 | ノキア テクノロジーズ オサケユイチア | Method, apparatus and computer program for displaying images |
| EP2996017A1 (en) * | 2014-09-11 | 2016-03-16 | Nokia Technologies OY | Method, apparatus and computer program for displaying an image |
| US10916057B2 (en) * | 2014-09-11 | 2021-02-09 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a real world object in a virtual reality enviroment |
| CN106716302B (en) * | 2014-09-11 | 2021-04-13 | 诺基亚技术有限公司 | Method, apparatus, and computer-readable medium for displaying image |
| WO2017085974A1 (en) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus |
| JP2017102603A (en) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | Image processor, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11231897B2 (en) | Display system, display device, information display method, and program | |
| JP4533087B2 (en) | Image processing method and image processing apparatus | |
| JP4227561B2 (en) | Image processing method and image processing apparatus | |
| JP5295714B2 (en) | Display device, image processing method, and computer program | |
| JP4933164B2 (en) | Information processing apparatus, information processing method, program, and storage medium | |
| JP6123365B2 (en) | Image display system and head-mounted display device | |
| US20070132662A1 (en) | Information processing method, information processing apparatus, and image sensing apparatus | |
| US9217866B2 (en) | Computer control with heads-up display | |
| JPH0749744A (en) | Head mounting type display input device | |
| WO2012082971A1 (en) | Systems and methods for a gaze and gesture interface | |
| JP5869712B1 (en) | Head-mounted display system and computer program for presenting a user's surrounding environment in an immersive virtual space | |
| JP4783456B2 (en) | Video playback apparatus and video playback method | |
| JP2008077572A (en) | Image display unit | |
| JPWO2005124735A1 (en) | Image display system, image display method, and image display program | |
| JPWO2009025034A1 (en) | Image display device | |
| TW201843494A (en) | Display system with video see-through | |
| JP2006276748A (en) | Information presenting device, information presenting method, and computer program | |
| JP6638392B2 (en) | Display device, display system, display device control method, and program | |
| JP2005339377A (en) | Image processing method and image processor | |
| JP4945694B2 (en) | Video playback apparatus and video playback method | |
| JP2005339266A (en) | Information processing method, information processor and imaging device | |
| JP6740613B2 (en) | Display device, display device control method, and program | |
| JP4952204B2 (en) | Remote work support system and display method thereof | |
| JP2018063567A (en) | Image processing device, image processing method and program | |
| JP2830291B2 (en) | 3D display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091201 |