JP2014174401A - 画像表示システム及び頭部装着型表示装置 - Google Patents
画像表示システム及び頭部装着型表示装置 Download PDFInfo
- Publication number
- JP2014174401A JP2014174401A JP2013048246A JP2013048246A JP2014174401A JP 2014174401 A JP2014174401 A JP 2014174401A JP 2013048246 A JP2013048246 A JP 2013048246A JP 2013048246 A JP2013048246 A JP 2013048246A JP 2014174401 A JP2014174401 A JP 2014174401A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewing direction
- display
- display device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/203—Image generating hardware
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/308—Details of the user interface
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】画像表示システム1は、画像送信装置2と、第1画像を表示する第1表示装置(ディスプレイ3)と、第2画像を表示する第2表示装置(HMD4)とを備え、第2表示装置は、第2画像を受信する表示装置側受信手段(送受信手段41)と、第2画像を表示する表示手段45と、使用者の現在視方向を取得する視方向取得手段(視方向取得部461)と、現在視方向を送信する表示装置側送信手段(送受信手段41)とを備え、画像送信装置2は、現在視方向を受信する送信装置側受信手段(送受信手段22)と、全体画像における一部の領域の画像である第1画像、及び、当該全体画像における現在視方向に応じた領域の画像である第2画像を抽出する抽出手段(描画抽出手段24)と、第1及び第2画像を送信する送信装置側送信手段(送受信手段22)とを備える。
【選択図】図2
Description
この特許文献1に記載のヘッドマウントディスプレイは、外界を観察可能なシースルー型のヘッドマウントディスプレイとして構成されている。そして、当該ヘッドマウントディスプレイでは、フレームのテンプルに設けられたバックライトから出射された光を液晶表示デバイスにより画像情報に応じて変調し、レンズを介して当該光を導光板により使用者の目に導光する。これにより、画像が視認される。
また、各ユーザーに装着されるヘッドマウントディスプレイを1台のゲーム機に接続して、ユーザー毎の操作画面を個別に表示することも考えられる。しかしながら、このような場合には、それぞれが個別にビデオゲームを実施している場合と大差がないという問題がある。
このような問題から、ビデオゲームのゲーム画面のような一連の画像のうち、各ユーザーが観察できる範囲を拡大できる構成が要望されてきた。
上記第1態様によれば、1フレーム分の画像である全体画像において、一部の領域の画像である第1画像が第1表示装置にて表示され、視方向取得手段により取得された使用者の現在視方向に応じた領域の画像である第2画像が、第2表示装置にて表示される。
これによれば、当該第1画像が第1表示装置にて表示されるだけでなく、使用者の現在視方向に応じた第2画像が第2表示装置にて表示されるので、使用者が現在視方向を変えることにより、全体画像における広い範囲を観察できる。従って、全体画像において使用者が観察できる範囲を拡大できる。また、前述のビデオゲームのゲーム画面が第1表示装置及び第2表示装置にて表示される場合には、第三者が観察可能な第1表示装置により第1画像が表示されるので、使用者(この場合ビデオゲームのプレイヤー)以外の第三者が当該ビデオゲームの進行状況を把握できる。
上記第1態様によれば、視方向取得手段は、第1画像を表示する第1表示装置を向く方向を基準視方向とし、当該基準視方向に対する角度として現在視方向を表す。ここで、全体画像において第1画像として抽出される領域は、使用者の位置に対応する基準点から基準視方向が向く領域となるので、当該基準視方向に対する角度で表される現在視方向により、全体画像において第2画像として取得する領域を容易に設定できる。従って、抽出手段による第2画像の抽出を容易かつ確実に実施できる。
上記第1態様によれば、使用者の視方向が基準視方向と一致する状態からの視方向の変位量を、変位検出手段による検出結果から取得することで、視方向取得手段が、使用者の現在視方向を容易に取得できる。従って、視方向取得処理を簡易に行うことができる。
上記第1態様によれば、視方向取得手段は、位置検出手段が第1表示装置の位置を検出した際の使用者の視方向を基準視方向とすることができるので、使用者が基準視方向の設定操作を実施する必要がない。この他、基準視方向を適切かつ確実に設定できるので、現在視方向と基準視方向とが一致する場合に、第1表示装置により表示される画像の内容と、第2表示装置により表示される画像の内容との間にずれが生じることを抑制できる。
また、現在視方向が第1表示装置を向く方向でない場合には、駆動制御手段がシャッターを遮光状態とする。これによれば、使用者による外界の視認性を低下させることができるので、表示手段により表示される第2画像を鮮明に観察できる。従って、高い没入感を得ることができる。
ここで、使用者が見た第1画像のサイズと第2画像のサイズとが異なる場合には、これら第1画像及び第2画像が、それぞれ全体画像の一部の領域を構成する画像であるとの感覚を得づらい。これに対し、上記第1態様では、第2画像がリサイズされることで、それぞれ見た目上の第1画像のサイズと第2画像のサイズとを略同じにすることができる。従って、使用者の視野において第1画像が観察される視野角範囲と第2画像が観察される視野角範囲とを一致させることができるので、第1画像及び第2画像のそれぞれを観察する際の違和感を低減でき、上記没入感を得やすくすることができる。
上記第1態様によれば、画像処理手段による第2画像のリサイズを、実際に使用者により観察される第1画像の見た目上のサイズに合わせて実施できる。従って、それぞれ見た目上の第1画像のサイズと第2画像のサイズとを一致させることができる。
上記第2態様によれば、全体画像において予め設定された領域の画像だけでなく、当該全体画像において使用者の視方向に応じた領域の画像を観察できる。従って、全体画像の観察範囲を拡大でき、大きなサイズの全体画像を縮小することなく観察できる。
以下、本発明の第1実施形態について、図面に基づいて説明する。
[画像表示システムの全体構成]
図1は、本実施形態に係る画像表示システム1の全体構成を示す模式図である。
本実施形態に係る画像表示システム1は、図1に示すように、画像送信装置2と、当該画像送信装置2にそれぞれ接続される設置型ディスプレイ(以下、ディスプレイと略す場合がある)3及びヘッドマウントディスプレイ(以下、HMDと略す場合がある)4(4A,4B)とを備え、当該画像送信装置2から送信された画像情報(画像データ及び画像信号を含む)に応じた画像を、ディスプレイ3及びHMD4(4A,4B)がそれぞれ表示するものである。このような画像表示システム1は、使用者US(USA,USB)の現在位置を中心とする平面視円形状の仮想表示面VDを使用者US毎に設定し、当該仮想表示面VDに1フレーム分の画像である全体画像を当てはめ、当該全体画像における所定領域内の画像を第1画像としてディスプレイ3に表示させ、当該全体画像においてHMD4を装着した使用者USの現在の視方向に応じた領域内の画像を当該HMD4に表示させることを特徴の1つとしている。
なお、本実施形態では、画像表示システム1は、2台のHMD4(4A,4B)を備える構成としているが、HMD4の数は適宜変更可能である。
図2は、画像表示システム1の構成を示すブロック図である。
画像送信装置2は、上記全体画像を描画し、当該全体画像においてディスプレイ3に表示させる領域内の画像である第1画像を当該ディスプレイ3に送信するとともに、使用者USの視方向に応じた領域内の画像である第2画像をHMD4に送信する。具体的に、画像送信装置2は、本実施形態ではゲーム機やPC等で構成され、ゲームの進行に応じた画像や、絵画及び風景等の画像を含む全体画像を描画し、当該全体画像から抽出された第1画像及び第2画像を、ディスプレイ3及びHMD4にそれぞれ送信する。
このような画像送信装置2は、図2に示すように、入力手段21、送受信手段22、記憶手段23、描画抽出手段24及び制御手段25を備える。
送受信手段22は、制御手段25の制御の下、ディスプレイ3及びHMD4との間で情報の送受信を行う。例えば、送受信手段22は、上記第1画像の画像情報をディスプレイ3に送信する他、上記第2画像の画像情報をHMD4に送信する。また、送受信手段22は、HMD4から後述する観察状態情報を受信する。すなわち、送受信手段22は、本発明の送信装置側受信手段及び送信装置側送信手段としての機能を有する。
そして、描画抽出手段24は、本発明の抽出手段としての機能を有し、当該全体画像において、所定の位置に基準領域を設定し、当該基準領域内の画像を上記第1画像として抽出する。この第1画像は、使用者の現在の視方向が基準視方向(使用者の視方向がディスプレイ3の後述する画像表示領域31を向く方向)と一致する場合に観察される画像である。換言すると、基準領域は、上記円形状の仮想表示面VD(図1参照)に全体画像を当てはめた場合に、当該全体画像において、仮想表示面VDの中心に位置する使用者の視方向が基準視方向と一致した場合に観察される領域である。
また、描画抽出手段24は、上記円形状の仮想表示面VD(図1参照)に全体画像を当てはめた場合に、上記観察状態情報により示される現在視方向に応じた領域内の画像を上記第2画像として全体画像から抽出する。この観察状態情報に含まれる視方向情報は、詳しくは後述するが、基準視方向に対する使用者の現在の視方向の相対的な角度で現在視方向を表している。
例えば、描画抽出手段24は、図3に示すゲーム画像である横長の全体画像P1を描画する。そして、描画抽出手段24は、当該全体画像P1に基準領域PAを設定し、当該基準領域PA内の画像を第1画像として抽出する。そして、描画抽出手段24は、抽出された第1画像の画像情報を、送受信手段22を介してディスプレイ3に送信する。なお、基準領域PAの寸法は、ディスプレイ3の後述する画像表示領域31(図4参照)のアスペクト比に応じて設定される。
この後、描画抽出手段24は、上記仮想表示面VDに全体画像P1が当てはめ、当該全体画像P1における上記基準領域PAを基準視方向に応じた位置に位置付けた場合に、上記現在視方向及び相対距離に応じた領域(例えば、図3における領域PB)内の画像、すなわち、現在視方向を中心として使用者の視野に入る領域内の画像を第2画像として全体画像P1から抽出する。この後、描画抽出手段24は、抽出された第2画像P12の画像情報を、送受信手段22を介して上記観察状態情報を送信したHMD4に送信する。
このように描画抽出手段24が、現在視方向だけでなく相対距離にも基づいて第2画像を抽出しているのは、HMD4(すなわち使用者)と仮想表示面VDとの相対距離によって、仮想表示面VDに当てはめられた全体画像P1における使用者の観察範囲、すなわち、使用者の視野角が変わるためである。
しかしながら、これに限らず、画像送信装置2は常に現在視方向に応じた第2画像を抽出及び送信して、当該第2画像の画像情報を受信したHMD4側で、基準視方向と現在視方向とが一致するか否かの判定処理を実施し、第2画像P12を表示するか否かを判定する構成としてもよい。
図4は、ディスプレイ3を示す模式図である。
ディスプレイ3は、前述のように、画像表示システム1が配置される空間内の所定位置に設置される設置型のディスプレイであり、本発明の第1表示装置に相当する。このディスプレイ3は、図4に示すように、画像送信装置2から受信される画像情報に応じた第1画像を表示する長方形状の画像表示領域31を有する。
このようなディスプレイ3として、液晶、プラズマ、有機EL(Electroluminescence)及びCRT(Cathode Ray Tube)等の各種ディスプレイを例示できる。また、ディスプレイ3のサイズは適宜選択可能である。
HMD4は、本発明の第2表示装置に相当する。このHMD4は、図1に示したように、使用者USの頭部に装着され、形成した画像を当該使用者USの目に入射させることで当該画像を視認させる頭部装着型画像表示装置(虚像表示装置)であり、本実施形態ではシースルー型のヘッドマウントディスプレイとして構成されている。このHMD4は、観察状態情報を画像送信装置2に送信して、使用者USの現在視方向に応じた第2画像を画像送信装置2から受信して表示する。
このようなHMD4は、図2に示したように、送受信手段41、変位検出手段42、位置検出手段43、測距手段44、表示手段45及び制御手段46と、これらが取り付けられるフレーム(図示省略)とを備える。これらのうち、フレームは、眼鏡のフレーム様の構成を有する。
このように、位置検出手段43は、本発明の位置検出手段及びサイズ検出手段としての機能を有する。
なお、位置検出手段43が当該撮像素子を有するセンサーを備える構成である場合には、当該撮像素子による撮像画像に基づいて、画像表示領域31の位置等を検出する構成としてもよい。
画像形成装置451は、本発明の画像形成手段に相当し、図示を省略するが、光源装置と、当該光源装置から出射された光束を変調する光変調装置と、変調された光を投射する投射光学装置とを備える。なお、光変調装置としては、透過型又は反射型の液晶パネルや、マイクロミラーを用いたデバイスを例示できる。
導光部材452には、使用者の目に応じた位置にハーフミラーが設けられており、画像形成装置451から導光部材452内に入射された光は、当該導光部材452内を反射しつつ進行して、当該ハーフミラーにより使用者の目に向けて反射される。このため、使用者は、当該光により形成される画像を観察可能である他、外界も観察可能である。
具体的に、視方向取得部461は、まず、位置検出手段43が上記マーカー32(マーカー32が複数設けられている場合には全てのマーカー32)を検出した状態を、使用者の現在視方向が画像表示領域31を向いた状態(現在視方向が基準視方向と一致する状態)であると判断する。
そして、視方向取得部461は、当該状態から、変位検出手段42による検出結果に基づいて、基準視方向からの現在視方向の変位方向及び変位量を取得し、基準視方向を0度とした場合の相対的な角度で現在視方向を示す視方向情報を取得する。
この際、前述のように、本実施形態における全体画像P1は左右方向に長い横長画像であるので、例えば、基準視方向から右側に移動した場合の現在視方向を正(+)の値の角度で表し、基準視方向から左側に移動した場合の現在視方向を負(−)の値の角度で表す。このようにして、現在視方向を示す視方向情報が取得される。
観察状態取得部462は、位置検出手段43による検出結果に基づいて、HMD4からの画像表示領域31の見た目上のサイズ(使用者により観察される画像表示領域31の見た目上のサイズ)を取得する。換言すると、使用者の視野内において画像表示領域31が位置する視野角(水平方向の視野角及び垂直方向の視野角)を取得する。
なお、使用者の2.5m先に40インチの画像が視認されるように表示手段45が構成されている場合、画像表示領域31のサイズが対角40インチであり、当該画像表示領域31と使用者との相対距離が2.5mであれば、画像表示領域31の見た目上のサイズと、HMD4にて表示される画像の見た目上のサイズとは略同じとなる。このため、このような条件の場合には、上記リサイズ処理を省略してもよい。
この他、駆動制御部464は、画像処理部463にて処理された画像情報に応じた画像信号を表示手段45に出力して、当該表示手段45の動作を制御する。
例えば、駆動制御部464は、当該画像情報に応じた第2画像を画像形成装置451に形成させる。また、駆動制御部464は、視方向取得部461により取得された現在視方向が基準視方向と一致すると判定した場合にはシャッター453を透過状態とし、基準視方向と一致しないと判定した場合には当該シャッター453を遮蔽状態とする。この際、現在の使用者の視野において上記仮想表示面VDが位置しない範囲に対応するシャッター453の領域は、外界像を観察できるように透過状態としてもよく、没入感を得られるように遮蔽状態としてもよい。このような駆動制御部464は、本発明の駆動制御手段に相当する。
これに対し、HMD4の表示手段45が、表示される画像の中心と使用者の視野の中心とが略一致するように当該画像を表示すれば、上記安定注視野内に当該画像を表示しやすくすることができる。従って、HMD4にて表示される画像を使用者により視認させやすくすることができる。
ここで、現在視方向の向きによっては、全体画像P1において、第2画像に応じた領域の一部と第1画像に応じた基準領域PAの一部とが重なる場合が生じうる。例えば、図5に示す第2画像P12は、図3における領域PC内の画像であるが、当該第2画像P12における点線で示す領域AR内の画像は、上記基準領域PAに含まれる画像である。このような場合、駆動制御部464は、受信された第2画像P12を表示手段45により表示させるとともに、上記シャッター453を遮蔽状態とする。これにより、第2画像P12において第1画像と重なる領域がある場合でも、当該第2画像P12は、表示手段45により表示される画像として視認される。
図6は、画像表示システム1での画像表示処理を示すフローチャートである。なお、図6においては、ディスプレイ3の処理については省略している。
上記画像表示システム1では、画像送信装置2、ディスプレイ3及びHMD4が共同して、図6に示す画像表示処理を実行する。
この画像表示処理では、まず、HMD4の視方向取得部461が、位置検出手段43の検出結果に基づいて、基準視方向を設定する(ステップSA1)。
また、HMD4は、観察状態取得部462が、位置検出手段43による検出結果に基づく画像表示領域31の見た目上のサイズ、及び、測距手段44により測定された上記相対距離を含む観察状態を取得する(ステップSA2)。
そして、駆動制御部464が、取得された視方向情報及び相対距離と、HMD4の固有情報とを含む観察状態情報を、送受信手段41を介して画像送信装置2に送信する(ステップSA4)。この後、HMD4は、処理をステップSA5に移行する。
そして、描画抽出手段24は、当該全体画像P1に基準領域PAを設定し、当該基準領域PA内の画像を第1画像として抽出する。この後、描画抽出手段24は、抽出した第1画像の画像情報を、送受信手段22を介してディスプレイ3に送信する(ステップSB2)。これにより、ディスプレイ3の画像表示領域31に第1画像が表示される。
そして、制御手段25は、当該観察状態情報に含まれる視方向情報により示される現在視方向が基準視方向と一致しているか否かを判定する(ステップSB4)。具体的に、制御手段25は、当該現在視方向の角度が「0度」であるか否かを判定する。
ステップSB4の判定処理で、現在視方向と基準視方向とが一致しないと判定した場合には、制御手段25は、第2画像の送信を規制しない。このため、描画抽出手段24は、全体画像P1において現在視方向及び相対距離に応じた領域内の画像を第2画像として抽出し、観察状態情報に含まれる固有情報により特定されるHMD4に、当該第2画像の画像情報を送信する(ステップSB5)。
この後、画像送信装置2は、処理をステップSB1に移行し、上記ステップSB1〜SB5の処理を繰り返し実行する。
この後、HMD4は、処理をステップSA3に移行し、上記ステップSA3〜SA5の処理を繰り返し実行する。
画像送信装置2が描画する1フレーム分の画像である全体画像P1において、基準領域PA内の画像である第1画像が設置型ディスプレイ3にて表示され、使用者USの現在視方向に応じた領域の画像である第2画像が、HMD4にて表示される。
これによれば、使用者USが現在視方向を変えることにより、全体画像P1における広い範囲を観察できる。従って、全体画像P1において使用者USが観察できる範囲を拡大できる。また、第三者が観察可能なディスプレイ3にて第1画像が表示されるので、使用者US以外の第三者がゲームの進行状況を把握できる。
また、現在視方向と基準視方向とが一致しない場合には、駆動制御部464は、シャッター453を遮光状態とする。これによれば、使用者による外界の視認性を低下させることができるので、表示手段45にて表示される第2画像を鮮明に観察できる。従って、高い没入感を得ることができる。
これに対し、画像処理部463が、位置検出手段43の検出結果に基づいて、見た目上の第1画像サイズに応じて第2画像をリサイズすることで、見た目上の第1画像のサイズ及び第2画像のサイズをそれぞれ略同じにすることができる。従って、上記没入感を得やすくすることができる。
以下、本発明の第2実施形態を説明する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
図7は、本実施形態に係るHMD5の構成を示すブロック図である。
本実施形態に係るHMD5は、前述の画像送信装置2が有する機能の一部を有することで全体画像を描画し、当該全体画像において使用者の現在視方向に応じた領域内の画像を表示する頭部装着型表示装置である。このようなHMD5は、HMD4と同様にシースルー型のヘッドマウントディスプレイで構成され、図7に示すように、送受信手段41、変位検出手段42、表示手段45及びフレーム(図示省略)の他、入力手段47、記憶手段48及び制御手段46Aを有する。
ここで、本実施形態では上記ディスプレイ3が必須ではないので、位置検出手段43の検出結果に基づく基準視方向の設定は行わない。そこで、HMD5では、基準視方向設定キーが入力された際の使用者の視方向を基準視方向とし、変位検出手段42により検出される視方向の変位方向及び変位量に基づいて、視方向取得部461が現在視方向を示す視方向情報を取得する。
なお、本実施形態では、変位検出手段42が検出する視方向の変位量は、水平方向の変位量だけでなく、垂直方向の変位量も検出する。このため、使用者の視方向を全方位で取得することが可能である。
画像処理部463Aは、本発明の画像取得手段に相当する。この画像処理部463Aは、上記画像データに基づいて1フレーム分の全体画像を、図示しないフレームメモリーに描画する。そして、画像処理部463Aは、当該全体画像P2に対して所定位置に所定サイズの上記基準領域PAを設定する。例えば、全体画像が当てはめられる仮想表示面が、使用者の頭上を覆う半球状に設定されている場合には、画像処理部463Aは、図8に示すように、当該仮想表示面に沿う円形状の全体画像を描画する。この図8に示す全体画像P2は、各種星座が含まれる星空を表す全体画像である。
そして、画像処理部463Aは、視方向取得部461Aにより取得された視方向情報に基づいて、使用者を中心とする半球状の仮想表示面に当てはめられた全体画像P2において、基準視方向に対する角度で表され、かつ、視方向情報により示される現在視方向に応じた領域内の画像を抽出する。
例えば、画像サイズを縮小した全体画像P2に基準領域PAを示す矩形領域を重畳させた画像を表示手段45により表示させ、上記カーソルキーの入力操作に応じて当該矩形領域を移動させ、上記基準領域設定キーが入力された際の当該矩形領域の位置を、全体画像P2における基準領域PAの位置として設定してもよい。
また、全体画像P2において基準領域PAと同サイズの矩形領域を設定し、当該矩形領域をカーソルキーの入力に応じて移動させるとともに、当該矩形領域内の画像を表示手段45に表示させる。そして、上記基準領域設定キーが入力された際の矩形領域の位置を、基準領域PAの位置として設定してもよい。
一方、現在視方向に応じて設定される領域が全体画像に含まれない場合には、駆動制御部464Aは、画像形成装置451による画像形成を規制するとともに、シャッター453を透過状態に切り替える。これにより、使用者は外界(現在位置する場所の周囲)を観察できる。
使用者に装着されるHMD5により、全体画像において当該使用者の現在視方向に応じた領域内の画像を単独で表示できる。これによれば、ディスプレイ3が必須ではないので、1人の使用者が用いられる表示装置として安価に構成できる。
本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記第1実施形態では、使用者USがディスプレイ3の画像表示領域31を向く方向を基準視方向として設定したが、本発明はこれに限らない。例えば、ディスプレイ3を補助的な表示装置として利用する場合には、使用者の主な視方向を基準視方向としてもよい。
なお、仮想表示面VDは、使用者毎に設定されるとしたが、これに限らず、各使用者で共通の仮想表示面VDを設定してもよい。この場合、使用者が位置する空間内の所定位置を中心とするように、当該仮想表示面VDを設定してもよい。
前記各実施形態では、表示手段45を構成する画像形成装置451は、光源装置、光変調装置及び投射光学装置を備える構成とした。しかしながら、本発明はこれに限らない。例えば、光源装置及び光変調装置に代えて、有機ELやプラズマ等の自己発光素子により構成されたパネルを採用してもよい。
Claims (8)
- 画像送信装置と、
前記画像送信装置から受信される第1画像を表示する第1表示装置と、
前記画像送信装置から受信される第2画像を表示する第2表示装置と、を備え、
前記第2表示装置は、
前記第2画像を受信する表示装置側受信手段と、
受信された前記第2画像を表示する表示手段と、
使用者の現在の視方向である現在視方向を取得する視方向取得手段と、
取得された前記現在視方向を送信する表示装置側送信手段と、を備え、
前記画像送信装置は、
前記第2表示装置から前記現在視方向を受信する送信装置側受信手段と、
1フレーム分の画像に含まれる全体画像における一部の領域の画像である前記第1画像、及び、当該全体画像における前記現在視方向に応じた領域の画像である前記第2画像を抽出する抽出手段と、
前記第1画像及び前記第2画像を送信する送信装置側送信手段と、を備える
ことを特徴とする画像表示システム。 - 請求項1に記載の画像表示システムにおいて、
前記視方向取得手段は、前記使用者の視方向が前記第1表示装置を向く方向である基準視方向に対する角度として前記現在視方向を表す
ことを特徴とする画像表示システム。 - 請求項2に記載の画像表示システムにおいて、
前記第2表示装置は、前記使用者の視方向の変位を検出する変位検出手段を備え、
前記視方向取得手段は、前記変位検出手段により検出される前記基準視方向からの前記視方向の変位量に基づいて前記現在視方向を取得する
ことを特徴とする画像表示システム。 - 請求項2又は請求項3に記載の画像表示システムにおいて、
前記第2表示装置は、前記第1表示装置の位置を検出する位置検出手段を有し、
前記視方向取得手段は、前記位置検出手段により前記第1表示装置の位置が検出された際の前記使用者の視方向を前記基準視方向とする
ことを特徴とする画像表示システム。 - 請求項1から請求項4のいずれかに記載の画像表示システムにおいて、
前記第2表示装置は、前記使用者の頭部に装着されるシースルー型の頭部装着型表示装置で構成され、
前記表示手段は、
前記第2画像を形成する画像形成手段と、
前記画像形成手段により形成された前記第2画像を前記使用者の目に導光するとともに、外光を透過する透光性の導光部材と、
前記導光部材の外側に配置され、前記使用者の目に対する前記外光の入射を制御するシャッターと、を備え、
前記第2表示装置は、
前記現在視方向が前記第1表示装置を向く方向でない場合には、前記外光を遮光するように前記シャッターを動作させ、
前記現在視方向が前記第1表示装置を向く方向である場合には、前記外光が透過するように前記シャッターを動作させる駆動制御手段を有する
ことを特徴とする画像表示システム。 - 請求項5に記載の画像表示システムにおいて、
前記第2表示装置は、前記現在視方向が前記第1表示装置を向く際に前記使用者により観察される見た目上の前記第1画像のサイズと略同じサイズに、受信された前記第2画像をリサイズする画像処理手段を有する
ことを特徴とする画像表示システム。 - 請求項6に記載の画像表示システムにおいて、
前記第1表示装置は、前記第1画像を表示する画像表示領域を有し、
前記第2表示装置は、前記使用者からの前記画像表示領域の見た目上のサイズを検出するサイズ検出手段を備え、
前記画像処理手段は、前記サイズ検出手段により検出された前記画像表示領域の見た目上のサイズに応じて、前記第2画像をリサイズする
ことを特徴とする画像表示システム。 - 使用者の頭部に装着される頭部装着型表示装置であって、
前記使用者の視方向の変位を検出する変位検出手段と、
1フレーム分の画像に含まれる全体画像において、予め設定された領域を基準として、前記変位検出手段により検出された前記視方向の変位に応じた領域の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像を表示する表示手段と、を備える
ことを特徴とする頭部装着型表示装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013048246A JP6123365B2 (ja) | 2013-03-11 | 2013-03-11 | 画像表示システム及び頭部装着型表示装置 |
US14/176,733 US9375639B2 (en) | 2013-03-11 | 2014-02-10 | Image display system and head-mounted display device |
CN201410082942.9A CN104049363B (zh) | 2013-03-11 | 2014-03-07 | 图像显示***以及头部佩戴型显示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013048246A JP6123365B2 (ja) | 2013-03-11 | 2013-03-11 | 画像表示システム及び頭部装着型表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014174401A true JP2014174401A (ja) | 2014-09-22 |
JP6123365B2 JP6123365B2 (ja) | 2017-05-10 |
Family
ID=51488454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013048246A Active JP6123365B2 (ja) | 2013-03-11 | 2013-03-11 | 画像表示システム及び頭部装着型表示装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9375639B2 (ja) |
JP (1) | JP6123365B2 (ja) |
CN (1) | CN104049363B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016052061A1 (ja) * | 2014-09-30 | 2016-04-07 | コニカミノルタ株式会社 | ヘッドマウントディスプレイ |
JP2017211766A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社Screenホールディングス | 画像処理システム、画像処理プログラム、および画像処理方法 |
WO2018139073A1 (ja) * | 2017-01-24 | 2018-08-02 | シャープ株式会社 | 表示制御装置、第2の表示装置、表示制御装置の制御方法、および制御プログラム |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10001645B2 (en) * | 2014-01-17 | 2018-06-19 | Sony Interactive Entertainment America Llc | Using a second screen as a private tracking heads-up display |
CN103927005B (zh) * | 2014-04-02 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 显示控制方法及显示控制装置 |
US20150348322A1 (en) * | 2014-06-02 | 2015-12-03 | Dell Products L.P. | Dynamically Composited Information Handling System Augmented Reality at a Primary Display |
US9933985B2 (en) * | 2015-01-20 | 2018-04-03 | Qualcomm Incorporated | Systems and methods for managing content presentation involving a head mounted display and a presentation device |
CN104635341B (zh) * | 2015-02-11 | 2017-08-22 | 深圳市安华光电技术有限公司 | 一种单图像源双目近眼显示装置 |
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
EP4043944A1 (en) * | 2016-01-12 | 2022-08-17 | Magic Leap, Inc. | Beam angle sensor in virtual/augmented reality system |
US10410314B2 (en) * | 2017-04-27 | 2019-09-10 | Apple Inc. | Systems and methods for crossfading image data |
JP7151731B2 (ja) * | 2018-02-08 | 2022-10-12 | 株式会社ソシオネクスト | 画像処理装置、画像処理方法及び画像表示システム |
WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
US10939977B2 (en) | 2018-11-26 | 2021-03-09 | Augmedics Ltd. | Positioning marker |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
TWI790430B (zh) * | 2020-04-13 | 2023-01-21 | 宏碁股份有限公司 | 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法 |
CN113625866A (zh) * | 2020-05-08 | 2021-11-09 | 宏碁股份有限公司 | 增强现实***以及利用增强现实眼镜显示虚拟屏幕的方法 |
US11389252B2 (en) | 2020-06-15 | 2022-07-19 | Augmedics Ltd. | Rotating marker for image guided surgery |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
WO2024057210A1 (en) | 2022-09-13 | 2024-03-21 | Augmedics Ltd. | Augmented reality eyewear for image-guided medical intervention |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795498A (ja) * | 1993-09-24 | 1995-04-07 | Sony Corp | 眼鏡型ディスプレイ |
JPH11153987A (ja) * | 1997-11-19 | 1999-06-08 | Olympus Optical Co Ltd | グラフィック表示装置 |
JP2012220602A (ja) * | 2011-04-06 | 2012-11-12 | Konica Minolta Holdings Inc | 投影装置、制御装置、および制御方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3260867B2 (ja) * | 1992-12-10 | 2002-02-25 | オリンパス光学工業株式会社 | 頭部装着型ディスプレイ |
US5579026A (en) * | 1993-05-14 | 1996-11-26 | Olympus Optical Co., Ltd. | Image display apparatus of head mounted type |
JPH0744227A (ja) | 1993-07-29 | 1995-02-14 | Toshiba Mach Co Ltd | Nc装置における画面表示装置 |
US6377230B1 (en) * | 1995-10-05 | 2002-04-23 | Semiconductor Energy Laboratory Co., Ltd. | Three dimensional display unit and display method |
TW362207B (en) | 1997-05-08 | 1999-06-21 | Shimadzu Corp | Display system |
JP3928211B2 (ja) | 1997-05-08 | 2007-06-13 | 株式会社島津製作所 | 表示システム |
JPH1149991A (ja) | 1997-07-31 | 1999-02-23 | Pentel Kk | 液状組成物 |
GB2348513B (en) * | 1999-03-31 | 2003-02-19 | Ibm | Improved head-up display |
US7046924B2 (en) * | 2002-11-25 | 2006-05-16 | Eastman Kodak Company | Method and computer program product for determining an area of importance in an image using eye monitoring information |
SE527257C2 (sv) * | 2004-06-21 | 2006-01-31 | Totalfoersvarets Forskningsins | Anordning och metod för att presentera en omvärldsbild |
JP2006277239A (ja) | 2005-03-29 | 2006-10-12 | Canon Inc | 電子文書閲覧管理システム |
US9229230B2 (en) * | 2007-02-28 | 2016-01-05 | Science Applications International Corporation | System and method for video image registration and/or providing supplemental data in a heads up display |
US20100240988A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360 degree heads up display of safety/mission critical data |
US20120120103A1 (en) * | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
US9091851B2 (en) * | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US8908043B2 (en) * | 2010-04-12 | 2014-12-09 | Symbol Technologies, Inc. | System and method for location-based operation of a head mounted display |
US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US8816939B2 (en) * | 2011-01-10 | 2014-08-26 | Kodak Alaris Inc. | Monocular display apparatus |
JP5810540B2 (ja) * | 2011-02-04 | 2015-11-11 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP5803120B2 (ja) | 2011-02-04 | 2015-11-04 | セイコーエプソン株式会社 | 虚像表示装置 |
US8836771B2 (en) * | 2011-04-26 | 2014-09-16 | Echostar Technologies L.L.C. | Apparatus, systems and methods for shared viewing experience using head mounted displays |
US20130139082A1 (en) * | 2011-11-30 | 2013-05-30 | Google Inc. | Graphical Interface Having Adjustable Borders |
JP5938977B2 (ja) * | 2012-03-23 | 2016-06-22 | ソニー株式会社 | ヘッドマウントディスプレイ及び手術システム |
JP5351311B1 (ja) * | 2012-06-29 | 2013-11-27 | 株式会社ソニー・コンピュータエンタテインメント | 立体映像観察デバイスおよび透過率制御方法 |
-
2013
- 2013-03-11 JP JP2013048246A patent/JP6123365B2/ja active Active
-
2014
- 2014-02-10 US US14/176,733 patent/US9375639B2/en active Active
- 2014-03-07 CN CN201410082942.9A patent/CN104049363B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795498A (ja) * | 1993-09-24 | 1995-04-07 | Sony Corp | 眼鏡型ディスプレイ |
JPH11153987A (ja) * | 1997-11-19 | 1999-06-08 | Olympus Optical Co Ltd | グラフィック表示装置 |
JP2012220602A (ja) * | 2011-04-06 | 2012-11-12 | Konica Minolta Holdings Inc | 投影装置、制御装置、および制御方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016052061A1 (ja) * | 2014-09-30 | 2016-04-07 | コニカミノルタ株式会社 | ヘッドマウントディスプレイ |
JP2017211766A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社Screenホールディングス | 画像処理システム、画像処理プログラム、および画像処理方法 |
WO2018139073A1 (ja) * | 2017-01-24 | 2018-08-02 | シャープ株式会社 | 表示制御装置、第2の表示装置、表示制御装置の制御方法、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9375639B2 (en) | 2016-06-28 |
JP6123365B2 (ja) | 2017-05-10 |
CN104049363B (zh) | 2018-04-03 |
US20140256429A1 (en) | 2014-09-11 |
CN104049363A (zh) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6123365B2 (ja) | 画像表示システム及び頭部装着型表示装置 | |
US11670267B2 (en) | Computer vision and mapping for audio applications | |
US11995774B2 (en) | Augmented reality experiences using speech and text captions | |
US10133407B2 (en) | Display apparatus, display system, method for controlling display apparatus, and program | |
CA2989939C (en) | Technique for more efficiently displaying text in virtual image generation system | |
CN104076512A (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
KR20160031537A (ko) | 표시 장치, 두부 장치형 표시 장치, 표시 시스템 및 표시 장치의 제어 방법 | |
US11869156B2 (en) | Augmented reality eyewear with speech bubbles and translation | |
WO2022005726A1 (en) | Augmented reality eyewear 3d painting | |
US20220099973A1 (en) | Eyewear including virtual scene with 3d frames | |
JP5857082B2 (ja) | 表示装置及び電子機器 | |
US11803239B2 (en) | Eyewear with shared gaze-responsive viewing | |
KR20230022239A (ko) | 증강 현실 환경 향상 | |
JP6638392B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US20230007227A1 (en) | Augmented reality eyewear with x-ray effect | |
WO2022072168A1 (en) | Augmented reality gaming using virtual eyewear beams | |
WO2016158080A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20240036336A1 (en) | Magnified overlays correlated with virtual markers | |
NZ738277B2 (en) | Technique for more efficiently displaying text in virtual image generation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6123365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |