JP5681850B2 - ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 - Google Patents
ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 Download PDFInfo
- Publication number
- JP5681850B2 JP5681850B2 JP2010052346A JP2010052346A JP5681850B2 JP 5681850 B2 JP5681850 B2 JP 5681850B2 JP 2010052346 A JP2010052346 A JP 2010052346A JP 2010052346 A JP2010052346 A JP 2010052346A JP 5681850 B2 JP5681850 B2 JP 5681850B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- mobile terminal
- screen
- head
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
ステップS03では、アプリケーション104がHMD2を使用中か否かで分岐を行う。使用中の場合はステップS04へ進み、使用中でない場合はステップS05へ進む。
ステップS06では、アプリケーション104はキー操作部102やその他システム内から受け取ったイベントを取得し、イベントの内容により処理を分岐する。ステップS06で取得したイベントが処理の終了であった場合は、アプリケーションの処理を終了し、携帯端末1の動作を終了する。
ステップS06で取得したイベントがHMD2の使用開始であった場合は、ステップS01へ戻り、HMD2の使用を再開する。
ステップS06で取得したイベントが上記以外のアプリケーション104の処理にかかわるものであった場合は、ステップS08でアプリケーション104内部でイベントに即した処理を行い、ステップS03へ戻り、使用者へ提示する画面の更新に進む。
ステップS11では、HMD制御部105が表示制御部101を用いて表示部11に、図5で示すような画像認識で検出しやすい固定パターンの画像を表示する。
ステップS12からステップS15までのループは、HMD制御部105が別スレッドを生成して、その生成されたスレッド内で端末姿勢取得部106が処理を行う。
ステップS12では、端末姿勢取得部106が通信制御部103を用いてHMDのカメラ21の撮影画像を取得する。
ステップS13では、端末姿勢取得部106がステップS12で取得した画像を分析し、ステップS11で携帯端末の付属ディスプレイ11に表示した位置合わせ用表示である固定パターンを検出する。
ステップS16では、HMD制御部105が表示制御部101を用いて表示部11に表示していた固定パターンを消去し、通常の画面に戻す。
まずステップS21では、HMD制御部105が、端末姿勢取得部106から、ステップS14で計算し保持しているアフィン変換行列を取得する。
第1の効果は、常にHMDの固定位置に携帯端末の画面が表示されているのではなく、使用者が見たいときだけ、携帯端末の画面の方向を見ればHMDに仮想ディスプレイが表示され、自然に周囲の状況を確認する場合は、携帯端末から視線をそらすという自然な動作で実現できる点である。
第2の効果は、実際の携帯端末の画面より大きい画面をHMDに表示することで、表示できる情報量の向上、視認性の向上が得られる点である。
第3の効果は、携帯端末の画面には情報が表示されないため、機密情報を他人から覗き見されるリスクが低減される点である。
第1の実施形態では、HMD2のカメラ21の撮影画像からの携帯端末1の位置の検出のために、表示部11に固定パターンを表示していた。このような手段では、HMD2の表示部の方式が半透過型または片眼の場合は、使用者に固定パターンが見えてしまい、表示画像の閲覧の邪魔になることが考えられる。また、タッチパネル型の携帯端末の場合に、使用者のタッチパネル操作により固定パターンが隠れてしまい、検出できなくなるという問題もある。
ステップS13では、ステップS12で取得した画像から、LED14の位置を検出する。
ステップS14では、3個のLED14の位置を元に表示部11の位置及び姿勢を計算する。計算結果の保持方法は、第1の実施形態と同じである。HMD2の仮想画面Aの表示領域は、LED14の位置から得られた表示部11の位置及び姿勢に基づいて設定される。
ステップS15でHMDの使用が終了すると、ステップS16でLED14を消灯し、表示部11の表示を再開する。
第3の実施形態では、図16の構成図で示すとおり、携帯端末側だけでなく、HMD側にも端末姿勢取得部205を持つ。図10及び図14のフローチャートに含まれるステップS12からステップS15までのループを、携帯端末側の端末姿勢取得部106ではなく、HMD側の端末姿勢取得部205で行い、ステップS14の計算結果のみを通信制御部203を用いて、携帯端末側の端末姿勢取得部106へ送付し、端末姿勢取得部106で保持する。
2 HMD(ヘッドマウントディスプレイ)
3 視野
11 表示画面
14 LED
15 表示装置
21 カメラ
22 表示部
301 携帯端末
303 視野
30A 仮想画面
311 表示画面
A 仮想画面
Claims (7)
- 表示情報に応じて表示を行う表示装置を備える携帯端末と、
前記携帯端末から取得した前記表示情報に基づいて、装着者の視野の一部の表示領域に前記携帯端末の前記表示装置の表示画面に対応する仮想画面を表示するヘッドマウントディスプレイとを具備し、
前記ヘッドマウントディスプレイは、
撮像部と、
前記撮像部によって撮像された前記表示装置の表示に基づいて前記ヘッドマウントディスプレイに対する前記携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備え、
前記表示領域は、前記位置情報に基づいて、前記仮想画面が前記表示装置の表示画面に重なる位置に位置合わせされて表示されるように設定され、
前記携帯端末が前記ヘッドマウントディスプレイとの通信の確立に成功した場合、前記携帯端末から取得した前記表示情報が示すユーザに提示する画面が前記ヘッドマウントディスプレイによって前記仮想画面に表示され、かつ前記表示装置による前記ユーザに提示する画面の表示が停止され、
前記通信の確立に成功しなかった場合、前記ユーザに提示する画面が前記表示情報に応じて前記表示装置の表示画面に表示される
携帯端末システム。 - 請求項1に記載された携帯端末システムであって、
前記端末姿勢取得部は、前記表示装置が表示する特定パターンを予め記憶し、前記撮像部が撮像した前記特定パターンと予め記憶した前記特定パターンとに基づいて前記ヘッドマウントディスプレイに対する前記携帯端末の相対的な姿勢を示す姿勢情報を生成し、
前記表示領域は前記姿勢情報に基づいて設定される
携帯端末システム。 - 請求項1又は2に記載された携帯端末システムであって、
前記携帯端末は、前記ヘッドマウントディスプレイが使用されていないとき前記表示情報に応じた表示を行い、前記ヘッドマウントディスプレイが使用されているとき前記表示情報に応じた表示を停止する
携帯端末システム。 - 請求項1から3のいずれかに記載された携帯端末システムであって、
前記ヘッドマウントディスプレイは、前記携帯端末又は前記ヘッドマウントディスプレイに対する所定の入力操作に応答して、前記表示領域を固定する
携帯端末システム。 - 請求項1から4のいずれかに記載された携帯端末システムであって、
前記ヘッドマウントディスプレイが使用されているとき、前記表示画面には所定の位置合わせ用表示が行われ、
前記表示領域は前記位置合わせ用表示に応じて設定される
携帯端末システム。 - 請求項1から4のいずれかに記載された携帯端末システムであって、
前記表示装置は赤外線を発光するLEDを備え、
前記撮像部は赤外線を撮像し、
前記表示領域は前記撮像部が撮像した前記LEDの位置に応じて設定される
携帯端末システム。 - 請求項1から6のいずれかに記載された携帯端末システムであって、
前記表示領域に表示される前記仮想画面は、前記装着者から見て前記携帯端末の表示画面に対して所定の倍率で拡大して設定され、更に前記携帯端末の表示画面と下端が一致するように設定される
携帯端末システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010052346A JP5681850B2 (ja) | 2010-03-09 | 2010-03-09 | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010052346A JP5681850B2 (ja) | 2010-03-09 | 2010-03-09 | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186856A JP2011186856A (ja) | 2011-09-22 |
JP5681850B2 true JP5681850B2 (ja) | 2015-03-11 |
Family
ID=44793033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010052346A Expired - Fee Related JP5681850B2 (ja) | 2010-03-09 | 2010-03-09 | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5681850B2 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5691802B2 (ja) * | 2011-04-28 | 2015-04-01 | コニカミノルタ株式会社 | 投影システム、投影装置、投影方法、および制御プログラム |
JP6064316B2 (ja) | 2011-11-28 | 2017-01-25 | セイコーエプソン株式会社 | 透過型表示装置、及び操作入力方法 |
US9201625B2 (en) | 2012-06-22 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for augmenting an index generated by a near eye display |
WO2014107629A1 (en) | 2013-01-04 | 2014-07-10 | Vuzix Corporation | Interactive wearable and portable smart devices |
JP5868886B2 (ja) * | 2013-03-11 | 2016-02-24 | 東芝三菱電機産業システム株式会社 | ウェアラブルコンピュータ入力装置 |
IL298018B2 (en) | 2013-03-11 | 2024-04-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
EP2973532A4 (en) | 2013-03-15 | 2017-01-18 | Magic Leap, Inc. | Display system and method |
JP2014219448A (ja) * | 2013-05-01 | 2014-11-20 | コニカミノルタ株式会社 | 表示システム、表示方法、表示端末および表示プログラム |
JP6288084B2 (ja) * | 2013-05-21 | 2018-03-07 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
CN105229720B (zh) * | 2013-05-21 | 2018-05-15 | 索尼公司 | 显示控制装置、显示控制方法以及记录介质 |
JP6206099B2 (ja) * | 2013-11-05 | 2017-10-04 | セイコーエプソン株式会社 | 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置 |
JP5929933B2 (ja) | 2014-01-16 | 2016-06-08 | カシオ計算機株式会社 | 表示システム、表示端末、表示方法及びプログラム |
JP2015176588A (ja) * | 2014-03-18 | 2015-10-05 | 株式会社東芝 | 表示装置、画像表示システムおよび情報処理方法 |
JP5773036B2 (ja) * | 2014-06-11 | 2015-09-02 | コニカミノルタ株式会社 | 投影システム、投影装置、投影方法、および制御プログラム |
WO2016006070A1 (ja) * | 2014-07-09 | 2016-01-14 | 日立マクセル株式会社 | 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ |
WO2016021252A1 (ja) * | 2014-08-05 | 2016-02-11 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
US10083544B2 (en) * | 2015-07-07 | 2018-09-25 | Google Llc | System for tracking a handheld device in virtual reality |
JP6686319B2 (ja) * | 2015-08-04 | 2020-04-22 | 富士通株式会社 | 画像投影装置及び画像表示システム |
WO2017104089A1 (ja) * | 2015-12-18 | 2017-06-22 | 日立マクセル株式会社 | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 |
JP2017134630A (ja) * | 2016-01-28 | 2017-08-03 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
US10083539B2 (en) * | 2016-02-08 | 2018-09-25 | Google Llc | Control system for navigation in virtual reality environment |
JP6217772B2 (ja) * | 2016-02-12 | 2017-10-25 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP6870401B2 (ja) * | 2017-03-15 | 2021-05-12 | 株式会社リコー | 情報処理システム、情報処理方法、電子機器及び情報処理プログラム |
GB2555501B (en) * | 2017-05-04 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Head mounted display and method |
JP7035510B2 (ja) * | 2017-12-22 | 2022-03-15 | セイコーエプソン株式会社 | 表示システム、及び、表示システムの制御方法 |
CN111837174B (zh) | 2018-06-25 | 2023-03-28 | 麦克赛尔株式会社 | 头戴式显示器、头戴式显示器协作***及其方法 |
US11852811B2 (en) | 2019-09-30 | 2023-12-26 | Maxell, Ltd. | Linked display system and head-mounted display |
KR20230113765A (ko) * | 2020-12-11 | 2023-08-01 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 시스템의 동작 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1074053A (ja) * | 1996-08-30 | 1998-03-17 | Kawai Musical Instr Mfg Co Ltd | 携帯端末器及びヘッドマウントディスプレイ |
JP2000347596A (ja) * | 1998-08-31 | 2000-12-15 | Semiconductor Energy Lab Co Ltd | 携帯情報処理システム |
JP4281139B2 (ja) * | 1999-02-09 | 2009-06-17 | ソニー株式会社 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
JP3894546B2 (ja) * | 2001-06-27 | 2007-03-22 | キヤノン株式会社 | 携帯型情報端末、情報閲覧方法およびプログラム |
JP2004198131A (ja) * | 2002-12-16 | 2004-07-15 | Fuji Xerox Co Ltd | 位置検出方法及び位置検出装置、位置検出システム及びその位置検出に用いられる測定対象発光体、位置検出処理プログラム |
JP2006060774A (ja) * | 2004-07-20 | 2006-03-02 | Olympus Corp | 携帯情報機器 |
KR100542370B1 (ko) * | 2004-07-30 | 2006-01-11 | 한양대학교 산학협력단 | 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템 |
CN101243485B (zh) * | 2005-09-29 | 2011-05-18 | 株式会社尼康 | 内容再现*** |
US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
JP2008059510A (ja) * | 2006-09-04 | 2008-03-13 | Brother Ind Ltd | 携帯端末装置及びヘッドマウントディスプレイを用いた電子メール閲覧システム及び電子メール閲覧方法 |
-
2010
- 2010-03-09 JP JP2010052346A patent/JP5681850B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011186856A (ja) | 2011-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5681850B2 (ja) | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 | |
JP6393367B2 (ja) | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 | |
JP7379734B2 (ja) | ヘッドマウントディスプレイ | |
US10591729B2 (en) | Wearable device | |
US9886086B2 (en) | Gesture-based reorientation and navigation of a virtual reality (VR) interface | |
JP4927631B2 (ja) | 表示装置、その制御方法、プログラム、記録媒体および集積回路 | |
RU2638004C2 (ru) | Устройство обработки информации, способ управления отображением и программа | |
JP2020080543A (ja) | 撮像装置、方法及びプログラム | |
US20150271457A1 (en) | Display device, image display system, and information processing method | |
WO2014128752A1 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
JP2017211766A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2016208370A (ja) | ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法 | |
JP2015176186A (ja) | 情報処理装置、情報処理方法、及び情報処理システム | |
JP2012173476A (ja) | 表示システム、端末装置、端末装置の制御方法、および、プログラム | |
JP6575117B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2017191293A (ja) | 覗き見防止システム | |
JP6316648B2 (ja) | 表示装置 | |
KR20170084443A (ko) | 헤드 마운트 디스플레이 장치 제어방법 | |
WO2016006070A1 (ja) | 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ | |
JP7031112B1 (ja) | 眼鏡型端末 | |
JP2006148404A (ja) | ウエアラブルディスプレイ | |
JPWO2020008559A1 (ja) | ヘッドマウントディスプレイおよび設定方法 | |
JP7427739B2 (ja) | 表示装置 | |
JP2014160968A (ja) | 携帯情報端末 | |
JP6079418B2 (ja) | 入力装置および入力プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131003 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140606 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140616 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140825 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5681850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |