JP2017111670A - 情報表示装置、情報表示システム及び情報表示方法 - Google Patents
情報表示装置、情報表示システム及び情報表示方法 Download PDFInfo
- Publication number
- JP2017111670A JP2017111670A JP2015246508A JP2015246508A JP2017111670A JP 2017111670 A JP2017111670 A JP 2017111670A JP 2015246508 A JP2015246508 A JP 2015246508A JP 2015246508 A JP2015246508 A JP 2015246508A JP 2017111670 A JP2017111670 A JP 2017111670A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- target object
- related information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
利用者の視界に対応した撮像画像を取得する撮像部と、
前記撮像画像から、処理対象とする対象物体を認識する認識部と、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
前記利用者の視界と重畳させて情報を表示させる表示部と、
前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部とを備える。
情報表示装置と、前記情報表示装置と通信可能なサーバ装置とを含み、
前記情報表示装置が、
利用者の視界に対応した撮像画像を取得する撮像部と、
前記撮像画像から、処理対象とする対象物体を認識する認識部と、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
前記利用者の視界と重畳させて情報を表示させる表示部と、
前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部と、を備え、
前記サーバ装置が、
前記関連情報取得部から前記関連情報の要求を受信する要求受信部と、
前記要求に応じた前記関連情報を前記記憶部から読み出して前記情報表示装置へ送信する情報送信部と、を備える。
利用者の視界に対応した撮像画像を撮像部によって取得するステップと、
前記撮像画像から、処理対象とする対象物体を認識するステップと、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得するステップと、
前記利用者の視界と重畳させて情報を表示させる表示部に対し、前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記関連情報を表示させるステップと、
をコンピュータが実行する。
<1.システム構成>
図1は、本実施形態における情報表示装置1及び管理サーバ3を有した情報表示システム10の概略構成を示す図である。情報表示装置1は、利用者の頭部に装着する表示装置、いわゆるヘッドマウントディスプレイ(HMD)である。管理サーバ3は、ネットワークを介して情報表示装置1と通信可能なコンピュータであり、様々な対象物体に関する関連情報を記憶部に記憶し、通信回線4を介して情報表示装置1へ提供する。管理サーバ3は、本実施形態におけるサーバ装置の一形態である。
する関連情報を当該対象物体の外側に表示することにより、対象物体の視認性を損なうことなく、対象物体に関する情報を利用者に提示でき、拡張現実感が得られるようにしている。
次に、情報表示装置1、車載機器2、管理サーバ3の構成について、詳細に説明する。まず、情報表示装置1の構成を説明する。図2は、情報表示装置1の構成を示す図であり、図2(a)は情報表示装置1の正面図、図2(b)は情報表示装置1を向かって左側から見た側面図、図2(c)は情報表示装置1の一部を切り欠いて表示部の断面を示した図である。
2L,132Rからの光束を集光させるため、結像光学系131L,131Rは、この反射部材130L,130Rによる集光作用や利用者の眼による集光作用も含めて、ディスプレイ132L,132Rに表示した情報の像が利用者の眼の網膜上に形成されるように焦点距離を調整する。
る。なお、この関連情報の取得は、管理サーバ3の記憶部に限らず、処理部105の記憶部や対象物体の記憶部、その他の記憶部から取得しても良い。
との間で、データを授受する。例えば、記憶装置154は、ドライブ装置からインストールされる情報処理プログラム等を記憶する。また、記憶装置154は、プログラムを読み出し、メモリ152に引き渡す。本実施形態では、管理サーバ3から受信した関連情報を記憶装置154が記憶しても良い。
との間で、データを授受する。例えば、記憶装置134は、ドライブ装置からインストールされる情報処理プログラム等を記憶する。また、記憶装置134は、プログラムを読み出し、メモリ132に引き渡す。記憶装置134は、各対象物体の関連情報を記憶している。
Erasable Programmable Read-Only memory)や、フラッシュメモリ、磁気ディスクを備
えたハードディスクドライブ等の不揮発性の記憶媒体である。
次に、情報表示装置1、車載機器2、及び管理サーバ3における情報表示方法の処理手順を説明する。図8は、この情報表示方法の処理手順を示す図である。なお、情報表示装置1と車載機器2は、図8の情報表示処理に先立ち、通信回線を介して管理サーバ3と接続し、識別情報を送信することで、管理サーバ3に対してログインする。管理サーバ3は、この識別情報に基づき、情報表示装置1と車載機器2との対応付けを行う。
、管理サーバ3が、車載機器2の状態を判別する処理手順を示す。
次に具体的な表示内容について表示する。図14は、車載機器2について吹き出し61による静的表現で関連情報を表示する例を示す。図14では、利用者の両眼に対して表示する例を示したが、片眼にのみ表示してもよい。また、関連情報の形状は、吹き出しに限らず、付箋の形や、楕円、矩形など他の形状であってもよい。
載機器2の状態に応じた操作に関する説明情報を表示する。したがって、利用者は、遷移後の車載機器2の状態に応じた適切な操作方法を把握できる。したがって、複数回の操作を含む複雑な操作手順が必要な場合であっても、利用者は、その操作手順を直感的に把握することができる。
かり易く情報を伝達することができる。
2 車載機器
3 管理サーバ
4 通信回線
10 情報表示システム
31 要求受信部
32 情報送信部
33 対象物体管理部
34 表示装置管理部
35 画像認識部
51 認識部
52 輪郭抽出部
53 関連情報取得部
54 表示制御部
55 状態取得部
56 言語受付部
57 操作検出部
58 操作実行部
101 装着部
102 撮像部
103 表示部
104 スピーカ
105 処理部
Claims (10)
- 利用者の視界に対応した撮像画像を取得する撮像部と、
前記撮像画像から、処理対象とする対象物体を認識する認識部と、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
前記利用者の視界と重畳させて情報を表示させる表示部と、
前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部と
を備えることを特徴とする情報表示装置。 - 前記対象物体の状態を取得する状態取得部を備え、
前記関連情報取得部が、前記対象物体の状態に応じた関連情報を取得することを特徴とする請求項1に記載の情報表示装置。 - 前記関連情報取得部が、前記対象物体の状態に応じた操作に関する関連情報を取得することを特徴とする請求項2に記載の情報表示装置。
- 前記表示制御部が、前記関連情報を、利用者の操作に応じて前記対象物体の位置に対して移動可能に表示することを特徴とする請求項1〜3の何れか1項に記載の情報表示装置。
- 前記関連情報に含まれる音情報を出力する音出力部を更に備えることを特徴とする請求項1〜4の何れか1項に記載の情報表示装置。
- 前記表示制御部が、前記対象物体の輪郭より外側へ関連情報を表示すると共に、前記対象物体の少なくとも一部を特定するための画像を前記対象物体の位置に重ねて前記表示部に表示させることを特徴とする請求項1〜4の何れか1項に記載の情報表示装置。
- 前記利用者による言語の指定を受け付ける言語受付部を備え、
前記関連情報取得部が、前記記憶部に記憶された複数の言語による前記関連情報のうち、前記利用者による指定を受けた言語による前記関連情報を取得することを特徴とする請求項1〜5の何れか1項に記載の情報表示装置。 - 前記関連情報に対する操作を検出する操作検出部と、
前記関連情報に対する前記操作に基づいて処理を実行する操作実行部とを更に備えた請求項1〜6の何れか1項に記載の情報表示装置。 - 情報表示装置と、前記情報表示装置と通信可能なサーバ装置とを含む情報表示システムであって、
前記情報表示装置が、
利用者の視界に対応した撮像画像を取得する撮像部と、
前記撮像画像から、処理対象とする対象物体を認識する認識部と、
前記撮像画像から、前記対象物体の輪郭を抽出する輪郭抽出部と、
前記対象物体に関する関連情報を記憶部から取得する関連情報取得部と、
前記利用者の視界と重畳させて情報を表示させる表示部と、
前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記表示部に前記関連情報を表示させる表示制御部と、を備え、
前記サーバ装置が、
前記関連情報取得部から前記関連情報の要求を受信する要求受信部と、
前記要求に応じた前記関連情報を前記記憶部から読み出して前記情報表示装置へ送信する情報送信部と、
を備えることを特徴とする情報表示システム。 - 利用者の視界に対応した撮像画像を撮像部によって取得するステップと、
前記撮像画像から、処理対象とする対象物体を認識するステップと、
前記撮像画像から、前記対象物体の輪郭を抽出するステップと、
前記対象物体に関する関連情報を記憶部から取得するステップと、
前記利用者の視界と重畳させて情報を表示させる表示部に対し、前記利用者の視界内であって、前記対象物体の輪郭より外側となるように前記関連情報を表示させるステップと、
をコンピュータが実行することを特徴とする情報表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246508A JP6673567B2 (ja) | 2015-12-17 | 2015-12-17 | 情報表示装置、情報表示システム及び情報表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246508A JP6673567B2 (ja) | 2015-12-17 | 2015-12-17 | 情報表示装置、情報表示システム及び情報表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017111670A true JP2017111670A (ja) | 2017-06-22 |
JP6673567B2 JP6673567B2 (ja) | 2020-03-25 |
Family
ID=59079643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015246508A Active JP6673567B2 (ja) | 2015-12-17 | 2015-12-17 | 情報表示装置、情報表示システム及び情報表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6673567B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019012823A1 (ja) * | 2017-07-13 | 2019-01-17 | ヤンマー株式会社 | 物体識別システム |
JP2021051778A (ja) * | 2020-12-16 | 2021-04-01 | ヤンマーパワーテクノロジー株式会社 | 物体識別システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146803A (ja) * | 2004-11-24 | 2006-06-08 | Olympus Corp | 操作装置及び遠隔操作システム |
JP2011118531A (ja) * | 2009-12-01 | 2011-06-16 | Brother Industries Ltd | ヘッドマウントディスプレイ |
JP2012163853A (ja) * | 2011-02-08 | 2012-08-30 | Ns Solutions Corp | 表示装置、情報提供システム、情報提供方法、及びプログラム |
JP2013205920A (ja) * | 2012-03-27 | 2013-10-07 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2013250849A (ja) * | 2012-06-01 | 2013-12-12 | Konica Minolta Inc | ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム |
JP2014174507A (ja) * | 2013-03-13 | 2014-09-22 | Nec Corp | 拡張現実表示装置及び情報端末並びにマルチディスプレイシステム、プログラム |
JP2015043180A (ja) * | 2013-08-26 | 2015-03-05 | ブラザー工業株式会社 | 画像処理プログラム |
JP2015138428A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | 付加情報表示装置および付加情報表示プログラム |
-
2015
- 2015-12-17 JP JP2015246508A patent/JP6673567B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146803A (ja) * | 2004-11-24 | 2006-06-08 | Olympus Corp | 操作装置及び遠隔操作システム |
JP2011118531A (ja) * | 2009-12-01 | 2011-06-16 | Brother Industries Ltd | ヘッドマウントディスプレイ |
JP2012163853A (ja) * | 2011-02-08 | 2012-08-30 | Ns Solutions Corp | 表示装置、情報提供システム、情報提供方法、及びプログラム |
JP2013205920A (ja) * | 2012-03-27 | 2013-10-07 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2013250849A (ja) * | 2012-06-01 | 2013-12-12 | Konica Minolta Inc | ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム |
JP2014174507A (ja) * | 2013-03-13 | 2014-09-22 | Nec Corp | 拡張現実表示装置及び情報端末並びにマルチディスプレイシステム、プログラム |
JP2015043180A (ja) * | 2013-08-26 | 2015-03-05 | ブラザー工業株式会社 | 画像処理プログラム |
JP2015138428A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | 付加情報表示装置および付加情報表示プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019012823A1 (ja) * | 2017-07-13 | 2019-01-17 | ヤンマー株式会社 | 物体識別システム |
JP2019020914A (ja) * | 2017-07-13 | 2019-02-07 | ヤンマー株式会社 | 物体識別システム |
JP2021051778A (ja) * | 2020-12-16 | 2021-04-01 | ヤンマーパワーテクノロジー株式会社 | 物体識別システム |
JP7055186B2 (ja) | 2020-12-16 | 2022-04-15 | ヤンマーパワーテクノロジー株式会社 | 物体識別システム |
Also Published As
Publication number | Publication date |
---|---|
JP6673567B2 (ja) | 2020-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8441435B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
US8885020B2 (en) | Video reproduction apparatus and video reproduction method | |
JP7092028B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6155622B2 (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 | |
WO2014192103A1 (ja) | 情報表示装置 | |
JP5295714B2 (ja) | 表示装置、画像処理方法、及びコンピュータプログラム | |
US9541996B1 (en) | Image-recognition based game | |
CN112286362B (zh) | 真实环境画面中虚拟道具的显示方法、***及存储介质 | |
JP6572600B2 (ja) | 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム | |
CN108965656B (zh) | 显示控制设备、显示控制方法和存储介质 | |
JP6348665B2 (ja) | ヘッドマウントディスプレイ、表示制御方法及びプログラム | |
US9323339B2 (en) | Input device, input method and recording medium | |
US20110316763A1 (en) | Head-mounted display apparatus, image control method and image control program | |
US20190213793A1 (en) | Real-world portals for virtual reality displays | |
US20160171320A1 (en) | Imaging system | |
JPWO2018003859A1 (ja) | 表示装置、プログラム、表示方法および制御装置 | |
WO2020012955A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2016224086A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
WO2018061413A1 (ja) | ジェスチャ検出装置 | |
CN110502117B (zh) | 电子终端中的截图方法以及电子终端 | |
JP2009010987A (ja) | 電子カメラ | |
US20210042015A1 (en) | Method and system for dwell-less, hands-free interaction with a selectable object | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
CN111970456A (zh) | 拍摄控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6673567 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |