JP7078568B2 - 表示装置、表示制御方法、及び表示システム - Google Patents
表示装置、表示制御方法、及び表示システム Download PDFInfo
- Publication number
- JP7078568B2 JP7078568B2 JP2019051286A JP2019051286A JP7078568B2 JP 7078568 B2 JP7078568 B2 JP 7078568B2 JP 2019051286 A JP2019051286 A JP 2019051286A JP 2019051286 A JP2019051286 A JP 2019051286A JP 7078568 B2 JP7078568 B2 JP 7078568B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- user
- display
- display device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000010365 information processing Effects 0.000 claims description 44
- 238000005259 measurement Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 230000006854 communication Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、本発明の第1の実施の形態に係る表示装置100の一例を示す外観図である。図2は、表示装置100の機能ブロックの構成例を示している。
次に、図3は、本発明の第2の実施の形態に係る表示システム120の構成例を示している。
次に、図5は、本発明の第3の実施の形態に係る表示システム130の構成例を示している。
次に、図7は、本発明の第4の実施の形態に係る表示システム140の構成例を示している。
次に、表示装置100(図1)、表示システム120(図3),130(図5),140(図7)による表示処理について、図9~図12を参照して説明する。
上述した表示処理では、「作業前」には作業支援情報を重畳表示とし、「作業中」には作業支援情報を非重畳表示とするようにした。しかしながら、ユーザの熟練度によっては、「作業中」における作業支援情報が不要な場合がある。そこで、表示処理の変形例として、例えば、「作業前」には作業支援情報を重畳表示とし、「作業中」には作業支援情報を非表示としてもよい。または、「作業前」には作業支援情報を非重畳表示とし、「作業中」には作業支援情報を重畳表示としてもよい。
Claims (15)
- 周囲の景色を透過し、且つ、作業支援情報を表示する表示部と、
ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群と、
前記センサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定部と、
判定された前記ユーザの前記作業状態に応じて、前記表示部における前記作業支援情報の表示を変更する表示制御部と、を備え、
前記作業状態判定部は、
前記撮像部によって作業対象物が撮像されていない場合、または前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が閾値以上である場合、前記作業状態を「未作業」と判定し、
前記撮像部によって前記作業対象物が撮像されており、前記ユーザの前記移動範囲が前記閾値未満であって、前記撮像部によって前記ユーザの手が撮像されている場合、前記作業状態を「作業中」と判定する
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記センサ群は、前記ユーザの頭部の動きを検出する慣性計測部を含み、
前記作業状態判定部は、
前記撮像部によって前記作業対象物が撮像されており、前記ユーザの視線の移動範囲が所定の閾値以上であるか、前記ユーザの頭部の移動範囲が所定の閾値以上であるか、または、前記ユーザが歩行中である場合、前記作業状態を「未作業」と判定する
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記センサ群は、前記ユーザの現在位置を取得する位置計測部を含み、
前記作業状態判定部は、
前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が前記閾値未満であって、前記ユーザの前記現在位置が所定の正しい作業場所である場合、前記作業状態を「作業中」と判定する
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記センサ群は、前記ユーザによる前記表示装置の装着状態を取得し、
前記作業状態判定部は、前記表示装置が前記ユーザの正しい位置に装着されていない場合、前記作業状態を「未作業」と判定する
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記表示部を透過する前記作業対象物に対して前記作業支援情報を重畳表示させるか、または非重畳表示させる
ことを特徴とする表示装置。 - 請求項5に記載の表示装置であって、
前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記表示部を透過する前記作業対象物及び前記ユーザの手を含む作業領域に対して前記作業支援情報を重畳表示させるか、または非重畳表示させる
ことを特徴とする表示装置。 - 請求項6に記載の表示装置であって、
前記表示制御部は、
前記ユーザの前記作業状態が前記「作業中」であると判定された場合、前記作業領域に対して前記作業支援情報を非重畳表示させる
ことを特徴とする表示装置。 - 請求項6に記載の表示装置であって、
前記表示制御部は、
前記ユーザの前記作業状態が前記「作業中」であると判定された場合、前記作業領域に対して前記作業支援情報を重畳表示させる
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記作業支援情報としての作業箇所及び作業内容の少なくとも一方を重畳表示させるか、または非重畳表示させる
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記表示制御部は、判定された前記ユーザの前記作業状態に応じて、前記表示部における前記作業支援情報を表示させるか、または非表示させる
ことを特徴とする表示装置。 - 請求項1に記載の表示装置であって、
前記表示制御部は、判定された前記ユーザの前記作業状態、及びユーザ情報に基づいて、前記表示部における前記作業支援情報の表示を変更する
ことを特徴とする表示装置。 - 請求項11に記載の表示装置であって、
前記表示制御部は、判定された前記ユーザの前記作業状態、及び前記ユーザ情報としての熟練度に基づいて、前記表示部における前記作業支援情報の表示を変更する
ことを特徴とする表示装置。 - 請求項12に記載の表示装置であって、
前記ユーザの前記熟練度を判定する熟練度判定部を、
備えることを特徴とする表示装置。 - 表示装置による表示制御方法であって、
ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定ステップと、
判定された前記ユーザの前記作業状態に応じ、周囲の景色を透過し、且つ、作業支援情報を表示する表示部における前記作業支援情報の表示を変更する変更ステップと、を含み、
前記作業状態判定ステップは、
前記撮像部によって作業対象物が撮像されていない場合、または前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が閾値以上である場合、前記作業状態を「未作業」と判定し、
前記撮像部によって前記作業対象物が撮像されており、前記ユーザの前記移動範囲が前記閾値未満であって、前記撮像部によって前記ユーザの手が撮像されている場合、前記作業状態を「作業中」と判定する
ことを特徴とする表示制御方法。 - 周囲の景色を透過し、且つ、作業支援情報を表示する表示装置と、
ユーザの視線方向を撮像する撮像部を少なくとも含むセンサ群と、
前記センサ群からの出力に基づき、前記表示装置における表示を制御する情報処理装置と、
を備え、
前記情報処理装置は、
前記センサ群からの出力に基づき、前記ユーザの作業状態を判定する作業状態判定部と、
判定された前記ユーザの前記作業状態に応じ、前記表示装置における前記作業支援情報の表示を変更する表示制御部と、を有し、
前記作業状態判定部は、
前記撮像部によって作業対象物が撮像されていない場合、または前記撮像部によって前記作業対象物が撮像されており、前記ユーザの移動範囲が閾値以上である場合、前記作業状態を「未作業」と判定し、
前記撮像部によって前記作業対象物が撮像されており、前記ユーザの前記移動範囲が前記閾値未満であって、前記撮像部によって前記ユーザの手が撮像されている場合、前記作業状態を「作業中」と判定する
ことを特徴とする表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019051286A JP7078568B2 (ja) | 2019-03-19 | 2019-03-19 | 表示装置、表示制御方法、及び表示システム |
US16/752,282 US11137600B2 (en) | 2019-03-19 | 2020-01-24 | Display device, display control method, and display system |
CN202010102688.XA CN111722401A (zh) | 2019-03-19 | 2020-02-19 | 显示装置、显示控制方法以及显示*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019051286A JP7078568B2 (ja) | 2019-03-19 | 2019-03-19 | 表示装置、表示制御方法、及び表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154569A JP2020154569A (ja) | 2020-09-24 |
JP7078568B2 true JP7078568B2 (ja) | 2022-05-31 |
Family
ID=72515977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019051286A Active JP7078568B2 (ja) | 2019-03-19 | 2019-03-19 | 表示装置、表示制御方法、及び表示システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11137600B2 (ja) |
JP (1) | JP7078568B2 (ja) |
CN (1) | CN111722401A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7364530B2 (ja) * | 2020-05-18 | 2023-10-18 | トヨタ自動車株式会社 | 車両、情報処理装置、及び、方法 |
JP7347409B2 (ja) * | 2020-12-28 | 2023-09-20 | 横河電機株式会社 | 装置、方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211408A (ja) | 2009-03-09 | 2010-09-24 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2013250849A (ja) | 2012-06-01 | 2013-12-12 | Konica Minolta Inc | ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム |
WO2017033539A1 (ja) | 2015-08-25 | 2017-03-02 | 新日鉄住金ソリューションズ株式会社 | 作業支援装置、作業支援方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9448407B2 (en) * | 2012-12-13 | 2016-09-20 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and work supporting system |
JP5884816B2 (ja) | 2013-12-16 | 2016-03-15 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
CN108986766B (zh) * | 2014-01-15 | 2021-08-17 | 麦克赛尔株式会社 | 信息显示终端以及信息显示方法 |
JP6540108B2 (ja) * | 2015-03-09 | 2019-07-10 | 富士通株式会社 | 画像生成方法、システム、装置、及び端末 |
US10281976B2 (en) * | 2015-07-07 | 2019-05-07 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
US20190161942A1 (en) * | 2017-11-24 | 2019-05-30 | Novatron Oy | Controlling earthmoving machines |
-
2019
- 2019-03-19 JP JP2019051286A patent/JP7078568B2/ja active Active
-
2020
- 2020-01-24 US US16/752,282 patent/US11137600B2/en active Active
- 2020-02-19 CN CN202010102688.XA patent/CN111722401A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211408A (ja) | 2009-03-09 | 2010-09-24 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2013250849A (ja) | 2012-06-01 | 2013-12-12 | Konica Minolta Inc | ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム |
WO2017033539A1 (ja) | 2015-08-25 | 2017-03-02 | 新日鉄住金ソリューションズ株式会社 | 作業支援装置、作業支援方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020154569A (ja) | 2020-09-24 |
CN111722401A (zh) | 2020-09-29 |
US20200301144A1 (en) | 2020-09-24 |
US11137600B2 (en) | 2021-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220043508A1 (en) | Virtual object display interface between a wearable device and a mobile device | |
US10656424B2 (en) | Information display terminal, information display system, and information display method | |
CN107015638B (zh) | 用于向头戴式显示器用户报警的方法和装置 | |
US20140152530A1 (en) | Multimedia near to eye display system | |
JP6179927B2 (ja) | 遠隔行動誘導システム及びその処理方法 | |
CN111602082B (zh) | 用于包括传感器集成电路的头戴式显示器的位置跟踪*** | |
KR20160001178A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
CN108369476B (zh) | 信息处理设备、信息处理方法和计算机可读介质 | |
US20170344112A1 (en) | Gaze detection device | |
US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
JP2016191845A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11169764B2 (en) | Remote work-support system | |
US11320667B2 (en) | Automated video capture and composition system | |
JP2018006914A (ja) | 外部撮像システム、外部撮像方法、外部撮像プログラム | |
KR20200051591A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
KR20160015972A (ko) | 웨어러블 디바이스 및 그 제어 방법 | |
US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
US20210264677A1 (en) | Information processing apparatus, information processing method, and program | |
CN110998666A (zh) | 信息处理装置、信息处理方法以及程序 | |
WO2020050186A1 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP7078568B2 (ja) | 表示装置、表示制御方法、及び表示システム | |
JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
US11589001B2 (en) | Information processing apparatus, information processing method, and program | |
JP2016200753A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7078568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |