JP6834620B2 - 情報表示システム - Google Patents
情報表示システム Download PDFInfo
- Publication number
- JP6834620B2 JP6834620B2 JP2017046026A JP2017046026A JP6834620B2 JP 6834620 B2 JP6834620 B2 JP 6834620B2 JP 2017046026 A JP2017046026 A JP 2017046026A JP 2017046026 A JP2017046026 A JP 2017046026A JP 6834620 B2 JP6834620 B2 JP 6834620B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- display area
- hand
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 claims description 94
- 238000001514 detection method Methods 0.000 claims description 65
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 28
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 21
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000013481 data capture Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
請求項1の情報表示システムは、監視対象となるロボットの駆動を制御するロボットコントローラと、前記ロボットコントローラから前記ロボットの動作状態及び制御状態を特定可能な情報を取得する安全装置と、前記安全装置から前記ロボットに関する情報である監視対象情報を取得可能な監視対象情報取得部と、ユーザが装着可能であってユーザの視界内に前記監視対象情報を表示可能な装着型ディスプレイと、ユーザの視界内にユーザの手が入っている場合においてその手が特定の形状であるときにユーザの操作が入力されていることを検出する操作検出部と、前記操作検出部で操作が検出された場合に、視界内における手の位置に基づいて前記監視対象情報を表示するための表示領域の位置を設定する、又は視界内における手のサイズに基づいて前記表示領域のサイズを設定する表示領域設定部と、前記表示領域設定部で設定された表示領域内に前記監視対象情報を表示する表示制御部と、を備える。前記表示領域設定部は、視界内にある手の全部に重ねて前記表示領域を設定する。
ここで、表示領域を操作する場合だけでなく通常の作業時にも、ユーザの視界内に手が入ることが想定される。この場合、ユーザが操作を意図していないにもかかわらず、視界内に手が入ったというだけで装着型ディスプレイに監視対象情報が表示されたり、表示領域の位置やサイズが変更されたりすると、かえってユーザの視界を妨げることになる。そこで、請求項2の情報表示システムにおいて、操作検出部は、操作時のユーザの手の形状を前記特定の形状として予め登録可能であって、ユーザの視界内に入っている手の形状が前記予め登録された手の形状に一致している場合にユーザの操作が入力されていることを検出する。
請求項3の情報表示システムにおいて、前記操作検出部は、ユーザの操作を検出していない状態においてユーザの視界内に手が入ってからその手の位置及び形状が所定期間変化しなかった場合に初めてユーザの操作が入力されたことを検出する。これによれば、表示部に監視対象情報が表示されていない状態から表示させる状態に移行する際に、操作検出部は、ユーザの操作の意図をより明確に検出することができる。したがって、例えば視界内を手が通過しただけのような場合に監視対象情報が表示されることをより確実に防ぐことができ、その結果、ユーザの視界を更に妨げ難く、より安全性の高い情報提示が可能になる。
請求項1の情報表示システムにおいて、前記表示領域設定部は、ユーザの視界内に入っているユーザの手の全部に重ねて前記表示領域を設定する。これによれば、ユーザは、例えば自己の手のひらを見る感覚で、監視対象情報を見ることができる。そのため、直感的な操作が可能になり、その結果、操作性の向上を図ることができる。
請求項4の情報表示システムにおいて、前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させる。そして、前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の情報量を増やし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の情報量を減らす。
また、請求項5の情報表示システムにおいて、前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させる。そして、前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の表示態様を大きくし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の表示態様を小さくする。
請求項6の情報表示システムにおいて、前記表示領域設定部は、前記操作検出部で検出されたユーザの手の位置に追従させて前記表示領域を移動させる。これによれば、ユーザは、自己の操作によって、監視対象情報の表示位置を任意の位置に変更することができる。例えばユーザは、監視対象情報が実景に重なっている場合等に、その監視対象情報を、実景と重ならないような見易い位置に移動させることができる。これにより、ユーザは、監視対象情報によって視界を妨げないようにすることがより容易にでき、その結果、ユーザの視界を更に妨げ難い情報提示が可能になる。
請求項7の情報表示システムにおいて、前記表示制御部は、前記表示領域内を不透明に表示する。これによれば、表示領域内に表示された監視対象情報が、表示領域の後ろの実景に紛れ込む事を防ぐことができ、その結果、監視対象情報をより見易くすることができる。
請求項8の情報表示システムにおいて、操作検出部は、前記装着型ディスプレイに取り付けられたカメラを介して、ユーザの視界内にある手の位置及び形状に関する情報を取得することができる。この場合、装着型ディスプレイに取り付けられたカメラの撮像範囲は、ユーザの視界と共に動く。このため、本構成によれば、カメラで取得したユーザの手の位置及び形状を、ユーザの実際の視界内における手の位置及び形状に極力近づけることができる。これにより、ユーザの視界内で実際に行われる操作を、表示部内における表示領域の操作に正確に反映することができる。その結果、更に直感的な操作が可能になって、より安全性が高くユーザの視界を妨げ難い情報提示が可能になる。
図1及び図2に示すように、情報表示システム10は、監視対象である少なくとも1台この場合2台のロボット11と、各ロボット11に対応して設けられたロボットコントローラ12と、安全装置13と、いわゆるヘッドマウントディスプレイと称される頭部装着型ディスプレイ20(以下、HMD20と称する)と、ディスプレイ制御装置30と、を含んで構成されている。なお、監視対象としては、ロボット11に限られない。
例えば制御部31、監視対象情報取得部32、視界情報取得部33、監視対象識別部34、操作検出部35、表示領域設定部36、及び表示制御部37を、それぞれ安全装置13側又はHMD20側に分散させて設けても良い。
監視対象であるロボット11は、特定の場所に固定されているものに限られず、例えば自走可能な構成であってもよい。更に、監視対象は、ロボットに限られず、例えばフォークリフト等のように人が運転する有人搬送車や、自動で走行可能な無人搬送車等の移動体等であっても良い。
Claims (8)
- 監視対象となるロボットの駆動を制御するロボットコントローラと、
前記ロボットコントローラから前記ロボットの動作状態及び制御状態を特定可能な情報を取得する安全装置と、
前記安全装置から前記ロボットに関する情報である監視対象情報を取得可能な監視対象情報取得部と、
ユーザが装着可能であってユーザの視界内に前記監視対象情報を表示可能な装着型ディスプレイと、
ユーザの視界内にユーザの手が入っている場合においてその手が特定の形状であるときにユーザの操作が入力されていることを検出する操作検出部と、
前記操作検出部で操作が検出された場合に、視界内における手の位置に基づいて前記監視対象情報を表示するための表示領域の位置を設定する、又は視界内における手のサイズに基づいて前記表示領域のサイズを設定する表示領域設定部と、
前記表示領域設定部で設定された表示領域内に前記監視対象情報を表示する表示制御部と、
を備え、
前記表示領域設定部は、視界内にある手の全部に重ねて前記表示領域を設定する、
情報表示システム。 - 前記操作検出部は、操作時のユーザの手の形状を前記特定の形状として予め登録可能であって、ユーザの視界内に入っている手の形状が前記予め登録された手の形状に一致している場合にユーザの操作が入力されていることを検出する、
請求項1に記載の情報表示システム。 - 前記操作検出部は、ユーザの操作を検出していない状態においてユーザの視界内に手が入ってからその手の位置及び形状が所定期間変化しなかった場合に初めてユーザの操作が入力されたことを検出する、
請求項1又は2に記載の情報表示システム。 - 前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させ、
前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の情報量を増やし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の情報量を減らす、
請求項1から3のいずれか一項に記載の情報表示システム。 - 前記表示領域設定部は、前記操作検出部で検出された操作において、ユーザの手が視界内で大きくなった場合には前記表示領域を拡大し、ユーザの手が視界内で小さくなった場合には前記表示領域を縮小させ、
前記表示制御部は、前記表示領域が拡大された場合には前記表示領域に表示させる前記監視対象情報の表示態様を大きくし、前記表示領域が縮小された場合には前記表示領域に表示させる前記監視対象情報の表示態様を小さくする、
請求項1から3のいずれか一項に記載の情報表示システム。 - 前記表示領域設定部は、前記操作検出部で検出されたユーザの手の位置に追従させて前記表示領域を移動させる、
請求項1から5のいずれか一項に記載の情報表示システム。 - 前記表示制御部は、前記表示領域内を不透明に表示する、
請求項1から6のいずれか一項に記載の情報表示システム。 - 前記操作検出部は、前記装着型ディスプレイに取り付けられたカメラを介して、ユーザの視界内にある手の位置及び形状に関する情報を取得することができる、
請求項1から7のいずれか一項に記載の情報表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046026A JP6834620B2 (ja) | 2017-03-10 | 2017-03-10 | 情報表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046026A JP6834620B2 (ja) | 2017-03-10 | 2017-03-10 | 情報表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018151742A JP2018151742A (ja) | 2018-09-27 |
JP6834620B2 true JP6834620B2 (ja) | 2021-02-24 |
Family
ID=63681696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017046026A Active JP6834620B2 (ja) | 2017-03-10 | 2017-03-10 | 情報表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6834620B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3489800A1 (de) * | 2017-11-27 | 2019-05-29 | EUCHNER GmbH + Co. KG | Sicherheitssystem |
JP6997129B2 (ja) * | 2019-03-28 | 2022-01-17 | ファナック株式会社 | 制御システム |
JP2020198997A (ja) * | 2019-06-07 | 2020-12-17 | トヨタ自動車株式会社 | 訓練装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040095311A1 (en) * | 2002-11-19 | 2004-05-20 | Motorola, Inc. | Body-centric virtual interactive apparatus and method |
JP2005056059A (ja) * | 2003-08-01 | 2005-03-03 | Canon Inc | 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法 |
JP4913913B2 (ja) * | 2010-04-28 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP2013172432A (ja) * | 2012-02-23 | 2013-09-02 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
JP6333801B2 (ja) * | 2013-02-19 | 2018-05-30 | ミラマ サービス インク | 表示制御装置、表示制御プログラム、および表示制御方法 |
-
2017
- 2017-03-10 JP JP2017046026A patent/JP6834620B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018151742A (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6645142B2 (ja) | ロボット安全システム | |
CN106808496B (zh) | 机器人安全*** | |
JP5564300B2 (ja) | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 | |
JP6393367B2 (ja) | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10474411B2 (en) | System and method for alerting VR headset user to real-world objects | |
US10489981B2 (en) | Information processing device, information processing method, and program for controlling display of a virtual object | |
US20210170603A1 (en) | Method for using a multi-link actuated mechanism, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display apparatus | |
JP7003633B2 (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
EP3163407B1 (en) | Method and apparatus for alerting to head mounted display user | |
JP6834620B2 (ja) | 情報表示システム | |
JP6399692B2 (ja) | ヘッドマウントディスプレイ、画像表示方法及びプログラム | |
JP6582921B2 (ja) | ロボットモニタシステム | |
US20180217671A1 (en) | Remote control apparatus, remote control method, remote control system, and program | |
KR20170078488A (ko) | 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치 | |
KR102242703B1 (ko) | 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법 | |
CN109300528B (zh) | 一种认知康复训练***及方法 | |
US20190019308A1 (en) | Image display device | |
EP3346368B1 (en) | Device, method and system for control of a target apparatus | |
US10684480B2 (en) | Information display system | |
JP6874448B2 (ja) | 情報表示システム | |
KR20170089228A (ko) | 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법 | |
JP2022122936A (ja) | 情報表示システム | |
JP7476128B2 (ja) | 表示システムおよび表示装置 | |
JP6958018B2 (ja) | 情報表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6834620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |