JP2016218597A - ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 - Google Patents

ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 Download PDF

Info

Publication number
JP2016218597A
JP2016218597A JP2015100765A JP2015100765A JP2016218597A JP 2016218597 A JP2016218597 A JP 2016218597A JP 2015100765 A JP2015100765 A JP 2015100765A JP 2015100765 A JP2015100765 A JP 2015100765A JP 2016218597 A JP2016218597 A JP 2016218597A
Authority
JP
Japan
Prior art keywords
display
content
wearable device
control unit
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015100765A
Other languages
English (en)
Other versions
JP6641728B2 (ja
Inventor
一寿 川嶋
Kazuhisa Kawashima
一寿 川嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015100765A priority Critical patent/JP6641728B2/ja
Publication of JP2016218597A publication Critical patent/JP2016218597A/ja
Application granted granted Critical
Publication of JP6641728B2 publication Critical patent/JP6641728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ARコンテンツの表示による対象物の視認性低下を防止する表示制御プログラム、及び、表示制御方法を提供する。
【解決手段】ウェアラブルデバイス3において、カメラと、撮像部40によって撮像されたカメラ画像7cを解析して、ARコンテンツに対応付けられた情報を検知すると、ARコンテンツをディスプレイに表示する制御を行う表示制御部41を備える。表示制御部は、特定の指示を指示検出部44で受け付けると、表示したARコンテンツを表示/非表示部45で非表示にするとともに、ウェアラブルデバイスの向きに応じてディスプレイにARコンテンツを表示させる制御を行う設定に移行する。
【選択図】図7

Description

本発明は、ウェアラブルデバイス、表示制御プログラム、及び表示制御方法に関する。
近年、頭部に装着したHMD(Head Mounted Display)に、現実画像と架空画像とを重ね合わせて表示する技術が開発されている。
HMDのCCDカメラで現実画像を断続的に撮像して、現実画像が得られない時は、使用者の動きを検出して架空画像の表示内容と表示位置とを決定する技術等が知られている。
特許第5273323号公報
近年の拡張現実(AR:Augmented Reality)の技術によって、作業者が頭部に装着したHMDのカメラが撮像した画像からARマーカーを検出すると、作業者が作業する対象に対して、作業者のHMDに作業内容等を示すARコンテンツを表示することができる。
しかしながら、HMDに表示された作業内容等によって、作業対象が見づらくなり、その結果、作業対象に対して作業が行い難い場合がある。上述した技術等では、作業者が作業内容の表示/非表示を制御することができないといった問題がある。
したがって、1つの側面では、本発明は、ARコンテンツの表示による対象物の視認性低下を防止することを目的とする。
一態様によれば、ウェアラブルデバイスにおいて、カメラと、該カメラによって撮像された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する制御を行う制御部と、を備え、前記制御部は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行することを特徴とするウェアラブルデバイスが提供される。
また、上記課題を解決するための手段として、表示制御プログラム、及び、表示制御方法とすることもできる。
ARコンテンツの表示による対象物の視認性低下を防止することができる。
ARコンテンツが作業対象に重ならない表示例を示す図である。 ARコンテンツが作業対象4に重なる表示例を示す図である。 ARシステムのネットワーク構成を示す図である。 サーバのハードウェア構成を示す図である。 サーバの機能構成例を示す図である。 ウェアラブルデバイスのハードウェア構成を示す図である。 ウェアラブルデバイスの機能構成例を示す図である。 ARコンテンツとウェアラブルデバイスの動作との対応関係の第一の例を説明するための図である。 図8の第一の例における表示制御処理を説明するためのフローチャート図である。 ARコンテンツとウェアラブルデバイスの動作との対応関係の第二の例を説明するための図である。 第二の例における表示/非表示を行うための動作例を説明するための図である。 図10の第二の例における表示制御処理を説明するためのフローチャート図である。 ARコンテンツとウェアラブルデバイスの動作との対応関係の第二の例を説明するための図である。 第三の例における表示/非表示を行うための動作例を説明するための図である。 ARコンテンツ5の表示位置及び表示移動を説明するための図である。
以下、本発明の実施の形態を図面に基づいて説明する。本実施の形態では、作業対象に対して作業する作業者1が装着するウェアラブルデバイス3(HMD:Head Mounted Display)に作業内容等を示すARコンテンツを表示する場合で説明する。先ず、ARコンテンツの表示例について説明する。本実施の形態では、ウェアラブルデバイス3として、作業者1は、現実の光景を肉眼で直接見ることができる透過型のHMD(Head Mounted Display)として説明する。
図1は、ARコンテンツが作業対象に重ならない表示例を示す図である。図1では、作業者1が作業対象4にそれ程接近していない場合の表示例を示している。作業者1は、ウェアラブルデバイス3を介して現実の作業対象4を見ると共に、ウェアラブルデバイス3に表示された、作業対象4に予め設置されたARマーカー7arに対応するARコンテンツ5とを同時に見る。
図1の表示例では、ARコンテンツ5は、作業者1の作業対象4への視界を遮ることなく表示されている。この場合には、作業者1は、作業対象4全体を見ることが可能である。
図2は、ARコンテンツが作業対象4に重なる表示例を示す図である。図2では、作業者1が作業対象4に接近した場合のARコンテンツの表示例を示している。作業対象4のARマーカー7arは、図1と同様であるため、同じARコンテンツ5が表示される。従って、ARコンテンツ5が作業対象4に重なって表示されている。
図2の表示状態では、作業者1は、作業対象4とARコンテンツ5とが重なっているため作業がし難い状況となる。
本実施の形態では、1つのARマーカー7arに対する作業内容を複数のARコンテンツ5、5及び5を用いて、作業者1の頭部の動き又は音声等による指示に応じてARコンテンツ5iの表示/非表示、及び表示切替に係る表示制御を行うウェアラブルデバイス3、表示制御プログラム、及び表示制御方法を提供する。
図3は、ARシステムのネットワーク構成を示す図である。図3において、ARシステム1000は、サーバ100と、1以上のウェアラブルデバイス3とを有する。サーバ100と各ウェアラブルデバイス3とは、ネットワーク2を介して接続される。
サーバ100は、ネットワーク2を介してウェアラブルデバイス3からARコンテンツ取得要求8aを受信すると、ARコンテンツ取得要求8aで指定されるARコンテンツ識別情報に対応するARコンテンツセット8bをウェアラブルデバイス3に提供する。
ウェアラブルデバイス3は、作業者1の眼前に装着される、カメラ35(図6)を備えた表示デバイスである。
ウェアラブルデバイス3は、カメラ35が撮像したカメラ画像7cを解析してARマーカー7arを検知すると、ARコンテンツ取得要求8aをサーバ100へ送信することで、ARコンテンツセット8bを取得する。
ARコンテンツセット8bには、ARマーカー7arから読み取られたARコンテンツ識別情報に対応する複数のARコンテンツ5、5、5が含まれる。複数のARコンテンツ5、5、5が、一つのARコンテンツ5(図1、図2)に相当する。表示順に、ウェアラブルデバイス3に提供されることが望ましい。ARコンテンツ5は、3つに分割されることに限定されない。2つに分割、4以上に分割されてもよい。
以下の説明において、複数のARコンテンツ5、5、5のうち、1つをARコンテンツ5と言い、もう1つをARコンテンツ5と言う場合がある。ARコンテンツ5は、ARコンテンツ5以外のARコンテンツである。
ウェアラブルデバイス3は、作業者の頭部の動き又は音声等による指示に応じて、ARコンテンツ5、5、5の表示/非表示、及びARコンテンツ5、5、5の表示の切り替え等を制御する。
図4は、サーバのハードウェア構成を示す図である。図4において、サーバ100は、CPU(Central Processing Unit)11と、主記憶装置12と、補助記憶装置13と、入力装置14と、表示装置15と、通信I/F(インターフェース)17と、ドライブ装置18とを有し、バスB1に接続される。
CPU11は、主記憶装置12に格納されたプログラムに従ってサーバ100を制御する。主記憶装置12には、RAM(Random Access Memory)、ROM(Read Only Memory)等が用いられ、CPU11にて実行されるプログラム、CPU11での処理に必要なデータ、CPU11での処理にて得られたデータ等を記憶又は一時保存する。
補助記憶装置13には、HDD(Hard Disk Drive)等が用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置13に格納されているプログラムの一部が主記憶装置12にロードされ、CPU11に実行されることによって、各種処理が実現される。
入力装置14は、マウス、キーボード等を有し、管理者がサーバ100による処理に必要な各種情報を入力するために用いられる。表示装置15は、CPU11の制御のもとに必要な各種情報を表示する。入力装置14と表示装置15とは、一体化したタッチパネル等によるユーザインタフェースであってもよい。通信I/F17は、有線又は無線などのネットワークを通じて通信を行う。通信I/F17による通信は無線又は有線に限定されるものではない。
サーバ100によって行われる処理を実現するプログラムは、例えば、CD−ROM(Compact Disc Read-Only Memory)等の記憶媒体19によってサーバ100に提供される。
ドライブ装置18は、ドライブ装置18にセットされた記憶媒体19(例えば、CD−ROM等)とサーバ100とのインターフェースを行う。
また、記憶媒体19に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体19に格納されたプログラムは、ドライブ装置18を介してサーバ100にインストールされる。インストールされたプログラムは、サーバ100により実行可能となる。
尚、プログラムを格納する記憶媒体19はCD−ROMに限定されず、コンピュータが読み取り可能な、構造(structure)を有する1つ以上の非一時的(non-transitory)な、有形(tangible)な媒体であればよい。コンピュータ読取可能な記憶媒体として、CD−ROMの他に、DVDディスク、USBメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
図5は、サーバの機能構成例を示す図である。図5において、サーバ100は、主に、要求受信部121と、ARコンテンツ提供部123とを有する。記憶部130には、ARマーカー管理DB135が記憶される。
要求受信部121は、ネットワーク2を介してウェアラブルデバイス3からARコンテンツ取得要求8aを受信すると、ARコンテンツ取得要求8aで指定されるARマーカー識別情報7idをARコンテンツ提供部123へ通知する。
ARコンテンツ提供部123は、要求受信部121からのARマーカー識別情報7idの通知に応じて、記憶部130に記憶されているARマーカー情報DB135から、通知されたARマーカー識別情報7idに対応付けられたARコンテンツ5、5、5を取得して、ARコンテンツ5、5、5を含むARコンテンツセット8bを、ウェアラブルデバイス3へ送信する。ARコンテンツ5、5、5がウェアラブルデバイス3へ提供される。
図6は、ウェアラブルデバイスのハードウェア構成を示す図である。図6において、ウェアラブルデバイス3は、通信装置30と、CPU31と、メモリ32と、表示部34と、カメラ35と、センサ部36と、マイク37と、スピーカ38と、及び電力部39とを有し、これらは、バスB2で互いに接続される。
通信装置30は、アンテナ等を介して無線信号を送受信する無線通信、及び、赤外線、Wi−Fi(登録商標)、Bluetooth(登録商標)等により近距離無線通信等を行う。
CPU31は、メモリ32に格納されたプログラムに従ってウェアラブルデバイス3を制御する。メモリ32には、RAM(Random Access Memory)、ROM(Read Only Memory)等が用いられ、CPU31にて実行されるプログラム、CPU31での処理に必要なデータ、CPU31での処理にて得られたデータ等を記憶又は一時保存する。
表示部34は、CPU31の制御の下、ARコンテンツ5、5又は5が表示される透過性のディスプレイである。ARコンテンツ5、5又は5が透過性の表示部34に表示されることで、作業員1は、表示部34を通して見える現実の作業対象4と、表示部34に表示されたARコンテンツ5、5又は5とを同時に見ることができる。
カメラ35は、予め設定された画角内の実空間の画像(動画、静止画)を撮影する。センサ部36は、傾きセンサ、加速度センサ等を有する。マイク37は、作業員1の音声を入力する。スピーカ38は、音声を出力する。電力部39は、バッテリ等の内部電源であるが、これに限定されるものではない。
センサ部36による作業者1の頭部の動き(作業者1の指示)の検出に応じて、CPU31は、頭部の動きが予め定めたコマンドに相当することを検知した場合、ARコンテンツ5、5及び5の表示/非表示、及びARコンテンツ5、5及び5の表示の切り替え等の表示制御を行う。作業者1の指示は、マイク37が入力した作業者1の音声であってもよい。
図7は、ウェアラブルデバイスの機能構成例を示す図である。図7において、ウェアラブルデバイス3は、主に、撮像部40と、表示制御部41とを有する。各処理部は、ウェアラブルデバイス3にインストールされたプログラムが、ウェアラブルデバイス3のCPU31に実行させる処理により実現される。メモリ32には、カメラ画像7c、ARコンテンツセット8b等が記憶される。
撮像部40は、カメラ35が捕えた実空間の画像をカメラ画像7cとして取り込んでメモリ32に記憶する。カメラ画像7cは、ARマーカー7arの画像を含む場合がある。
表示制御部41は、メモリ32に記憶されたカメラ画像7cを解析してARマーカー7arを検知し、サーバ100から検知したARマーカー7arに対応するARコンテンツ5、5及び5を含むARコンテンツセット8bを取得してそれらの表示制御を行い、更に、ARマーカー認識部42と、ARコンテンツ取得部43と、指示検知部44と、表示/非表示部45とを有する。
ARマーカー認識部42は、カメラ画像7cを解析してARマーカー7arを検知する。ARマーカー7arを認識すると、ARマーカー認識部42は、ARマーカー7arからARマーカー7arのARマーカー識別情報7idを取得する。ARマーカー識別情報7idはメモリ32に記憶される。
ARコンテンツ取得部43は、記憶部130において新たなARマーカー識別情報7idに更新されると、サーバ100へ、最新のARマーカー識別情報7idを含むARコンテンツ取得要求8aを送信して、ARコンテンツセット8bを取得する。取得したARコンテンツセット8bは、メモリ32に記憶される。
指示検知部44は、センサ部36から得られるセンサ情報又はマイク37から入力された音声に基づいて、作業者1の指示を検知する。
表示/非表示部45は、検知した指示に対応するARコンテンツ5の表示/非表示の表示制御を行う。表示/非表示の表示制御には、ARコンテンツ5の表示からARコンテンツ5の表示への切り替えを含むものとする。
次に、各ARコンテンツ5iの表示と、作業者1が頭部を動かす方向又は音声による指示との対応関係について説明する。先ず、ARコンテンツセット8bにより2つのARコンテンツ5及び5が提供される場合で説明する。
図8は、ARコンテンツとウェアラブルデバイスの動作との対応関係の第一の例を説明するための図である。図8では、ARマーカー7arに対して対応付けられるARコンテンツセット8bには、2つのARコンテンツ5及び5が含まれる場合の例で説明する。
図8(A)では、ARマーカー7arに対して、ARコンテンツ5及び5が対応付けられた場合に、ARマーカー7arの認識時にARコンテンツ5を表示し、ウェアラブルデバイス3が指示1を検知した時にARコンテンツ5を表示する例を示している。
図8(B)は、この図8(A)の対応関係を定義した定義テーブルのデータ例を示す。図8(B)において、定義テーブル82は、コマンドに対応するアクションを定義したテーブルであり、コマンドとアクションの項目を有する。
コマンドは、作業者1によって行われる指示を示す。各指示は、作業者1が頭を振ったことを検知した場合、ウェアラブルデバイス3の向きが変化したことを検知した場合、ウェアラブルデバイス3の回転角度が閾値を超えた場合、音声から特定の言葉を検知した場合等により特定される。
アクションは、検知した指示毎のウェアラブルデバイス3の表示部34への表示制御に係る動作を示す。
図8(B)の例では、コマンドが「指示1」の場合、ウェアラブルデバイス3のアクションは表示部34にARコンテンツ5を表示すること、コマンドが「指示2」の場合、ウェアラブルデバイス3のアクションは表示部34に表示されているARコンテンツ5を消去することを定義している。
一例として、作業者1が左方向に頭を振った場合には指示1と判断して、ARコンテンツ5を表示し、作業者1が頭をシェイクした場合には指示2と判断して、ARコンテンツ5を消去することが、定義テーブル82に定義される。
ウェアラブルデバイス3は、サーバ100から提供されたARコンテンツセット8bの最初のARコンテンツ5は、ARマーカー7arを認識時に表示するコンテンツとして判断し、最初のARコンテンツ5以外は、定義テーブル82に従うものとすればよい。
また、定義テーブル82は、予め、ウェアラブルデバイス3のメモリ32に記憶しておいてもよいし、サーバ100がARコンテンツセット8bと共に定義テーブル82をウェアラブルデバイス3に提供するようにしてもよい。
図9は、図8の第一の例における表示制御処理を説明するためのフローチャート図である。図9において、ウェアラブルデバイス3の表示制御部41では、ARマーカー認識部42が、メモリ32に記憶されたカメラ画像7cからARマーカー7arを認識したか否かを判断する(ステップS201)。ARマーカー7arを認識できなかった場合、ARマーカー認識部42は、ARコンテンツ5を非表示にする(ステップS202)。そして、ARマーカー認識部42は、ステップS201へ戻り、ARマーカー7arの認識処理を繰り返す。
ARマーカー7arを認識できた場合、表示/非表示部45が、ARコンテンツ5を表示部34に表示する(ステップS203)。そして、指示検知部44が指示1を検知したか否かを判断する(ステップS204)。検知しなかった場合、表示制御部41は、ステップS201へと戻り、上記同様の処理を行う。
一方、指示検知部44が指示1を検知した場合、表示/非表示部45は、表示中のARコンテンツ5を消去する(ステップS205)。そして、表示/非表示部45は、ARコンテンツ5を表示する(ステップS206)。
その後、指示検知部44が指示2を検知したか否かを判断する(ステップS207)。指示検知部44が指示2を検知した場合、表示/非表示部45が、ARコンテンツ5を消去する(ステップS208)。そして、表示制御部41は、ステップS201へと戻り上述した同様の処理を繰り返す。
一方、指示検知部44が指示2を検知しなかった場合、表示/非表示部45によて、ARコンテンツ5の表示が継続される(ステップS206)。このように上述した表示制御処理が、作業者1が作業対象4に対する作業の間、繰り返し行われる。
上述した第二の例において、作業者1が「マニュアル2表示」と発声して指示1を行い、「マニュアル2消去」と発声して指示2を行ってもよい。
次に、ARコンテンツセット8bにより2つのARコンテンツ5及び5が提供される場合の第二の例を説明する。第二の例では、再表示を含めて、2つのARコンテンツ5及び5の夫々の表示/非表示を行えるようにした構成である。2つのARコンテンツ5及び5の場合で説明するた、3つ以上のARコンテンツであっても同様である。
図10は、ARコンテンツとウェアラブルデバイスの動作との対応関係の第二の例を説明するための図である。図10では、ARマーカー7arに対して対応付けられるARコンテンツセット8bに、図8と同様に、2つのARコンテンツ5及び5が含まれているが、ARコンテンツ5及び5の各々の表示/非表示を選択的に行う例を説明する。
図10(A)では、ARマーカー7arに対して、ARコンテンツ5及び5が対応付けられた場合に、ARコンテンツ5及び5はARマーカー7arの認識時に表示し、ARコンテンツ5はウェアラブルデバイス3が指示1を検知した時に表示し、ARコンテンツ5はウェアラブルデバイス3が指示3を検知した時に表示する例を示している。
図10(A)では、ARマーカー7arに対して、ARコンテンツ5及び5が対応付けられた場合に、ARコンテンツ5はARマーカー7arの認識時に表示され、また、指示1の時にARコンテンツ5に対して表示/非表示が行われ、ウェアラブルデバイス3が指示2を検知した時にARコンテンツ5に対して表示/非表示が行われる。
図10(B)は、この図10(A)の対応関係を定義した定義テーブルのデータ例を示す。図10(B)において、定義テーブル82−2は、コマンドに対応するアクションを定義したテーブルであり、コマンドとアクションの項目を有する。コマンドとアクションの項目の説明は、図8(B)と同様であるため省略する。
図10(B)の例では、コマンドが「指示1」の場合、ウェアラブルデバイス3のアクションは表示部34にARコンテンツ5の表示/非表示を行うこと、コマンドが「指示2」の場合、ウェアラブルデバイス3のアクションは表示部34にARコンテンツ5の表示/非表示を行うこと、コマンドが「指示3」の場合、ウェアラブルデバイス3のアクションは表示中のARコンテンツ5又は5を消去することを定義している。
例えば、ウェアラブルデバイス3の右方向への動きが、ARコンテンツ5の表示/非表示の指示1であり、ウェアラブルデバイス3の左方向への動きが、ARコンテンツ5の表示/非表示の指示2であり、ウェアラブルデバイス3がシェイクされる動きが、表示中のARコンテンツ5及びコンテンツ5の消去の指示3であると判断する。
上述したARコンテンツ5又はARコンテンツ5の表示/非表示は、ARマーカー7arを認識後に行われるが、ARマーカー7arを認識できない状況においても有効な制御であるため、作業者1の作業状況において、カメラ35がARマーカー7arを含まない画像を撮像した場合でも表示させることができる。
ウェアラブルデバイス3は、サーバ100から提供されたARコンテンツセット8bの最初のARコンテンツ5は、ARマーカー7arを認識時に表示するコンテンツとして判断する点は、図8の例と同様である。
この第二の例における、作業者1による表示/非表示を行うための動作例について説明する。図11は、第二の例における表示/非表示を行うための動作例を説明するための図である。図11では、ウェアラブルデバイス3を介して作業者1が見る範囲を例示している。説明を簡潔にするため、作業者1の視界と、ウェアラブルデバイス3のカメラ35が撮像する範囲と、ウェアラブルデバイス3の画面の範囲とは略同様であるとする。
図11(a)は、ARマーカー7arの認識時に、ARコンテンツ5を画面に表示した状態を示している。この図11(a)の状態では、ARコンテンツ5が作業対象4の一部に被ってしまうため、作業者1は、作業対象4の全体を十分に見ることができない。そこで、作業者1が頭を右方向に振って指示1を行うと、図11(b)の状態になる。
図11(b)では、ウェアラブルデバイス3の指示検知部44が右方向の動きを検出したことで、表示/非表示部45によって指示1がなされたと判断され、ARマーカー7arを認識できていてもARコンテンツ5が非表示になった状態を示している。次に、作業者1がARマーカー7arが見えない位置に移動すると、図11(c)の状態になる。例えば、作業者1が作業対象4の裏側に回った場合等が考えられる。
図11(c)では、作業対象4は視界内で見えるが、ARマーカー7arは認識されない。この状態で、作業者1は、頭を右方向に振って指示1を再度行うと、図11(d)の状態になる。
図11(d)では、ウェアラブルデバイス3の指示検知部44が右方向の動きを検出したことで、表示/非表示部45によって指示1がなされたと判断され、ARマーカー7arを認識できない状態であってもARコンテンツ5が表示された状態を示している。作業者1は、再度ARコンテンツ5を表示させて、内容を確認することができる。内容確認後、作業者1は、頭を左方向に振って指示2を行うと、図11(e)の状態となる。
図11(e)では、ウェアラブルデバイス3の指示検知部44が左方向の動きを検出したことで、表示/非表示部45によって指示2がなされたと判断され、ARマーカー7arを認識できていなくてもARコンテンツ5が表示された状態を示している。作業者1は、例えば、作業対象4の裏側で行う別の作業内容を確認することができる。作業者1は、ARマーカー7arに関連付けられた作業対象4に関する一連の作業を完了すると、頭をシェイクして指示3を行う。
図11(f)では、ウェアラブルデバイス3の指示検知部44がシェイクの動きを検出したことで、表示/非表示部45によって指示3がなされたと判断され、表示中のARコンテンツ5が画面から消去された状態を示している。もう一度作業を最初から繰り返す場合には、ARマーカー7arを認識できる位置まで戻ることで、図11(a)から図11(e)で説明したような一連のARコンテンツ5及びARコンテンツ5の表示/非表示を行うことができる。
上述した第二の例における動作例を可能とする表示制御部41による表示制御処理について説明する。図12は、図10の第二の例における表示制御処理を説明するためのフローチャート図である。
図12において、ウェアラブルデバイス3の表示制御部41では、ARマーカー認識部42が、メモリ32に記憶されたカメラ画像7cからARマーカー7arを認識したか否かを判断する(ステップS251)。ARマーカー7arを認識できなかった場合、ARマーカー認識部42は、ARコンテンツ5を非表示にする(ステップS252)。そして、ARマーカー認識部42は、ステップS251へ戻り、ARマーカー7arの認識処理を繰り返す。
ARマーカー7arを認識できた場合、表示/非表示部45が、ARコンテンツ5を表示部34に表示する(ステップS253)。
そして、指示検知部44は指示を検知したか否かを判断する(ステップS254)。検知しなかった場合(ステップS254のNO)、表示制御部41は、ステップS251へと戻り、上記同様の処理を行う。
指示検知部44が指示を検知した場合(ステップS254のYES)、指示検知部44は、検知した指示が指示1であるか否かを判断する(ステップS255)。指示1である場合(ステップS255のYES)、指示検知部44は指示1を表示/非表示部45に通知する。表示制御処理は、ステップS259へと進み、表示/非表示部45による表示/非表示処理が行われる。
一方、指示1でない場合(ステップS255のNO)、指示検知部44は、検知した指示が指示2であるか否かを判断する(ステップS256)。指示2である場合(ステップS256のYES)、指示検知部44は指示2を表示/非表示部45に通知する。表示制御処理は、ステップS259へと進み、表示/非表示部45による表示/非表示処理が行われる。
一方、指示2でない場合(ステップS256のNO)、指示検知部44は、検知した指示が指示3であるか否かを判断する(ステップS257)。指示3でない場合(ステップS257のNO)、指示検知部44は、ステップS254へと戻り、上述同様の処理を繰り返す。
一方、指示3である場合、指示検知部44は指示2を表示/非表示部45に通知する。表示/非表示部45は、指示3の通知に応じて、表示中のARコンテンツ5(5又は5)を消去する(ステップS258)。そして、表示制御部41による表示制御処理はステップS251へと戻り、ARマーカー7arを認識する状態へと戻り、認識した場合には、上述した処理を繰り返す。
指示1又は指示2のいずれかの場合(ステップS255又はS256)、表示/非表示部45は、他のARコンテンツ5が表示されているか否かを判断する(ステップS259)。他のARコンテンツ5は、ARコンテンツ5が表示中であればARコンテンツ5であり、ARコンテンツ5が表示中であればARコンテンツ5である。
他のARコンテンツ5が表示されていない場合(ステップS259のNO)、表示/非表示部45は、ステップS560へと進む。一方、他のARコンテンツ5が表示されている場合、表示/非表示部45は、表示されているARコンテンツ5を消去して、ステップS260へと進む。
表示/非表示部45は、指示に対応する検出した指示に対応するARコンテンツ5(5又は5)が表示されているか否かを判断する(ステップS261)。検出した指示に対応するARコンテンツ5(5又は5)が表示されている場合(ステップS261のYES)、表示/非表示部45は、検出した指示に対応するARコンテンツ5を非表示にして(ステップS262)、表示/非表示部45による表示/非表示処理を終了する。表示/非表示処理の終了により、表示制御処理は、ステップS154へと戻り、次の指示の検出待ちとなる。
一方、検出した指示に対応するARコンテンツ5(5又は5)が表示されていない場合(ステップS261のNO)、表示/非表示部45は、検出した指示に対応するARコンテンツ5を表示して(ステップS263)、表示/非表示部45による表示/非表示処理を終了する。表示/非表示処理の終了により、表示制御処理は、ステップS154へと戻り、次の指示の検出待ちとなる。
上述した第二の例において、作業者1が「マニュアル1」と発声して指示1を行い、「マニュアル2」と発声して指示2を行い、「マニュアル3」と発声して指示2を行ってもよい。
次に、ARコンテンツセット8bにより3つのARコンテンツ5、5及び5が提供される場合の第三の例を説明する。第三の例では、作業の手順に従って、作業者1の指示に応じて、ARコンテンツ5、ARコンテンツ5、そしてARコンテンツ5が表示される場合を説明する。
図13は、ARコンテンツとウェアラブルデバイスの動作との対応関係の第三の例を説明するための図である。図13では、ARマーカー7arに対して対応付けられるARコンテンツセット8bには、3つのARコンテンツ5、5、及び5が含まれる場合の例で説明する。
図13(A)では、ARマーカー7arに対して、ARコンテンツ5、5、及び5が対応付けられた場合に、ARマーカー7arの認識時にARコンテンツ5を表示し、ウェアラブルデバイス3が指示1を検知した時にARコンテンツ5を表示し、指示2を検知した時にARコンテンツ5を表示する例を示している。
図13(B)は、この図13(A)の対応関係を定義した定義テーブルのデータ例を示す。図8(B)において、定義テーブル82は、コマンドに対応するアクションを定義したテーブルであり、コマンドとアクションの項目を有する。コマンドとアクションの項目の説明は、図8(B)と同様であるため省略する。
図13(B)の例では、コマンドが「指示1」の場合、ウェアラブルデバイス3のアクションは表示部34にARコンテンツ5を表示すること、コマンドが「指示2」の場合、ウェアラブルデバイス3のアクションは表示部34に表示されているARコンテンツ5を消去して、ARコンテンツ5を表示すること、コマンドが「指示3」の場合、ウェアラブルデバイス3のアクションは表示部34に表示されているARコンテンツ5を消去することを定義している。
一例として、作業者1が「マニュアル2表示」と発声した場合には指示1と判断して、ARコンテンツ5を表示し、作業者1が「マニュアル3表示」と発声した場合には指示2と判断して、ARコンテンツ5を表示し、作業者1が「マニュアル終了」と発声した場合には指示2と判断して、ARコンテンツ5を消去することが、定義テーブル82に定義される。
この第三の例における、作業者1による表示/非表示を行うための動作例について説明する。図14は、第三の例における表示/非表示を行うための動作例を説明するための図である。図14では、図11同様に、ウェアラブルデバイス3を介して作業者1が見る範囲を例示している。
図14(a)は、ARマーカー7arの認識時に、ARコンテンツ5を画面に表示した状態を示している。作業者1からは、作業対象4に設置されたARマーカー7arと、ARコンテンツ5とが見えている。ARコンテンツ5が表示された状態で作業者1が「マニュアル2表示」と発声して指示1を行うと、図14(b)の状態になる。
図13(b)では、ウェアラブルデバイス3の指示検知部44が「マニュアル2表示」の音声を検出したことで、表示/非表示部45によって指示1がなされたと判断され、ARコンテンツ5が消去されて次のARコンテンツ5が表示される。
図14(b)では、作業対象4の一部は、作業者1によって確認できるが、ARマーカー7arは画面外(作業者1又はカメラ35の視界外)となるため、ARマーカー認識部42によってARマーカー7arを認識できていない状態であるが、作業者1の指示1に従ってARコンテンツ5が表示される。ARコンテンツ5に従って作業を終了した作業者1は、「マニュアル3表示」と発声して指示2を行う。
図14(c)は、ウェアラブルデバイス3の指示検知部44が「マニュアル3表示」の音声を検出したことで、表示/非表示部45によって指示2がなされたと判断され、ARコンテンツ5が消去されて次のARコンテンツ5が表示された状態を示す。
図14(c)では、画面内に作業対象4もARマーカー7arも存在しない。作業者1がARコンテンツ5に従った作業を終了して、「マニュアル終了」と発声することにより指示3を行う。
図14(d)は、ウェアラブルデバイス3の指示検知部44が「マニュアル終了」の音声を検出したことで、表示/非表示部45によって指示3がなされたと判断され、ARコンテンツ5が消去された状態を示す。
上述した第三の例において、指示1、指示2、及び指示3を指示者1が頭を右方向に振る、左方向に振る、及びシェイクするの夫々に置き換えたとしても同様である。
上述した表示制御により、作業対象4に被ることなくARコンテンツの1回の表示量を少なくして、分割して全体の内容を表示することが可能となり、1つのARマーカー7arに対して多くの情報を付加できるようになる。
また、作業者1の作業状況に応じて、ARコンテンツを表示させることができるため、作業者1が作業する際の煩わしさを改善することができる。
次に、ARコンテンツ5の表示位置と表示移動について説明する。図15は、ARコンテンツ5の表示位置及び表示移動を説明するための図である。図15では、ウェアラブルデバイス3の画面内において、ARマーカー7arの位置に対して、距離5dの位置にARコンテンツ5を自動的に表示するものとする。また、表示されたARコンテンツ5の移動は、頭を上方向に振る、又は、「上に移動」と発声することで表示位置を画面内の上方向に表示する場合で説明する。
図15(a)は、ARマーカー7arの認識によって、ARコンテンツ5がARマーカー7arに対して距離5d離れた位置で表示された状態を示している。作業員1は、表示されたARコンテンツ5が作業対象4に被っているため、作業がし難いと感じ、頭を上方向に振って、ARコンテンツ5の表示位置の変更を指示すると、指示検出部44は、表示位置の変更指示を検知して表示/非表示部45へ通知する。表示/非表示部45は、表示中のARコンテンツ5を画面の上に移動させて表示する。
図15(b)は、ARマーカー7arが認識されている状態で、図15(a)とは異なる位置にARコンテンツ5が表示された状態を示している。ARコンテンツ5が上方向に移動したことで、作業者1は、作業対象4の全体を見ることができ、作業がし易くなる。
図15(c)では、図15(a)又は図15(b)の状態で、作業者1の頭(又は体)が左方向へ移動したときの状態を示している。作業者1が左方向へ移動により、ARマーカー7arは、ウェアラブルデバイス3の画面内において、右方向に位置が移動する。このARマーカー7arの位置の移動に応じて、ARコンテンツ5の表示位置はARマーカー7arから距離5dの位置に変更される。この例では、左上にARコンテンツ5が表示される。
このように、ウェアラブルデバイス3の画面内でのARマーカー7arに対して相対的な距離5d離した位置でARコンテンツ5を表示することで、作業対象4に対する作業に関して注目すべき箇所の確認を行えるようにすると共に、作業者1の指示に応じて表示中のARコンテンツ5の位置を移動させることで、作業者1は、作業対象4の全体を見ることができる。
また、作業者1の移動に応じてARコンテンツ5の表示位置が変更されることで、作業者1による作業の妨げにならないように表示することができる。
上述より、本実施の形態では、ARコンテンツ5の表示による対象物(作業対象4に相当)の視認性の低下を防止できる。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ウェアラブルデバイスにおいて、
カメラと、
該カメラによって撮像された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する制御を行う制御部と、
を備え、
前記制御部は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行する
ことを特徴とするウェアラブルデバイス。
(付記2)
ウェアラブルデバイスにおいて、
カメラと、
該カメラによって撮像された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する制御を行う制御部と、
を備え、
前記制御部は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツの表示/非表示を切り替える制御を行う、
ことを特徴とするウェアラブルデバイス。
(付記3)
前記制御部は、表示した前記ARコンテンツを前記ディスプレイ内の何れかの方向の端部又は端部近傍に移動させる操作を検出すると、前記特定の指示を受け付けたと判定する、
ことを特徴とする付記1又は2に記載のウェアラブルデバイス。
(付記4)
前記制御部は、前記設定下において、前記ウェアラブルデバイスの向きの変更が前記何れかの方向に対応することを検出すると、前記ARコンテンツを前記ディスプレイに表示する、
ことを特徴とする付記3に記載のウェアラブルデバイス。
(付記5)
動き又は向きを検出するセンサを備え、
前記制御部は、所定の動き又は所定の向きの変化を検出すると、前記特定の指示を受け付けたと判定する、
ことを特徴とする付記1に記載のウェアラブルデバイス。
(付記6)
音声を検出するマイクを備え、
前記制御部は、所定のフレーズに対応する音声を検出すると、前記特定の指示を受け付けたと判定する、
ことを特徴とする付記1に記載のウェアラブルデバイス。
(付記7)
前記制御部は、前記設定下において、特定の指示を受け付けると、前記設定を解消する、
ことを特徴とする付記1に記載のウェアラブルデバイス。
(付記8)
動き又は向きを検出するセンサを備え、
前記制御部は、所定の動き又は所定の向きの変化を検出すると、前記特定の指示を受け付けたと判定する、
ことを特徴とする付記7に記載のウェアラブルデバイス。
(付記9)
音声を検出するマイクを備え、
前記制御部は、所定のフレーズに対応する音声を検出すると、前記特定の操作を受け付けたと判定する、
ことを特徴とする付記7に記載のウェアラブルデバイス。
(付記10)
前記制御部は、前記設定下において、前記ARコンテンツの表示中に前記ディスプレイ内の前記ARコンテンツの表示位置を変更する操作を受け付ける、
ことを特徴とする付記1乃至9の何れか一項に記載のウェアラブルデバイス。
(付記11)
前記設定下において、前記ARコンテンツの表示位置は、検知した前記情報に対応する前記ARコンテンツの表示位置を基準とした所定の位置関係を有する位置である、
ことを特徴とする付記1乃至10の何れか一項に記載のウェアラブルデバイス。
(付記12)
前記制御部は、検知された前記情報に対応付けられる複数のARコンテンツの1つを、前記指示に従って、前記ディスプレイへの表示又は非表示を制御する
ことを特徴とする付記1乃至11の何れか一項に記載のウェアラブルデバイス。
(付記13)
CPUと、メモリと、カメラとを有するウェアラブルデバイスにおける表示制御プログラムであって、該CPUに、
前記カメラによって撮像された前記メモリに格納された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する表示制御処理を行わせ、
前記表示制御処理は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行する
ことを特徴とするプログラム。
(付記14)
CPUと、メモリと、カメラとを有するウェアラブルデバイスにおいて行われる表示制御方法であって、該CPUが、
前記カメラによって撮像された前記メモリに格納された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する表示制御処理を行い、
前記表示制御処理は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行する
ことを特徴とする表示制御方法。
1 作業員
3 ウェアラブルデバイス
4 作業対象
5 ARコンテンツ
7ar ARマーカー
7id ARマーカー識別情報
8a ARコンテンツ取得要求
8b ARコンテンツセット
11 CPU
12 主記憶装置
13 補助記憶装置
14 入力装置
15 表示装置
17 通信I/F
18 ドライブ装置
19 記憶媒体
30 通信装置
31 CPU
32 メモリ
34 表示部
35 カメラ
36 センサ部
37 マイク
38 スピーカ
39 電力部
40 撮像部
41 表示制御部
42 ARマーカー認識部
43 ARコンテンツ取得部
44 指示検知部
45 表示/非表示部
100 サーバ
121 要求受信部
123 ARコンテンツ提供部
135 ARマーカー管理DB
130 記憶部
B1、B2 バス

Claims (13)

  1. ウェアラブルデバイスにおいて、
    カメラと、
    該カメラによって撮像された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する制御を行う制御部と、
    を備え、
    前記制御部は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行する
    ことを特徴とするウェアラブルデバイス。
  2. ウェアラブルデバイスにおいて、
    カメラと、
    該カメラによって撮像された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する制御を行う制御部と、
    を備え、
    前記制御部は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツの表示/非表示を切り替える制御を行う、
    ことを特徴とするウェアラブルデバイス。
  3. 前記制御部は、表示した前記ARコンテンツを前記ディスプレイ内の何れかの方向の端部又は端部近傍に移動させる操作を検出すると、前記特定の指示を受け付けたと判定する、
    ことを特徴とする請求項1又は2に記載のウェアラブルデバイス。
  4. 前記制御部は、前記設定下において、前記ウェアラブルデバイスの向きの変更が前記何れかの方向に対応することを検出すると、前記ARコンテンツを前記ディスプレイに表示する、
    ことを特徴とする請求項3に記載のウェアラブルデバイス。
  5. 動き又は向きを検出するセンサを備え、
    前記制御部は、所定の動き又は所定の向きの変化を検出すると、前記特定の指示を受け付けたと判定する、
    ことを特徴とする請求項1に記載のウェアラブルデバイス。
  6. 音声を検出するマイクを備え、
    前記制御部は、所定のフレーズに対応する音声を検出すると、前記特定の指示を受け付けたと判定する、
    ことを特徴とする請求項1に記載のウェアラブルデバイス。
  7. 前記制御部は、前記設定下において、特定の指示を受け付けると、前記設定を解消する、
    ことを特徴とする請求項1に記載のウェアラブルデバイス。
  8. 動き又は向きを検出するセンサを備え、
    前記制御部は、所定の動き又は所定の向きの変化を検出すると、前記特定の指示を受け付けたと判定する、
    ことを特徴とする請求項7に記載のウェアラブルデバイス。
  9. 音声を検出するマイクを備え、
    前記制御部は、所定のフレーズに対応する音声を検出すると、前記特定の操作を受け付けたと判定する、
    ことを特徴とする請求項7に記載のウェアラブルデバイス。
  10. 前記制御部は、前記設定下において、前記ARコンテンツの表示中に前記ディスプレイ内の前記ARコンテンツの表示位置を変更する操作を受け付ける、
    ことを特徴とする請求項1乃至9の何れか一項に記載のウェアラブルデバイス。
  11. 前記設定下において、前記ARコンテンツの表示位置は、検知した前記情報に対応する前記ARコンテンツの表示位置を基準とした所定の位置関係を有する位置である、
    ことを特徴とする請求項1乃至10の何れか一項に記載のウェアラブルデバイス。
  12. CPUと、メモリと、カメラとを有するウェアラブルデバイスにおける表示制御プログラムであって、該CPUに、
    前記カメラによって撮像された前記メモリに格納された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する表示制御処理を行わせ、
    前記表示制御処理は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行する
    ことを特徴とする表示制御プログラム。
  13. CPUと、メモリと、カメラとを有するウェアラブルデバイスにおいて行われる表示制御方法であって、該CPUが、
    前記カメラによって撮像された前記メモリに格納された撮像画像を解析して、ARコンテンツに対応付けられた情報を検知すると、前記ARコンテンツをディスプレイに表示する表示制御処理を行い、
    前記表示制御処理は、特定の指示を受け付けると、表示した前記ARコンテンツを非表示にするとともに、前記ウェアラブルデバイスの向きに応じて前記ディスプレイに前記ARコンテンツを表示させる制御を行う設定に移行する
    ことを特徴とする表示制御方法。
JP2015100765A 2015-05-18 2015-05-18 ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 Active JP6641728B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015100765A JP6641728B2 (ja) 2015-05-18 2015-05-18 ウェアラブルデバイス、表示制御プログラム、及び表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015100765A JP6641728B2 (ja) 2015-05-18 2015-05-18 ウェアラブルデバイス、表示制御プログラム、及び表示制御方法

Publications (2)

Publication Number Publication Date
JP2016218597A true JP2016218597A (ja) 2016-12-22
JP6641728B2 JP6641728B2 (ja) 2020-02-05

Family

ID=57581080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015100765A Active JP6641728B2 (ja) 2015-05-18 2015-05-18 ウェアラブルデバイス、表示制御プログラム、及び表示制御方法

Country Status (1)

Country Link
JP (1) JP6641728B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
JP2005348382A (ja) * 2004-05-06 2005-12-15 Olympus Corp 頭部装着型表示装置
JP2013054661A (ja) * 2011-09-06 2013-03-21 Nec Biglobe Ltd 情報表示システム、情報表示方法、及び情報表示用プログラム
JP2014167716A (ja) * 2013-02-28 2014-09-11 Sony Corp 情報処理装置および記憶媒体
JP2014235704A (ja) * 2013-06-05 2014-12-15 富士機械製造株式会社 基板生産支援システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
JP2005348382A (ja) * 2004-05-06 2005-12-15 Olympus Corp 頭部装着型表示装置
JP2013054661A (ja) * 2011-09-06 2013-03-21 Nec Biglobe Ltd 情報表示システム、情報表示方法、及び情報表示用プログラム
JP2014167716A (ja) * 2013-02-28 2014-09-11 Sony Corp 情報処理装置および記憶媒体
JP2014235704A (ja) * 2013-06-05 2014-12-15 富士機械製造株式会社 基板生産支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唯野 司, トラブル回避とカスタマイズの極意, vol. 第1版, JPN6018040003, 25 April 2011 (2011-04-25), JP, pages 125, ISSN: 0003896881 *

Also Published As

Publication number Publication date
JP6641728B2 (ja) 2020-02-05

Similar Documents

Publication Publication Date Title
US10043314B2 (en) Display control method and information processing apparatus
US11054918B2 (en) Position-based location indication and device control
KR102107404B1 (ko) 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
US9547391B2 (en) Method for processing input and electronic device thereof
KR20190000860A (ko) 적응형 증강현실 제공 방법
EP3096207B1 (en) Display control method, data process apparatus, and program
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
WO2012124250A1 (ja) オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
US10572134B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
KR20160133185A (ko) 이동단말기 및 그 제어방법
US20140028716A1 (en) Method and electronic device for generating an instruction in an augmented reality environment
JP6217437B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
CN113168279A (zh) 影像显示装置和方法
KR20170066916A (ko) 전자 장치 및 그의 제어 방법
JP2022000787A (ja) 画像制御方法およびプログラム
JP6625312B2 (ja) タッチ情報認識方法及び電子装置
US20180165853A1 (en) Head-mounted display apparatus and virtual object display system
CN106462251B (zh) 显示控制设备、显示控制方法以及程序
US10719147B2 (en) Display apparatus and control method thereof
JP6641728B2 (ja) ウェアラブルデバイス、表示制御プログラム、及び表示制御方法
CN113168820A (zh) 显示终端、显示控制***以及显示控制方法
US20160379416A1 (en) Apparatus and method for controlling object movement
KR102475336B1 (ko) 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US20130106757A1 (en) First response and second response
KR102125100B1 (ko) 웨어러블 디바이스의 제어 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6641728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150