JP2024052410A - プロセッサ、情報処理方法、及び情報処理プログラム - Google Patents
プロセッサ、情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- JP2024052410A JP2024052410A JP2022159106A JP2022159106A JP2024052410A JP 2024052410 A JP2024052410 A JP 2024052410A JP 2022159106 A JP2022159106 A JP 2022159106A JP 2022159106 A JP2022159106 A JP 2022159106A JP 2024052410 A JP2024052410 A JP 2024052410A
- Authority
- JP
- Japan
- Prior art keywords
- marking
- real space
- display device
- display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 abstract description 21
- 239000011521 glass Substances 0.000 description 28
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000009795 derivation Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】透過型の表示装置のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができるプロセッサ、情報処理方法、及び情報処理プログラムを提供する。【解決手段】透過型の表示装置のカメラが撮影した撮影画像と、他の表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキング、またはマーキングの位置を表す情報の表示状態を変更する処理を行うプロセッサ。【選択図】図8
Description
本開示は、プロセッサ、情報処理方法、及び情報処理プログラムに関する。
従来、現実空間に、画像を重ね合わせた状態で表示する、拡張現実(AR:Augmented Reality)機器等の透過型の表示装置が知られている。透過型の表示装置に付属するカメラにより撮影された画像に基づいて、透過型の表示装置のユーザに対して情報を出力する技術が知られている。
例えば、特許文献1には、ヘッドマウントディスプレイに付属するカメラにより撮影された画像情報を受信し、画像情報に基づいて、現場側情報提示装置に対して作業支援情報を出力する技術が記載されている。
しかしながら、従来の技術では、出力された情報を透過型の表示装置のユーザに視認させるためには十分とはいえない場合がある。
本開示は、以上の事情を鑑みて成されたものであり、透過型の表示装置のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができるプロセッサ、情報処理方法、及び情報処理プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様のプロセッサは、透過型の表示装置に付属するカメラが撮影した撮影画像と、透過型の表示装置と異なる表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理を行う。
本開示の第2の態様のプロセッサは、第1の態様のプロセッサにおいて、視線の検出結果は、ユーザの視線の向きの情報である。
本開示の第3の態様のプロセッサは、第2の態様のプロセッサにおいて、表示状態を変更する処理は、マーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外であるか領域内であるかに応じて表示状態を変更する処理である。
本開示の第4の態様のプロセッサは、第2の態様のプロセッサにおいて、表示状態を変更する処理は、視線の向きの情報が、マーキングの位置、またはマーキングの位置を表す情報の位置に向いていた時間に基づく処理である。
本開示の第5の態様のプロセッサは、第4の態様のプロセッサにおいて、表示状態を変更する処理は、マーキングに付与された属性に応じて、情報の表示状態を変更する処理を変更する。
本開示の第6の態様のプロセッサは、第2の態様のプロセッサにおいて、マーキングの現実空間における位置が、透過型の表示装置において表示画像を表示可能な現実空間の領域外である場合、マーキングの現実空間における位置との距離に応じて、マーキングの位置を表す情報の表示形態を異ならせる。
上記目的を達成するために、本開示の第7の態様の情報処理方法は、透過型の表示装置に付属するカメラが撮影した撮影画像と、透過型の表示装置と異なる表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理をプロセッサが実行する情報処理方法。
上記目的を達成するために、本開示の第8の態様の情報処理プログラムは、透過型の表示装置に付属するカメラが撮影した撮影画像と、透過型の表示装置と異なる表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理をプロセッサに実効させるためのものである。
本開示によれば、透過型の表示装置のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができる。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
図1を参照して、本実施形態の情報処理システム1の構成を説明する。図1に示すように、本実施形態の情報処理システム1は、AR(Augmented Reality)グラス10、スマートフォン12、画像表示装置14、及び情報処理装置16を備える。スマートフォン12、画像表示装置14、及び情報処理装置16は、ネットワーク19を介して有線通信または無線通信により接続されている。本実施形態のARグラス10が、本開示の透過型の表示装置の一例であり、本実施形態の画像表示装置14が、本開示の透過型の表示装置と異なる表示装置の一例である。
本実施形態の情報処理システム1は、情報処理装置16が、ARグラス10のカメラにより現実の世界を撮影した撮影画像を、画像表示装置14に表示させ、画像表示装置14において撮影画像に対して行ったマーキングに関する情報をARグラス10に表示させる機能を有する。以下、ARグラス10を使用するユーザを「第1のユーザ」といい、画像表示装置14を使用するユーザを「第2のユーザ」といい、両者を区別せずに総称する場合、単に「ユーザ」という。
まず、図2及び図3を参照して、本実施形態のARグラス10及びスマートフォン12の構成を説明する。図3には、本実施形態のARグラス10の一例の斜視図が示されている。図2及び図3に示すように、ARグラス10は、一対の左眼用透過部20L及び右眼用透過部20Rと、測距装置25と、OLED26と、カメラ27と、6DoF(Six-Degrees of Freedom)センサ28と、視線検出センサ29と、を備える。
OLED26は、右眼用透過部20Rを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部20Rに情報を表す画像(投影画像)を投影する。
右眼用透過部20Rは、右眼用レンズ22R及び導光板24を含む。導光板24の一端には、OLED26から投影された投影画像に応じた光が入射される。導光板24の中を伝播した光は、出射部(図示省略)において向きを変えて、ユーザの眼の方向に出射される。導光板24から出射された投影画像に応じた光は、右眼用レンズ22Rを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ22Rを通した現実空間を現実像として右目で視認する。
そのため、OLED26から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ22Rを通した現実空間を表す現実像と、導光板24に投影された投影画像に応じた投影像とが重畳された状態となる。また、OLED26から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ22R及び導光板24を通した現実空間を表す現実像となる。
一方、左眼用透過部20Lは、左眼用レンズ22Lを含む。ユーザは、左眼用レンズ22Lを通した現実空間を左眼で視認する。
測距装置25は、ARグラス10と、周囲の領域との距離を測距するための装置である。測距装置25としては、例えば、LiDAR(Light Detection And Ranging)が挙げられる。本実施形態の測距装置25は、カメラ27の撮影範囲と同等の領域について、ARグラス10と、領域範囲との距離を測距し、測距した結果をスマートフォン12に出力する。
カメラ27は、第1のユーザが観察する現実の世界を撮影するカメラである。カメラ27としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)カメラ等のデジタル式カメラが挙げられる。本実施形態では、現実の世界を表す画像をユーザに提供するため、カメラ27はカラー画像の撮影が可能である。なお、カメラ27の撮影範囲は、右眼用透過部20Rに投影画像を表示可能な現実空間の領域と同等の大きさの領域であってもよいし、異なる大きさの領域であってもよい。なお、本実施形態において、「撮影画像」とは、カメラ27により撮影された画像のことをいう。カメラ27により撮影された撮影画像はスマートフォン12に出力される。
6DoFセンサ28は、ARグラス10の動き、換言すると第1のユーザの頭の動き、を検出する機能を有する。6DoFセンサ28は、検出結果をスマートフォン12に出力する。
視線検出センサ29は、第1のユーザの視線を検出するセンサである。視線検出センサ29としては、公知のセンサを適用することができ、例えば、虹彩や瞳孔の位置に基づいて第1のユーザの視線方向を検出するセンサ等が挙げられる。一例として、本実施形態のARグラス10は、第1のユーザの右眼の視線を検出する。視線検出センサ29の検出結果は、スマートフォン12に出力される。
一方、スマートフォン12は、ARグラス10のOLED26から導光板24に投影画像を投影させる制御を、OLED26に対して行う。図4には、スマートフォン12のハードウェア構成の一例を表したブロック図が示されている。図4に示すように、スマートフォン12は、CPU(Central Processing Unit)40、メモリ42、I/F(InterFace)部43、記憶部44、ディスプレイ46、及び入力装置48を備える。CPU40、メモリ42、I/F部43、記憶部44、ディスプレイ46、及び入力装置48は、システムバスやコントロールバス等のバス49を介して相互に各種情報の授受が可能に接続されている。
CPU40は、記憶部44に記憶された画像処理プログラム45を含む各種のプログラムをメモリ42へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、CPU40は、OLED26による投影画像の表示の制御を行う。一例として本実施形態のプロセッサ41は、CPU40と画像処理プログラム45との組合せで構成される。メモリ42は、CPU40が処理を実行するためのワークメモリである。
CPU40において実行される画像処理プログラム45は、記憶部44に記憶される。また、記憶部44には、OLED26から投影する投影画像の画像データ(図示省略)や、その他の各種情報等も記憶される。記憶部44の具体例としては、HDD(Hard Disk Drive)やSSD(Solid State Drive)等が挙げられる。
I/F部43は、無線通信または有線通信により、OLED26との間で各種情報の通信を行う。ディスプレイ46及び入力装置48はユーザインタフェースとして機能する。ディスプレイ46は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ46は特に限定されるものではなく、液晶モニタ及びLED(Light Emitting Diode)モニタ等が挙げられる。また、入力装置48は、投影画像の投影に関する各種の指示や、ナビゲーションにおける目的地に関する情報を入力するためにユーザによって操作される。入力装置48は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン12では、ディスプレイ46と入力装置48とを一体化したタッチパネルディスプレイを採用している。
一方、画像表示装置14は、上述したように、第2のユーザが、ARグラス10のカメラ27が撮影した撮影画像を観察するために用いられる。
図5には、画像表示装置14の機能に係る構成の一例を表す機能ブロック図が示されている。図5に示すように、画像表示装置14は、CPU50、メモリ52、I/F部53、記憶部54、ディスプレイ56、及び入力装置58を備える。CPU50、メモリ52、I/F部53、記憶部54、ディスプレイ56、及び入力装置58は、システムバスやコントロールバス等のバス59を介して相互に各種情報の授受が可能に接続されている。
CPU50は、記憶部54に記憶された表示制御プログラム55を含む各種のプログラムをメモリ52へ読み出し、読み出したプログラムにしたがった処理を実行する。一例として本実施形態のプロセッサ51は、CPU50と表示制御プログラム55との組合せで構成される。メモリ52は、CPU50が処理を実行するためのワークメモリである。
記憶部54には、表示制御プログラム55、及びスマートフォン12から受信した各種画像の画像データや、その他の各種情報等が記憶される。記憶部54の具体例としては、HDDやSSD等が挙げられる。
I/F部53は、無線通信または有線通信により、情報処理装置16との間で各種情報の通信を行う。ディスプレイ56及び入力装置58はユーザインタフェースとして機能する。ディスプレイ56は、スマートフォン12から受信した各種の画像を表示する。ディスプレイ56は特に限定されるものではなく、液晶モニタ及びLEDモニタ等が挙げられる。また、入力装置58は、撮影画像に対するマーキングを行うために第2のユーザによって操作される。入力装置58は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、ディスプレイ56と入力装置58とを一体化したタッチパネルディスプレイを採用してもよい。
一方、情報処理装置16は、上述したように、ARグラス10のカメラ27が撮影した撮影画像を画像表示装置14に表示させ、画像表示装置14により行われたマーキングに関する情報をARグラス10に表示させる機能を有する。
図6には、情報処理装置16の機能に係る構成の一例を表す機能ブロック図が示されている。図6に示すように、情報処理装置16は、CPU60、メモリ62、I/F部63、記憶部64、ディスプレイ66、及び入力装置68を備える。CPU60、メモリ62、I/F部63、記憶部64、ディスプレイ66、及び入力装置68は、システムバスやコントロールバス等のバス69を介して相互に各種情報の授受が可能に接続されている。
CPU60は、記憶部64に記憶された情報処理プログラム65を含む各種のプログラムをメモリ62へ読み出し、読み出したプログラムにしたがった処理を実行する。一例として本実施形態のプロセッサ61は、CPU60と情報処理プログラム65との組合せで構成される。メモリ62は、CPU60が処理を実行するためのワークメモリである。
記憶部64には、情報処理プログラム65、及びスマートフォン12から受信した各種画像の画像データや、その他の各種情報等が記憶される。記憶部64の具体例としては、HDDやSSD等が挙げられる。
I/F部63は、無線通信または有線通信により、スマートフォン12及び画像表示装置14との間で各種情報の通信を行う。ディスプレイ66及び入力装置68はユーザインタフェースとして機能する。ディスプレイ66は、スマートフォン12から受信した各種の画像を表示する。ディスプレイ66は特に限定されるものではなく、液晶モニタ及びLEDモニタ等が挙げられる。入力装置68は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、ディスプレイ66と入力装置68とを一体化したタッチパネルディスプレイを採用してもよい。
次に、本実施形態における情報処理装置16のプロセッサ61の作用を説明する。図7には、情報処理装置16の構成の一例を示す機能ブロック図が示されている。情報処理装置16は。第1取得部70、第2送信部72、第2取得部74、第1マーカ画像75、投影画像生成部78、及び第1送信部79を備える。
第1取得部70は、スマートフォン12から、測距装置25の検出結果、カメラ27が撮影した撮影画像、6DoFセンサ28の検出結果、及び視線検出センサ29の検出結果を取得する機能を有する。撮影画像は、第2送信部72及び投影画像生成部78に出力される。6DoFセンサ28及び測距装置25の検出結果は、現実位置導出部76に出力される。視線検出センサ29の検出結果は、投影画像生成部78に出力される。
第2送信部72は、撮影画像を画像表示装置14に出力する機能を有する。
第2取得部74は、画像表示装置14において、第2のユーザが行ったマーキングの位置を表す位置情報を取得する機能を有する。位置情報は、現実位置導出部76に出力される。
現実位置導出部76は、測距装置25の検出結果及び位置情報に基づいて現実空間におけるマーキングの位置(以下、現実位置という)を導出する機能を有する。現実位置導出部76は、例えば、撮影画像と、測距装置25の検出結果との対応関係を参照し、撮影画像に対するマーキングの位置に応じた検出結果に基づいて、マーキングの現実位置を導出する。
投影画像生成部78は、ARグラス10の機種情報に応じて、ARグラス10において投影画像を表示可能な現実空間の領域(以下、表示可能領域という)と、マーキングの現実位置とを比較する。投影画像生成部78は、マーキングの現実位置が表示可能領域内の場合、現実位置に応じたマーキングの画像を表す投影画像を生成する。一方、投影画像生成部78は、マーキングの現実位置が表示可能領域外の場合、現実位置を表す矢印等の位置情報を表す投影画像を生成する。
第1送信部79は、投影画像生成部78が生成した投影画像をスマートフォン12に出力する機能を有する。
図8には、情報処理装置16のプロセッサ61において実行される情報処理の流れの一例を表したフローチャートが示されている。
ステップS100で第1取得部70は、ARグラス10のカメラ27が撮影した撮影画像を、スマートフォン12を介して取得する。また、第1取得部70は、測距装置25の検出結果、6DoFセンサ28の検出結果も取得する。
次のステップS102で第2送信部72は、撮影画像を画像表示装置14に出力する。画像表示装置14では、カメラ27が撮影した撮影画像がディスプレイ66に表示される。第2のユーザは、ディスプレイ56に表示された撮影画像に対して、ARグラス10の第1のユーザに示したい領域について入力装置58を用いてマーキングする。
ステップS104で第2取得部74は、マーキングの位置を表す位置情報を受信したか否か判定する。受信するまでステップS104の判定が否定判定となり、受信すると肯定判定となり、ステップS106へ移行する。
ステップS106で現実位置導出部76は、マーキングの位置を表す情報と、ARグラス10からスマートフォン12を介して取得した測距装置25及び6DoFセンサ28の検出結果に基づいて、マーキングの現実位置を導出する。
次のステップS108で投影画像生成部78は、現実位置が表示可能領域内であるか否かを判定する。表示可能領域ではある場合、ステップS108の判定が肯定判定となり、ステップS110へ移行する。ステップS110で投影画像生成部78は、現実位置に応じたマーキングの投影画像を生成する。
一方、現実位置が表示可能領域外の場合、ステップS108の判定が否定判定となり、ステップS112へ移行する。ステップS112で投影画像生成部78は、現実位置を表す位置情報の投影画像を生成する。
次のステップS114で第1送信部79は、投影画像をスマートフォン12に出力する。スマートフォン12は、受信した投影画像をARグラス10に表示させる。また、スマートフォン12は、視線検出センサ29の検出結果を情報処理装置16に出力する。
次のステップS116で第1取得部70は、スマートフォン12から視線検出センサ29の検出結果を受信する。
次のステップS118で投影画像生成部78は、視線検出結果に基づいて、第1のユーザがマーキングを視認したか否かを判定する。具体的には、マーキングに応じた現実空間の位置を視認したか否かを判定する。
視認していない場合、否定判定となり、ステップS120へ移行する。ステップS120で投影画像生成部78は、設定時間が経過したが否か判定する。投影画像を表示させてから設定時間が経過するまで否定判定となり、ステップS118に戻る。一方、設定時間が経過すると肯定判定となり、ステップS122へ移行する。ステップS122で投影画像生成部78は、投影画像の輝度を増加させる、輝度を増加させた投影画像は、第1送信部79によりスマートフォン12に出力される。すなわち、投影画像生成部78は、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理を行う。
一方、マーキングを視認した場合、ステップS118の処理が肯定判定となり、ステップS124へ移行する。ステップS124で第1送信部79は、投影終了指示をスマートフォン12に出力する。これにより、ARグラス10には、マーキングの投影画像の表示が終了する。ステップS124の処理が終了すると、図8に示した情報処理が終了する。
これにより、本実施形態の情報処理装置16によれば、ARグラス10のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができる。
なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない(例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の制御装置は膝に装着される)。このような制御装置も、本開示の技術に含まれる。
また、上記形態のプロセッサ61の機能の一部、または全部を、ARグラス10が備えていてもよいし、また、画像表示装置14が備えていてもよい。
また、上記形態において、例えば、第1取得部70、第2送信部72、第2取得部74、現実位置導出部76、投影画像生成部78、及び第1送信部79といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記各形態では、情報処理プログラム65が記憶部64に予め記憶(インストール)されている態様を説明したが、これに限定されない。画像処理プログラム45は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム65は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
1 情報処理システム
10 ARグラス
12 スマートフォン
14 画像表示装置
16 情報処理装置
19 ネットワーク
20L 左眼用透過部、20R 右眼用透過部
22L 左眼用レンズ、22R 右眼用レンズ
24 導光板
25 測距装置
26 OLED
27 カメラ
28 6DoFセンサ
29 視線検出センサ
40、50、60 CPU
41、51、61 プロセッサ
42、52、62 メモリ
43、53、63 I/F部
44、54、64 記憶部
45 画像処理プログラム
46、56、66 ディスプレイ
48、58、68 入力装置
49、59、69 バス
55 表示制御プログラム
65 情報処理プログラム
70 第1取得部
72 第2送信部
74 第2取得部
76 現実位置導出部
78 投影画像生成部
79 第1送信部
10 ARグラス
12 スマートフォン
14 画像表示装置
16 情報処理装置
19 ネットワーク
20L 左眼用透過部、20R 右眼用透過部
22L 左眼用レンズ、22R 右眼用レンズ
24 導光板
25 測距装置
26 OLED
27 カメラ
28 6DoFセンサ
29 視線検出センサ
40、50、60 CPU
41、51、61 プロセッサ
42、52、62 メモリ
43、53、63 I/F部
44、54、64 記憶部
45 画像処理プログラム
46、56、66 ディスプレイ
48、58、68 入力装置
49、59、69 バス
55 表示制御プログラム
65 情報処理プログラム
70 第1取得部
72 第2送信部
74 第2取得部
76 現実位置導出部
78 投影画像生成部
79 第1送信部
Claims (8)
- 透過型の表示装置に付属するカメラが撮影した撮影画像と、
前記透過型の表示装置と異なる表示装置に表示された前記撮影画像に対して行われたマーキングの位置を表す情報と、
前記透過型の表示装置が表示画像を表示可能な現実空間の領域と、
前記現実空間における前記マーキングの位置とを比較し、
現実空間における前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外の場合、前記現実空間における前記マーキングの位置を表す情報を表示し、
前記透過型の表示装置のユーザの視線を検出した検出結果を取得し、
前記視線の検出結果と、前記マーキングの前記現実空間における位置、または前記マーキングの前記現実空間における位置を表す情報とを比較し、
前記マーキングの表示状態、または前記マーキングの位置を表す情報の表示状態を変更する処理を行う
プロセッサ。 - 前記視線の検出結果は、前記ユーザの視線の向きの情報である
請求項1に記載のプロセッサ。 - 前記表示状態を変更する処理は、前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外であるか領域内であるかに応じて表示状態を変更する処理である
請求項2に記載のプロセッサ。 - 前記表示状態を変更する処理は、前記視線の向きの情報が、前記マーキングの位置、または前記マーキングの位置を表す情報の位置に向いていた時間に基づく処理である
請求項2に記載のプロセッサ。 - 前記表示状態を変更する処理は、前記マーキングに付与された属性に応じて、前記情報の表示状態を変更する処理を変更する
請求項4に記載のプロセッサ。 - 前記マーキングの前記現実空間における位置が、前記透過型の表示装置において前記表示画像を表示可能な現実空間の領域外である場合、
前記マーキングの前記現実空間における位置との距離に応じて、前記マーキングの位置を表す情報の表示形態を異ならせる
請求項2に記載のプロセッサ。 - 透過型の表示装置に付属するカメラが撮影した撮影画像と、前記透過型の表示装置と異なる表示装置に表示された前記撮影画像に対して行われたマーキングの位置を表す情報と、前記透過型の表示装置が表示画像を表示可能な現実空間の領域と、前記現実空間における前記マーキングの位置とを比較し、
現実空間における前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外の場合、前記現実空間における前記マーキングの位置を表す情報を表示し、
前記透過型の表示装置のユーザの視線を検出した検出結果を取得し、
前記視線の検出結果と、前記マーキングの前記現実空間における位置、または前記マーキングの前記現実空間における位置を表す情報とを比較し、
前記マーキングの表示状態、または前記マーキングの位置を表す情報の表示状態を変更する
処理をプロセッサが実行する情報処理方法。 - 透過型の表示装置に付属するカメラが撮影した撮影画像と、前記透過型の表示装置と異なる表示装置に表示された前記撮影画像に対して行われたマーキングの位置を表す情報と、前記透過型の表示装置が表示画像を表示可能な現実空間の領域と、前記現実空間における前記マーキングの位置とを比較し、
現実空間における前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外の場合、前記現実空間における前記マーキングの位置を表す情報を表示し、
前記透過型の表示装置のユーザの視線を検出した検出結果を取得し、
前記視線の検出結果と、前記マーキングの前記現実空間における位置、または前記マーキングの前記現実空間における位置を表す情報とを比較し、
前記マーキングの表示状態、または前記マーキングの位置を表す情報の表示状態を変更する
処理をプロセッサに実効させるための情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022159106A JP2024052410A (ja) | 2022-09-30 | 2022-09-30 | プロセッサ、情報処理方法、及び情報処理プログラム |
CN202311190804.8A CN117808993A (zh) | 2022-09-30 | 2023-09-14 | 处理器、信息处理方法及非暂时性存储介质 |
US18/469,943 US20240111362A1 (en) | 2022-09-30 | 2023-09-19 | Processor, information processing method, and information processing program |
EP23200226.1A EP4345585A1 (en) | 2022-09-30 | 2023-09-27 | Processor, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022159106A JP2024052410A (ja) | 2022-09-30 | 2022-09-30 | プロセッサ、情報処理方法、及び情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024052410A true JP2024052410A (ja) | 2024-04-11 |
Family
ID=88207042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022159106A Pending JP2024052410A (ja) | 2022-09-30 | 2022-09-30 | プロセッサ、情報処理方法、及び情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240111362A1 (ja) |
EP (1) | EP4345585A1 (ja) |
JP (1) | JP2024052410A (ja) |
CN (1) | CN117808993A (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140773B2 (en) * | 2017-02-01 | 2018-11-27 | Accenture Global Solutions Limited | Rendering virtual objects in 3D environments |
JP2018147144A (ja) | 2017-03-03 | 2018-09-20 | 株式会社日立システムズ | 作業支援システムおよび作業支援方法 |
-
2022
- 2022-09-30 JP JP2022159106A patent/JP2024052410A/ja active Pending
-
2023
- 2023-09-14 CN CN202311190804.8A patent/CN117808993A/zh active Pending
- 2023-09-19 US US18/469,943 patent/US20240111362A1/en active Pending
- 2023-09-27 EP EP23200226.1A patent/EP4345585A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4345585A1 (en) | 2024-04-03 |
CN117808993A (zh) | 2024-04-02 |
US20240111362A1 (en) | 2024-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102219246B1 (ko) | 헤드 마운티드 디바이스를 사용한 사용자 초점 제어 그래픽 사용자 인터페이스 | |
US10409368B2 (en) | Eye-gaze detection system, displacement detection method, and displacement detection program | |
US9727132B2 (en) | Multi-visor: managing applications in augmented reality environments | |
US8933912B2 (en) | Touch sensitive user interface with three dimensional input sensor | |
US20160131902A1 (en) | System for automatic eye tracking calibration of head mounted display device | |
US9690099B2 (en) | Optimized focal area for augmented reality displays | |
JP6770536B2 (ja) | 仮想画像生成システムにおけるテキストをより効率的に表示するための技法 | |
US10976836B2 (en) | Head-mounted display apparatus and method of controlling head-mounted display apparatus | |
US20170344110A1 (en) | Line-of-sight detector and line-of-sight detection method | |
WO2019021601A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6686319B2 (ja) | 画像投影装置及び画像表示システム | |
JP2015046111A (ja) | 視点検出装置および視点検出方法 | |
JP2024052410A (ja) | プロセッサ、情報処理方法、及び情報処理プログラム | |
KR20230152724A (ko) | 필드 렌즈를 구비한 프로젝터 | |
US10969865B2 (en) | Method for transmission of eye tracking information, head mounted display and computer device | |
CN105785749A (zh) | 一种显示方法及电子设备 | |
WO2024047990A1 (ja) | 情報処理装置 | |
WO2023062995A1 (ja) | ヘッドマウント装置及び導光装置 | |
WO2023275919A1 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
EP4312205A1 (en) | Control device, glasses-type information display device, control method, and control program | |
EP4250754A1 (en) | Control device, control method, and control program | |
EP4312191A1 (en) | Image processing device, glasses-type information display device, image processing method, and image processing program | |
US20240210678A1 (en) | Head-mounted display apparatus and operating method thereof | |
CN110933390B (zh) | 基于图像投影的显示方法及装置 | |
JP2024040034A (ja) | プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム |