JP6950390B2 - 表示制御プログラム、装置、及び方法 - Google Patents

表示制御プログラム、装置、及び方法 Download PDF

Info

Publication number
JP6950390B2
JP6950390B2 JP2017178115A JP2017178115A JP6950390B2 JP 6950390 B2 JP6950390 B2 JP 6950390B2 JP 2017178115 A JP2017178115 A JP 2017178115A JP 2017178115 A JP2017178115 A JP 2017178115A JP 6950390 B2 JP6950390 B2 JP 6950390B2
Authority
JP
Japan
Prior art keywords
display control
wearer
display device
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017178115A
Other languages
English (en)
Other versions
JP2019053603A (ja
Inventor
小林　弘幸
弘幸 小林
厚一郎 新沼
厚一郎 新沼
雅之 西野
雅之 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017178115A priority Critical patent/JP6950390B2/ja
Priority to US16/128,895 priority patent/US10573083B2/en
Publication of JP2019053603A publication Critical patent/JP2019053603A/ja
Application granted granted Critical
Publication of JP6950390B2 publication Critical patent/JP6950390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Description

開示の技術は、表示制御プログラム、表示制御装置、及び表示制御方法に関する。
現在、製品のデザインなどの評価を行う場合に、製品に近い実物（モックアップ）による評価を行うのが一般的である。しかし、モックアップの作成にかかる金銭的及び時間的コストが大きな問題となる。
この問題を解決するために、Virtual Reality（ＶＲ）システムを活用し、モックレスでデザインなどの評価を行うことが提案され始めている。
しかし、デザイン評価のためのＶＲシステムの多くは、製品を閲覧することはできても、実際に触って評価することはできない。デザイン評価において、実物に触って評価を行うことは重要である。
そこで、Head Mounted Display（ＨＭＤ）にカメラを装着し、実映像を仮想空間に持ち込む、いわゆるMixed Reality（ＭＲ）を適用することが考えられる。例えば、ＭＲに関する従来技術として、広い範囲で移動するプレーヤを精度良く補足して複合現実感を提示する装置が提案されている。この装置は、既知の位置に配置された複数のマーカを有する作業台と、プレーヤの頭部姿勢を検出するためにプレーヤに装着される姿勢センサと、複数のマーカのうちの少なくとも１つが視野に入るように設定されたカメラとを具備する。そして、この装置は、姿勢センサからの出力に基づいて頭部位置を検出すると共に、検出された頭部位置信号を、カメラの画像信号を画像処理してカメラの位置を検出することにより補正する。さらに、この装置は、補正された頭部位置に応じた視点位置に複合現実感を提示するように仮想画像を生成する。
特開平１１−１３６７０６号公報
しかし、ＶＲトラッキングセンサ（従来技術における姿勢センサ）は、利用者が装着しているＨＭＤの位置や向き等の値を一定の精度で取得することができるが、ＭＲにおいては、カメラがとらえた対象物と仮想空間上の対象物との位置のズレが、利用者に違和感を与える。特に、利用者が対象物に触ろうとした場合、仮想空間上の対象物に手を伸ばしても、実際には対象物に触れないといった視覚と触覚とのズレが発生する。なお、現実物を仮想空間に持ち込まず、仮想物のみを表示する場合には、実際の対象物の位置と仮想空間上の対象物の位置とのズレは、利用者に大きな影響を与えない。
また、マーカを使用して対象物の位置を検出する場合、例えば、図１５の上段の図に示すように、画像内にマーカが良好に映る場合には、対象物の位置を精度良く検出することができる。しかし、例えば、図１５の中段の図に示すように、マーカの一部しか映っていない場合や、図１５の下段の図に示すように、マーカがカメラから離れた位置にあり、画像内でのマーカのサイズが小さ過ぎる場合には、対象物の位置を精度良く検出することができない。これを補うために、従来技術のように、マーカを多数配置する場合には、複数のマーカの各々についてキャリブレーションや配置の管理などを行う必要があり、処理負荷が増大する。
一つの側面として、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することを目的とする。
一つの態様として、開示の技術は、現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定する。また、開示の技術は、前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定する。そして、開示の技術は、前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするかを判定する。又は、推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定する。さらに、開示の技術は、判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する。
開示の技術は、一つの側面として、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することができる、という効果を有する。
第１実施形態に係るＶＲシステムの構成を示す概略図である。 第１実施形態に係るＶＲシステムの各構成の配置の一例を示す概略図である。 第１実施形態に係る表示制御装置の機能ブロック図である。 描画の状態を仮想空間に対応させた概念図である。 第１実施形態におけるＶＲ画像の一例を示す図である。 第１及び第２実施形態に係る表示装置として機能するコンピュータの概略構成を示すブロック図である。 初期化処理の一例を示すフローチャートである。 第１実施形態における表示制御処理の一例を示すフローチャートである。 第２実施形態に係るＶＲシステムの構成を示す概略図である。 第２実施形態に係るＶＲシステムの各構成の配置の一例を示す概略図である。 第２実施形態に係る表示制御装置の機能ブロック図である。 第２実施形態におけるＶＲ画像の一例を示す図である。 第２実施形態における表示制御処理の一例を示すフローチャートである。 ＶＲシステムの他の構成を示す概略図である。 画像からのマーカの検出を説明するための図である。
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。
＜第１実施形態＞
第１実施形態では、一例として、車の運転席のデザイン評価を行う場合であって、操作可能な対象物がハンドルである場合について説明する。
図１に示すように、第１実施形態に係るVirtual Reality（ＶＲ）システム１００は、表示制御装置１０と、ＶＲトラッキング装置３１と、ステレオカメラ３２と、Head Mounted Display（ＨＭＤ）３３とを含む。さらに、ＶＲシステム１００は、ハンドル模型３４と、Augmented Reality（ＡＲ）マーカ３５とを含む。
ＶＲトラッキング装置３１は、例えば、１又は複数のレーザレーダで実現することができる。各レーザレーダは、レーザを照射し、ＨＭＤ３３の受光部で反射したレーザを受光し、レーザの照射方向及びＨＭＤ３３の受光部までの距離の情報を含むトラッキングデータを計測する。ＶＲトラッキング装置３１は、計測したトラッキングデータを表示制御装置１０へ出力する。なお、ＶＲトラッキング装置３１は、開示の技術の第１検出装置の一例である。
ステレオカメラ３２は、ＨＭＤ３３に取り付けられており、右眼用及び左眼用の可視光カメラの各々により、ＨＭＤ３３を装着した装着者４０の視界を想定した範囲を、所定のフレームレートで撮影する。ステレオカメラ３２は、撮影により得られた右眼用画像及び左眼用画像を表示制御装置１０へ出力する。なお、ステレオカメラ３２は、開示の技術の第２検出装置、及び撮影装置の一例である。
ＨＭＤ３３は、表示制御装置１０から出力された右眼用ＶＲ画像及び左眼用ＶＲ画像を取得し、ディスプレイに立体視画像を表示する。なお、本実施形態におけるＶＲ画像とは、ハンドルを含む運転席を示す仮想的な３次元のオブジェクトが配置された仮想空間を示す画像である。なお、ＨＭＤ３３は、開示の技術の表示装置の一例である。
ハンドル模型３４は、ハンドル操作を模擬可能な実物大のハンドルの模型である。
ＡＲマーカ３５は、予め登録された図形のマーカであり、ハンドル模型３４の予め定めた位置に貼付される。なお、ＡＲマーカ３５は、開示の技術のマーカの一例である。
図２に、ＶＲシステム１００の各構成の配置の一例を概略的に示す。ステレオカメラ３２付きのＨＭＤ３３は、装着者４０の頭部に装着される。ハンドル模型３４は、装着者４０が着席する椅子を運転席のシートと見立てた場合に、運転席におけるシートとハンドルとの位置関係に対応した位置に配置される。図２では、椅子からの所定距離離れた位置に配置された所定高さの台上にハンドル模型３４を配置した例を示している。ＶＲトラッキング装置３１は、各レーザレーダの計測範囲に装着者４０に装着されたＨＭＤ３３が含まれる位置、例えば、椅子に着席した装着者４０を挟む対角線上の位置に配置される。
表示制御装置１０は、機能的には、図３に示すように、ＨＭＤ推定部１２と、ＡＲマーカ推定部１４と、判定部１６と、表示制御部１８とを含む。ＨＭＤ推定部１２は、開示の技術の第１推定部の一例であり、ＡＲマーカ推定部１４は、開示の技術の第２推定部の一例である。また、表示制御装置１０の所定の記憶領域には、仮想空間に配置する運転席（ハンドルを除く）及びハンドルの各々を示す仮想的なオブジェクトの３次元データが格納されたオブジェクトデータベース（ＤＢ）２２が記憶される。
ＨＭＤ推定部１２は、トラッキング装置３１から出力されたトラッキングデータを取得し、トラッキングデータに基づいて、ワールド座標系（仮想空間座標系）におけるＨＭＤ３３の位置及び姿勢（各座標軸に対する角度）を推定する。
ＡＲマーカ推定部１４は、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々を取得し、右眼用画像及び左眼用画像の各々から、パターンマッチングなどの画像認識処理により、予め登録された図形であるＡＲマーカ３５を検出する。ＡＲマーカ推定部１４は、右眼用画像及び左眼用画像の各々から検出したＡＲマーカ３５と、ステレオカメラ３２の両眼視差とに基づいて、カメラ座標系におけるＡＲマーカ３５の位置及び姿勢を推定する。ＡＲマーカ３５が貼付されたハンドル模型３４の位置は既知であるため、推定されたＡＲマーカ３５の位置及び姿勢は、ハンドル模型３４の位置及び姿勢に対応する。
また、ＡＲマーカ推定部１４は、初期化処理として、仮想空間におけるハンドルを含む運転席を示すオブジェクトの配置をキャリブレーションし、基準の配置を定める。
具体的には、ＡＲマーカ推定部１４は、上記と同様に推定したカメラ座標系におけるＡＲマーカ３５の位置及び姿勢を、ワールド座標系に変換する。ＡＲマーカ推定部１４は、推定されたワールド座標系のＡＲマーカ３５の位置及び姿勢を基準に、仮想空間上に運転席を配置した場合の運転席を示すオブジェクトの位置及び姿勢を推定する。そして、ＡＲマーカ推定部１４は、ＨＭＤ推定部１２により推定されたＨＭＤ３３の位置及び姿勢に対応付けて、推定した運転席を示すオブジェクトの位置及び姿勢を基準の配置として記憶する。
なお、キャリブレーション時には、より高い精度でＡＲマーカ３５のワールド座標系における位置及び姿勢が推定されることが望ましい。そのため、ＡＲマーカ推定部１４は、ハンドル模型３４と装着者４０が着席する椅子との距離を取得し、この距離の情報を、ＡＲマーカ３５の位置及び姿勢の推定に用いてもよい。例えば、ＡＲマーカ推定部１４は、この距離の情報を、装着者４０からの入力により取得してもよいし、椅子及びハンドル模型３４又はハンドル模型３４が配置される台の少なくとも一方に設けられた距離センサの検出値から取得してもよい。また、ハンドル模型３４と椅子との距離が、予め定めた距離となるように、ハンドル模型３４及び椅子の少なくとも一方の位置を調整してもよい。
判定部１６は、ＨＭＤ３３を装着した装着者４０の所定部位（例えば、手先）とハンドル模型３４との位置関係を特定する。判定部１６は、特定した位置関係に応じて、ＶＲ画像描画時における、ハンドルを示すオブジェクトの配置の決定方法を判定する。配置の決定方法には、ＨＭＤ推定部１２の推定結果を利用する方法と、ＡＲマーカ推定部１４の推定結果を利用する方法とがある。
ＨＭＤ推定部１２の推定結果を利用する方法は、キャリブレーションされた基準の配置を、ハンドルを示すオブジェクトの配置として決定する方法である。この場合、基準の位置にハンドルを示すオブジェクトが配置された仮想空間における装着者４０の視線方向に対応する所定範囲がＶＲ画像として描画される。装着者４０の視線方向は、ＨＭＤ推定部１２で推定されたＨＭＤ３３の位置及び姿勢に対応するため、本実施形態では、この方法を、ＨＭＤ推定部１２の推定結果を利用する方法という。
ＡＲマーカ推定部１４の推定結果を利用する方法は、ＡＲマーカ推定部１４により推定された、カメラ座標系におけるハンドル模型３４の位置及び姿勢が示す配置に決定する方法である。
具体的には、判定部１６は、装着者４０の所定部位とハンドル模型３４との距離が、予め定めた閾値以下となる場合には、ＡＲマーカ推定部１４の推定結果を利用する方法で、ハンドルを示すオブジェクトの配置を決定する。また、判定部１６は、装着者４０の所定部位とハンドル模型３４との距離が、予め定めた所定距離を超える場合には、キャリブレーションされた基準の配置を、ハンドルを示すオブジェクトの配置として決定する。
これは、装着者４０がハンドル模型３４を操作しようとしている又は操作している場合には、装着者４０の頭部の動きへの追従精度がより高い方法を採用するものである。ＨＭＤ推定部１２による推定結果を用いるよりも、ＨＭＤ３３に取り付けられたステレオカメラ３２で撮影された画像から検出されたＡＲマーカ３５により、ハンドル模型３４の位置及び姿勢を直接的に推定する方が、装着者４０の頭部の動きへの追従精度は高い。これにより、現実空間におけるハンドル模型３４と仮想空間におけるハンドルを示すオブジェクトとの位置ずれの低減が図られる。
判定部１６は、装着者４０の所定部位とハンドル模型３４との距離を、例えば、以下に示すように算出する。判定部１６は、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々から、例えば、肌色の領域を抽出するなどして、装着者４０の腕部を示す腕領域を抽出する。判定部１６は、右眼用画像及び左眼用画像の各々から抽出した腕領域と、ステレオカメラ３２の両眼視差とに基づいて、腕領域の先端（ステレオカメラ３２からの距離が最も遠い箇所）の位置を推定する。そして、判定部１６は、ＡＲマーカ推定部１４により推定されたＡＲマーカ３５の位置と、推定した腕領域の先端の位置との距離を算出する。
表示制御部１８は、ＨＭＤ３３に表示する右眼用ＶＲ画像及び左眼用ＶＲ画像の各々を生成する。各ＶＲ画像の生成方法を以下に示す。表示制御部１８は、ＨＭＤ３３に表示するＶＲ画像のサイズに対応した描画領域を用意する。表示制御部１８は、ステレオカメラ３２から取得された画像を背景画像として描画領域に描画する。
また、ハンドルを示すオブジェクトの配置がＨＭＤ推定部１２の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含む運転席を示すオブジェクトの３次元データを読み出す。そして、表示制御部１８は、キャリブレーションされた基準の位置に、ハンドルを含む運転席を示すオブジェクトを配置する。そして、表示制御部１８は、ＨＭＤ推定部１２で推定されたＨＭＤ３３の位置及び姿勢に対応する装着者４０の視線方向で仮想空間を見た場合のオブジェクトを、背景画像が描画された描画領域に重畳して描画する。
また、ハンドルを示すオブジェクトの配置がＡＲマーカ推定部１４の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含まない運転席を示すオブジェクトの３次元データを読み出す。そして、表示制御部１８は、上記のハンドルを含む運転席を示すオブジェクトの場合と同様に、ハンドルを含まない運転席を示すオブジェクトを、描画領域に描画する。さらに、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを示すオブジェクトの３次元データを読み出す。表示制御部１８は、ＡＲマーカ推定部１４により推定されたカメラ座標系におけるハンドル模型３４の位置及び姿勢に対応させたハンドルを示すオブジェクトを、背景画像及びハンドルを含まない運転席のオブジェクトが描画された描画領域に重畳して描画する。
また、表示制御部１８は、判定部１６により画像から抽出された腕領域の画像を、背景画像及びハンドルを含む運転席のオブジェクトが描画された描画領域に重畳して描画する。
図４に、上記の描画の状態を仮想空間に対応させて概念的に示す。仮想空間において、装着者４０（ＨＭＤ３３）の周辺に運転席のオブジェクト４２が描画される。そして、装着者４０から見て、運転席のオブジェクト４２より奥に位置するスクリーン４４に背景画像が描画され、運転席のオブジェクト４２内部に位置するスクリーン４６に腕領域の画像が描画される。
表示制御部１８は、上記の描画を右眼用及び左眼用の各々について行うことにより、右眼用ＶＲ画像及び左眼用ＶＲ画像の各々を生成する。表示制御部１８は、生成した右眼用ＶＲ画像及び左眼用ＶＲ画像をＨＭＤ３３に出力する。
これにより、ＨＭＤ３３には、例えば図５に示すようなＶＲ画像が表示される。図５の例では、フロントウィンドウ及びサイドウィンドウ越しに見える画像、及び腕の画像は、ステレオカメラ３２で撮影された現実空間を映した画像であり、ハンドルを含む運転席は仮想的な３次元のオブジェクトである。
表示制御装置１０は、例えば図６に示すコンピュータ５０で実現することができる。コンピュータ５０は、Central Processing Unit（ＣＰＵ）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力装置、表示装置等の入出力装置５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するRead/Write（Ｒ／Ｗ）部５５と、インターネット等のネットワークに接続される通信Interface（Ｉ／Ｆ）５６とを備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、表示制御装置１０として機能させるための表示制御プログラム６０が記憶される。表示制御プログラム６０は、ＨＭＤ推定プロセス６２と、ＡＲマーカ推定プロセス６４と、判定プロセス６６と、表示制御プロセス６８とを有する。また、記憶部５３は、オブジェクトＤＢ２２を構成する情報が記憶される情報記憶領域７０を有する。
ＣＰＵ５１は、表示制御プログラム６０を記憶部５３から読み出してメモリ５２に展開し、表示制御プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、ＨＭＤ推定プロセス６２を実行することで、図３に示すＨＭＤ推定部１２として動作する。また、ＣＰＵ５１は、ＡＲマーカ推定プロセス６４を実行することで、図３に示すＡＲマーカ推定部１４として動作する。また、ＣＰＵ５１は、判定プロセス６６を実行することで、図３に示す判定部１６として動作する。また、ＣＰＵ５１は、表示制御プロセス６８を実行することで、図３に示す表示制御部１８として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、オブジェクトＤＢ２２をメモリ５２に展開する。これにより、表示制御プログラム６０を実行したコンピュータ５０が、表示制御装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。
なお、表示制御プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
次に、第１実施形態に係る表示制御装置１０の作用について説明する。ＶＲシステム１００が起動されると、ＶＲトラッキング装置３１がＶＲトラッキングを開始し、トラッキングデータを出力すると共に、ステレオカメラ３２が撮影を開始し、右眼用画像及び左眼用画像を出力する。そして、表示制御装置１０が、図７に示す初期化処理を実行した後に、図８に示す表示制御処理を実行する。なお、表示制御処理は、開示の技術の表示制御方法の一例である。
まず、図７に示す初期化処理について説明する。
ステップＳ１２で、ＨＭＤ推定部１２が、トラッキング装置３１から出力されたトラッキングデータを取得し、トラッキングデータに基づいて、ワールド座標系（仮想空間座標系）におけるＨＭＤ３３の位置及び姿勢を推定する。
次に、ステップＳ１４で、ＡＲマーカ推定部１４が、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々を取得する。この際、例えば、図１５の上段の図に示すように、ＡＲマーカ３５が良好に映るように、頭部の向きを調整することを装着者４０に促すメッセージをＨＭＤ３３に表示するようにしてもよい。そして、ＡＲマーカ推定部１４は、右眼用画像及び左眼用画像の各々からＡＲマーカ３５を検出し、ステレオカメラ３２の両眼視差に基づいて、ＡＲマーカ３５の位置及び姿勢を推定する。
次に、ステップＳ１６で、ＡＲマーカ推定部１４が、推定したカメラ座標系におけるＡＲマーカ３５の位置及び姿勢を、ワールド座標系に変換する。そして、ＡＲマーカ推定部１４は、推定されたワールド座標系のＡＲマーカ３５の位置及び姿勢を基準に、仮想空間上に運転席を配置した場合の運転席を示すオブジェクトの位置及び姿勢を推定する。さらに、ＡＲマーカ推定部１４は、ＨＭＤ推定部１２により推定されたＨＭＤ３３の位置及び姿勢に対応付けて、推定した運転席を示すオブジェクトの位置及び姿勢を基準の配置として記憶する。これにより、運転席のオブジェクトの配置がキャリブレーションされ、初期化処理は終了する。
次に、図８に示す表示制御処理について説明する。
ステップＳ２２で、ＨＭＤ推定部１２が、トラッキング装置３１から出力されたトラッキングデータを取得し、トラッキングデータに基づいて、ワールド座標系（仮想空間座標系）におけるＨＭＤ３３の位置及び姿勢を推定する。
次に、ステップＳ２４で、ＡＲマーカ推定部１４及び判定部１６が、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々を取得する。そして、判定部１６が、取得した右眼用画像及び左眼用画像の各々から、例えば、肌色の領域を抽出するなどして、装着者４０の腕部を示す腕領域を抽出する。
次に、ステップＳ２６で、ＡＲマーカ推定部１４が、取得した右眼用画像及び左眼用画像の各々から、パターンマッチングなどの画像認識処理により、予め登録された図形であるＡＲマーカ３５が検出されたか否かを判定する。ＡＲマーカ３５が検出された場合には、処理はステップＳ２８へ移行し、検出されない場合には、処理はステップＳ３６へ移行する。
ステップＳ２８では、ＡＲマーカ推定部１４が、右眼用画像及び左眼用画像の各々から検出したＡＲマーカ３５と、ステレオカメラ３２の両眼視差とに基づいて、カメラ座標系におけるＡＲマーカ３５の位置及び姿勢を推定する。
次に、ステップＳ３０で、判定部１６が、上記ステップＳ２４で、右眼用画像及び左眼用画像の各々から抽出した腕領域と、ステレオカメラ３２の両眼視差とに基づいて、腕領域の先端の位置を推定する。そして、判定部１６は、上記ステップＳ２８で推定されたＡＲマーカ３５の位置、すなわちハンドル模型３４の位置と、推定した腕領域の先端の位置との距離を算出する。
次に、ステップＳ３２で、判定部１６が、上記ステップＳ３０で算出した距離が、予め定めた閾値以下か否かを判定する。距離が閾値以下の場合には、判定部１６は、装着者４０がハンドル模型３４を操作しようとしている又は操作していると判断し、処理はステップＳ３４へ移行する。一方、距離が閾値を超えている場合には、処理はステップＳ３６へ移行する。
ステップＳ３４では、判定部１６が、ＡＲマーカ推定部１４の推定結果を利用する方法で、ハンドルを示すオブジェクトの配置を決定する。一方、ステップＳ３６では、判定部１６が、ＡＲマーカ推定部１４の推定結果を利用する方法で、ハンドルを示すオブジェクトの配置を決定する。
次に、ステップＳ３８で、表示制御部１８が、ＨＭＤ３３に表示するＶＲ画像のサイズに対応した描画領域を用意する。表示制御部１８は、ステレオカメラ３２から取得された画像を背景画像として描画領域に描画する。
次に、ステップＳ４０で、表示制御部１８が、運転席及びハンドルのオブジェクトを描画領域に重畳して描画する。この際、ハンドルを示すオブジェクトの配置がＨＭＤ推定部１２の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含む運転席を示すオブジェクトの３次元データを読み出す。そして、表示制御部１８は、仮想空間の、キャリブレーションされた基準の位置に、ハンドルを含む運転席を示すオブジェクトを配置する。そして、表示制御部１８は、ＨＭＤ推定部１２で推定されたＨＭＤ３３の位置及び姿勢に対応する装着者４０の視線方向のオブジェクトを、背景画像が描画された描画領域に重畳して描画する。
また、ハンドルを示すオブジェクトの配置がＡＲマーカ推定部１４の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含まない運転席を示すオブジェクトの３次元データを読み出す。そして、上記のハンドルを含む運転席を示すオブジェクトの場合と同様に、描画領域に描画する。さらに、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを示すオブジェクトの３次元データを読み出す。表示制御部１８は、ＡＲマーカ推定部１４により推定されたカメラ座標系におけるハンドル模型３４の位置及び姿勢に対応させたハンドルを示すオブジェクトを、背景画像及びハンドルを含まない運転席のオブジェクトが描画された描画領域に重畳して描画する。
なお、ＨＭＤ推定部１２の推定結果を利用する方法の場合でも、ハンドルの回転角については、ＡＲマーカ３５を利用して推定されたハンドル模型３４の位置及び姿勢に基づいて決定してもよい。
次に、ステップＳ４２で、表示制御部１８が、上記ステップＳ２４で、判定部１６により右眼用画像及び左眼用画像の各々から抽出された腕領域の画像を、背景画像及びハンドルを含む運転席のオブジェクトが描画された描画領域に重畳して描画する。
表示制御部１８は、上記ステップＳ３８〜Ｓ４２の処理を右眼用及び左眼用の各々について行うことにより、右眼用ＶＲ画像及び左眼用ＶＲ画像の各々を生成する。
次に、ステップＳ４４で、表示制御部１８が、生成した右眼用ＶＲ画像及び左眼用ＶＲ画像をＨＭＤ３３に出力する。これにより、ＨＭＤ３３には、例えば図５に示すようなＶＲ画像が表示される。そして、表示制御処理は終了する。
表示制御部１８は、ＶＲシステム１００の終了が指示されるまで、上記の表示制御処理を所定時間間隔（例えば、ステレオカメラのフレームレートと同じ間隔）で繰り返し実行する。
以上説明したように、第１実施形態におけるＶＲシステム１００によれば、表示制御装置１０が、装着者が対象物を操作しようとしている又は操作しているか否かによって、ＶＲ画像における対象物の描画位置の決定方法を切り替える。具体的には、表示制御装置１０は、装着者が対象物を操作しようとしている又は操作している場合には、装着者の頭部の動きへの追従精度が高いＡＲマーカを利用した対象物の位置及び姿勢の推定結果を用いる。一方、表示制御装置１０は、装着者が対象物を操作しようとしていない、かつ操作していない場合には、装着者の頭部の動きへの追従精度がＡＲマーカを利用した場合に比べて低い、ＶＲトラッキングによるＨＭＤの位置及び姿勢の推定結果を用いる。これにより、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することができる。
また、上記のように、対象物の描画位置の決定方法を動的に切り替えることで、操作しようとしている又は操作している場合は、装着者の所定部位（例えば、手先）と対象物との位置ずれを緩和することができる。一方、操作しようとしていない、かつ操作していない場合には、対象物を示すオブジェクトとそれ以外のオブジェクトとの位置ずれを緩和することができる。これにより、ＶＲ画像の表示中全体をとおして、表示の違和感を緩和することができる。
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、一例として、ＡＴＭ機のデザイン評価を行う場合であって、操作可能な対象物が操作画面である場合について説明する。なお、第２実施形態に係るＶＲシステムにおいて、第１実施形態に係るＶＲシステム１００と同様の部分については、同一符号を付して詳細な説明を省略する。
図９に示すように、第２実施形態に係るＶＲシステム２００は、表示制御装置２１０と、ＶＲトラッキング装置３１と、ステレオカメラ３２が取り付けられたＨＭＤ３３と、タブレット端末２３４とを含む。
タブレット端末２３４は、仮想空間におけるＡＴＭ機の操作画面に相当し、現実空間において、装着者４０により操作可能なタッチパネルディスプレイである。タブレット端末２３４には、ＡＴＭ機における操作画面のサイズを特定可能な位置にＡＲマーカ３５が表示されている。タブレット端末２３４には、画面へのタッチを検知するタッチセンサと、画面への指先等の近接を検知する近接センサとが設けられている。
図１０に、ＶＲシステム２００の各構成の配置の一例を概略的に示す。図１０に示すように、第２実施形態に係るＶＲシステム２００の各構成の配置は、第１実施形態に係るＶＲシステム１００におけるハンドル模型３４に代えて、タブレット端末２３４が配置される点が異なる。
表示制御装置１０は、機能的には、図１１に示すように、ＨＭＤ推定部１２と、ＡＲマーカ推定部１４と、判定部２１６と、表示制御部２１８とを含む。また、表示制御装置２１０の所定の記憶領域には、オブジェクトＤＢ２２と、表示内容毎の操作画面の画面データ、及び操作画面間の遷移関係の定義情報が格納された操作画面ＤＢ２４とが記憶される。
判定部２１６は、装着者４０の所定部位とタブレット端末２３４との距離が、予め定めた所定距離以下となるか否かを、タブレット端末２３４に設けられた近接センサによる検知結果によって判定する。
具体的には、判定部２１６は、近接センサにより、タブレット端末２３４に対して物体が近接したことが検知されている場合には、ＡＲマーカ推定部１４の推定結果を利用する方法で、操作画面を示すオブジェクトの配置を決定する。また、判定部２１６は、近接が検知されていない場合には、ＨＭＤ推定部１２の推定結果を利用する方法、すなわち、キャリブレーションされた基準の配置を、操作画面を示すオブジェクトの配置として決定する。
表示制御部２１８は、第１実施形態における表示制御部１８と同様に、背景画像、オブジェクト、及び腕領域を順に重畳して描画したＶＲ画像を生成する。さらに、第２実施形態における表示制御部２１８は、描画された操作画面を示すオブジェクトに表示内容を示す画像を描画する。具体的には、表示制御部２１８は、操作画面ＤＢ２４から、初期画面を示す画面データを取得し、描画された操作画面を示すオブジェクト上に描画する。そして、タブレット端末２３４のタッチセンサによりタブレット端末２３４へのタッチ操作が検知されると、表示制御部２１８は、タッチされたタブレット端末２３４のディスプレイ上の座標情報を取得する。表示制御部２１８は、タッチされた座標情報と、現在操作画面として表示している表示内容と、操作画面ＤＢ２４に格納された操作画面間の遷移関係の定義情報とに基づいて、次に表示する表示内容の画面データを特定し、操作画面ＤＢ２４から取得する。
図１２に、第２実施形態におけるＶＲ画像の一例を示す。図１２の例では、ＡＴＭ機の背景の画像、及び腕の画像は、ステレオカメラ３２で撮影された現実空間を映した画像であり、操作画面の表示内容を除くＡＴＭ機の部分は、仮想的な３次元のオブジェクトである。また、操作画面の表示内容は、操作画面ＤＢ２４に格納された画面データに基づくはめ込み画像である。
表示制御装置２１０は、例えば図６に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３には、コンピュータ５０を、表示制御装置２１０として機能させるための表示制御プログラム２６０が記憶される。表示制御プログラム２６０は、ＨＭＤ推定プロセス６２と、ＡＲマーカ推定プロセス６４と、判定プロセス２６６と、表示制御プロセス２６８とを有する。また、記憶部５３は、オブジェクトＤＢ２２及び操作画面ＤＢ２４の各々を構成する情報が記憶される情報記憶領域７０を有する。
ＣＰＵ５１は、表示制御プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、表示制御プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、判定プロセス２６６を実行することで、図１１に示す判定部２１６として動作する。また、ＣＰＵ５１は、表示制御プロセス２６８を実行することで、図１１に示す表示制御部２１８として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、オブジェクトＤＢ２２及び操作画面ＤＢ２４の各々をメモリ５２に展開する。他のプロセスについては、第１実施形態に係る表示制御プログラム６０と同様である。これにより、表示制御プログラム２６０を実行したコンピュータ５０が、表示制御装置２１０として機能することになる。
なお、表示制御プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
次に、第２実施形態に係る表示制御装置２１０の作用について説明する。ＶＲシステム２００が起動されると、ＶＲトラッキング装置３１がＶＲトラッキングを開始し、トラッキングデータを出力すると共に、ステレオカメラ３２が撮影を開始し、右眼用画像及び左眼用画像を出力する。そして、表示制御装置２１０が、図７に示す初期化処理を実行した後に、図１３に示す表示制御処理を実行する。なお、表示制御処理は、開示の技術の表示制御方法の一例である。
図７に示す初期化処理については、第１実施形態における初期化処理と同様であるため、説明を省略する。なお、ステップＳ１６の「運転席を示すオブジェクト」は、「操作画面を示すオブジェクト」に読み替える。
次に、図１３に示す表示制御処理について説明する。なお、第１実施形態における表示制御処理と同様の処理については、同一符号を付して詳細な説明を省略する。
ステップＳ２２及びＳ２４を経て、処理がステップＳ２３２へ移行すると、判定部２１６が、近接センサにより、タブレット端末２３４に対して物体が近接したことが検知されたか否かを判定する。近接が検知されている場合には、処理はステップＳ２６へ移行し、検知されていない場合には、処理はステップＳ２３６へ移行する。
ステップＳ２６で肯定判定され、ステップＳ２８でＡＲマーカ３５の位置及び姿勢が推定されると、処理はステップＳ２３４へ移行し、判定部２１６が、ＡＲマーカ推定部１４の推定結果を利用する方法で、操作画面を示すオブジェクトの配置を決定する。一方、ステップＳ２３６では、判定部２１６が、ＨＭＤ推定部１２の推定結果を利用する方法で、操作画面を示すオブジェクトの配置を決定する。
次に、ステップＳ５２で、表示制御部２１８が、タブレット端末２３４のタッチセンサによりタブレット端末２３４へのタッチ操作が検知されたか否かを判定する。タッチ操作が検知された場合には、処理はステップＳ５４へ移行し、タッチ操作が検知されない場合には、処理はステップＳ５６へ移行する。
ステップＳ５４では、表示制御部２１８が、タッチされたタブレット端末２３４のディスプレイ上の座標情報を取得する。そして、表示制御部２１８は、タッチされた座標情報と、現在操作画面として表示している表示内容と、操作画面ＤＢ２４に格納された操作画面間の遷移関係の定義情報とに基づいて、次に表示する表示内容の画面データを取得する。一方、ステップＳ５６では、表示制御部２１８が、前回表示した表示内容と同一の画面データを取得する。
次に、ステップＳ３８で、表示制御部２１８が、描画領域に背景画像を描画する。
次に、ステップＳ２４０で、表示制御部２１８が、上記ステップＳ２３４又はＳ２３６における、操作画面を示すオブジェクトの配置の決定方法にしたがって、操作画面を示すオブジェクトを描画領域に重畳して描画する。
次に、ステップＳ５８で、表示制御部２１８が、上記ステップＳ５４又はＳ５６で取得した画面データが示す操作画面の表示内容を、描画領域に描画された操作画面を示すオブジェクト上に描画する。
そして、第１実施形態と同様にステップＳ４２及びＳ４４が実行され、表示制御処理は終了する。
以上説明したように、第２実施形態におけるＶＲシステム２００によれば、表示制御装置２１０が、第１実施形態と同様に、装着者が対象物を操作しようとしている又は操作しているか否かによって、ＶＲ画像における対象物の描画位置の決定方法を切り替える。これにより、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することができる。
また、表示制御装置２１０は、検出されたＡＲマーカにより推定された対象物の位置及び姿勢に基づいて、対象物を示すオブジェクトを配置するため、対象物の配置を変更することで、仮想空間上の対象物を示すオブジェクトの位置も変更される。このため、対象物の配置の変更に柔軟に対応しながらデザインの評価を行うことができる。
なお、上記各実施形態では、ＶＲシステム内に対象物が１つだけ含まれる場合について説明したが、複数の対象物を含んでもよい。例えば、図１４に示すＶＲシステム３００のように、第１実施形態と第２実施形態とを組み合わせて、ハンドル模型３４と、カーナビゲーション装置の画面を模擬したタブレット端末２３４とを含めるようにしてもよい。この場合、対象物毎に、各対象物を識別可能なＡＲマーカを貼付し、対象物の種類に応じて、対象物毎に、第１実施形態の表示制御処理又は第２実施形態の表示制御処理を実行するようにすればよい。
また、上記各実施形態では、レーザ照射型のＶＲトラッキング装置３１を用いる場合について説明したが、例えば、ＨＭＤ３３に搭載された加速度センサやジャイロセンサなどの計測データを用いる態様など、他のＶＲトラッキングの手法を適用してもよい。
また、上記各実施形態では、対象物の位置及び姿勢の推定にＡＲマーカを用いる場合について説明したが、これに限定されない。ＡＲマーカ以外のマーカを用いてもよいし、マーカを用いることなく、対象物自体の特徴点を検出して、特徴点の配置などから、対象物の位置及び姿勢を推定してもよい。
また、上記各実施形態では、ステレオカメラで撮影された画像を用いてＡＲマーカの位置及び姿勢を推定する場合について説明したが、これに限定されない。例えば、単眼の可視光カメラで撮影された画像から検出したＡＲマーカの画像内での位置、サイズ、及び傾き（歪み）と、ＡＲマーカの実際のサイズと、カメラの焦点距離とに基づいて、ＡＲマーカの位置及び姿勢を推定してもよい。また、赤外線カメラを用いてもよい。この場合、ＶＲ画像に表示する背景画像を撮影するための可視光カメラを別途も受けてもよい。
なお、ステレオカメラを用いる場合には、ＡＲマーカの位置及び姿勢を推定するための画像と、ＶＲ画像に表示する背景画像とを撮影するためのカメラを別々に設ける必要がない。
また、上記第１実施形態では、装着者が対象物を操作しようとしている又は操作しているか否かの判定に、装着者の所定部位と対象物との３次元位置を求めて算出した距離と閾値とを比較する場合について説明した。また、第２実施形態では、近接センサを用いて、装着者の所定部位と対象物との近接を検知する場合について説明したが、これらに限定されない。
例えば、視線センサにより、対象物を含む所定範囲内に装着者の視線が向けられているか否かを検出し、視線が向けられている場合には、装着者が対象物を操作しようとしている又は操作していると判定することができる。また、ＨＭＤの向きが対象物の方を向いているか否かを判定してもよい。また、画像からＡＲマーカが検出されない場合や、画像内でのＡＲマーカのサイズが小さすぎる場合（ＡＲマーカが遠くにある場合）などには、装着者が対象物を操作しようとしていない、かつ操作していないと判定してもよい。さらに、装着者の所定部位と対象物との３次元位置を求めて距離を算出するのではなく、画像内で認識された手先の部分と対象物との２次元的な位置関係に基づいて判定してもよい。
また、上記各実施形態では、表示制御プログラム６０、２６０が記憶部５３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
ことを含む処理をコンピュータに実行させるための表示制御プログラム。
（付記２）
前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する付記１に記載の表示制御プログラム。
（付記３）
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となる場合に、検出された前記対象物の３次元位置及び姿勢に対応した位置に、前記対象物を示すオブジェクトを描画する付記１又は付記２に記載の表示制御プログラム。
（付記４）
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物を含む範囲を撮影する撮影装置により撮影された画像を画像処理することにより判定する付記３に記載の表示制御プログラム。
（付記５）
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物の少なくとも一方に取り付けられた近接を検知するセンサにより近接が検知されたか否かにより判定するか、又は視線センサにより、前記対象物を含む所定範囲内に前記装着者の視線が向けられているか否かを検出することにより判定する付記３に記載の表示制御プログラム。
（付記６）
前記撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記４に記載の表示制御プログラム。
（付記７）
前記装着者の視界の所定範囲を撮影する撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記１〜付記３及び付記５のいずれか１項に記載の表示制御プログラム。
（付記８）
前記現実空間の一部として、前記装着者の所定部位を示す画像を、前記仮想空間を示す画像に重畳表示する付記６又は付記７に記載の表示制御プログラム。
（付記９）
ステレオカメラを前記第２検出装置及び前記撮影装置として用いる付記４、及び付記６〜付記８のいずれか１項に記載の表示制御プログラム。
（付記１０）
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定する第１推定部と、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定する第２推定部と、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定する判定部と、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する表示制御部と、
を含む表示制御装置。
（付記１１）
前記第２推定部は、前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する付記１０に記載の表示制御装置。
（付記１２）
前記判定部は、前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となる場合に、検出された前記対象物の３次元位置及び姿勢に対応した位置に、前記対象物を示すオブジェクトを描画すると判定する付記１０又は付記１１に記載の表示制御装置。
（付記１３）
前記判定部は、前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物を含む範囲を撮影する撮影装置により撮影された画像を画像処理することにより判定する付記１２に記載の表示制御装置。
（付記１４）
前記判定部は、前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物の少なくとも一方に取り付けられた近接を検知するセンサにより近接が検知されたか否かにより判定するか、又は視線センサにより、前記対象物を含む所定範囲内に前記装着者の視線が向けられているか否かを検出することにより判定する付記１２に記載の表示制御装置。
（付記１５）
前記表示制御部は、前記撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記１３に記載の表示制御装置。
（付記１６）
前記表示制御部は、前記装着者の視界の所定範囲を撮影する撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記１０〜付記１２及び付記１４のいずれか１項に記載の表示制御装置。
（付記１７）
前記表示制御部は、前記現実空間の一部として、前記装着者の所定部位を示す画像を、前記仮想空間を示す画像に重畳表示する付記１５又は付記１６に記載の表示制御装置。
（付記１８）
ステレオカメラを前記第２検出装置及び前記撮影装置として用いる付記１３、及び付記１５〜付記１７のいずれか１項に記載の表示制御装置。
（付記１９）
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
ことを含む処理をコンピュータが実行する表示制御方法。
（付記２０）
前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する付記１に記載の表示制御方法。
１０、２１０ 表示制御装置
１２ ＨＭＤ推定部
１４ ＡＲマーカ推定部
１６、２１６ 判定部
１８、２１８ 表示制御部
２２ オブジェクトＤＢ
２４ 操作画面ＤＢ
３１ ＶＲトラッキング装置
３２ ステレオカメラ
３４ ハンドル模型
３５ ＡＲマーカ
４０ 装着者
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５４ 入出力装置
５９ 記憶媒体
６０、２６０ 表示制御プログラム
１００、２００、３００ ＶＲシステム
２３４ タブレット端末

Claims (11)

  1. 現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
    前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
    前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
    判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
    ことを含む処理をコンピュータに実行させるための表示制御プログラム。
  2. 前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する請求項１に記載の表示制御プログラム。
  3. 前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となる場合に、検出された前記対象物の３次元位置及び姿勢に対応した位置に、前記対象物を示すオブジェクトを描画する請求項１又は請求項２に記載の表示制御プログラム。
  4. 前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物を含む範囲を撮影する撮影装置により撮影された画像を画像処理することにより判定する請求項３に記載の表示制御プログラム。
  5. 前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物の少なくとも一方に取り付けられた近接を検知するセンサにより近接が検知されたか否かにより判定するか、又は視線センサにより、前記対象物を含む所定範囲内に前記装着者の視線が向けられているか否かを検出することにより判定する請求項３に記載の表示制御プログラム。
  6. 前記撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する請求項４に記載の表示制御プログラム。
  7. 前記装着者の視界の所定範囲を撮影する撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する請求項１〜請求項３及び請求項５のいずれか１項に記載の表示制御プログラム。
  8. 前記現実空間の一部として、前記装着者の所定部位を示す画像を、前記仮想空間を示す画像に重畳表示する請求項６又は請求項７に記載の表示制御プログラム。
  9. ステレオカメラを前記第２検出装置及び前記撮影装置として用いる請求項４、及び請求項６〜請求項８のいずれか１項に記載の表示制御プログラム。
  10. 現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定する第１推定部と、
    前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定する第２推定部と、
    前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定する判定部と、
    判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する表示制御部と、
    を含む表示制御装置。
  11. 現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
    前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
    前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
    判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
    ことを含む処理をコンピュータが実行する表示制御方法。
JP2017178115A 2017-09-15 2017-09-15 表示制御プログラム、装置、及び方法 Active JP6950390B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017178115A JP6950390B2 (ja) 2017-09-15 2017-09-15 表示制御プログラム、装置、及び方法
US16/128,895 US10573083B2 (en) 2017-09-15 2018-09-12 Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017178115A JP6950390B2 (ja) 2017-09-15 2017-09-15 表示制御プログラム、装置、及び方法

Publications (2)

Publication Number Publication Date
JP2019053603A JP2019053603A (ja) 2019-04-04
JP6950390B2 true JP6950390B2 (ja) 2021-10-13

Family

ID=65718998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178115A Active JP6950390B2 (ja) 2017-09-15 2017-09-15 表示制御プログラム、装置、及び方法

Country Status (2)

Country Link
US (1) US10573083B2 (ja)
JP (1) JP6950390B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP7377615B2 (ja) * 2019-03-27 2023-11-10 株式会社Subaru 車両の非接触操作装置、および車両
WO2023139630A1 (ja) * 2022-01-18 2023-07-27 日本電気株式会社 出力制御システム、出力制御方法、および記録媒体
CN116110131B (zh) * 2023-04-11 2023-06-30 深圳未来立体教育科技有限公司 一种身体交互行为识别方法及vr***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
JP2016099643A (ja) * 2014-11-18 2016-05-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP6786792B2 (ja) * 2015-12-03 2020-11-18 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム
US9805514B1 (en) * 2016-04-21 2017-10-31 Microsoft Technology Licensing, Llc Dynamic haptic retargeting

Also Published As

Publication number Publication date
US20190088024A1 (en) 2019-03-21
JP2019053603A (ja) 2019-04-04
US10573083B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
JP6950390B2 (ja) 表示制御プログラム、装置、及び方法
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP2866201B1 (en) Information processing apparatus and method for controlling the same
JP6344380B2 (ja) 画像処理装置および方法、並びにプログラム
US10839544B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable storage medium
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
TWI544447B (zh) 擴增實境的方法及系統
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP7367764B2 (ja) 骨格認識方法、骨格認識プログラムおよび情報処理装置
KR101459835B1 (ko) 입체물 표시 제어 장치 및 방법
KR101769177B1 (ko) 시선 추적 장치 및 방법
JP2017191576A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP7378232B2 (ja) 画像処理装置およびその制御方法
US20200242335A1 (en) Information processing apparatus, information processing method, and recording medium
WO2020054760A1 (ja) 画像表示制御装置および画像表示制御用プログラム
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP6981340B2 (ja) 表示制御プログラム、装置、及び方法
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
JP6169446B2 (ja) 視線検出装置
JP2021131490A5 (ja)
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
KR20130063593A (ko) 촬상장치를 이용하여 객체의 위치와 거리를 측정하고 이를 표현하는 장치
JP5522799B2 (ja) 視線位置推定システム及び視線位置推定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R150 Certificate of patent or registration of utility model

Ref document number: 6950390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150