JP2016004493A - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP2016004493A JP2016004493A JP2014125757A JP2014125757A JP2016004493A JP 2016004493 A JP2016004493 A JP 2016004493A JP 2014125757 A JP2014125757 A JP 2014125757A JP 2014125757 A JP2014125757 A JP 2014125757A JP 2016004493 A JP2016004493 A JP 2016004493A
- Authority
- JP
- Japan
- Prior art keywords
- display
- real
- distance
- image processing
- real object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Multimedia (AREA)
Abstract
【課題】複合現実感を体験中の使用者に、現実世界の物体との接触の可能性を知覚可能とさせる。
【解決手段】表示すべき画像を生成する画像処理装置において、現実空間を撮像する撮像手段と、撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、生成された複合現実映像を観察する観察者と現実物体との間の距離を測定する測定手段と、を有し、生成手段は、仮想物体により現実物体の表示領域が隠され、かつ、観察者と現実物体との間の距離が所定の距離以内である場合に、仮想物体を半透明表示又は輪郭線表示とする。
【選択図】図2
【解決手段】表示すべき画像を生成する画像処理装置において、現実空間を撮像する撮像手段と、撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、生成された複合現実映像を観察する観察者と現実物体との間の距離を測定する測定手段と、を有し、生成手段は、仮想物体により現実物体の表示領域が隠され、かつ、観察者と現実物体との間の距離が所定の距離以内である場合に、仮想物体を半透明表示又は輪郭線表示とする。
【選択図】図2
Description
本発明は、複合現実システムにおける画像処理技術に関するものである。
近年、現実世界と仮想空間をリアルタイムかつシームレスに融合する複合現実(MR:Mixed Reality)システムが利用されてきている。MRシステムを実現する方法の一つとして、ビデオシースルー方式がある。ビデオシースルー方式は、ヘッドマウントディスプレイ(HMD)に付属しているカメラでHMD使用者の視界領域を撮像する。そして、その撮像画像にコンピュータグラフィックス(CG)を重畳した画像をHMDに付属しているディスプレイに表示し、表示された画像をHMDの使用者に観察させる技術である(例えば、特許文献1)。
このようなMR装置においては、複合現実感を高めるために、装置の使用者の視点位置・姿勢をリアルタイムで取得し、かつ、HMDのような表示装置にリアルタイムに画像を表示する必要がある。そこで、MR装置では、センサによって計測した使用者の視点位置・姿勢に基づいて仮想世界での視点位置・姿勢を設定し、この設定に基づいて仮想世界の画像をCGにより描画して、現実世界の画像と合成している。
しかしながら、MR装置においては、CGが描画される領域に重なっている現実世界の視界が遮られることになる。そのため、HMDを使用して複合現実感を体験中の使用者は、CGが描画される領域に対応する現実世界の視界内の物体を知覚することができない。すなわち、使用者は、CGが描画される領域に対応する現実世界の視界内に使用者自身に向かって接近する物体が存在した場合であっても、当該物体に接触する可能性があることを認識することが出来ないことになる。
本発明は上述の問題点に鑑みなされたものであり、複合現実感を体験中の使用者に現実世界の物体との接触の可能性を知覚可能とさせる技術を提供することを目的としている。
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、表示すべき画像を生成する画像処理装置であって、
現実空間を撮像する撮像手段と、
前記撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、
前記現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、
前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定手段と、
を有し、
前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする。
現実空間を撮像する撮像手段と、
前記撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、
前記現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、
前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定手段と、
を有し、
前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする。
本発明によれば、複合現実感を体験中の使用者に現実世界の物体との接触の可能性を知覚可能とさせる技術を提供することができる。
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係る画像処理装置の第1実施形態として、複合現実(MR)の表示を行うビデオシースルー型のヘッドマウントディスプレイ(HMD)を例に挙げて以下に説明する。
本発明に係る画像処理装置の第1実施形態として、複合現実(MR)の表示を行うビデオシースルー型のヘッドマウントディスプレイ(HMD)を例に挙げて以下に説明する。
<装置構成>
図1は、第1実施形態に係るHMD100の使用状況、および、MR表示の例を示す図である。上述の通り、HMD100は、ビデオシースルー型のHMD、すなわち、撮像部により撮像された現実世界の映像(現実空間映像)に仮想世界の物体の映像を重畳した複合現実映像を表示部に表示するタイプのHMDとして構成されている。図1に示すように、以下の説明では、HMD100を頭部に装着した利用者が、現実世界における現実物体200の方向に視線を向けている状況について説明する。なお、現実物体は、任意の物体であり、建造物、車両、人間などを含む。
図1は、第1実施形態に係るHMD100の使用状況、および、MR表示の例を示す図である。上述の通り、HMD100は、ビデオシースルー型のHMD、すなわち、撮像部により撮像された現実世界の映像(現実空間映像)に仮想世界の物体の映像を重畳した複合現実映像を表示部に表示するタイプのHMDとして構成されている。図1に示すように、以下の説明では、HMD100を頭部に装着した利用者が、現実世界における現実物体200の方向に視線を向けている状況について説明する。なお、現実物体は、任意の物体であり、建造物、車両、人間などを含む。
HMD100の表示部において、現実物体200は画面203〜205において表示201のように映る。つまり、CGで描画される仮想物体の表示202の表示位置に依存して、表示201の一部又は全部が隠れる場合がある。
画面203のように、現実物体200の一部が見えている状態であれば、観察者(使用者)は、現実物体200が接近してきた場合であっても衝突を避けることができる。この場合、仮想物体の表示202を表示したままにすることにより、複合現実感が失われることがなくなる。
ここで、仮想物体の表示202の表示位置は、現実物体200の位置に依存せずに決定されるケースを想定する。この場合、現実物体200が移動した場合、画面204に示すように、現実物体200の表示201は仮想物体の表示202の後ろに完全に隠れてしまい見えなくなる場合がある。この状態で、現実物体200がHMD100の方向に近づいてくると、ある時点で急に仮想物体の表示202の手前に飛び出てくることになる。すなわち、HMD100を装着している観察者は、現実物体200が仮想物体の表示202の手前に来るまで、現実物体200の存在を知覚することができず、現実の空間において、現実物体200と衝突/接触する危険が及ぶこととなる。
そこで、第1実施形態においては、現実物体200が仮想物体の表示202に隠れた状態のまま、所定の距離にまで接近した場合に、観察者が現実物体200を知覚可能となるように制御する。具体的には、画面205に示すように、仮想物体の表示202を輪郭線だけの表示にするようにしたり、仮想物体の表示202を半透明表示にしたりする。また、併せて、警告の表示や警告音の鳴動を行うよう制御する。当該制御の詳細については図2を参照して後述する。
図3は、HMD100の内部構成を示す図である。左撮像部300(左眼用撮像部)及び右撮像部301(右眼用撮像部)は、それぞれ、観察者の視点位置および方向に基づき現実空間の撮像を行う機能部である。CG合成部309は、仮想空間上の物体のCGを生成し、左撮像部300及び右撮像部301で撮像した映像それぞれに対して当該CGを合成(重畳)した映像を生成する機能部である。左表示部310及び右表示部311は、それぞれ、観察者の左眼及び右眼に対して表示する映像を表示する機能部である。
危険回避無効スイッチ302は、図2を参照して後述する危険回避処理を無効設定するためのスイッチである。危険回避処理部303は、仮想物体の表示202を輪郭線だけの表示にするようにしたり、仮想物体の表示202を半透明表示にしたりする機能部である。
領域判定部304は、現実空間の各物体に対応する表示領域が仮想物体の表示領域により隠されるか否かを判定する機能部である。位置計測部305は、現実物体と観察者との間の距離を測定する機能部である。現実物体特定部306は、撮像部で撮像された現実物体が表示部に表示される画面のどの部分に表示されるかを特定する機能部である。仮想物体特定部307は、仮想物体が表示部に表示される画面のどの部分に表示されるかを特定する機能部である。タイマー部308は、計時機能を実現するための機能部である。
なお、HMD100は上述の複数の機能部を含むが、これらの機能部の全てをHMD100の内部に実装しなくともよい。例えば、CG合成部309を、外部機器であるパーソナルコンピュータ(以下PC)で実現するよう構成しても良い。この場合、HMD100とPCとは、相互に通信可能となるよう、ケーブル、もしくは、無線通信を介して接続される。無線通信には、たとえば、IEEE802.11規格の無線LANが利用可能である。また、HMD100は、不図示の少なくとも一つのCPU、各種メモリ(ROM、RAM等)等のハードウェア構成を備える。上述した302〜309の各機能部は、ハードウェアによって提供されてもよいし、ソフトウェアによって提供されてもよい。これらの機能部の一部または全部がソフトウェアによって提供される場合には、HMD100が備えるCPUが、各機能部に相当するソフトウェアを実行することにより、各機能が実行される。
<装置の動作>
図2は、HMD100の動作を説明するフローチャートである。当該フローチャートは、HMD100の電源をONにし、S210にて、左撮像部300、右撮像部301にて現実物体を撮像することにより開始される。図2に示す各ステップは、HMD100が備えるCPUが、メモリに記憶されたプログラムを実行することによって処理される。
図2は、HMD100の動作を説明するフローチャートである。当該フローチャートは、HMD100の電源をONにし、S210にて、左撮像部300、右撮像部301にて現実物体を撮像することにより開始される。図2に示す各ステップは、HMD100が備えるCPUが、メモリに記憶されたプログラムを実行することによって処理される。
S211では、現実物体特定部306は、各撮像部に映った現実物体が画面上のどの部分に表示されるかを特定する。このとき、撮像画像からひと固まりとなる領域を特定していくが、手法としては、たとえば、4近傍におけるラベリング処理を利用するとよい。ラベリング処理によって紐づけられたi番目の物体が占める領域をOBJi(i=1〜N)とする。特定した領域の総数はNとなる。また、このときのラベリング処理は左撮像部300と右撮像部301から得られた左右画像の視差情報により生じる3次元的なエッジから領域を特定する方法を利用してもよい。そのほか、領域を特定し、ラベリングする方法はいろいろ提案されているが、どの手法を利用してもよい。
S212では、HMD100は、変数iを1に初期化する。すなわち、以下のS213〜S216の処理を、S211で認識した各物体について行う。
S213では、位置計測部305は、OBJiに対応する現実物体と観察者との間の距離を計測し、得られた距離をdとする。ここでは計測方法は深度センサーを使う方法を用いるものとする。ただし、距離が測れる方法であれば任意の方法が利用可能である。たとえば、左撮像部300と右撮像部301から得られた左右画像の視差情報により観察者とOBJiのあらわす現実物体との距離を算出する方法を用いてもよい。また、外部カメラにより距離を測る方法も用いてもよい。さらに、時間的に変化する画像情報から3次元空間を再構成するPTAM(Parallel Tracking and Mapping)と呼ばれる手法を用いてもよい。
S214では、HMD100は、距離dが、接触の危険の可能性があるとして予め設定される距離以内かどうかを判定する。予め設定される距離D以内でない場合はS217に進み、距離D以内である場合はS215に進む。
S215では、仮想物体特定部307は、仮想物体が画面上に描かれる領域を特定する。続いて、領域判定部304にて、OBJiに対応する表示領域が、仮想物体特定部307で特定された領域のいくつか(ここでは、その領域をCGi(i=1〜M)とする)によってすべて隠れるか否かを判定する。OBJiのあらわす領域が隠れているかどうかの判定は、OBJiのあらわす領域の画素座標上にCGi(i=1〜M)が配置されているかどうかによって判断する。
なお、ここで”いくつか”と表現しているのは、1つの仮想物体に対応する表示領域だけでなく、複数の仮想物体に対応する表示領域によって、OBJiに対応する表示領域が隠される場合もあるからである。すべて隠れる場合はS216に進み、一部が隠れていない場合はS217に進む。なお、”すべて”ではなく所定の割合(例えばOBJiの表示領域の90%)が隠れるか否かを判定するよう構成しても良い。
S216では、危険回避処理部303は、危険回避処理を行なう。危険回避処理は、ここでは、S215によって得られたCGi(i=1〜M)を半透明の表示にすることとする。この処理により、観察者は現実物体が存在することを事前に知覚可能となり、現実物体との衝突を回避することができる。なお、危険回避処理として、たとえば、CGi(i=1〜M)を輪郭線表示(ワイヤフレーム表示)にしてもよい。また、追加で、警告表示を表示したり、警告音を鳴動させるよう構成してもよい。
S217では、HMD100は、変数iをインクリメントし、S218では、HMD100は、全てのOBJiを調査したか否かを判定する。全てのOBJiの調査が完了した場合は処理を終了する。調査していないOBJiが残っている場合はS213に進む。
ところで、図2のフローチャートの処理によって、距離D以内に現実物体が存在する場合、現実物体との衝突の危険がないときであっても、何かしらの危険回避処理をすることになる。その結果、複合現実感が失われることがある。そこで、危険回避無効スイッチ302をHMD100に設けておくとよい。危険回避無効スイッチ302により危険回避処理を無効とするよう設定されている場合には、危険回避処理部303は危険回避処理の実行を抑止する。なお、このスイッチはHMD100に設けてもよいし、外部に設けてもよい。また、観察者が操作してもよいし、その状況を外部から観察しているオペレータが処理をしてもよい。
また、危険回避処理部303は、タイマー部308により提供される計時情報を利用して、危険回避処理が発生してから一定時間が経過した場合に、自動的に危険回避処理を無効にするよう構成しても良い。
ところで、上述のS214おいては距離dに応じて危険回避処理の実行を制御しているが、OBJiのあらわす現実物体が観察者に近づく速度に応じてS216の危険回避処理を行なうということをしてもよい。つまり、現実物体が観察者に近づく速度が遅い時には衝突の危険が少ないため、速度に応じた制御を行うのである。
図13は、現実物体が観察者に近づく速度に応じて危険回避処理を行なう動作を説明するフローチャートである。当該フローチャートは、図2におけるS214の代替としてHMDのCPUによって実行される。
S1300では、HMD100は、距離dが、接触の危険の可能性があるとして予め設定される距離D以内かどうかを判定する。距離D以内でない場合はS1304に進み、距離D以内である場合はS1301に進む。
S1301では、HMD100は、1フレーム前のOBJiと観察者との間の距離doldと現フレームでの距離dの差分に基づいて観察者に向かってくる速度vを計算する。すなわち、距離の時間変化に基づいて相対速度を決定する(速度決定手段)。なお、距離doldはS1303、S1304でフレーム毎に保存されている。
S1302では、HMD100は、速度vが所定の速度以上であるか否かを判定する。速度vが所定速度V以上である場合はS1303に進み、速度vが所定速度V未満である場合はS1304に進む。なお、ここでの所定速度Vは一定値であってもよいし、距離に応じて小さくなるよう設定された値としてもよい。
以上説明したとおり第1実施形態によれば、仮想物体により隠れる現実物体が存在し、かつ、当該現実物体までの距離dが所定距離D以下である場合に、危険回避処理を実行する。具体的には、危険回避処理として、仮想物体を半透明化するかあるいは輪郭線の表示のみとする。この処理により、HMDの使用者(観察者)は現実物体が存在することを事前に知覚可能となり、当該現実物体との衝突/接触を回避することが可能となる。
(第2実施形態)
第2実施形態では、HMDを付けた複数の観察者(HMD400、HMD401)が存在する状況について説明する。具体的には、HMD400を装着している観察者に対して、仮想物体408に関して反対側に存在しHMD401を装着している観察者が近づいてくる場合を想定している。
第2実施形態では、HMDを付けた複数の観察者(HMD400、HMD401)が存在する状況について説明する。具体的には、HMD400を装着している観察者に対して、仮想物体408に関して反対側に存在しHMD401を装着している観察者が近づいてくる場合を想定している。
<装置構成>
図4は、第2実施形態に係るMRシステムの全体構成を示す図である。ここでは、HMD100の機能ブロックがHMD400とPC402に分割されて実装され、HMD400とPC402がケーブル405にて接続されている。さらに、複数のHMDの位置を監視できるカメラ404が外部に設置されている。このカメラ404は、PC402,PC403とネットワークを介してケーブル407で接続されている。この接続形態は、有線ケーブルであっても、無線通信であってもよい。
図4は、第2実施形態に係るMRシステムの全体構成を示す図である。ここでは、HMD100の機能ブロックがHMD400とPC402に分割されて実装され、HMD400とPC402がケーブル405にて接続されている。さらに、複数のHMDの位置を監視できるカメラ404が外部に設置されている。このカメラ404は、PC402,PC403とネットワークを介してケーブル407で接続されている。この接続形態は、有線ケーブルであっても、無線通信であってもよい。
図5は、HMD400の内部構成を示す図である。左撮像部300、右撮像部301、左表示部310、右表示部311は、第1実施形態と同じものなので、説明は省略する。これらが通信部500を介して、外部のPC402と接続される。接続形態はケーブル405のようなものとする。ただし、この部分は、無線通信であってもよく、接続形態は規定しない。
図6は、PC402の内部構成を示す図である。危険回避無効スイッチ302、危険回避処理部303、領域判定部304、位置計測部305、現実物体特定部306、仮想物体特定部307、タイマー部308、CG合成部309は、第1実施形態と同様の機能部であるため説明は省略する。これらが通信部600を通して、HMD400と接続される。
3次元位置受信部602は、カメラ404からの各HMDの地理的位置情報を受け取る機能ブロックである。3次元位置特定部603は、HMD400の視点位置および方向から視野に入る他のHMD(ここではHMD401)の位置を特定するものである。
図7は、カメラ404の内部構成を示す図である。撮像部700は、現実空間に存在するHMD(ここではHMD400及びHMD401)を撮像し、各HMDの3次元位置を取得するものである。3次元位置の取得方法は、赤外線を使って位置を取得する方法や、画像処理から取得する方法など、3次元位置を特定できるものであれば、どの方法を使ってもよい。ここで得られた3次元位置情報は、3次元位置送信部701により各PC(ここではPC402及びPC403)に送信される。
尚、HMD400、PC402、カメラ404の何れも、不図示の少なくとも一つのCPU、各種メモリ(ROM、RAM等)等のハードウェア構成を備える。そして図6の302〜309、602、603の各機能部は、ハードウェアによって提供されてもよいし、ソフトウェアによって提供されてもよい。これらの機能部の一部または全部がソフトウェアによって提供される場合には、PC402が備えるCPUが、各機能部に相当するソフトウェアを実行することにより、各機能が実行される。
<装置の動作>
図8は、PC402の動作を説明するフローチャートである。図8に示す各ステップは、PC402が備えるCPUが、メモリに記憶されたプログラムを実行することによって処理される。まず、S800では、PC402は、HMD400の撮像部で撮像された画像を通信部600を利用して取得する。S801では、PC402は、カメラ404より送られたHMD400とHMD401の3次元位置情報を3次元位置受信部602にて取得する。
図8は、PC402の動作を説明するフローチャートである。図8に示す各ステップは、PC402が備えるCPUが、メモリに記憶されたプログラムを実行することによって処理される。まず、S800では、PC402は、HMD400の撮像部で撮像された画像を通信部600を利用して取得する。S801では、PC402は、カメラ404より送られたHMD400とHMD401の3次元位置情報を3次元位置受信部602にて取得する。
S802では、PC402は、S801で取得した情報から、HMD400の視野に入っているHMD401の3次元位置情報R1と、HMD400の3次元位置情報Qを3次元位置特定部603にて特定する。
S803では、PC402は、3次元位置情報R1に基づいて、HMD400の画面上における”HMD401の装着者の表示領域OBJ1”を特定する。ここでの特定方法は、HMD401の周辺部分に対応する領域を表示領域OBJ1としてもよいし、画像処理から画像に映ったHMD401に隣接している領域を表示領域OBJ1としてもよい。
S804では、PC402は、変数iを1に初期化する。すなわち、以下のS805〜S808の処理を、S803で特定した各物体について行う。
S805では、位置計測部305は、QとR1から距離dを計算する。その後のフローは第1実施形態と同様であるため、説明は省略する。
以上説明したとおり第2実施形態によれば、仮想物体により隠れる他のHMD使用者が存在し、かつ、当該他のHMD使用者までの距離dが所定距離D以下である場合に、危険回避処理を実行する。この処理により、HMDの使用者(観察者)は他のHMD使用者が存在することを事前に知覚可能となり、当該他のHMD使用者との衝突/接触を回避することが可能となる。
(第3実施形態)
第3実施形態では、第2実施形態と同様、機能ブロックがHMD900とPC902に分割されて実装され、HMD900とPC902が無線アクセスポイント903(以下アクセスポイントのことをAPと略す)を介して、接続されている状況を考える。以下では、AP903からAP904にローミング/ハンドオーバーが発生しそうな無線電波状況の場合(現在の無線接続における受信電波強度が弱くなった場合)に、危険回避処理を実施する形態について説明する。
第3実施形態では、第2実施形態と同様、機能ブロックがHMD900とPC902に分割されて実装され、HMD900とPC902が無線アクセスポイント903(以下アクセスポイントのことをAPと略す)を介して、接続されている状況を考える。以下では、AP903からAP904にローミング/ハンドオーバーが発生しそうな無線電波状況の場合(現在の無線接続における受信電波強度が弱くなった場合)に、危険回避処理を実施する形態について説明する。
<装置構成>
図9は、第3実施形態に係るMRシステムの全体構成を示す図である。上述の通り、図3の各機能ブロックはHMD900及びPC902に分割されて実装されている。また、HMD900とPC902がAP903を介して接続されている。
図9は、第3実施形態に係るMRシステムの全体構成を示す図である。上述の通り、図3の各機能ブロックはHMD900及びPC902に分割されて実装されている。また、HMD900とPC902がAP903を介して接続されている。
図12は、HMD900の内部構成を示す図である。左撮像部300、右撮像部301、左表示部310、右表示部311は、第1実施形態と同様であるため、説明は省略する。これらの各機能部は、無線部1200、AP(AP903又はAP904)を介して、PC402と接続される。無線品質測定部1201は、無線における受信電波強度(通信品質)を監視し、その結果に基づいた危険回避処理の指示をPC902に送信する機能部である。ここでは、危険回避処理を有効にする指示、又は、危険回避処理を無効にする指示、の何れかを送信するよう構成されているものとして説明する。
HMD900は、不図示の少なくとも一つのCPU、各種メモリ(ROM、RAM等)等のハードウェア構成を備える。機能部1201は、ハードウェアによって提供されてもよいし、ソフトウェアによって提供されてもよい。この機能部がソフトウェアによって提供される場合には、HMD900が備えるCPUが、該機能部に相当するソフトウェアを実行することにより機能が実行される。PC902の構成に関しては、第2実施形態のPC402と同じ構成のため説明を省略する。
<装置の動作>
図10は、HMD900の動作を説明するフローチャートである。図8に示す各ステップは、HMD900が備えるCPUが、メモリに記憶されたプログラムを実行することによって処理される。S1000では、無線品質測定部1201は、現在の無線接続における受信電波強度RSSIが閾値X以下(所定の通信品質以下)か否かを判定する。そして、閾値以下(電波強度が弱い)の場合は、S1001に進み危険回避処理を有効にする指示をPC902に送信する。閾値を超えている場合は、S1002に進み、危険回避処理を無効にする指示をPC902に送信する。
図10は、HMD900の動作を説明するフローチャートである。図8に示す各ステップは、HMD900が備えるCPUが、メモリに記憶されたプログラムを実行することによって処理される。S1000では、無線品質測定部1201は、現在の無線接続における受信電波強度RSSIが閾値X以下(所定の通信品質以下)か否かを判定する。そして、閾値以下(電波強度が弱い)の場合は、S1001に進み危険回避処理を有効にする指示をPC902に送信する。閾値を超えている場合は、S1002に進み、危険回避処理を無効にする指示をPC902に送信する。
図11は、PC902の動作を説明するフローチャートである。PC902は、HMD900より危険回避処理を有効にする指示を受信した場合(S1100)、S1101にて危険回避処理を有効にする。一方、PC902は、HMD900より危険回避処理を無効にする指示を受信した場合(S1102)、S1103にて危険回避処理を無効にする。これら以外の動作は、第1実施形態と同様のため、説明を省略する。
以上説明したとおり第3実施形態によれば、HMD900は、AP903からAP904にローミング/ハンドオーバーが発生しそうな無線電波状況の場合に、危険回避処理を実施する。この処理により、PC902との通信が切断され、観察者が周囲の状況を把握できなくなる前に、衝突の危険が迫っていることを提示することが可能となる。また同時に、危険回避処理により複合現実感が失われる状況を最小限に抑えることが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
300 左撮像部;301 右撮像部;303 危険回避処理部;310 左表示部;311 右表示部;309 CG合成部
Claims (10)
- 表示すべき画像を生成する画像処理装置であって、
現実空間を撮像する撮像手段と、
前記撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、
前記現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、
前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定手段と、
を有し、
前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする
ことを特徴とする画像処理装置。 - 前記生成手段は、前記仮想物体により前記現実物体の表示領域のすべてが隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、更に、前記現実物体が存在する旨を示す警告表示を前記複合現実映像に追加する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記測定手段により測定された距離の時間変化に基づいて、前記観察者に対する前記現実物体の相対速度を決定する速度決定手段を更に備え、
前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内であり、かつ、前記速度決定手段により決定された相対速度が所定の速度以上である場合に、前記仮想物体を半透明表示又は輪郭線表示とする
ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記測定手段は、深度センサーであることを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記撮像手段は、左眼用撮像部と右眼用撮像部とを有しており、
前記測定手段は、前記左眼用撮像部及び前記右眼用撮像部それぞれにより得られた画像の視差に基づいて前記距離を算出する
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記測定手段は、外部装置から取得した前記観察者及び前記現実物体それぞれの地理的位置に基づいて前記距離を算出する
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記生成手段による前記仮想物体を半透明表示又は輪郭線表示とする制御を無効にするための無効設定手段を更に有することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記観察者が装着したヘッドマウントディスプレイ(HMD)と前記画像処理装置とは無線通信を介して通信可能に構成されており、
前記HMDは、
前記無線通信の通信品質が所定の通信品質以下である場合に、前記生成手段に対し、前記仮想物体を半透明表示又は輪郭線表示とする制御を有効とするための指示を送信し、
前記無線通信の通信品質が前記所定の通信品質を超える場合に、前記生成手段に対し、前記仮想物体を半透明表示又は輪郭線表示とする制御を無効とするための指示を送信する
よう構成されている
ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。 - 表示すべき画像を生成する画像処理装置の制御方法であって、
前記画像処理装置は、現実空間を撮像する撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段を有しており、
前記制御方法は、
前記現実空間映像に含まれる現実物体の表示領域を特定する特定工程と、
前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定工程と、
前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とするよう前記生成手段を制御する制御工程と、
を含むことを特徴とする画像処理装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014125757A JP2016004493A (ja) | 2014-06-18 | 2014-06-18 | 画像処理装置およびその制御方法 |
US14/730,667 US20150371444A1 (en) | 2014-06-18 | 2015-06-04 | Image processing system and control method for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014125757A JP2016004493A (ja) | 2014-06-18 | 2014-06-18 | 画像処理装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016004493A true JP2016004493A (ja) | 2016-01-12 |
Family
ID=54870134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014125757A Pending JP2016004493A (ja) | 2014-06-18 | 2014-06-18 | 画像処理装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150371444A1 (ja) |
JP (1) | JP2016004493A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018073969A1 (ja) * | 2016-10-21 | 2018-04-26 | サン電子株式会社 | 画像表示装置及び画像表示システム |
JP2018064836A (ja) * | 2016-10-20 | 2018-04-26 | 株式会社Bbq | バーチャルゲーム装置 |
JP2019516180A (ja) * | 2016-04-12 | 2019-06-13 | アール−ストール インコーポレイテッド | 仮想化環境内にイメージを提示するための方法及び装置 |
WO2019123729A1 (ja) * | 2017-12-19 | 2019-06-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法、およびプログラム |
JP2020102239A (ja) * | 2016-03-30 | 2020-07-02 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ追跡 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494439B2 (ja) | 2015-06-05 | 2019-04-03 | キヤノン株式会社 | 通信装置およびその制御方法 |
WO2017022769A1 (ja) | 2015-08-04 | 2017-02-09 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、表示制御方法及びプログラム |
US9767606B2 (en) * | 2016-01-12 | 2017-09-19 | Lenovo (Singapore) Pte. Ltd. | Automatic modification of augmented reality objects |
JP2018092313A (ja) * | 2016-12-01 | 2018-06-14 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11652978B2 (en) * | 2017-01-05 | 2023-05-16 | Eys3D Microelectronics, Co. | Depth map generation device |
US10146300B2 (en) | 2017-01-25 | 2018-12-04 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Emitting a visual indicator from the position of an object in a simulated reality emulation |
CN107065196B (zh) | 2017-06-16 | 2019-03-15 | 京东方科技集团股份有限公司 | 一种增强现实显示装置及增强现实显示方法 |
JP6482696B2 (ja) | 2017-06-23 | 2019-03-13 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
CN108597036B (zh) * | 2018-05-03 | 2022-04-12 | 三星电子(中国)研发中心 | 虚拟现实环境危险感知方法及装置 |
WO2021131543A1 (ja) * | 2019-12-27 | 2021-07-01 | ソニーグループ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP7406390B2 (ja) | 2020-02-12 | 2023-12-27 | キヤノン株式会社 | 較正装置およびその制御方法 |
US20230138204A1 (en) * | 2021-11-02 | 2023-05-04 | International Business Machines Corporation | Augmented reality object interaction and notification |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129460B2 (en) * | 2007-06-25 | 2015-09-08 | Inthinc Technology Solutions, Inc. | System and method for monitoring and improving driver behavior |
US20090062974A1 (en) * | 2007-09-03 | 2009-03-05 | Junichi Tamamoto | Autonomous Mobile Robot System |
JP4933406B2 (ja) * | 2007-11-15 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US9129644B2 (en) * | 2009-06-23 | 2015-09-08 | Disney Enterprises, Inc. | System and method for rendering in accordance with location of virtual objects in real-time |
JP5055402B2 (ja) * | 2010-05-17 | 2012-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 |
JP5691568B2 (ja) * | 2011-01-28 | 2015-04-01 | ソニー株式会社 | 情報処理装置、報知方法及びプログラム |
US8610559B2 (en) * | 2011-12-17 | 2013-12-17 | Hon Hai Precision Industry Co., Ltd. | Environmental hazard warning system and method |
US8953841B1 (en) * | 2012-09-07 | 2015-02-10 | Amazon Technologies, Inc. | User transportable device with hazard monitoring |
US9984505B2 (en) * | 2014-09-30 | 2018-05-29 | Sony Interactive Entertainment Inc. | Display of text information on a head-mounted display |
-
2014
- 2014-06-18 JP JP2014125757A patent/JP2016004493A/ja active Pending
-
2015
- 2015-06-04 US US14/730,667 patent/US20150371444A1/en not_active Abandoned
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020102239A (ja) * | 2016-03-30 | 2020-07-02 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ追跡 |
JP2019516180A (ja) * | 2016-04-12 | 2019-06-13 | アール−ストール インコーポレイテッド | 仮想化環境内にイメージを提示するための方法及び装置 |
JP2018064836A (ja) * | 2016-10-20 | 2018-04-26 | 株式会社Bbq | バーチャルゲーム装置 |
WO2018073969A1 (ja) * | 2016-10-21 | 2018-04-26 | サン電子株式会社 | 画像表示装置及び画像表示システム |
JPWO2018073969A1 (ja) * | 2016-10-21 | 2019-08-08 | サン電子株式会社 | 画像表示装置及び画像表示システム |
WO2019123729A1 (ja) * | 2017-12-19 | 2019-06-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法、およびプログラム |
JPWO2019123729A1 (ja) * | 2017-12-19 | 2020-12-17 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法、およびプログラム |
US11176748B2 (en) | 2017-12-19 | 2021-11-16 | Sony Interactive Entertainment Inc. | Image processing apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20150371444A1 (en) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016004493A (ja) | 画像処理装置およびその制御方法 | |
CN109074681B (zh) | 信息处理装置、信息处理方法和程序 | |
CN110413105B (zh) | 虚拟环境内的虚拟对象的有形可视化 | |
US9710973B2 (en) | Low-latency fusing of virtual and real content | |
JP6736944B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6619871B2 (ja) | 媒介現実コンテンツの共有 | |
US20160371884A1 (en) | Complementary augmented reality | |
ES2930598T3 (es) | Re-proyección de imágenes para renderizado foveado | |
JP2017174125A (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
CN105264478A (zh) | 全息锚定和动态定位 | |
KR20160094190A (ko) | 시선 추적 장치 및 방법 | |
EP3939030A1 (en) | Registration of local content between first and second augmented reality viewers | |
US20200066234A1 (en) | VR Drawing Method, Device, and System | |
US11422622B2 (en) | Electronic device and operating method thereof | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 | |
JP6929037B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US20240046584A1 (en) | Information processing apparatus | |
US20230412792A1 (en) | Rendering format selection based on virtual distance | |
JP2020149216A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2024015868A (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
JP2023160623A (ja) | 視線誘導装置及びそのプログラム | |
JP2023172180A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020071394A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN117234282A (zh) | 数据处理方法、装置、电子设备、头戴设备及介质 | |
JP2019082879A (ja) | 姿勢制御システム |