JP2017091470A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents
情報処理装置、情報処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP2017091470A JP2017091470A JP2015225083A JP2015225083A JP2017091470A JP 2017091470 A JP2017091470 A JP 2017091470A JP 2015225083 A JP2015225083 A JP 2015225083A JP 2015225083 A JP2015225083 A JP 2015225083A JP 2017091470 A JP2017091470 A JP 2017091470A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- image
- index
- processing apparatus
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
入力画像に仮想物体を合成する情報処理装置であって、
前記仮想物体のデータを取得するデータ取得手段と、
現実空間に分布する指標群の配置情報を指標マップとして取得する指標マップ取得手段と、
前記入力画像と前記指標マップとに基づいて、前記入力画像を撮影した際の撮像装置の位置姿勢を推定する推定手段と、
前記位置姿勢と前記指標マップとに基づいて、前記仮想物体の画像的特性を制御して表示用の合成画像を生成する表示制御手段と、
を備えることを特徴とする。
実施形態1では、本発明における仮想物体の表示方法を、HMD(Head Mounted Display)およびHMDに固定配置された2台のカメラで構成されるMR(Mixed Reality)システムに対して適用する場合について説明する。
S1110では、画像取得部110は、第1の撮像部101aおよび第2の撮像部101bにより同期撮像される画像データをそれぞれ入力画像として取得し、内部メモリに格納する。画像データはRGBそれぞれのチャネルの画素毎の輝度値を記述したものである。
S1120では、CGデータ取得部120は、S1110で取得された入力画像上に重畳表示する対象となる仮想物体の、ポリゴンモデルで記述される属性データをCGデータとして外部の記憶媒体から読み込んで取得する。
MRシステムにおいて、仮想物体が現実空間に存在するように入力画像上に仮想物体を重畳表示するためには、現実空間と情報処理装置100(第1の撮像部101aまたは第2の撮像部101b)との間の相対的な位置及び姿勢の情報を取得する必要がある。本実施形態ではS1140で説明するSLAM(Simultaneous Localization And Mapping)と呼ばれる方法に基づき情報処理装置100の位置及び姿勢を推定する。
カメラの自己位置および姿勢を画像から推定するための技術としてSLAMが知られている。SLAMの基本的な原理は、現実空間中に分布する特徴点(机の角やエッジ上の点、壁の模様のコーナー部など)と、入力画像から公知のアルゴリズムで検出される画像上特徴点のセットとを照合して対応付ける。そして、対応付けることにより自己位置姿勢を推定(Localization)すると同時に(Simultaneous)、時系列もしくは同期撮影した複数の視点から三角測量の原理に基づき指標マップ中の特徴点の座標を追加・更新(Mapping)するものである。公知のアルゴリズムとしてE. Rosten and T. Drummond (May 2006). "Machine learning for high-speed corner detection". European Conference on Computer Vision.を用いることができる。
S1150では、表示制御部150は、S1140で推定した位置姿勢と、S1130で取得した指標マップとに基づいて、仮想物体の透明度が画像空間で段々と変化するように制御する。そして、表示用の合成画像を各入力画像に対して作成し、第1の表示部102a及び第2の表示部102bへ出力する。
S1160では、第1の表示部102a及び第2の表示部102bは、表示制御部150の制御に基づいて合成画像を表示する。
S11501では、表示制御部150は、仮想物体の描画を制御する際の画面内の2次元空間における制御方向を算出する。図4(a)及び図4(b)は本実施形態に係る表示制御処理を説明するための図である。図4(a)の例では、まず入力画像Im11aの周囲、外側(画角外)に所定のサイズに設定した画像oIm11aに仮想的に投影される指標の画像座標(図4(a)中の★)を算出する。そしてoIm11aを複数のグリッドに分割し、各グリッド内に含まれる指標数が基準値以下、もしくは最小となるグリッドを求める。図4(a)の例ではg11である。さらにグリッドg11の中心座標へ画像中心から向かうベクトルv11を制御方向として算出する。
S11502では、表示制御部150は、S11501で用いた指標数に基づき、仮想物体の描画を制御する際の画面内の2次元空間における制御の程度(制御量)を算出する。
S11503では、表示制御部150は、S11501とS11502において算出した制御方向およびその制御量に従って制御対象である仮想物体の描画を制御しながら、表示用の2つの入力画像それぞれに対して制御対象を描画して合成画像を作成する。そして、合成画像を第1の表示部102a、第2の表示部102bへ出力する。
実施形態1では入力画像の投影面に投影される特徴点をグリッドに分け、含まれる特徴点数が基準値以下、もしくは最小のグリッドのみを用いて制御方向および制御量を求めた。しかしながら、全てのグリッドの制御方向・制御量を描画に反映させてもよい。反映の方法は実施形態1の制御方向が複数の場合と同一であるため省略する。
実施形態1では、画角外の画像中の指標の分布に基づき、指標の分布が疎な空間の方向へ仮想物体が段々と透明になる描画方法について説明した。しかしながら、画角内(入力画像中)の指標の分布も加えて用いることで、指標の分布が密な空間の方向へ段々と不透明になるように描画することでユーザを密な空間に近づくように誘導してもよい。
変形例2では、画角内の指標の分布が疎な場合には指標の分布が密な方向へ向かって仮想物体の透明度を段々と下げるように描画する方法について説明した。しかしながら、この場合、画角内の指標の分布が疎であるため撮影位置姿勢推定が不安定になり、仮想物体の描画にあたりジッタが生じる可能性がある。そのため、画角内の指標の分布が疎な場合は仮想物体の透明度を最大(=1)として完全に透明、つまり仮想物体を描画しないように制御してもよい。
実施形態1では指標の疎密に応じて制御を行っていた。しかしながら、指標の分布が密であっても、偏りがある場合、例えば1か所に集中していたり、同一線上に分布していたりする場合は位置姿勢推定が不安定になる。このような場合は入力画像から検出した特徴点の所定の範囲内での分布密度を画像内で計算し、分布密度が所定の値より高い場合は、偏在領域として定める。そして、当該領域を含むグリッドから制御方向を求め、所定の制御量によって実施形態1と同様に仮想物体を段々と偏在領域に向かって透明になるように描画する。
変形例3では指標の偏りを検出して制御を行っていた。しかしながら、類似した指標が規則的に並んでいる(繰り返しパターン)場合も、SLAMの性質上、S1140の撮影位置姿勢推定処理が不安定になる。これは現実空間の指標と入力画像上の指標とが一意に対応付けられないためである。このような場合は変形例3と同様に入力画像から検出した特徴点の所定の範囲内での特徴点の類似度を算出し、類似度が所定の値より高い特徴点の数が所定の数より多ければ、その範囲を繰り返し領域として定める。そして、変形例3と同様に所定の制御量によって仮想物体を繰り返し領域に向かって段々と透明になるように描画する。
実施形態1では指標を画像上に投影した2次元空間での分布に基づき制御方向及び制御量を算出したが、指標の分布が疎な領域の3次元座標を取得した上で、その領域の座標と情報処理装置100との幾何関係から制御方向、制御量を算出してもよい。例えば、図6に示すように、現実空間11中に指標の分布が疎な領域Ar11の座標が取得されている場合、Ar11の座標を入力画像に投影した座標へ画像中心から向かう制御方向iv01を求める。そして、第1の撮像部101aの座標から領域Ar11の座標へ向かうベクトルv01と第1の撮像部101aの光軸方向ベクトルv02とのなす角の大きさθ(0<θ<π)に基づいて、式1によって仮想物体の透明度(透過率)αCGを算出する。
実施形態1ではHMDにカメラ2台を固定配置したMRシステムにおける本発明の適用方法を説明したが、MRシステムは上記に限定されるものではなく、1つ以上の撮像部と1つ以上の表示部を有するものであれば装置構成は問わない。
実施形態1では指標として現実空間内に分布する特徴点を用いたが、所定の識別子をコーディングしたマーカを指標として現実空間内に貼付し、入力画像内でデコードすることで撮影位置姿勢を推定する公知の手法を用いてもよい。この場合、入力画像に映るマーカ中の一意に識別できる所定の個数のマーカ内位置を指標として利用して実施形態1と同様に、指標の疎な領域に向かって段々と仮想物体が透明になるように表示制御を行う。
実施形態1では、表示制御部150による表示制御処理において仮想物体の制御について説明した。しかしながら、入力画像を制御対象としてもよい。すなわち、描画時に入力画像を制御方向に段々と透明になるように描画し、その上に仮想物体を重畳的に描画してもよい。
実施形態1では、仮想物体を制御対象として説明した。しかしながら、入力画像中で検出した指標を制御対象としてもよい。すなわち、特徴点を疎な領域に近づくほど不透明に描画する。具体的には入力画像と仮想物体を実施形態1と同様に描画したのち、入力画像中で検出された特徴点の座標に、所定の記号と色(例えば赤色の「+」記号)を用いて「1−(制御量)」の一様な透明度で描画する。
実施形態1では、制御対象である仮想物体の透明度を変化させて描画した。しかしながら、制御方法は透明度に限らず、色や画像フィルタ処理を変化させながら描画してもよい。
以上の実施形態1では、撮像装置としてカラーカメラを用いることを前提に説明した。しかしながら、撮像装置はモノクロカメラを用いてもよい。その場合、仮想物体の描画の際に、疎な領域へ向かう方向に輝度値と明度が低下するように描画する。
実施形態1では制御対象である仮想物体を、透明度を変化させて描画した。しかしながら、疎な領域へ向かう方向に段々と仮想物体の形状を湾曲させる、描画サイズを拡大するなどして制御対象の形状・大きさを制御してもよい。
実施形態1では、現実空間中に分布する指標を入力画像の画像面上に投影して制御方向および制御量の算出を行った。しかしながら、入力画像の撮影位置姿勢の周辺の視点で撮影した画像があれば、それを利用して制御方向および制御量を算出してもよい。すなわち、周辺の視点で撮影した画像の撮影位置姿勢と画像中の特徴点の数を予め第2の指標マップとして取得しておき、入力画像の撮影位置姿勢の所定の範囲内にある視点のうち、最も特徴点の数が少ない視点を選択する。そして、入力画像の撮影位置姿勢から当該視点へ向かう方向を座標変換により求め、制御方向として算出する。制御量は当該視点の画像中の特徴点の数の逆数(特徴点数が0のときは制御量1)として決定する。制御方向及び制御量が算出されると、実施形態1と同様に最も特徴点数の少ない視点へ向かう方向へ段々と透明になるように仮想物体を描画する。
実施形態1では現実空間が静的な環境、つまり空間内に座標が変化する物体が存在しないことを前提としていた。しかし、ユーザの身体やユーザ以外の人または動く物体が入り込んだり、風でカーテンがなびいたりすることによって、指標マップ中の特徴点の座標と現実空間内の特徴点の座標との整合性がとれなくなることがある。その場合、位置姿勢推定が不安定になり仮想物体の表示にジッタが生じる可能性がある。
S2210では、動的領域取得部210は、図示しない外部の記憶媒体から動的領域の配置情報(矩形領域の3軸方向の長さおよび動的領域の中心座標)のデータを取得し、図示しない内部のメモリに格納する。動的領域が複数あれば複数取得し、それぞれ格納する。
S2220では、撮影位置姿勢推定部220は、S2210で取得した動的領域内の指標を利用せずに、実施形態1と同様に撮影位置姿勢を推定する。
S2230では、表示制御部230は、S2210で取得した動的領域の配置情報と、S2220で推定した撮影位置姿勢とから実施形態1の変形例1と同様に制御方向、制御量を求め、制御対象を制御する。
実施形態2では、現実空間内で人や物が動くことで指標マップの特徴点の座標が動的に変化する空間について説明した。しかし、人や物が動かなくても、光源の位置変化による影の位置・濃さの変化やテレビモニターの表示の変化などによりカメラ観測上での輝度の変化がある場合においては、特徴点の有無や座標が変化するため撮影位置姿勢推定処理が正常に動作しないことがある。このような股間的に輝度変化のある空間も、実施形態2と同様に動的空間を事前に取得しておくことによって同様の効果を得ることができる。
実施形態1ではSLAMに基づき撮影位置姿勢を推定することを前提としており、SLAMでは指標マップをリアルタイムで作成するため、撮影したことのない空間は指標マップが未作成である。そのため、実際には初めて撮影した現実空間内に指標が存在するにもかかわらず、仮想物体を透明にするよう処理をしてしまう。
本発明の実施形態に係る撮像装置はカラーもしくはモノクロ画像の得られるカメラであれば何でも良い。例えばデジタルカメラでも監視カメラでも産業用カメラでも良い。本発明の実施形態に係る指標は3次元座標と入力画像中の2次元座標が一意に対応付けられるものであれば何でも良い。例えば所定の識別子をコーディングしたマーカでも現実空間に分布する物体のコーナー部などの特徴点でも良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (18)
- 入力画像に仮想物体を合成する情報処理装置であって、
前記仮想物体のデータを取得するデータ取得手段と、
現実空間に分布する指標群の配置情報を指標マップとして取得する指標マップ取得手段と、
前記入力画像と前記指標マップとに基づいて、前記入力画像を撮影した際の撮像装置の位置姿勢を推定する推定手段と、
前記位置姿勢と前記指標マップとに基づいて、前記仮想物体の画像的特性を制御して表示用の合成画像を生成する表示制御手段と、
を備えることを特徴とする情報処理装置。 - 前記表示制御手段は、前記位置姿勢と、前記指標の疎密とに基づいて、前記画像的特性を制御することを特徴とする請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記指標が疎な方向に沿って前記画像的特性を増減させることを特徴とする請求項2に記載の情報処理装置。
- 前記表示制御手段は、前記位置姿勢と、前記指標の分布の偏りとに基づいて、前記画像的特性を制御することを特徴とする請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記指標の分布の偏りが大きい方向に沿って前記画像的特性を増減させることを特徴とする請求項4に記載の情報処理装置。
- 前記表示制御手段は、前記位置姿勢と、前記指標の周期性の有無とに基づいて、前記画像的特性を制御することを特徴とする請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記指標の周期性がある方向に沿って前記画像的特性を増減させることを特徴とする請求項6に記載の情報処理装置。
- 前記表示制御手段は、前記入力画像の周囲に所定のサイズに設定した画像を複数の領域に分割し、各領域に含まれる前記指標の数に基づいて前記画像的特性の制御方向及び制御量を決定することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
- 前記推定手段は、前記入力画像と、前記指標マップ取得手段により取得された第1の指標マップとに基づいて、前記位置姿勢を推定し、
前記表示制御手段は、前記位置姿勢と、前記指標マップ取得手段により予め取得された第2の指標マップとに基づいて、前記仮想物体の画像的特性を制御する
ことを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。 - 前記現実空間に分布する、物体が動作する動的領域の配置情報を取得する動的領域取得手段をさらに備え、
前記表示制御手段は、前記位置姿勢と前記動的領域の配置情報とに基づいて、前記仮想物体の画像的特性を制御することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。 - 前記現実空間に分布する、時間的に輝度が変化する輝度変化領域の配置情報を取得する変化領域取得手段をさらに備え、
前記表示制御手段は、前記位置姿勢と前記輝度変化領域の配置情報とに基づいて、前記仮想物体の画像的特性を制御することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。 - 前記撮像装置の位置姿勢の履歴を格納する格納手段をさらに備え、
前記表示制御手段は、前記履歴に含まれる各位置姿勢と、前記推定手段により推定された位置姿勢との類似度を取得し、前記類似度が所定値以上の位置姿勢が前記履歴に含まれる場合、前記仮想物体の画像的特性を制御することを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。 - 前記表示制御手段は、前記画像的特性の制御として前記仮想物体の透明度を制御することを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。
- 前記表示制御手段は、前記画像的特性の制御として画像フィルタ処理を行うことを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。
- 前記撮像装置をさらに備え、
前記入力画像は前記撮像装置を用いて撮影された画像であることを特徴とする請求項1乃至14の何れか1項に記載の情報処理装置。 - 前記表示制御手段により生成された前記合成画像を表示する表示手段をさらに備えることを特徴とする請求項1乃至15の何れか1項に記載の情報処理装置。
- 入力画像に仮想物体を合成する情報処理装置の制御方法であって、
データ取得手段が、前記仮想物体のデータを取得するデータ取得工程と、
指標マップ取得手段が、現実空間に分布する指標群の配置情報を指標マップとして取得する指標マップ取得工程と、
推定手段が、前記入力画像と前記指標マップとに基づいて、前記入力画像を撮影した際の撮像装置の位置姿勢を推定する推定工程と、
表示制御手段が、前記位置姿勢と前記指標マップとに基づいて、前記仮想物体の画像的特性を制御して表示用の合成画像を生成する表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。 - 請求項17に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015225083A JP6704712B2 (ja) | 2015-11-17 | 2015-11-17 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015225083A JP6704712B2 (ja) | 2015-11-17 | 2015-11-17 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017091470A true JP2017091470A (ja) | 2017-05-25 |
JP6704712B2 JP6704712B2 (ja) | 2020-06-03 |
Family
ID=58767967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015225083A Active JP6704712B2 (ja) | 2015-11-17 | 2015-11-17 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6704712B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019013204A1 (ja) * | 2017-07-14 | 2019-01-17 | キヤノン株式会社 | 情報を提示する情報処理装置、情報処理方法及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225245A (ja) * | 2012-04-23 | 2013-10-31 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-11-17 JP JP2015225083A patent/JP6704712B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225245A (ja) * | 2012-04-23 | 2013-10-31 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019013204A1 (ja) * | 2017-07-14 | 2019-01-17 | キヤノン株式会社 | 情報を提示する情報処理装置、情報処理方法及びプログラム |
JP2019020997A (ja) * | 2017-07-14 | 2019-02-07 | キヤノン株式会社 | 情報処理装置及びその制御方法、並びに、プログラム |
US11108964B2 (en) | 2017-07-14 | 2021-08-31 | Canon Kabushiki Kaisha | Information processing apparatus presenting information, information processing method, and storage medium |
JP2021192304A (ja) * | 2017-07-14 | 2021-12-16 | キヤノン株式会社 | 情報処理装置及びその制御方法、並びに、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6704712B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240062488A1 (en) | Object centric scanning | |
US11756223B2 (en) | Depth-aware photo editing | |
KR102296267B1 (ko) | 3d 공간에서의 포즈 추정 | |
CN105321171B (zh) | 针对实况相机馈送的图像分割 | |
US20190220991A1 (en) | Multi-directional structured image array capture on a 2d graph | |
KR20170007102A (ko) | 3차원 지도 생성 및 표시 장치 및 방법 | |
US11935187B2 (en) | Single-pass object scanning | |
KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
JP6985897B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
CN111833403B (zh) | 用于空间定位的方法和装置 | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
JP6894707B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
US20200349754A1 (en) | Methods, devices and computer program products for generating 3d models | |
US11138743B2 (en) | Method and apparatus for a synchronous motion of a human body model | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
JP2016218729A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2014106642A (ja) | 光学式シースルー型hmdを用いたarシステム | |
JP6719945B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP6704712B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
KR20100107976A (ko) | 3차원 사용자 인터페이스 장치 및 그 방법 | |
JP6341540B2 (ja) | 情報端末装置、方法及びプログラム | |
KR20130019485A (ko) | 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법 | |
CN114677734B (zh) | 关键点的标注方法及装置 | |
US12002132B1 (en) | Rendering using analytic signed distance fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200513 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6704712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |