JP2017129904A - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
JP2017129904A
JP2017129904A JP2016006906A JP2016006906A JP2017129904A JP 2017129904 A JP2017129904 A JP 2017129904A JP 2016006906 A JP2016006906 A JP 2016006906A JP 2016006906 A JP2016006906 A JP 2016006906A JP 2017129904 A JP2017129904 A JP 2017129904A
Authority
JP
Japan
Prior art keywords
size
estimation
information processing
unit
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016006906A
Other languages
English (en)
Inventor
辰吾 鶴見
Shingo Tsurumi
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016006906A priority Critical patent/JP2017129904A/ja
Priority to CN201680078613.4A priority patent/CN108463840B/zh
Priority to PCT/JP2016/080770 priority patent/WO2017126172A1/ja
Priority to EP16886412.2A priority patent/EP3407302B1/en
Priority to US16/066,366 priority patent/US10783654B2/en
Publication of JP2017129904A publication Critical patent/JP2017129904A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】実空間上におけるオブジェクトのサイズを推定可能とする。
【解決手段】所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、を備える、情報処理装置。
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
近年、画像認識技術の高度化に伴い、撮像装置により撮像された画像に含まれる実オブジェクト（即ち、実空間上の物体）の位置及び姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。ＡＲ技術を利用することで、実空間の画像に撮像された実オブジェクトに対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ（以降では、「仮想オブジェクト」とも称する）を重畳してユーザに提示することが可能となる。例えば、特許文献１には、ＡＲ技術の一例が開示されている。
また、物体認識技術の応用により、オブジェクトの画像を撮像する撮像部（ひいては、当該撮像部を備える装置）の実空間上における位置を認識するための所謂自己位置推定を行うことも可能となる。このような自己位置推定を実現するための技術の一例として、ＳＬＡＭ（simultaneous localization and mapping）と称される技術が挙げられる。
特開２０１３−９２９６４号公報
自己位置推定を実現するための方法の一例として、既知のマーカ等のように、サイズや形状が既知の実オブジェクトを、撮像部により撮像された画像内で検出することで、当該実オブジェクトと当該撮像部との間の位置関係を推定する方法が挙げられる。
一方で、自己位置推定の基準とする実オブジェクトのサイズが必ずしも既知とは限らない場合がある。例えば、ディスプレイに自己位置推定の基準となるマーカが表示された場合には、当該マーカのサイズは、当該ディスプレイのサイズに応じて変化する可能性がある。このように、自己位置推定の基準とする実オブジェクトのサイズが未知の状態においては、実オブジェクトと撮像部との間の位置関係をより正確に推定する（即ち、より正確に自己位置推定を行う）ことが困難となる場合がある。
そこで、本開示では、実空間上におけるオブジェクトのサイズを推定することが可能な、情報処理装置、情報処理方法、及び記録媒体を提案する。
本開示によれば、所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、を備える、情報処理装置が提供される。
また、本開示によれば、所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、プロセッサが、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、を実行させるためのプログラムが記録された記録媒体が提供される。
以上説明したように本開示によれば、実空間上におけるオブジェクトのサイズを推定することが可能な、情報処理装置、情報処理方法、及び記録媒体が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る端末装置の概略的な構成の一例について説明するための説明図である。 自己位置推定の原理の一例について説明するための説明図である。 自己位置推定の結果を利用した処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの技術的課題について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 本開示の第２の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システム１の一連の処理の流れの一例について示したフローチャートである。 本開示の一実施形態にかかる情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．端末装置の構成
１．２．自己位置推定の原理
１．３．機能構成
１．４．処理
１．５．評価
２．第２の実施形態
２．１．基本原理
２．２．機能構成
２．３．処理
２．４．評価
３．ハードウェア構成例
４．むすび
＜１．第１の実施形態＞
＜１．１．端末装置の構成＞
まず、図１を参照して本開示の第１の実施形態に係る端末装置の概略的な構成の一例について説明する。図１は、本実施形態に係る端末装置の概略的な構成の一例について説明するための説明図である。
図１に示すように、本実施形態に係る端末装置２０は、出力部２０１と、撮像部２０３ａ及び２０３ｂとを含む。また、本実施形態に係る端末装置２０は、所謂頭部装着型の表示装置（ＨＭＤ：Head Mounted Display）として構成されている。即ち、端末装置２０は、ユーザの頭部に装着されることで、当該ユーザの眼前に、画像を表示するための出力部２０１（例えば、表示パネル）を保持するように構成されている。
撮像部２０３ａ及び２０３ｂは、所謂ステレオカメラとして構成されており、端末装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、当該端末装置２０の互いに異なる位置に設けられている。このような構成に基づき、撮像部２０３ａ及び２０３ｂは、端末装置２０を装着したユーザの前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置（換言すると、異なる視点）から撮像する。これにより、端末装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、撮像部２０３ａ及び２０３ｂそれぞれに撮像された画像間の視差に基づき、当該端末装置２０から、当該被写体までの距離を算出することが可能となる。
また、本実施形態に係る端末装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該端末装置２０を装着したユーザの頭部の動き（頭部の姿勢）を検出可能に構成されていてもよい。具体的な一例として、端末装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
以上のような構成に基づき、本実施形態に係る端末装置２０は、ユーザの頭部の動きにあわせて、当該ユーザの前方に位置する被写体の画像を、出力部２０１を介して当該ユーザに提示することが可能となる。また、このとき端末装置２０は、所謂ＡＲ技術に基づき、被写体（即ち、実空間に位置する実オブジェクト）に対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳された画像を、出力部２０１を介してユーザに提示することも可能となる。なお、端末装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。
なお、端末装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ）の一例としては、例えば、ビデオシースルー型ＨＭＤ、シースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。例えば、図１に示した端末装置２０は、ビデオシースルー型ＨＭＤの一例に相当する。
シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。
網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
なお、参考として、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
以上、図１を参照して本実施形態に係る端末装置の概略的な構成の一例について説明した。なお、上記に説明した端末装置２０の構成はあくまで一例であり、端末装置２０を装着するユーザの前方の画像を撮像し、かつ、当該端末装置２０から撮像される被写体までの距離を算出することが可能であれば、その構成は特に限定されない。具体的な一例として、ステレオカメラとして構成された撮像部２０３ａ及び２０３ｂに替えて、単眼の撮像部と、被写体との間の距離を測定する測距部とを設けてもよい。
なお、端末装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、端末装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
＜１．２．自己位置推定の原理＞
次いで、端末装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明し、そのうえで、本実施形態の技術的課題について整理する。例えば、図２は、自己位置推定の原理の一例について説明するための説明図である。
自己位置推定の具体的な一例として、端末装置２０は、実空間上の実オブジェクト上に提示されたサイズが既知のマーカＶ１０を、自身に設けられたカメラ等の撮像部により撮像する。そして、端末装置２０は、撮像された画像を解析することで、マーカＶ１０（ひいては、当該マーカＶ１０が提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、端末装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該端末装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよいことは前述した通りである。
具体的には、画像中に撮像されたマーカＶ１０の向き（例えば、マーカＶ１０の模様等の向き）に応じて、当該マーカＶ１０に対する撮像部（ひいては、当該撮像部を備える端末装置２０）の相対的な方向を推定することが可能である。また、マーカＶ１０のサイズが既知の場合には、画像中におけるマーカＶ１０のサイズに応じて、当該マーカＶ１０と撮像部（即ち、当該撮像部を備える端末装置２０）との間の距離を推定することが可能である。より具体的には、マーカＶ１０をより遠くから撮像すると、当該マーカＶ１０は、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間上の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカＶ１０の大きさ（換言すると、画角内においてマーカＶ１０が占める割合）に応じて、当該マーカＶ１０と撮像部との間の距離を逆算することが可能である。以上のような構成により、端末装置２０は、マーカＶ１０に対する自身の相対的な位置及び姿勢を推定することが可能となる。
また、所謂ＳＬＡＭ（simultaneous localization and mapping）と称される技術が、端末装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の三次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、端末装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、端末装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
以上のような構成のもとで、例えば、撮像部による既知のマーカＶ１０の撮像結果に基づく、当該マーカＶ１０に対する端末装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、端末装置２０は、マーカＶ１０が撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカＶ１０（ひいては、当該マーカＶ１０が提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。
また、端末装置２０は、上述した自己位置推定の結果を利用することで、ＡＲ技術に基づき、実空間上の所望の位置（所望の実オブジェクト）に仮想オブジェクトが重畳するように、当該仮想オブジェクトをユーザに提示することも可能となる。
一方で、ゲーム等の用途においては、例えば、図２に示すように、ディスプレイ等の表示装置５０に対してマーカＶ１０を表示させる場合が想定され得る。このような場合には、例えば、端末装置２０は、表示装置５０に表示されたマーカＶ１０を認識させる（例えば、撮像部に撮像させる）ことで、表示装置５０に対する自信の相対的な位置及び姿勢を推定する（即ち、自己位置推定を行う）。そして、端末装置２０は、表示装置５０に対する自身の位置及び姿勢の推定結果を、例えば、ＡＲ技術に基づく仮想オブジェクトの提示に利用する。
例えば、図３は、自己位置推定の結果を利用した処理の一例について説明するための説明図であり、ＡＲ技術に基づき仮想オブジェクトを提示する場合の一例について示している。具体的には、端末装置２０は、表示装置５０に対する自身の相対的な位置及び姿勢の推定結果に基づき、表示装置５０が配置された実空間上の所望の位置に仮想オブジェクトＶ２０が重畳するように、出力部２０１を介して、当該仮想オブジェクトＶ２０をユーザに提示する。
しかしながら、自己位置推定に利用されるマーカのサイズが必ずしも既知とは限らない。例えば、図２に示す例のように、表示装置５０にマーカＶ１０を表示させる場合には、当該表示装置５０のサイズ（例えば、インチ数）に応じて、実空間上におけるマーカＶ１０のサイズが異なる。
例えば、図４は、本実施形態に係る情報処理システムの技術的課題について説明するための説明図であり、互いにサイズの異なる表示装置にマーカを表示させた場合の一例を示している。具体的には、図４に示す例では、互いにインチ数の異なる表示装置５０ａ及び５０ｂに対して、マーカＶ１０が提示された同じ画像を表示させている。図４に示すように、表示装置５０ａ及び５０ｂのそれぞれに同じようにマーカＶ１０を表示させたとしても、実空間上における、表示装置５０ａに表示されたマーカＶ１０ａのサイズと、表示装置５０ｂに表示されたマーカＶ１０ｂのサイズとは異なる。
また、自己位置推定のためのマーカとして、必ずしも明示的に付されたシール等のマーカが利用されるとは限らない。具体的な一例として、本の表紙等をマーカとして利用する場合も想定され得る。このような場合においては、上製本や本製本のような所謂ハードカバーと、所謂文庫本との違いのように、本のサイズが多様であり、同様のタイトルに着目した場合においても、サイズの異なる本が存在する場合がある。
このように、自己位置推定に利用されるマーカのサイズが未知の場合においては、端末装置２０は、実空間上における尺度を正確に推定することが困難となり、ひいては自己位置推定を正確に行うことが困難となる場合がある。そこで、本開示では、実オブジェクトのサイズが未知の場合においても、当該実オブジェクトのサイズを推定することで、当該実オブジェクトに対する撮像部（ひいては、端末装置２０）の位置及び姿勢を推定することが可能な仕組みの一例について提案する。そこで、以降では、本実施形態に係る情報処理システムの特徴についてより詳しく説明する。
＜１．３．機能構成＞
まず、図５を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図５は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。
図５に示すように、本実施形態に係る情報処理システム１は、端末装置２０と、情報処理装置１０と、物体認識辞書３０１とを含む。端末装置２０と情報処理装置１０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、端末装置２０と情報処理装置１０との間を接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、例えば、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、一部が有線のネットワークとして構成されていてもよい。
端末装置２０の具体的な一例としては、図１を参照して説明した端末装置２０が挙げられる。より具体的には、図５に示すように、端末装置２０は、出力部２０１と、撮像部２０３と、測距部２０５とを含む。出力部２０１は、図１に示す出力部２０１に相当する。なお、図５に示す例では、図１において、ステレオカメラとして構成された撮像部２０３ａ及び２０３ｂのうち、画像の撮像に係る部分を撮像部２０３として示し、被写体までの距離の測定に係る部分を測距部２０５として示している。
即ち、撮像部２０３は、実空間上の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。また、測距部２０５は、実空間上の当該物体（被写体）までの距離を測定し、測定結果を示す深度情報を情報処理装置１０に出力する。
次いで、情報処理装置１０の構成に着目する。図５に示すように、情報処理装置１０は、画像解析部１０１と、距離推定部１０３と、サイズ推定部１０５と、位置姿勢推定部１０７と、出力制御部１０９とを含む。
画像解析部１０１は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する。このとき、画像解析部１０１は、例えば、画像中に撮像された物体の特徴（例えば、形状、模様等の特徴）に基づき特徴量を算出し、既知の物体の特徴量を示す情報と照合することで、画像中に撮像された物体を認識してもよい。なお、既知の物体の特徴量を示す情報については、情報処理装置１０が読み出し可能な記憶領域にあらかじめ記憶させておけばよい。例えば、物体認識辞書３０１は、既知の物体の特徴量を示す情報を記憶させておくための記憶領域の一例を示している。
以上により、画像解析部１０１は、画像中に撮像された物体を認識する。このような認識結果により、画像中における当該物体の位置やサイズを認識することが可能となる。そして、画像解析部１０１は、画像中に撮像された物体の認識結果（以降では、単に「物体の認識結果」と称する場合がある）を示す情報を、距離推定部１０３に出力する。なお、取得された画像（即ち、撮像部２０３により撮像された画像）については、例えば、後述する情報処理装置１０の各構成が参照可能な記憶領域（図示を省略する）に保持されているとよい。もちろん、情報処理装置１０の各構成が、取得された画像を参照することが可能であれば、その方法は特に限定されない。上記を踏まえ、以降の説明では、情報処理装置１０の各構成が、取得された画像を必要に応じて参照可能であるものとする。
距離推定部１０３は、測距部２０５から、撮像部２０３により被写体として撮像された物体までの距離の測定結果を示す深度情報を取得する。具体的な一例として、端末装置２０が、測距部２０５に相当する構成として、図１に示す例のようにステレオカメラを利用している場合には、距離推定部１０３は、当該ステレオカメラによる撮像結果に基づく視差を示す情報を、深度情報として取得してもよい。また、測距部２０５が、ＴＯＦ方式に基づき被写体（物体）までの距離を測定する構成の場合には、距離推定部１０３は、画素ごとに測定された被写体までの距離（深度）を示す情報が含まれた所謂距離画像を、深度情報として取得してもよい。
また、距離推定部１０３は、画像解析部１０１から、物体の認識結果を示す情報を取得する。そして、距離推定部１０３は、取得した物体の認識結果を示す情報と、深度情報とに基づき、認識された物体までの距離を推定する。より具体的な一例として、距離推定部１０３は、物体の認識結果に基づき、画像中の当該物体の位置を認識し、認識した画像中の位置に対応する距離の測定結果を、取得した深度情報から抽出することで、当該物体までの距離を認識（推定）する。
そして、距離推定部１０３は、取得した物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを、サイズ推定部１０５に出力する。
サイズ推定部１０５は、距離推定部１０３から、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを取得し、取得した当該情報に基づき、実空間上における当該物体のサイズを推定する。具体的な一例として、サイズ推定部１０５は、画像中における物体のサイズと、当該物体までの距離の推定結果とに基づき、実空間上における当該物体のサイズを推定する。なお、前述したように、画像中に撮像される実空間上の範囲については、撮像部２０３の画角に基づき推定することが可能である。そのため、画像中に撮像された物体までの距離を推定することが可能であれば、画像中における物体のサイズ（即ち、画角内に占める当該物体の範囲）に基づき、実空間上における当該物体のサイズを推定することが可能となる。
そして、サイズ推定部１０５は、取得した物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とを、位置姿勢推定部１０７に出力する。
位置姿勢推定部１０７は、実空間上における端末装置２０の位置及び姿勢の推定に係る処理（所謂自己位置推定に係る処理）を実行するための構成である。位置姿勢推定部１０７は、サイズ推定部１０５から、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とを取得し、取得した当該情報に基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する。なお、認識された物体（即ち、画像中に撮像された物体）に対する端末装置２０の相対的な位置及び姿勢については、取得された物体のサイズの推定結果に基づき、当該物体のサイズが既知であるものと認識することで、前述した方法に基づき推定することが可能である。
また、このとき位置姿勢推定部１０７は、ＳＬＡＭに基づき、認識された物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい。この場合には、位置姿勢推定部１０７は、図示しない所定の検知部（例えば、端末装置２０に設けられた加速度センサや角速度センサ等）から、端末装置２０の位置及び姿勢の変化を示す情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定（即ち、物体に対する端末装置２０の位置及び姿勢の推定）に利用してもよい。
そして、位置姿勢推定部１０７は、取得した物体の認識結果を示す情報と、実空間上における端末装置２０の位置及び姿勢の推定結果を示す情報とを、出力制御部１０９に出力する。
出力制御部１０９は、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２０１を介してユーザに提示するための構成である。なお、出力制御部１０９が、「表示制御部」の一例に相当する。
具体的には、出力制御部１０９は、位置姿勢推定部１０７から、物体の認識結果を示す情報と、実空間上における端末装置２０の位置及び姿勢の推定結果を示す情報とを取得する。これにより、出力制御部１０９は、実空間上における端末装置２０と認識された物体との間の位置関係や、実空間上における当該物体の３次元的な位置及び姿勢を推定することが可能となる。
そして、出力制御部１０９は、例えば、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２０１に表示させる。
より具体的な一例として、端末装置２０がビデオシースルー型ＨＭＤとして構成されている場合に着目する。この場合には、出力制御部１０９は、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、撮像部２０３により撮像された画像に対して仮想オブジェクトを重畳し、仮想オブジェクトが重畳された当該画像を出力部２０１に表示させる。このとき、出力制御部１０９は、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、仮想オブジェクトの表示位置や、当該仮想オブジェクトのサイズを調整するとよい。これにより、ユーザは、自身の前方に、仮想オブジェクトがあたかも存在するような画像を視認することが可能となる。
また、他の一例として、端末装置２０が、シースルー型ＨＭＤとして構成されている場合に着目する。この場合には、出力制御部１０９は、虚像光学系（出力部２０１に相当）の内側に仮想オブジェクトを表示する際に、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、当該仮想オブジェクトの表示位置やサイズを制御すればよい。これにより、ユーザは、自身の前方に、仮想オブジェクトがあたかも存在するように、当該仮想オブジェクトを視認することが可能となる。
なお、図５に示した構成はあくまで一例であり、情報処理システム１の構成は、必ずしも図５に示す例には限定されない。具体的な一例として、端末装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の構成のうち、一部の構成が、当該情報処理装置１０とは異なる装置（例えば、端末装置２０や外部のサーバ等）に設けられていてもよい。また、物体認識辞書３０１は、情報処理装置１０に内蔵されていてもよいし、外部のサーバに設けられていてもよい。
以上、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。
＜１．４．処理＞
続いて、図６を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明する。図６は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
まず、情報処理装置１０（画像解析部１０１）は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する（Ｓ１０１）。なお、画像中に撮像された物体の認識方法については、画像解析部１０１の処理として前述した通りである。
次いで、情報処理装置１０（距離推定部１０３）は、測距部２０５から、撮像部２０３により被写体として撮像された物体までの距離の測定結果を示す深度情報を取得する。そして、情報処理装置１０は、物体の認識結果を示す情報と、取得した深度情報とに基づき、認識された物体までの距離を推定する（Ｓ１０３）。なお、認識された物体までの距離の推定方法については、距離推定部１０３の処理として前述した通りである。
次いで、情報処理装置１０（サイズ推定部１０５）は、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とに基づき、実空間上における当該物体のサイズを推定する（Ｓ１０５）。なお、実空間上における、認識された物体のサイズの推定方法については、サイズ推定部１０５の処理として前述した通りである。
次いで、情報処理装置１０（位置姿勢推定部１０７）は、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とに基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する。このとき、情報処理装置１０は、取得された物体のサイズの推定結果に基づき、当該物体のサイズが既知であるものと認識することで、前述した方法に基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定することが可能となる。また、このとき情報処理装置１０は、ＳＬＡＭに基づき、認識された物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい（Ｓ１０７）。
以上のような一連の処理に基づき、情報処理装置１０は、実空間上における端末装置２０の位置及び姿勢を推定することが可能となる。これにより、情報処理装置１０は、例えば、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２０１を介してユーザに提示することも可能となる。
なお、情報処理装置１０が、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行するタイミングは特に限定されない。具体的な一例として、情報処理装置１０は、画像中に対称となる物体（例えば、マーカ等）が撮像された場合に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。また、他の一例として、情報処理装置１０は、ＳＬＡＭに基づき、所定の物体が撮像部により撮像されることが予測された場合（換言すると、撮像部の画角内に当該物体が入ることが予測された場合）に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。
また、情報処理装置１０による、対象となる物体のサイズ推定に係る処理や、当該サイズの推定結果に基づく端末装置２０の位置及び姿勢の推定に係る処理は、一度の実行のみに限らず、所望のタイミングや所定の条件に応じて適宜実行されてもよい。
具体的な一例として、ＳＬＡＭに基づき端末装置２０の位置及び姿勢の推定を行う場合に着目すると、当該推定の基準となる物体（マーカ等）が撮像されていない状況下では、例えば、各種センサ（加速度センサや角速度センサ等）の検知結果に基づき端末装置２０の位置及び姿勢の変化を認識する。しかしながら、各種センサの検知結果に基づく端末装置２０の位置及び姿勢の変化の認識には誤差が生じる場合がある。このような誤差は、当該認識が実行されるごとに蓄積される傾向にあり、ひいては、端末装置２０の位置及び姿勢の推定結果に影響をおよぼす場合がある。一方で、このような状況下においても、本実施形態に係る情報処理装置１０は、例えば、対象となる物体が撮像された場合に、撮像された画像に基づき、端末装置２０の位置及び姿勢の推定に係る処理を実行することで、上述した誤差を補正することが可能となる。
以上、図６を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明した。
＜１．５．評価＞
以上説明したように、本実施形態に係る情報処理システム１において、情報処理装置１０は、撮像部により撮像された実空間上に位置する物体（実オブジェクト）の画像と、当該物体までの距離の測定結果とを取得する。そして、情報処理装置１０は、画像中における物体のサイズと、当該物体までの距離の測定結果とに基づき、実空間上における当該物体のサイズを推定する。これにより、本実施形態に係る情報処理装置１０は、自己位置推定に利用される物体（マーカ等）のサイズが未知の場合においても、当該物体のサイズを推定することで、当該物体に対する端末装置２０の位置及び姿勢を推定する（認識する）ことが可能となる。
＜２．第２の実施形態＞
次いで、本開示の第２の実施形態に係る情報処理システムについて説明する。本実施形態では、所謂テレビジョン受像機、ディスプレイ、書籍等のように、サイズの候補が既知の物体を自己位置推定に利用する場合に、前述した第１の実施形態に比べて、当該物体のサイズをより精度良く推定するための仕組みの一例について説明する。
＜２．１．基本原理＞
まず、本実施形態に係る情報処理システムにおいて、情報処理装置１０が、端末装置２０の位置及び姿勢を推定する処理の基本原理について説明する。
本実施形態に係る情報処理装置１０は、まず、前述した第１の実施形態と同様に、撮像部により撮像された実空間上に位置する物体（実オブジェクト）の画像と、当該物体までの距離の測定結果とに基づき、実空間上における当該物体のサイズを推定する。一方で、第１の実施形態と同様の手法でサイズを推定する場合には、撮像部と、対象となる物体との間の距離が離れるほど、画像中における当該物体のサイズの測定に係る分解能が低下し、ひいては実空間上における当該物体のサイズの推定に係る精度が低下する。
そこで、本実施形態に係る情報処理装置１０は、サイズの候補が既知の物体を対象として、実空間上における当該物体のサイズを推定し、当該サイズの推定結果を、当該物体のサイズの候補と比較することで、当該物体のサイズを特定する（換言すると、サイズの推定結果を補正する）。
例えば、図７は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、テレビジョン受像機やディスプレイのサイズの候補の一例を示している。なお、図７において、高さ及び幅として示された数値の単位は、ｃｍ（センチメートル）である。図７に示すように、テレビジョン受像機やディスプレイは、画面のサイズとして、離散化された値の候補があらかじめ決められている。具体的には、図７に示すように、３２インチ〜６５インチの間においては、画面のサイズの候補として、３２インチ、３７インチ、４２インチ、４６インチ、５０インチ、５５インチ、６０インチ、及び６５インチが設定されている。また、書籍では、所謂Ａ版（Ａ４版（２１０ｍｍ×２９７ｍｍ）、Ａ５版（１４８ｍｍ×２１０ｍｍ）、Ａ６版（１０５ｍｍ×１４８ｍｍ）等）やＢ版（Ｂ４版（２５７ｍｍ×３６４ｍｍ）、Ｂ５版（１８２ｍｍ×２５７ｍｍ）、Ｂ６版（１２８ｍｍ×１８２ｍｍ）、小Ｂ６版（１１２ｍｍ×１７４ｍｍ）等）として、サイズの候補が設定されている。同様に、ポスター等の紙媒体においても、所謂Ａ列（Ａ０、Ａ１、Ａ２、Ａ３、…等）やＢ列（Ｂ０、Ｂ１、Ｂ２、Ｂ３、…等）として、サイズの候補が設定されている。
具体的な一例として、本実施形態に係る情報処理装置１０は、図２に示すように表示装置５０の画面に表示されたマーカＶ１０の実空間上におけるサイズを、第１の実施形態と同様の手法で推定し、当該推定結果に基づき、当該画面のサイズを推定する。そして、情報処理装置１０は、画面のサイズの推定結果を、図７に示すような当該画面のサイズの候補と比較し、当該サイズの推定結果により近い候補を、当該画面のサイズとして特定する。
このような構成により、本実施形態に係る情報処理装置１０は、撮像部と、対象となる物体との間の距離が離れ、当該物体のサイズの推定に係る精度が低下するような状況下においても、実空間上における当該物体のサイズをより精度良く特定することが可能となる。
以上、図７を参照して、本実施形態に係る情報処理システムにおいて、情報処理装置１０が、端末装置２０の位置及び姿勢を推定する処理の基本原理について説明した。
＜２．２．機能構成＞
続いて、図８を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図８は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
図８に示すように、本実施形態に係る情報処理システム２は、一部の構成が、前述した第１の実施形態に係る情報処理システム１（図５参照）と異なる。より具体的には、本実施形態に係る情報処理装置１０は、参照符号１１１で示された、前述した第１の実施形態に係る情報処理装置１０におけるサイズ推定部１０５に相当する構成が異なる。また、本実施形態に係る情報処理システム２は、物体サイズＤＢ３０２を含む。そこで、本説明では、本実施形態に係る情報処理システム２について、特に、前述した第１の実施形態に係る情報処理システム１と異なる、サイズ推定部１１１や物体サイズＤＢ３０２に着目して説明する。なお、前述した第１の実施形態に係る情報処理システム１と実質的に同様の部分については、詳細な説明は省略する。
本実施形態に係る情報処理装置１０において、画像解析部１０１は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体を認識する。なお、このとき、画像解析部１０１は、特に、テレビジョン受像機、ディスプレイ、書籍等のように、サイズの候補が既知の物体を認識する。なお、物体の認識方法については、前述した第１の実施形態と同様である。そして、画像解析部１０１は、画像中に撮像された物体の認識結果を示す情報を、距離推定部１０３に出力する。なお、画像解析部１０１のうち撮像部２０３により撮像された画像を取得する部分が、「取得部」のうち実オブジェクトの画像を取得する部分に相当する。
距離推定部１０３は、画像解析部１０１から取得した物体の認識結果を示す情報と、測距部２０５から取得した深度情報とに基づき、認識された物体までの距離を推定する。なお、本動作については、前述した第１の実施形態に係る距離推定部１０３と同様である。そして、距離推定部１０３は、取得した物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを、サイズ推定部１１１に出力する。なお、距離推定部１０３のうち深度情報を取得する部分が、「取得部」のうち距離の測定結果を取得する部分に相当する。
サイズ推定部１１１は、距離推定部１０３から、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とを取得し、取得した当該情報に基づき、実空間上における当該物体のサイズを推定する。
具体的な一例として、テレビジョン受像機やディスプレイ等のような表示装置５０の画面の実空間上におけるサイズを推定する場合に着目する。この場合には、例えば、サイズ推定部１１１は、図２に示すように、表示装置５０の画面に表示されたマーカＶ１０の実空間上におけるサイズを推定し、当該マーカＶ１０のサイズの推定結果に基づき、実空間上における表示装置５０の画面のサイズを推定すればよい。また、他の一例として、サイズ推定部１１１は、表示装置５０の画面自体を直接認識できている場合には、当該画面の実空間上におけるサイズを直接推定してもよい。なお、実空間上における、認識された物体のサイズの推定方法については、前述した第１の実施形態と同様である。
次いで、サイズ推定部１１１は、認識された物体のサイズの推定結果を、当該物体のサイズの候補と比較し、比較結果に基づき、当該サイズの推定結果により近い候補を、当該物体のサイズとして特定する。なお、テレビジョン受像機、ディスプレイ、書籍等のような対象となる物体のサイズの候補を示す情報については、情報処理装置１０が読み出し可能な記憶領域にあらかじめ記憶させておけばよい。例えば、物体サイズＤＢ３０２は、テレビジョン受像機、ディスプレイ、書籍等のような対象となる物体のサイズの候補を示す情報を記憶させておくための記憶領域の一例を示している。
そして、サイズ推定部１１１は、取得した物体の認識結果を示す情報と、当該物体のサイズの特定結果を示す情報とを、位置姿勢推定部１０７に出力する。
なお、以降の処理については、前述した第１の実施形態に係る情報処理装置１０と同様である。即ち、位置姿勢推定部１０７は、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とに基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する。なお、このとき位置姿勢推定部１０７は、認識された物体までの距離の推定結果を、当該物体のサイズの特定結果に基づき補正し、当該補正結果に基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい。このような構成により、端末装置２０の位置及び姿勢をより精度良く推定することが可能となる。
また、出力制御部１０９は、物体の認識結果を示す情報と、実空間上における端末装置２０の位置及び姿勢の推定結果を示す情報とに基づき、実空間上における端末装置２０と認識された物体との間の位置関係を認識する。そして、出力制御部１０９は、ＡＲ技術に基づき、例えば、実空間上における端末装置２０と認識された物体との間の位置関係に応じて、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２０１に表示させる。
以上、図８を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
＜２．３．処理＞
続いて、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明する。図９は、本実施形態に係る情報処理システム１の一連の処理の流れの一例について示したフローチャートである。
まず、情報処理装置１０（画像解析部１０１）は、撮像部２０３により撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像中に被写体として撮像された物体（実オブジェクト）を認識する（Ｓ２０１）。なお、画像中に撮像された物体の認識方法については、画像解析部１０１の処理として前述した通りである。
次いで、情報処理装置１０は、認識された物体に対して単一のサイズが紐付いているか（即ち、当該物体のサイズが既知か否か）を確認する（Ｓ２０３）。
認識された物体に対して単一のサイズが紐付いている場合には（Ｓ２０３、ＹＥＳ）、情報処理装置１０は、当該物体のサイズが既知であるものと認識する。この場合には、情報処理装置１０は、物体の認識結果と、当該物体のサイズとに基づき、端末装置２０から当該物体までの距離を算出し（Ｓ２１３）、当該距離の算出結果に基づき、物体に対する端末装置２０の相対的な位置及び姿勢を推定する（認識する）（Ｓ２０５）。
一方で、認識された物体に対して単一のサイズが紐付いていない場合には（Ｓ２０３、ＮＯ）、情報処理装置１０（距離推定部１０３）は、測距部２０５から、撮像部２０３により被写体として撮像された物体までの距離の測定結果を示す深度情報を取得する。そして、情報処理装置１０は、物体の認識結果を示す情報と、取得した深度情報とに基づき、認識された物体までの距離を推定する（Ｓ２０５）。なお、認識された物体までの距離の推定方法については、距離推定部１０３の処理として前述した通りである。
次いで、情報処理装置１０（サイズ推定部１１１）は、物体の認識結果を示す情報と、当該物体までの距離の推定結果を示す情報とに基づき、実空間上における当該物体のサイズを推定する（Ｓ２０７）。また、情報処理装置１０は、認識された物体のサイズの推定結果を、当該物体のサイズの候補と比較し、比較結果に基づき、当該サイズの推定結果により近い候補を、当該物体のサイズとして特定する（Ｓ２０９）。なお、認識された物体の、実空間上におけるサイズの特定方法については、サイズ推定部１１１の処理として前述した通りである。
そして、情報処理装置１０は、認識された物体と、当該物体のサイズの特定結果とを関連付けて記憶する（Ｓ２１１）。
次いで、情報処理装置１０（位置姿勢推定部１０７）は、物体のサイズの特定結果に基づき、当該物体までの距離の推定結果を補正してもよい（Ｓ２１３）。これにより、情報処理装置１０は、認識された物体までの距離をより正確に推定することが可能となる。
そして、情報処理装置１０は、物体の認識結果を示す情報と、当該物体のサイズの推定結果を示す情報とに基づき、当該物体に対する端末装置２０の相対的な位置及び姿勢を推定する（認識する）。また、このとき情報処理装置１０は、ＳＬＡＭに基づき、認識された物体に対する端末装置２０の相対的な位置及び姿勢を推定してもよい（Ｓ２１５）。なお、物体に対する端末装置２０の相対的な位置及び姿勢の推定方法については、位置姿勢推定部１０７の処理として前述した通りである。
以上のような一連の処理に基づき、情報処理装置１０は、実空間上における端末装置２０の位置及び姿勢を推定することが可能となる。これにより、情報処理装置１０は、例えば、ＡＲ技術に基づき、仮想オブジェクトが実空間上に重畳するように、当該仮想オブジェクトを、出力部２０１を介してユーザに提示することも可能となる。
なお、情報処理装置１０が、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行するタイミングは特に限定されない。具体的な一例として、情報処理装置１０は、画像中に対称となる物体（例えば、マーカ等）が撮像された場合に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。また、他の一例として、情報処理装置１０は、ＳＬＡＭに基づき、所定の物体が撮像部により撮像されることが予測された場合（換言すると、撮像部の画角内に当該物体が入ることが予測された場合）に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。
また、他の一例として、情報処理装置１０は、対象となる物体との間の距離の推定結果に基づき、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。より具体的な一例として、情報処理装置１０は、対象となる物体と端末装置２０との間の距離の推定結果が閾値以上の場合（即ち、より離れている場合）に、上述した端末装置２０の位置及び姿勢の推定に係る処理を実行してもよい。前述したように、撮像部（即ち、端末装置２０）と、対象となる物体との間の距離が離れるほど、画像中における当該物体のサイズに基づく、実空間上における当該物体のサイズの推定に係る精度は低下する傾向にある。このような場合においても、本実施形態に係る情報処理装置１０は、上述した処理に基づき、対象となる物体のサイズをより精度良く推定することが可能となる。
また、情報処理装置１０による、対象となる物体のサイズ推定に係る処理や、当該サイズの推定結果に基づく端末装置２０の位置及び姿勢の推定に係る処理は、一度の実行のみに限らず、所望のタイミングや所定の条件に応じて適宜実行されてもよい。この点は、前述した第１の実施形態と同様である。
また、情報処理装置１０は、本実施形態において説明した端末装置２０の位置及び姿勢の推定に係る処理と、他の方法に基づく端末装置２０の位置及び姿勢の推定に係る処理とを、状況に応じて選択的に切り替えて実行してもよい。具体的な一例として、情報処理装置１０は、対象となる物体と端末装置２０との間の距離の推定結果が閾値以上の場合（即ち、より離れている場合）には、本実施形態において説明した方法に基づき、端末装置２０の位置及び姿勢を推定してもよい。一方で、対象となる物体と端末装置２０との間の距離の推定結果が閾値未満の場合（即ち、より近傍に位置する場合）においては、情報処理装置１０は、他の方法（例えば、第１の実施形態として説明した方法）に基づき、端末装置２０の位置及び姿勢を推定してもよい。
同様に、情報処理装置１０は、本実施形態において説明した物体のサイズ推定に係る処理と、前述した第１の実施形態において説明した物体のサイズ推定に係る処理とを、状況に応じて選択的に切り替えて実行してもよい。具体的な一例として、情報処理装置１０は、対象となる物体と端末装置２０との間の距離の推定結果が閾値以上の場合（即ち、より離れている場合）に、本実施形態において説明した方法に基づき、自己位置推定に利用する物体のサイズを推定してもよい。一方で、対象となる物体と端末装置２０との間の距離の推定結果が閾値未満の場合（即ち、より近傍に位置する場合）においては、情報処理装置１０は、前述した第１の実施形態において説明した方法に基づき、自己位置推定に利用する物体のサイズを推定してもよい。
以上、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０における端末装置２０の位置及び姿勢の推定に係る処理に着目して説明した。
＜２．４．評価＞
以上説明したように、本実施形態に係る情報処理システム２において、情報処理装置１０は、サイズの候補が既知の物体を対象として、実画像中における物体のサイズと、当該物体までの距離の測定結果とに基づき、実空間上における当該物体のサイズを推定する。そして、情報処理装置１０は、物体のサイズの推定結果を、当該物体のサイズの候補と比較し、当該サイズの推定結果により近い候補を、当該画面のサイズとして特定する。以上のような構成により、本実施形態に係る情報処理装置１０は、前述した第１の実施形態に比べて、自己位置推定に利用される物体（マーカ等）のサイズをより精度良く推定することが可能となる。また、このような構成により、本実施形態に係る情報処理装置１０は、自己位置推定に利用される物体のサイズが未知の場合においても、当該物体のサイズを推定することで、当該物体に対する端末装置２０の位置及び姿勢を、より精度良く推定（認識）することが可能となる。
＜３．ハードウェア構成例＞
次に、図１０を参照して、本開示の一実施形態にかかる情報処理装置１０のハードウェア構成について説明する。図１０は、本開示の一実施形態にかかる情報処理装置１０のハードウェア構成例を示すブロック図である。
図１０に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。なお、前述した画像解析部１０１と、距離推定部１０３と、サイズ推定部１０５及び１１１と、位置姿勢推定部１０７と、出力制御部１０９とは、例えば、ＣＰＵ９０１により実現され得る。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動きなどを撮像することによって、入力装置として機能し得る。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などを出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。なお、前述した出力部２０１は、例えば、出力装置９１７により実現され得る。
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。なお、前述した物体認識辞書３０１と、物体サイズＤＢ３０２とは、例えば、ストレージ装置９１９により実現され得る。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換されうる。
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。なお、前述した撮像部２０３は、例えば、撮像装置９３３により実現され得る。
センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
以上、情報処理装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
＜４．むすび＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、
前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、
を備える、情報処理装置。
（２）
実空間上における前記実オブジェクトのサイズの特定結果に基づき、当該実オブジェクトと前記撮像部との間の位置関係を推定し、当該推定結果に基づき前記撮像部の位置及び向きのうち少なくともいずれかを認識する認識部を備える、前記（１）に記載の情報処理装置。
（３）
前記認識部は、実オブジェクトと前記撮像部との間の前記位置関係の推定結果に基づき、過去に認識された前記撮像部の位置及び向きのうち少なくともいずれかの認識結果を補正する、前記（２）に記載の情報処理装置。
（４）
実空間上に仮想オブジェクトが重畳するように当該仮想オブジェクトを表示させる表示制御部を備え、
前記表示制御部は、前記撮像部の位置及び向きのうち少なくともいずれかの認識結果に基づき、前記仮想オブジェクトの表示位置及び表示サイズのうち少なくともいずれかを制御する、
前記（２）または（３）に記載の情報処理装置。
（５）
前記推定部は、前記実オブジェクトのサイズの特定結果に基づき、前記距離の測定結果を補正する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記取得部は、所定のマーカが提示された前記実オブジェクトの前記画像を取得し、
前記推定部は、前記画像中の前記マーカのサイズと、前記距離の測定結果とに基づき、実空間上における前記実オブジェクトのサイズを推定する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記推定部は、前記実オブジェクトが撮像された画像が取得された場合に、実空間上における当該実オブジェクトのサイズの推定に係る処理を実行する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記推定部は、所定の検知部の検知結果に基づき、前記撮像部の位置及び向きのうち少なくともいずれかの変化を推定し、当該推定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（９）
前記推定部は、前記撮像部の位置及び向きのうち少なくともいずれかの変化の前記推定結果に基づき、当該撮像部の画角内に前記実オブジェクトが入ることが予測された場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理を実行する、前記（８）に記載の情報処理装置。
（１０）
前記推定部は、前記距離の測定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（１１）
前記推定部は、前記距離の測定結果が閾値以上の場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理に係る処理を実行する、前記（１０）に記載の情報処理装置。
（１２）
所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
プロセッサが、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
を含む、情報処理方法。
（１３）
コンピュータに、
所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
を実行させるためのプログラムが記録された記録媒体。
１、２ 情報処理システム
１０ 情報処理装置
１０１ 画像解析部
１０３ 距離推定部
１０５ サイズ推定部
１０７ 位置姿勢推定部
１０９ 出力制御部
１１１ サイズ推定部
２０ 端末装置
２０１ 出力部
２０３ 撮像部
２０５ 測距部
５０ 表示装置
３０１ 物体認識辞書
３０２ 物体サイズＤＢ

Claims (13)

  1. 所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得する取得部と、
    前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定する推定部と、
    を備える、情報処理装置。
  2. 実空間上における前記実オブジェクトのサイズの特定結果に基づき、当該実オブジェクトと前記撮像部との間の位置関係を推定し、当該推定結果に基づき前記撮像部の位置及び向きのうち少なくともいずれかを認識する認識部を備える、請求項１に記載の情報処理装置。
  3. 前記認識部は、実オブジェクトと前記撮像部との間の前記位置関係の推定結果に基づき、過去に認識された前記撮像部の位置及び向きのうち少なくともいずれかの認識結果を補正する、請求項２に記載の情報処理装置。
  4. 実空間上に仮想オブジェクトが重畳するように当該仮想オブジェクトを表示させる表示制御部を備え、
    前記表示制御部は、前記撮像部の位置及び向きのうち少なくともいずれかの認識結果に基づき、前記仮想オブジェクトの表示位置及び表示サイズのうち少なくともいずれかを制御する、
    請求項２に記載の情報処理装置。
  5. 前記推定部は、前記実オブジェクトのサイズの特定結果に基づき、前記距離の測定結果を補正する、請求項１に記載の情報処理装置。
  6. 前記取得部は、所定のマーカが提示された前記実オブジェクトの前記画像を取得し、
    前記推定部は、前記画像中の前記マーカのサイズと、前記距離の測定結果とに基づき、実空間上における前記実オブジェクトのサイズを推定する、請求項１に記載の情報処理装置。
  7. 前記推定部は、前記実オブジェクトが撮像された画像が取得された場合に、実空間上における当該実オブジェクトのサイズの推定に係る処理を実行する、請求項１に記載の情報処理装置。
  8. 前記推定部は、所定の検知部の検知結果に基づき、前記撮像部の位置及び向きのうち少なくともいずれかの変化を推定し、当該推定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、請求項１に記載の情報処理装置。
  9. 前記推定部は、前記撮像部の位置及び向きのうち少なくともいずれかの変化の前記推定結果に基づき、当該撮像部の画角内に前記実オブジェクトが入ることが予測された場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理を実行する、請求項８に記載の情報処理装置。
  10. 前記推定部は、前記距離の測定結果に基づき、実空間上における前記実オブジェクトのサイズの推定に係る処理の実行タイミングを制御する、請求項１に記載の情報処理装置。
  11. 前記推定部は、前記距離の測定結果が閾値以上の場合に、実空間上における前記実オブジェクトのサイズの推定に係る処理に係る処理を実行する、請求項１０に記載の情報処理装置。
  12. 所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
    プロセッサが、前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
    を含む、情報処理方法。
  13. コンピュータに、
    所定の撮像部により撮像された実空間上の実オブジェクトの画像と、所定の測距部による前記実オブジェクトまでの距離の測定結果とを取得することと、
    前記画像中の前記実オブジェクトのサイズと、前記距離の測定結果とに基づき、実空間上における当該実オブジェクトのサイズを推定し、当該サイズの推定結果を、あらかじめ設定された複数のサイズの候補と比較することで、実空間上における当該実オブジェクトのサイズを特定することと、
    を実行させるためのプログラムが記録された記録媒体。

JP2016006906A 2016-01-18 2016-01-18 情報処理装置、情報処理方法、及び記録媒体 Pending JP2017129904A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016006906A JP2017129904A (ja) 2016-01-18 2016-01-18 情報処理装置、情報処理方法、及び記録媒体
CN201680078613.4A CN108463840B (zh) 2016-01-18 2016-10-18 信息处理设备、信息处理方法以及记录介质
PCT/JP2016/080770 WO2017126172A1 (ja) 2016-01-18 2016-10-18 情報処理装置、情報処理方法、及び記録媒体
EP16886412.2A EP3407302B1 (en) 2016-01-18 2016-10-18 Information processing device, information processing method, and recording medium
US16/066,366 US10783654B2 (en) 2016-01-18 2016-10-18 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016006906A JP2017129904A (ja) 2016-01-18 2016-01-18 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2017129904A true JP2017129904A (ja) 2017-07-27

Family

ID=59362616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016006906A Pending JP2017129904A (ja) 2016-01-18 2016-01-18 情報処理装置、情報処理方法、及び記録媒体

Country Status (5)

Country Link
US (1) US10783654B2 (ja)
EP (1) EP3407302B1 (ja)
JP (1) JP2017129904A (ja)
CN (1) CN108463840B (ja)
WO (1) WO2017126172A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155840A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020071543A (ja) * 2018-10-29 2020-05-07 大豊精機株式会社 複合現実感システム及び検査方法
JPWO2019123770A1 (ja) * 2017-12-20 2021-03-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2021526680A (ja) * 2018-05-17 2021-10-07 ナイアンティック， インコーポレイテッドＮｉａｎｔｉｃ，Ｉｎｃ． 深度推定システムの自己教師ありトレーニング
JP2023000947A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
US11711508B2 (en) 2019-05-02 2023-07-25 Niantic, Inc. Self-supervised training of a depth estimation model using depth hints

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734287B1 (ko) * 2015-08-04 2017-05-11 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
US11309947B2 (en) * 2018-11-19 2022-04-19 Facebook Technologies, Llc Systems and methods for maintaining directional wireless links of motile devices
CN109769091B (zh) * 2019-02-22 2020-09-18 维沃移动通信有限公司 一种图像拍摄方法及移动终端
JP2020178270A (ja) * 2019-04-19 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、画像表示システム、画像解析装置、および画像データ出力方法
US20230039690A1 (en) * 2020-01-14 2023-02-09 Ntt Docomo, Inc. Image display device
CN111932606A (zh) * 2020-10-12 2020-11-13 歌尔光学科技有限公司 物体边界尺寸检测方法、装置、头戴显示设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP2006244329A (ja) 2005-03-07 2006-09-14 Hitachi Ltd 携帯端末および情報処理装置、システム
EP2395763A3 (en) 2010-06-14 2012-02-29 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5548038B2 (ja) 2010-06-14 2014-07-16 任天堂株式会社 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019123770A1 (ja) * 2017-12-20 2021-03-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7226332B2 (ja) 2017-12-20 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2019155840A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11443540B2 (en) 2018-02-07 2022-09-13 Sony Corporation Information processing apparatus and information processing method
JP2021526680A (ja) * 2018-05-17 2021-10-07 ナイアンティック， インコーポレイテッドＮｉａｎｔｉｃ，Ｉｎｃ． 深度推定システムの自己教師ありトレーニング
JP7241775B2 (ja) 2018-05-17 2023-03-17 ナイアンティック， インコーポレイテッド 深度推定システムの自己教師ありトレーニング
US11991342B2 (en) 2018-05-17 2024-05-21 Niantic, Inc. Self-supervised training of a depth estimation system
JP2020071543A (ja) * 2018-10-29 2020-05-07 大豊精機株式会社 複合現実感システム及び検査方法
US11711508B2 (en) 2019-05-02 2023-07-25 Niantic, Inc. Self-supervised training of a depth estimation model using depth hints
JP2023000947A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP7354186B2 (ja) 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Also Published As

Publication number Publication date
US20190012799A1 (en) 2019-01-10
EP3407302A1 (en) 2018-11-28
WO2017126172A1 (ja) 2017-07-27
CN108463840B (zh) 2023-04-25
US10783654B2 (en) 2020-09-22
CN108463840A (zh) 2018-08-28
EP3407302A4 (en) 2018-12-26
EP3407302B1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US9401050B2 (en) Recalibration of a flexible mixed reality device
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
US20130176337A1 (en) Device and Method For Information Processing
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US10771707B2 (en) Information processing device and information processing method
US12010288B2 (en) Information processing device, information processing method, and program
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US11151804B2 (en) Information processing device, information processing method, and program
US20190369807A1 (en) Information processing device, information processing method, and program
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
US20210232219A1 (en) Information processing apparatus, information processing method, and program
US20200342229A1 (en) Information processing device, information processing method, and program
US11282228B2 (en) Information processing device, information processing method, and program