JP7103357B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7103357B2 JP7103357B2 JP2019532382A JP2019532382A JP7103357B2 JP 7103357 B2 JP7103357 B2 JP 7103357B2 JP 2019532382 A JP2019532382 A JP 2019532382A JP 2019532382 A JP2019532382 A JP 2019532382A JP 7103357 B2 JP7103357 B2 JP 7103357B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- region
- information processing
- viewpoint
- image plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Vascular Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、画像認識技術の高度化に伴い、デジタルカメラ等のような撮像部により撮像された画像に基づき、実空間上の物体(以降では、「実オブジェクト」とも称する)の位置、姿勢、及び形状等を3次元的に推定(または計測)することが可能となってきている。また、このような推定結果を利用することで、実オブジェクトの3次元形状を、ポリゴン等によりモデルとして再現(再構成)することも可能となってきている。
また、上述のような技術の応用により、実オブジェクトの画像を撮像する撮像部等のような所定の視点の実空間上における位置や姿勢(即ち、自己位置)を推定(認識)することも可能となってきている。例えば、特許文献1には、物体の3次元形状をモデルとして再現した3次元形状データを自己位置推定に利用する技術の一例が開示されている。
一方で、上述した物体の3次元形状の推定に係る処理は、一般的には処理負荷が高く、推定結果に応じて当該3次元形状を再現したデータ(例えば、3次元形状をモデル化したデータ)のデータ量もより大きくなる傾向にある。また、従来の手法では、物理的な境界の認識が困難となり、結果として物体の3次元形状の推定に係る精度が低下するような場合もある。
そこで、本開示では、実空間上の物体の3次元形状をより好適な態様で推定可能とする技術を提案する。
本開示によれば、幾何構造情報がマッピングされた、実空間上の視点に対応する画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割する分割部と、前記視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得する取得部と、前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出する抽出部と、互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定する推定部と、を備え、前記幾何構造情報は、偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、情報処理装置が提供される。
また、本開示によれば、コンピュータが、幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、を含み、前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、情報処理方法が提供される。
また、本開示によれば、コンピュータに、幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、を実行させ、前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、プログラム。
が提供される。
が提供される。
以上説明したように本開示によれば、実空間上の物体の3次元形状をより好適な態様で推定可能とする技術が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概略構成
2.3次元形状の推定に関する検討
3.技術的特徴
3.1.機能構成
3.2.処理
3.3.変形例
4.ハードウェア構成
5.応用例
6.むすび
1.概略構成
2.3次元形状の推定に関する検討
3.技術的特徴
3.1.機能構成
3.2.処理
3.3.変形例
4.ハードウェア構成
5.応用例
6.むすび
<<1.概略構成>>
まず、図1を参照して、本実施形態に係る情報処理システム1の概略的なシステム構成の一例について説明する。図1は、本実施形態に係る情報処理システム1の概略的なシステム構成の一例について説明するための説明図である。
まず、図1を参照して、本実施形態に係る情報処理システム1の概略的なシステム構成の一例について説明する。図1は、本実施形態に係る情報処理システム1の概略的なシステム構成の一例について説明するための説明図である。
図1に示すように、本実施形態に係る情報処理システム1は、情報取得装置200と、情報処理装置100とを含む。情報処理装置100と情報取得装置200とは、例えば、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置100と情報取得装置200とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、LTE、Wi-Fi(登録商標)等の規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、当該ネットワークは、インターネット、専用線、LAN(Local Area Network)、または、WAN(Wide Area Network)等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
また、図1において、参照符号M111~M114は、実空間上に位置する物体(実オブジェクト)を模式的に示している。
情報取得装置200は、実空間上を移動可能に構成されている。具体的な一例として、情報取得装置200は、所謂ウェアラブルデバイスやスマートフォン等のように携行可能に構成されていてもよい。この場合には、ユーザが情報取得装置200を携行して移動することで、当該情報取得装置200は、実空間上を移動することとなる。また、情報取得装置200は、車両等のような移動体のように自身が移動可能に構成されていてもよい。
また、図1に示すように、情報取得装置200は、デプスセンサ210と、偏光センサ230とを含む。
デプスセンサ210は、所定の視点と実空間上に位置する物体との間の距離を推定するための情報を取得し、取得した当該情報を情報処理装置100に送信する。なお、以降の説明では、デプスセンサ210により取得される、所定の視点と実空間上に位置する物体との間の距離を推定するための情報を、「深度情報」とも称する。
例えば、図1に示す例では、デプスセンサ210は、複数の撮像部210a及び210bを備えた所謂ステレオカメラとして構成されており、当該撮像部210a及び210bにより、互いに異なる視点から実空間上に位置する物体の画像(光学像)を撮像する。この場合には、デプスセンサ210は、撮像部210a及び210bそれぞれにより撮像された画像(例えば、ステレオ画像)を情報処理装置100に送信することとなる。
このようにして互いに異なる視点から撮像された複数の画像を利用することで、例えば、当該複数の画像間の視差に基づき、所定の視点(例えば、情報取得装置200の実空間上の位置)と被写体(即ち、画像中に撮像された実オブジェクト)との間の距離を推定(算出)することが可能となる。そのため、例えば、所定の視点と被写体との間の距離の推定結果が撮像平面にマッピングされた所謂デプスマップを生成することも可能となる。
なお、所定の視点と実空間上の物体(実オブジェクト)との間の距離を推定すること可能であれば、デプスセンサ210に相当する部分の構成や、当該距離の推定に係る方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、TOF(Time Of Flight)、Structured Light等の方式に基づき、所定の視点と実オブジェクトとの間の距離が測定されてもよい。ここで、TOFとは、被写体(即ち、実オブジェクト)に対して赤外線等の光を投光し、投光した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離(深度)を含めた画像(即ち、デプスマップ)を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離(深度)を含めたデプスマップを得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、デプスセンサ210の構成(例えば、単眼カメラ、ステレオカメラ等)を変更してもよい。
偏光センサ230は、実空間上に位置する物体で反射した光のうち、所定の偏光方向に偏光された光(以下、単に「偏光」とも称する)を検知し、当該偏光の検知結果に応じた情報を情報処理装置100に送信する。なお、本実施形態に係る情報処理システム1においては、偏光センサ230は、偏光方向が互いに異なる複数の偏光を検知可能に構成されている。また、以降の説明においては、偏光センサ230による偏光の検知結果に応じた情報を「偏光情報」とも称する。
具体的な一例として、偏光センサ230は、所謂偏光カメラとして構成されており、所定の偏光方向に偏光された光に基づく偏光画像を撮像する。ここで、偏光画像とは、偏光情報が偏光カメラの撮像平面(換言すると、画像平面)上にマッピングされた情報に相当する。なお、この場合には、偏光センサ230は、撮像した偏光画像を情報処理装置100に送信することとなる。
また、偏光センサ230は、デプスセンサ210による距離を推定するための情報の取得対象となる実空間上の領域と少なくとも一部が重畳する領域(理想的には、略一致する領域)から到来する偏光を撮像可能に保持されるとよい。なお、デプスセンサ210及び偏光センサ230のそれぞれが所定の位置に固定されている場合には、デプスセンサ210及び偏光センサ230それぞれの実空間上の位置を示す情報をあらかじめ取得しておくことで、それぞれの位置を既知の情報として扱うことも可能である。
なお、図1に示す例では、デプスセンサ210及び偏光センサ230が共通の装置(即ち、情報取得装置200)に保持される例について示しているが、必ずしも同構成には限定されない。具体的な一例として、デプスセンサ210と偏光センサ230とが互いに異なる装置に設けられていてもよい。なお、この場合には、デプスセンサ210が情報の取得対象とする実空間上の領域と、偏光センサ230が情報(偏光)の取得対象とする実空間上の領域と、が重畳し、デプスセンサ210と偏光センサ230との相対的な位置関係を認識可能であることが望ましい。
また、本実施形態に係る情報処理システム1では、所謂自己位置推定と呼ばれる技術を応用することで、情報取得装置200の実空間上における位置及び姿勢が推定されてもよい。
ここで、所定の装置の実空間上における位置及び姿勢を推定する技術のより具体的な一例として、SLAM(simultaneous localization and mapping)と称される技術について説明する。SLAMとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、SLAM(特に、Visual SLAM)では、撮像部により撮像された動画像に基づき、撮像されたシーン(または、被写体)の3次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、当該撮像部が保持された装置に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
情報処理装置100は、デプスセンサ210から深度情報を取得し、取得した深度情報に基づき、所定の視点(例えば、情報取得装置200)の位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、所定の視線の位置及び姿勢のうち少なくともいずれかの推定結果に応じた情報を「姿勢情報」とも称する。即ち、以降の説明では、「所定の視点の姿勢情報」と記載した場合には、当該姿勢情報は、当該視点の位置及び姿勢のうち少なくともいずれかの推定結果に応じた情報を含むものとする。
また、情報処理装置100は、偏光センサ230から偏光情報を取得し、取得した偏光情報と、所定の視点の姿勢情報と、に基づき、実オブジェクトの3次元的な形状を推定する。また、情報処理装置100は、実オブジェクトの3次元的な形状の推定結果に基づき、当該実オブジェクトの3次元的な形状を再現したモデルを生成してもよい。なお、情報処理装置100の動作の詳細については別途後述する。
なお、上述した構成はあくまで一例であり、本実施形態に係る情報処理システム1のシステム構成は、必ずしも図1に示す例のみには限定されない。例えば、前述したように、デプスセンサ210及び偏光センサ230が、移動可能に構成された装置の一部として一体的に構成されていてもよい。また、デプスセンサ210及び偏光センサ230と、情報処理装置100とが一体的に構成されていてもよい。
また、図1に示す例では、情報処理装置100は、デプスセンサ210による深度情報の取得結果に基づき、所定の視点(例えば、情報取得装置200)の姿勢情報を取得していたが、当該姿勢情報を取得可能であればその構成や方法は必ずしも限定されない。即ち、所定の視点の姿勢情報を取得するための構成として、デプスセンサ210に替えて他の構成が設けられていてもよい。また、偏光センサ230が、デプスセンサ210の機能を代替してもよい。たとえば、偏光方向が互いに異なる複数の偏光それぞれに基づく偏光画像を合成することで実空間の光学像を模擬した画像を生成し、当該画像に基づき所定の視点の姿勢情報を取得することも可能である。
以上、図1を参照して、本実施形態に係る情報処理システム1の概略的なシステム構成の一例について説明した。
<<2.3次元形状の推定に関する検討>>
続いて、実空間上の物体の3次元形状の推定に係る技術の一例について概要を説明したうえで、本実施形態に係る情報処理システムの課題について整理する。
続いて、実空間上の物体の3次元形状の推定に係る技術の一例について概要を説明したうえで、本実施形態に係る情報処理システムの課題について整理する。
実空間上の物体の3次元形状を推定するための技術の一例としては、主に、アクティブ型のセンサを利用した技術と、パッシブ型のセンサを利用した技術とが挙げられる。
具体的には、アクティブ型のセンサを利用した3次元形状の推定に係る技術としては、例えば、「Structured Light」、「Patterned Light」、「Time of Flight」、「ICP(Iterative Closest Point)」、「TSDF(Truncated Signed Distance Function)」等が挙げられる。より具体的な一例として、アクティブ照射方式を採用した深度推定では、実空間上の物体に対して能動的に光を照射し、当該物体で反射した反射光を検出することで、当該物体との間の距離を推定する。
以上のような特性から、アクティブ型のセンサを利用する場合においては、光の照射パワーに応じて深度推定の精度が変化し、より安定した深度推定を実現するためには、電力消費がより大きくなる傾向にある。具体的な一例として、数m程度離間した物体との間の距離を安定して推定する場合には、数十W程度の電力が必要となる場合がある。また、アクティブ型のセンサを利用する場合には、複数のデバイスが動作する状況下において、当該複数のデバイスそれぞれが光を照射することで干渉が生じる場合がある。また、アクティブ型のセンサを利用する場合には、上述した物体との間の距離推定に係る仕組みの特性上、外部環境の明るさが物体との間の深度の推定に影響する場合がある。特に、太陽光の影響が強い屋外環境においては、物体に対して光の反射光を検出することが困難となり、ひいては当該物体との間の距離の推定が困難となる場合もある。
これに対して、パッシブ型のセンサを利用した3次元形状の推定に係る技術としては、例えば、ステレオカメラ等を利用した多視点間側に伴う三角測量に基づく手法が挙げられる。パッシブ型のセンサを利用した手法では、アクティブ型のセンサを利用した手法のように、物体に対する能動的な光の照射は行わず、例えば、物体を被写体として撮像した画像から当該物体の特徴点を抽出することで、当該物体との間の距離の推定が行われる。
以上のような特性からの、パッシブ型のセンサを利用する場合には、滑らかに連続した面のように、特徴点として抽出可能な部分が少ない物体において、当該物体との間の距離を安定的に推定することが困難となる場合がある。また、パッシブ型のセンサを利用する場合においては、マッチングの誤りや、深度推定に係る量子化誤差等の影響が顕在化する場合もある。
また、アクティブ型及びパッシブ型のいずれのセンサを利用する場合においても、実空間上の物体の形状をより均質に表現するためには、データ量がより大きくなる傾向にある。また、物体の表面形状を推定するための手法として、当該物体の表面の法線に関する情報を利用する手法が挙げられるが、物体との間の距離(即ち、深度)の推定結果を利用した法線の推定に係る処理は、計算コストがより大きくなる傾向にある。また、物体との間の距離の推定結果を利用することで、当該物体の形状を3次元モデルで再現する場合には、例えば、複数の物体が、当該複数の物体それぞれの表面がつながった一連のポリゴンとして再現され、物理的な境界でのセグメンテーションが困難となる場合もある。なお、本説明において、物理的な境界とは、空間の連続性が不連続な部分の境界に相当し、例えば、実空間上における物体間の境界や、物体を構成する複数の面の間の境界等を示す。
また、所謂デジタルカメラ(例えば、ステレオカメラ等)により撮像された物体の光学像に基づき、当該物体の形状を推定する手法が挙げられるが、このような場合においても、物理的な境界を認識してセグメンテーションを行うことが困難な場合がある。例えば、図2及び図3は、物体の形状の推定に係る手法の一例について説明するための説明図である。
具体的には、図2は、実空間上に物体が載置されている環境を模式的に示している。図2において、参照符号M201及びM203は、実空間上の壁面を示している。また、参照符号M205は、実空間上の底面に示している。また、参照符号M211~217は、壁面M201及びM203に囲まれた空間に載置された物体(実オブジェクト)を示している。また、図2に示す例では、壁面M201及びM203と、底面M205と、物体M211~M217と、のそれぞれの表面には図柄や模様(換言すると、テクスチャ)が付されている。なお、図2に示す例では、便宜上、壁面M201及びM203のそれぞれと、底面M205と、物体M211~M217それぞれの各面と、の間の物理的な境界を太線で示し、各面の表面に付された図柄や模様を細線で示している。
また、図3は、図2に示す環境の光学像をデジタルカメラ等により撮像し、当該撮像結果に基づき境界検出を行い、当該境界検出の結果に基づきセグメンテーションを行った場合の一例を示している。図3に示すように、物体の光学像に基づく境界検出を行う場合においては、物理的な境界と、各面の表面に付された図柄や模様の線と、識別することが困難となる。即ち、図3に示す例では、物理的な境界を識別してセグメンテーションを行うことが困難となり、結果として物体(例えば、壁面M201及びM203、底面M205、並びに物体M211~M217等)の形状の推定が困難となる場合もある。
以上のような状況を鑑み、本開示では、実空間上の物体の3次元形状をより好適な態様で推定可能とし、当該推定結果に応じて当該3次元形状をより好適な態様でモデル化することを可能とする技術を提案する。具体的には、本開示では、実空間上の物体の3次元形状の推定に係る処理負荷やデータ量の低減と、当該3次元形状の推定に係る精度の向上と、を両立することが可能な仕組みの一例について提案する。
<<3.技術的特徴>>
以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。
以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。
<3.1.機能構成>
まず、図4を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図1に示した情報処理装置100の構成に着目して説明する。図4は、本実施形態に係る情報処理装置の機能構成の一例について示したブロック図である。
まず、図4を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図1に示した情報処理装置100の構成に着目して説明する。図4は、本実施形態に係る情報処理装置の機能構成の一例について示したブロック図である。
図4に示すように、本実施形態に係る情報処理装置100は、前処理部101と、姿勢推定部103と、領域分割部105と、推定部107とを含む。また、推定部107は、マッチング処理部109と、領域パラメタ推定部111と、3次元モデル更新部113と、記憶部115と、3次元形状推定部117とを含む。
前処理部101は、実空間上の物体の形状推定に使用する各種情報を入力データとして取得する。具体的な一例として、前処理部101は、図1に示す情報取得装置200により取得された各種情報、例えば、偏光センサ230により取得された偏光画像(偏光情報)や、撮像部210a及び210bにより撮像された被写体の画像(例えば、ステレオ画像)等を入力データとして取得する。前処理部101は、取得した入力データに対して所定の前処理を施し、当該前処理後のデータを姿勢推定部103及び領域分割部105に出力する。
より具体的には、前処理部101は、図1に示す偏光センサ230により偏光方向が互いに異なる複数の偏光それぞれについて撮像された偏光画像(例えば、N枚のRaw画像)を入力データとして当該偏光センサ230から取得する。前処理部101は、取得した当該偏光画像に対してガウシアンフィルタやバイラテラルフィルタ等の所定のフィルタを適用することで、当該偏光画像のノイズ除去を行う。また、前処理部101は、取得した偏光画像に対して事前に取得されたキャリブレーション情報に基づき、幾何的な歪補正を施してもよい。
前処理部101は、図1に示す撮像部210a及び210bにより撮像されたステレオ画像を入力データとして取得してもよい。この場合には、前処理部101は、当該入力データに対して、所謂平行化処理を施してもよい。
また、前処理部101は、複数の偏向それぞれに対応する偏光画像を重ねあわせることで、当該偏光画像中に撮像された物体の光学像が撮像された画像を生成してもよい。
また、前処理部101は、偏光画像が示す光の強度(即ち、複数の偏光の光強度に相当し、上記偏光情報に相当する)に対して、コサインカーブフィッティングに基づく偏光イメージング処理を施すことで、当該偏光画像に撮像された物体の幾何構造に関する情報(以降では、「幾何構造情報」とも称する)を算出する。
なお、上記幾何構造情報としては、例えば、上記コサインカーブフィッティングの結果として得られる振幅及び位相に応じた情報や、当該振幅及び当該位相に基づき算出される当該物体の表面の法線に関する情報(以下、「法線情報」とも称する)が挙げられる。また、法線情報としては、法線ベクトルを天頂角及び方位角で示した情報や、当該ベクトルを3次元の座標系で示した情報等が挙げられる。なお、天頂角については、コサインカーブの振幅から算出することが可能である。また、方位角については、コサインカーブの位相から算出することが可能である。また、天頂角及び方位角については、xyz等で示される3次元の座標系に変換可能であることは言うまでもない。また、上記法線情報が偏光画像の画像平面上にマッピングされた当該法線情報の分布を示す情報が、所謂法線マップに相当する。また、上記偏光イメージング処理が施される前の情報、即ち、偏光情報が幾何構造情報として使用されてもよい。
上記を踏まえ、以降の説明においては、偏光センサ230により取得された偏光画像と、上記偏光イメージング処理に基づき算出された上記幾何構造情報が当該偏光画像の画像平面上にマッピングされた情報と、を総じて「偏光画像」と称する場合がある。即ち、以降においては、単に「偏光画像」と記載した場合には、特に説明が無い限りは、偏光センサ230により取得された偏光画像と、上記前処理が施された偏光画像と、のいずれも含み得るものとする。
そして、前処理部101は、入力データに対して各種処理(即ち、前処理)を施すことで取得した上記した各種情報を、後段に位置する姿勢推定部103や領域分割部105に出力する。
姿勢推定部103は、所定の視点の実空間上における位置及び姿勢のうち少なくともいずれかを推定する。なお、当該所定の視点とは、実空間上における位置や姿勢の推定の対象を示しており、例えば、図1に示す偏光センサ230、撮像部210a及び210b、並びに、当該偏光センサ230や撮像部210a及び210bが保持された情報取得装置200等が相当し得る。なお、以降では、姿勢推定部103は、情報取得装置200の実空間上における位置や姿勢を推定するものとして説明する。
具体的な一例として、姿勢推定部103は、実空間上の物体が撮像された画像を入力情報として、前処理部101から取得する。上記入力情報としては、例えば、複数の偏向それぞれに対応する偏光画像の重ねあわせにより生成された画像や、撮像部210a及び210bにより撮像されたステレオ画像等が挙げられる。姿勢推定部103は、取得した入力情報に基づき、SLAMやSfM(Structure from Motion)等のような画像情報に基づく自己位置推定の技術を利用することで、情報取得装置200の実空間上における位置や姿勢を推定する。
なお、情報取得装置200の実空間上における位置や姿勢を推定することが可能であれば、当該推定のための構成や方法は特に限定されない。具体的な一例として、デプスセンサにより取得された深度情報に基づき、ICP(Iterative Closest Point)等の技術を利用することで、情報取得装置200の実空間上における位置や姿勢が推定されてもよい。また、上記推定のための構成に応じて、前処理部101が入力データとして取得するデータのうち少なくとも一部のデータの種別や、当該前処理部101が当該少なくとも一部のデータに対して施す処理の内容が適宜変更されてもよい。また、当該少なくとも一部のデータを取得するための構成(例えば、情報取得装置200に保持される構成)についても、適宜変更されてもよい。
そして、姿勢推定部103は、情報取得装置200の実空間上における位置及び姿勢のうち少なくともいずれかの推定結果を示す情報を推定部107(マッチング処理部109)に出力する。なお、以降の説明では、情報取得装置200等の対象となる物体の実空間上における位置及び姿勢のうち少なくともいずれかを示す場合に、単に「物体の姿勢」(例えば、情報取得装置200の姿勢)とも称する。また、対象となる物体の姿勢の推定結果を示す情報、「姿勢情報」とも称する。また、姿勢推定部103のように、当該姿勢情報を取得する構成が「取得部」の一例に相当する。
領域分割部105は、前処理部101から偏光画像を含む各種情報を取得する。領域分割部105は、取得した偏光画像中の幾何構造情報を入力として、当該偏光画像中における空間連続性を判定して物理的な境界を検出することで、当該偏光画像の画像平面を複数の領域に分割する。なお、物理的な境界を検出するための手法としては、例えば、Connected-Component-labeling法、Mean-Shift法、RANSAC(Random sample consensus)を用いた手法や、Graph-Cuts法等の手法を利用することが可能である。
また、領域分割部105は、偏光画像の画像平面が分割された各領域を識別するための情報として、当該各領域に対してラベル付けを行ってもよい。例えば、図5は、偏光画像の一例について説明するための説明図であり、図2に示す環境が撮像された偏光画像の一例を模式的に示している。図5において、参照符号M201~M217のそれぞれは、図2において同様の符号が付された対象を示している。図5と図2及び図3と比較するとわかるように、偏光画像を利用することで、物体の表面に図柄や模様が付されているか否かに関わらず、実空間上の物体間の境界や、当該物体を構成する複数の面の境界等の物理的な境界を検出することが可能となる。
また、図6は、本実施形態に係る情報処理装置における偏光画像の画像平面の領域分割に係る処理について説明するための説明図であり、図5に示す偏光画像を物体の境界の検出結果に基づき複数の領域に分割した結果の一例を示している。
そして、領域分割部105は、偏光画像の画像平面が分割された複数の領域それぞれが識別可能となるように、当該複数の領域それぞれに対してラベル付けを行う。
なお、物体の表面が曲面を含む場合には、当該曲面においては、幾何構造情報が互いに異なる値を示す(即ち、法線方向が互いに異なる)部分が存在するが、空間的な連続性を有している(即ち、一連の面として構成されている)。具体的には、互いに隣接する複数の面の間のように、空間的な連続性を有していない場合には、当該複数の面の境界のように空間的に不連続な部分を境に、幾何構造情報が大きく変化する。これに対して、曲面のように空間的な連続性を有している場合には、当該曲面に対応する領域中において幾何構造情報が連続的に変化する。即ち、空間的な連続性を有している場合においては、偏光画像中の互いに近傍に位置する画素間(例えば、隣接する画素間)において、幾何構造情報の変化が、空間的に不連続な部分に比べて小さい。このような特性を利用し、例えば、領域分割部105は、隣接する画素間において幾何構造情報の変化が閾値以下の部分については、同一面上の領域として近似したうえで、上記ラベル付けを行ってもよい。
例えば、図7は、本実施形態に係る情報処理装置における偏光画像の画像平面の領域分割に係る処理について説明するための説明図であり、上述した近似処理について説明するための説明図である。具体的には、図7の左側の図に示した円筒形の物体の側面M301は曲面として形成されているため、円周方向の位置に応じて法線方向が異なる。一方で、側面M301のうち、円周方向に沿って互いに近傍に位置する部分においては法線方向の変化が小さい。即ち、偏光画像中において、側面M301に対応する領域では、隣接する画素間において幾何像情報の変化が小さくなる。そのため、上記近似処理により、曲面として形成された側面M301を1つの面として認識できるように、ラベル付けを行うことが可能となる。例えば、図7の右側の図は、当該ラベル付けの結果の一例を示しており、左側の図における側面M301に対応する領域M303が1つの面として認識できるようにラベル付けが行われている。
また、具体的な一例として、図6に示す例では、底面M205の一部に、幾何構造情報の値が異なる領域が存在している。このような場合においても、上述した処理に基づき、空間的な連続性を有する底面M205を、1つの面として認識することが可能となる。即ち、上述した処理により、平面のみに限らず曲面等のように空間的な連続性を有する1つの面を、1つの領域として偏光画像の画像平面から分割することが可能となる。
例えば、図8は、本実施形態に係る情報処理装置における偏光画像の画像平面の領域分割に係る処理について説明するための説明図であり、図6に示す領域分割の結果に対してラベル付けが行われた結果の一例を示している。即ち、上述した処理により、図8に示すように、図2に示した環境を撮像した偏光画像の画像平面が物理的な境界により分割された複数の領域それぞれを識別することが可能となる。また、図8に示す例においては、図6において幾何構造情報の値が異なる領域が存在する底面M205を、空間的な連続性を有する1つの面として識別可能となっていることがわかる。
そして、領域分割部105は、取得した偏光画像に基づく上記領域分割の結果を示す情報を、推定部107(マッチング処理部109)に出力する。
続いて、推定部107の動作について説明する。推定部107は、領域分割部105による上記領域分割の結果と、姿勢推定部103による上記推定の結果と、を逐次取得する。推定部107は、取得した上記情報に基づき、実空間上の物体をモデル化した3次元モデルを逐次更新し、当該3次元モデルに基づき当該物体の形状を推定する。なお、3次元モデルのデータについては、例えば、記憶部115に記憶される。記憶部115は、各種データを、一時的または恒常的に記憶するための記憶領域である。ここで、推定部107の動作について、以下により詳細に説明する。
マッチング処理部109は、領域分割部105から、取得された偏光画像の画像平面が分割された複数の領域に関する情報を逐次取得する。また、マッチング処理部109は、姿勢推定部103から、所定の視点(例えば、情報取得装置200)の姿勢情報を逐次取得する。そして、マッチング処理部109は、領域分割部105及び姿勢推定部103から取得した上記各情報に基づき、上記視点と、偏光画像中に撮像された物体と、の間の実空間上の位置関係を推定する。
マッチング処理部109は、視点の姿勢の推定結果と、記憶部115に記憶された過去に推定済みの3次元モデル(即ち、偏光画像中に撮像された物体の3次元モデル)と、の位置関係に応じて、当該3次元モデルの各表面領域(例えば、物体の各面に対応する領域)を当該視点の姿勢に射影させる。以上のようにして、マッチング処理部109は、偏光画像の画像平面から分割された各領域と、上記3次元モデルの各表面領域と、の間でマッチングを行う。また、このときマッチング処理部109は、当該マッチングに基づき(換言すると、過去に推定された3次元モデルを考慮して)、過去に3次元モデルが推定された既知の領域について詳細分割化や拡張を行ってもよい。
マッチング処理部109は、偏光画像の画像平面から分割された各領域のうちいずれかの領域を注目領域として逐次抽出する。そして、マッチング処理部109は、抽出した注目領域に関する情報と、当該注目領域について3次元モデルの各表面領域とのマッチングの結果を示す情報と、視点の姿勢の推定結果を示す情報(即ち、情報取得装置200の姿勢情報)と、を領域パラメタ推定部111に逐次出力する。なお、マッチング処理部109(ひいては、推定部107)のうち上記注目領域を抽出する部分が「抽出部」の一例に相当する。
領域パラメタ推定部111は、上記注目領域に関する情報と、当該注目領域と3次元モデルの各表面領域とのマッチングの結果を示す情報と、観測フレームにおける情報取得装置200の姿勢情報と、をマッチング処理部109から取得する。
領域パラメタ推定部111は、注目領域の幾何構造情報(例えば、法線情報)に基づき、当該注目領域に対応する実空間上の面(以下、単に「注目領域に対応する面」とも称する)の領域パラメタを推定する。注目領域に対応する面の領域パラメタは、以下に示す(式1)で表される。
なお、1つの視点からの偏光画像に基づく情報のみでは、注目領域に対応する面の法線は特定できるものの、当該視点と当該面との間の距離(即ち、奥行き方向の距離であり、換言すると深度)は未知の値となる。そこで、本実施形態に係る情報処理装置100においては、当該視点とは異なる他の視点からの情報をあわせて利用し、注目領域に対応する面の法線と深度とからなる3自由度の非線形最適化問題を解くことで、当該注目領域に対応する面の実空間上の位置を推定する。なお、以降の説明では、上記複数の視点それぞれに対応するフレームのうち、基準となるフレームを「基準フレーム」と称し、基準フレーム以外の他のフレームを「観測フレーム」と称する。
具体的には、領域パラメタ推定部111は、基準フレームに対応する視点の姿勢(情報取得装置200の姿勢)と、注目領域に対応する面の領域パラメタと、に応じて、観測フレームに対応する画像平面上に、当該面(換言すると、基準フレームに対応する注目領域)を投影する。ここで、観測フレームに対応する画像平面とは、当該観測フレームに対応する視点から撮像された上記偏光画像の画像平面、または、当該視点から撮像され得る上記偏光画像の画像平面に相当する。これは、基準フレームに対応する画像平面についても同様である。
例えば、図9は、本実施形態に係る情報処理装置による物体の形状の推定に係る処理について説明するための説明図であり、基準フレーム及び観測フレームそれぞれに対応する視点の姿勢と、注目領域に対応する面と、の間の関係について示している。図9において、参照符号D201は、注目領域に対応する面を模式的に示している。また、参照符号D203は、注目領域に対応する面中の注目している位置(以降では、「注目位置」とも称する)を模式的に示している。参照符号P101aは、基準フレームに対応する視点を示している。参照符号D101aは、基準フレームに対応する画像平面を模式的に示している。参照符号P103aは、注目位置P203に対応する画像平面D101a上の画素を模式的に示している。即ち、画素P103aは、画像平面D101a上の注目領域(即ち、面D201に対応する領域)中の画素に相当する。参照符号P101bは、観測フレームに対応する視点の姿勢を示している。参照符号D101bは、観測フレームに対応する画像平面を模式的に示している。参照符号P103bは、注目位置P203に対応する画像平面D101b上の画素を模式的に示している。即ち、画素P103bは、画像平面D101b上の注目領域中の画素に相当する。
また、図10は、本実施形態に係る情報処理装置による物体の形状の推定に係る処理について説明するための説明図であり、基準フレーム及び観測フレームそれぞれに対応する画像平面が分割された各領域を模式的に示している。図10において、参照符号D101a及びD101bは、図9に示す画像平面D101a及びD101bの一例を示している。また、図10において参照符号D201aは、画像平面D101a上における注目領域を模式的に示している。同様に、参照符号D201bは、画像平面D101b上における注目領域を模式的に示している。即ち、注目領域D201a及びD201bのそれぞれは、実空間上における同一平面を示している。また、参照符号P103aは、図9に示す画像平面D101a上の画素P103aを示している。同様に、参照符号P103bは、図9に示す画像平面D101b上の画素P103bを示している。
ここで、基準フレームに対応する画像平面D101a上における、注目位置P203に対応する画素P103a(即ち、注目領域D201a中の画素)の当該画像平面D101a上における位置u0(以降では、「画素位置」とも称する)を、以下に示す(式2)で表すものとする。
また、観測フレームに対応する画像平面D101bにおける面D201の法線ベクトル(即ち、図10に示す注目領域D201bの法線ベクトル)をq-で示すものとする。なお、本説明において、「q-」は、「q」の上にバーが付された文字を示すものとする。また、以降の説明においては、法線ベクトルq-を「平面法線ベクトルの初期値」とも称する。
なお、平面法線ベクトルの初期値q-については、取得方法は特に限定されない。例えば、偏光画像に基づく幾何構造情報の分布(例えば、法線マップ)から注目領域の法線に関する情報が取得され、当該注目領域と視点との間の距離についてはユーザ設定の固定値を利用されることで、平面法線ベクトルの初期値q-が取得されてもよい。また、他の一例として、注目領域に対応する平面に対する相対的な視点の姿勢(情報取得装置200の姿勢)が固定であるものとして、固定の法線及び距離が利用されてもよい。また、他の一例として、視点の姿勢の変化を加速度センサ等により検出可能な場合には、注目領域に対応する平面が特定の向きを向いているものと想定して(例えば、注目領域が地面や壁面であるものと想定して)、重力方向のベクトルと視点の姿勢とに基づき算出される当該平面の法線と固定の距離とが利用されてもよい。また、過去の観測及び推定に基づく注目領域の3次元モデルが利用可能な場合には、視点の姿勢を利用することで偏光画像の画像平面上における当該注目領域を当該3次元モデルに射影することで、法線と距離とを得ることも可能である。
上記に基づき、観測フレームに対応する画素P101bの画像平面D101bにおける画素位置は、例えば、基準フレームに対応する画素P101aの画素位置u0と、平面法線ベクトルの初期値q-とに基づき、WQ(u0,q-)で表される。なお、WQは、射影を示す関数である。
領域パラメタ推定部111は、基準フレームに対応する注目領域D201a中の注目位置P203に対応する画素P103aを逐次変更し、当該画素P103aと、観測フレーム側の対応する画素P103bと、の間において、画素値(即ち、幾何構造情報)の差分和を算出する。そして、領域パラメタ推定部111は、基準フレームと観測フレームとの間における上記注目位置P203に対応する画素の画素値の差分和(即ち、画素P103a及びP103b間における画素値の差分和)をコストとした最小化問題を解くことで、当該注目領域に対応する面の実空間上の位置及び姿勢(特に、当該面の深度)を推定する。
ここで、平面法線ベクトルの初期値q-に対する当該平面法線ベクトルの補正量Δqとする。即ち、補正量Δqは、注目領域に対応する面の法線ベクトルqと、上記平面法線ベクトルの初期値q-と、の間の変化量に相当する。このとき、上記コストは、例えば、以下に(式3)として示す計算式により算出される。
なお、上記(式3)において、左辺に示すe(q-+Δq)が上記コストに相当する。また、u0iは、基準フレームに対応する画像平面D101a上における注目領域D201a内のi番目の画素の画素位置を示している。また、IR[u0i]は、基準フレームに対応する画像平面D101aにおける、画素位置u0iの画素P103aの画素値を示している。同様に、IQ[wQ(u0i,q-+Δq)]は、観測フレームに対応する画像平面D101bにおいて、画素位置wQ(u0i,q-+Δq)の画素P103bの画素値を示している。なお、画素位置wQ(u0i,q-+Δq)は、前述した通り、基準フレームに対応する画像平面D101aの画素P103aが、観測フレームに対応する画像平面D101bに射影された画素P103bの画素位置を示している。なお、基準フレームに対応する画像平面D101aの画素P103aが「第1の画素」の一例に相当し、当該画素P103aが観測フレームに対応する画像平面D101bに射影された画素P103bが「第2の画素」の一例に相当する。
以上のようにして、領域パラメタ推定部111は、平面法線ベクトルの初期値q-の条件を変えながら、上記コストの計算を反復して実行し、よりコストの小さくなる条件を探索する。上記計算に基づき、平面法線ベクトルの初期値q-に対する補正量Δqが得られる。これにより、領域パラメタ推定部111は、注目領域に対応する面の実空間上の位置及び姿勢(換言すると、当該面の上記(式1)で示した領域パラメタ)を推定することが可能となる。
そして、領域パラメタ推定部111は、注目領域に対応する面の実空間上の位置及び姿勢の推定結果を示す情報と、当該注目領域と3次元モデルの表面領域とのマッチングの結果を示す情報と、を3次元モデル更新部113に出力する。
3次元モデル更新部113は、注目領域に対応する面の実空間上の位置及び姿勢の推定結果を示す情報と、当該注目領域と3次元モデルの表面領域とのマッチングの結果を示す情報と、を領域パラメタ推定部111から取得する。3次元モデル更新部113は、取得した当該情報に基づき、記憶部115にデータが保持された3次元モデルのうち、対応する表面領域の位置及び姿勢を、上記推定結果を示す情報に基づき補正することで、当該3次元モデルを更新する。
なお、注目領域に対応する面が、3次元モデル表面領域のうち、位置及び姿勢が過去に推定されていない(即ち、モデル化が行われていない)場合もある。このような場合には、マッチング処理部109から、領域パラメタ推定部111を介して3次元モデル更新部113に、上記マッチングの結果を示す情報が通知されなくてもよい。なお、この場合には、3次元モデル更新部113は、上記推定結果を示す情報に基づき、対象領域に対応する面をモデル化した表面領域を、上記3次元モデルに付加的に形成すればよい。
以上のようにして、偏光画像の画像平面から分割された各領域について、当該領域に対応する実空間上の面の位置及び姿勢が推定され、当該推定結果に基づき、記憶部115にデータが保持された3次元モデルが更新される。また、視点の姿勢(情報取得装置200の姿勢)が変化した場合においても、当該姿勢の推定結果と、当該視点において取得された偏光画像と、に応じて上述した一連の処理が実行されることで、3次元モデルが更新されることとなる。
3次元形状推定部117は、記憶部115にデータが保持された3次元モデルに基づき、実空間上の物体の形状(例えば、表面形状)を推定する。また、3次元形状推定部117は、当該3次元モデルに基づき、実空間上の物体の形状を模擬したデータを生成してもよい。具体的な一例として、3次元形状推定部117は、当該3次元モデルに基づき、実空間上の物体の3次元的な形状を、頂点、辺、及び面の集合として再現したポリゴンメッシュを生成してもよい。そして、3次元形状推定部117は、上記物体の形状の推定結果を示す情報や、上記物体の形状を模擬したデータを、出力データとして所定の出力先に出力する。
なお、図4に示した情報処理装置100の機能構成はあくまで一例であり、必ずしも図4に示す例のみには限定されない。具体的な一例として、図4に示した情報処理装置100の各構成のうち、一部の構成が当該情報処理装置100とは異なる装置(例えば、外部のサーバ等)に設けられていてもよい。また、上述した情報処理装置100の各機能が、複数の装置が連携することにより実現されてもよい。また、情報処理装置100と情報取得装置200とが一体的に構成されていてもよい。
以上、図4~図10を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図1に示した情報処理装置100の構成に着目して説明した。
<3.2.処理>
続いて、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、図1に示した情報処理装置100の処理に着目して説明する。例えば、図11は、本実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。
続いて、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、図1に示した情報処理装置100の処理に着目して説明する。例えば、図11は、本実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。
図11に示すように、情報処理装置100(前処理部101)は、偏光センサ230により取得された偏光画像(偏光情報)や、撮像部210a及び210bにより撮像された被写体の画像(例えば、ステレオ画像)等を含む入力データを、情報取得装置200から取得する。情報処理装置100は、入力データとして取得した各種情報に対して所定の前処理を施してもよい。なお、当該前処理の内容については前述したため詳細な説明は省略する(S101)。
情報処理装置100(領域分割部105)は、取得した偏光画像中における空間連続性を判定して物理的な境界を検出することで、当該偏光画像の画像平面を複数の領域に分割する。また、情報処理装置100は、偏光画像の画像平面が分割された複数の領域それぞれが識別可能となるように、当該複数の領域それぞれに対してラベル付けを行う。このとき、情報処理装置100は、隣接する画素間において幾何構造情報の変化が閾値以下の部分については、同一面上の領域として近似したうえで、当該ラベル付けを行ってもよい(S103)。
また、情報処理装置100(姿勢推定部103)は、所定の視点の姿勢を推定する。なお、当該推定の方法は特に限定されない。例えば、情報処理装置100は、撮像部210a及び210bにより撮像された被写体のステレオ画像における視差を利用し、被写体と所定の視点との間の距離を推定することで、当該視点の姿勢を推定してもよい(S105)。
情報処理装置100(マッチング処理部109)は、視点の姿勢の推定結果と、過去に推定済みの3次元モデルと、の位置関係に応じて、偏光画像の画像平面が分割された複数の領域それぞれと、当該次元モデルの各表面領域と、の間でマッチングを行う(S107)。
情報処理装置100(マッチング処理部109)は、偏光画像の画像平面から分割された各領域のうちいずれかの領域を注目領域として抽出する。情報処理装置100(領域パラメタ推定部111)は、注目領域の何構造情報に基づき、当該注目領域に対応する面の領域パラメタを推定する。情報処理装置100は、基準フレームに対応する視点の姿勢と、注目領域に対応する面の領域パラメタと、に応じて、観測フレームに対応する画像平面上に、当該面を投影する。情報処理装置100は、基準フレームに対応する注目領域中の注目位置に対応する画素を逐次変更し、当該画素と、当該画素が投影された観測フレーム側の画素と、の間において画素値(即ち、幾何構造情報)の差分和を算出する。そして、情報処理装置100は、基準フレームと観測フレームとの間における上記注目位置に対応する画素の画素値の差分和をコストとした最小化問題を解くことで、当該注目領域に対応する面の実空間上の位置及び姿勢を推定する。なお、当該推定に係る処理については前述したため、詳細な説明は省略する(S109)。
情報処理装置100(3次元モデル更新部113)は、注目領域に対応する面の実空間上の位置及び姿勢の推定結果に基づき、過去に推定された3次元モデルのうち、対応する表面領域の位置及び姿勢を補正することで、当該3次元モデルを更新する(S111)。
なお、参照符号S109及びS111で示した処理については、偏光画像の画像平面から分割された複数の領域のうち2以上の領域を対象として、当該領域を注目領域として実行されてもよい。
以上のような処理により、情報処理装置100は、例えば、逐次更新される上記3次元モデルに基づき、実空間上の物体の形状(例えば、表面形状)を推定することが可能となる。また、他の一例として、情報処理装置100は、当該3次元モデルに基づき、実空間上の物体の形状を模擬したデータ(例えば、ポリゴンメッシュ等)を生成することも可能となる。
情報処理装置100は、一連の処理の終了が指示されるまで(S113、NO)、参照符号S101~S111で示した一連の処理を実行する。そして、情報処理装置100は、一連の処理の終了が指示されると(S113、YES)、上述した処理の実行を終了する。
以上、図11を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、図1に示した情報処理装置100の処理に着目して説明した。
<3.3.変形例>
続いて、本実施形態に係る情報処理システムの変形例について説明する。本変形例では、複数の観測フレームを利用する場合の一例について説明する。例えば、図12は、変形例に係る情報処理装置による物体の形状の推定に係る処理について説明するための説明図であり、基準フレーム及び観測フレームそれぞれに対応する視点の姿勢と、注目領域に対応する面と、の間の関係について示している。
続いて、本実施形態に係る情報処理システムの変形例について説明する。本変形例では、複数の観測フレームを利用する場合の一例について説明する。例えば、図12は、変形例に係る情報処理装置による物体の形状の推定に係る処理について説明するための説明図であり、基準フレーム及び観測フレームそれぞれに対応する視点の姿勢と、注目領域に対応する面と、の間の関係について示している。
図12において、参照符号D201及びP203は、図9を参照して説明した例と同様の対象を示している。また、図12においては、参照符号P101aが基準フレームに対応する視点を示しており、参照符号P101b及びP101cのそれぞれが観測フレームに対応する視点を示している。即ち、参照符号D101aが基準フレームに対応する画像平面を模式的に示しており、参照符号D101b及びD101cのそれぞれが各観測フレームに対応する画像平面を模式的に示している。また、参照符号P103a、P103b、及びP103cは、画像平面D101a、D101b、及びD101cそれぞれにおける、注目位置P203に対応する画素を模式的に示している。
即ち、変形例に係る情報処理装置100は、基準フレームに対応する注目領域中の注目位置P203に対応する画素P103aを、複数の観測フレームそれぞれに対応する画像平面D101b及びD101cに射影する。そして、変形例に係る情報処理装置100は、基準フレームと、複数の観測フレームのそれぞれと、の間で、注目位置P203に対応する画素の画素値の差分和をそれぞれ算出し、当該差分和に基づきコストe(q-+Δq)を算出する。このとき、当該コストe(q-+Δq)は、以下に(式4)として示す計算式で表される。
なお、上記(式4)において、IR[u0i]は、基準フレームに対応する画像平面D101aにおける、画素位置u0iの画素P103aの画素値を示している。また、wQA(u0i,q-+Δq)及びwQB(u0i,q-+Δq)は、図12に示す2つの観測フレームに対応する画素P103b及びP103cそれぞれの画素位置を示している。なお、本説明では、便宜上、wQA(u0i,q-+Δq)が、画像平面D101bにおける画素P103bの画素位置を示しており、wQB(u0i,q-+Δq)が、画像平面D101cにおける画素P103cの画素位置を示しているものとする。即ち、IQA[wQA(u0i,q-+Δq)]は、画像平面D101bにおいて、画素位置wQA(u0i,q-+Δq)の画素P103bの画素値を示している。同様に、IQB[wQb(u0i,q-+Δq)]は、画像平面D101cにおいて、画素位置wQB(u0i,q-+Δq)の画素P103bの画素値を示している。
そして、情報処理装置100は、平面法線ベクトルの初期値q-の条件を変えながら、上記コストの計算を反復して実行し、よりコストの小さくなる条件を探索することで、注目領域に対応する面の実空間上の位置及び姿勢(換言すると、当該面の領域パラメタ)を推定すればよい。
以上のように、観測フレームを複数利用することで、観測フレームが1つのみの場合に比べて、注目領域に対応する面の実空間上の位置及び姿勢の推定に係るロバスト性をより向上させることが可能となる。
なお、上記推定に際し、各画像平面において注目領域は1つの面を示す領域として分割されているため、当該注目領域中の隣接画素間において、当該隣接画素それぞれに対応する深度は連続することとなる(即ち、不連続とはならない)。そこで、このような隣接画素それぞれに対応する深度の連続性に関する条件を、上記コスト算出の拘束条件として利用してもよい。このような処理を適用することで、注目領域に対応する面の実空間上の位置及び姿勢の推定に係るロバスト性をさらに向上させることも可能となる。
以上、本実施形態に係る情報処理システムの変形例として、図12を参照して、複数の観測フレームを利用する場合の一例について説明した。
<<4.ハードウェア構成>>
続いて、図13を参照しながら、前述した情報処理装置100のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図13は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
続いて、図13を参照しながら、前述した情報処理装置100のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図13は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置900は、主に、CPU901と、ROM902と、RAM903と、を備える。また、情報処理装置900は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インタフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM902、RAM903、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM902は、CPU901が使用するプログラムや演算パラメタ等を記憶する。RAM903は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメタ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。例えば、図4に示す前処理部101、姿勢推定部103、領域分割部105、マッチング処理部109、領域パラメタ推定部111、3次元モデル更新部113、及び3次元形状推定部117は、CPU901により構成され得る。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。また、外部バス911には、インタフェース913を介して、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925が接続される。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ等を格納する。例えば、図4に示す記憶部115は、ストレージ装置919により構成され得る。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM903に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア又はBlu-ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、情報処理装置900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インタフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図13では図示しないが、情報処理システムを構成する情報処理装置900に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。
<<5.応用例>>
続いて、上述した本実施形態に係る技術の応用例について説明する。前述したように、本実施形態に係る情報処理システムに依れば、実空間上の物体の3次元的な形状を、当該物体に付された図柄や模様に依存せずに、より正確に推定することが可能である。このような特性から、本実施形態に係る情報処理システムは、多様な技術に応用することが可能である。
続いて、上述した本実施形態に係る技術の応用例について説明する。前述したように、本実施形態に係る情報処理システムに依れば、実空間上の物体の3次元的な形状を、当該物体に付された図柄や模様に依存せずに、より正確に推定することが可能である。このような特性から、本実施形態に係る情報処理システムは、多様な技術に応用することが可能である。
(AR/VRへの応用)
具体的な一例として、上述した本実施形態に係る技術を、ヘッドマウントディスプレイやメガネ側のウェアラブルデバイスを利用した、AR(Augmented Reality)やVR(Virtual Reality)のアプリケーションに応用することが可能である。例えば、ARに着目した場合には、実空間上の物体の3次元的な形状をより精度良く推定することが可能であるため、物体の表面に沿って仮想情報(例えば、仮想ディスプレイ、仮想オブジェクト等)を重畳させるといった表現を、より精度良く実現することが可能となる。即ち、当該仮想オブジェクトがあたかもその場に存在するようなリアリティのある表現が可能となる。
具体的な一例として、上述した本実施形態に係る技術を、ヘッドマウントディスプレイやメガネ側のウェアラブルデバイスを利用した、AR(Augmented Reality)やVR(Virtual Reality)のアプリケーションに応用することが可能である。例えば、ARに着目した場合には、実空間上の物体の3次元的な形状をより精度良く推定することが可能であるため、物体の表面に沿って仮想情報(例えば、仮想ディスプレイ、仮想オブジェクト等)を重畳させるといった表現を、より精度良く実現することが可能となる。即ち、当該仮想オブジェクトがあたかもその場に存在するようなリアリティのある表現が可能となる。
また、本実施形態に係る技術を、物体の形状を利用した3D物体認識技術と組み合わせることで、実空間上の物体の特性に応じた表現も可能となる。
また、仮想オブジェクトと実空間上の物体との間のインタラクションをより好適な態様で実現することも可能となる。具体的な一例として、仮想的なキャラクタが床や壁に沿って歩くような動作や、当該キャラクタがテーブルや椅子の上に乗るような動作を、より自然に(即ち、よりリアリティのあるように)表現することが可能となる。また、壁や床に仮想的な窓を重畳させ、当該窓の先に現実世界の空間とは異なる仮想的な空間をより自然に表現することも可能となる。また、例えば、「壁や床に仮想的なディスプレイやキャンバスを設置する」、「仮想的なキャラクタが実空間上の物体の物陰に隠れる」、「実空間上の壁や床に投げられた仮想的なボールが当該壁や当該床で跳ね返る」、といったような表現をより自然に実現することも可能となる。また、階段等のような注意を要する場所に対して、ユーザに注意喚起を促す報知情報(例えば、警告等)を重畳表示させることも可能となる。
特に、本実施形態に係る情報処理システムにおいては、偏光画像を利用して物体の表面の幾何学的な構造(例えば、物体の表面の法線)を推定する構成となっており、物体の光学像に基づき当該物体の構造を推定する場合に比べて、当該推定に係る処理負荷を低減することが可能である。また、本実施形態に係る情報処理システムにおいては、図7を参照して説明した近似処理により、一連の連続する曲面が1つの面として認識される。そのため、当該曲面を3次元モデルとして再現する場合に、従来の手法に比べてデータ量をより低減することが可能となる。そのため、ヘッドマウントディスプレイやメガネ側のウェアラブルデバイス等のような、利用可能な電力が制限されている装置(例えば、バッテリー駆動の装置)や、処理能力が比較的低い装置においても、上述した各種処理を実現することが可能となる。
(自律移動体への応用)
また、本実施形態に係る技術を、自律走行車、ドローン、及びロボット等のような自律移動体の動作や制御に応用することも可能である。
また、本実施形態に係る技術を、自律走行車、ドローン、及びロボット等のような自律移動体の動作や制御に応用することも可能である。
具体的な一例として、本実施形態に係る技術を利用することで、実空間上の環境構造の3次元モデルを取得することが可能である。これにより、例えば、自律移動体は、当該3次元モデルに基づき障害物のより少ない安全な移動経路を認識し、当該移動経路に沿って移動することも可能となる。また、自律移動体は、当該3次元モデルに基づき、段差や階段等の形状変化を認識し、当該形状変化に対してより適切な動きや制御を行うことも可能となる。
また、ドローン等の自律飛行体に応用する場合においては、着陸時における接地面の形状を推定することで、安定した着陸動作を実現することも可能となる。
(創作支援への応用)
また、本実施形態に係る技術を、創作支援に応用することも可能である。具体的には、3Dプリンティング等を利用した製作において、原形モデルの作成に、本実施形態に係る技術を応用することが可能である。
また、本実施形態に係る技術を、創作支援に応用することも可能である。具体的には、3Dプリンティング等を利用した製作において、原形モデルの作成に、本実施形態に係る技術を応用することが可能である。
(検査への応用)
また、本実施形態に係る技術を、各種検査に応用することも可能である。具体的には、物体の表面等のような連続領域に生じた部分的な損傷やひび割れ等の検出に、本実施形態に係る技術を応用することが可能である。
また、本実施形態に係る技術を、各種検査に応用することも可能である。具体的には、物体の表面等のような連続領域に生じた部分的な損傷やひび割れ等の検出に、本実施形態に係る技術を応用することが可能である。
以上、本実施形態に係る技術の応用例について説明した。
<<6.むすび>>
以上説明したように、本実施形態に係る情報処理装置は、偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた幾何構造情報がマッピングされた、実空間上の視点に対応する画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割する。例えば、情報処理装置は、上記視点に保持された所定の偏光センサによる偏光画像の撮像結果に基づく幾何構造情報の分布に応じて、当該視点に対応する画像平面を1以上の領域に分割してもよい。また、情報処理装置は、上記視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得する。そして、情報処理装置は、画像平面が分割された少なくとも一部の領域を注目領域として、互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する画像平面における当該注目領域中の幾何構造情報に基づき、実空間上の物体の形状を推定する。
以上説明したように、本実施形態に係る情報処理装置は、偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた幾何構造情報がマッピングされた、実空間上の視点に対応する画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割する。例えば、情報処理装置は、上記視点に保持された所定の偏光センサによる偏光画像の撮像結果に基づく幾何構造情報の分布に応じて、当該視点に対応する画像平面を1以上の領域に分割してもよい。また、情報処理装置は、上記視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得する。そして、情報処理装置は、画像平面が分割された少なくとも一部の領域を注目領域として、互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する画像平面における当該注目領域中の幾何構造情報に基づき、実空間上の物体の形状を推定する。
以上のような構成により、実空間上の物体間の境界や、当該物体を構成する複数の面の境界等の物理的な境界を検出することが可能となる。そのため、実空間上の物体の表面に図柄や模様が付されているか否かに関わらず、上記画像平面を物理的な境界で1以上の領域に分割することが可能となる。即ち、本実施形態に係る情報処理装置に依れば、実空間上の物体の3次元的な形状を、当該物体に付された図柄や模様に依存せずに、より精度良く(即ち、より正確に)推定することが可能となる。
また、本実施形態に係る情報処理装置では、例えば、偏光画像の撮像結果に応じた幾何構造情報の分布に基づき物体の表面の幾何学的な構造を推定する。そのため、物体の光学像に基づき当該物体の構造を推定する場合に比べて、当該推定に係る処理負荷をより低減することが可能である。
また、本実施形態に係る情報処理装置は、画像平面において互いに隣接する複数の画素それぞれに対応する幾何構造情報に応じて、当該複数の画素が、物体の表面領域のうち同一面上の位置に対応しているものと近似してもよい。このような近似処理により、一連の連続する曲面のように、空間的な連続性を有する1つの面(特に、位置に応じて法線方向が異なる1つの面)を、1つの領域として画像平面から分割することが可能となる。そのため、例えば、曲面を3次元モデルとして再現する場合に、従来の手法に比べてデータ量をより低減することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
幾何構造情報がマッピングされた、実空間上の視点に対応する画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割する分割部と、
前記視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得する取得部と、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出する抽出部と、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定する推定部と、
を備え、
前記幾何構造情報は、偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
情報処理装置。
(2)
前記推定部は、前記複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域間において、当該注目領域中の画素に対応する前記幾何構造情報の差に応じたコストに基づき、実空間上の物体の表面領域のうち、当該注目領域に対応する面の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、前記(1)に記載の情報処理装置。
(3)
前記推定部は、
第1の視点に対応する前記画像平面における前記注目領域中の第1の画素を、前記第1の視点及び第2の視点それぞれの前記姿勢情報に応じて、当該第2の視点に対応する前記前記画像平面における前記注目領域中に射影することで第2の画素を特定し、
前記第1の画素に対応する前記幾何構造情報と、前記第2の画素に対応する前記幾何構造情報と、の差に応じた前記コストを算出する、
前記(2)に記載の情報処理装置。
(4)
前記推定部は、
互いに異なる複数の前記第2の視点それぞれについて、前記第1の画素に対応する前記幾何構造情報と、当該第2の視点について特定した前記第2の画素に対応する前記幾何構造情報と、の差に応じた前記コストを算出し、
当該複数の第2の視点それぞれについて算出された前記コストに基づき、前記注目領域に対応する前記面の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、
前記(3)に記載の情報処理装置。
(5)
前記推定部は、前記コストに基づき、前記注目領域に対応する前記面の、前記視点に対する深度を推定する、前記(2)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記分割部は、前記幾何構造情報の分布に応じて、実空間上における物理的な境界を推定することで、前記画像平面を複数の前記領域に分割する、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記分割部は、
前記画像平面において互いに隣接する複数の画素それぞれに対応する前記幾何構造情報に応じて、当該複数の画素が、前記物体の表面領域のうち同一面上の位置に対応しているものと近似し、
当該近似の結果に応じて、当該画像平面を複数の前記領域に分割する、
前記(6)に記載の情報処理装置。
(8)
前記分割部は、前記近似の結果に応じて、前記物体の表面領域のうち空間的な連続性を有する1つの面を、1つの前記領域として前記画像平面から分割する、前記(7)に記載の情報処理装置。
(9)
前記空間的な連続性を有する1つの面は、平面または曲面である、前記(8)に記載の情報処理装置。
(10)
前記幾何構造情報は、前記偏光の光強度に応じて算出される、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記幾何構造情報は、前記物体の表面の法線に関する情報である、前記(10)に記載の情報処理装置。
(12)
前記分割部は、前記視点に保持された所定の偏光センサによる偏光画像の撮像結果に基づく前記幾何構造情報の分布に応じて、当該視点に対応する前記画像平面を1以上の前記領域に分割する、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記視点は、移動可能に構成され、
前記偏光画像及び前記姿勢情報は、移動前後の前記視点それぞれについて取得される、
前記(12)に記載の情報処理装置。
(14)
コンピュータが、
幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、
実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、
を含み、
前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
情報処理方法。
(15)
コンピュータに、
幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、
実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、
を実行させ、
前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
プログラム。
(1)
幾何構造情報がマッピングされた、実空間上の視点に対応する画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割する分割部と、
前記視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得する取得部と、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出する抽出部と、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定する推定部と、
を備え、
前記幾何構造情報は、偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
情報処理装置。
(2)
前記推定部は、前記複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域間において、当該注目領域中の画素に対応する前記幾何構造情報の差に応じたコストに基づき、実空間上の物体の表面領域のうち、当該注目領域に対応する面の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、前記(1)に記載の情報処理装置。
(3)
前記推定部は、
第1の視点に対応する前記画像平面における前記注目領域中の第1の画素を、前記第1の視点及び第2の視点それぞれの前記姿勢情報に応じて、当該第2の視点に対応する前記前記画像平面における前記注目領域中に射影することで第2の画素を特定し、
前記第1の画素に対応する前記幾何構造情報と、前記第2の画素に対応する前記幾何構造情報と、の差に応じた前記コストを算出する、
前記(2)に記載の情報処理装置。
(4)
前記推定部は、
互いに異なる複数の前記第2の視点それぞれについて、前記第1の画素に対応する前記幾何構造情報と、当該第2の視点について特定した前記第2の画素に対応する前記幾何構造情報と、の差に応じた前記コストを算出し、
当該複数の第2の視点それぞれについて算出された前記コストに基づき、前記注目領域に対応する前記面の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、
前記(3)に記載の情報処理装置。
(5)
前記推定部は、前記コストに基づき、前記注目領域に対応する前記面の、前記視点に対する深度を推定する、前記(2)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記分割部は、前記幾何構造情報の分布に応じて、実空間上における物理的な境界を推定することで、前記画像平面を複数の前記領域に分割する、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記分割部は、
前記画像平面において互いに隣接する複数の画素それぞれに対応する前記幾何構造情報に応じて、当該複数の画素が、前記物体の表面領域のうち同一面上の位置に対応しているものと近似し、
当該近似の結果に応じて、当該画像平面を複数の前記領域に分割する、
前記(6)に記載の情報処理装置。
(8)
前記分割部は、前記近似の結果に応じて、前記物体の表面領域のうち空間的な連続性を有する1つの面を、1つの前記領域として前記画像平面から分割する、前記(7)に記載の情報処理装置。
(9)
前記空間的な連続性を有する1つの面は、平面または曲面である、前記(8)に記載の情報処理装置。
(10)
前記幾何構造情報は、前記偏光の光強度に応じて算出される、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記幾何構造情報は、前記物体の表面の法線に関する情報である、前記(10)に記載の情報処理装置。
(12)
前記分割部は、前記視点に保持された所定の偏光センサによる偏光画像の撮像結果に基づく前記幾何構造情報の分布に応じて、当該視点に対応する前記画像平面を1以上の前記領域に分割する、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記視点は、移動可能に構成され、
前記偏光画像及び前記姿勢情報は、移動前後の前記視点それぞれについて取得される、
前記(12)に記載の情報処理装置。
(14)
コンピュータが、
幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、
実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、
を含み、
前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
情報処理方法。
(15)
コンピュータに、
幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、
実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、
を実行させ、
前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
プログラム。
1 情報処理システム
100 情報処理装置
101 前処理部
103 姿勢推定部
105 領域分割部
107 推定部
109 マッチング処理部
111 領域パラメタ推定部
113 次元モデル更新部
115 記憶部
117 次元形状推定部
200 情報取得装置
210 デプスセンサ
210a、210b 撮像部
230 偏光センサ
100 情報処理装置
101 前処理部
103 姿勢推定部
105 領域分割部
107 推定部
109 マッチング処理部
111 領域パラメタ推定部
113 次元モデル更新部
115 記憶部
117 次元形状推定部
200 情報取得装置
210 デプスセンサ
210a、210b 撮像部
230 偏光センサ
Claims (15)
- 幾何構造情報がマッピングされた、実空間上の視点に対応する画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割する分割部と、
前記視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得する取得部と、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出する抽出部と、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定する推定部と、
を備え、
前記幾何構造情報は、偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
情報処理装置。 - 前記推定部は、前記複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域間において、当該注目領域中の画素に対応する前記幾何構造情報の差に応じたコストに基づき、実空間上の物体の表面領域のうち、当該注目領域に対応する面の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、請求項1に記載の情報処理装置。
- 前記推定部は、
第1の視点に対応する前記画像平面における前記注目領域中の第1の画素を、前記第1の視点及び第2の視点それぞれの前記姿勢情報に応じて、当該第2の視点に対応する前記前記画像平面における前記注目領域中に射影することで第2の画素を特定し、
前記第1の画素に対応する前記幾何構造情報と、前記第2の画素に対応する前記幾何構造情報と、の差に応じた前記コストを算出する、
請求項2に記載の情報処理装置。 - 前記推定部は、
互いに異なる複数の前記第2の視点それぞれについて、前記第1の画素に対応する前記幾何構造情報と、当該第2の視点について特定した前記第2の画素に対応する前記幾何構造情報と、の差に応じた前記コストを算出し、
当該複数の第2の視点それぞれについて算出された前記コストに基づき、前記注目領域に対応する前記面の実空間上における位置及び姿勢のうち少なくともいずれかを推定する、
請求項3に記載の情報処理装置。 - 前記推定部は、前記コストに基づき、前記注目領域に対応する前記面の、前記視点に対する深度を推定する、請求項2に記載の情報処理装置。
- 前記分割部は、前記幾何構造情報の分布に応じて、実空間上における物理的な境界を推定することで、前記画像平面を複数の前記領域に分割する、請求項1に記載の情報処理装置。
- 前記分割部は、
前記画像平面において互いに隣接する複数の画素それぞれに対応する前記幾何構造情報に応じて、当該複数の画素が、前記物体の表面領域のうち同一面上の位置に対応しているものと近似し、
当該近似の結果に応じて、当該画像平面を複数の前記領域に分割する、
請求項6に記載の情報処理装置。 - 前記分割部は、前記近似の結果に応じて、前記物体の表面領域のうち空間的な連続性を有する1つの面を、1つの前記領域として前記画像平面から分割する、請求項7に記載の情報処理装置。
- 前記空間的な連続性を有する1つの面は、平面または曲面である、請求項8に記載の情報処理装置。
- 前記幾何構造情報は、前記偏光の光強度に応じて算出される、請求項1に記載の情報処理装置。
- 前記幾何構造情報は、前記物体の表面の法線に関する情報である、請求項10に記載の情報処理装置。
- 前記分割部は、前記視点に保持された所定の偏光センサによる偏光画像の撮像結果に基づく前記幾何構造情報の分布に応じて、当該視点に対応する前記画像平面を1以上の前記領域に分割する、請求項1に記載の情報処理装置。
- 前記視点は、移動可能に構成され、
前記偏光画像及び前記姿勢情報は、移動前後の前記視点それぞれについて取得される、
請求項12に記載の情報処理装置。 - コンピュータが、
幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、
実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、
を含み、
前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
情報処理方法。 - コンピュータに、
幾何構造情報がマッピングされた画像平面を、当該幾何構造情報の分布に応じて1以上の領域に分割することと、
実空間上の視点における視点の位置及び姿勢のうち少なくともいずれかを示す姿勢情報を取得することと、
前記画像平面が分割された少なくとも一部の前記領域を注目領域として抽出することと、
互いに異なる複数の視点間で対応付けられる、当該複数の視点それぞれに対応する前記画像平面における前記注目領域中の前記幾何構造情報に基づき、実空間上の物体の形状を推定することと、
を実行させ、
前記幾何構造情報は、前記視点における偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた情報である、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017144361 | 2017-07-26 | ||
JP2017144361 | 2017-07-26 | ||
PCT/JP2018/017638 WO2019021569A1 (ja) | 2017-07-26 | 2018-05-07 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019021569A1 JPWO2019021569A1 (ja) | 2020-06-11 |
JP7103357B2 true JP7103357B2 (ja) | 2022-07-20 |
Family
ID=65040137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019532382A Active JP7103357B2 (ja) | 2017-07-26 | 2018-05-07 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11189042B2 (ja) |
EP (1) | EP3660449A4 (ja) |
JP (1) | JP7103357B2 (ja) |
WO (1) | WO2019021569A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11682107B2 (en) * | 2018-12-14 | 2023-06-20 | Sony Corporation | Depth of field adjustment in images based on time of flight depth maps |
WO2021117633A1 (ja) * | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | 撮像装置、情報処理装置、撮像方法、および情報処理方法 |
US11132831B1 (en) * | 2020-03-02 | 2021-09-28 | Qualcomm Incorporated | Methods and apparatus for efficient multi-view rasterization |
JP7076598B1 (ja) | 2021-02-03 | 2022-05-27 | 株式会社Albert | 動画又は複数画像からの3次元情報生成装置 |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
US11361519B1 (en) | 2021-03-29 | 2022-06-14 | Niantic, Inc. | Interactable augmented and virtual reality experience |
CN115019300B (zh) * | 2022-08-09 | 2022-10-11 | 成都运荔枝科技有限公司 | 用于自动化仓库货物识别的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010279044A (ja) | 2008-12-25 | 2010-12-09 | Panasonic Corp | 画像処理装置及び擬似立体画像生成装置 |
US20120075432A1 (en) | 2010-09-27 | 2012-03-29 | Apple Inc. | Image capture using three-dimensional reconstruction |
JP2015114307A (ja) | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
JP2015115041A (ja) | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法 |
WO2016174915A1 (ja) | 2015-04-30 | 2016-11-03 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
WO2016181687A1 (ja) | 2015-05-14 | 2016-11-17 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011203824A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP6697986B2 (ja) * | 2016-09-07 | 2020-05-27 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像領域分割方法 |
US10425643B2 (en) * | 2017-02-04 | 2019-09-24 | OrbViu Inc. | Method and system for view optimization of a 360 degrees video |
-
2018
- 2018-05-07 EP EP18838290.7A patent/EP3660449A4/en active Pending
- 2018-05-07 US US16/632,159 patent/US11189042B2/en active Active
- 2018-05-07 WO PCT/JP2018/017638 patent/WO2019021569A1/ja unknown
- 2018-05-07 JP JP2019532382A patent/JP7103357B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010279044A (ja) | 2008-12-25 | 2010-12-09 | Panasonic Corp | 画像処理装置及び擬似立体画像生成装置 |
US20120075432A1 (en) | 2010-09-27 | 2012-03-29 | Apple Inc. | Image capture using three-dimensional reconstruction |
JP2015114307A (ja) | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
JP2015115041A (ja) | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法 |
WO2016174915A1 (ja) | 2015-04-30 | 2016-11-03 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
WO2016181687A1 (ja) | 2015-05-14 | 2016-11-17 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11189042B2 (en) | 2021-11-30 |
WO2019021569A1 (ja) | 2019-01-31 |
JPWO2019021569A1 (ja) | 2020-06-11 |
EP3660449A4 (en) | 2020-08-12 |
EP3660449A1 (en) | 2020-06-03 |
US20200226774A1 (en) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7103357B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6244407B2 (ja) | 深度測定の品質の向上 | |
US10288418B2 (en) | Information processing apparatus, information processing method, and storage medium | |
CN108419446B (zh) | 用于激光深度图取样的***及方法 | |
CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
KR101947619B1 (ko) | 모바일 디바이스에서의 slam | |
US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
KR101590530B1 (ko) | 자동 장면 교정 | |
JP6126809B2 (ja) | エゴモーション概算システムおよび方法 | |
US20180018805A1 (en) | Three dimensional scene reconstruction based on contextual analysis | |
KR20180087947A (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
JP2013539872A (ja) | マルチユーザ拡張現実におけるオンライン参照生成および追跡 | |
WO2013112749A1 (en) | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion | |
EP3633606B1 (en) | Information processing device, information processing method, and program | |
JP2014138420A (ja) | 自律車両用の奥行き検知方法及びシステム | |
KR20150130483A (ko) | 평면의 자연스러운 특성 타겟들의 인시츄 생성 | |
CN107590444A (zh) | 静态障碍物的检测方法、装置及存储介质 | |
JP6240706B2 (ja) | グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング | |
CN105225219B (zh) | 信息处理方法及电子设备 | |
Siddique et al. | 3d object localization using 2d estimates for computer vision applications | |
KR101896183B1 (ko) | 카메라 모션 추정을 위한 3차원 직선 검출 방법 | |
Jóźków et al. | Combined matching of 2d and 3d kinect™ data to support indoor mapping and navigation | |
Pirahansiah et al. | Camera Calibration and Video Stabilization Framework for Robot Localization | |
Chin et al. | Camera systems in human motion analysis for biomedical applications | |
CN111915632A (zh) | 一种基于机器学习的贫纹理目标物体真值数据库构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7103357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |