JP2009300277A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2009300277A JP2009300277A JP2008155605A JP2008155605A JP2009300277A JP 2009300277 A JP2009300277 A JP 2009300277A JP 2008155605 A JP2008155605 A JP 2008155605A JP 2008155605 A JP2008155605 A JP 2008155605A JP 2009300277 A JP2009300277 A JP 2009300277A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- plane
- image processing
- provisional
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title abstract description 59
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000003672 processing method Methods 0.000 claims description 23
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000001454 recorded image Methods 0.000 abstract 1
- ZHKMVECXITZAPL-SNSGICDFSA-N tsvpp protocol Chemical compound ClCCN(N=O)C(=O)NC1CCCCC1.CNNCC1=CC=C(C(=O)NC(C)C)C=C1.O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1.C([C@H](C[C@]1(C(=O)OC)C=2C(=C3C([C@]45[C@H]([C@@]([C@H](OC(C)=O)[C@]6(CC)C=CCN([C@H]56)CC4)(O)C(=O)OC)N3C)=CC=2)OC)C[C@@](C2)(O)CC)N2CCC2=C1NC1=CC=CC=C21 ZHKMVECXITZAPL-SNSGICDFSA-N 0.000 description 35
- 238000005259 measurement Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明の画像処理装置10は、投影手段としてのプロジェクタ12と、撮影手段としてのカメラ14と、例えばパーソナルコンピュータから構成される画像処理手段16とから主要に構成されている。そして、画像処理手段16では、撮影された画像からパターン同士の交点を獲得し、この交点を含む第1暫定平面および第2暫定平面の制約条件と、プロジェクタ12とカメラ14との位置関係から得られる制約条件を用いて自由度を含む第1解を算出している。1次的な探索によりこの自由度を解消することで、3次元形状を復元している。
【選択図】図1
Description
S. Inokuchi, K. Sato, and F. Matsuda. Range imaging system for 3−D object recognition. In ICPR, pages 806−808, 1984.2 C. Je, S. W. Lee, and R.−H. Park. High−contrast color−stripe pattern for rapid structured−light range imaging. In ECCV, volume 1, pages 95−107, 2004. 2, 5 J. Pan, P. S. Huang, and F.−P. Chiang. Color−coded binary fringe projection technique for 3−d shape measurement. Optical Engineering, 44(2):23606−23615, 2005. J. Salvi, J. Batlle, and E. M. Mouaddib. A robust−coded pattern projection for dynamic 3d scene measurement. Pattern Recognition, 19(11):1055−1065, 1998. S.Rusinkeiwicz: "Real−time 3D model acquisition" , ACM SIGGRAPH,pp.438−446 (2002). O. Hall−Holt and S. Rusinkiewicz. Stripe boundary codes for real−time structured−light range scanning of moving objects. In ICCV, volume 2, pages 359−366, 2001. L. Zhang, N. Snavely, B. Curless, and S.M. Seitz. Spacetime faces: High−resolution capture for modeling and animation. In ACM Annual Conference on Computer Graphics, pages 548−558, August 2004. 2 T. P. Koninckx and L. V. Gool. Real−time range acquisition by adaptive structured light. IEEE Trans. on PAMI, 28(3):432−445, March 2006.
図1を参照して、本発明の実施の形態に係る画像処理装置10の構成を説明する。図1(A)は画像処理装置10の構成の一例を示す図であり、図1(B)は画像処理手段16の構成を示す図である。
本発明の画像処理方法を説明する前に、プロジェクタにより投影されるパターンに関する平面を定義する。
本ステップでは、図1に示される画像処理装置10を用いて物体18の3次元形状復元に必要とされるデータを獲得する。具体的には、直交する複数のパターンを含むパターン光を、物体18に対して照射する。ここでは、例えば図7(A)に示すような、互いに直交する縦パターンおよび横パターンから成るパターン光がプロジェクタ12から投影されている。そして、物体により反射された光をカメラ14により撮影する。カメラ14により撮影された2次元画像に基づく情報は、画像処理手段16に入力される。そして、画像処理手段16に入力された2次元画像を画像処理することにより、パターン同士の交点の画像上での位置を抽出する。図7(B)にパターンや交点を実際に検出した例を示す。
本ステップでは、キャプチャされた交点の集合から、UVPP、UHPPに関する拘束式を得て、それらの平面に関する解(第1解)を1自由度を除いて得る方法を述べる。まず、関係する平面(CVPP、CHPP、UVPP、UHPP)を表すための記号を定義する。投影されるパターンから得られたCVPPの集合をV1、V2、・・・、VMと表し、CHPPの集合を、H1、H2、・・・、HNと表す。また、画像から得られたUVPP、UHPPの集合を、それぞれ、v1、v2、・・・、vm、及び、h1、h2、・・・、hnと表記する。
本工程では、この先ステップで得られた解と、CVPP及びCHPPとのマッチングを行なうことで、UVPPとCVPP、あるいはUHPPとCHPPとの対応関係を求める。つまり、この先ステップで得られた解と、CVPP及びCHPPとが一致するような解のパラメータを求める。前ステップの解は、UVPP、UHPPに関して、キャプチャされた交点のみから得られ、CVPP及びCHPPの情報は利用されていない。解の自由度が1であることから、マッチングを1次元探索によって効率的に行なうことで、自由度が解消された解(第2解)を得る。
本ステップでは、以上の処理により全てのUVPPが同定されたため、光切断法により形状の復元を行う。具体的には、図6のように、平面パラメータと、検出されたエッジとカメラ14の中心とを結ぶ視線との交点として物体18の3次元座標が計算される。
カメラとプロジェクタの位置関係は、事前に精密に計測しておくと精度の高い計測が可能となる。その際、校正儀を用いてキャリブレーションを行い、そのパラメータを用いることが出来る。一方で、事前の校正は負担の多い作業のため、計測の時に、静止物にパターンを複数回投影し自校正で求めておくと利便性が高い。この方法は、例えば、Ryo Furukawa, Hiroshi Kawasaki, "Dense 3D Reconstruction with an Uncalibrated Stereo System using Coded Structured Light," IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) Workshop on Projector−Camera Systems, p. 107, 2005. に記載されている。
次に、プロジェクタ12により投影されるパターンに関して説明する。
第2の実施の形態において、縦パターンおよび横パターンに対応する平面の集合は、それぞれ同一の直線を通る平面の集合であるとしたが、かわりに平行な平面の集合としてもよい。この場合、平面が同一の直線を通る、という条件を、平面が「同一の無限遠直線を通る」という条件に置き換えればよい。この時、第2の実施の形態における直線Lvおよび直線Lhは、同一の無限遠点Opを通ると考えて良い。このように考えると、式5の方程式Op Tvk=−1は、Op Tvk=0という式に、置き換えられる。同様に、式5、6、7の方程式で右辺が−1の式を、全て右辺を0に置き換えた方程式にすれば、平行な平面の集合が満たす制約式になる。これを制約式として解くことで、第2の実施の形態と同様に1自由度の解を得ることができる。
赤と青でそれぞれ縦横の投影パターンとした場合、撮影した画像を赤・青のプレーンで分離した画像からラインを検出し、交点を検出する。ラインの検出方法としては、画像全体に対して単純な閾値処理を行うことも考えられるが、光源からの距離の違いや物体の法線方向の違いにより、明るさが変化してしまうため、画像全体を通して精度の高いライン検出が困難となることが起こる。そこで、Cannyフィルタのようなエッジフィルタを用いると、安定した処理が実現できる。しかしエッジフィルタを用いると、テクスチャにエッジがある場合や、物体境界のエッジが撮影されていると、それらが検出され誤検出の原因となることもある。これらの回避方法としては、画像全体を細かいサブブロックに分割し、そのサブブロック内で個別の閾値を算出し、閾値処理によってラインを検出する方式が考えられる。
上記した第2の実施の形態では、mをUVPPの数、nをUHPPの数とした場合、方程式に含まれる変数の数は、3(m+n)であった。この変数の数を削減したら、画像処理に必要とされる時間を大幅に短くすることができる。以下のように方程式の変数を削減することにより、自由度を含む解を算出するステップ(図2に示すステップS11)に必要とされる時間を1/10000程度にして、高速に3次元形状が復元される。
最初に提案手法の有効性を示すために、シミュレーションにより作成されたデータを用いて本手法の検証を行なった。シミュレーションは、複数のグリッドパターンを用いて行った。第1のパターンは均一な間隔のパターンとし、第2のパターンは、第1のパターンにおいて、水平パターンの間隔を意図的に乱数によって乱したものを利用した。第2のパターンは、上述した理由によって、対応探索の安定性が上がると考えられる。それぞれのパターンを仮定して生成されたシミュレーション画像を図9(A)、図9(B)に示す。これらの画像において、縦パターンの間隔は約5画素であった。グリッドパターンの交点を画像から抽出し、UHPP及びUVPPからCVPP及びCHPPへの対応関係を提案手法によって抽出した。それぞれのパターンにおいて、UHPPとUVPPの正しい対応関係が抽出され、再構成された形状は、真の形状に一致した。第2のパターンの画像での再構成結果と真の形状を図9(C)に示す。
12 プロジェクタ
14 カメラ
16 画像処理手段
18 物体
20 制御部
22 入力部
24 記憶部
26 表示部
28 操作部
30 画像処理部
32 交点獲得部
34 第1解算出部
36 第2解算出部
38 3次元形状復元部
Claims (15)
- 3次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第1制約条件が存在するように配置された1つ以上の第1パターンと、前記第1パターンと交わり、共通の制約条件である第2制約条件が存在するように配置された1つ以上の第2パターンとを物体に対して投影する投影手段と、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して2次元画像を得る撮影手段と、
前記2次元画像から前記物体の3次元形状を復元する画像処理手段と、を備え、
前記画像処理手段は、
前記2次元画像において、前記第1パターンを反射光として観測した観測第1パターンと、前記第2パターンを反射光として観測した観測第2パターンとの交点を獲得する第1計算部と、
前記観測第1パターンを含む空間中の第1暫定平面と、前記観測第2パターンを含む空間中の第2暫定平面が、前記交点を共有することから得られる制約条件と、前記第1制約条件と、前記第2制約条件と、前記投影手段と前記撮影手段との相対位置関係である第1相対位置関係とを用いて、前記第1暫定平面あるいは前記第2暫定平面について自由度を含む第1解を算出する第2計算部と、
を備えることを特徴とする画像処理装置。 - 前記第1制約条件は、平面状の前記第1パターンが同一の第1共有直線を通る制約条件または前記第1パターン同士が互いに平行である制約条件であり、
前記第2制約条件は、平面状の前記第2パターンが同一の第2共有直線を通る制約条件または前記第2パターン同士が互いに平行である制約条件である、ことを特徴とする請求項1記載の画像処理装置。 - 前記第2計算部で用いられる前記第1相対位置関係は、事前にキャリブレーションして獲得されていることを特徴とする請求項1記載の画像処理装置。
- 前記第2計算部では、
前記交点の位置座標と前記第1暫定平面のパラメータと前記第2暫定平面のパラメータから得られる第1方程式と、前記第1制約条件と前記第1相対位置関係から得られる第2方程式と、前記第2制約条件と前記第1相対位置関係から得られる第3方程式とを連立方程式として解くことで、前記交点、前記第1暫定平面あるいは前記第2暫定平面について自由度を含む第1解を算出することを特徴とする請求項1記載の画像処理装置。 - 前記第2計算部では、
前記第1暫定平面が前記第1共有直線を通るかまたは互いに平行であることを利用して、前記第1暫定平面を1つのパラメータでパラメータ表現し、
前記第2暫定平面が前記第2共有直線を通るかまたは互いに平行であることを利用して、前記第2暫定平面を1つのパラメータでパラメータ表現し、
前記交点の位置座標と前記第1暫定平面のパラメータ表現と前記第2暫定平面のパラメータ表現から得られる方程式を第1連立線形方程式として解くことで、前記交点、前記第1暫定平面あるいは前記第2暫定平面について自由度を含む第1解を算出することを特徴とする請求項2記載の画像処理装置。 - 前記第2計算部では、
前記第1暫定平面が前記第1共有直線を通るかまたは互いに平行であることを利用して、前記第1暫定平面を1つのパラメータでパラメータ表現し、
前記第2暫定平面が前記第2共有直線を通るかまたは互いに平行であることを利用して、前記第2暫定平面を1つのパラメータでパラメータ表現し、
前記交点の位置座標と前記第1暫定平面のパラメータ表現と前記第2暫定平面のパラメータ表現から得られる第1連立線形方程式が成立する、あるいは前記第1連立線形方程式の誤差が最小になる時に、前記第2暫定平面のパラメータ表現のパラメータが前記第1暫定平面のパラメータ表現のパラメータの線形結合で表されることと、前記第1連立線形方程式とから得られる、前記第1暫定平面のパラメータ表現のパラメータのみを変数として持つ第2連立線形方程式を解くことで、前記交点、前記第1暫定平面あるいは前記第2暫定平面について自由度を含む第1解を算出することを特徴とする請求項2記載の画像処理装置。 - 前記画像処理手段は、
前記第1パターンの前記投影手段との相対位置関係である第2相対位置関係および前記第1相対位置関係から得られる第1確定平面と、前記第1暫定平面との対応関係と、前記第2パターンの前記投影手段との相対位置関係である第3相対位置関係および前記第1相対位置関係から得られる第2確定平面と、前記第2暫定平面との対応関係、の両方あるいはいずれか片方を比較し対応付けることで、前記第1解の自由度を解消した解である、第2解を算出する第3計算部を備えることを特徴とする請求項1記載の画像処理装置。 - 前記画像処理手段は、
前記第1暫定平面と前記第2暫定平面との交線の集合と、
前記第1パターンの前記投影手段との相対位置関係である第2相対位置関係および前記第1相対位置関係から得られる第1確定平面と、前記第2パターンの前記投影手段との相対位置関係である第3相対位置関係および前記第1相対位置関係から得られる第2確定平面との交線の集合とを比較し対応付けることで、前記第1解の自由度を解消した解である、第2解を算出する第3計算部を備えることを特徴とする請求項1記載の画像処理装置。 - 前記第3計算部では、
前記第1解の自由度を定めることで得られる、前記第1暫定平面あるいは前記第2暫定平面と、前記第1確定平面あるいは前記第2確定平面とを対応させた時の差が全体として最小となるように前記第1解の自由度を決定する、ことを特徴とする請求項7記載の画像処理装置。 - 前記第1パターンまたは前記第2パターンの両方あるいは何れか一方を不均一な間隔で配置することを特徴とする請求項1記載の画像処理装置。
- 前記投影手段は、前記第2パターンに加えて、前記第2パターンとは異なる第3パターンを前記物体に対して投影し、
前記画像処理手段では、前記第1パターンおよび前記第2パターンを用いた3次元形状の復元とは別に、前記第2パターンの代わりに前記第3パターンを用いた3次元形状復元を行うことを特徴とする請求項1記載の画像処理装置。 - 前記投影手段は、前記第1パターンおよび第2パターンに加えて、共通の制約条件である第3制約条件が存在するように配置された1つ以上の第3パターンを前記物体に対して投影し、
前記第1計算部は、前記第3パターンを観測した観測第3パターンを獲得し、かつ前記第1計算部は、前記観測第1パターン、前記観測第2パターンおよび前記観測第3パターンの相互の交点を獲得し、
前記第2計算部は、前記第1暫定平面と、前記第2暫定平面と、前記観測第3パターンを含む空間中の第3暫定平面のいずれかが前記交点を共有することから得られる制約条件と、前記第1制約条件と、前記第2制約条件と、前記第3制約条件と、前記第1相対位置関係とを用いて、前記第1暫定平面、前記第2暫定平面あるいは前記第3暫定平面について自由度を含む第1解を算出することを特徴とする請求項1の画像処理装置。 - 前記第2計算部で算出される前記第1解は、1つの自由度を含むことを特徴とする請求項1記載の画像処理装置。
- 3次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第1制約条件が存在するように配置された1つ以上の第1パターンと、前記第1パターンと交わり、共通の制約条件である第2制約条件が存在するように配置された1つ以上の第2パターンとを物体に対して投影するステップと、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して2次元画像を得るステップと、
前記2次元画像から前記物体の3次元形状を復元するステップと、を備え、
前記復元するステップは、
前記2次元画像において、前記第1パターンを反射光として観測した観測第1パターンと、前記第2パターンを反射光として観測した観測第2パターンとの交点を獲得するステップと、
前記観測第1パターンを含む空間中の第1暫定平面と、前記観測第2パターンを含む空間中の第2暫定平面が、前記交点を共有することから得られる制約条件と、前記第1制約条件と、前記第2制約条件と、前記投影手段と前記撮影手段との相対位置関係である第1相対位置関係とを用いて、前記第1暫定平面あるいは前記第2暫定平面について自由度を含む第1解を算出するステップと、
を備えることを特徴とする画像処理方法。 - 入力された2次元画像から3次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記2次元画像は、
3次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第1制約条件が存在するように配置された1つ以上の第1パターンと、前記第1パターンと交わり、共通の制約条件である第2制約条件が存在するように配置された1つ以上の第2パターンとを物体に対して投影する投影手段と、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して2次元画像を得る撮影手段と、を用いて撮影され、
前記画像処理装置に、
前記2次元画像において、前記第1パターンを反射光として観測した観測第1パターンと、前記第2パターンを反射光として観測した観測第2パターンとの交点を獲得する機能と、
前記観測第1パターンを含む空間中の第1暫定平面と、前記観測第2パターンを含む空間中の第2暫定平面が、前記交点を共有することから得られる制約条件と、前記第1制約条件と、前記第2制約条件と、前記投影手段と前記撮影手段との相対位置関係である第1相対位置関係とを用いて、前記第1暫定平面あるいは前記第2暫定平面について自由度を含む第1解を算出する機能と、
を実行させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008155605A JP5317169B2 (ja) | 2008-06-13 | 2008-06-13 | 画像処理装置、画像処理方法およびプログラム |
EP09762230.2A EP2295932B1 (en) | 2008-06-13 | 2009-06-04 | Image processing device, image processing method, and program |
PCT/JP2009/002511 WO2009150799A1 (ja) | 2008-06-13 | 2009-06-04 | 画像処理装置、画像処理方法およびプログラム |
US12/997,088 US8837812B2 (en) | 2008-06-13 | 2009-06-04 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008155605A JP5317169B2 (ja) | 2008-06-13 | 2008-06-13 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009300277A true JP2009300277A (ja) | 2009-12-24 |
JP5317169B2 JP5317169B2 (ja) | 2013-10-16 |
Family
ID=41416512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008155605A Expired - Fee Related JP5317169B2 (ja) | 2008-06-13 | 2008-06-13 | 画像処理装置、画像処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8837812B2 (ja) |
EP (1) | EP2295932B1 (ja) |
JP (1) | JP5317169B2 (ja) |
WO (1) | WO2009150799A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011185872A (ja) * | 2010-03-10 | 2011-09-22 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2011242183A (ja) * | 2010-05-17 | 2011-12-01 | Hiroshima City Univ | 画像処理装置、画像処理方法およびプログラム |
JP2013024608A (ja) * | 2011-07-15 | 2013-02-04 | Technodream 21 Co Ltd | 3次元形状の取得装置、処理方法およびプログラム |
JP2013518649A (ja) * | 2010-02-02 | 2013-05-23 | プランメカ オイ | 歯科用コンピュータ断層撮影装置 |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
JP2018101968A (ja) * | 2016-12-22 | 2018-06-28 | カシオ計算機株式会社 | 投影制御装置、投影制御方法及びプログラム |
JP2022511257A (ja) * | 2018-10-02 | 2022-01-31 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 格子光パターンを使用する奥行き検知 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
US9170097B2 (en) | 2008-04-01 | 2015-10-27 | Perceptron, Inc. | Hybrid system |
US20100235786A1 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
PL2438397T3 (pl) * | 2009-06-01 | 2019-05-31 | Dentsply Sirona Inc | Sposób i urządzenie do trójwymiarowej detekcji powierzchni z dynamiczną ramką odniesienia |
JP5578844B2 (ja) | 2009-12-21 | 2014-08-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5615055B2 (ja) * | 2010-06-18 | 2014-10-29 | キヤノン株式会社 | 情報処理装置及びその処理方法 |
US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
WO2012011044A1 (en) | 2010-07-20 | 2012-01-26 | Primesense Ltd. | Interactive reality augmentation for natural interaction |
US8704890B2 (en) * | 2010-08-19 | 2014-04-22 | Olympus Corporation | Inspection apparatus and measuring method |
US8959013B2 (en) * | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
US9285874B2 (en) | 2011-02-09 | 2016-03-15 | Apple Inc. | Gaze detection in a 3D mapping environment |
AT511223B1 (de) * | 2011-03-18 | 2013-01-15 | A Tron3D Gmbh | Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten |
US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
JP5761750B2 (ja) * | 2011-07-19 | 2015-08-12 | 国立研究開発法人産業技術総合研究所 | 画像処理方法および装置 |
US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
US9217636B2 (en) * | 2012-06-11 | 2015-12-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and a computer-readable storage medium |
TR201811449T4 (tr) * | 2012-11-07 | 2018-09-21 | Artec Europe S A R L | Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem. |
DE102012024223B4 (de) * | 2012-12-11 | 2022-06-23 | Carl Zeiss Optotechnik GmbH | Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts |
US20140307055A1 (en) | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
US20140313293A1 (en) * | 2013-04-23 | 2014-10-23 | Speech Innovation Consulting Group Co., Ltd. | Depth measuring schemes |
US20150009290A1 (en) * | 2013-07-05 | 2015-01-08 | Peter MANKOWSKI | Compact light module for structured-light 3d scanning |
US9424809B1 (en) * | 2013-07-15 | 2016-08-23 | Google Inc. | Patterned projection with multi-panel display |
US20150302648A1 (en) * | 2014-02-18 | 2015-10-22 | Sulon Technologies Inc. | Systems and methods for mapping an environment using structured light |
TWI503518B (zh) * | 2014-12-29 | 2015-10-11 | Pixart Imaging Inc | 測距方法與裝置 |
CN105096269B (zh) * | 2015-07-21 | 2018-03-02 | 北京交通大学 | 基于畸变直线结构检测的图像径向畸变矫正的方法及*** |
CN110177995A (zh) * | 2016-11-21 | 2019-08-27 | 锐珂牙科技术顶阔有限公司 | 3d口内表面表征 |
CN110214262A (zh) | 2017-01-25 | 2019-09-06 | 国立研究开发法人产业技术综合研究所 | 图像处理方法 |
US10612912B1 (en) | 2017-10-31 | 2020-04-07 | Facebook Technologies, Llc | Tileable structured light projection system |
US20190180475A1 (en) * | 2017-12-08 | 2019-06-13 | Qualcomm Incorporated | Dynamic camera calibration |
JP6880512B2 (ja) * | 2018-02-14 | 2021-06-02 | オムロン株式会社 | 3次元測定装置、3次元測定方法及び3次元測定プログラム |
US10521926B1 (en) | 2018-03-21 | 2019-12-31 | Facebook Technologies, Llc | Tileable non-planar structured light patterns for wide field-of-view depth sensing |
US10650584B2 (en) * | 2018-03-30 | 2020-05-12 | Konica Minolta Laboratory U.S.A., Inc. | Three-dimensional modeling scanner |
DE102018115673A1 (de) * | 2018-06-28 | 2020-02-13 | Carl Zeiss Ag | Verfahren und Vorrichtungen zur Musterprojektion |
US10841544B2 (en) | 2018-09-27 | 2020-11-17 | Rovi Guides, Inc. | Systems and methods for media projection surface selection |
US20220230335A1 (en) * | 2021-01-20 | 2022-07-21 | Nicolae Paul Teodorescu | One-shot high-accuracy geometric modeling of three-dimensional scenes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6344107A (ja) * | 1986-08-11 | 1988-02-25 | Goro Matsumoto | 立体形状測定装置 |
JP2000512012A (ja) * | 1996-06-13 | 2000-09-12 | ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント | 三次元形状の表示を得る方法とシステム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5705444A (en) | 1996-05-06 | 1998-01-06 | Minnesota Mining & Manufacturing Company | Filter material of ceramic oxide fibers and vermiculite particles |
US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
US7747067B2 (en) * | 2003-10-08 | 2010-06-29 | Purdue Research Foundation | System and method for three dimensional modeling |
US7876455B2 (en) * | 2004-08-03 | 2011-01-25 | TechnoDream21 Co., Ltd. | Three-dimensional shape measuring method and apparatus for the same |
-
2008
- 2008-06-13 JP JP2008155605A patent/JP5317169B2/ja not_active Expired - Fee Related
-
2009
- 2009-06-04 EP EP09762230.2A patent/EP2295932B1/en not_active Not-in-force
- 2009-06-04 US US12/997,088 patent/US8837812B2/en not_active Expired - Fee Related
- 2009-06-04 WO PCT/JP2009/002511 patent/WO2009150799A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6344107A (ja) * | 1986-08-11 | 1988-02-25 | Goro Matsumoto | 立体形状測定装置 |
JP2000512012A (ja) * | 1996-06-13 | 2000-09-12 | ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント | 三次元形状の表示を得る方法とシステム |
Non-Patent Citations (1)
Title |
---|
JPN6013015263; 川崎 洋、古川 亮: '複数レーザ平面の自己校正による三次元再構成' 電子情報通信学会論文誌 D Vol.J90-D No.8, 20070801, p.1848-1857, 社団法人電子情報通信学会 情報・システムソサイエテ * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013518649A (ja) * | 2010-02-02 | 2013-05-23 | プランメカ オイ | 歯科用コンピュータ断層撮影装置 |
JP2011185872A (ja) * | 2010-03-10 | 2011-09-22 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
US9082185B2 (en) | 2010-03-10 | 2015-07-14 | Canon Kabushiki Kaisha | Information processing apparatus, processing method therefor, and non-transitory computer-readable storage medium |
JP2011242183A (ja) * | 2010-05-17 | 2011-12-01 | Hiroshima City Univ | 画像処理装置、画像処理方法およびプログラム |
JP2013024608A (ja) * | 2011-07-15 | 2013-02-04 | Technodream 21 Co Ltd | 3次元形状の取得装置、処理方法およびプログラム |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
CN104541127A (zh) * | 2012-07-30 | 2015-04-22 | 独立行政法人产业技术综合研究所 | 图像处理***以及图像处理方法 |
JPWO2014020823A1 (ja) * | 2012-07-30 | 2016-07-21 | 国立研究開発法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
US9633439B2 (en) | 2012-07-30 | 2017-04-25 | National Institute Of Advanced Industrial Science And Technology | Image processing system, and image processing method |
JP2018101968A (ja) * | 2016-12-22 | 2018-06-28 | カシオ計算機株式会社 | 投影制御装置、投影制御方法及びプログラム |
JP2022511257A (ja) * | 2018-10-02 | 2022-01-31 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 格子光パターンを使用する奥行き検知 |
Also Published As
Publication number | Publication date |
---|---|
EP2295932A4 (en) | 2012-09-05 |
US20110081072A1 (en) | 2011-04-07 |
EP2295932B1 (en) | 2014-10-08 |
WO2009150799A1 (ja) | 2009-12-17 |
US8837812B2 (en) | 2014-09-16 |
JP5317169B2 (ja) | 2013-10-16 |
EP2295932A1 (en) | 2011-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5317169B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Zhang | Absolute phase retrieval methods for digital fringe projection profilometry: A review | |
US7570805B2 (en) | Creating 3D images of objects by illuminating with infrared patterns | |
Kawasaki et al. | Dynamic scene shape reconstruction using a single structured light pattern | |
US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
EP2881702B1 (en) | Image processing system, and image processing method | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
CN111473744A (zh) | 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及*** | |
JP6097903B2 (ja) | 3次元形状の取得装置、処理方法およびプログラム | |
JP2017510793A (ja) | 2つのカメラからの曲線の集合の構造化光整合 | |
JP5761750B2 (ja) | 画像処理方法および装置 | |
Ha et al. | A multi-view structured-light system for highly accurate 3D modeling | |
Kasuya et al. | Robust and accurate one-shot 3D reconstruction by 2C1P system with wave grid pattern | |
US20200234458A1 (en) | Apparatus and method for encoding in structured depth camera system | |
Furukawa et al. | Shape from grid pattern based on coplanarity constraints for one-shot scanning | |
CN111462199A (zh) | 基于gpu的快速散斑图像匹配方法 | |
Lee et al. | 3D surface reconstruction using structured circular light patterns | |
Zeller et al. | Edge segmentation in images of a focused plenotic camera | |
Chen et al. | Recovering dense stereo depth maps using a single gaussian blurred structured light pattern | |
Kawasaki et al. | Projector camera system for realtime 3d scanning | |
Chang et al. | Development of an optical 3D human face reconstruction system using moving-window method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110112 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110610 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5317169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |