JP4691158B2 - 三次元クラスモデルを用いた二次元画像における認識システムおよび方法 - Google Patents
三次元クラスモデルを用いた二次元画像における認識システムおよび方法 Download PDFInfo
- Publication number
- JP4691158B2 JP4691158B2 JP2008517124A JP2008517124A JP4691158B2 JP 4691158 B2 JP4691158 B2 JP 4691158B2 JP 2008517124 A JP2008517124 A JP 2008517124A JP 2008517124 A JP2008517124 A JP 2008517124A JP 4691158 B2 JP4691158 B2 JP 4691158B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- dimensional
- feature
- appearance
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 203
- 230000009466 transformation Effects 0.000 claims abstract description 102
- 230000036961 partial effect Effects 0.000 claims description 94
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 238000012952 Resampling Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 16
- 238000013179 statistical model Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000009826 distribution Methods 0.000 description 64
- 230000008569 process Effects 0.000 description 46
- 239000011159 matrix material Substances 0.000 description 36
- 230000036544 posture Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 26
- 238000010276 construction Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000013459 approach Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 238000000844 transformation Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000272194 Ciconiiformes Species 0.000 description 1
- 241001503987 Clematis vitalba Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
クラス認識は、シーン中の、クラスインスタンスの認識に関する。この文脈で用いられるとき、「クラス」とは、共通の視覚的特徴を有し、他のクラスのオブジェクトと視覚的特徴において異なるオブジェクトの集まりである。
[従来の学術研究]
Dorko and Schmid, "Selection of Scale-Invariant Parts for Object Class Recognition", International Conference on Computer Vision, 2003, pp. 634-640 Dorko and Schmid,"Object Class Recognition using Discriminative Local Features," IEEE Transactions on Pattern Analysis and Machine Intelligence Dorko and Schmid,"Object Class Recognition using Discriminative Local Features,"Technical Report RR-5497, INRIA - Rhone-Alpes - February 2005
Burl et al., "A probabilistic approach to object recognition using local photometry and global geometry", Proc. European Conference on Computer Vision (ECCV) 1998, pp 628-641 Fergus et al., "Object Class Recognition by Unsupervised Scale-Invariant Learning", Computer Vision and Pattern Recognition, 2003, pp 264-271 Helmer and Lowe, "Object Class Recognition with Many Local Features", IEEE Computer Vision and Pattern Recognition Workshops, 2004 (CVPRW'04), pp. 187 ff
本発明者による特許文献2は、これらの問題に対処する技術について述べる。この文献は、画像の濃淡度と距離の組み合わせを用いて、モデルのデータベースとシーンの双方が得られたとき、各クラスのオブジェクトとインスタンスを認識する方法と装置を開示する。ここでは、モデルと取得した画像の両方が三次元である。
本発明は、三次元クラスモデルを用いて二次元画像中の各クラスのインスタンスを認識するシステムと方法を提供する。
本発明は、観測されたシーンの二次元濃淡画像中のクラスインスタンスを認識するため、三次元距離と濃淡度アピアランス情報の両方を含むモデルを用いることにより、クラス認識を実行する。
[概要]
[本発明の原理]
[関心点の検出]
[関心点の表現]
[クラスモデル]
[データの統計的モデリング]
P(y|μx,Λx)=exp(−(y−μx)TΛx−1(y−μx)/2)/((2π)n/2|Λx|1/2)
ここで、(y−μx)T は、(y−μx)の転置を表し、|Λx|1/2は、ΛXの行列式の平方根を表す。上記の方程式の右辺を、よりコンパクトな形、G(y;μx,Λx)で記述すると都合がよい。すなわち、G(y;μx,Λx)は、以下のように定義される。
G(y;μx,Λx)=exp(−(y−μx)TΛx−1(y−μx)/2)/((2π)n/2|Λx|1/2) (1)
P(y|θ)=Σi(mi/M)G(y;μi,Λi)
である。ただし、M=Σimiである。
[配置変換の下での三次元ジオメトリの推定と投影]
y=T(γ,x)=t+rx
そのyの位置は、下記のカメラ投影ρにより、二次元位置vに投影される。
v=ρ(y)=λ*(y1/y3,y1/y3)
ここで、スケーリングファクタλは、問題となっているカメラに関する定数である。これらをまとめると、配置変換γの下でのxの投影は、以下のように、コンパクトにかける。
v=π(γ,x)=ρ(T(γ,x))
ΛQ=AΛPAT (2)
JT(γ,x)=[I3−r*sk(x)]
ここで、I3は、3×3の単位行列であり、sk(x)は、以下に定義される交代行列である。
JX=JX(μΓ,μX)=Jρ(T(μΓ,μX))*r
JΓ=Jγ(μΓ,μX)=Jρ(T(μΓ,μX))*JT(μΓ,μX) (3)
Δv=JΓΔγ+JXΔx
ΛV=JΓΛΓ(JΓ)T+JXΛX(JX)T (4)
位置共分散ΛΓは、6×6の次元、ΛXは、3×3の次元、ΛVは、2×2の次元を有することに注意されたい。
Δvi=JΓiΔγ+JXiΔxi
ここで、JΓiは、xiで評価されたヤコビアンJΓであり、JXiは、xiで評価されたヤコビアンJXである。このような方程式がn個存在する。
Δv=JΓΔγ+JXΔx
したがって、
JΓΔγ=Δv−JXΔx
である。
Δγ=M(Δv−JXΔx)
となる。
ΛΓ=M(ΛV+JXΛXJX T)MT (5)
ΛVの表現は、幾つかの方法により取得することができる。それは経験的に定めることもでき、また、センサの特質から計算されてもよい。また、三次元位置共分散ΛXに比べて小さいときには0と近似しうる。
P(u|X,Γ)=G(u;vπ,Λπ)
fを、位置uにおける画像特徴と仮定し、cを、位置分布がXであるクラス部分であるとする。便宜上、上記の確率を、クラス部分cと配置変換Γを所与としたときの画像特徴fの「ジオメトリ尤度」という。これは以下のように表記することができる。
MX(f,c,Γ)=P(u|X,Γ)=G(u;vπ,Λπ) (6)
この計算は、配置変換の下で、クラス部分cと画像特徴fとを比較する場合の例である。この場合、この比較は、ジオメトリの位置に基づく比較であり、クラス部分位置を画像に投影することにより実行される。以下に述べるように、配置変換の下でクラス部分cを画像特徴fと比較する方法には、他の方法もある。また、以下に述べるように、別の実施形態においては、依存関係を考慮してもよい。依存関係は、配置変換を計算するにあたって用いられる特徴部分マッチの尤度を評価するときに、導入される。
[配置変換の下でのアピアランスの投影]
q(yi)=p(π(γ,T(φ,yi)))
であろう。
v0=π(γ,T(φ,y0))
の投影が計算され、センタリング補正が施される。これにより、リサンプリングの式は、
q(yi)=p(π(γ,T(φ,yi))−v0) (7)
となる。
JΓi=JΓ(μΓ,T(φ,yi))
を記述する。これは、γについてのπのヤコビアンである。ここで、
JΓ0=JΓ(μΓ,T(φ,y0))
とする。1×2の行ベクトル∇p(v)は、画像パッチpの、位置vにおける、空間的勾配を表記するものとする。さらに、∇piは、∇p(vi)をあらわすものとする。ただし、
vi=(π(μΓ,T(φ,yi))−v0)
である。画像の空間勾配を計算する方法については、例えば、非特許文献14のようなコンピュータビジョンの標準的な教科書に取り上げられている。連鎖法則を式(7)に適用することにより、KΓのi番目の行は、
KΓ,i=∇pi(JΓi−JΓ0)
となる。この量を全てのiについて計算することで、L行6列のKΓが生成される。
KΦ,i=∇pi(JX(μΓ,T(μΦ,yi))*Ki−JX(μΓ,T(μΦ,y0))*K0)
この量を全てのiの値について計算することで、L行6列のKΦが形成される。
μQ=W(p,μΓ,μΦ) (8)
ΛQ=KΦΛΦKΦ T+KΓΛΓKΓ T (9)
P(p|A,Q)=G(μA−μQ;0,ΛA+ΛQ)
この確率を計算する別の近似方法は、[別の実施形態]の節において与えられる。
MA(f,c,Γ)=P(p|A,Q)=G(μA−μQ;0,ΛA+ΛQ) (10)
この計算は、配置変換の下での、クラス部分cと画像特徴fの比較する例である。この場合、該比較はアピアランスの比較であり、該比較は画像特徴のアピアランスをリサンプリングすることで実行される。
[二次元画像特徴の三次元クラス部分へのマッチングによる認識]
L(F,C)=P(F|C)/P(F|〜C)
ここで、P(F|C)は、クラスCのいくつかのインスタンスが画像中に存在すると仮定したときの、画像特徴Fの確率である。P(F|〜C)は、クラスCのいくつかのインスタンスが画像中に存在しないと仮定したときの、画像特徴Fの確率である。以下に述べる第一の実施形態においては、クラススコアはクラス尤度比であると定義されている。
LA(F,C,h,Γ)=P(FA|C,h,Γ)/P(FA|〜C)
ジオメトリ尤度比は、以下のように書くことができるだろう。
LX(F,C,h,Γ)=P(FX|C,h,Γ)/P(FX|〜C)
ディスカウントファクタLDは、マッチングの数と、予測されたマッチングの数の比較に基づいて、結果に重みをつけるために用いられる。以下に述べる第一の実施形態では、このファクタは1に設定されている。1以外のディスカウントファクタの使用については、[別の実施形態]の節に記述される。
L(F,C)=maxhmaxΓLA(F,C,h,Γ)LX(F,C,h,Γ)LD(C,h,Γ)
もしも、この式の結果が閾値を超えるならば、クラスCのインスタンスが存在すると判断される。
第一の実施形態について、以下に、(1)データベース構築、(2)画像中の認識、の順に記載する。
[第一の実施形態におけるデータベース構築]
[三次元画像の取得]
[オブジェクトモデルの正準ジオメトリ形式への設定]
1 オブジェクトの三次元要素位置の集合のセントロイドが計算される。fi=<xi,ai,bi>およびxi=<ti,ri>の形式のオブジェクト要素f1,f2,...fnについてのセントロイドは、下記の三次元位置の平均である。
μO=(1/n)Σiti
2 オブジェクトのスケールは、以下のように計算される。
σO=(1/n)Σi||ti−μO||
3 それぞれの要素ti=(xi,yi,zi)Tについて、正準位置t’iが、中心を差し引き、オブジェクトのスケールで割ることにより、計算される。
t’i=(ti−μO)/σO
4 新たなオブジェクトの要素f’iが作られる。
f’i=<yi,ai,bi>
ただしyi=<t’i,ri>である。
[正準オブジェクトモデルからのクラスモデルの構築]
rsum=Σiri
次に、rsumの特異値分解が計算される。これにより、rsumはUSVTとして表現される。ただし、UとVは直行行列であり、Sは対角行列である。平均回転は、以下の式で計算される。
rmean=UVT
平均回転のこの形式は、ときおり、文献で「投影された算術平均」と呼ばれる。平均回転を計算するためには、非特許文献17に記述されるように、他の手法もある。このような手法は、別の実施形態で用いられてもよい。
qi=rmean Tri
である。
ΛR=(1/n)Σivi(vi)T
から構成される。回転平均と共分散は、クラス部分ジオメトリの「回転成分」を構成する。
c=<Φ,A,B,η>=<μΦ,ΛΦ,μA,ΛA,μB,ΛB,η>
(1)τpair 初めに、もっともらしい特徴部分マッチを見つけたとき、特徴部分マッチ<f,c>を保持するためのスコア値についての最小限の閾値。
(2)τminH,τmaxH 初期対応仮説における、特徴部分マッチの数の最小値と最大値。
(3)τinit(s) 初期対応仮説を、拡張する仮説として受け入れるための仮説のスコアについての最小限の閾値。これは、初期の対応仮説の長さsの関数である。
(4)τC クラスのインスタンスがそのシーンで認識されたことを決定するための、クラス尤度比の最小の閾値。
これらの閾値は、三次元クラスデータベースが、構築されたときに、計算される。しかしながら、便宜上、まず認識におけるこれらの使用について記述し、続いてその計算方法について説明する。
[第一の実施形態における認識]
[概要]
[画像特徴とクラス部分との、もっともらしいマッチングの決定]
MB(f,c)=P(f|c)=G(b;μB,ΛB)
ここで、G(b;μB,ΛB)は、式(1)で定義される。それぞれの画像特徴fについて、MB(f,c)の値は、データベース中の全てのクラス部分cについて計算される。
MB(f,c)≧τpair (11)
である特徴部分マッチ<f,c>が保持される。MINITは、このような対すべての集合を表すものとする。
S(C)={<f,c>} (12)
ここで、cのクラスはCであり、<f,c>∈MINITである。
[初期対応仮説の集合の構築]
[クラス尤度比の計算による初期対応仮説のスコア]
MA(f,c,Γ)=P(Q|A)=G(μA−μQ(Γ);0,ΛA+ΛQ(Γ))
配置されたアピアランス尤度は、配置変換Γをもちいて、画像特徴fのパッチを投影する。これにより、画像特徴のアピアランスにおける、ティルトとスラントの影響が考慮される。対応仮説hが真である場合、配置変換Γ(h)は、真である。そして、投影することにより、関連するアピアランスの変化についての補正を正確に行うことができる。これは、配置変換の下でのアピアランス比較の例であり、別の実施形態においては、他の方法による配置変換の下で、アピアランスの比較してもよい。配置変換の下でのアピアランスの比較を、対応仮説から計算することができる事実は、本発明の利点の一つである。
MX(f,c,Γ)=P(u|X,Γ)=G(u;μπ,Λπ)
配置変換Γを所与として、特徴fにマッチングするクラス部分c=(Φ,A,B,η)の結合尤度は、以下の通りである。
MJ(f,c,Γ)=η*MX(f,c,Γ)*MA(f,c,Γ)
L(f,c,Γ)=MJ(f,c,Γ)/(r*maxkMB(f,k))
スカラーrは、画像中の、どこかに現れる特徴の尤度を示す定数である。rの値は、1/Npixelとなるように取られる。ここで、Npixelは、画像中のピクセルの数である。クラス部分kは、<f,k>∈MINIT 、であるが、kはS(C)に含まれないという条件を満たすべく、制限される。ここで、Cは、cのクラスである。すなわち、kは、cのクラスと異なるクラスに由来するアピアランスに関しての最適なマッチング部分である。もしも、そのようなkが存在しない場合、maxkMB(f,k)の代わりにτpairの値が用いられる。
L(h)=ΠiL(fi,ci,Γ(h)) (13)
ただし、<fi,ci>∈hである。
これが、第一の実施形態で用いられるクラススコアの形である。別の実施形態では、他の方法でクラススコアを計算してもよい。
[拡張のための初期対応の選択]
L(h0)≧τinit(s) (14)
であるときのみ、保持される。ここでsは、h0における対の数である。
[対応仮説の拡張]
[クラスインスタンスのテスト]
L(h)≧τC (15)
この比がτCを超えないときは、その仮説は、無効であるとされ、廃棄される。クラス尤度比が、τCを超えるならば、クラスCは、画像に存在すると宣言される。このようにして、第一の実施形態においては、対応仮説のうちから、そのクラススコアが受け入れ基準を満たす対応仮説を選択する。最終的な配置変換Γ(h)は、三次元シーン中の、クラスインスタンスの位置と方向を方向を特定する。そのクラスと配置変換が、認識処理の出力である、認識されたクラスインスタンスの集合に加えられる。
[探索の続行]
(1)一以上のクラスがデータベースから選択される。nをデータベース中のクラスの数であるとする。各クラスiについて、数miがジオメトリの分布から、パラメータp=1/nによって、サンプリングされる。
(2)各クラスiについて、クラスからmi個のオブジェクトインスタンスがランダムかつ均一に選択される。
(3)各オブジェクトインスタンスについて、留保されたビューが、ランダムかつ均一に選択される。
(4)各ビューについて、そのビューにおいて、検出された特徴が、確率qで、それぞれを独立に選択することにより、サンプリングされる。ここでqは、特徴検出器の繰り返し可能性と整合する検出確率である。
(5)背景特徴の数Bが、パラメータNとpの二項分布からサンプリングされる。ここで、Nは、使用可能な背景特徴の総数である。そしてpの値は、平均N*pが典型的なシーンの画像において検出される背景特徴の数の平均と等しくなるように、選択される。
(6)最後に、B個の特徴が、均一に、かつ、全ての使用可能な背景特徴の集合から非復元的に、サンプリングされる。
このプロセスの結果、合成された特徴の集合ができる。この集合は、一以上のオブジェクトインスタンスのビューと、背景特徴の集合を含む。
(1)偽であるべきなのに、テスト結果は真となる(偽陽性)。
(2)真であるべきなのに、テスト結果は偽となる(偽陰性)。
τを、選択されるべき閾値であるとする。Fが、特徴の集合を表すものとする。テストが、偽陽性を与えるときは、FP(F,τ)は、1であると定義する。そして、その他の場合は、0であると定義する。FN(F,τ)は、テストが、偽陰性を与えるとき、1であると定義し、その他の場合は0であると定義する。α∈[0,1]は、犯しうる誤りである偽陽性と偽陰性との間のトレードオフをパラメータ化する。これにより、特徴の集合Fについての閾値τのペナルティまたはコストは、下記の式で表される。
CF(F,τ,α)=αFP(F,τ)+(1−α)FN(F,τ)
これは、重み付けされた誤りのコストを測定する。したがって、値が小さい方が望ましい。αの値は、特定のテストと用途に基づく。それは、設計者によって選択される。特定の選択肢が以下に与えられるが、他のαの値も、正確性、メモリ、動作時間などについての特定の条件を達成するために用いられてよい。
CG(G,τ,α)=ΣiCF(Fi,τ,α)/n
である。最適なτの値は、τ*である。それはコストを最小化する。
τ*=argminτCG(G,τ,α)=argminτΣiCF(Fi,τ,α)/n (16)
一般的に、τは、最適化されるべき、すべての閾値のベクトルである。本発明の様々な実施形態において、様々な方法で、式(16)が計算され、また近似されてよい。
[第二の実施形態におけるデータベース構築]
[第二の実施形態における認識]
[別の実施形態と実装]
[サンプルオブジェクト]
[変形可能なオブジェクトのクラス認識]
[剛体についてのオブジェクト認識]
[関心点演算子]
[正準アピアランス]
[アピアランス記述子の次元の縮退]
[アピアランス記述子]
[別のA型アピアランス記述子の投影]
ΛQ*=K* ΦΛΦK* Φ T+K* ΓΛΓK* Γ T
アピアランス尤度を計算するために、分布Q*が分布A*と比較される。すなわち、式(10)において、記述子A*とQ*が、AとQの代わりに用いられる。
ΛQ*=ΨΛQΨT
と書くことができる。ただしΛQは、(9)と同様に定義できる。
[アフィン不変]
[正準ジオメトリ]
[対応要素の識別]
[ビューの配置]
JΦΔΦ=e
これは、ΔΦについて最小二乗センスで、以下の線形システムを解くことにより、解くことが可能かもしれない。
(JΦ TJΦ)ΔΦ=JΦ Te
この方法で計算された姿勢の変化Δφは、二乗誤差の和を最小にする。それぞれの要素について、各xiに姿勢の変化を適用することにより、新たな三次元位置が取得され、その結果、新たな位置yiとなる。部分ジオメトリを構築するにあたって、新たな位置yiが用いられる。これらは、可能である限りにおいて、各ビューの正しい姿勢に調整されているという意味において、xiよりも好適である。
ei,j,k=T(γi,xj,i)−T(γk,xj,k)
は、ここで、上述の方法を用いて、二のうちの一は固定されているという条件でγiとγkについて最適化することができる。より一般的には、一のビューを固定しながら、ビューの全てのペアとビューのペア間で共有される全ての点について、ヤコビアンをまとめることにより、上記の手法を採用して全てのビューのパラメータを同時に最適化することができる。
[クラスデータベース構築のためのサンプルオブジェクトの結合]
[セグメント・クラス]
[構造のある三次元クラスモデル]
[クラスモデルにおける部分アピアランス]
[部分ジオメトリのないクラス部分]
[アピアランス確率の計算]
μQ=W(p,μΓ,μΦ)
ΛQ=KΦΛΦKΦ T+KΓΛΓKΓ T
第一の実施形態においては、パッチの尤度は、以下の式を評価することにより、計算された。
P(p|A,Q)=G(μA−μQ;0,ΛA+ΛQ)
この計算において、行列ΛA+ΛQは、反転されなければならない。一般的に、この行列は大きな次元を有する。したがって、ガウス分布の計算は、計算として集約的である。
s=(KΦ TKΦ)−1KΦ T(a−q)
ここで、KΦは、姿勢φについての、Wのヤコビアンである。変数sは、以下の式で与えられる平均μSのガウス分布である。
μS=(KΦ TKΦ)−1KΦ T(μA−μQ)
平均μSは、長さ6のベクトルである。これは最小二乗法的な意味において、μAとμQの間のアピアランスの違いについて、最もよく説明できる姿勢の変化であると見なすことができる。共分散ΛSは、以下の式で表現できる。
ΛS=(KΦ TKΦ)−1KΦ T(ΛA+ΛQ)KΦ(KΦ TKΦ)−T
ΛSを計算するためには、行列の反転が必要であるが、ただし、小さい6×6行列についてのみである。パッチpの尤度は、以下の式で近似される。
P(p|A,Q)=G(μs;0,ΛS)
ΛSの次元は、6×6であるので、このガウス分布を評価するにあたって、効率的に反転できる。
[疎結合のアピアランスとジオメトリのクラスモデル]
1)サンプルオブジェクトの関心点の位置と関連する特徴についての、統計的な記述からなるジオメトリモデル。
2)サンプルオブジェクトの関心点におけるアピアランスの統計的記述からなるアピアランスモデル。
3)ジオメトリとアピアランスが同時に生じるモデル。
[クラスデータベースの拡張]
[二次元画像の局所正面配置]
[クラス部分による画像特徴の有望なマッチングの決定]
[認識における対のフィルタリング]
MB(f,c)/maxkMB(f,k),k≠c
この比は、計算され、適切な閾値と比較されてもよい。別の実施形態においては、保持する対を選択するために、他の基準が用いられてもよい。
[初期対応仮説の集合の構築]
[拡張する対応仮説の選択]
[対応仮説の拡張における効率的な姿勢の計算]
[好適な対応仮説を見つける]
[配置変換の下でのジオメトリマッチング]
e=E(γ,x,v)=(1/||v||2)vvT(rx+t)−(rx+t)
γと、対応するxとvが正しい値である場合、E(γ,x,v)=0である。
Λe=JΓΛΓJΓ T+JXΛXJX T+JVΛVJV T
ここで、JΓは、γについての、eのヤコビアンであり、JXは、xについての、eのヤコビアンである。典型的な用途においては、ΛVは、重要度が低いため、この項は、無視してもよい。
P(v|μΓ,ΛΓ,μp,Λp)=G(E(μΓ,μX,v);0,JΓΛΓJΓ T+JXΛXJX T)
が、要素のジオメトリ尤度の計算に用いられる。
[配置変換の下でのアピアランスマッチング]
P(fa|c,Γ)=G(fa;μp,Λp)
[未検出特徴を見つける]
[ジオメトリ尤度の計算]
[作業中の対応仮説を拡張するための対の選択]
[クラス尤度比の計算]
[対数尤度と対数尤度比]
[ディスカウントファクタ]
[クラス尤度比が閾値を超えないときの認識]
[閾値の選択]
[決定基準]
[手続きステップの実施]
[ロボット工学への適用]
[顔認識への適用]
[他の用途]
[結論、効果、作用領域]
Claims (28)
- 二次元画像において、共通の視覚的特徴を有するオブジェクトの集まりであるクラスのいずれかに属するクラスインスタンスを認識するためのクラス認識方法であって、
(a)複数の三次元クラスモデルを構築し、構築したモデルをデータベースに格納するステップと、
(b)二次元画像に現れるクラスインスタンスを、前記三次元クラスモデルにマッチングするステップとを備え、
前記三次元クラスモデルは、一つ以上のクラス部分を備え、
各クラス部分は、そのクラスに属する複数のサンプルオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各クラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記複数の三次元クラスモデルを構築し、構築したモデルをデータベースに格納するステップは、
(c)前記クラスに属するサンプルオブジェクトの三次元画像を取得するステップと、
(d)各サンプルオブジェクトについて、オブジェクトモデルを構築するステップと、
(e)各オブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、各オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるオブジェクトモデルの一の要素と、他のオブジェクトモデルの前記一の要素に対応する要素とを関連づけることで、複数のサンプルオブジェクトに共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、クラス部分を構築するステップとを備え、
前記二次元画像に現れるクラスインスタンスを、前記三次元クラスモデルにマッチングするステップは、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を三次元クラスモデルに属する複数のクラス部分の部分アピアランスと比較し、画像特徴とクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるインスタンスと三次元クラスモデルとの対応を示す対応仮説であって、クラスモデルと、そのクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、クラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える方法。 - 前記オブジェクトモデルを構築するステップは、
一以上の関心点を特定するステップと、
各関心点の画像パッチの濃淡画像を正準な視点方向とスケールにリサンプリングして正準アピアランスを計算するステップと、
前記正準アピアランスにもとづいて、各関心点における正準アピアランス記述子を計算するステップと、
を備える請求項1の方法。 - 前記各対応要素の集合について、クラス部分を構築するステップは、
(a)各対応要素の集合について、その集合に属する対応要素の要素ジオメトリの平均と共分散とを計算することにより、部分ジオメトリを計算するステップと、
(b)各対応要素の集合について、その集合に属する対応要素の要素アピアランスの平均と共分散とを計算することにより、部分アピアランスを計算するステップと、
を備える請求項1または2の方法。 - 前記対応仮説を拡張するステップはさらに、
(a)一つの対応仮説を選択するステップと、
(b)可能性のある追加の特徴部分マッチを特定するステップと、
(c)各追加特徴部分マッチについて、前記特徴部分マッチで補強された対応仮説のクラススコアを評価するステップと、
(d)クラススコアを高める特徴部分マッチを用いて、前記対応仮説を拡張するステップと、
(e)クラススコアを高める新たな特徴部分マッチが見つからなくなるまで、上記(b)から(d)までのステップを繰り返すステップと、
を備える請求項1から3のいずれかの方法。 - 前記一つの対応仮説を選択するステップは、
(a)クラスモデルと、
特徴アピアランスと部分アピアランスを備える各特徴部分マッチの中から、特徴アピアランスの成分を部分アピアランスの成分と比較することにより選択される特徴部分マッチと、
を選択するステップと、
(b)特徴部分マッチのベクトルを形成するステップと、
を備える請求項4の方法。 - 各追加特徴部分マッチについて、前記特徴部分マッチで補強された対応仮説のクラススコアを評価するステップは、
(a)補強された対応仮説を用いて、クラスモデルから画像への配置変換を計算するステップと、
(b)前記配置変換の下で、クラス部分と画像特徴を比較するステップと、
を備える請求項4または5の方法。 - 前記配置変換の下で、クラス部分と画像特徴を比較するステップは、
(a)前記配置変換の下で、ジオメトリの比較を計算するステップと、
(b)前記配置変換の下で、アピアランスの比較を計算するステップと、
(c)前記ジオメトリの比較の結果と、前記アピアランスの比較の結果とを結合するステップと、
を備える請求項6の方法。 - 前記配置変換の下でジオメトリの比較を計算するステップは、クラス部分ジオメトリの位置成分を、対応する二次元画像位置に投影するステップを備える請求項7の方法。
- 前記配置変換の下でジオメトリの比較を計算するステップはさらに、画像特徴位置を、対応する三次元モデル位置に投影するステップを備える請求項7または8の方法。
- 前記配置変換の下でアピアランス比較を計算するステップは、画像特徴アピアランスの一部の成分を、対応する三次元モデルアピアランスに投影するステップを備える請求項7の方法。
- 前記配置変換の下でアピアランス比較を計算するステップはさらに、クラス部分のアピアランスの一部の成分を、対応する二次元画像アピアランスに投影するステップを備える請求項7または8の方法。
- 局所領域において、二次元画像を正面に配置するステップをさらに含む請求項1から11のいずれかの方法。
- 前記局所領域において二次元画像を正面配置するステップは、面について、可能性のある一以上の方向を仮定し、面の各方向について前記面がその方向を向いているものとして、局所画像アピアランスを計算することにより、実行される請求項12の方法。
- 二次元画像において、共通の視覚的特徴を有するオブジェクトの集まりであるクラスのいずれかに属するクラスインスタンスを認識するためのクラス認識方法に用いられる三次元クラスモデルのデータベースであって、
(a)各三次元クラスモデルは、複数のクラス部分を備え、各クラス部分は、そのクラスに属する複数のサンプルオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
(b)各クラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスを備え、
(c)各部分アピアランスは、二次元情報から計算される第一の部分アピアランス記述子を備える、
三次元クラスモデルのデータベース。 - 各部分アピアランスはさらに、姿勢不変である第二の部分アピアランス記述子を備える請求項14のデータベース。
- (a)前記各三次元クラスモデルは、クラスに属するサンプルオブジェクトの集合を表し、
(b)各サンプルオブジェクトは複数の要素を備え、
(c)各サンプルオブジェクトの複数の要素は、ほかのサンプルオブジェクトに対応要素を有し、
(d)各要素は要素ジオメトリと要素アピアランスを備え、
(e)各クラス部分はサンプルオブジェクト中の対応要素の集合を表し、
(f)前記部分ジオメトリは、対応要素の要素ジオメトリの集合を表し、
(g)前記部分アピアランスは、対応要素の要素アピアランスの集合を表す、
請求項15のデータベース。 - 前記部分ジオメトリは、対応要素の正準ジオメトリを表す請求項16のデータベース。
- 第二の部分アピアランス記述子は、対応要素の正準アピアランスを表す請求項16または17のデータベース。
- 三次元クラスモデルのデータベースを用いて、二次元画像において、共通の視覚的特徴を有するオブジェクトの集まりであるクラスのいずれかに属するクラスインスタンスを認識するためのクラス認識方法であって、
前記三次元クラスモデルは、一つ以上のクラス部分を備え、
各クラス部分は、そのクラスに属する複数のサンプルオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各クラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
(a)二次元画像を取得するステップと、
(b)二次元画像中において、特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(c)特定された画像特徴を三次元クラスモデルに属する複数のクラス部分の部分アピアランスと比較し、画像特徴とクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(d)二次元画像に含まれるインスタンスと三次元クラスモデルとの対応を示す対応仮説であって、クラスモデルと、そのクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(e)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、クラスモデルの二次元画像への配置変換を計算するステップと、
(f)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で、各対応仮説を評価するステップと、
(g)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(h)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える認識方法。 - 二次元画像において、共通の視覚的特徴を有するオブジェクトの集まりであるクラスのいずれかに属するクラスインスタンスを認識するためのシステムであって、
(a)三次元クラスモデルのデータベースと、
(b)二次元画像に現れるクラスインスタンスを三次元クラスモデルにマッチングさせるように構成されたプロセッサと、
を備え、
前記三次元クラスモデルは、一つ以上のクラス部分を備え、
各クラス部分は、そのクラスに属する複数のサンプルオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各クラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記三次元クラスモデルのデータベースは、
(c)前記クラスに属するサンプルオブジェクトの三次元画像を取得するステップと、
(d)各サンプルオブジェクトについて、オブジェクトモデルを構築するステップと、
(e)各オブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、各オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるオブジェクトモデルの一の要素と、他のオブジェクトモデルの前記一の要素に対応する要素とを関連づけることで、複数のサンプルオブジェクトに共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、クラス部分を構築するステップとを備える方法により構築され、
前記プロセッサは、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を三次元クラスモデルに属する複数のクラス部分の部分アピアランスと比較し、画像特徴とクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるインスタンスと三次元クラスモデルとの対応を示す対応仮説であって、クラスモデルと、そのクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、クラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える方法により、前記二次元画像に現れるクラスインスタンスを、前記三次元クラスモデルにマッチングするシステム。 - 前記三次元クラスモデルのデータベースにおいては、
(a)各三次元クラスモデルは、複数のクラス部分を備え、
(b)各部分アピアランスは、二次元情報から計算される第一のアピアランス記述子と、姿勢不変である第二の部分アピアランス記述子とを備える、
請求項20のシステム。 - 二次元画像において、共通の視覚的特徴を有するオブジェクトの集まりであるクラスのいずれかに属するクラスインスタンスを認識するためのクラス認識方法を実行可能なコンピュータプログラムを格納したコンピュータ読みとり可能な媒体であって、
前記クラス認識方法は、
(a)三次元クラスモデルデータベースを構築するステップと、
(b)二次元画像に現れるクラスインスタンスを、前記三次元クラスモデルにマッチングするステップとを備え、
前記三次元クラスモデルは、一つ以上のクラス部分を備え、
各クラス部分は、そのクラスに属する複数のサンプルオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各クラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記三次元クラスモデルのデータベースを構築するステップは、
(c)前記クラスに属するサンプルオブジェクトの三次元画像を取得するステップと、
(d)各サンプルオブジェクトについて、オブジェクトモデルを構築するステップと、
(e)各オブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、各オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるオブジェクトモデルの一の要素と、他のオブジェクトモデルの前記一の要素に対応する要素とを関連づけることで、複数のサンプルオブジェクトに共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、クラス部分を構築するステップとを備え、
前記二次元画像に現れるクラスインスタンスを、前記三次元クラスモデルにマッチングするステップは、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を三次元クラスモデルに属する複数のクラス部分の部分アピアランスと比較し、画像特徴とクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるインスタンスと三次元クラスモデルとの対応を示す対応仮説であって、クラスモデルと、そのクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、クラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える方法であるコンピュータ読みとり可能な媒体。 - 二次元画像における、オブジェクトの認識方法であって、
(a)三次元オブジェクトクラスモデルのデータベースを構築するステップと、
(b)前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするステップと、
を備え、
前記三次元オブジェクトクラスモデルは、一つ以上のオブジェクトクラス部分を含み、
各オブジェクトクラス部分は、同一のオブジェクトクラスに属する一以上のサンプル状態にある一のオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各オブジェクトクラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記部分アピアランスは、二次元情報から計算される第一の部分アピアランス記述子と、姿勢不変である第二の部分アピアランス記述子を備え、
前記三次元オブジェクトクラスモデルのデータベースを構築するステップは、
(c)一以上のサンプル状態にあるオブジェクトの三次元画像を取得するステップと、
(d)各サンプル状態について、オブジェクトモデルを構築するステップと、
(e)各サンプル状態におけるオブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるサンプル状態にあるオブジェクトモデルの一の要素と、他のサンプル状態にあるオブジェクトモデルの、その要素に対応する要素とを関連づけることで、複数のサンプル状態に共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、オブジェクトクラス部分を構築するステップとを備え、
前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするステップは、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を複数の三次元オブジェクトクラスモデルに属する複数のオブジェクトクラス部分の部分アピアランスと比較し、画像特徴とオブジェクトクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるオブジェクトインスタンスと三次元オブジェクトクラスモデルとの対応を示す対応仮説であって、オブジェクトクラスモデルと、そのオブジェクトクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、オブジェクトクラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える方法。 - (a)前記一以上の対応仮説を構築するステップは、第一のアピアランス記述子を用いて特徴部分マッチを特定するステップを備え、
(b)前記クラススコアを計算することにより対応仮説を評価するステップは、第二の部分アピアランス記述子を用いて、前記配置変換の下でアピアランス比較を計算するステップを備える、
請求項23の方法。 - 二次元画像における変形可能なオブジェクトの認識方法であって、
(a)三次元オブジェクトクラスモデルのデータベースを構築するステップと、
(b)前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするステップと、
を備え、
前記三次元オブジェクトクラスモデルは、一つ以上のオブジェクトクラス部分を含み、
各オブジェクトクラス部分は、同一のオブジェクトクラスに属する複数のサンプル状態にある一のオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各オブジェクトクラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記部分アピアランスは、二次元情報から計算される第一の部分アピアランス記述子と、姿勢不変である第二の部分アピアランス記述子を備え、前記部分ジオメトリは、変形によるオブジェクトの多様性をモデル化し、
前記三次元オブジェクトクラスモデルのデータベースを構築するステップは、
(c)複数のサンプル状態にあるオブジェクトの三次元画像を取得するステップと、
(d)各サンプル状態について、オブジェクトモデルを構築するステップと、
(e)各サンプル状態におけるオブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるサンプル状態にあるオブジェクトモデルの一の要素と、他のサンプル状態にあるオブジェクトモデルの、その要素に対応する要素とを関連づけることで、複数のサンプル状態に共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、オブジェクトクラス部分を構築するステップとを備え、
前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするステップは、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を複数の三次元オブジェクトクラスモデルに属する複数のオブジェクトクラス部分の部分アピアランスと比較し、画像特徴とオブジェクトクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるオブジェクトインスタンスと三次元オブジェクトクラスモデルとの対応を示す対応仮説であって、オブジェクトクラスモデルと、そのオブジェクトクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、オブジェクトクラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える方法。 - 二次元画像において、複数のアピアランス状態を有するオブジェクトを認識する方法であって、
(a)三次元オブジェクトクラスモデルのデータベースを構築するステップと、
(b)前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするステップと、
を備え、
前記三次元オブジェクトクラスモデルは、一つ以上のオブジェクトクラス部分を含み、
各オブジェクトクラス部分は、同一のオブジェクトクラスに属する複数のサンプル状態にある一のオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各オブジェクトクラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記部分アピアランスは、二次元情報から計算される第一の部分アピアランス記述子と、姿勢不変である第二の部分アピアランス記述子を備え、一以上の前記部分アピアランス記述子が、オブジェクトの複数のアピアランス状態をモデル化し、
前記三次元オブジェクトクラスモデルのデータベースを構築するステップは、
(c)複数のサンプル状態にあるオブジェクトの三次元画像を取得するステップと、
(d)各サンプル状態について、オブジェクトモデルを構築するステップと、
(e)各サンプル状態におけるオブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるサンプル状態にあるオブジェクトモデルの一の要素と、他のサンプル状態にあるオブジェクトモデルの、その要素に対応する要素とを関連づけることで、複数のサンプル状態に共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、オブジェクトクラス部分を構築するステップとを備え、
前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするステップは、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を複数の三次元オブジェクトクラスモデルに属する複数のオブジェクトクラス部分の部分アピアランスと比較し、画像特徴とオブジェクトクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるオブジェクトインスタンスと三次元オブジェクトクラスモデルとの対応を示す対応仮説であって、オブジェクトクラスモデルと、そのオブジェクトクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、オブジェクトクラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備える方法。 - 二次元画像において、オブジェクトを認識するためのシステムであって、
(a)三次元オブジェクトクラスモデルのデータベースと、
(b)前記二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングするよう構成されるプロセッサと、
を備え、
前記三次元オブジェクトクラスモデルは、一つ以上のオブジェクトクラス部分を含み、
各オブジェクトクラス部分は、同一のオブジェクトクラスに属する一以上のサンプル状態にある一のオブジェクトに共通する特徴的な要素である対応要素についての統計的モデルであり、
各オブジェクトクラス部分は、対応要素の位置に関する特徴を表す要素ジオメトリを統計的にモデル化した部分ジオメトリと、対応要素の外観上の特徴である要素アピアランスを統計的にモデル化した部分アピアランスとを有し、
前記部分アピアランスは、二次元情報から計算される第一の部分アピアランス記述子と、姿勢不変である第二の部分アピアランス記述子を備え、
前記三次元オブジェクトクラスモデルのデータベースは、
(c)一以上のサンプル状態にあるオブジェクトの三次元画像を取得するステップと、
(d)各サンプル状態について、オブジェクトモデルを構築するステップと、
(e)各サンプル状態におけるオブジェクトのジオメトリの位置とスケールが、複数のサンプルオブジェクト間で一様になるよう標準化することで、オブジェクトモデルを正準ジオメトリ形式に設定するステップと、
(f)あるサンプル状態にあるオブジェクトモデルの一の要素と、他のサンプル状態にあるオブジェクトモデルの、その要素に対応する要素とを関連づけることで、複数のサンプル状態に共通する対応要素の集合を形成するステップと、
(g)対応要素の集合のそれぞれについて、オブジェクトクラス部分を構築するステップとを備える方法により構築され、
前記プロセッサは、二次元画像に現れるオブジェクトインスタンスを、前記三次元オブジェクトクラスモデルにマッチングし、そのマッチング方法は、
(h)二次元画像を取得するステップと、
(i)二次元画像において、各々の画像特徴が特徴位置と特徴アピアランスを有する一以上の画像特徴を特定するステップと、
(j)特定された画像特徴を複数の三次元オブジェクトクラスモデルに属する複数のオブジェクトクラス部分の部分アピアランスと比較し、画像特徴とオブジェクトクラス部分のもっともらしいマッチングの対である特徴部分マッチを決定するステップと、
(k)二次元画像に含まれるオブジェクトインスタンスと三次元オブジェクトクラスモデルとの対応を示す対応仮説であって、オブジェクトクラスモデルと、そのオブジェクトクラスに所属する特徴部分マッチの集合とを含む対応仮説を一つ以上、構築するステップと、
(l)各対応仮説について、その対応仮説に含まれる特徴部分マッチを用いて、オブジェクトクラスモデルの二次元画像への配置変換を計算するステップと、
(m)前記配置変換の下で、その対応仮説に含まれる複数の特徴部分マッチのマッチング尤度の積であるクラススコアを計算することにより、前記配置変換の下で各対応仮説を評価するステップと、
(n)クラススコアを増加させる新たな特徴部分マッチを加えることにより、対応仮説を拡張するステップと、
(o)対応仮説のうち、そのクラススコアが選択された受け入れ基準を満たす対応仮説を選択するステップと、
を備えるシステム。 - コンピュータ読みとり可能な媒体であって、
二次元画像において、一以上のアピアランス状態をとるオブジェクトを認識するための請求項23のオブジェクト認識方法を実行可能なコンピュータプログラムを格納したコンピュータ読みとり可能な媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US69173205P | 2005-06-16 | 2005-06-16 | |
US60/691,732 | 2005-06-16 | ||
PCT/US2006/023423 WO2006138525A2 (en) | 2005-06-16 | 2006-06-13 | System and method for recognition in 2d images using 3d class models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008547094A JP2008547094A (ja) | 2008-12-25 |
JP4691158B2 true JP4691158B2 (ja) | 2011-06-01 |
Family
ID=37571203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008517124A Active JP4691158B2 (ja) | 2005-06-16 | 2006-06-13 | 三次元クラスモデルを用いた二次元画像における認識システムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7929775B2 (ja) |
EP (1) | EP1897033A4 (ja) |
JP (1) | JP4691158B2 (ja) |
WO (1) | WO2006138525A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11043038B1 (en) | 2020-03-16 | 2021-06-22 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method of three-dimensional interaction for augmented reality remote assistance |
Families Citing this family (119)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10145608B4 (de) * | 2001-09-15 | 2006-01-26 | Eads Deutschland Gmbh | Modellbasierte Objektklassifikation und Zielerkennung |
US8510283B2 (en) | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
US8195659B2 (en) | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
US7991778B2 (en) | 2005-08-23 | 2011-08-02 | Ricoh Co., Ltd. | Triggering actions with captured input in a mixed media environment |
US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
US7920759B2 (en) | 2005-08-23 | 2011-04-05 | Ricoh Co. Ltd. | Triggering applications for distributed action execution and use of mixed media recognition as a control input |
US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
US8332401B2 (en) | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
US8156427B2 (en) | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
US8335789B2 (en) | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
US8276088B2 (en) * | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
US8144921B2 (en) | 2007-07-11 | 2012-03-27 | Ricoh Co., Ltd. | Information retrieval using invisible junctions and geometric constraints |
US7970171B2 (en) | 2007-01-18 | 2011-06-28 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US8086038B2 (en) | 2007-07-11 | 2011-12-27 | Ricoh Co., Ltd. | Invisible junction features for patch recognition |
US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
US7885955B2 (en) | 2005-08-23 | 2011-02-08 | Ricoh Co. Ltd. | Shared document annotation |
US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
US7917554B2 (en) | 2005-08-23 | 2011-03-29 | Ricoh Co. Ltd. | Visibly-perceptible hot spots in documents |
US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US8005831B2 (en) | 2005-08-23 | 2011-08-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment with geographic location information |
US10192279B1 (en) | 2007-07-11 | 2019-01-29 | Ricoh Co., Ltd. | Indexed document modification sharing with mixed media reality |
TW200725433A (en) * | 2005-12-29 | 2007-07-01 | Ind Tech Res Inst | Three-dimensional face recognition system and method thereof |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
ATE465473T1 (de) * | 2006-02-24 | 2010-05-15 | Koninkl Philips Electronics Nv | Automatisiertes robustes verfahren zum erlernen von geometrien für mr-untersuchungen |
US8467570B2 (en) * | 2006-06-14 | 2013-06-18 | Honeywell International Inc. | Tracking system with fused motion and object detection |
US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US8073263B2 (en) | 2006-07-31 | 2011-12-06 | Ricoh Co., Ltd. | Multi-classifier selection and monitoring for MMR-based image recognition |
US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US20080112593A1 (en) * | 2006-11-03 | 2008-05-15 | Ratner Edward R | Automated method and apparatus for robust image object recognition and/or classification using multiple temporal views |
JP4950787B2 (ja) | 2007-07-12 | 2012-06-13 | 株式会社東芝 | 画像処理装置及びその方法 |
US8200010B1 (en) * | 2007-09-20 | 2012-06-12 | Google Inc. | Image segmentation by clustering web images |
DE102007048320A1 (de) * | 2007-10-09 | 2008-05-15 | Daimler Ag | Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke |
US8571277B2 (en) * | 2007-10-18 | 2013-10-29 | Eigen, Llc | Image interpolation for medical imaging |
US20090135177A1 (en) | 2007-11-20 | 2009-05-28 | Big Stage Entertainment, Inc. | Systems and methods for voice personalization of video content |
US8761466B2 (en) * | 2008-01-02 | 2014-06-24 | Bio-Tree Systems, Inc. | Methods of obtaining geometry from images |
US8165361B2 (en) * | 2008-01-14 | 2012-04-24 | General Electric Company | System and method for image based multiple-modality cardiac image alignment |
KR100951890B1 (ko) * | 2008-01-25 | 2010-04-12 | 성균관대학교산학협력단 | 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법 |
US8009921B2 (en) * | 2008-02-19 | 2011-08-30 | Xerox Corporation | Context dependent intelligent thumbnail images |
WO2009110725A2 (ko) * | 2008-03-04 | 2009-09-11 | 주식회사 코드에스이 | 3차원 응용프로그램 프레임워크 구조 및 이를 기반으로 하는 응용프로그램 구현 방법과, 3차원 응용소프트웨어 프레임워크 기반의 자동 테스트 시스템 및 그 방법 |
FR2931277B1 (fr) * | 2008-05-19 | 2010-12-31 | Ecole Polytech | Procede et dispositif de reconnaissance invariante-affine de formes |
US8073243B2 (en) | 2008-05-30 | 2011-12-06 | General Instrument Corporation | Replacing image information in a captured image |
US8457400B2 (en) * | 2008-06-27 | 2013-06-04 | Microsoft Corporation | Patch-based texture histogram coding for fast image similarity search |
JP2010029397A (ja) * | 2008-07-28 | 2010-02-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP4792069B2 (ja) * | 2008-09-03 | 2011-10-12 | 株式会社日立製作所 | 画像認識装置 |
US20120075296A1 (en) * | 2008-10-08 | 2012-03-29 | Strider Labs, Inc. | System and Method for Constructing a 3D Scene Model From an Image |
TWI382354B (zh) * | 2008-12-02 | 2013-01-11 | Nat Univ Tsing Hua | 臉部辨識方法 |
US9098945B2 (en) * | 2009-05-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Modeling anisotropic surface reflectance with microfacet synthesis |
US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
US8442305B2 (en) * | 2009-06-30 | 2013-05-14 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining 3D poses using points and lines |
EP2302589B1 (en) * | 2009-09-01 | 2012-12-05 | Fondazione Bruno Kessler | Method for efficient target detection from images robust to occlusion |
WO2011033657A1 (ja) * | 2009-09-18 | 2011-03-24 | 株式会社東芝 | 特徴抽出装置 |
WO2011061905A1 (ja) * | 2009-11-20 | 2011-05-26 | 日本電気株式会社 | 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体 |
JP5560722B2 (ja) * | 2010-01-12 | 2014-07-30 | セイコーエプソン株式会社 | 画像処理装置、画像表示システム、および画像処理方法 |
GB201002973D0 (en) * | 2010-02-23 | 2010-04-07 | Airbus Operations Ltd | Recording the location of a point of interest on an object |
CN101923641B (zh) * | 2010-09-09 | 2012-08-08 | 北京交通大学 | 一种改进的人脸识别方法 |
KR101312954B1 (ko) * | 2011-03-31 | 2013-10-01 | 주식회사 리코시스 | 3차원 테마를 표현하는 커버페이지를 제공하는 사용자 인터페이스 장치 및 그 구동 방법 |
FR2973540B1 (fr) * | 2011-04-01 | 2013-03-29 | CVDM Solutions | Procede d'extraction automatisee d'un planogramme a partir d'images de lineaire |
US8917322B2 (en) * | 2011-04-01 | 2014-12-23 | Lockheed Martin Corporation | Method and apparatus for digital video latency reduction by real-time warping |
US20120314031A1 (en) * | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
JP5132832B1 (ja) * | 2011-07-11 | 2013-01-30 | キヤノン株式会社 | 計測装置および情報処理装置 |
US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
US9141871B2 (en) * | 2011-10-05 | 2015-09-22 | Carnegie Mellon University | Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space |
US8774504B1 (en) * | 2011-10-26 | 2014-07-08 | Hrl Laboratories, Llc | System for three-dimensional object recognition and foreground extraction |
WO2013086137A1 (en) | 2011-12-06 | 2013-06-13 | 1-800 Contacts, Inc. | Systems and methods for obtaining a pupillary distance measurement using a mobile computing device |
US20150178321A1 (en) * | 2012-04-10 | 2015-06-25 | Google Inc. | Image-based 3d model search and retrieval |
US20130314401A1 (en) | 2012-05-23 | 2013-11-28 | 1-800 Contacts, Inc. | Systems and methods for generating a 3-d model of a user for a virtual try-on product |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
US9483853B2 (en) | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
CN110909825B (zh) | 2012-10-11 | 2024-05-28 | 开文公司 | 使用概率模型在视觉数据中检测对象 |
DE102012113009A1 (de) * | 2012-12-21 | 2014-06-26 | Jenoptik Robot Gmbh | Verfahren zum automatischen Klassifizieren von sich bewegenden Fahrzeugen |
US9314219B2 (en) * | 2013-02-27 | 2016-04-19 | Paul J Keall | Method to estimate real-time rotation and translation of a target with a single x-ray imager |
US9552533B2 (en) * | 2013-03-05 | 2017-01-24 | Toshiba Medical Systems Corporation | Image registration apparatus and method |
US10387729B2 (en) * | 2013-07-09 | 2019-08-20 | Outward, Inc. | Tagging virtualized content |
US9355123B2 (en) | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
JP6324025B2 (ja) * | 2013-11-05 | 2018-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US9466136B2 (en) * | 2013-11-27 | 2016-10-11 | General Electric Company | Methods and systems for performing model-based image processing |
US9501498B2 (en) | 2014-02-14 | 2016-11-22 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
US9747493B2 (en) | 2014-09-23 | 2017-08-29 | Keylemon Sa | Face pose rectification method and apparatus |
WO2016068869A1 (en) * | 2014-10-28 | 2016-05-06 | Hewlett-Packard Development Company, L.P. | Three dimensional object recognition |
EP3023909A1 (en) * | 2014-11-18 | 2016-05-25 | Thomson Licensing | Method and apparatus for ranking 2D candidate images |
US20160178754A1 (en) * | 2014-12-18 | 2016-06-23 | Javad Gnss, Inc. | Portable gnss survey system |
US9866815B2 (en) * | 2015-01-05 | 2018-01-09 | Qualcomm Incorporated | 3D object segmentation |
US9600736B2 (en) * | 2015-06-29 | 2017-03-21 | International Business Machines Corporation | Pose detection using depth camera |
US10152780B2 (en) | 2015-11-02 | 2018-12-11 | Cognex Corporation | System and method for finding lines in an image with a vision system |
US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
JP6226939B2 (ja) * | 2015-11-30 | 2017-11-08 | 麗軌 清水 | 超低解像度画像作成装置及び超低解像度画像作成方法 |
US10380767B2 (en) | 2016-08-01 | 2019-08-13 | Cognex Corporation | System and method for automatic selection of 3D alignment algorithms in a vision system |
JP2018073379A (ja) * | 2016-10-25 | 2018-05-10 | 富士通株式会社 | ジオメトリックモデルにおけるジオメトリック特徴のグループを検出するためのコンピュータで実施される方法 |
US10311593B2 (en) * | 2016-11-16 | 2019-06-04 | International Business Machines Corporation | Object instance identification using three-dimensional spatial configuration |
WO2019075276A1 (en) * | 2017-10-11 | 2019-04-18 | Aquifi, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING OBJECT |
WO2019117959A1 (en) * | 2017-12-15 | 2019-06-20 | Hewlett-Packard Development Company, L.P. | Patterns for locations on three-dimensional objects |
US10957072B2 (en) | 2018-02-21 | 2021-03-23 | Cognex Corporation | System and method for simultaneous consideration of edges and normals in image features by a vision system |
CN110363738B (zh) * | 2018-04-08 | 2021-08-27 | 中南大学 | 一种具有仿射不变性的视网膜图像配准方法及其装置 |
CN109793999B (zh) * | 2019-01-25 | 2020-09-18 | 无锡海鹰医疗科技股份有限公司 | Hifu治疗***的静态三维轮廓体图像的构建方法 |
CN110298066B (zh) * | 2019-05-15 | 2023-04-18 | 成都数模码科技有限公司 | 一种标准斜楔智能匹配方法 |
US11200919B2 (en) | 2020-03-10 | 2021-12-14 | Sony Group Corporation | Providing a user interface for video annotation tools |
CN111353551B (zh) * | 2020-03-13 | 2020-12-08 | 广东工业大学 | 一种面向产品装配工艺的非均匀样本均衡化方法及*** |
CN112052834B (zh) * | 2020-09-29 | 2022-04-08 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的面部识别方法、装置及设备 |
US20220101270A1 (en) * | 2020-09-30 | 2022-03-31 | Amazon Technologies, Inc. | Prognostics and health management service |
GB2608224A (en) * | 2020-12-24 | 2022-12-28 | Nvidia Corp | Generation of moving three dimensional models using motion transfer |
US11954886B2 (en) * | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
CN113989456B (zh) * | 2021-12-23 | 2022-03-08 | 苏州工业园区测绘地理信息有限公司 | 基于gis数据的轨交站点空间三维模型自动构建方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278798B1 (en) * | 1993-08-09 | 2001-08-21 | Texas Instruments Incorporated | Image object recognition system and method |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2040273C (en) | 1990-04-13 | 1995-07-18 | Kazu Horiuchi | Image displaying system |
EP0686932A3 (en) | 1994-03-17 | 1997-06-25 | Texas Instruments Inc | Computer vision system to search for three-dimensional rectangular objects |
JPH0877356A (ja) | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
US6445814B2 (en) | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
US6611630B1 (en) | 1996-07-10 | 2003-08-26 | Washington University | Method and apparatus for automatic shape characterization |
US6047078A (en) | 1997-10-03 | 2000-04-04 | Digital Equipment Corporation | Method for extracting a three-dimensional model using appearance-based constrained structure from motion |
US6256409B1 (en) | 1998-10-19 | 2001-07-03 | Sony Corporation | Method for determining a correlation between images using multi-element image descriptors |
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
US6532301B1 (en) | 1999-06-18 | 2003-03-11 | Microsoft Corporation | Object recognition with occurrence histograms |
US6865289B1 (en) | 2000-02-07 | 2005-03-08 | Canon Kabushiki Kaisha | Detection and removal of image occlusion errors |
US6678414B1 (en) | 2000-02-17 | 2004-01-13 | Xerox Corporation | Loose-gray-scale template matching |
US6956569B1 (en) * | 2000-03-30 | 2005-10-18 | Nec Corporation | Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database |
JP4443722B2 (ja) | 2000-04-25 | 2010-03-31 | 富士通株式会社 | 画像認識装置及び方法 |
EP1202214A3 (en) | 2000-10-31 | 2005-02-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for object recognition |
US7016532B2 (en) | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
JP3645196B2 (ja) | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
US6879717B2 (en) | 2001-02-13 | 2005-04-12 | International Business Machines Corporation | Automatic coloring of pixels exposed during manipulation of image regions |
US6845178B1 (en) | 2001-06-27 | 2005-01-18 | Electro Scientific Industries, Inc. | Automatic separation of subject pixels using segmentation based on multiple planes of measurement data |
US7010158B2 (en) | 2001-11-13 | 2006-03-07 | Eastman Kodak Company | Method and apparatus for three-dimensional scene modeling and reconstruction |
US6689416B2 (en) * | 2002-01-25 | 2004-02-10 | Paragon Trade Brands, Inc. | System and method for feedback control of an absorbent core manufacturing process |
US20030169906A1 (en) | 2002-02-26 | 2003-09-11 | Gokturk Salih Burak | Method and apparatus for recognizing objects |
US6831641B2 (en) | 2002-06-17 | 2004-12-14 | Mitsubishi Electric Research Labs, Inc. | Modeling and rendering of surface reflectance fields of 3D objects |
US7034822B2 (en) | 2002-06-19 | 2006-04-25 | Swiss Federal Institute Of Technology Zurich | System and method for producing 3D video images |
US7103212B2 (en) | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
US7289662B2 (en) | 2002-12-07 | 2007-10-30 | Hrl Laboratories, Llc | Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views |
EP1599828A1 (en) * | 2003-03-06 | 2005-11-30 | Animetrics, Inc. | Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery |
JP3842233B2 (ja) | 2003-03-25 | 2006-11-08 | ファナック株式会社 | 画像処理装置及びロボットシステム |
US7343039B2 (en) | 2003-06-13 | 2008-03-11 | Microsoft Corporation | System and process for generating representations of objects using a directional histogram model and matrix descriptor |
KR100682889B1 (ko) | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
JP3892838B2 (ja) | 2003-10-16 | 2007-03-14 | ファナック株式会社 | 3次元測定装置 |
US7551755B1 (en) * | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
CA2563380A1 (en) * | 2004-05-24 | 2005-12-08 | Simactive, Inc. | Method and system for detecting and evaluating 3d changes from images and a 3d reference model |
US20050286767A1 (en) * | 2004-06-23 | 2005-12-29 | Hager Gregory D | System and method for 3D object recognition using range and intensity |
US7397473B2 (en) * | 2004-07-16 | 2008-07-08 | Geometric Ltd. | Geometry based search method for 3D CAx/PDM repositories |
SE528068C2 (sv) * | 2004-08-19 | 2006-08-22 | Jan Erik Solem Med Jsolutions | Igenkänning av 3D föremål |
EP1810216B1 (en) * | 2004-08-19 | 2012-03-28 | Apple Inc. | 3d object recognition |
US7397970B2 (en) * | 2004-12-07 | 2008-07-08 | Lockheed Martin Corporation | Automatic scene correlation and identification |
US7415152B2 (en) * | 2005-04-29 | 2008-08-19 | Microsoft Corporation | Method and system for constructing a 3D representation of a face from a 2D representation |
-
2006
- 2006-06-13 WO PCT/US2006/023423 patent/WO2006138525A2/en active Application Filing
- 2006-06-13 US US11/452,815 patent/US7929775B2/en active Active
- 2006-06-13 EP EP06773311.3A patent/EP1897033A4/en not_active Withdrawn
- 2006-06-13 JP JP2008517124A patent/JP4691158B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278798B1 (en) * | 1993-08-09 | 2001-08-21 | Texas Instruments Incorporated | Image object recognition system and method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11043038B1 (en) | 2020-03-16 | 2021-06-22 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method of three-dimensional interaction for augmented reality remote assistance |
Also Published As
Publication number | Publication date |
---|---|
EP1897033A4 (en) | 2015-06-24 |
WO2006138525A2 (en) | 2006-12-28 |
EP1897033A2 (en) | 2008-03-12 |
US20060285755A1 (en) | 2006-12-21 |
WO2006138525A3 (en) | 2007-12-21 |
US7929775B2 (en) | 2011-04-19 |
JP2008547094A (ja) | 2008-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4691158B2 (ja) | 三次元クラスモデルを用いた二次元画像における認識システムおよび方法 | |
US10515259B2 (en) | Method and system for determining 3D object poses and landmark points using surface patches | |
US9280827B2 (en) | Method for determining object poses using weighted features | |
US8780110B2 (en) | Computer vision CAD model | |
US9087232B2 (en) | 3D object recognition | |
US7957584B2 (en) | Fast object detection for augmented reality systems | |
US8009900B2 (en) | System and method for detecting an object in a high dimensional space | |
US8068654B2 (en) | Method and system for detection and registration of 3D objects using incremental parameter learning | |
US8280150B2 (en) | Method and apparatus for determining similarity between surfaces | |
US20080101676A1 (en) | System and Method For Segmenting Chambers Of A Heart In A Three Dimensional Image | |
US20040190775A1 (en) | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery | |
US20100085358A1 (en) | System and method for constructing a 3D scene model from an image | |
US8526679B2 (en) | Image processing apparatus and image processing method | |
WO2007022163A1 (en) | Method for database-guided simultaneous multi-slice object detection in three dimensional volumetric data | |
Salah et al. | Registration of three-dimensional face scans with average face models | |
US7580774B2 (en) | Characterization and classification of pose in low dimension | |
Li et al. | Contour extraction of drosophila embryos | |
Pennec | Toward a generic framework for recognition based on uncertain geometric features | |
EP1828959A1 (en) | Face recognition using features along iso-radius contours | |
US20230154030A1 (en) | Object orientation estimation | |
Zelener | Object Localization, Segmentation, and Classification in 3D Images | |
Georgis | Position estimation of multiple sea vessels using a stereo-based camera system and neural networks | |
Rusu et al. | Identifying and Opening Doors | |
Lu | Active foveal object recognition system | |
Planitz et al. | Using the correspondence framework to select surface matching algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101020 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4691158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |