JP6515039B2 - 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 - Google Patents
連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP6515039B2 JP6515039B2 JP2016002279A JP2016002279A JP6515039B2 JP 6515039 B2 JP6515039 B2 JP 6515039B2 JP 2016002279 A JP2016002279 A JP 2016002279A JP 2016002279 A JP2016002279 A JP 2016002279A JP 6515039 B2 JP6515039 B2 JP 6515039B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- normal vector
- registration
- computer
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
また、対象物体の3次元構造を3Dセンサでリアルタイムに取得し、その位置姿勢を推定/追跡する技術もある(例えば特許文献3参照)。
更に、単眼カメラのみで、撮影画像の3次元構造を推定する技術もある(例えば特許文献4参照)。
対象物体が平面であれば、例えば画像間のホモグラフィ行列から、対象物体の方向を推定することもできる(例えば非特許文献1参照)。
また、対象物体に複数の平面が含まれる場合に推定精度を向上させる技術もある(例えば特許文献5参照)。
しかしながら、これら技術についても、カメラワークに対する制約が存在する。
しかしながら、この技術によれば、指定する対象物体の模様に制約があり、対象物体から万遍なく特徴点(画像特徴)が検出される場合にしか、実用的な精度を得ることができない。また、特徴点の追跡失敗に対するロバスト性に乏しい。
連続的な撮影画像のNc個のフレームiと、
Nc個のフレームiの内のいずれかのフレームである登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標Xj(=[xj,yj,zj]T)と、
各フレームに映るNp個の登録点pj毎の追跡座標mij(=[uij,vij]T、i=1〜Nc)とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)との両方を算出する法線ベクトル算出手段と
して機能させ、
法線ベクトル算出手段は、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する
ようにコンピュータを機能させることを特徴とする。
法線ベクトル算出手段は、基準点X0を、登録点pjの重心p0(=[u0,v0]Tの逆投影(X0=1/w0[u0,v0,1]T)によって算出する
ようにコンピュータを機能させることも好ましい。
法線ベクトル算出手段について、再投影誤差関数は、以下の式によって表される
Ri',ti',nt'=arg minRi,ti,ntΣi=1 NcΣj=1 Np(mij−proj(Ri,ti,Xj))2
Xj=(nt・X0/nt・pj')pj'
=(xnx0+yny0+znz0)/(xnuj+ynvj+zn)[uj,vj,1]T
xn 2+yn 2+zn 2=1
zn=√(1−xn 2−yn 2)
pj'(=[uj,vj,1]T):登録点pjの同次座標表現
i:撮影画像のNc個のフレームの番数
mij:フレームiに映るNp個の登録点pj毎の追跡座標
Ri及びti:フレームiのカメラ姿勢パラメータ
nt:平面物体の法線ベクトル
X0:物体平面の通る基準点
proj(Ri,ti,Xj):3次元座標Xjの投影関数 [Ri|ti]Xj'
Xj':Xjの同次座標表現
Ri'及びti':フレームiのカメラ姿勢パラメータRi及びtiの推定値
nt':平面物体の法線ベクトルntの推定値
ようにコンピュータを機能させることも好ましい。
法線ベクトル算出手段について、再投影誤差関数における未知パラメータの数は、Nc個のフレームi毎に生じるカメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)の6個と、登録点に対する法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)の2個とを合計した、6Nc+2個となる
ようにコンピュータを機能させることも好ましい。
法線ベクトル算出手段は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのRiを単位行列とし、tiを零ベクトルとして、法線ベクトルを算出する
ようにコンピュータを機能させることも好ましい。
法線ベクトル算出手段について、再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向nt=[0,0,1]Tとする
ようにコンピュータを機能させることも好ましい。
登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する画像特徴追跡手段と
して更にコンピュータを機能させることも好ましい。
撮影画像の中から、ユーザ操作に応じて平面物体が映る対象領域を特定し、該対象領域を登録画像として記憶する登録画像記憶手段と
して更にコンピュータを機能させることも好ましい。
登録画像記憶手段は、登録画像を、法線ベクトル算出手段によって算出された法線ベクトルによって正面化画像に幾何変換し、該正面化画像を登録画像として記憶する
ようにコンピュータを機能させることも好ましい。
連続的な撮影画像のNc個のフレームiと、
Nc個のフレームiの内のいずれかのフレームである登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標Xj(=[xj,yj,zj]T)と、
各フレームに映るNp個の登録点pj毎の追跡座標mij(=[uij,vij]T、i=1〜Nc)とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)との両方を算出する法線ベクトル算出手段
を有し、
法線ベクトル算出手段は、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する
ことを特徴とする。
装置は、
連続的な撮影画像のNc個のフレームiと、
Nc個のフレームiの内のいずれかのフレームである登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標Xj(=[xj,yj,zj]T)と、
各フレームに映るNp個の登録点pj毎の追跡座標mij(=[uij,vij]T、i=1〜Nc)とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)との両方を算出するステップ
を実行し、
ステップは、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する
ことを特徴とする。
(前提条件1)対象物体が、平面物体(又は概ね平面で近似可能な物体)である
(前提条件2)撮影画像のカメラワークが、微小である
画像取得部10は、カメラによる連続的な撮影画像を取得する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの(例えばライブ映像)であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。取得された撮影画像は、画像特徴追跡部12へ出力される。ここで、登録画像がユーザによって指定される場合、取得された撮影画像は、登録画像記憶部11へも出力される。
ユーザは、撮影画像中の平面物体の姿勢推定を開始する際に、ユーザインタフェースを介して登録画像を設定し、姿勢推定の開始を指示する。登録画像記憶部11は、画像取得部10から入力された撮影画像の中から、対象領域となる登録画像を記憶する。
Rrec=RY(θY)RX(θX)
RX:X軸周りの回転行列
RY:Y軸周りの回転行列
θX:ntのX軸に沿った角度
θY:ntのY軸に沿った角度
Hrec=[p1,p2,p4]
Prec=[p1,p2,p3,p4]=A[Rrec|t]
t:登録画像中の平面物体の位置を調整する並進ベクトル
ここで、tは正面化画像中の平面物体が画像中央に来るように調整して設定することが望ましい。
焦点距離fx、fy及び光軸のズレcx、cyは、事前のキャリブレーションによって算出しておくことができる。画像平面上の二次元ピクセル座標[u,v]Tは、内部パラメータを用いて、以下の式で正規化座標[u',v']Tに変換することができる。
u'=(u−cx)/fx , v'=(v−cy)/fy
このように、二次元座標を正規化座標で表現することにより、式を簡潔に記載することができる。そのために、本発明の登録点や特徴点の二次元座標は、正規化座標で記載していることに注意すべきである。
画像特徴追跡部12は、連続的な撮影画像の中で、登録画像の登録点(画像特徴)を追跡する。
<特徴点追跡ベース>
<局所特徴量のマッチングベース>
画像特徴追跡部12は、2つのいずれか一方又は両方を用いて、登録画像(法線ベクトルnt)の登録点pj(=[uj,vj]T、j=1〜Np)に対応する撮影画像の追跡座標mij(=[uij,vij]T、i=1〜Nc)を取得する。
特徴点追跡ベースの技術によれば、Harrisコーナー検出器や、FASTコーナー検出器によって、登録画像の登録点に対応する撮影画像の中の追跡座標を検出する。一般的に、KLT(Kanade-Lucas-Tomasi)アルゴリズムや、特徴点周囲局所領域を切り出したパッチのテンプレートマッチングの技術が用いられる。テンプレートマッチングの類似度算出方法としては、NCC(Normalized Cross Correlation)やSSD(Sum of Squared Difference)を用いることができる。
局所特徴量のマッチングベースの技術によれば、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)のような、位置や回転、歪みの変化に頑健な特徴量のマッチングによって画像間の点対応を取得する。SIFTは、1枚の画像からは128次元の特徴ベクトルの集合を抽出し、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する。SURFは、積分画像を利用することによってSIFTよりも高速処理が可能であって、1枚の画像から64次元の特徴ベクトルの集合を抽出する。また、バイナリ特徴ベクトル抽出アルゴリズムであるFAST(Features from Accelerated Segment Test)やFREAK(Fast Retina Keypoint)の場合、SIFTやSURFよりも高速且つコンパクトな特徴ベクトルを抽出することができる。
dij=|mij−p'ij|
P'ij ̄=HRCpij ̄
Pij' ̄:pijの同次表現
dij:追跡座標mijのホモグラフィ行列HRCからの乖離度
dijが一定の閾値以上の追跡座標mijを除外することによって、追跡のロバスト性を向上させることができる。
ユーザの指示に応じて平面物体が映る登録画像から、ある程度、背景領域を除外することができる。しかしながら、ユーザが厳密に、平面物体を登録画像全体で指定することは難しく、登録画像の指定には誤差が含まれる。尚、本来、利便性の観点からは、対象領域をユーザに指定させる必要が無いことが好ましい。
平面物体は、登録画像の中央付近に写っていることが一般的に期待されており、対象領域の初期値として、登録画像の中央付近の領域を指定することが望ましい。ホモグラフィ行列に合致するインライアの取得後、インライアを包含する領域を対象領域として更新する。
追跡に成功した追跡座標(画像特徴)の数が著しく少ない場合、複数の原因がある。例えば、カメラワークが大きすぎるか、光源変化やフォーカスの変化によって画像特徴の追跡が著しく困難な画像が入力されたか、登録画像にノイズが乗っている場合がある。これらの場合、法線ベクトルを正確に算出することができない。そのために、画像特徴追跡部12は、追跡に成功した画像特徴の数が第1の所定閾値τnp以下の場合に、画像処理を中断して、画像登録からやり直す。
十分な数の追跡座標(画像特徴)が追跡できたにもかかわらず、ホモグラフィ行列に合致する(インライアとなる)追跡座標の数が著しく少ない場合、対象領域が平面で無い場合が想定される。この場合、画像特徴追跡部12は、追跡に成功した画像特徴の数が第2の所定閾値(<第1の所定閾値)以下の場合に、画像処理を中断して、「対象物体が平面で無い」旨をユーザに明示する。
対象物体が複数平面で構成される場合は、第1の対象領域についてアウトライアとなった追跡座標のみから再度、RANSAC等のロバスト推定を用いて、第2の対象領域として、第1のHRCとは異なる第2のホモグラフィ行列HRCを算出し、そのインライアとなる追跡座標を抽出することも好ましい。3つ以上の対象領域についても、これを繰り返すことができる。
法線ベクトル算出部13には、画像特徴追跡部12から、各撮影画像に対応する連続的な登録点pの群が入力される。法線ベクトル算出部13は、撮影画像に映り込む平面物体の法線ベクトルを算出するために、以下の要素を用いる。
i:連続的な撮影画像のNc個のフレームの番数
Xj(=[xj,yj,zj]T):平面物体の登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標
mij(=[uij,vij]T、i=1〜Nc):各フレームに映るNp個の登録点pj毎の追跡座標
そして、法線ベクトル算出部13は、再投影誤差関数(バンドル調整)を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)とを算出する。
このとき、本発明の法線ベクトル算出部13は、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する。
これによって、Xj(=[xj,yj,zj]T)を未知パラメータとすることなく、これに代えて、法線ベクトルntの2パラメータを未知パラメータとすることができる。
物体平面の通る基準点X0(=[x0,y0,z0]T)は、再投影誤差関数の最小化計算の安定性の観点から、対象物平面の中心付近に設定することが好ましい。また、推定されるカメラ姿勢はスケール不定のため、X0の奥行きは任意の値に設定してもよい。例えば、X0=[0,0,f]T(fは焦点距離fx、fyに近い値)と設定してもよい。
但し、対象物が画像中央に映るとは限らないため、登録点pjの重心p0(=[u0,v0]T)を算出して、p0の逆投影点X0(=1/w0[u0,v0,1]T)を算出してもよい。これにより、対象物が画面の端の方に映る場合における、法線ベクトル算出の安定性を向上することができる。この場合についても、奥行き1/w0は任意の値(例えば焦点距離fx、fyに近い値)に設定してもよい。また、予め対象物平面までの距離が大まかに分かっている場合には、分かっている範囲に設定することも好ましい。
Ri',ti',nt'=arg minRi,ti,ntΣi=1 NcΣj=1 Np(mij−proj(Ri,ti,Xj))2
Xj=(nt・X0/nt・pj')pj'
=(xnx0+yny0+znz0)/(xnuj+ynvj+zn)[uj,vj,1]T
xn 2+yn 2+zn 2=1
zn=√(1−xn 2−yn 2)
pj'(=[uj,vj,1]T):登録点pjの同次座標表現
i:撮影画像のNc個のフレームの番数
mij:フレームiに映るNp個の登録点pj毎の追跡座標
Ri及びti:フレームiのカメラ姿勢パラメータ
nt:平面物体の法線ベクトル
X0:物体平面の通る基準点
proj(Ri,ti,Xj):3次元座標Xjの投影関数 [Ri|ti]Xj'
Xj':Xjの同次座標表現
Ri'及びti':フレームiのカメラ姿勢パラメータRi及びtiの推定値
nt':平面物体の法線ベクトルntの推定値
Ri',ti',Xj'=arg minRi,ti,xjΣi=1 NcΣj=1 Np(mij−proj(Ri,ti,Xj))2
Ri',ti',nt'=arg minRi,ti,ntΣi=1 NcΣj=1 Np(mij−proj(Ri,ti,Xj))2
そのために、本発明によれば、パラメータ数を大幅に削減することができ、処理負荷の削減と、精度の向上との効果を得られる。
r=[rx,ry,rz]T
対象平面の法線ntを、z軸方向から角度45度以内でランダムに生成し、登録点pjを逆投影して3次元座標Xjを取得する。焦点距離fは、500mmに設定している。
そして、初期のカメラ姿勢r0=[0 0 0]T、t0=[0 0 0]Tにガウシアンノイズを加え、カメラ姿勢Ri及びti(i=1〜100)を生成する。
カメラ姿勢Ri及びtiによってXjを投影し、ガウシアンノイズを加えて、追跡点mij(j=1〜441)を生成する。
mijを入力として、法線方向nt'を推定する。
推定に使用するフレーム数を、2枚から100枚まで徐々に増やし、精度及び処理時間を評価する(Nc=2〜100)。
ntを100セット用意し、精度及び処理時間の平均を算出する。
DE:従来のバンドル調整(パラメータ数6Nc+Np=453〜1041)で、3次元座標Xj'を主成分分析して、法線ベクトルnt'を算出する。
OE:本発明のバンドル調整(パラメータ数6Nc+2=14〜602)で、法線ベクトルを算出する。
10 画像取得部
11 登録画像記憶部
12 画像特徴追跡部
13 法線ベクトル算出部
Claims (13)
- 撮影画像に映り込む平面物体の法線ベクトルを算出するようにコンピュータを機能させることを特徴とするプログラムにおいて、
連続的な撮影画像のNc個のフレームiと、
前記Nc個のフレームiの内のいずれかのフレームである登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標Xj(=[xj,yj,zj]T)と、
各フレームに映るNp個の登録点pj毎の追跡座標mij(=[uij,vij]T、i=1〜Nc)とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)との両方を算出する法線ベクトル算出手段と
して機能させ、
前記法線ベクトル算出手段は、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する
ようにコンピュータを機能させることを特徴とするプログラム。 - 前記法線ベクトル算出手段は、基準点X0を、登録点pjの重心p0(=[u0,v0]Tの逆投影(X0=1/w0[u0,v0,1]T)によって算出する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - 前記法線ベクトル算出手段について、前記再投影誤差関数は、以下の式によって表される
Ri',ti',nt'=arg minRi,ti,ntΣi=1 NcΣj=1 Np(mij−proj(Ri,ti,Xj))2
Xj=(nt・X0/nt・pj')pj'
=(xnx0+yny0+znz0)/(xnuj+ynvj+zn)[uj,vj,1]T
xn 2+yn 2+zn 2=1
zn=√(1−xn 2−yn 2)
pj'(=[uj,vj,1]T):登録点pjの同次座標表現
i:撮影画像のNc個のフレームの番数
mij:フレームiに映るNp個の登録点pj毎の追跡座標
Ri及びti:フレームiのカメラ姿勢パラメータ
nt:平面物体の法線ベクトル
X0:物体平面の通る基準点
proj(Ri,ti,Xj):3次元座標Xjの投影関数 [Ri|ti]Xj
Xj':Xjの同次座標表現
Ri'及びti':フレームiのカメラ姿勢パラメータRi及びtiの推定値
nt':平面物体の法線ベクトルntの推定値
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 - 前記法線ベクトル算出手段について、前記再投影誤差関数における未知パラメータの数は、Nc個のフレームi毎に生じるカメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)の6個と、登録点に対する法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)の2個とを合計した、6Nc+2個となる
ようにコンピュータを機能させることを特徴とする請求項3に記載のプログラム。 - 前記法線ベクトル算出手段は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのRiを単位行列とし、tiを零ベクトルとして、前記法線ベクトルを算出する
ようにコンピュータを機能させることを特徴とする請求項1から4のいずれか1項に記載のプログラム。 - 前記法線ベクトル算出手段について、前記再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向(nt=[0,0,1]T)とする
ようにコンピュータを機能させることを特徴とする請求項1から5のいずれか1項に記載のプログラム。 - 登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する画像特徴追跡手段と
して更にコンピュータを機能させることを特徴とする請求項1から6のいずれか1項に記載のプログラム。 - 撮影画像の中から、ユーザ操作に応じて平面物体が映る対象領域を特定し、該対象領域を登録画像として記憶する登録画像記憶手段と
して更にコンピュータを機能させることを特徴とする請求項1から7のいずれか1項に記載のプログラム。 - 前記登録画像記憶手段は、登録画像を、前記法線ベクトル算出手段によって算出された法線ベクトルによって正面化画像に幾何変換し、該正面化画像を登録画像として記憶する
ようにコンピュータを機能させることを特徴とする請求項8に記載のプログラム。 - 前記画像特徴追跡手段は、追跡に成功した画像特徴の数が第1の所定閾値以下の場合に、画像処理を中断して、画像登録からやり直す
ようにコンピュータを機能させることを特徴とする請求項7に記載のプログラム。
- 前記画像特徴追跡手段は、追跡に成功した画像特徴の数が第2の所定閾値(<第1の所定閾値)以下の場合に、画像処理を中断して、「対象物体が平面で無い」旨をユーザに明示する
ようにコンピュータを機能させることを特徴とする請求項10に記載のプログラム。 - 撮影画像に映り込む平面物体の法線ベクトルを算出する画像処理装置において、
連続的な撮影画像のNc個のフレームiと、
前記Nc個のフレームiの内のいずれかのフレームである登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標Xj(=[xj,yj,zj]T)と、
各フレームに映るNp個の登録点pj毎の追跡座標mij(=[uij,vij]T、i=1〜Nc)とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)との両方を算出する法線ベクトル算出手段
を有し、
法線ベクトル算出手段は、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する
ことを特徴とする画像処理装置。 - 撮影画像に映り込む平面物体の法線ベクトルを算出する装置の法線ベクトル算出方法において、
装置は、
連続的な撮影画像のNc個のフレームiと、
前記Nc個のフレームiの内のいずれかのフレームである登録画像から検出されたNp個の登録点pj(=[uj,vj]T、j=1〜Np)の3次元座標Xj(=[xj,yj,zj]T)と、
各フレームに映るNp個の登録点pj毎の追跡座標mij(=[uij,vij]T、i=1〜Nc)とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータRi(=[rix,riy,riz]T)及びti(=[tix,tiy,tiz]T)と、法線ベクトルnt(=[xn,yn,zn]T,xn 2+yn 2+zn 2=1)との両方を算出するステップ
を実行し、
前記ステップは、登録画像の登録点pjの3次元座標Xjを、登録点pjと、物体平面の通る基準点X0(=[x0,y0,z0]T)と、法線ベクトルntとによって表現し、登録点pjの物体平面への逆投影によって算出する
ことを特徴とする装置の法線ベクトル算出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016002279A JP6515039B2 (ja) | 2016-01-08 | 2016-01-08 | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016002279A JP6515039B2 (ja) | 2016-01-08 | 2016-01-08 | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017123087A JP2017123087A (ja) | 2017-07-13 |
JP6515039B2 true JP6515039B2 (ja) | 2019-05-15 |
Family
ID=59305922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016002279A Active JP6515039B2 (ja) | 2016-01-08 | 2016-01-08 | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6515039B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392937B (zh) * | 2017-07-14 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置及电子设备 |
JP6901386B2 (ja) * | 2017-12-08 | 2021-07-14 | 株式会社東芝 | 勾配推定装置、勾配推定方法、プログラムおよび制御システム |
JP6931267B2 (ja) * | 2018-06-21 | 2021-09-01 | Kddi株式会社 | 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法 |
CN110458870B (zh) * | 2019-07-05 | 2020-06-02 | 北京迈格威科技有限公司 | 一种图像配准、融合、遮挡检测方法、装置和电子设备 |
CN110766756B (zh) * | 2019-10-21 | 2022-09-30 | 大连理工大学 | 一种基于多方向投影的落点定位方法 |
CN112150558B (zh) | 2020-09-15 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 用于路侧计算设备的障碍物三维位置获取方法及装置 |
CN113077521B (zh) * | 2021-03-19 | 2022-11-01 | 浙江华睿科技股份有限公司 | 一种相机标定方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6042146B2 (ja) * | 2012-09-18 | 2016-12-14 | 株式会社東芝 | 対象物検出装置および対象物検出方法 |
JP5878454B2 (ja) * | 2012-11-05 | 2016-03-08 | 日本電信電話株式会社 | 推定装置、推定方法及びコンピュータプログラム |
CN105095905B (zh) * | 2014-04-18 | 2018-06-22 | 株式会社理光 | 目标识别方法和目标识别装置 |
-
2016
- 2016-01-08 JP JP2016002279A patent/JP6515039B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017123087A (ja) | 2017-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
US10059002B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP6587421B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US9235928B2 (en) | 3D body modeling, from a single or multiple 3D cameras, in the presence of motion | |
KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
US11568516B2 (en) | Depth-based image stitching for handling parallax | |
CN108960045A (zh) | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 | |
US20100296724A1 (en) | Method and System for Estimating 3D Pose of Specular Objects | |
JP5484133B2 (ja) | 鏡面反射物体の3d姿勢を推定する方法 | |
WO2018171008A1 (zh) | 一种基于光场图像的高光区域修复方法 | |
US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
US11403781B2 (en) | Methods and systems for intra-capture camera calibration | |
JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
JP2014095553A (ja) | カメラポーズ推定装置、及びカメラポーズ推定プログラム | |
WO2016208404A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8948461B1 (en) | Method and system for estimating the three dimensional position of an object in a three dimensional physical space | |
US20150178927A1 (en) | Method and system for determining a transformation associated with a capturing device | |
JP6579659B2 (ja) | 光源推定装置及びプログラム | |
JP2022516298A (ja) | 対象物を3d再構築するための方法 | |
JP7326965B2 (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
Garau et al. | Unsupervised continuous camera network pose estimation through human mesh recovery | |
Paudel et al. | Localization of 2D cameras in a known environment using direct 2D-3D registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6515039 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |