JP6951469B2 - 光学測定装置をキャリブレーションするための方法 - Google Patents

光学測定装置をキャリブレーションするための方法 Download PDF

Info

Publication number
JP6951469B2
JP6951469B2 JP2019563282A JP2019563282A JP6951469B2 JP 6951469 B2 JP6951469 B2 JP 6951469B2 JP 2019563282 A JP2019563282 A JP 2019563282A JP 2019563282 A JP2019563282 A JP 2019563282A JP 6951469 B2 JP6951469 B2 JP 6951469B2
Authority
JP
Japan
Prior art keywords
camera
correlation
region
mapping function
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563282A
Other languages
English (en)
Other versions
JP2020520028A5 (ja
JP2020520028A (ja
Inventor
ヴィーネケ・ベルンハルト
Original Assignee
ラヴィジオン・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ラヴィジオン・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング filed Critical ラヴィジオン・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
Publication of JP2020520028A publication Critical patent/JP2020520028A/ja
Publication of JP2020520028A5 publication Critical patent/JP2020520028A5/ja
Application granted granted Critical
Publication of JP6951469B2 publication Critical patent/JP6951469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/18Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
    • G01P5/20Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、粒子を分散混入した測定体積と少なくとも二つのカメラとを有する光学測定装置をキャリブレーションするための方法に関する。当該カメラを使用することで、前記測定体積が異なる観察角度で、プレキャリブレーションから既知のそれぞれ1つのマッピング関数によってマッピング可能であり、
a)各カメラに対するそれぞれ1つのカメラ画像を生成するため、前記測定体積を前記カメラによって同時にマッピングするステップを含む。
このようなキャリブレーション方法は、欧州特許第1926049号明細書で知られている。
流れを測定するため、光学式に検出可能な粒子を流動流体に分散混入すること、及びカメラを用いて観察することが知られている。
この場合、流体から貫流する測定体積は、異なった観察角度で複数のカメラから観察される。
流れの詳細を正確に確認できるようにするためには、測定体積中の流れを示す粒子の位置を正確に測定できるようにすることが必要である。
これに加えて、上述の骨子の立体的なアプローチが役立ち、測定体積中での微粒子位置の場合には、異なった角度で同時に撮影したカメラ画像をもとにして算出し得る。
これに関して、各カメラのいわゆるマッピング関数、即ちその関数の正確な知識は基本的であり、測定体積での三次元位置がカメラ画像中で適合する二次元位置と関係する。
Figure 0006951469
のように一般的な形式で記載され得る。ここで、添え数字iは特別なカメラで特定され、割り当てられているカメラ画像中でのx,y二次元座標が参照され、及び測定体積中でのX,Y,Z空間座標(全体座標とも呼ばれている)を指定する。
それらマッピング関数の決定は、キャリブレーションと呼ばれる。
上述され、カテゴリー定義された文章から、二段階キャリブレーション方法が知られている。
第一に、典型的にはいわゆるキャリブレーションパターンを用いて発生する予キャリブレーションが実行される。
これに加えて、既知の印が付いた構造は、測定体積中へ挿入され及びカメラを用いてマッピングされる。
既知の構造を備えるカメラ画像の比較によって、適合するマッピング関数を計算し得る。
しかしながらこの予キャリブレーションは比較して粗く、及び特定の精密測定に対して適切になるために、さらに修正するマッピング関数M’へのマッピング関数Mの補正、即ち変更が必要である。
同様に、予キャリブレーションと本来の測定との間の時で光学構造、例えば機械的不安定性によって変化する場合に発生し、又は測定中、例えば振動を介してマッピング方程式に変更し得る場合に発生する。
予キャリブレーションマッピング関数の補正の為に、上述で既知の三角測量の適用を提案する。
第一に、全てのカメラ画像での選択された粒子のマッピングが必要である。
更に、マッピング関数の反転によって、カメラ画像中の実際のマッピング位置でマッピングされるために(二次元カメラ画像と三次元測定体積の間の次元差異に関し、マッピング関数の反転による一義的な分類点は不可能である)、測定体積中の粒子上にあり得る視線が決定される。
これは、マッピング関数が補正されているという仮定のもとで発生する。
実際に補正する特定のマッピング関数の場合に、測定体積での一つの点に、つまり粒子の実際の位置ですべてのカメラの視線が該当するが、粗い予キャリブレーションに次ぐ場合は規則正しくない。
それ故、最も短い距離を備える測定体積でのその点が、粒子の“真の”位置としてすべて算出する視線へ収容されること、及びその都度のマッピング関数の補正に対する視線のその間隔が考慮に入れられていることを、上述で提案した。
これに関して、これは体積自己キャリブレーションとして知られているので、キャリブレーションの補正は測定からなるそれ自身を得るパラメータでもって獲得される。
一回又は複数回のその自己キャリブレーションは、マッピング関数を補正することで実行する。
既知の方法の場合で都合の悪い必要性は、測定体積中の粒子のマッピングが、全てのカメラ画像中で一義的に同定することであり、及び互いに分類することである。
これは、低い微粒子密度の場合に効果がある数式が、高い微粒子密度の場合にさらに変換可能ではないのでなおさら、いわゆるゴースト粒子の数、即ち実際に存在しない微粒子の外見上のマッピングが、カメラ画像中に増加する微粒子密度と共にはるかに不均衡に増加する。
画像加工技術から成る、カメラ画像からいわゆる歪みを修正すること(画像処理)は、補正と呼ばれていることが、一般的に知られている。
この概念はすでに使用されている。
カメラ画像の補正は、観察する体積、即ち存在する測定体積中での実際の平面又は想定された平面に関連して、恒常的に発生する。
一つのカメラの光軸のかぎりは、基準面の中央の垂線と正確に一致せず、マッピングの場合に特別な観察角度に依存する幾何学の歪みをもたらす。
それに加えて、カメラレンズによる光学の歪みが生じるが、この歪みは十分に良いレンズ及び十分に小さい測定体積の場合で十分に無視可能である。
このマッピングの場合に発生する歪みは、割り当てられているマッピング関数で考慮されている。
補正を用いてカメラ画像の変換が特徴づけられ、この補正は撮影したカメラ画像を他ならぬ(潜在的な)画像を適合することで変化される。カメラが画像を撮影する場合のたびに、その撮影において前述した完璧な調整が基準面に位置するが、これはマッピングの為に基準面中に実際にあるその粒子だけ流入する。
基準面の“前方に”若しくは“後方に”位置する粒子から、視差に基づいた補正が、その補正するマッピング位置をカメラの完璧な調整で実際のマッピングのその場合に適合することが強制的に進行しない。
当業者に既知の相互関係はこの文脈で本質的であり、これによれば、当業者の為に補正は特別に選択された基準面に関連して発生し及び一方はマッピング関数が補正へ取り入れられる。
ここでは一つの補正の為の実施例として、Z=0面及びカメラ1に対して計算が与えられる。
Ir1(X,Y) = I1( x1, y1 ) = I1( M1x(X,Y,Z=0), M1y(X,Y,Z=0) ).
その際、ひずみを修正する画像での位置(X,Y,Z=0)の各点(又はピクセル)の強度は、空間的に対応した強度を最初のカメラ画像に、
Ir1(X,Y)=I1(x1,y1)=I1(M1x(X,Y,Z=0),M1y(X,Y,Z=0))
によって与えられている。
ここで注目すべきは、座標XとYが同様の“全体” 座標XとYであり、その座標が測定体積での空間位置(X,Y,Z)の決定でも利用されている。
それと同時に補正は、カメラ画像―座標X,Yの変換を“全体” 座標X,Yへ表現する。
さらに、欧州特許第1460433号明細書からカメラ画像間の二次元相関の計算が知られている
上述で開示された方法は、薄いディスクの形態で光切断によって定義する測定体積にだけ使用可能であり、及び三次元の大規模の測定体積の場合に使用できなくなり、異なった観察角度で撮影されたカメラ画像のその測定体積が、互いの照合領域手法で相関し、各照合領域での相関ピークから実施されれる。
相関照合領域の座標基準からのその間隔は、マッピング関数の補正の為の範囲として照合領域の代表するディスク形状の測定体積の範囲に引き寄せられる。
欧州特許第1926049号明細書 欧州特許第1460433号明細書
本発明の課題は、特に、三次元的に広がる測定体積中のより高い粒子密度に対して適している、このような種類の自己キャリブレーション方法とは違う方法を提案することにある。
この課題は、請求項1に記載の:
b)前記測定体積(V)中の共通の基準面に対する各カメラ画像を、当該プレキャリブレーションされたそれぞれ割り当てられたマッピング関数を使用して修正するステップと、
c)対応する数の相関領域を生成するため、修正された少なくとも一対のカメラ画像に対する二次元相関を実行し、このとき各相関領域は、細長く形成された相関最大帯状領域を成すステップと、
d)各相関領域に対して:
d1)前記相関最大帯状領域を、この相関最大帯状領域を代表する1つの直線に縮小するステップと、
d2)前記相関領域の座標原点から前記代表する1つの直線までの距離を補正値として算出するステップと、
e)修正されたカメラ画像が、ステップcでの相関に含められる前記カメラのマッピング関数を、当該算出された補正値によって補正するステップとによって解決される。
好ましい実施形態は、独立請求項の主題である。
それ故第一に、全てのカメラのための共通の基準面が選択される。
それは、目的に合致するような方法で測定体積内の中心に位置する。
しかしながら、その特別な選択は、本発明の基礎的な機能原理で重要ではない。
それがZ=0と定義されることは有利である。
更に、それら共通の基準面(この基準面は基本的には専門家に知られているように)に関連して撮影された各カメラ画像が補正される。
最初に述べたように、現在のマッピング関数は補正に組み込まれるので、補正画像は(欧州特許第1926049号明細書による従来技術の場合のように、互いに割り当てられた粒子画像の識別及びその後の明示的な三角測量が必要でないように)、チェック若しくは修正されるマッピング関数に関する本発明による方法を用いた情報を介した情報を暗黙的に含む。
それ故に、補正カメラ画像Iriはカメラ画像Iiから成る。
更に、これらは同様に当業者に知られているように、それぞれ二つの補正カメラ画像の間で二次元の相関が実行される。
ここでは相関関係の中で、一般的に類似のオペレータ若しくはそれらの使用と理解される。
Figure 0006951469
Figure 0006951469
を使用することが標準相互相関特に有利であり、ここでは短縮した“相互相関(Kreuzkorrelation)”と呼ばれる。
当業者には、LSM(最小二乗マッチング法)又はZNSSD(ゼロ平均差分二乗和)のような比較可能な関数で知られており、その関数はさらに別の、本発明の文脈で類似のオペレータとしたとき同様に使用可能である。
最大相関値の概念は、互いに関係がある画像(相関領域での一点)の相対変位として適合して理解されることであり、それが隣接した相対変位と比較すれば特に強い画像の合致を案内する。
上述の形態に従った相関関係の使用の場合、これもまた実際の(相互)相関領域で(局所的)数学的最大値と結合され;最小アルゴリズムに基づいた類似のオペレータの使用の場合に、数学的に適合した(局所的)最小値が相関領域に帰着する。
加えて、当業者に適した画像予加工ステップはバックグラウンド強度の減算のように知られており、相関の質が改善する。
相関は、全補正カメラ画像で又は(好ましくは提供されるように)個々の間に、互いに組み込まれている照合領域(これについては後でもう少し)で均一に実行され得る。
各々実行する相関に、できれば部分的に重なる相関ピークを多数備える相関領域Cijを供給する。
それは、第二の画像での一つの微粒子画像と共に第一の画像での一つの微粒子画像の間の相関によって発生する。
その際、二つの微粒子画像は、体積中の同じような微粒子の一部であり得(補正の分類)又は二つの異なった微粒子に起因し得る(ゴースト粒子若しくはゴースト相関)。
ゴースト粒子に起因するそれらの相関ピークだとすれば、それは相関領域に渡って十分にランダムに分布されている。
実在の粒子に起因するその相関ピークは、相関領域に渡って、細長の形態の狭いバンドに延長する。
その際、相関領域の空間座標と関係するバンドの拡張角度は、基本的には相関中に取り込まれているカメラの全体の相関配列によって引き起こされており、及びマッピング関数から計算し得る。
バンドの最大長さは、測定体積でのカメラの視線の長さ若しくは測定体積の深さによって特定されている。
通常の方法では、それらの長さは別の相関領域の大きさによって制限されている。
実施例に関し、64×64ピクセル(dx,dy<±32)の相関領域サイズを備え、相関バンドは基準面周りの小さい(Z‐)範囲中の微粒子相関だけを示す。
これは(後述するように)マッピング方程式の選択的で異なる補正を、測定体積での複数の平面で可能にする。
バンドの幅は、基本的には微粒子画像の大きさに√2をかけることで生じる。
これに反して、相関領域(dx=0,dy=0)の座標基準の間隔は、補正の場合に使用されているマッピング関数中の不正確さによって引き起こされている。
これらの関係は、発明者の本質的な洞察力を意味し、実用的なキャリブレーション方法中のそれらの履行が本発明の核を意味する。
代表的な直線上のその相関最大バンドが縮小されることによって、認識した関係の利用が本発明によって発生する。
更に、相関領域Cijの座標基準から、算出される代表的な直線の間隔dijが算出される。
次に述べる“間隔”の通常の定義は、代表的な直線と座標基準の間の垂線の距離が測定される。
簡単な方法、この簡単な方法は、直線決定の関数的なステップ及び唯一の実用的な計算ステップに関して座標基準からのそれらの間隔の決定で結合し、その点で原点からの全ての間隔dの為に(既知の)直線方向に対して垂直に直線方向に沿った相関強度の総計で決定する。
それから、直線の間隔dijは、合計した強度の最大を備える間隔に適合する。
他の画像化方法並びに通常の二乗誤差最小化方法は当業者に知られている。
流れ測定の典型的な微粒子密度の場合には、相関領域の全ての相関値が直線の計算で取り込まれている時には十分であることが証明される。
しかしながら、予選択でもまた強度閾値の適用によって及び/又は相関ピークの非考慮によって可能である。
しかしながら本発明による方法は、不意なロバストだとわかり、たいてい減少中のそのような予選択は必要ない。
典型的には、“ピクセル”次元の位置単位中での補正カメラ画像の座標軸X,Yが分割されており、この“ピクセル”次元が長さ単位上のスケーリングでmmのように変換し得る。
それ故に、相関領域の座標軸dx,dyもまた、典型的には “ピクセル”次元の変位単位に変換されている。
この文脈において、代表的な直線と“ピクセル”次元の座標基準との間の間隔の値もまた生じる。
好ましくは、間隔がベクトル的に算出され、即ち座標基準から出発するベクトルdijとして、代表的な直線からのその前述した垂線の位置を介したそのベクトルの方向、及び前述した間隔の値を介したそのベクトルの長さが提供される。
これによって、座標に対する平行な間隔コンポーネントdij_x及びdij_yは、別々に決定されている。
更に、算出する間隔は、補正値としたときマッピング関数の為に利用され、詳しく言うとつまり、マッピング関数の為のその各カメラi及びj、その補正画像Iri及びIrjが前述の補正値dijで生じた相関Cijの中に取り込まれる。
算出する補正値に基づいたマッピング関数の具体的な補正措置は、異なった結果となり得る。
Figure 0006951469
一つの有利な補正規定としたとき、その関連としてマッピング方程式の平行移動が証明され、その場合には、
Figure 0006951469
によって各カメラiの為の補正マッピング方程式M’が与えられている。
その際、算出する間隔dijが既知の機能関係において、指定した平行移動(ΔXi,ΔYi,ΔZi)に対してだけにある。
唯一算出する間隔d12を備える二つのカメラの場合のために、簡単な解決方法がΔX1 = d12_x/2, ΔY1 = d12_y/2, ΔX2 = −d12_x/2, ΔY2 = −d12_y/2, ΔZ1 = ΔZ2 = 0によって生じる。
三つの測定された間隔d12,d13及びd23を備える三つのカメラの場合の為に、それは例えばカメラ1をΔX1=ΔY1=ΔY1=0を備える補正カメラとして考え得、並びに三つの制約ΣΔXi = ΣΔYi = ΣΔZi = 0として加えることによって残りの六つの未知数(ΔX2, ΔY2, ΔZ2, ΔX3, ΔY3, ΔZ3)を計算し得る。
これは、可能な座標変換を最小化するために有利であるので、すべてのカメラの為の各々等しい移動(ΔX, ΔY, ΔZ)、空間基準の平行移動の各々の等しい移動が適合し、自由パラメータ、少なくとも大幅な移動に対してではない場合に、この自由パラメータが相関領域及び測定された間隔dijを変更しない。
三つのカメラよりも多いことに対してもまた、有利な解決策として当業者に知られている。
それ故、本発明は高ピクセル解像度を備える多くのカメラの場合、たしかにCPUに負担をかけるが、簡単に実施可能及び驚くべきロバストな自己キャリブレーション手法を提供し、本当の測定体積中の高密度微粒子の特徴は、三つすべての空間方向への拡大はほぼ等しいスケールにあって適合する。
前述からわかるように、正確な一つの補正値dij = (dij_x,dij_y)は各相関領域にもたらす。
この場合には、各々の完全な、補正カメラ画像が互いの相互関係を示し、それ故にただ一つの全体的な補正値をもたらす。
しかしながら、多くの場合で、測定体積の異なった範囲は軽度に異なってマッピングされるとき、マッピング関数の局所的に異なった変更を必要とする。
それ故に、本発明による方法の改善の場合には、ステップcより前の補正カメラ画像は、同等に大きく同じ位置の照合領域の複数をそれぞれに分割されることを企図し、ステップcとdは照合領域上で実行され、及びステップeのマッピング関数は、測定体積中の異なった照合領域を割り当てられている、異なった空間範囲で、それぞれ割り当てられている、異なった補正値でもって修正される。
それぞれ一対の補正カメラ画像のための唯一の、全体的な補正値に代わって、つまり補正値の数と適合する相関領域の数が維持され、及び照合領域の空間解像度を備えるマッピング関数を局所的に異なって修正し得る。
当業者は個々の事例で、一方では高いコンピュータ使用の要求があり、他方では結果として生じるマッピング関数の高い正確性を考慮しなければならない。
当業者は、照合領域中の補正カメラ画像の上述の分割区分は、マッピング関数補正の多様化に対してだけ選択された基準面の内に案内することを認識する。
しかしながら、実践において考えられる及び頻繁に発生するマッピング関数の逸脱もまた、測定体積中の様々な基準面のために異なっている。
これに関することも同様にマッピング関数補正の細分化を達成するために、本発明の発展形態の場合に、方法は少なくともステップb〜eで繰り返し実行されることが企図されている。その際、カメラ画像は、他の共通の基準面に関してステップbで各々進行する場合に補正され及びその際、ステップeのマッピング関数は、測定体積のそれぞれの基準面のそれぞれ割り当て可能な空間範囲中にだけそれぞれ算出する補正値と修正される。
いいかえれば、異なった基準面の選択を介して測定体積が階層で区分されている。その際、マッピング関数の補正もまた階層に応じて発生する。
従って、本発明の前述の可変照合領域を備える組み合わせには、三つすべての空間方向のサブ体積中に測定体積に細分されていること、及び三つすべての空間方向にマッピング関数の多様化する補正に応じて発生する。
この方法の別の有利な実施例は、より多くの微粒子を介してより望ましい統計を達成するために、唯一の時点で撮影される相関領域が画像と計算されることではなく、数時点で適合する相関領域を計算すること及び互いを合計するこという点で成り立っている。
これは、補正画像が更にいくつかのサブセクションに分割されるとき、特に大切である。
それ故本発明の一つの発展形態の場合には、ステップa〜cの本発明による方法が、いくつかの時点に対して何度も実行されることが企図され、それぞれ適合する相関領域は合計され、それからステップdとeが実行される。
本発明による方法は、三つのカメラによって古典的で、立体的な構造が含まれている時、即ち三つすべてのカメラの光軸が同一面にある時に、例えば線に沿ってすべてカメラが設置されている時に、基本的には限界に突き当たる。
一つのそのような状況は、しばしば“インライン(inline)”配置とも呼ばれる。
一つのそのようなカメラ配置の場合には、その座標軸に対して同一角度の相関領域に代表的な直線がある。しかしながらその結果、たしかにマッピング関数の改善は、これらの最適化で期待できない。たとえば、上述した方程式システムが多くで一義的に解決し得ない。
特に、その配置を正しく評価するために、本発明によるこの方法は排除されずに拡張され得る。
請求項1〜4のいずれか1項に記載の方法によれば、前記光学測定装置は、第一のカメラ、第二のカメラ及び第三のカメラを有し、これらのカメラの修正されたカメラ画像のうちの前記第のカメラ及び前記第のカメラの修正されたカメラ画像だけが、前記ステップc〜eのカメラ1及びカメラ2のマッピング方程式の相関及び補正に含められる当該方法において、
f)平行な共通の複数の基準面に対して、
−前記第一のカメラのカメラ画像と前記第二のカメラのカメラ画像とを、ステップeでそれぞれ割り当てられた前記マッピング関数を使用して修正する別のステップと、
−第三のカメラのカメラ画像を、割り当てられたプレキャリブレーションされた前記マッピング関数を使用して修正する別のステップと、
g)各基準面に対して、前記第一のカメラの修正されたカメラ画像と前記第二のカメラの修正されたカメラ画像とから成る積と前記第三のカメラの修正されたカメラ画像との間の二次元相関を実行し、1つの合計相関領域を生成するため、当該生成された複数の相関領域を合計する別のステップと、
h)前記合計相関領域の座標原点からこの合計相関領域内の相関最大値までの間隔を追加の補正値として算出する別のステップと、
i)前記第三のカメラのマッピング関数を、当該算出された追加の補正値によって補正する別のステップとを特徴とする。
言い換えれば本発明によるこの方法は、上述されているように、第一に二台のカメラのみからのカメラ画像に適用される。
一つの別の方法では、補正マッピング関数を備えるそれら二つのカメラでのカメラ画像が、補正される。
これに反して第三のカメラのカメラ画像は、割り当てられている、本来の及びまだ修正しないマッピング関数で補正される。
その際、補正はそれぞれ平行の基準面の多数から発生し、その際補正はそれだけ一層正確(それにまた確かに、CPU使用率が高い)になり、近ければ近いほど測定体積中での選択された基準面が区分される。
更に、各々の基準面のための二次元の相関、好ましくは相互相関が実行されるが、上述のように、補正カメラ画像の間のすぐ近くではない。
むしろ、第三のカメラの補正カメラ画像に第二の相関期間が適応している間、二つの相関期間の最初は、第一と第二のカメラの補正カメラ画像から成る計算上の積である。
それ故に、各々の基準面の為に相関領域がもたらされ、その相関領域は、一方では第一と第二のカメラ画像から成る前述の積との間の相関が、もう一方では三つの補正カメラ画像が示される。
この相関領域は積算される。
Figure 0006951469
合計相関領域が類似のオペレータとして相互相関で使用する場合には、一般的な形式
Figure 0006951469
によって記載され得、ここでIri,zは各々の基準面Zに関する補正カメラ画像を示す。
ここでは簡単故に、Z面中での基準面の実施例が同様に再び使用され、及びZについての積算が、即ちおよそ1ピクセル(例えばボクセル)の間隔で通常発生する。
合計相関領域は、唯一、一義的に決定可能な相関ピークを備える。
更に、合計相関領域の座標に関するこの相関ピークの間隔(dx,dy)は、追加の補正値として特定される。
この追加の補正値は、まだ修正しないマッピング関数の補正に、例えばその第三のカメラを利用する。
二つのすでに予補正したマッピング関数、例えば第一と第二のカメラのマッピング関数もまた、追加の補正値に基づいて追加の補正を知り得る。
有利な補正方法に応じ、この場合も当業者に知られている。
当然、マッピング関数補正の二次元の多様化によって拡張する方法もまた、照合領域に基づいて更に改善され得る。
それ故に、拡大した方法の一つの発展形態の場合には、ステップgより前の補正カメラ画像が、同等に大きく同じ位置の照合領域の複数をそれぞれに分割されるために設けられ得、ステップgとhは照合領域上で実行され、及びステップiのマッピング関数は、測定体積中の異なった照合領域を割り当てられている、異なった空間範囲で異なったつまりそれぞれ割り当てられている、異なった補正値でもって修正される。
同様に、測定体積中での異なる面の為にマッピング方程式の異った補正を実施するために、計算は再び種々の(平行の)基準面上に発生し得る。
それら手段の作用及び利点に関しては、拡大せず、本発明による方法の関連において上述の解説を参照するように指示し得る。
本発明の別の特徴及び利点は、後述の詳細な説明及び図面から判明する。
本発明による方法のステップaと同時に、典型的な利用状態の概略図である。 図1のステップaに従った、本発明による方法のステップb,c,d1及びd2の概略図である。
図中の同じ参照記号は、同じ又は同等の要素を示している。
図1は、典型的な測定状態を強調した概略図であり、測定状態には本発明によるキャリブレーションが適用可能である。
装置の中央に、流れ測定の典型的な使用において粒子を分散混入した流体から貫流される測定体積Vがある。
光学的に検知可能である粒子が選択されている。その際、例えば屈折性の又は蛍光を発する粒子が扱われ得る。
各々必要な照明のディテール及び/又は検知ディテールは当業者に知られており、並びに各々適切に適用され得る。
発明の為に、そのディテールは役割なく振舞う。
同様に、本研究によるキャリブレーション方法の為の動く流れはあまり必要でない。
測定体積V中での各点は、空間座標X,Y,Zに応じて同定可能である。
これは、特に粒子の位置に対して適用する。
記載された実施例中でのZ=0に任意に位置する基準面は、図1のグレー背景である。
測定体積Vは、示されている実施形態の場合に、異なった観察角度で三つのカメラK1,K2,Kから観察されている
正確な三つのカメラの選択は、ここでは純粋に模範的に理解されることである。
本発明による方法は各々複数のカメラで実行可能である。
本発明による方法のステップa(請求項による特定の言い回しに応じて)では、全ての三つのカメラK1,K2,K3が同時に測定体積のカメラ画像を撮影する。
図1で概略図として記載されたカメラ画像I1,I2及びI3を結果として生じる。カメラ画像I1,I2,I3は、純粋な光学特性からなる部分の確かな歪みを示しているが、とりわけその幾何学的な相対的な位置決めからなる測定体積に関して生じる。図1では、それらの画像が誇張されて記載されている。記載された実施例の場合には、カメラK1はXY平面に対して正確に垂直な位置であり、及び測定体積Vの中心上に位置調整されている。その際、それが簡単にその周りで光学的にゆがめられている。それ故に、関連するカメラ画像I1は、ほんのわずかに斜視的に回転した歪みだけを示す。これに反して、はっきりした角度でXY平面に対して位置調整したカメラK2及びK3を、追加の斜視的に幾何学的に歪んだカメラ画像I2,I3に応じて供給する。
図2は、本発明による方法の別のステップを示し、この図はコンピュータベース及びすべて自動で実行される。本発明による方法のこのセクションは典型的にソフトウエアで実現されている。
カメラ画像I1,I2及びI3が出発点である。本発明による方法のステップb(請求項による特定の言い回しに応じて)では、カメラ画像I1,I2及びI3の補正が発生し、それは補正カメラ画像で実行する。補正は、それぞれ定義する平面に関して発生しなければならない。有利には、本発明による方法の範囲に対して前もってあげた基準面Z=0が使用される。当業者が認識するように、その補正ステップを介してキャリブレーションするマッピング関数の入力は本発明による方法で獲得する。
本発明による方法のステップc(請求項による特定の言い回しに応じて)では、補正カメラ画像Ir1, Ir2, Ir3の二つ一組の相関関係が発生し、このカメラ画像は三つの相関領域で実行され、そこから一目瞭然ゆえに補正カメラ画像Ir1及びIr2の相関から結果として生じる相関領域C12だけが示されている。その際に、明るい点は高い相関値を、暗い点は低い相関値に対応することを示唆する。
この相関領域は、実質的にランダムな分布の背景に対して相関ピークから全体の相関領域面に渡って縦長に引かれた“バンド”を示し、そのバンド内で相関ピークの数が明らかに増加する。
さらに、本発明による方法のステップd1及びd2(請求項による特定の言い回しに応じて)の要約としてのステップdでは、各々関連したピークバンドに対して代表的な直線並びに相関領域の座標基準からのその間隔が決定される。
一目瞭然故に、同様に割り当てられている直線g12及び相関領域C12だけが記載されている。
代表的な直線g12の決定は、通常の画像アルゴリズムでもって発生し得る。
更に、原点からの代表的な直線の間隔は、それぞれの相関領域で計算される。
それぞれ割り当てられた距離ベクトルは、即ちdx‐若しくはdy‐座標軸に対して平行のそのコンポーネントd12_x及びd12_yを備える距離ベクトルd12の記載されている相関領域C12の場合に、それぞれ結果として生じる。
このベクトルは相関領域原点でそれぞれに開始し、及び割り当てられている代表的な直線上で垂直に位置している。
最後に、本発明による方法(請求項による特定の言い回しに応じるステップe)の図2中に記載しないステップで、そのように算出する距離ベクトルが、更にマッピング関数M1,M2及びM3の補正に対して使用される。当業者は、多かれ少なかれカメラを使用する場合には、多かれ少なかれ相関関係に応じて実行されているということが理解されるが、その際個々の相関領域の取り扱いは、上述された実施例に対して同一に及びマッピング関数の補正が適合して発生する。
明細書の一般的な部分において説明するカメラの“インライン(inline)”配置の場合は、本発明による補正がマッピング関数の改善に対してであるが、それらの最適化を強いない。
それ故に、前述した方法は三つのカメラK1,K2,K3の二つにだけ適用され、それらのマッピング関数もまた適切に修正される。
言うまでもなく、特別な説明で検討する実施形態及び図中に示されている実施形態が本発明の例示的な実施例だけを意味する。
当業者には、本明細書に照らし、広範のスペクトルが連動して変化する可能性を示されている。
V 測定体積
X,Y,Z V中の空間座標
K1,K2,K3 カメラ
I1,I2,I3 K1,K2,K3のカメラ画像
Ir1,Ir2,Ir3 K1,K2,K3の補正カメラ画像
x,y I1,I2,I3とIr1,Ir2,Ir3の面座標
C12 相関領域
dx, dy C12中の面座標
g12 代表的な直線
d12 g12の間隔(ベクトルの)

Claims (8)

  1. 粒子を分散混入した測定体積(V)と少なくとも二つのカメラ(K1,K2,K3)とを有する光学測定装置をキャリブレーションするための方法であって、当該カメラ(K1,K2,K3)を使用することで、前記測定体積(V)が、異なる観察角度で、プレキャリブレーションから既知のそれぞれ1つのマッピング関数によってマッピング可能であり、
    a)各カメラ(K1,K2,K3)に対するそれぞれ1つのカメラ画像(I1,I2,I3)を生成するため、前記測定体積(V)を前記カメラ(K1,K2,K3)によって同時にマッピングするステップを含む当該方法において、
    b)前記測定体積(V)中の共通の基準面に対する各カメラ画像(I1,I2,I3)を、当該プレキャリブレーションされたそれぞれ割り当てられたマッピング関数を使用して修正するステップと、
    c)対応する数の相関領域(C12)を生成するため、修正された少なくとも一対のカメラ画像(Ir1,Ir2,Ir3)に対する二次元相関を実行し、このとき各相関領域(C12)は、細長く形成された相関最大帯状領域を成すステップと、
    d)各相関領域(C12)に対して:
    d1)前記相関最大帯状領域を、この相関最大帯状領域を代表する1つの直線(g12)に縮小するステップと、
    d2)前記相関領域(C12)の座標原点から前記代表する1つの直線(g12)までの距離(d12)を補正値として算出するステップと、
    e)修正されたカメラ画像(Ir1,Ir2,Ir3)が、ステップcでの相関に含められる前記カメラ(K1,K2,K3)のマッピング関数を、当該算出された補正値によって補正するステップとを特徴とする方法。
  2. ステップcの前の前記修正されたカメラ画像(Ir1,Ir2,Ir3)がそれぞれ、同じ大きさで且つ同じに位置決めされた複数の照合領域に分割され、前記ステップc及びdが、前記複数の照合領域に対して実行され、複数のマッピング関数が、前記ステップeで当該異なる複数の照合領域に割り当てられた前記測定体積(V)の異なる空間領域内で当該割り当てられた異なる複数の補正値によって補正されることを特徴とする請求項1に記載の方法。
  3. 前記方法は、少なくとも前記ステップb〜eで複数回実行され、このときに、前記カメラ画像(I1,I2,I3)が、ステップbの実行ごとに別の共通の基準面に対して修正され、このときに、前記ステップeの複数のマッピング関数がそれぞれ、当該それぞれの基準面に割り当てられた前記測定体積(V)の空間領域内だけで当該算出されたそれぞれの補正値によって補正されることを特徴とする請求項1〜2のいずれか1項に記載の方法。
  4. 前記方法の前記ステップa〜cが、複数の時点に対して複数回実行され、対応するそれぞれの相関領域が合計され、次いで前記方法のステップd及びeが実行されることを特徴とする請求項1〜3のいずれか1項に記載の方法。
  5. 請求項1〜4のいずれか1項に記載の方法であって、前記光学測定装置は、第一のカメラ(K1)、第二のカメラ(K2)及び第三のカメラ(K3)を有し、これらのカメラの修正されたカメラ画像のうちの前記第のカメラ(K)及び前記第のカメラ(K)の修正されたカメラ画像(Ir1,Ir2)だけが、前記ステップc〜eの相関及び補正に含められる当該方法において、
    f)平行な共通の複数の基準面に対して、
    −前記第一のカメラ(K1)のカメラ画像(I1)と前記第二のカメラ(K2)のカメラ画像(I2)とを、ステップeでそれぞれ割り当てられた前記マッピング関数を使用して修正する別のステップと、
    −第三のカメラ(K3)のカメラ画像(I3)を、割り当てられたプレキャリブレーションされた前記マッピング関数を使用して修正する別のステップと、
    g)各基準面に対して、前記第一のカメラ(K1)の修正されたカメラ画像(Ir1)と前記第二のカメラ(K2)の修正されたカメラ画像(Ir2)とから成る積と前記第三のカメラ(K3)の修正されたカメラ画像(Ir3)との間の二次元相関を実行し、1つの合計相関領域を生成するため、当該生成された複数の相関領域を合計する別のステップと、
    h)前記合計相関領域の座標原点からこの合計相関領域内の相関最大値までの間隔を追加の補正値として算出する別のステップと、
    i)前記第三のカメラ(K3)のマッピング関数を、当該算出された追加の補正値によって補正する別のステップとを特徴とする方法。
  6. ステップiでは、ステップeで補正された前記第一及び/又は前記第二のカメラ(K1,K2)のマッピング関数が、当該算出された追加の補正値によってさらに新たに補正されることを特徴とする請求項5記載の方法。
  7. 前記修正されたカメラ画像(Ir1,Ir2,Ir3)がそれぞれ、ステップgの前に同じ大きさで且つ同じに位置決めされた複数の照合領域に分割され、前記ステップg及びhが、前記複数の照合領域に対して実行され、複数のマッピング関数が、前記ステップiで当該異なる複数の照合領域に割り当てられた前記測定体積(V)の異なる空間領域内で当該割り当てられた異なる複数の補正値によって補正されることを特徴とする請求項5〜6のいずれか1項に記載の方法。
  8. 少なくとも一つの相関は、一般式
    Figure 0006951469
    の相互相関として実行されることを特徴とする請求項1〜7のいずれか1項に記載の方法。
JP2019563282A 2017-05-15 2018-05-09 光学測定装置をキャリブレーションするための方法 Active JP6951469B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017110533.6A DE102017110533A1 (de) 2017-05-15 2017-05-15 Verfahren zum Kalibrieren eines optischen Messaufbaus
DE102017110533.6 2017-05-15
PCT/EP2018/062098 WO2018210672A1 (de) 2017-05-15 2018-05-09 Verfahren zum kalibrieren eines optischen messaufbaus

Publications (3)

Publication Number Publication Date
JP2020520028A JP2020520028A (ja) 2020-07-02
JP2020520028A5 JP2020520028A5 (ja) 2021-10-07
JP6951469B2 true JP6951469B2 (ja) 2021-10-20

Family

ID=62244458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563282A Active JP6951469B2 (ja) 2017-05-15 2018-05-09 光学測定装置をキャリブレーションするための方法

Country Status (8)

Country Link
US (1) US10943369B2 (ja)
EP (1) EP3420533B1 (ja)
JP (1) JP6951469B2 (ja)
CN (1) CN110622216B (ja)
DE (1) DE102017110533A1 (ja)
DK (1) DK3420533T3 (ja)
RU (1) RU2720604C1 (ja)
WO (1) WO2018210672A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835997B2 (en) 2019-09-27 2023-12-05 Electronic Theatre Controls, Inc. Systems and methods for light fixture location determination
CN115112098B (zh) * 2022-08-30 2022-11-08 常州铭赛机器人科技股份有限公司 一种单目视觉的一维二维测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10312696B3 (de) 2003-03-21 2004-12-23 Lavision Gmbh Verfahren zur Bestimmung der Abbildungsgleichung für die Selbstkalibrierung in Bezug auf die Durchführung von Stereo-PIV-Verfahren
JP2007033306A (ja) * 2005-07-28 2007-02-08 Tokyo Electric Power Co Inc:The 流体の流動計測システム及びその計測方法
DE102006043445A1 (de) * 2006-09-15 2008-03-27 Mtu Aero Engines Gmbh Vorrichtung und Verfahren zur dreidimensionalen Strömungsmessung
DE102006055746A1 (de) * 2006-11-25 2008-05-29 Lavision Gmbh Verfahren zur Korrektur einer Volumenabbildungsgleichung zur Bestimmung eines Geschwindigkeitsfeldes von Teilchen in einem Volumen
DE102009060580B4 (de) * 2009-12-23 2013-02-21 Lavision Gmbh Verfahren zur Bestimmung eines Satzes von optischen Abbildungsfunktionen für die 3D-Strömungsmessung
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems

Also Published As

Publication number Publication date
US20200202572A1 (en) 2020-06-25
US10943369B2 (en) 2021-03-09
EP3420533A1 (de) 2019-01-02
DK3420533T3 (da) 2020-03-30
CN110622216A (zh) 2019-12-27
RU2720604C1 (ru) 2020-05-12
EP3420533B1 (de) 2019-12-25
WO2018210672A1 (de) 2018-11-22
DE102017110533A1 (de) 2018-11-15
JP2020520028A (ja) 2020-07-02
CN110622216B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Garcia et al. A combined temporal tracking and stereo-correlation technique for accurate measurement of 3D displacements: application to sheet metal forming
US6542250B1 (en) Method of three-dimensionally measuring object surfaces
KR101698700B1 (ko) 패턴 검사·계측 장치 및 프로그램
Chen et al. Full-field 3D measurement using multi-camera digital image correlation system
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
Liu et al. An improved online dimensional measurement method of large hot cylindrical forging
US7962303B2 (en) Distortion evaluating apparatus and distortion evaluating method
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
Beaubier et al. CAD-based calibration and shape measurement with stereoDIC: Principle and application on test and industrial parts
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN111145227B (zh) 一种地下隧道空间多视点云的可迭代整体配准方法
JP4234059B2 (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
JP2006214893A (ja) 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
CN110009667A (zh) 基于罗德里格斯变换的多视点云全局配准方法
JP6951469B2 (ja) 光学測定装置をキャリブレーションするための方法
Liu et al. A Gaussian process and image registration based stitching method for high dynamic range measurement of precision surfaces
CN109974618A (zh) 多传感器视觉测量***的全局标定方法
CN115540775A (zh) 一种ccd单相机的3d视频引伸计
CN113048912A (zh) 投影仪的标定***及方法
Schild et al. Assessing the optical configuration of a structured light scanner in metrological use
Zhao et al. Uncertainty quantification for 3D digital image correlation displacement measurements using Monte Carlo method
CN113689478B (zh) 量测设备的对齐方法、装置及***
CN115239801A (zh) 一种对象定位方法及装置
Rico Espino et al. Vision system for 3D reconstruction with telecentric lens
Wöhler et al. Monocular 3D scene reconstruction at absolute scale

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210310

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210924

R150 Certificate of patent or registration of utility model

Ref document number: 6951469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150