JP5989113B2 - 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置 - Google Patents
1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置 Download PDFInfo
- Publication number
- JP5989113B2 JP5989113B2 JP2014522786A JP2014522786A JP5989113B2 JP 5989113 B2 JP5989113 B2 JP 5989113B2 JP 2014522786 A JP2014522786 A JP 2014522786A JP 2014522786 A JP2014522786 A JP 2014522786A JP 5989113 B2 JP5989113 B2 JP 5989113B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- camera
- distortion
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
ユーザーの操作は、図14に詳しく説明された図2(b)のキャリブレーションボックスを用いた1つまたは複数のキャリブレーション画像の取得に限られている。チェッカーボード面に対するカメラの位置姿勢は任意であり、図14のボックスは、画像四隅の自動検出のための照明条件を制御するために作られている。取得された画像は、図2(a)と似ている。
直線に曲がりがあるために、強度の放射歪曲のある画像内で四隅を位置づけることには多くの問題が生じうることに注意しなければならない。
フレーム取得後の処理は以下の通りである。
1)歪みがあまり顕著でない中央画像領域における少なくとも12の角の位置を特定する
この操作は、標準的画像処理技術を使用したヒューリスティックアルゴリズムによって実行される。画像の角xとグリッド点gとの間の矛盾のない対応関係は、チェッカーボードパターンの四角を数えることによって達成される。
2)画像−平面対応関係は、平面グリッド座標における点を画像座標における点へ写像する関数を推定するために使用され、これがDLTのような手法(セクションBの式7)を用いた推定値
となる。
3)チェッカーボードパターンは、画像周縁において角の仮定を生成する射影変換(homography)を用いて画像平面上に投影される。これらの仮定は、標準的な画像角ファインダを適用することで確認され、精緻化される。
4)ステップ2)および3)は、確立された対応関係が満たされたと考えられるまで繰り返される。
図3の初期化手順の目的は、レンズプローブが基準位置Ω0,p0にあるときの内部キャリブレーション行列K0と、放射歪曲ξとを決定することである。カメラキャリブレーションは、文献に何百回も言及されるようなよく研究されるテーマである。最も広く使用されているソフトウェアは、おそらく、平面グリッドの少なくとも3つの画像から汎用カメラをキャリブレーションするZhangの方法[17]を実行するBouguetツールボックス[16]である。残念ながら、Bouguetツールボックスは、本提案のアプリケーションの使いやすさ要件を満たしていない。実際には、正確な結果を達成するための入力画像の数は3をはるかに上回り、RDを有する画像内のグリッド角の検出には、かなりのユーザー操作が必要となる。本方法は、少なくとも1画像で機能する。
ここで、Γξは、画像の放射歪曲を考慮した非線形投射関数であり[21]、K0は、次のような構造を持つ内部パラメータの行列である。
ここで、f、a、s、は、それぞれ焦点距離、アスペクト比、およびスキューを表し、また、c=(cx,cy)Tは、画像主点の非同次座標である。
を、二次ベロネーゼマップにしたがって、点gとxとの持ち上げ表現に対応する次元6を有する同次ベクトルとする[13]。以下のことが証明される。
ここで、
は、6×6の行列である。各画像−平面対応関係が、持ち上げ射影変換に対して3つの線形制約を課すため、
行列は直接線形変換(DLT)のような手法を用いて、少なくとも12点の対応から推定することができる。
を所与とすると、カメラ固有値K0、歪みパラメータξ、および元の射影変換Hは、簡単に因数分解することができる。この初期カメラキャリブレーションは、さらに標準的な反復非線形最適化を用いて、精緻化することができる。
円形領域とフレーム領域とを分離して画像の輪郭を見つけることは、有意義な映像内容の境界を定めるためだけ(図1(b)参照)でなく、カメラヘッドに対するレンズプローブの回転を推測するためにも重要である。連続するフレームにまたがって境界輪郭と三角マークとを追跡する本提案の手法は、Fukuda et al.[4]およびStehle et al.[15]による研究に関連している。前者は、従来の画像処理技術を用いて三角マークを抽出することにより、斜視型内視鏡のレンズの回転を推測する。この方法は、円形領域の位置が操作中に変化しないことを前提としているが、それは一般的にありえないことであり、したがって推測がリアルタイムで実行できるかどうかは不明である。Stehle et al.は、半径方向において検出されたエッジ点に円錐曲線を合わせることによって複数のフレームにまたがる境界輪郭を追跡することを提案している。我々のアルゴリズムとの主な違いは、我々は、極画像をレンダリングするためにハイブリッドシリアル+パラレルの実装を使用し、水平線に沿って探索を行うということにある。この方式により、低い演算コストでロバスト性と正確性を両立させることができる。
1)部分的または全体的に最後の境界推定値を含む元の画像(図4(b))中のリング領域の画定。
2)前回の境界推定値が中央の垂直線内へ写像された新しい縞状画像(図4(c))のレンダリング。
その中心が原点にある単位円内に任意の楕円を写像するアフィン変換が常に存在することは周知である[8]。このような変換Sは次式で与えられる。
ここで、rは、Ωi−1の短軸と長軸との間の比率であり、φは、長軸と水平方向との間の角度であり、(wi-1,x,wi-1,y)は、円錐中心Wi−1の非同次座標である。変換Sは、図4(b)の中間結果を生成するために使用され、極画像(図4(c))は、デカルト座標から球面座標への変更を適用することによって得られる。
3)縞状画像における境界点を複数の画像処理技術を使用して検出。
図4(c)の縞状画像内のエッジ点は、(ラプラシアン・ガウシアンなどの)1次元エッジフィルタを適用し、遷移を見つけるために右から左に水平線を走査することによって検出される。
4)球面座標x=(ρ,θ)で表現されるエッジ点は、式1の関数FSによって、元の像点に写像される。
現在の円錐境界Ωiは、ロバスト円錐フィッティング[23]を用いて、また起こり得る外れ値の悪影響を避けるためにRANSAC[24]を用いて、最終的に推定される。
5)1)〜4)のステップは、境界輪郭推定値が収束するまで繰り返される。
円形画像の境界輪郭を推定するために提示されたステップは、演算装置の並列処理機能を用いて加速される。
セクションDに記載された方法が正確に収束したのち、境界輪郭は極画像(図4(c))の中央の垂直線内に写像され、わずかに右にずれている補助垂直線を走査することによって三角マークのロバスト検出が可能になり、最大強度を有する画素位置を選択する。三角マークの位置は、各フレームでキャリブレーション位置に対する現在の角度変位を推測する確立フィルタへ供給される。
レンズとカメラヘッドとの間の相対運動は、キャリブレーションパラメータの変化を引き起こし、それによって歪みを補正するための定数モデルの使用が困難になる[5]。この問題の解決策を提案する研究はいくつかあるものの[2]〜[4]、[15]、[22]、それらのほとんどは、レンズの回転を決定するために追加の器具類を必要とするという欠点を有する[2]、[3]、[22]。画像情報にのみ基づいて相対運動を推定する少数の方法には、ロバスト性がないか[4]、あるいはカメラのパラメータ一式を更新することが不可能である[15]。このセクションでは、実験によって、また光学配置の概念的理解によって、斜視型内視鏡用の、同時駆動される新しい内部カメラモデルを提案する。プローブは、画像平面に直交するが光軸と必ずしも一致しない軸を中心に回転するものとする。カメラモデルを更新するために必要なレンズ回転のパラメータは、境界輪郭と三角マークの画像情報を入力として受信するロバストなEKFによって推定される。我々の動的キャリブレーション方式は、[15]に対して、2つの重要な利点がある。つまり、(i)投影モデル全体が、RD輪郭曲線だけではなく、レンズ回転の関数として更新されることと、(ii)レンズの回転は、三角マークがない場合でも推定することができることである(図1(b)参照)。シーンの3次元点の再投影における説得力のある実験結果によって本手法の有効性が確認される。
であるとき、
と因数分解できる。
ここで、fcは、ボアスコープレンズの焦点距離であり、また、fhは、メートル単位を画素に変換するカメラヘッドの焦点距離である。
となる。
ここで、Rα,q’は、点q’を中心とするαだけの平面回転であり、ここで軸lは、I’と交差している。
となる。
ここで、αiは、レンズの相対的角度変位であり、qiは、回転中に固定されたままの像点である。放射歪曲がレンズの特性であるため、パラメータξは、カメラヘッドに対する相対運動の影響を受けない。したがって、式2より、カメラ座標フレームにおいて表される一般の3次元点Xは、
において結像されることになる。
式は、状態変数
において線形である。
Tは、フレーム取得間隔δtに依存しており、
となる。
αiおよびqiにおいて、計測式は非線形
となり、
三角マークの検出に失敗したときにはいつでも最後の2式は破棄される。
このセクションでは、視覚化システムの最終的な出力である正確な遠近画像のレンダリングについて説明する。[7]で指摘されているように、特定の変換による画像の効率的なワーピングは、逆写像法(inverse mapping method)を用いて行われるべきである。
したがって、所望の歪みのない画像内の点yを、元の歪曲したフレーム内の点xへ写像する関数Fを導出しなければならない。式11から、
が得られる。
Kyは、歪みのない画像の特定の特徴(例えば、中心、解像度)を特定し、R_αi,q”は、ワーピング結果を元の向きに戻すように回転させ、q”は、回転中心qiの逆投影
である。
によって与えられ、ここでfはカメラの焦点距離であり、ruは歪みのない半径である。したがって、行列Kyは、
でなければならず、ワープ処理された画像は、画像回転中心qiを写像した軌跡である。図8は、内視鏡動画像列のうちいくつかのフレームのRD補正結果を示している。これらの例は、シーンの認知における改善と、画像形状の補正の間にレンズプローブ回転を考慮することの重要性(図8(b))とをはっきりと示している。
4つの手法、すなわち、
(i)CPUベースの単純で純粋な解決手段と、
(ii)x86ファミリの従来の汎用市販マルチコアCPUなどの共有メモリアーキテクチャに使用することができるOpenMP2directives[6]を用いた仮想CPUバージョンと、
(iii)最適化されていないハイブリッドCPU+GPUバージョンと、
(iv)最適化されたCPU+GPU複合バージョンと、を比較することによって、我々のハイブリッドシリアル+パラレル解決手段の効果を評価する。
図9に提示された比較は、CPUがGPUほど効率的に大きなワーピング操作(アルゴリズムの中で最も時間のかかるタスク)を処理することができないことを示している。表は、3000×3000画素以上の出力サイズをもつ画像の場合、GPUが実行を加速するだけではなく、キャッシュミスペナルティの増加によりCPUの性能が低下することを示している。
(i)画像変換:画像は、RGBチャンネルに分割され、グレースケール変換が実行される。
(ii)境界推定:グレースケール画像は、並列処理ユニットメモリにバインドされ、輪郭強調カーネルを伴う球面座標への写像(式1)が起動される。
(iii)放射歪曲補正:画像変換段階からの3つの画像チャンネルが、並列演算処理ユニットのメモリにバインドされ、RD補正カーネルが起動される。
Claims (13)
- (i)外部からの光の入射を避けるために不透明な材料で作られたボックス(1)と、レンズスコープへのアクセスを可能にするための1つまたは複数の開口部(2)であって、各開口部は、外部からの光の入射を最小化するゴム膜(3)によって囲まれており、前記ボックスは、透明または半透明の材料からなるセパレータ(6)によって上部隔室と下部隔室の2つの隔室に分割され、前記上部隔室は、目視検査を実施するための平均値をより良く再現するための流体で満たされることが可能であり、
(ii)前記上部隔室内であって前記セパレータの上に配置された透明または半透明の材料からなる既知のパターンを有する平面グリッド(7)と、
(iii)前記ボックスの前記下部隔室(5)に取り付けられた、前記平面グリッドの背面照明拡散のための光源と、
(iv)逐次処理機能および並列処理機能をもつ演算装置と、
(v)前記演算装置に接続されたディスプレイ装置と、
(vi)前記演算装置に接続された、ユーザーコマンドを入力するためのインターフェース装置と、
を備える装置。 - カメラによって観察される平面チェッカーボードパターンであって、この平面チェッカーボードパターンは、2つの連続する斜め方向の白い四角の中心にある識別可能な特徴を最終的に含むことができ、前記2つの四角は、それらの間にある前記グリッド角を特定する、請求項1に記載の装置。
- 前記装置であって、前記平面パターンを観察するための複数の可能な入射点を含むことができ、これらの入射点は、レンズプローブのタイプによって、また前記平面パターンを異なる視点から見るために、複数の形状およびサイズ有することができる、請求項1に記載の装置。
- 自動カメラキャリブレーションと、可能なレンズプローブ回転に応じた投影モデル更新と、リアルタイム画像歪み補正とのための方法であって、リアルタイム画像歪み補正は、
(i)キャリブレーションボックスを用いて、チェッカーボードパターンからなる1つまたは複数の画像を取得し、
(ii)取得されたキャリブレーション画像におけるグリッド角を検出して、画像−平面間対応を確立し、
(iii)少なくとも1つのキャリブレーション画像における前記画像−平面間対応を用いて、焦点距離、主点、スキュー、アスペクト比、およびレンズ歪みのカメラ内部パラメータを決定し、
(iv)画像/動画を連続的に取得し、
(v)各フレーム時刻において、円形領域とフレーム領域との間の境界輪郭と、三角マークの画像座標とを検出し、
(vi)(v)の結果を用いて、カメラヘッドに対する前記レンズプローブの角度変位をロバストに決定し、
(vii)(iii)の初期カメラキャリブレーションと、(vi)の相対回転情報とを所与として、新しい投影モデルを利用して内部キャリブレーション情報を更新し、
(viii)(vii)で更新されたカメラキャリブレーションを用いて放射歪曲を補正するリアルタイム画像修正を実行する、
操作を実行する、方法。 - 請求項4に記載の方法であって、前記操作(ii)は、前記チェッカーボードパターンを有する前記平面における角点と、前記キャリブレーション画像における角点との間の対応を自動的に確立する操作からなり、前記ステップ(ii)は、
a.複数の画像処理技術を用いて、中央画像領域内の角またはシード点を検出し、
b.グリッド面内の前記角またはシード点の座標を推測し、
c.平面グリッド座標内の複数の点を、前記カメラ内部パラメータと、レンズ歪みと、前記グリッド面と前記カメラとの間の相対的位置姿勢とを用いて、画像座標内の複数の点に写像する関数を決定し、
d.(c)で決定された前記関数を用いて前記平面グリッド角を前記画像内に投影し、
e.投影された平面グリッド角の周囲の局所的探索を通して前記画像内の新しい角の位置を特定し、
f.確立された角対応の数が十分であると考えられるまで、ステップ(c)から(e)を繰り返すステップをさらに含む方法。 - 請求項4に記載の方法であって、前記操作(iii)は、請求項5で確立された角対応を用いて1つのキャリブレーション画像から前記カメラ内部パラメータおよびレンズ歪みを推定するステップからなり、前記操作(iii)は、
a.前記平面グリッド内の持ち上げ点座標を前記画像平面内の持ち上げ点座標内へ写像する関数を計算するステップと、
b.焦点距離、主点、アスペクト比、スキュー、歪みパラメータ、およびグリッド面とカメラとの間の相対位置姿勢、回転、および並進を決定するために、(a)の前記写像関数を分解するステップと、
を含む方法。 - 請求項6に記載の方法であって、さらに反復非線形最適化ステップであって、
a.前記推定パラメータの精緻化と、
b.異なるキャリブレーション画像によって提供された前記推定値の統合と、
c.請求項5および6に記載された方法の計算で想定されたモデル関数とは異なるモデル関数を用いた放射歪曲の推定と、
の目的のうち1つまたは複数を達成する反復非線形最適化ステップによって補完される方法。 - 請求項4に記載の方法であって、前記操作(v)は、円形画像(CI)の前記境界輪郭を教示なくリアルタイムで追跡するステップと、前記三角マークを検出するステップとからなり、前記操作(v)は、
a.前記CI境界の最後の推定値を部分的または全体的に含む前記元の画像におけるリング領域を定義するステップと、
b.前記前回の境界推定値が中央の垂直線内に写像された新しい縞状画像をレンダリングするステップと、
c.画像処理技術を用いて前記縞状画像内の境界点を検出するステップと、
d.前記検出された点を前記元の画像へ写像して、ロバスト推定を用いて円錐曲線のフィッティングを行うステップと、
e.前記境界輪郭推定値が収束するまでステップ(a)から(d)を繰り返すステップと、
f.前記縞状画像内でわずかに右にずれている補助垂直線を走査することによって、前記三角マークをロバスト検出して、最大強度を有する画素位置を選択し、その画素位置を前記元の画像へ写像するステップと、
を含む方法。 - 請求項4に記載の方法であって、前記レンズプローブが回転運動する場合のレンズ位置に関する角度変位の推定における前記操作(vi)は、
a.前記境界輪郭および前記三角マークを検出するステップと、
b.現在の角度変位を推測する確率フィルタへ(a)の情報を供給するステップであって、相対回転は、画像情報だけを用いて決定される、ステップと、
を含む方法。 - 請求項4に記載の方法であって、前記操作(vii)は、前記レンズプローブが回転運動するとき、初期基準位置におけるカメラ内部キャリブレーションと、初期基準位置に対する前記レンズプローブの現在の角度変位とを所与として、焦点距離、主点、アスペクト比、スキュー、歪みパラメータを含む現在のフレームの内部キャリブレーションおよび投影モデルを推測するステップからなる、方法。
- 請求項4に記載の方法であって、前記操作(viii)は、並列処理に基づく画像ワーピングを通じて前記放射歪曲をリアルタイム補正するステップと、従来の演算処理装置システムを利用するステップとからなり、前記方法は、
a.ホスト演算装置から並列処理装置へデータを移動するステップと、
b.前記並列処理装置の画像を処理するステップと、
c.最終処理画像を前記ホスト演算装置に戻すステップと、
d.結果を可視化するステップと、
を含む方法。 - コンピュータ媒体に実装され、プロセッサによって実行される請求項4〜11のいずれかに記載の方法ステップを実行するコンピュータプログラム。
- 請求項8,11のいずれかに記載の方法であって、前記並列処理装置の並列演算機能を用いて加速される、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PT10583211 | 2011-07-25 | ||
PT105832 | 2011-07-25 | ||
PCT/PT2012/000030 WO2013015699A1 (en) | 2011-07-25 | 2012-07-25 | Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014529389A JP2014529389A (ja) | 2014-11-06 |
JP5989113B2 true JP5989113B2 (ja) | 2016-09-07 |
Family
ID=47018440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014522786A Active JP5989113B2 (ja) | 2011-07-25 | 2012-07-25 | 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9438897B2 (ja) |
EP (1) | EP2742484B1 (ja) |
JP (1) | JP5989113B2 (ja) |
CN (1) | CN103827917B (ja) |
PT (1) | PT2742484T (ja) |
WO (1) | WO2013015699A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220121655A (ko) * | 2021-02-25 | 2022-09-01 | 배철환 | 공칭 검사용 텔레센트릭 광학 시스템 |
Families Citing this family (95)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014054958A2 (en) | 2012-10-05 | 2014-04-10 | Universidade De Coimbra | Method for aligning and tracking point regions in images with radial distortion that outputs motion model parameters, distortion calibration, and variation in zoom |
EP2907298B1 (en) * | 2012-10-11 | 2019-09-18 | LG Electronics Inc. | Image processing device and image processing method |
US9319666B1 (en) * | 2013-06-03 | 2016-04-19 | The Mathworks, Inc. | Detecting control points for camera calibration |
CA2819956C (en) * | 2013-07-02 | 2022-07-12 | Guy Martin | High accuracy camera modelling and calibration method |
WO2015029024A1 (en) | 2013-08-26 | 2015-03-05 | Inuitive Ltd. | Method and system for correcting image distortion |
US9282326B2 (en) * | 2013-10-28 | 2016-03-08 | The Regents Of The University Of Michigan | Interactive camera calibration tool |
EP3063495A4 (en) | 2013-10-31 | 2017-08-09 | 3M Innovative Properties Company | Multiscale uniformity analysis of a material |
KR101586249B1 (ko) * | 2013-12-24 | 2016-01-18 | (주)에프엑스기어 | 광 시야각 영상 처리 장치 및 방법 |
CN105094458B (zh) * | 2014-07-11 | 2018-01-05 | 华中师范大学 | 一种电子白板定位方法及*** |
EP2983131A1 (en) * | 2014-08-06 | 2016-02-10 | Thomson Licensing | Method and device for camera calibration |
US10980494B2 (en) | 2014-10-20 | 2021-04-20 | The University Of North Carolina At Chapel Hill | Systems and related methods for stationary digital chest tomosynthesis (s-DCT) imaging |
EP3200148B1 (en) * | 2014-10-31 | 2019-08-28 | Huawei Technologies Co., Ltd. | Image processing method and device |
JP6519144B2 (ja) * | 2014-11-06 | 2019-05-29 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
CN105791655A (zh) * | 2014-12-19 | 2016-07-20 | 宁波舜宇光电信息有限公司 | 一种计算摄像模组的镜头畸变的方法 |
JP6682767B2 (ja) | 2015-03-23 | 2020-04-15 | 株式会社リコー | 情報処理装置、情報処理方法、プログラムおよびシステム |
USRE49930E1 (en) | 2015-03-26 | 2024-04-23 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
EP3284252B1 (en) | 2015-04-13 | 2021-07-21 | Universidade De Coimbra | Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination |
CN105105698A (zh) * | 2015-07-10 | 2015-12-02 | 中国科学院深圳先进技术研究院 | 内窥镜校准***及方法 |
CN105096324B (zh) | 2015-07-31 | 2017-11-28 | 深圳市大疆创新科技有限公司 | 一种摄像装置标定方法及摄像装置 |
US20170053405A1 (en) * | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method and system for calibration of a medical imaging system |
US10176554B2 (en) * | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
US10835199B2 (en) * | 2016-02-01 | 2020-11-17 | The University Of North Carolina At Chapel Hill | Optical geometry calibration devices, systems, and related methods for three dimensional x-ray imaging |
CN105666274B (zh) * | 2016-02-03 | 2018-03-09 | 华中科技大学 | 一种基于视觉控制的餐盘磨边方法 |
US11044390B2 (en) * | 2016-02-10 | 2021-06-22 | Karl Storz Imaging, Inc. | Imaging system for identifying a boundary between active and inactive portions of a digital image |
US9792674B2 (en) * | 2016-03-10 | 2017-10-17 | Netflix, Inc. | Perspective correction for curved display screens |
US9965870B2 (en) * | 2016-03-29 | 2018-05-08 | Institut National D'optique | Camera calibration method using a calibration target |
WO2017168986A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
CN106993126B (zh) * | 2016-05-11 | 2023-04-07 | 深圳市圆周率软件科技有限责任公司 | 一种将镜头图像展开为全景图像的方法及装置 |
US10339662B2 (en) | 2016-05-23 | 2019-07-02 | Microsoft Technology Licensing, Llc | Registering cameras with virtual fiducials |
US10027954B2 (en) | 2016-05-23 | 2018-07-17 | Microsoft Technology Licensing, Llc | Registering cameras in a multi-camera imager |
US10326979B2 (en) | 2016-05-23 | 2019-06-18 | Microsoft Technology Licensing, Llc | Imaging system comprising real-time image registration |
EP3264360A1 (en) * | 2016-06-28 | 2018-01-03 | Dassault Systèmes | Dynamical camera calibration |
EP3264359A1 (en) * | 2016-06-28 | 2018-01-03 | Dassault Systèmes | A computer-implemented method of calibrating a camera |
CN106327478A (zh) * | 2016-08-31 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种鱼眼全景图像合成处理方法及装置 |
WO2018044694A1 (en) * | 2016-09-02 | 2018-03-08 | Gopro, Inc. | Continuous slanted edge focus measurements system |
EP3513382B1 (en) | 2016-09-14 | 2020-09-02 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung E.V. | Pattern detection |
EP3338969A3 (en) * | 2016-12-22 | 2018-07-25 | Seiko Epson Corporation | Control apparatus, robot and robot system |
CN106791817B (zh) * | 2016-12-27 | 2019-03-15 | 歌尔股份有限公司 | 待组装镜头与影像传感器的组装方法 |
WO2018170181A1 (en) | 2017-03-14 | 2018-09-20 | Universidade De Coimbra | Systems and methods for 3d registration of curves and surfaces using local differential information |
GB2560948B (en) * | 2017-03-29 | 2020-12-30 | Imagination Tech Ltd | Camera Calibration |
CN107071279A (zh) * | 2017-04-01 | 2017-08-18 | 深圳市圆周率软件科技有限责任公司 | 一种全景图像画面稳定的方法及*** |
CN107063709A (zh) * | 2017-04-05 | 2017-08-18 | 东风柳州汽车有限公司 | 汽车视觉测量***标定室 |
CN107330941A (zh) * | 2017-05-24 | 2017-11-07 | 西安应用光学研究所 | 大视场相机近场标校的精密靶标***及方法 |
US11344180B2 (en) * | 2017-06-15 | 2022-05-31 | Children's National Medical Center | System, apparatus, and method for calibrating oblique-viewing rigid endoscope |
US10089753B1 (en) * | 2017-07-05 | 2018-10-02 | Almotive Kft. | Method, system and computer-readable medium for camera calibration |
JP6996901B2 (ja) * | 2017-08-17 | 2022-01-17 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡システム |
US10722102B2 (en) | 2017-09-05 | 2020-07-28 | Arthrex, Inc. | Endoscope field stop encoding system and method |
US10825152B2 (en) | 2017-09-14 | 2020-11-03 | Canon U.S.A., Inc. | Distortion measurement and correction for spectrally encoded endoscopy |
US10432912B2 (en) | 2017-09-29 | 2019-10-01 | Waymo Llc | Target, method, and system for camera calibration |
CN107808400B (zh) * | 2017-10-24 | 2021-11-26 | 上海交通大学 | 一种摄像机标定***及其标定方法 |
US10852731B1 (en) * | 2017-12-28 | 2020-12-01 | Waymo Llc | Method and system for calibrating a plurality of detection systems in a vehicle |
US10477186B2 (en) * | 2018-01-17 | 2019-11-12 | Nextvr Inc. | Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair |
CN108305294B (zh) * | 2018-01-19 | 2021-06-15 | 长春希达电子技术有限公司 | 一种带网格目标的相机图像曲面精确标定方法 |
CN108709566B (zh) * | 2018-04-10 | 2023-06-16 | 浙江大学 | 数字近景摄影测量参数测定与可靠性检验的装置及方法 |
EP3561773B1 (en) * | 2018-04-26 | 2022-03-02 | Continental Automotive GmbH | Online evaluation for camera intrinsic parameters |
CN108489395B (zh) * | 2018-04-27 | 2019-03-22 | 中国农业大学 | 视觉测量***结构参数标定和仿射坐标系构建方法与*** |
CN108830906B (zh) * | 2018-05-31 | 2023-10-24 | 福州大学 | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 |
US10269141B1 (en) | 2018-06-04 | 2019-04-23 | Waymo Llc | Multistage camera calibration |
CN108938086A (zh) * | 2018-06-08 | 2018-12-07 | 艾瑞迈迪医疗科技(北京)有限公司 | 内窥镜畸变矫正方法及手术导航设备 |
CN110827356A (zh) * | 2018-08-14 | 2020-02-21 | 广东若铂智能机器人有限公司 | 一种基于机器臂的相机快速标定方法 |
US11857151B2 (en) * | 2018-09-12 | 2024-01-02 | Steris Instrument Management Services, Inc. | Systems and methods for standalone endoscopic objective image analysis |
CN111047649B (zh) * | 2018-10-15 | 2024-07-12 | 华东交通大学 | 一种基于最优偏振角的相机高精度标定方法 |
WO2020107196A1 (zh) * | 2018-11-27 | 2020-06-04 | 深圳市大疆创新科技有限公司 | 一种对拍摄装置的拍摄质量评测方法、装置及终端设备 |
US10735716B2 (en) * | 2018-12-04 | 2020-08-04 | Ford Global Technologies, Llc | Vehicle sensor calibration |
CN111354047B (zh) * | 2018-12-20 | 2023-11-07 | 精锐视觉智能科技(上海)有限公司 | 一种基于计算机视觉的摄像模组定位方法及*** |
US11042034B2 (en) | 2018-12-27 | 2021-06-22 | Facebook Technologies, Llc | Head mounted display calibration using portable docking station with calibration target |
US20200234467A1 (en) * | 2019-01-18 | 2020-07-23 | Nec Laboratories America, Inc. | Camera self-calibration network |
US11681030B2 (en) | 2019-03-05 | 2023-06-20 | Waymo Llc | Range calibration of light detectors |
WO2020181511A1 (zh) * | 2019-03-12 | 2020-09-17 | 深圳市大疆创新科技有限公司 | 测试拍摄稳定性的方法、校准装置和校准*** |
CN109978959B (zh) * | 2019-03-29 | 2021-06-29 | 北京经纬恒润科技股份有限公司 | 一种摄像头径向畸变修正参数标定方法、装置及*** |
US10623727B1 (en) | 2019-04-16 | 2020-04-14 | Waymo Llc | Calibration systems usable for distortion characterization in cameras |
US10964058B2 (en) * | 2019-06-21 | 2021-03-30 | Nortek Security & Control Llc | Camera auto-calibration system |
US11277544B2 (en) | 2019-08-07 | 2022-03-15 | Microsoft Technology Licensing, Llc | Camera-specific distortion correction |
AU2020362216A1 (en) | 2019-10-07 | 2022-04-14 | S&N Orion Prime, S.A. | Systems and methods for characterization of an endoscope and automatic calibration of an endoscopic camera system |
US11747453B1 (en) | 2019-11-04 | 2023-09-05 | Waymo Llc | Calibration system for light detection and ranging (lidar) devices |
CN111179184B (zh) * | 2019-11-29 | 2021-05-04 | 广东工业大学 | 基于随机抽样一致性的鱼眼图像有效区域提取方法 |
US11448497B2 (en) * | 2019-12-18 | 2022-09-20 | The Boeing Company | Systems and methods of determining image scaling |
CN113012053B (zh) * | 2019-12-20 | 2022-05-27 | 北京航空航天大学 | 一种集成成像桌面3d显示的360°视差图像校正方法 |
CN111197984A (zh) * | 2020-01-15 | 2020-05-26 | 重庆邮电大学 | 一种基于环境约束下的视觉-惯性运动估计方法 |
CN111862051B (zh) * | 2020-02-04 | 2021-06-01 | 牧今科技 | 执行自动相机校准的方法和*** |
US11508088B2 (en) | 2020-02-04 | 2022-11-22 | Mujin, Inc. | Method and system for performing automatic camera calibration |
CN113655678B (zh) * | 2020-04-29 | 2023-05-26 | 西门子(深圳)磁共振有限公司 | 医学影像***中3d相机的安装引导方法和装置 |
CN115516513A (zh) * | 2020-05-06 | 2022-12-23 | 奇跃公司 | 基于卷积的相机和显示器校准 |
CN114730064A (zh) * | 2020-07-15 | 2022-07-08 | 核心光电有限公司 | 扫描折叠相机的视点像差校正 |
CN112184662B (zh) * | 2020-09-27 | 2023-12-15 | 成都数之联科技股份有限公司 | 应用于无人机图像拼接中的相机外参数初始方法及*** |
CN112415010B (zh) * | 2020-09-30 | 2024-06-04 | 成都中信华瑞科技有限公司 | 一种成像检测方法及*** |
US11663704B2 (en) | 2021-04-28 | 2023-05-30 | Microsoft Technology Licensing, Llc | Distortion correction via modified analytical projection |
US11928834B2 (en) | 2021-05-24 | 2024-03-12 | Stryker Corporation | Systems and methods for generating three-dimensional measurements using endoscopic video data |
CN113450398B (zh) * | 2021-08-31 | 2021-11-19 | 北京柏惠维康科技有限公司 | 标定物中的标记物的匹配方法、装置、设备及可读介质 |
CN113516721B (zh) * | 2021-09-13 | 2021-11-12 | 中科慧远视觉技术(北京)有限公司 | 一种基于多相机的测量方法、装置及存储介质 |
US11812146B2 (en) * | 2021-12-02 | 2023-11-07 | Fotonation Limited | Method and system for camera motion blur reduction |
US11887513B2 (en) * | 2022-02-02 | 2024-01-30 | Google Llc | Case for smartglasses with calibration capabilities |
US11937970B2 (en) | 2022-05-05 | 2024-03-26 | GE Precision Healthcare LLC | System and method for calibrating a camera feature detection system of an x-ray system |
CN115690226B (zh) * | 2022-10-27 | 2024-02-13 | 合肥中科君达视界技术股份有限公司 | 一种基于Scheimpflug定律的大视场3D轮廓测量仪标定方法 |
CN117146647B (zh) * | 2023-10-31 | 2023-12-22 | 南通蓬盛机械有限公司 | 一种光学瞄准镜的速调校准方法及*** |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6173087B1 (en) | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
US6101288A (en) | 1997-07-28 | 2000-08-08 | Digital Equipment Corporation | Method for recovering radial distortion parameters from a single camera image |
US6002525A (en) | 1998-07-06 | 1999-12-14 | Intel Corporation | Correcting lens distortion |
US7366562B2 (en) * | 2003-10-17 | 2008-04-29 | Medtronic Navigation, Inc. | Method and apparatus for surgical navigation |
JP3429280B2 (ja) | 2000-09-05 | 2003-07-22 | 理化学研究所 | 画像のレンズ歪みの補正方法 |
GB2380887A (en) | 2001-10-13 | 2003-04-16 | Isis Innovation | Lens distortion correction using correspondence points within images which are constrained to lie on the same epipolar curve |
US20030141433A1 (en) | 2002-01-31 | 2003-07-31 | Gordon Gary B. | Solid state image sensor array for correcting curvilinear distortion of a camera lens system and method for fabricating the image sensor array |
US7429999B2 (en) * | 2004-05-24 | 2008-09-30 | CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC | Camera calibrating apparatus and method |
JP4496354B2 (ja) * | 2004-06-18 | 2010-07-07 | 独立行政法人 宇宙航空研究開発機構 | カメラ校正のための透過型校正器具とその校正法 |
JP3779308B2 (ja) * | 2004-07-21 | 2006-05-24 | 独立行政法人科学技術振興機構 | カメラ校正システム及び三次元計測システム |
JP4631048B2 (ja) * | 2005-02-14 | 2011-02-16 | 国立大学法人岩手大学 | 撮像装置及び撮像系パラメータの校正方法 |
CN100534378C (zh) * | 2006-09-21 | 2009-09-02 | 上海华富数控设备有限公司 | 医用内窥镜本体三维定位***和方法 |
US7892165B2 (en) * | 2006-10-23 | 2011-02-22 | Hoya Corporation | Camera calibration for endoscope navigation system |
US8405711B2 (en) * | 2007-01-09 | 2013-03-26 | Capso Vision, Inc. | Methods to compensate manufacturing variations and design imperfections in a capsule camera |
US8223193B2 (en) * | 2009-03-31 | 2012-07-17 | Intuitive Surgical Operations, Inc. | Targets, fixtures, and workflows for calibrating an endoscopic camera |
CN101632570B (zh) * | 2009-08-03 | 2012-06-13 | 深圳先进技术研究院 | 医用内窥镜标定方法 |
WO2014054958A2 (en) | 2012-10-05 | 2014-04-10 | Universidade De Coimbra | Method for aligning and tracking point regions in images with radial distortion that outputs motion model parameters, distortion calibration, and variation in zoom |
-
2012
- 2012-07-25 US US14/234,907 patent/US9438897B2/en active Active
- 2012-07-25 PT PT127725380T patent/PT2742484T/pt unknown
- 2012-07-25 EP EP12772538.0A patent/EP2742484B1/en active Active
- 2012-07-25 CN CN201280042178.1A patent/CN103827917B/zh active Active
- 2012-07-25 JP JP2014522786A patent/JP5989113B2/ja active Active
- 2012-07-25 WO PCT/PT2012/000030 patent/WO2013015699A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220121655A (ko) * | 2021-02-25 | 2022-09-01 | 배철환 | 공칭 검사용 텔레센트릭 광학 시스템 |
KR102481722B1 (ko) * | 2021-02-25 | 2022-12-26 | 배철환 | 공칭 검사용 텔레센트릭 광학 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US20140285676A1 (en) | 2014-09-25 |
EP2742484A1 (en) | 2014-06-18 |
CN103827917B (zh) | 2017-06-09 |
PT2742484T (pt) | 2017-01-02 |
CN103827917A (zh) | 2014-05-28 |
EP2742484B1 (en) | 2016-08-31 |
US9438897B2 (en) | 2016-09-06 |
JP2014529389A (ja) | 2014-11-06 |
WO2013015699A1 (en) | 2013-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5989113B2 (ja) | 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置 | |
Melo et al. | A new solution for camera calibration and real-time image distortion correction in medical endoscopy–initial technical evaluation | |
Schmalz et al. | An endoscopic 3D scanner based on structured light | |
JP2015128242A (ja) | 画像投影装置及びそのキャリブレーション方法 | |
WO2013038656A1 (ja) | 投影像自動補正システム、投影像自動補正方法およびプログラム | |
US10776937B2 (en) | Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability | |
JP2012088114A (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP6899894B2 (ja) | パターン検出 | |
US10319105B2 (en) | Method and system for calibrating an image acquisition device and corresponding computer program product | |
Shim et al. | Time-of-flight sensor and color camera calibration for multi-view acquisition | |
JP6615486B2 (ja) | カメラキャリブレーション装置、方法及びプログラム | |
Zhu et al. | Robust plane-based calibration of multiple non-overlapping cameras | |
CN114022547A (zh) | 一种内窥镜图像检测方法、装置、设备及存储介质 | |
CN110136048A (zh) | 一种图像配准方法及***、存储介质及终端 | |
Lin et al. | Tissue surface reconstruction aided by local normal information using a self-calibrated endoscopic structured light system | |
US20230070281A1 (en) | Methods and systems of generating camera models for camera calibration | |
WO2016194179A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
Rosebrock et al. | Generic camera calibration and modeling using spline surfaces | |
JP2018044942A (ja) | カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体 | |
JP4548228B2 (ja) | 画像データ作成方法 | |
JP2018088228A (ja) | 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体 | |
JP6529345B2 (ja) | 画像合成装置及び画像合成方法 | |
Stehle et al. | Dynamic distortion correction for endoscopy systems with exchangeable optics | |
US20220412727A1 (en) | Shape reconstruction method and image measurement device | |
PirahanSiah et al. | Pattern image significance for camera calibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5989113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |