JP2006148745A

JP2006148745A - カメラの校正方法及びカメラの校正装置

Info

Publication number: JP2006148745A
Application number: JP2004338557A
Authority: JP
Inventors: Toshiaki Kakinami; 俊明柿並
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2004-11-24
Filing date: 2004-11-24
Publication date: 2006-06-08
Anticipated expiration: 2024-11-24
Also published as: JP4681856B2; EP1816869A1; CN101065969A; KR100869570B1; US20080031514A1; US8269848B2; EP1816869A4; WO2006057147A1; KR20070064371A

Abstract

【課題】カメラの内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、カメラの校正を適切に行い得る校正方法及び装置を提供する。
【解決手段】少なくとも４点の座標情報を含む平面状の校正指標（ｃ１）を第１の平面Ｓ１に配置し、校正指標をその視界内に含むカメラ画像の画像面を第２の平面Ｓ２として入力する。第２の平面上に存在し校正指標の所定の部位に対応する点（ｃ２）を特定し、第１の平面と第２の平面に共通して包含される少なくとも４点の対応関係に基づき、第１の平面と第２の平面との間のホモグラフィを演算して、カメラ画像を校正する。
【選択図】図１

Description

本発明は、カメラの校正方法及びカメラの校正装置に関し、特に、３次元空間を２次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正方法及びカメラの校正装置に係る。

従来、カメラの校正方法に関しては、種々の提案がされており、この中の一つに、形状が予め既知であって特徴ある立体物を、校正用の指標として３次元空間上に置き、その立体物の特徴点がカメラの画像座標系でどのように表示されるかによって、カメラパラメータを算出する方法が知られている。

例えば、非特許文献１には、特徴ある立体物校正指標を用いて、１１自由度のカメラパラメータを算出する方法が開示されている。これにおいては、カメラパラメータを決定するために、特徴ある立体物をカメラで撮像可能な位置に置き、立体物がカメラの画像座標系において、どの点に表示されるかを幾何学的に算出し、３次元空間からカメラパラメータを決定する方法を取っている。しかし、このように、車両にカメラを取り付けた後、カメラの校正を行う方法にあっては、校正を行う対象物が車両に取り付けられたカメラである場合、工場等の車両組立ラインで校正を行うことになるが、このような生産現場では作業性が良いことが条件となる。生産現場では、特徴ある立体物を置いて校正を行う方法をとると、校正指標として立体物をその都度置くことは効率が悪く、しかも災害防止の観点から、校正用に足元に３次元的な立体物を置くことは避けることが望ましく、カメラの校正を行う校正指標は、工場の床面に描画された模様のように、作業者が踏みつけても問題ない指標であることが望ましい。

上記の問題点に鑑み、特許文献１においては、車両の製造現場等でカメラの校正を行う場合であっても、簡単な方法でカメラの校正を行うことができる装置及び方法が提案され、画面上の任意の点に描画が行うことができるようにカメラパラメータを設定可能な校正指標とすることにより、車両組み立てラインでのカメラの校正を可能とする方法が開示されている。

更に、非特許文献２にも、上記非特許文献１に記載の方法と同様、特徴ある立体物校正指標を用いて、特徴ある立体物をカメラで撮像可能な位置に置き、立体物がカメラの画像座標系において、どの点に表示されるかを幾何学的に算出し、３次元空間からカメラパラメータを決定する方法が提案されている。

尚、下記の非特許文献３乃至５には、本発明の基礎となる画像処理技術等の技術情報が開示されているが、これらについては、本発明の実施形態の説明の一環として後述する。

特開２００１−２４５３２６号公報 Luc Robert著「Camera calibration without Feature Extraction」Institute National de Recherche en Informatique Automatique、Research Report No. 2204、1994年2月発行、1頁乃至21頁 Roger Y. Tsai著「An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision」、Proceedings of IEEE Conference on Computer Vision and Pattern Recognition、Miami Beach, FL, 1986年発行、364頁乃至374頁佐藤淳著「コンピュータビジョン」、コロナ社、２００１年１０月１０日初版第３刷発行、１１頁乃至４１頁 Andrew Zisserman著「Geometric Framework for Vision I: Single View and Two-View Geometry」、[online]、１９９７年４月１６日、［２００４年９月３日検索］、Robotics Research Group. University of Oxford.、インターネット<URL:http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/EPSRC_SSAZ/epsrc_ssaz.html> Richard Hartley及びAndrew Zisserman著「Multiple View Geometry in Computer Vision」、Cambridge University Press. 2000年8月発行、11頁乃至16頁

然し乍ら、前掲の特許文献１に記載のカメラの校正方法においては、カメラの外部パラメータの回転成分以外は既知であり予め設定している値を用いることが前提とされているので、その値に公差や誤差が残留することになる。このため、そのままでは、ここで校正されたパラメータを用いて投影変換した値には誤差が残ることになる。尚、非特許文献２においても、画像面と３次元路面との間の座標変換関係において、カメラの内部パラメータと外部パラメータが何らかの校正方法により既知であるということを前提としているので、前述の非特許文献１に記載の方法と同様の問題が生じ得る。

そこで、本発明は、カメラの内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、カメラの校正を適切に行い得るカメラの校正方法を提供することを課題とする。

また、本発明は、カメラの内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、カメラの校正を適切に行い得るカメラの校正装置を提供し、更に、車両に搭載し得るカメラの校正装置を提供することを別の課題とする。

上記の課題を達成するため、本発明は、請求項１に記載のように、３次元空間を２次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正方法において、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して、前記校正指標を含む前記カメラ画像の画像面を第２の平面として入力し、前記第２の平面上に存在し前記校正指標の所定の部位に対応する点を特定し、前記第１の平面と前記第２の平面に共通して包含される前記少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算して、カメラ画像を校正することとしたものである。

上記請求項１に記載のカメラの校正方法において、更に、請求項２に記載のように、前記第１の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とすることとしてもよい。また、請求項３に記載のように、前記第２の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することとしてもよい。

そして、本発明のカメラの校正装置は、請求項４に記載のように、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第２の平面として入力する画像入力手段と、前記第２の平面上に存在し前記校正指標の所定の部位に対応する点を特定する対応点特定手段と、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えることとしたものである。このカメラの校正装置において、前記校正指標手段は、請求項５に記載のように、前記第１の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とするとよい。更に、前記対応点特定手段は、請求項６に記載のように、前記第２の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することとしてもよい。

また、本発明は、請求項７に記載のように、前記カメラ、前記画像入力手段、前記対応点特定手段、及び前記ホモグラフィ演算手段を車両に搭載したものとすることができる。更に、請求項８に記載のように、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第２の平面として表示する表示手段と、該表示手段に所定のマーカを重畳表示するマーカ表示手段と、該マーカ表示手段の位置を前記カメラによって撮影される画像座標内で変化させる調整手段と、該調整手段により前記マーカが前記校正指標の所定の部位と一致するように前記マーカの位置関係を調整し、前記マーカが前記校正指標と一致したときに前記第２の平面内での前記第１の平面上の特定部位と対応する点として特定する対応点特定手段と、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えたカメラの校正装置を構成することとし、これを車両に搭載することとしてもよい。

本発明は上述のように構成されているので以下の効果を奏する。即ち、請求項１乃至３に記載のカメラの校正方法においては、３次元空間における平面上の配置が既知である４点を校正指標として使用し、２画像間の４点の変換関係をホモグラフィによって求めることとしているので、カメラの焦点距離や原点位置等のカメラの内部パラメータは未知でよく、しかも、カメラが搭載されている高さや角度等のカメラの外部パラメータも未知でよいので、高精度な校正を簡単な方法で実現することができる。

また、請求項４乃至６に記載のカメラの校正装置によれば、３次元空間における平面上の配置が既知である４点を校正指標として使用し、夫々に対応するカメラ画像中の４点の対応づけをホモグラフィによって行うこととしているので、カメラの内部パラメータ及び外部パラメータが何れも未知であっても、カメラ画像中の４点を、元の３次元空間における平面上の４点として適切に復元することができる。この場合において、カメラの焦点距離や原点位置等のカメラの内部パラメータは未知でよく、しかも、３次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータも未知でよいので、カメラの設置及び装着条件が緩和される。

更に、請求項７に記載のように構成し、車両に搭載したものとすることができ、この場合には、３次元空間における平面上の配置が既知である４点を校正指標として使用し、夫々に対応するカメラ画像中の４点の対応づけを、対応点特定手段によって自動的に行うことができ、適切にカメラの校正を行うことができる。

特に、請求項８に記載のカメラの校正装置によれば、３次元空間における平面上の配置が既知である４点を校正指標として使用し、夫々に対応する表示画像中の４点の対応づけを手動操作によって行うことができ、適切にカメラの校正を行うことができる。

上記の構成になる本発明のカメラの校正方法の具体的一態様について、以下に図面を参照して説明する。最初に、本発明が前提とするカメラ技術について図１７乃至２０を参照して説明した後、図１及び図２を参照して本発明の実施形態を説明する。先ず、カメラ座標系を図１７に示すように定義する。即ち、非特許文献３で説明されているように、カメラの光学中心Ｃを座標原点とし、３次元座標のＸ軸とＹ軸を、それぞれ画像面上のｘ軸およびｙ軸に平行にとり、Ｚ軸を光軸ｌ₀に対し平行にとっている。光学中心Ｃから画像面πに垂直に引いた直線ｌ₀を「光軸」と言い、光軸と画像面との交点ｘ_Cを「画像中心」と言う。

図１７において、３次元空間中で（Ｘ，Ｙ，Ｚ）の座標を持つ点Ｘ＝［Ｘ，Ｙ，Ｚ］^Tが、２次元画像上で（ｘ，ｙ）の位置の点ｘ＝［ｘ，ｙ］^Tに投影される。尚、大文字のＸ等は３次元を表し、小文字のｘ等は２次元を表す。また、「^T」は転置行列を意味する。焦点距離をｆ＝１とすれば、図１７の２次元画像上の点を３次元空間中の点と考えると、その位置は（ｘ，ｙ，１）である。図１７から明らかなように、このカメラによる投影では、２次元画像上の点のｘとｆの比が３次元空間中の点のＸとＺの比に等しく、またｙとｆの比がＹとＺの比に等しい。従って、３次元空間中の点とその投影像との間には、下記［数１］式の関係が成り立ち、このような投影を「透視投影」と言う。

上記［数１］式の透視投影は、斉次座標を用いて下記［数２］式のように、行列演算の形で表すことができる。

［数２］式においてλは任意の実数であり、［数２］式は［数１］式と同じ投影を表している。尚、［数２］式は下記［数３］式のように簡単化して表す。

上記［数３］式において、Ｐｆは下記［数４］のとおりである。

ところで、コンピュータ上で扱う画像データは、その原点をどこにとるか、画素座標値としての細分方法や縦横比は、設計により変わるものである。即ち、コンピュータ上で扱う画像データは物理的な大きさや位置とは無関係な画素単位の画像座標に基づいている。従って、実際のカメラをモデル化する場合には、物理的座標ｘから画像座標ｍに変換する必要がある。この変換は原点位置合わせのための平行移動、縦横のスケール変換及び焦点距離に応じたスケール変換を組み合わせたものであり、次のように表される。

ここで、上記［数５］式の前段は［ｍ₁，ｍ₂，ｍ₃］^Tで表され、画像座標ｍ＝［ｕ，ｖ］^Tの斉次座標であって、下記［数６］式の同値関係が成り立つように設定する。即ち、ｕ＝ｍ₁/ｍ₃，ｖ＝ｍ₂/ｍ₃である。

また、Ａは物理的座標ｘを画像座標ｍに変換する行列であり、焦点距離ｆ、画像中心の座標（ｕ₀，ｖ₀）、ｕ及びｖ方向のスケール・ファクターｋ_u，ｋ_v、及び、せん断係数ｋ_sによって下記［数７］のように表される。尚、この「せん断係数」は、平行性は保つが直角性は保たないような変形(せん断変形) を発生させる係数である。

上記［数３］及び［数５］により、３次元空間中の点Ｘは、２次元画像上の画素ｍに対し下記［数８］のように投影される。ここで、Ａは「カメラ校正行列」と言い、更に詳細には、上記［数７］から明らかなように、カメラの内部パラメータによって構成される行列であるので、「カメラの内部パラメータ行列」と呼ぶ。

次に、複数のカメラ間の関係や、同一のカメラであっても複数の位置に移動することを考慮し、あるいは、そのカメラと対象物との関係を考慮する際には、基準となる座標系を設定するとよい。この場合に、図１８に示すように、考慮されるカメラの数や位置、対象物に対して共通に決められた座標が、「ワールド座標」と定義される。このワールド座標（Ｘ_wとする）からカメラ座標Ｘへは、３次元の回転Ｒ及び並進Ｔによって下記［数９］式のように変換される。

３次元の回転Ｒ及び並進Ｔは、夫々、Ｘ軸回り、Ｙ軸回り、Ｚ軸回りの回転θ_x，θ_y，θ_z及びＸ軸方向、Ｙ軸方向、Ｚ軸方向の並進Ｔ_X，Ｔ_Y，Ｔ_Zより成り、夫々、下記［数１０］及び［数１１］のように表される。

前掲の［数９］式は、斉次座標を用いれば下記［数１２］式のように表すことができる。

ここで、Ｍは回転Ｒと並進Ｔを組み合わせた４×４行列であり、下記［数１３］のとおりである。つまり、Ｍはワールド座標に対する姿勢（回転）及び位置（並進）によって決まる行列である。そして、これらの回転及び並進は「カメラの外部パラメータ」と言い、前述のＡを「カメラの内部パラメータ行列」と呼ぶのに対し、Ｍを「カメラの外部パラメータ行列」と呼ぶ。

上記［数８］及び［数１２］により、ワールド座標系における３次元空間の点Ｘは２次元画像上の点ｍに次のように投影される。

上記［数１４］式において、Ｐは下記［数１５］で表される３×４行列である。尚、［数１４］式においては、ワールド座標Ｘ_wがＸで置き直されているが、以後、ワールド座標とカメラ座標に対して記号を区別することなく、ともにＸで表すこととする。

而して、上記［数１４］式で表されるカメラモデルを「透視カメラモデル」と言う。また、Ｐは「透視カメラ行列」と呼び、カメラの内部パラメータ及び外部パラメータによって構成される。従って、Ｐが求まれば、これをＡ、Ｒ、Ｔに分解することができる。そして、Ａ、Ｒ、Ｔが共に既知、即ちＰが既知である場合には、そのカメラは「校正済みである」といい、これらが未知の場合には「カメラが未校正である」という。従って、Ａ、Ｒ、Ｔを求めることを「カメラの校正」と呼ぶ。

上記の「透視カメラモデル」では、カメラ行列ＰがＡ、Ｒ、Ｔで構成されているが、カメラ行列Ｐを３×４行列で一般化して表すと、下記［数１６］のようになる。

上記のＰ_pは下記［数１７］のような３×４行列である。このように一般化された３×４行列で表されたカメラモデルを「射影カメラモデル」と言い、Ｐ_pを「射影カメラ行列」と呼ぶ。

上記［数１７］に示すように、Ｐ_pは３×４行列でその要素の数は１２個である。しかし、上記［数１６］式は斉次座標で表されており、Ｐ_pを定数倍しても全く同じカメラモデルを表すことになるため、その自由度は１２ではなく１１である。而して、「透視カメラ」は、このような「射影カメラ」によって一般化することができる。

次に、図１９に示すように、ワールド座標をＺ＝０の平面に限定すると、上記の３×４行列を、下記［数１８］式のように３×３行列に簡単化することができるが、この３×３行列は一般的な「平面射影変換」（ホモグラフィ）を表す。

ここで、図２０に示すような２つの平面πと平面Πを考えたときに、夫々の平面上の点ｘとｘ'との関係は、下記［数１９］式のように表すことができる。

あるいは、３×３の正則行列（但し、行列式は０ではない）を用いて、下記［数２０］のように表すこともでき、このＨをホモグラフィと言う。

そして、上記の［数２０］は下記［数２１］式のように表すこともできる。

更に、ホモグラフィＨの要素において、各平面で対応する点に対し下記の［数２２］及び［数２３］の２つの線形方程式が得られる。これは、平面上の任意の４点は他の平面上の４点に射影的に変換可能であることを表している。

本発明は、上記のようにホモグラフィを用いて演算してカメラの校正を行うもので、その一実施形態を図１に示す。図１におけるカメラＣＭとしては、３次元空間を２次元画像に投影するカメラであれば、どのような態様であってもよい。この実施形態においては、少なくとも４点の座標情報を含む平面状の校正指標（代表してｃ１で表す）を第１の平面Ｓ１に配置して成る校正指標手段ＣＬと、校正指標ｃ１をその視界内に含むカメラ画像の画像面を第２の平面Ｓ２として入力する画像入力手段ＩＭと、第２の平面Ｓ２上に存在し校正指標ｃ１の所定の部位に対応する点（代表してｃ２で表す）を特定する対応点特定手段ＩＤと、第１の平面Ｓ１と第２の平面Ｓ２に共通して包含される少なくとも４点の対応関係に基づき、第１の平面Ｓ１と第２の平面Ｓ２との間のホモグラフィを演算するホモグラフィ演算手段ＨＭを具備している。

上記の校正指標については、例えば、第１の平面上Ｓ１に特定のマーク及び直線パターンの少なくとも一方を配置して校正指標ｃ１とする態様があり、これらについては図６乃至図８を参照して後述する。また、対応点特定手段ＩＤとしては、例えば、第２の平面Ｓ２上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つによる処理によって、校正指標の所定の部位に対応する点を特定する態様があり、この対応点特定手段ＩＤによって、第２の平面Ｓ２上に存在し校正指標ｃ１の所定の部位に対応する点ｃ２を、自動的に特定することができる。尚、これらについては図３を参照して後述する。

而して、図１に記載のカメラの校正装置において、３次元空間における平面上の配置が既知である４点（ｃ１）を校正指標として使用すれば、対応点特定手段ＩＤによって、夫々に対応する画像中の４点（ｃ２）の対応づけを行うことにより、カメラの外部パラメータが未知であっても、画像中の４点（ｃ２）を、元の３次元空間における平面上の４点（ｃ１）として復元することができる。この場合において、カメラＣＭの設置及び装着状態、例えば、カメラの高さやチルト角等の３次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータは必要とせず、これらは未知でよいので、カメラＣＭの設置及び装着条件が緩和されると共に、２次元画像上の平面（Ｓ２）と３次元空間内の平面（Ｓ１）との間の変換精度が向上することとなる。尚、これについては、図１２を参照して後述する。

本発明のカメラ等は移動体に搭載してもよく、図２に示すように、例えば図１の装置をそのまま車両ＶＨに搭載することができる。更に、図２には、カメラの校正装置を車両に搭載したときの他の実施形態を包含している。即ち、ここでは、少なくとも４点の座標情報を含む平面状の校正指標（代表してｃ１で表す）を第１の平面Ｓ１に配置して成る校正指標手段ＣＬと、破線で示すように、校正指標（ｃ１）をその視界内に含むカメラ画像の画像面を第２の平面Ｓ２’として表示する表示手段ＤＳを備えると共に、この表示手段ＤＳに少なくとも４点の所定のマーカ（代表してｍ１で表す）を重畳表示するマーカ表示手段ＭＫと、このマーカ表示手段ＭＫの位置をカメラＣＭによって撮影される画像座標内で変化させる調整手段ＡＪとを備えている。この場合には、調整手段ＡＪによりマーカｍ１が校正指標（ｃ１）の所定の部位と一致するようにマーカの位置関係を調整し、マーカｍ１が校正指標（ｃ１）と一致したときに、対応点特定手段ＩＤにて、第２の平面Ｓ２’内での第１の平面Ｓ１上の特定部位（ｃ１）と対応する点（マーカｍ１）として特定することとし、ホモグラフィ演算手段ＨＭでは、第１の平面Ｓ１と第２の平面Ｓ２’に共通して包含される少なくとも４点の対応関係に基づき、第１の平面Ｓ１と第２の平面Ｓ２’との間のホモグラフィを演算することとしている。これにより、第２の平面Ｓ２’内での第１の平面Ｓ１上の特定部位（ｃ１）と対応する点（マーカｍ１）を、調整手段ＡＪを手動操作することによって特定することができる。これらの具体的態様については、図９及び図１０を参照して後述する。

更に、上記のカメラの校正装置を車両に搭載し、例えば、車両周辺の状況を把握するための画像表示システム、走路を認識するシステム、障害物を検出するシステム等に適用することができ、その一例として路面走行レーン検出装置に適用した具体的構成例を図３に示す。本実施形態においては、図示しない車両の前方又は後方に、カメラＣＭ（例えばＣＣＤカメラ）が装着されており、路面を含む車両前方の視界が連続して撮像される。カメラＣＭの映像信号は、ビデオ入力バッファ回路ＶＢ、同期分離回路ＳＹを経てＡ／Ｄ変換されフレームメモリＦＭに格納される。このフレームメモリＦＭに格納された画像データは、画像処理部ＶＣで処理される。画像処理部ＶＣは、画像データ制御部ＶＰ、歪曲補正部ＣＰ、対応点特定部ＳＰ、ホモグラフィ演算部ＨＰ、及び認識処理部ＬＰで構成されている。

画像処理部ＶＣにおいては、フレームメモリＦＭ内の画像データから、画像データ制御部ＶＰでアドレス指定されたデータが呼び出されて歪曲補正部ＣＰに送られ、ここで歪曲補正処理が行われる。このように歪曲補正された画像上において、対応点特定部ＳＰにより、予め設定されたＲＯＩ（Region of Interest）と呼ぶウィンドウ（関心領域）の中で、前述の校正指標として機能する校正用ターゲットの座標点に対応する位置が検出される。

校正用ターゲットは、例えば図５に示すように既知の位置に配置され、カメラは所定の公差内で搭載されるので、校正用ターゲットの画像上の位置は概略で定まる。従って、公差の平均値による画像上の位置を基準として、公差の範囲と画像処理のためのマージンを考慮してＲＯＩの位置とサイズが設定される。

尚、校正用ターゲット（画像上の対応点）の検出のためにコーナー検出器（図示せず）を用いることとしてもよい。コーナー検出器としては、画像処理の分野で周知の検出器（例えば、Tomasi-Kanade検出器、ハリス検出器等）を利用することができる。

続いて、ホモグラフィ演算部ＨＰにおいて、下記の［表１］に示すように校正用ターゲットの各４点に対し、画像座標と路面座標の対応づけが行なわれ、この結果が前述の［数１９］式に適用され、ホモグラフィＨが演算される。これにより、一旦ホモグラフィＨが定まれば、下記の４点以外の任意の座標であっても変換可能となる。

そして、認識処理部ＬＰにて、例えば、レーン境界の位置として確からしい直線が選択されて道路境界線として認識され、即ち、走行レーンの境界線が特定され、描画部ＤＰ及び表示コントローラＤＣを介して画像信号が出力されるが、これらの処理は本発明に直接関係するものではないので、詳細な説明は省略する。

次に、校正指標の例として、図４に、駐車支援のためのバックモニタカメラＣＭｒの校正指標に供される校正用ターゲット（代表してＣＴｒで表す）の配置例を示す。また、図５には、前方監視用のカメラＣＭｆの校正指標に供される校正用ターゲット（代表してＣＴｆで表す）の配置例を示す。これらの校正用ターゲットＣＴｆ又はＣＴｒの配置とそのサイズは、それを撮影するカメラの分解能やカメラ画像を取り込んだ画像メモリの分解能によって、画像上の校正用ターゲットの像の大きさが変わるので、画像上での検出、確認が容易になるように設定される。

校正用ターゲットＣＴｆ又はＣＴｒは、本実施形態では、車両の主軸（図４及び図５に一点鎖線で示す）に対して左右対称に配置されている。これらの校正用ターゲットの配置は、原理的には、４点が既知であれば矩形（正方形、長方形）、台形等、任意であり、必ずしも車両の主軸に対して左右対称である必要はないが、図４及び図５においては、分かり易さや作業のし易さを考慮し、説明の簡単化のために矩形としている。但し、校正用ターゲットの４点が既知、即ち、車両を基準とした座標系における校正用ターゲットの４点の座標が正確に分かっていることが必要である。もっとも、自車との相対的な位置関係を問題としない使い方をする場合、例えば、路面のトップビュー画像を表示するが、そのときに、自車がどこにあるかを表示する必要がない場合は、４点の座標が正確に分かっていればよく、自車と校正指標との位置関係は知る必要がない。

尚、実際には図６乃至図８に示すような校正用ターゲット部材が使用される。図６では、平面の路面ＲＳ上の４点が帯状ラインの交点ＣＴｃとなるように構成されている。図７では、平面の路面ＲＳ上の４点が市松模様ＣＴｄとなるように構成されている。更に、図８では、平面の路面ＲＳ上の４点に小さな光源（例えばＬＥＤ光源）ＣＴｅが埋設されている。もっとも、これらは、３次元的に既知の座標情報を有する位置の座標を、カメラ画像で特定し易いという観点から選択されたものであり、カメラ画像での特定が容易であれば、他の校正用ターゲット部材を用いることとしてもよい。

更に、図３においては、校正用ターゲット（画像上の対応点）の検出のためにコーナー検出器（図示せず）を用いることが可能として説明したが、図６のような帯状ラインを用いた校正用ターゲットを使用する場合は、水平及び垂直の境界線を検出し、その交点座標を求めることとしてもよい。また、図８に示すような平面内に埋設された小さな光源ＣＴｅが使用される場合には、画像上での明るい領域を検出し、その重心を求めることとしてもよい。

上記の図３の構成においては、校正用ターゲット上の４点に相当する画像上の位置を自動的に検出する方法に係るものであるが、手動によって検出することも可能である。例えば、画面上に表示したカーソルを校正用ターゲットの位置に合わせその座標を読み取る方法があり、その一例を図１０に示す。ここでは、歪曲補正された画像に表示されている駐車区画白線の四隅の点を利用する構成とされている。そして、図９に示す入力スイッチＳＷの操作によって、画面上でカーソル（図示せず）を移動するように構成されている。この入力スイッチＳＷとしては、特許文献１に記載のように、Ａ乃至Ｃの押しボタンを有し、例えば、Ａの押しボタンによってカーソルの移動方向を変更し、ＢとＣの押しボタンによりカーソルの移動方向に対して順方向又は逆方向に所定の小ステップで、カーソルを上下、左右に移動することができるように構成されている（尚、ＦＣＳ１及びＦＣＳ２は信号端子でＧＮＤは接地端子である）。而して、例えば、図３に示す表示コントローラＤＣからの出力画像信号をモニタディスプレー（図示せず）に映し、そのディスプレーを見ながらカーソルの位置を移動させることができる。

尚、図１０では歪曲補正された画像（従って、図１０の上下の点描部分はカメラ画像ではない）が用いられているが、これに限るものではない。即ち、歪曲補正係数が既知で、歪曲補正後の座標が求まるため、画面上に表示したカーソルを校正用ターゲットの位置に合わせ、その座標を読み取るときに使用する画像は、図１１のような画像そのものを歪曲補正していないものであってもよい。

そして、図１０に示すように歪曲補正された画像から、図１２の上側に示すように、駐車区画の四隅の４点が検出され、それらの４点が元の駐車区画の形状に一致するように、前述のホモグラフィＨによる変換が行われると、図１２の下側に示すように、元の長方形の駐車区画として復元される。

次に、前述のホモグラフィＨにより変換した別の実験例を示す。図１３の左側の画像は、建物を斜め方向から撮影されたもので。その画像の中で、元は長方形であった４点が、図１３の右側に示すように、長方形として復元されるように射影変換されたものである。この実験は、非特許文献５の第１４頁に掲載されているものを用いたもので、図１３は実際の画像を線画として簡単化して図示しており、点描部分は実際の画像ではない。図１３から理解し得るように、建物の窓はもともと矩形であったものであり、画像から窓枠の４点を取得しそれらが長方形として復元されるように変換されている。

同様に、非特許文献５に掲載された画像を用いて実験を行った例を図１４に示す。図１４の上側に示すように、奥行のある画像の中で、斜め方向からの画像となった廊下右側の壁面において元は長方形であった４点が、図１４の下側に示すように、元の長方形として復元されるように射影変換されたものである。

更に、図１５及び図１６は他の実験例を図示したもので、既知のサイズの正方形の集合で作られた市松模様のパターンを撮影し、図１５のカメラ画像に対して歪曲補正を行った後に、射影変換を行ったものである。図１６においても、元は長方形であった４点が、図１６の下側に示すように、長方形として復元されている。上記の各実験において、何れも前述のホモグラフィを用いた演算を行っているが、画像中の任意の４点を別の画像中の任意の４点に変換し得るという原理に基づくものであり、カメラの外部パラメータは一切必要とせず、従って、外部パラメータは用いていない。即ち、カメラの校正を行うときに、カメラの外部パラメータを校正する必要はない。

以上のように、内部パラメータは未知であり（画像の歪曲は補正されているとし）、３次元空間における平面上の配置が既知である任意の４点を校正指標として使用すれば、夫々に対応するカメラ画像中の４点の対応づけを、前述のように手動または自動で行うことにより、カメラの外部パラメータが未知であっても、カメラ画像中の４点を、元の３次元空間における平面上の４点として復元することができる。この場合において、カメラの設置及び装着状態、例えば、カメラの高さやチルト角等の３次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータＲとＴは必要とせず、これらは未知でよいので、カメラの設置及び装着条件が緩和されると共に、２次元画像上の平面と３次元空間内の平面との間の変換精度が向上する。

尚、本発明は、上記のような車両等の移動体に搭載される装置に限定されるものではなく、カメラ画像を用いる種々の装置に適用することができ、カメラの校正を高精度で行うことができる。

本発明の一実施形態に係るカメラの校正装置の主要構成を示すブロック図である。本発明の他の実施形態に係るカメラの校正装置の主要構成を示すブロック図である。本発明の画像処理を路面走行レーン検出装置に適用した一実施形態を示すブロック図である。駐車支援のためのバックモニタカメラの校正指標に供される校正用ターゲットの配置例を示す平面図である。前方監視用のカメラの校正指標に供される校正用ターゲットの配置例を示す平面図である。平面の路面の４点が帯状ラインの交点となるように構成された校正用ターゲット部材を示す平面図である。平面の路面上の４点が市松模様となるように構成された校正用ターゲット部材を示す平面図である。平面の路面上の４点の４点に小光源が埋設された校正用ターゲット部材を示す平面図である。入力スイッチの構成の一例を示す回路図である。校正用ターゲット上の４点に相当する画像上の位置を手動によって検出する状況を示す画像の正面図である。本発明のカメラの校正装置を車両に搭載した一実施形態において、カメラ画像が歪曲している状況を示す画像の正面図である。本発明のカメラの校正装置を車両に搭載した一実施形態において、カメラ画像が上空から見た画像に変換され、駐車区画が検出される状況を示す画像の正面図である。本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した実施形態として、建物の画像に対し射影変換を行った実験結果を示す説明図である。本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した実施形態として、廊下の壁面の画像に対し射影変換を行った実験結果を示す説明図である。本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した一実施形態として、市松模様のパターンを撮影した画像が歪曲している状況を示す画像の正面図である。本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した実施形態として、図１５の画像に対して歪曲補正を行った後に、射影変換を行った実験結果を示す説明図である。一般的なカメラ技術における透視投影を示す説明図である。一般的なカメラ技術におけるカメラ座標とワールド座標の関係を示す説明図である。一般的なカメラ技術における平面射影変換を示す説明図である。一般的なカメラ技術における２つの平面π及び平面Πの平面上の点の関係を示す説明図である。

符号の説明

ＣＭカメラ
ＩＭ画像入力手段
ＨＭホモグラフィ演算手段
ＩＤ対応点特定手段
ＤＳ表示手段
ＭＫマーカ表示手段
ＡＪ調整手段
ＳＹ同期分離回路
ＦＭフレームメモリ
ＶＣ画像処理部

Claims

３次元空間を２次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正方法において、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して、前記校正指標を含む前記カメラ画像の画像面を第２の平面として入力し、前記第２の平面上に存在し前記校正指標の所定の部位に対応する点を特定し、前記第１の平面と前記第２の平面に共通して包含される前記少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算して、カメラ画像を校正することを特徴とするカメラの校正方法。
前記第１の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とすることを特徴とする請求項１記載のカメラの校正方法。
前記第２の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することを特徴とする請求項１記載のカメラの校正方法。
３次元空間を２次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正装置において、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第２の平面として入力する画像入力手段と、前記第２の平面上に存在し前記校正指標の所定の部位に対応する点を特定する対応点特定手段と、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えたことを特徴とするカメラの校正装置。
前記校正指標手段は、前記第１の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とすることを特徴とする請求項４記載のカメラの校正装置。
前記対応点特定手段は、前記第２の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することを特徴とする請求項４記載のカメラの校正装置。
前記カメラ、前記画像入力手段、前記対応点特定手段、及び前記ホモグラフィ演算手段を車両に搭載したことを特徴とする請求項４記載のカメラの校正装置。
３次元空間を２次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正装置において、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第２の平面として表示する表示手段と、該表示手段に所定のマーカを重畳表示するマーカ表示手段と、該マーカ表示手段の位置を前記カメラによって撮影される画像座標内で変化させる調整手段と、該調整手段により前記マーカが前記校正指標の所定の部位と一致するように前記マーカの位置関係を調整し、前記マーカが前記校正指標と一致したときに前記第２の平面内での前記第１の平面上の特定部位と対応する点として特定する対応点特定手段と、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えたことを特徴とするカメラの校正装置。