JP2021111302A - カメラモジュールに基づいて自動的に地面を推定する方法 - Google Patents

Abstract

【課題】カメラキャリブレーションを実施する時、手動で参照点を指定しなければならないので、精度が低くなり地面推定結果に大きな影響を与えてしまう。【解決手段】様々な姿勢のチェッカーボード図を撮影し、カメラの外部と内部パラメータを確定する。その後、前記のカメラの外部と内部パラメータにより、イメージ平面から地面平面への射影変換マトリックスを計算し、自動的に参照点の座標を算出することができる。このため、キャリブレーションの精度を大幅に向上することができる。【選択図】図１

Description

本発明は、カメラモジュールにより自動的に地面を推定する方法に関するものである。

コンピュータビジョンの技術は、インテリジェント運転に広く応用されている。特定のアルゴリズムは、人間の知覚と同じようにコンテキストを識別するために画像のピクセル（画素）を分析するように設計されている。例えば、障害物検知や地面に記されたマークでロケーション（位置を推定）するなどがそうである。カメラビジョンはＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）やＲａｄａｒより機知に富んでおり、人間の視覚感覚により近いものとなっている。障害物検知やビジョンロケーションは、画像（フレーム）のコンテンツを検索して処理している。特徴抽出もまた歩行者や車両検知において全フレームエリアやその特定領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）内を検索して処理する。

ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）は、特徴を抽出するために全空間を検索する。すなわち全フレームで左上隅から右下隅までをくまなく検索する。このため、多数の反復操作が必要となる。もし地面推定のステップを追加すれば、無関係なエリアの検索処理を減らせることができる。また通常、歩行者や自転車、車などは地面上に存在し、空中に存在することはありえない。 逆に信号機やスピード制限看板は地面には存在しない。これらの常識に基づいて検索エリアを制限することができる。言い換えると、地面を推定して地面と地面以外を区別することは障害物検知の重要なステップである。

ＳＬＡＭの応用において、通常はフレーム全体の特徴点を計算する。どの特徴点を抽出するかによって、ロケーションの精度も異なる。

地面を推定する時、特徴点や三次元空間のポイントを抽出してリアルタイムに推定する手法がある。この手法は、連続する前後のフレームの特徴点を抽出してからマッチング（特徴点どうしを照合）し、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムで異常値を排除することにより、高い精度と高い頑健性を保つ推定方法である。しかし、処理時間がかかるためシステムの負担を増やす。また、いくつかの単純なシナリオでは、特徴点抽出が困難なためマッチングの精度が低下する。カメラの高さや姿勢は手動で計測される場合があるが、この場合、高精度に地面を推定することは困難である。

特開２００５−２１７８８３

ステレオ動画像を利用した平面領域抽出による障害物検出 情報処理学会論文誌：コンピュータービジョンとイメージメディアＶＯＬ４５ＸｏＳＩＧ１３（ＣＶＩＭ１０） 関晃仁他 Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ，Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＭＳＲ−ＴＲ−９８−７１，Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ，Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ

従来の地面推定方法は、画像から特徴点や三次元空間のポイントを抽出してリアルタイム的に推定する手法である。しかし、この手法では高精度を保証するために処理時間がかかり、システムの負担を増やすという問題がある。また、いくつかの単純なシナリオでは特徴点が非常に少なくなるため、推定精度が低下するという問題もある。カメラの高さや姿勢は手動で計測される場合があるが、この場合、高精度に地面を推定することは困難である。

この解決策の主要な点はカメラキャリブレーションの段階で高品質なモデルを組み立てることである。前記、非特許文献２のＺｈａｎｇ氏が提案したキャリブレーション法に基づき、カメラの前にチェッカーボード（白黒正方形の市松模様を記した板）を置き、そのチェッカーボードを空間的に様々な姿勢に配置して撮影した画像を用いてカメラの内部パラメータを取得する。次に同じチェッカーボードをチェッカー模様が上になるようにして地面に置いて撮影した画像を用いて、カメラの外部パラメータを計算して、カメラの高さと姿勢を取得する。更に主点（Ｐｒｉｎｃｉｐｌｅ Ｐｏｉｎｔ）を参照して、カメラのロール情報を用いて理想イメージ平面を実イメージ平面に変換し、ピッチ情報を用いて理想イメージ平面を地面イメージ平面に変換する。前記で計算された二つの平面射影変換マトリックスを用いることで、リアルタイムに地面を推定できる。

本特許は、カメラモジュールに基づいて自動的に地面を推定する方法を提供し、以下の特徴を有する。
１．リアルタイムに２Ｄ（２次元）或いは３Ｄ（３次元）の特徴点を抽出する必要がない
２．大量の特徴点を計算する必要がない
３．様々なシーンに適用できて信頼性が高い
４．自動化率が高い

図１は本発明のモジュールのブロック図である。 図２は本発明で用いる座標系を示した説明図である。 図３はカメラの角度αで理想イメージ平面を実イメージ平面に変換する説明図である． 図４はθで理想イメージ平面を実イメージ平面に変換する説明図である。 図５は理想イメージ平面の領域に関する説明図である。 図６は地面平面の４つの頂点を生成し再構築する説明図である。 図７は実際のイメージ平面の４つの頂点を生成する説明図である。

４つのステップに分けて説明する。図１より、このフローはカメラキャリブレーション及び姿勢計算モジュール、地面とイメージ平面の自動生成モジュール、平面射影変換モジュールと鳥瞰図生成モジュールという４つのモジュールで構成されている。

ステップ１：このステップは、カメラキャリブレーションの計算モジュールである。非特許文献２のＺｈａｎｇ氏が提案したキャリブレーション法に基づきキャリブレーションを実行する。

１−１．カメラ前方に空間的に様々な姿勢で配置されたチェッカーボードを撮影し、その画像データを保存する。カメラの視野範囲内にチェッカーボードを収め、チェッカーボード上の正方形が全て映るように画像を撮る。チェッカーボードの正方形の１辺長を測る。これは唯一の手動ステップである。

１−２．チェッカー模様が上になるようにしてチェッカーボードを地面に置いて、一枚の画像を撮る。この時、チェッカーボードは地面と密着させて水平に置く。その後、キャリブレーションのステップにおいて、カメラの内部パラメータを計算する。

１−３．前記１−１、１−２で撮影した画像を利用し、非特許文献２のＺｈａｎｇ氏が提案したキャリブレーションの手法で下記数１に示すカメラの内部パラメータマトリックスを取得する。

上記数１に示すマトリックスにおいて、ｆ_ｘはｘ方向、ｆ_ｙはｙ方向のピクセル単位の焦点距離である。ｋはディストーション（歪み）係数である、Ｃ_ｘはｘ方向、Ｃ_ｙはｙ方向のカメラの中心光軸からの距離である。地面に置いたチェッカーボード図を参考にして、外部パラメータに関する回転マトリックスＲと並進ベクトルＴを求める。固有パラメータの調整は以上で終了である。次にカメラの姿勢を取得するステップに移る。

１−４．カメラの姿勢は上記のＲとＴから算出する。まず、ＲとＴの座標参照系が実際に定義された座標系と一致するかどうかを確認する。不一致の場合、座標系を変換する必要がある。回転マトリックスＲはＺＹＸ（ｏｒ ＸＹＺ）座標系における剛体の回転運動を定義する。図２に示す座標系は右手の法則にしたがうものとする。カメラの光学中心を座標原点として、カメラの水平前方方向をＺ軸として、カメラの高さをｈとする（このｈはＹ軸にある）。またカメラとＺ軸とＹ軸方向との角度がピッチθである、カメラとＺ軸とＸ軸方向の角度がヨー（β）である、カメラとＸ軸とＹ軸方向との角度（Ｚ軸周りの回転角度）がロール（α）である。時計回りをプラスと仮定すれば、ＺＹＸ方向に回転するマトリックスは、下記数２に示す通りである。

１）θ、α、βの最適値は最小二乗法によりこれらの特定方程式を解くことによって得ることができる。βはチェッカーボードとカメラの位置に依存するので、θとαのみ使用する。

２）カメラの高さを算出する時、カメラ座標系に変換できるようにＴ×Ｒ（Ｔは並進ベクトル、Ｒは前記数２の回転マトリックス）の演算が実行され、１×３のベクトルマトリックスが生成される。このベクトルマトリックスはカメラの光学中心から地面までの高さｈを表す。ここまでで、下記ステップに必要なパラメータ、すなわちピッチθ、ロールα、高さｈ、カメラの主点座標（Ｃ_ｘ、Ｃ_ｙ）とカメラの焦点距離（ｆ_ｘ、ｆ_ｙ）が全て算出され、カメラキャリブレーション及び姿勢の計算が完了した。

ステップ２：ここでは、２つのステップに分けて自動的にイメージ平面と地面平面を生成する方法を説明する。

２−１．ロールαを用いて、実際のカメラ姿勢での画像位置を理想的な位置（水平のイメージ平面）に補正する。図３では、カメラ座標系で実際のイメージ平面が時計周りにロール角度αだけ回転して理想的なイメージ平面、すなわち地面に水平に置かれた状態になることを示す。図３の実線の長方形は実際のイメージ平面、破線の長方形は理想的なイメージ平面を示す。カメラ座標系で点の座標を（ｘ、ｙ）、理想イメージ平面座標系での座標を（ｘ’、ｙ’）と仮定する。そして実際の位置から理想的な位置まで、再キャリブレーションによりカメラの光学中心の周りに時計回りに回転させる。

この二つの平面の関係を下記数３で示す。

これより、（ｘ，ｙ）は下記数４となる。

２−２．ピッチ角θとカメラ高さｈを用いて、理想イメージ平面を地面平面に投影する。図４は図２のカメラの実際の位置に関する概略図である。図４でカメラの光学中心（Ｃ）を地面平面に投影した点を座標系の原点とする。右手座標系で、Ｘ軸はカメラの水平右方向、Ｚ軸はカメラの水平前方向である。図４の点Ｃ（Ｏ、ｈ、０）はカメラの光学中心であり、０ｃはカメラの光学中心を

点距離である。地面平面に点Ｐ（Ｘ、Ｙ、Ｚ）があると仮定すると、点Ｐ’（ｘ’，ｙ’）は点Ｐを実際のイメージ平面に投影した点である。カメラ座標系では、下記数５の通りとなる。

前記数５より、下記数６を得る。

これから、下記数８を得る。

２−３．実際のイメージ平面と地面平面に適切な参考点を選択する。実際の平面とイメージ平面に消失点がある影響を考えて、一般的に地面平面はカメラ視野の下方にする。ここで、理想イメージ平面（調整した水平のイメージ平面）に、主点座標Ｏｃ（ｃ_ｘ，ｃ_ｙ）を基準点として、理想イメージ平面上の４つの参考点に基づいた領域が構成される。反時計回りに参考点の座標はＰ’_０（０，ｈｅｉｇｈｔ）、Ｐ’_１（ｗｉｄｔｈ，ｈｅｉｇｈｔ）、Ｐ’_２（ｗｉｄｔｈ，ｃｙ）とＰ’_３（０，ｃｙ）とする。ここで、ｗｉｄｔｈとｈｅｉｇｈｔは画像の幅さと高さである。前記領域を図５に示す。

数４を用いると、実際のイメージ平面内の４つの投影点は、下記数９の通りである。

数８から、上記４点（Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３）に対する地面平面に投影された点は以下の数１０の通りである。

２−４．ここでは、単位変換と地面平面に最終的に投影領域を構築することを述べる。これまでの手順から明らかなように、数９から取得した４つのポイントの単位はピクセル、数８から取

地面平面に投影した領域の四隅を表す。この領域（台形）を図６に示す。この台形領域の高さはａ、下底はｂ、上底ｃの長さは、以下の通り。

図７に示す台形は実際のイメージ平面での投影領域である。この台形は地面平面の図６で示す台形と相似である（スケールファクタはＫ）。すなわち、実際のイメージ平面の下底部の中心点を基準として、スケールファクタＫで図７に示す台形が構成される。実際のイメージ平面上の領域四隅の座標は以下の通りである。
以上で、単位転換が完了した。

ステップ１からステップ２までの処理で、実際のイメージ平面内のポイント集合｛Ｐ_１，Ｐ_２，Ｐ_３，

ステップ３：このステップでは、実際のイメージ平面と地面イメージ平面の領域間の射影行列を計算する。実際のイメージ平面上のポイント集合｛Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４｝と地面イメージ平面上のポイ

イメージ平面と地面イメージ平面の間の射影変換行列である。ステップ１からステップ３までの処理で、カメラモジュールに基づいて地面平面の推定の準備が完了し、最後のステップ４に進む。

ステップ４：このステップでは、最終的に地面平面（鳥瞰図）を生成する。カメラでリアルタイム的に画像を収集し、Ｈｏｍｏｇｅｎｅｏｕｓ行列を用いて実際のイメージ平面から地面イメージ平面に変換する。カメラのハードウェアと姿勢が変わらない限り、このＨｏｍｏｇｅｎｅｏｕｓ行列をそのままカメラで撮影された全ての画像フレームに適用できる。このため、処理時間を短縮することができる。

本発明は、自動車等の移動体に搭載されるカメラのみならず、すべてのカメラのキャリブレーションに利用することができる。

Claims (4)

1. 自動車等の移動体に搭載される撮像手段によって撮影された画像から地面を推定する方法。
   第１のステップは、カメラのキャリブレーションとローテーションの算出
   第２のステップは、イメージ平面と地面平面を確定
   第３のステップは、射影マトリックスを計算
   第４のステップは、鳥瞰図を生成
   の各ステップからなり、地面平面を推定する手段
2. カメラの姿勢（高さと取付角度）を求めるため、回転マトリックスと並進マトリックスを用いて、カメラの高さと取付角度（ピッチ（ｐｉｔｃｈ）、ロール（ｒｏｌｌ））の値を算出する。
   請求項１の第１ステップは、
   第１０のステップで、画像収集を行う
   第１１のステップでカメラの内部パラメータを算出する
   第１２のステップでカメラのローテーション（姿勢）の計算を行う
   の各ステップからなり、カメラの内部パラメータを補正する手段
3. カメラの姿勢情報を用いて、自動的にイメージ平面と地面平面の参照点（リファレンスポイント）を算出し、射影変換マトリックスを算出する。
   請求項１の第２ステップは、
   第２０のステップでイメージ平面を確定
   第２１のステップで地面平面を確定
   第２２のステップでリファレンスポイントで射影エリアを確定
   第２３のステップで単位変換（画素単位（ピクセル（ｐｉｘｅｌ））から距離単位（メートル（ｍ））へ変換）と地面平面を再構築の各ステップからなり、地面平面を確定する手段
4. この手法はカメラ固有に機能や性能に制限はなく、またカメラの撮像素子の種類（ＣＣＤまたはＣＭＯＳなどの）、カメラの周波数（２０Ｈｚ、１００Ｈｚ、５００Ｈｚなど）やカメラの仕様・形態（単眼、ステレオ、トリプルなど）にも関係なく機能する。

Images