JP5223826B2 - カメラの視野範囲の三次元モデル生成方法及び三次元モデル生成プログラム - Google Patents

Description

本発明は、カメラの視野範囲を表す三次元モデルの生成方法，及び、三次元モデルの生成プログラムに関する。

ロボット等に監視カメラ等のカメラを搭載する場合には、設計段階において、カメラの撮影範囲内に所定の対象物が写り込み、且つ、余計な物が写り込まないように、そのレイアウトを検討する必要がある。かかる検討のための手段として、カメラの視野範囲を三次元モデル化し、ロボット等の設置対象物を描いた三次元ＣＡＤシステムの仮想空間上で、上記三次元モデルを表示し、その表示位置を調整する方法が存在する。

従来提案されていたカメラ視野範囲の三次元モデルの例を、図１０に示す。図１０に示されるように、従来のカメラ視野範囲の三次元モデルは、カメラに搭載されている撮像素子の撮像範囲の形状が水平同期方向を長手方向とする矩形であることに対応して、四角錐形状を呈している。これは、従来における三次元ＣＡＤが、カメラレンズの射影特性が中心射影と仮定していることに基づく。

特開2005-135278号公報 特開2007-90481号公報 特開2005-339313号公報

しかしながら、中心射影は、一点から発した光のうちの一本の光速のみが撮像面に入射するピンホールカメラにおいては妥当するものの、一点から発した光のうち対物レンズに入射した同族光線が対物レンズによって一点に結像されるカメラにおいては妥当しない。レンズは、そのレンズ特性に依って定まる各種収差，とりわけ、入射角と像高との関係が適正でないことに起因する歪曲収差を有するからである。例えば、樽型の歪曲収差を有するレンズをカメラに用いた場合、矩形の撮像素子によって撮像される視野範囲の断面形状は、糸巻き型となる。逆に、糸巻き型の歪曲収差を有するレンズをカメラに用いた場合、矩形の撮像素子によって撮像される視野範囲の断面形状は、樽型となる。かかる歪曲収差の程度は、監視カメラ等に用いられる広角レンズや魚眼レンズにおいて大きくなるので、従来の中心射影に基づく三次元モデルによると、監視カメラ等の視野範囲の正確な把握が困難であった。

そこで、本案の課題は、検証対象となるカメラの対物レンズのレンズ特性に応じた形状を有する視野範囲の三次元モデルを、生成することにある。

提案された手段によると、前記撮像範囲の外周形状，撮像範囲と対物レンズとの位置関係，及び、レンズ特性データによって表されたレンズ特性に基づき、前記撮像範囲の外周上の各点に夫々像を結ぶ主光線を発する物体側の各点の位置が夫々算出される。このように算出された前記物体側の各点の位置に基づき、前記物体側の各点及び前記対物レンズの主点を頂点とする多角錐型の三次元モデルが生成される。

検証対象となるカメラの対物レンズのレンズ特性に応じた形状を有する視野範囲の三次元モデルを、生成することができる。

コンピュータのハードウェア構成を示すブロック図 レンズ特性図 レンズ特性図の説明図 レンズ特性図の説明図 プログラムの処理を示すフローチャート 撮像範囲及びその分割点の座標を示す座標図 Ｗ_ｉ面における各値の関係を示す座標図 視野範囲の三次元モデルを表す斜視図 グローバル空間上のロボットの三次元モデルを示す図 バラツキ範囲を示す座標図 バラツキが生じた場合におけるレンズ特性図 従来における視野範囲の三次元モデル及びロボットの三次元モデルを示す図

以下、図面に基づいて、本案の実施の形態を説明する。
＜コンピュータ＞
図１は、視野範囲の三次元データ生成プログラムがインストールされているコンピュータ１のハードウェア構成を示すブロック図である。

図１に示すように、コンピュータ１は、相互にバスＢによって接続されたＣＰＵ１０，ＲＡＭ１１，入力装置１２，ディスプレイ１３及びハードディスク１５を有する一般的なコンピュータである。

ＣＰＵ１０は、ハードディスク１５からプログラムを読み出し、プログラムに従った処理を実行する処理装置である。

ＲＡＭ１１は、ＣＰＵ１０が上記処理をする際に作業領域を展開する主記憶装置である。

入力装置１２は、ＣＰＵ１０に対して各種コマンド又はデータを入力するためのキーボード及びポインティングデバイスである。

ディスプレイ１３は、ＣＰＵ１０による処理結果を表示するための表示装置である。

ハードディスク１５は、各種プログラム及び各種データを格納する固体記憶媒体である。このハードディスク１５が格納している各種プログラムには、カメラ視野範囲の三次元モデル生成プログラムを含むＣＡＤプログラム１６が、含まれている。また、このハードディスク１５が格納している各種データには、検証対象であるカメラに内蔵された撮像素子の撮像範囲の外周形状，及び、撮像範囲と対物レンズとの位置関係を表す撮像素子データ１８及び対物レンズのレンズ特性データ１７が、含まれている。

図２は、レンズ特性データ１７の内容を論理的に示すグラフである。レンズ特性データ１７は、対物レンズの主点へ入射する主光線の入射角と像面（焦点面）における像高との
関係（歪曲収差）を規定するデータであり、両者間の関係を規定した関数，若しくは、入射角のサンプリング値に対して像高を規定したテーブルである。

ここで、歪曲収差につき、図３を参照して説明する。図３は、図４に示すように歪曲収差を生じていない理想的なレンズＫにおける光線の進行を示すので、無限遠に在る一点から発した同族光線の主光線は、レンズＫの主点を通って、真っ直ぐに像面（焦点面）まで進む。よって、像高ｙは、入射角をθ，焦点距離をｆとすると
ｙ＝ｆ・tanθ
となる。従って、レンズ特性データ１７は、タンジェントカーブを描く。そして、レンズ特性データ１７を示すカーブは、糸巻き型の歪曲収差が生じている場合には、タンジェントカーブよりも上方に湾曲し、樽型の歪曲収差が生じている場合には、タンジェントカーブよりも下方に湾曲する。よって、図２に示すレンズ特性データ１７は、樽型の歪曲収差が生じているレンズのレンズ特性データ１７である。

撮像素子データ１８は、対物レンズのレンズ厚が“０”であると仮定した場合の主点位置Ｏを原点とし、光軸をＺ軸、撮像素子の水平同期方向及び垂直同期方向を夫々Ｘ軸，Ｙ軸とするローカル座標系において、撮影範囲の形状Ｒ及び撮像範囲と対物レンズの主点位置Ｏとの位置関係を定義する座標データである。撮像素子データ１８における撮影範囲の形状Ｒは、撮像素子のサイズや画角から決めることができる。形状Ｒは、対物レンズの光軸を中心とした位置関係にあると、定義されている。また、光軸中心Ｃと主点位置Ｏとは、共に光軸上に存在するので、その相対位置関係は、光軸の位置と対物レンズの焦点距離とによって定義されている。

なお、撮像素子データ１８は、対物レンズの主点位置Ｏ以外の点を原点とするローカル座標上で、定義されても良い。その場合、形状Ｒの位置を定義する基準となる光軸中心Ｃは、カメラのキャリブレーションによって決定することができる。

また、ＲＡＭ１１上には、ＣＰＵ１０がＣＡＤプログラム１６を実行することにより、計算の途中結果を一時的に記憶するための一事記憶テーブル１８が形成される。
＜ＣＡＤプログラム＞
図５のフローチャートは、ＣＡＤプログラム１６による処理のうち、カメラ視野範囲の三次元モデル生成プログラムに相当するモジュールが実行する処理を示す。

図５に示す処理は、ＣＡＤプログラム１６を実行しているＣＰＵ１０に対して、オペレータが入力装置１２を通じて所定のコマンドを入力することにより、スタートする。

スタート後最初のＳ０１では、ＣＰＵ１０は、予めハードディスク１５に格納してあったレンズ特性データ１７及び撮像素子データ１８を読み込む。なお、これらレンズ特性データ１７及び撮像素子データ１８は、他の記憶媒体からＣＰＵ１９によって読み込まれても良いし、入力装置１２を通じてオペレータによって手入力されても良い（入力手段に相当）。

次のＳ０２では、ＣＰＵ１０は、撮像範囲の外周の分割数Ｎ，及び、視野範囲の三次元モデルの奥行き（主点Ｏからの距離）Ｔの入力を、ディスプレイ１３を通じてオペレータに促し、入力装置１２を通じて入力されたＮ及びＴを、一時記憶テーブル１８に記憶する。

次のＳ０３では、ＣＰＵ１０は、Ｓ０１にて入力された撮像素子データ１８に定義された形状Ｒの外周を、Ｓ０２にて入力された分割数Ｎの切片に分割し、各分割点Ｐ_ｉの位置を夫々算出する。図６は、アスペクト比がほぼ３：２である撮像範囲の形状Ｒを、分割数
Ｎ＝２０にて分割した場合における各分割点（黒丸）Ｐ_１〜Ｐ_２０の位置を示すＸ−Ｙ座標図である。

次のＳ０４では、ＣＰＵ１０は、各点Ｐ_ｉについて、光軸中心Ｃまでの距離Ｈ_ｉを算出する。

次のＳ０５では、ＣＰＵ１０は、Ｓ０４にて算出した各Ｈ_ｉについて、Ｓ０１にて入力したレンズ特性データ１７から、像高がＨ_ｉとなる入射角Ａ_ｉを読み出す。

次のＳ０６では、ＣＰＵ１０は、各ｉ＝１〜Ｎについて、点Ｐ_ｉ，光軸中心Ｃ及び主点位置Ｏを含む平面Ｗ_ｉ上において、主点位置Ｏにおいて光軸ｌと角度Ａにて交わる直線Ｌ_ｉを求め、この直線Ｌ_ｉ上において主点位置Ｏからの距離がＴとなる物体側の点Ｓ_ｉを、計算する（図７）。

次のＳ０７では、ＣＰＵ１０は、各ｉ＝１〜Ｎについて、Ｓ０６にて求めた平面Ｗ_ｉ上における点Ｓ_ｉの位置，及び、平面Ｗ_ｉがＸ−Ｚ平面に対してなす角度φ_ｉに基づいて、ローカル空間における点Ｓ_ｉの座標値を算出する。ローカル空間とは、上記ローカル座標系により定義される仮想空間である。以上説明したＳ０４〜Ｓ０７を実行するＣＰＵ１０が、撮像範囲の外周上の各点に夫々像を結ぶ主光線を発する物体側の各点の位置を夫々算出する算出手段に、相当する。

次のＳ０８では、ＣＰＵ１０は、各ｉ＝１〜Ｎについて、三角形ＯＳ_ｉＳ_ｉ−１をローカル空間内に表示させる図形データ（三角形データ）を、作成する（図８）。

次のＳ０９では、ＣＰＵ１０は、各ｉ＝１〜ＮについてＳ０８にて作成した全三角形データを同一のローカル空間内で合成することにより、カメラ視野範囲の三次元モデルを生成する（三次元モデル生成手段に相当）。図８は、図６に示す撮像範囲の形状Ｒ，及び図２に示すレンズ特性に基づいて生成されたカメラ視野範囲の三次元モデルＦの形状を示す図である。

次のＳ１０では、ＣＰＵ１０は、上記カメラの設置対象物（ロボット等）についての三次元モデルが別途作成されるグローバル空間における、レンズ主点Ｏを配置すべき位置，光軸を向けるべきの方向の入力を、ディスプレイ１３を通じてオペレータに促す。

次のＳ１１では、ＣＰＵ１０は、Ｓ１０にて作成されたカメラ視野範囲の三次元モデルを、レンズ主点Ｏを配置すべき位置及び光軸を向けるべき方向に基づいて、グローバル空間内に配置する。このとき、ＣＰＵ１０は、レンズ主点Ｏを配置すべき位置に、カメラ視野範囲の三次元モデルにおけるレンズ主点Ｏを配置し、光軸を向けるべき方向に、カメラ視野範囲の三次元モデルの中心軸を向ける。

次のＳ１２では、ＣＰＵ１０は、Ｓ１１での処理結果として得られた三次元ＣＡＤデータを、ディスプレイ１３上に表示する。例えば、カメラの設置対象物がロボットである場合には、図９に示すように、内蔵されたカメラの視野範囲が三次元モデルとして表されたロボット全体の三次元モデルが、ディスプレイ１３上に表示される。

その後、処理はＳ１０に戻されるので、オペレータは、レンズ主点Ｏを配置すべき位置及び光軸を向けるべき方向を、適宜調整して入力することにより、ディスプレイ１３上に表示されているカメラ視野範囲の三次元モデルの方向及び位置を調整することができる。

以上の処理を繰り返すことにより、オペレータは、所定の対象物が写り込むとともに余
計な物が写り込まない適切なカメラのレイアウトを、探すことができる。
＜作用＞
以上に説明した本実施形態によれば、歪曲収差が生じているレンズや魚眼レンズ等の視野範囲を、正確に三次元モデル化することができる。

そして、オペレータは、生成した視野範囲の三次元モデルを用いて、カメラの設置対象物における他部品との干渉をチェックすることで、視野範囲内に他部品が写り込まないかどうかを、確認することができる。また、他部品と干渉しないためのカメラ位置を、事前に計算することができる。
＜変形例１＞
カメラを組み込んだ製品を量産する場合、不可避的に、レンズ特性やカメラの取り付け位置にバラツキが生じ得る。バラツキの種類としては、例えば、レンズのバラツキに因るレンズ特性のバラツキ，レンズと撮像素子の位置関係のバラツキ，カメラの取り付け位置のバラツキ（公差）等が、考えられる。図１０は、対物レンズＫの取り付け位置がＸ方向及びＹ方向に夫々シフトする状態を示している。このように対物レンズＫの取り付け位置がバラツキによりシフトした場合、光軸が傾く場合と同様に、視野範囲が傾くこととなる。

バラツキが個々の製品に生じても、カメラに所定の対象物が写り込み且つ余計な物が写り込まないことを保障するには、バラツキに因る視野範囲の変動を予め反映すべく、三次元モデルの断面サイズを、バラツキに因る変動幅分、全体的に拡大又は縮小すれば良い。

例えば、バラツキとして光軸の傾きや取り付け角度の誤差を考慮する場合、設計上の光軸の方向から実際の光軸が±αだけバラつくと想定できるならば、Ｓ０５にてレンズ特性データ１７に基づいて算出した各入射角Ａ_ｉを、全体的に＋α度シフトさせる。結果として、図１１に示すように、レンズ特性データ１７を、＋α度シフトしたことと等価となる。

そして、シフト後の各入射角に基づいてＳ０６以下の処理が実行されることにより、全方向に＋α度拡がった視野範囲の３次元モデルが生成される。オペレータは、この３次元モデルが配置されたＣＡＤデータを用いてカメラ配置を検討することにより、バラツキが生じてもカメラの視野範囲内に余計なものが写り込まないカメラのレイアウトを、探すことができる。

また、Ｓ０５にてレンズ特性データ１７に基づいて算出した各入射角Ａ_ｉを、全体的に−α度だけシフトさせれば、全方向に−α度狭まった視野範囲の３次元モデルが生成される。オペレータは、この３次元モデルが配置されたＣＡＤデータを用いてカメラ配置を検討することにより、バラツキが生じてもカメラの視野範囲内に対象物が確実に写り込むカメラのレイアウトを、探すことができる。

以上のようにして生成されるＣＡＤデータに基づく検討を順次行うことにより、オペー他は、適切な、カメラレイアウトの設計を行うことができる。
＜変形例２＞
なお、視野範囲の３次元モデルが複雑な形状を持つ場合、描画や干渉チェックを高速にするため、生成されるべき視野範囲の３次元モデルに内接する四角錐と外接する四角錐とを生成しても良い。その場合、オペレータは、内接する四角錐に対象物が確実に入り、外接する四角錐に余計なものが干渉しないカメラのレイアウトを、探せば良い。

１ コンピュータ
１０ ＣＰＵ
１２ 入力装置
１５ ハードディスク
１６ ＣＡＤプログラム
１７ レンズ特性データ
１８ 撮像素子データ

Claims (5)

1. 撮像装置及び対物レンズを有するカメラの視野範囲の三次元モデルの生成方法であって、
   前記撮像装置の撮像面における撮像範囲の外周形状，前記撮像範囲と前記対物レンズとの位置関係，及び、前記対物レンズのレンズ特性を表すレンズ特性データを、夫々コンピュータに入力し、
   前記コンピュータが、
   前記撮像範囲の外周形状，前記撮像範囲と前記対物レンズとの位置関係，及び、前記レンズ特性データによって表されたレンズ特性に基づき、前記撮像範囲の外周上の各点に夫々像を結ぶ主光線を発する物体側の各点の位置を夫々算出し、
   算出された前記物体側の各点の位置に基づき、前記物体側の各点及び前記対物レンズの主点を頂点とする多角錐型の三次元モデルを生成する
   ことを特徴とするカメラの視野範囲の三次元モデル生成方法。
2. 撮像装置及び対物レンズを有するカメラの視野範囲の三次元モデルの生成プログラムであって、コンピュータを、
   前記撮像装置の撮像面における撮像範囲の外周形状，前記撮像範囲と前記対物レンズとの位置関係，及び、前記対物レンズのレンズ特性を表すレンズ特性データの入力を受け付ける入力手段，
   前記撮像素子データに定義された前記撮像範囲の外周形状，前記撮像範囲と前記対物レンズとの位置関係，及び、前記レンズ特性データによって表されたレンズ特性に基づき、前記撮像範囲の外周上の各点に夫々像を結ぶ主光線を発する物体側の各点の位置を夫々算出する算出手段，及び、
   前記算出手段によって算出された前記物体側の各点の位置に基づき、前記物体側の各点及び前記対物レンズの主点を頂点とする多角錐型の３次元モデルを生成する三次元モデル生成手段
   として機能させるカメラの視野範囲の三次元モデル生成プログラム。
3. 前記算出手段は、
   前記撮像素子データに定義された前記撮像範囲の外周上に複数の点を設定し、
   前記外周上の各点の位置，及び、撮像範囲と対物レンズとの位置関係，並びに、対物レンズのレンズ特性に基づき、前記外周上の各点に像を結ぶ主光線を発する物体側の点の位置を算出する
   ことを特徴とする請求項２記載のカメラの視野範囲の三次元モデル生成プログラム。
4. 前記レンズ特性データは、前記対物レンズの主点に対する主光線の入射角と該主光線による前記対物レンズの像面における像高との関係を定義するデータであり、
   前記撮像素子データに定義されている前記撮像範囲と前記対物レンズとの位置関係は、前記撮像範囲が前記対物レンズの光軸を中心として配置されている関係，及び、前記撮像範囲の光軸中心と前記対物レンズの主点との間の距離であり、
   前記算出手段は、前記外周上の各点について、光軸から当該点までの距離と一致する像高に対応した入射角を前記レンズ特性データから読み出すとともに、光軸を中心とした当該点の方向を特定し、読み出した入射角及び特定した方向に基づいて当該点に像を結ぶ主光線を特定し、当該主光線上における前記対物レンズの主点から所定距離の位置を、当該点に対応した物体側の点の位置として算出する
   ことを特徴とする請求項３記載のカメラの視野範囲にの三次元モデル生成プログラム。
5. 前記３次元モデル生成手段は、前記算出手段によって算出された前記物体側の各点の位を前記対物レンズの光軸に対して所定量シフトさせた各点及び前記対物レンズの主点を頂
   点とする多角錐型の３次元モデルを生成する
   ことを特徴とする請求項２記載のカメラの視野範囲にの三次元モデル生成プログラム。

Images