JP2007122328A - 歪曲収差補正装置及び歪曲収差補正方法 - Google Patents

Abstract

【課題】画像内に被写体距離が異なる複数の被写体が存在している場合にも、画像全体の歪曲収差を高精度で補正することができるようにした歪曲収差補正装置。
【解決手段】撮像した画像を複数の領域に分割する領域分割手段と、前記領域毎に被写体距離を設定する被写体距離設定手段と、前記領域における被写体距離を設定した像の位置を検出する像位置検出手段と、前記被写体距離設定手段により設定した被写体距離と前記像位置検出手段により検出した像位置とに基づいて、歪曲収差補正値を算出する歪曲収差補正値算出手段と、前記歪曲収差補正値算出手段により算出された歪曲収差補正値に基づいて前記画像の歪曲収差を補正する歪曲収差補正手段と、を備えたことを特徴とする。
【選択図】図５

Description

本発明は、レンズの幾何学的歪みである歪曲収差を画像処理により補正する歪曲収差補正装置及び歪曲収差補正方法に関する。

デジタルカメラ等を用いて撮像した画像は、多かれ少なかれレンズの幾何学的歪みである歪曲収差の影響を受け、画像が歪んでしまう。この歪みはレンズの構成により樽形の歪みになったり、糸巻き形の歪みになったり、ときには両方の歪みが組み合わされた陣笠形の歪みになったりする。この歪みを図１に示すが、図１（Ａ）は被写体の図、図１（Ｂ）は樽形の歪みになった図、図１（Ｃ）は糸巻き形の歪みになった図、図１（Ｄ）は陣笠形の歪みになった図である。

これらの歪みは小さければ特に問題がないように見える。しかし、被写体を２台のカメラで撮像して３次元の画像を合成するような画像処理を行うときや、橋梁等の構造物の計時的な変位を計測するような場合には、小さな歪みであっても支障になる。また、歪みが大きい場合には、明らかに見た目上で不自然で違和感のある画像になる。

そこで、この歪みを小さくする方法として二つの方法がある。一つには、レンズが有する歪曲収差自体を小さくするようにレンズを設計する方法であり、もう一つは歪みが生じた画像を画像処理によって補正する方法である。前者の場合には、歪曲収差をかなり小さくすることが可能であるが、高価なレンズになることが多く、そのために撮像装置自体が高価なものになってしまう。後者の場合には、高価なレンズを用いなくてもよいが、従来の方法では前者に較べて充分に歪みを除去することは困難であった。

ここで、樽形の歪曲収差図の一例を図２に示す。図２において、縦軸は歪曲収差（％）で、横軸は画像の中心（光軸）から所定の像の位置迄の距離である像高であり、被写体距離は０．３ｍから１．５ｍ迄表示してある。図２に示す如く、歪曲収差は被写体距離と像高に依存して変化する特性を有している。

そこで、画像処理によって歪曲収差を補正する従来の方法として、キャリブレーション板を撮像して、撮像距離に対応した歪曲収差補正曲線を作成し、この曲線に基づいて計測値を修正する歪曲収差補正方法が知られている（特許文献１，２参照）。

また、魚眼レンズによる樽形歪曲収差を補正するため、画像を複数の区画に区分けし、それぞれの区画毎に歪曲収差を補正する画像システムが知られている（特許文献３，４参照）。
特開２００１−１３３２２３号公報 特開２００１−１３３２２５号公報 特開平８−２３４２７５号公報 特開平８−３０４８１４号公報

上述の特許文献１，２においては、一つの画像内について一つの歪曲収差補正曲線を作成するのみであるので、画像内に被写体距離の異なる複数の被写体が存在している場合には、歪曲収差を精度良く取り除くことができないという問題がある。

また、特許文献３，４においては、区画内に被写体距離の異なる複数の被写体が存在している場合には、歪曲収差を精度良く取り除くことができないという問題がある。

本発明はかかる問題に鑑みてなされたものであり、画像内に被写体距離が異なる複数の被写体が存在している場合にも、被写体毎に歪曲収差を補正することができるようにして、画像全体の歪曲収差を高精度で補正することができるようにした歪曲収差補正装置及び歪曲収差補正方法を提案することを目的とする。

前記目的は、下記に記載した発明により達成される。

本発明の歪曲収差補正装置は、撮像した画像を複数の領域に分割する領域分割手段と、前記領域毎に被写体距離を設定する被写体距離設定手段と、前記領域における被写体距離を設定した像の位置を検出する像位置検出手段と、前記被写体距離設定手段により設定した被写体距離と前記像位置検出手段により検出した像位置とに基づいて、歪曲収差補正値を算出する歪曲収差補正値算出手段と、前記歪曲収差補正値算出手段により算出された歪曲収差補正値に基づいて前記画像の歪曲収差を補正する歪曲収差補正手段と、を備えたことを特徴とする。

また、本発明の歪曲収差補正方法は、撮像した画像を複数の領域に分割する工程と、前記領域毎に被写体距離を設定する工程と、前記領域における被写体距離を設定した像の位置を検出する工程と、設定した被写体距離と検出した像位置とに基づいて、歪曲収差補正値を算出する工程と、算出された歪曲収差補正値に基づいて前記画像の歪曲収差を補正する工程と、を有することを特徴とする。

本発明よれば、画像内に被写体距離が異なる複数の被写体が存在している場合にも、被写体毎に歪曲収差を補正することができるので、画像全体として歪曲収差を高精度に補正することができる。

また、撮像装置には歪曲収差を少なくした高価なレンズを用いる必要がないので、装置が安価になる。

更に、領域毎に歪曲収差の補正パラメータを有するものではないので、大容量の記憶手段を必要としない。

先ず、歪曲収差補正方法の概要を図を参照して説明する。

図３は撮像した画像の一例であって、例えば近距離の被写体Ａ、中距離の被写体Ｂ、遠距離の被写体Ｃが存在している。

このように画像内に被写体距離が異なる複数の人物や物体が存在するとき、一定の被写体距離と一定の像高で図２に示した如き歪曲収差補正曲線に基づいて歪曲収差を補正すると、歪曲収差は被写体距離と像高とによって異なる値になるので、高精度の補正が困難である。そこで、被写体毎に被写体距離と像高を設定して補正すれば、画像全体として高精度に歪曲収差を補正することができる。

図３の場合では、色情報やエッジ抽出等を用いて被写体Ａ，Ｂ，Ｃを自動的に検出し、その検出情報に基づいて図４の如く領域ａ，ｂ，ｃを形成し、複数の領域に分割する。そして、例えば各領域の中心位置の被写体距離を測定すると共に、該中心位置までの像高を検出し、得られた被写体距離と像高に基づいて歪曲収差を補正する。

また、領域ａ，ｂ，ｃを除いた残りの領域ｄについては、予め設定した所定の被写体距離に基づいて歪曲収差を補正する。その被写体距離としては全画像の中で最良に合焦した距離でもよいし、任意の距離でもよい。

なお、領域ａ，ｂ，ｃについて設定する被写体距離としては、領域内の所定の画像位置に対する被写体距離であってもよいし、場合によっては領域内の最至近距離か最遠距離を用いてもよい。

また、領域内の誤差が最小限になるように、その領域内の画像位置に対する距離分布を求め、その距離分布から中間距離を算出し、被写体距離として用いてもよい。この場合、その画像位置を手動で設定してもよいし、画像処理によって求めるようにしてもよい。

更に、形成する領域の形状は、必ずしも図４に示す如き矩形である必要はなく、任意の形状でよい。

その他に、図４においては人物Ａ，Ｂと物体Ｃの双方について領域を形成したが、予め定めた所定の被写体のみを抽出可能にして領域形成してもよい。

被写体距離を測定するための測距手段に関しては、どのような手段を用いてもよいが、例えば格子状の光を被写体に向けて照射して、光の屈折や歪みで被写体距離を測距してもよいし、二つのレンズで被写体光を受光して三角測量の原理で被写体距離を測距してもよい。また、画像の撮像時に格子状の光を照射して撮像と測距を同時に行ってもよいし、本来の撮像の後に格子状の光を照射して測距用の撮像を行ってもよい。更に、測距は領域分割の後に行っても、前に行ってもよい。

また、音や光を照射して被写体で反射して戻って来る時間を測定して被写体距離を求めてもよい。

像高の検出に関しては、画像の中心位置を記憶しておき、画像の中心から領域の中心位置までの画素のずれ量を算出すればよい。

歪曲収差の補正に関しては、図２に示した如き歪曲収差曲線をレンズの設計データから求めるか、所定のチャートを撮像して画像の歪みを実測して求める。そして、歪曲収差曲線をｎ次の多項式等の数式でメモリに記憶しておくか、被写体距離と像高により歪曲収差を求めるテーブルをメモリに記憶しておき、被写体距離と像高をメモリから呼び出した数式かテーブルに当てはめて歪曲収差補正値を算出する。

また、領域内の全ての画素について被写体距離と像高を求め、画素毎に歪曲収差を補正するようにしてもよい。

また、補正する範囲は、領域形成の誤差を想定して、領域より数画素外側の範囲まで行ってもよいし、領域より数画素内側の範囲で行ってもよい。

更に、手動によって所望の領域を形成し、その領域について前述の如く歪曲収差補正を行ってもよい。

次に、図５のフローチャート及び図６のブロック図に基づいて更に詳細に説明する。

撮影時には光源制御手段２２で制御された光源２１より格子状の光や赤外光を被写体に向けて照射して撮像装置１１で撮像を行うと共に、被写体距離を測距する。このとき、撮像装置１１のレンズによっては大きな歪曲収差を有している場合があり（Ｓ１のＹ）、このような場合には後の画像処理が困難になるので、初期補正手段１２にて歪曲収差の初期補正を行う（Ｓ２）。初期補正における被写体距離としては予め設定した所定の被写体距離を用いる。しかし、撮像した際の最良ピントとなる被写体距離でもよいし、任意の被写体距離であってもよい。

次に、被写体検出手段１３で撮像した画像の中から必要な被写体を検出し（Ｓ３）、領域形成手段１４で複数の領域を形成する（Ｓ４）。なお、被写体検出手段１３と領域形成手段１４とを領域分割手段と称す。また、手動で所望の被写体を選択して、領域を形成してもよい。このように複数の領域を形成することにより画像は図４に示すように領域分割される。

次に、各領域毎に歪曲収差の補正回数を設定する（Ｓ５）。これは、距離情報が歪曲収差により誤差を含んでいて、図７に示すように距離情報の算出を繰り返して、歪曲収差の補正を繰り返すことにより誤差が減少し、歪曲収差を高精度に補正することができるからである。但し、歪曲収差の補正を繰り返すことは全体の補正時間が長くなるので、要求する精度に応じて補正回数を設定すればよい。なお、０回ならば、その領域での歪曲収差補正は行わないことになる。

設定した補正回数に達していなければ（Ｓ６のＮ）、測定した被写体距離に基づいて被写体距離設定手段１５にてその領域における被写体距離を設定し（Ｓ７）、像高検出手段１６（像位置検出手段）にてその領域の代表的な位置までの像高を検出する（Ｓ８）。続いて、歪曲収差補正値算出手段１７においては、算出された被写体距離と像高を記憶手段１８から呼び出した歪曲収差曲線の数式やテーブルに当てはめて歪曲収差補正値を算出し（Ｓ９）、歪曲収差補正手段１９にて歪曲収差を補正する（Ｓ１０）。

これを設定した補正回数まで繰り返し、設定した補正回数に達したならば（Ｓ６のＹ）、その領域に関する補正作業は終了する。このようにして形成した全ての領域について歪曲収差の補正を行う。

なお、以上の如く説明した実施の形態においては、画像中心から所定位置までの距離である像高に基づいて歪曲収差を補正したが、必ずしも像高のみで歪曲収差を補正する必要はなく、画像内で画素単位で定めた座標値に基づいて歪曲収差を補正するようにしてもよい。この場合は、座標値を検出する手段も像位置検出手段と称し、被写体距離と座標値とをパラメータにした歪曲収差補正のための数式やテーブルをメモリに記憶する。

歪曲収差が発生した画像の図である。 歪曲収差図である。 撮像した画像の一例である。 画像を領域分割した図である。 本発明を説明するフローチャートである。 本発明を説明するブロック図である。 歪曲収差の補正を繰り返すことにより誤差が減少することを示す図である。

符号の説明

１１ 撮像装置
１２ 初期補正手段
１３ 被写体検出手段
１４ 領域形成手段
１５ 被写体距離設定手段
１６ 像高検出手段
１７ 歪曲収差補正値算出手段
１８ 記憶手段
１９ 歪曲収差補正手段

Claims (16)

1. 撮像した画像を複数の領域に分割する領域分割手段と、
   前記領域毎に被写体距離を設定する被写体距離設定手段と、
   前記領域における被写体距離を設定した像の位置を検出する像位置検出手段と、
   前記被写体距離設定手段により設定した被写体距離と前記像位置検出手段により検出した像位置とに基づいて、歪曲収差補正値を算出する歪曲収差補正値算出手段と、
   前記歪曲収差補正値算出手段により算出された歪曲収差補正値に基づいて前記画像の歪曲収差を補正する歪曲収差補正手段と、
   を備えたことを特徴とする歪曲収差補正装置。
2. 前記像位置検出手段は、前記画像の中心より被写体距離を設定した像の位置までの像高を検出することを特徴とする請求項１に記載の歪曲収差補正装置。
3. 前記像位置検出手段は、画像内で画素単位で定めた座標値を検出することを特徴とする請求項１に記載の歪曲収差補正装置。
4. 所望の領域を手動で形成することが可能なことを特徴とする請求項１〜３の何れか１項に記載の歪曲収差補正装置。
5. 前記領域分割手段により分割した領域以外の領域に関しては、予め設定した所定の撮影距離に基づいた歪曲収差補正値により歪曲収差を補正することを特徴とする請求項１〜４の何れか１項に記載の歪曲収差補正装置。
6. 前記歪曲収差補正手段による歪曲収差補正を複数回繰り返すことを特徴とする請求項１〜５の何れか１項に記載の歪曲収差補正装置。
7. 前記歪曲収差補正手段により歪曲収差を補正する前に予め設定した所定の撮影距離に基づいた歪曲収差補正値により歪曲収差を補正する初期歪曲収差補正手段を設けたことを特徴とする請求項１〜６の何れか１項に記載の歪曲収差補正装置。
8. 前記所定の撮影距離は、前記画像が合焦した撮影距離であることを特徴とする請求項５又は請求項７に記載の歪曲収差補正装置。
9. 撮像した画像を複数の領域に分割する工程と、
   前記領域毎に被写体距離を設定する工程と、
   前記領域における被写体距離を設定した像の位置を検出する工程と、
   設定した被写体距離と検出した像位置とに基づいて、歪曲収差補正値を算出する工程と、
   算出された歪曲収差補正値に基づいて前記画像の歪曲収差を補正する工程と、
   を有することを特徴とする歪曲収差補正方法。
10. 像の位置を検出する工程においては、前記画像の中心より被写体距離を設定した像の位置までの像高を検出することを特徴とする請求項９に記載の歪曲収差補正方法。
11. 像の位置を検出する工程においては、画像内で画素単位で定めた座標値を検出することを特徴とする請求項９に記載の歪曲収差補正方法。
12. 所望の領域を手動で形成する工程を有することを特徴とする請求項９〜１１の何れか１項に記載の歪曲収差補正方法。
13. 分割した領域以外の領域に関しては、予め設定した所定の撮影距離に基づいた歪曲収差補正値により歪曲収差を補正する工程を有することを特徴とする請求項９〜１２の何れか１項に記載の歪曲収差補正方法。
14. 前記歪曲収差を補正する工程を複数回繰り返すことを特徴とする請求項９〜１３の何れか１項に記載の歪曲収差補正方法。
15. 歪曲収差を補正する工程の前に予め設定した所定の撮影距離に基づいた歪曲収差補正値により歪曲収差を補正する初期歪曲収差補正工程を有することを特徴とする請求項９〜１４の何れか１項に記載の歪曲収差補正方法。
16. 前記所定の撮影距離は、前記画像が合焦した撮影距離であることを特徴とする請求項１３又は請求項１５に記載の歪曲収差補正方法。

Images