JP4664259B2 - 画像補正装置および画像補正方法 - Google Patents

画像補正装置および画像補正方法 Download PDF

Info

Publication number
JP4664259B2
JP4664259B2 JP2006244308A JP2006244308A JP4664259B2 JP 4664259 B2 JP4664259 B2 JP 4664259B2 JP 2006244308 A JP2006244308 A JP 2006244308A JP 2006244308 A JP2006244308 A JP 2006244308A JP 4664259 B2 JP4664259 B2 JP 4664259B2
Authority
JP
Japan
Prior art keywords
image
distortion
pixel
distance
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006244308A
Other languages
English (en)
Other versions
JP2008067176A (ja
Inventor
隆明 坂口
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006244308A priority Critical patent/JP4664259B2/ja
Publication of JP2008067176A publication Critical patent/JP2008067176A/ja
Application granted granted Critical
Publication of JP4664259B2 publication Critical patent/JP4664259B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

この発明は、撮像装置によって得られた映像信号に対し、その撮像に用いられたレンズによる歪曲収差(ディストーション)を補正する画像補正技術に関するものである。
レンズと撮像部からなる撮像装置においては、レンズ収差の影響により画像が幾何学的に歪むという現象が知られている。これは、収差の影響により結像位置がずれることが原因である。
この画像の歪み(ディストーション)を補正するために、一般には、各画素位置の像高に応じた歪み特性をもとに、画像を補正することが行われている。
例えば、特開2005-286482号公報に開示されている歪曲補正装置では、歪み特性データをディストーションメモリに保持し、注目画素の像高に対して近傍の4点を3次式で近似し、歪み特性を算出している。その際、ディストーションメモリには、レンズのズーム位置又はフォーカス位置によって、複数個の特性が保持されている。
また、特開2004-336106号公報に開示されている収差補正方法では、色収差および歪曲収差データに基づき画素位置毎に補正ベクトルを算出し、拡大または縮小処理を行っている。
また、特開2003-37769号公報に開示されている歪曲収差補正装置では、垂直方向の歪み特性を用いて、水平方向の補正比率を変更し、不自然な歪曲を解消している。
特開2005-286482号公報 特開2004-336106号公報 特開2003-37769号公報
しかしながら、このような従来の歪曲補正方法では、図2、図3に示すように、歪み特性を元に画像の拡大、縮小を行うことにより、画像の領域外に移動する画素や、取得画像内に存在しない画素を参照してしまう画素が存在する。このため、画像を拡大して補正する場合、画像の画角が変わってしまうという問題点や、一方、画像を縮小して補正する場合には、補正できない画素が存在するという問題点がある。
したがって、この発明は、歪み特性を用いて画像を拡大縮小する場合に、画角を維持する画像補正方法および画像補正装置の提供を目的としている。
この発明に係る画像補正装置は、
レンズを介して撮像素子に結像された画像を画像データ信号として取り出した際に、レンズの収差による歪みを補正する画像補正装置において、画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント部と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか1つに応じて、算出した距離を変換する距離算出部と、画像データを保持する画像メモリと、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出部と、歪み量をもとに画像の歪みを補正する歪み補正部とを具備する。
また、この発明に係る画像補正方法は、
レンズを介して撮像素子に結像された画像の画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント工程と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか1つに応じて、算出した距離を変換する距離算出工程と、画像データを画像メモリに保持する保持工程と、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出工程と、画像メモリに保持された画像データを読み出し歪み量をもとに画像の歪みを補正する歪み補正工程とを具備する。

この発明に係る画像補正方法又は画像補正装置では、注目画素の座標位置と光軸中心位置との距離を算出し、この距離をもとに算出したレンズの収差による歪み特性を用いて注目画素における実際の結像位置を算出することで歪み補正を行うことにより画像の画角を変えず、画像縮小による補正も場合でも補正できない画素を無くすることができる効果がある。
実施の形態1.
図1はこの発明の実施の形態1による画像補正装置を示す構成図である。図1において、画像補正装置は、画素カウント部1、距離算出部2、歪み量算出テーブル3、歪み量算出部4、画像バッファ部5、歪み補正部6から構成されている。
次に、動作について説明する。
画素カウント部1は、撮像素子から出力される水平同期信号および垂直同期信号をカウントすることにより、画像信号の水平座標Xおよび垂直座標Yを算出する。
距離算出部2は、画像信号の座標値(X,Y)と、撮像画像内における、光軸中心座標(Xc,Yc)との距離Rを式(1)により算出する。
Figure 0004664259
歪み量算出テーブル3は、歪みのない理想的な結像位置の距離rと実際の結像位置の距離Rを用いて、以下の式(2)で表される歪み特性αを離散的に保持している。
Figure 0004664259
この歪み特性は、図2のような樽型ひずみの場合、図4に示すような1.0以下の特性値となり、一方、図3のような糸巻き型ひずみの場合、図5に示すような1.0以上の特性値となる。
歪み量算出部4は、歪み量算出テーブル3を用いて、注目画素の光軸中心からの距離Rにおける歪み量αを算出する。歪み量算出テーブル3は、距離Rに対して離散的なデータのため、近傍の2点Rn、Rn+1における歪み特性αn、αn+1を用いて、以下の式(3)より算出する。
Figure 0004664259
画像バッファ部5は、画像データ信号を一時的に記憶しておき、歪み補正部6からデータの参照を受ける。
歪み補正部6は、歪み量算出部4で算出された歪み特性αをもとに、画像バッファ部5に一時的に記憶された画像データ信号の補正を行う。注目画素の像は、図6に示すように、中心からの距離がαRの位置に結像されるため、補正後の結像位置(X',Y')は以下の式(4)で表される。
Figure 0004664259
画像データは離散的に分布しているため、近傍4点を用いて結像位置(X',Y')における画像データを求める。近傍4点の画像データをI(xn,yn)、I(xn,yn+1)、I(xn,yn+1)、I(xn+1,yn+1)とすると、距離の重み付けを用いて以下の式(5)ように表される。
Figure 0004664259
また、距離算出部2において、算出した距離をレンズのズーム位置、フォーカス位置、絞り量に応じてN次多項式により変換する構成とすることにより、歪み量算出テーブル3を変更することなく、補正を行うことができる。
以上のように、この発明の実施の形態1による画像補正方法では、注目画素の座標位置と光軸中心位置との距離を算出し、この距離をもとに算出したレンズの収差による歪み特性を用いて注目画素における実際の結像位置を算出することで歪み補正を行うことにより歪み補正を行うことができる効果がある。
実施の形態2.
この実施の形態2では、歪み特性が図2で示されるような樽型歪みの場合、その樽型歪みを補正する方法について説明する。この実施の形態2では、歪み補正部6の動作が上記実施の形態1と異なる。
樽型歪みの場合、歪み特性値が1.0以下のため、通常の補正では、拡大処理となる。したがって、歪み補正部6では、光軸中心を通る水平、垂直方向の画角を保持するように、歪み補正を行う。つまり、距離Rx(=X-Xc)における歪み特性をαx、距離Ry(=Y-Yc)における歪み特性をαyとし、補正後の結像位置(X',Y')を以下の式(6)で求める。
Figure 0004664259
したがって、実施の形態1と同様に、近傍4点を用いて結像位置(X',Y')における画像データを求め、歪み補正を行う。
以上のように、この発明の実施の形態2による画像補正方法では、実施の形態1に示した構成を変えることなく、光軸中心を通る水平、垂直方向の歪み特性で、注目画素の歪み特性を補正することにより、水平、垂直方向の画角を維持し、歪み補正を行うことができる効果がある。
実施の形態3.
この実施の形態3では、歪み特性が図3で示されるような糸巻き型歪みの場合、その糸巻き型歪みを補正する方法について説明する。この実施の形態3では、歪み補正部6の動作が上記実施の形態1と異なる。
糸巻き型歪みの場合、歪み特性値が1.0以上のため、通常の補正では、縮小処理となる。しかし、画像周辺部では、参照する画素が画像の領域外にあるため、画像データを算出することができない。また、光軸中心から対角方向に最も距離の大きい画素において、歪み特性が最大となる。
したがって、歪み補正部6では、対角方向の画角を基準にして、歪み補正を行う。つまり、画像内における、光軸中心からの距離の最大値をRmaxとすると、以下の式(7)を用いて、歪み補正量α'が1以下となるよう、変換を行う。
Figure 0004664259
この歪み補正量α'を用いて、補正後の結像位置(X',Y')を以下の式(8)により求める。
Figure 0004664259
したがって、実施の形態1と同様に、近傍4点を用いて結像位置(X',Y')における画像データを求め、歪み補正を行う。
以上のように、この発明の実施の形態3による画像補正方法では、実施の形態1に示した構成を変えることなく、光軸中心から距離の最も大きい画素の歪み補正量が1となるよう、歪み特性を変換することにより、撮像画像内の画素から、歪み補正を行うことができる効果がある。
実施の形態4.
この実施の形態4では、実施の形態1〜3で述べた、歪み量算出テーブル3を用いることなく、歪み量をN次多項式で近似することにより、歪み量を算出する場合について説明する。
以下、近似式を2次の多項式として説明する。
図7は、この発明の実施の形態4による画像補正装置を示す構成図である。図7において、画像補正装置は、画素カウント部1、距離算出部2、歪み量算出部4、画像バッファ部5、歪み補正部6から構成されている。
この実施の形態4では、歪み量算出部4の動作が上記実施の形態1とは異なる。
歪み量算出部4では、光軸中心からの距離Rにおける画素の歪み特性αを以下の式(9)に示す2次式を用いて算出する。
Figure 0004664259
したがって、実施の形態1と同様に、結像位置(X',Y')を求め、近傍4点を用いて結像位置(X',Y')における画像データを求め、歪み補正を行う。
以上のように、この発明の実施の形態4による画像補正方法では、歪み量算出テーブルを用いることなく、近似式を用いて歪み補正を行うことにより、メモリの削減を行うことができる効果がある。また、レンズのズーム位置、フォーカス位置、絞り量に応じて近似式の係数を変更することで、歪み補正を行うことができる効果がある。
実施の形態5.
図8はこの発明の実施の形態5による画像補正装置を示す構成図である。図8において、画像補正装置は、画素カウント部1、距離算出部2、歪み量算出部4、画像バッファ部5、歪み補正部6、画像分割部7、画像メモリ部8から構成されている。
この実施の形態5では、画像メモリ部8および画像分割部7の動作が、上記実施の形態1とは異なる。
画像メモリ部8は、撮像装置から得られた画像データを記憶する構成要素である。
画像分割部7は、画像メモリ部8から画像データを切り出し、画像データを画像バッファ部5へ、画像データの水平、垂直方向の同期信号を画素カウント部1へ出力する。その際、画像分割部7では、歪み特性に基づき画像の分割を行う。光軸中心から垂直方向に離れた画素ほど垂直方向の歪みが大きく、また、水平方向に離れた画素ほど、水平方向の歪みが大きくなる。このため、図9に示すように、垂直方向の歪みが大きいブロックでは垂直方向に、水平方向の歪みが大きいブロックでは水平方向に画像を分割する。
以上のように、この発明の実施の形態5による画像補正装置では、歪み量に基づき画像データを適応的に分割することにより、画像バッファ部5の容量削減を行うことができる効果がある。
この発明に係る画像補正方法および画像補正装置は静止画又は動画を撮像するような撮像装置、また撮像装置によって撮像されて得られた映像信号をデジタル信号として記録する装置等に適用可能である。
この発明の実施の形態1による画像補正装置を示す構成図である。 樽型歪み特性の場合の画像拡大による歪曲補正法の説明図である。 糸巻き型歪み特性の場合の画像縮小による歪曲補正法の説明図である。 樽型ひずみの場合のひずみ特性図である。 糸巻き型ひずみの場合ひずみ特性図である。 歪み特性による歪み補正部における歪み補正の説明図である。 この発明の実施の形態4による画像補正装置を示す構成図である。 この発明の実施の形態5による画像補正装置を示す構成図である。 実施の形態5における画像分割部の画像分割方法の説明図である。
符号の説明
1;画素カウント部、2;距離算出部、3;歪み量算出テーブル、4;歪み量算出部、5;画像バッファ部、6;歪み補正部、7;画像分割部、8;画像メモリ部。

Claims (7)

  1. レンズを介して撮像素子に結像された画像を画像データ信号として取り出した際に、レンズの収差による歪みを補正する画像補正装置において、画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント部と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか1つに応じて、算出した距離を変換する距離算出部と、画像データを保持する画像バッファ部と、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出部と、歪み量をもとに画像の歪みを補正する歪み補正部とを具備することを特徴とする画像補正装置。
  2. 前記歪み量算出部は、各距離に対する歪み量を多項式として近似した式をもとに、歪み量を算出する構成にされたことを特徴とする請求項1記載の画像補正装置。
  3. 前記歪み量算出部は、各距離に対する歪み量を記録した歪み量算出テーブルをもとに、歪み量を算出する構成にされたことを特徴とする請求項1記載の画像補正装置。
  4. 前記歪み補正部は、各画素の光軸中心を通る水平方向、および垂直方向の歪み量をもとに、各画素の歪み量を補正し、画像の歪みを補正することを特徴とする請求項1〜3の何れか1項に記載の画像補正装置。
  5. 前記歪み補正部は、光軸中心と最も距離の大きい画素における歪み量をもとに、各画素の歪み量を補正し、画像の歪みを補正する構成にされたことを特徴とする請求項1〜3の何れか1項に記載の画像補正装置。
  6. レンズを介して撮像素子に結像された画像の画像データを記憶する画像メモリ部と、歪み量を参照して画像メモリ部から画像データを切り出し、画像データを画像バッファ部に、画像データの水平、垂直方向の同期信号を画素カウント部へ出力する画像分割部をさらに備えたことを特徴とする請求項1〜5の何れか1項に記載の画像補正装置。
  7. レンズを介して撮像素子に結像された画像を画像データ信号として取り出した際に、レンズの収差による歪みを補正する画像補正方法において、画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント工程と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか1つに応じて、算出した距離を変換する距離算出工程と、画像データを画像バッファ部に保持する保持工程と、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出工程と、画像バッファ部に保持された画像データを読み出し歪み量をもとに画像の歪みを補正する歪み補正工程とを具備することを特徴とする画像補正方法。
JP2006244308A 2006-09-08 2006-09-08 画像補正装置および画像補正方法 Expired - Fee Related JP4664259B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006244308A JP4664259B2 (ja) 2006-09-08 2006-09-08 画像補正装置および画像補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006244308A JP4664259B2 (ja) 2006-09-08 2006-09-08 画像補正装置および画像補正方法

Publications (2)

Publication Number Publication Date
JP2008067176A JP2008067176A (ja) 2008-03-21
JP4664259B2 true JP4664259B2 (ja) 2011-04-06

Family

ID=39289460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006244308A Expired - Fee Related JP4664259B2 (ja) 2006-09-08 2006-09-08 画像補正装置および画像補正方法

Country Status (1)

Country Link
JP (1) JP4664259B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976843B1 (ko) * 2017-09-20 2019-05-15 주식회사 쓰리아이 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기
US11741584B2 (en) * 2018-11-13 2023-08-29 Genesys Logic, Inc. Method for correcting an image and device thereof
JP7236636B2 (ja) * 2019-04-19 2023-03-10 パナソニックIpマネジメント株式会社 画像処理システム、画像処理方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252431A (ja) * 1998-02-27 1999-09-17 Kyocera Corp ディストーション補正機能を有するディジタル撮像装置
JP2004242125A (ja) * 2003-02-07 2004-08-26 Fuji Photo Film Co Ltd 画像処理装置
JP2005057605A (ja) * 2003-08-06 2005-03-03 Sony Corp 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2005063154A (ja) * 2003-08-13 2005-03-10 Sony Corp 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2005135096A (ja) * 2003-10-29 2005-05-26 Nikon Corp 画像処理方法および画像処理装置、並びにプログラム
JP2005286482A (ja) * 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2006166108A (ja) * 2004-12-08 2006-06-22 Canon Inc 撮像装置および撮像制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252431A (ja) * 1998-02-27 1999-09-17 Kyocera Corp ディストーション補正機能を有するディジタル撮像装置
JP2004242125A (ja) * 2003-02-07 2004-08-26 Fuji Photo Film Co Ltd 画像処理装置
JP2005057605A (ja) * 2003-08-06 2005-03-03 Sony Corp 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2005063154A (ja) * 2003-08-13 2005-03-10 Sony Corp 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2005135096A (ja) * 2003-10-29 2005-05-26 Nikon Corp 画像処理方法および画像処理装置、並びにプログラム
JP2005286482A (ja) * 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2006166108A (ja) * 2004-12-08 2006-06-22 Canon Inc 撮像装置および撮像制御方法

Also Published As

Publication number Publication date
JP2008067176A (ja) 2008-03-21

Similar Documents

Publication Publication Date Title
JP4754939B2 (ja) 画像処理装置
US8125537B2 (en) Image processing method and imaging apparatus using the same
JP5438579B2 (ja) 画像処理装置及びその制御方法
US8416322B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2005286482A (ja) 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
WO2012093453A1 (ja) カメラ、歪み補正装置、及び歪み補正方法
US8823842B2 (en) Image processing device
US7499082B2 (en) Distortion correction circuit for generating distortion-corrected image using data for uncorrected image
JP4124096B2 (ja) 画像処理方法および画像処理装置、並びにプログラム
US7710469B2 (en) Image acquisition apparatus
JPH11250239A (ja) Yuvデータによりディストーション補正を行うディジタル撮像装置
JPH11252431A (ja) ディストーション補正機能を有するディジタル撮像装置
JP4664259B2 (ja) 画像補正装置および画像補正方法
JP2007079708A (ja) 画像処理装置及び画像処理方法
JP4994158B2 (ja) 画像補正装置
JP6039204B2 (ja) 撮像装置
US11061200B2 (en) Imaging apparatus, image processing apparatus, image processing method, and image processing program
JP6223135B2 (ja) 撮像装置およびその制御方法
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP5078797B2 (ja) 画像補正装置及び画像補正方法
JP5645704B2 (ja) 画像処理装置、及びその制御方法
JPH09224180A (ja) 撮像装置
US20120195518A1 (en) Image compensation method and system
JP4996330B2 (ja) 画像歪み補正装置
JP2009159404A (ja) 画像処理方法、画像処理装置及び画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110106

R150 Certificate of patent or registration of utility model

Ref document number: 4664259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees