JP6071364B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置などで得られた画像を画像処理して補正する画像処理装置、制御方法、および制御プログラムに関する。

一般に、魚眼光学系又は全方位光学系などに代表される超広視野光学系は、監視、遠隔操作、ＴＶ会議、医療用内視鏡、および科学的測量などの様々な分野で利用されている。超広視野光学系の特徴は、画角１８０度前後の超広視野像を特殊な射影方式によって撮像面の有限領域に投影可能な点にある。この特徴によって、一般的な中心射影（透視投影）方式で撮像する撮像装置などでは理論的に撮像できない超広視野像を撮像することができる。

ところが、超広視野像を撮像するため魚眼光学系などの特殊な射影方式による光学系では、撮像の結果得られた画像において不可避的に被写体像の形状が歪んでしまう。このため、当該画像を人間が観察する点を考慮すると、本来の被写体の形状と撮像の結果得られた画像における被写体像の形状との相違が著しく、被写体を正確に視認できないことがある。

このような問題点を考慮しても、上記の特殊な射影方式には広範囲をカバーできるなどの目的および利用意図があり、特に、測量などの使用においては、歪みにみえる部分が光学的に正しい画像であることが望まれている。

ここで、魚眼レンズなどの所謂超広視野光学系レンズにおける光学的な射影方式について概説する。

魚眼レンズとは本来、１８０度前後の視野を感光面（撮像面）に射影可能な屈折レンズをいうが、ここでは反射鏡又はプリズムを用いて広視野を得る光学系も含めて魚眼レンズと呼ぶことにする。

厳密にいうと、魚眼レンズは広い画角によってではなく、その射影方式によって定義される。以下簡単にその射影方式の原理について説明する。

図７は、魚眼レンズにおける射影方式の原理、特に、正射影方式の原理を説明するための図である。

図７において、半球面Ｇは、魚眼レンズによって結像面（撮像面）上に結像される画像の範囲を直径とする仮想球面である。ここで、全ての射影方式において、画像の中心Ｏが半球面Ｇの天頂に相当する。そして画像内の一点Ｐ（これを像点と呼ぶ）に着目する。

各射影方式における画像の中心Ｏから像点Ｐまでの距離（これを像高と呼ぶ）は、入射光の天頂角（入射角と呼ぶ）と特定の関係がある。ここで、像高をｒｐ、そして、入射角をθとすると、（ａ）等距離射影方式（Ｅｑｕｉｄｉｓｔａｎｔ Ｐｒｏｊｅｃｔｉｏｎ）では、式（１）に示すように、像高ｒｐは入射角θに比例する。この等距離射影方式は一般的な魚眼レンズで多く用いられている。

ｒｐ∝θ （１）
（ｂ）平射影方式（Ｓｔｅｒｅｏｇｒａｐｈｉｃ Ｐｒｏｊｅｃｔｉｏｎ）では、式（２）に示すように、像高ｒｐは入射角θの半角の正接に比例する。

ｒｐ∝ｔａｎ（θ／２） （２）
（ｃ）等立体角射影方式（Ｅｑｕｉｓｏｌｉｄａｎｇｌｅ Ｐｒｏｊｅｃｔｉｏｎ）では、式（３）に示すように、像高ｒｐは入射角θの半角の正弦に比例する。

ｒｐ∝ｓｉｎ（θ／２） （３）
等立体角射影方式では、被写体がとる立体角とその像との面積が比例するという特徴があり、画像上の面積を測定すれば、被写体の面積比を正しく求めることができる。そして、この特徴を利用して、等立体角射影方式は全天の雲量測定および森林の植生分布などの測量で用いられる。

（ｄ）正射影方式（Ｏｒｔｈｏｇｒａｐｈｉｃ Ｐｒｏｊｅｃｔｉｏｎ）では、式（４）に示すように、像高ｒｐは入射角θの正弦に比例する。

ｒｐ∝ｓｉｎ θ （４）
この正射影方式では、天球をそのまま結像面に射影したものに等しい。そして、画像に占める面光源の面積が撮像した場所における照度に比例という特徴があり、これよって、正射影方式は照度測定および建築照明などの学術研究用途に利用されることが多い。

なお、図７に示す例では、（ｄ）正射影方式の射影原理が示されている。

従来の歪曲補正と呼ばれる画像補正処理では、撮像の結果得られた画像を歪みのない中心射影画像に変換している。通常の光学レンズは中心射影方式で撮像されるように光学設計されているものの、このような光学レンズにおいても像高が大きい領域では、レンズの特性および製造誤差などの様々要因で歪みが残る場合がある。そして、歪曲補正はこの歪みを補正する処理である。

ところで、歪曲補正を用いて、魚眼レンズによる撮像の結果得られた画像を補正することが行われている。つまり、魚眼レンズによる撮像の結果得られた歪みを有する画像を、歪曲補正して歪みのない画像を得ることが行われている。

例えば、等距離射影方式を用いた魚眼レンズで撮像の結果得られた画像を中心射影方式の画像に変換して、歪曲補正を行うようにしたものがある（特許文献１参照）。

さらに、魚眼カメラで撮像の結果得られた画像を画像処理する際、画角の拡大率を場所により相違させた変化関数を用い、中心射影に変換して表示画面を生成して像点の天頂角と方位角を求めるようにしたものがある（特許文献２参照）。

特許文献２においては、魚眼レンズを用いて得られた画像データを中心射影方式で変換し、水平および垂直方向のいずれか１方向の補正の度合いが他の方向の補正度合いよりも大きくなるよう補正を行う。そして、補正が大きい方向に係る画像データの端部を使用せずに周辺部における物体を認識し易くしている。

魚眼レンズを用いて撮像を行った際には、前述のように、各射影方式によって画像が異なり、特に、像高の大きい部分および中心領域において被写体像などの形状が本来の被写体とは大きく異なる。

図８は、魚眼レンズを用いた撮像の結果得られた撮像画像を説明するための図である。そして、図８（ａ）は魚眼レンズを用いた画像イメージを示す図であり、図８（ｂ）は魚眼レンズによる撮像画像を中心射影に変換した際の画像イメージを示す図である。

ここでは、図８（ａ）に示す画像イメージを、歪曲補正（中心射影変換）して図８（ｂ）に示す画像イメージを得ている。図８に示すように、像高が大きな部分において、同心円の間隔が広がり、歪曲補正後の画像は元の画像に比べて横方向に大きくなって広がっていることが分かる。

上述のような射影方式を用いた変換は、例えば、ソフトウェアなどを用いて行われている。特に、視野角の広い魚眼レンズで撮像された画像を中心射影に変換すれば、視野の広い中心射影の画像を得ることが可能である。

一方、画像の補正については、一般的に画像においてその水平および垂直方向を調整する傾き補正があり、さらに、撮像の際のレンズに係る歪曲収差補正については、例えば、撮像距離などのパラメータを調整しつつ水平および垂直線の少なくとも一方に基づいて補正度合いを調整することが行われている。

特開２００７−１５６７９５号公報 特開２００９−１２３１３１号公報

ところが、水平および垂直線の少なくとも一方に応じて傾き補正および歪曲収差補正を行うと、魚眼レンズなどの超広視野光学系を用いて得られた画像については、その水平および垂直線の少なくとも一方そのものが歪んでいるため、傾き補正を精度よく行うことが難しい。

従って、本発明の目的は、魚眼レンズなどの超広視野光学系を用いて得られた歪みを有する画像について、傾き補正などの調整値を精度よく調整することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、歪みを有する第１の画像信号に画像処理を施す画像処理装置であって、前記第１の画像信号に対して前記歪みを抑制するための第１の幾何学的変換を施して第２の画像信号を得る第１の処理手段と、前記第２の画像信号および前記第１の画像信号に対して、ユーザによって入力された調整値に応じて、前記第１の幾何学的変換と異なる第２の幾何学的変換を施すことで、それぞれ第３の画像信号および第４の画像信号を得る第２の処理手段と、画像を表示する表示手段とを有し、前記表示手段は、前記第１の画像信号に基づく画像を第１の表示領域に表示するとともに、前記第２の画像信号に基づく画像を第２の表示領域に表示し、ユーザによって前記調整値が入力されると、前記第４の画像信号に基づく画像を前記第１の表示領域に表示するともに、前記第３の画像信号に基づく画像を前記第２の表示領域に表示することを特徴とする。

本発明による制御方法は、歪みを有する第１の画像信号に画像処理を施す画像処理装置の制御方法であって、前記第１の画像信号に対して前記歪みを抑制するための第１の幾何学的変換を施して第２の画像信号を得る第１の処理ステップと、前記第２の画像信号および前記第１の画像信号に対して、ユーザによって入力された調整値に応じて、前記第１の幾何学的変換と異なる第２の幾何学的変換を施すことで、それぞれ第３の画像信号および第４の画像信号を得る第２の処理ステップと、画像を表示する表示ステップとを有し、前記表示手ステップでは、前記第１の画像信号に基づく画像を第１の表示領域に表示するとともに、前記第２の画像信号に基づく画像を第２の表示領域に表示し、ユーザによって前記調整値が入力されると、前記第４の画像信号に基づく画像を前記第１の表示領域に表示するともに、前記第３の画像信号に基づく画像を前記第２の表示領域に表示することを特徴とする。

本発明による制御プログラムは、歪みを有する第１の画像信号に画像処理を施す画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記第１の画像信号に対して前記歪みを抑制するための第１の幾何学的変換を施して第２の画像信号を得る第１の処理ステップと、前記第２の画像信号および前記第１の画像信号に対して、ユーザによって入力された調整値に応じて、前記第１の幾何学的変換と異なる第２の幾何学的変換を施すことで、それぞれ第３の画像信号および第４の画像信号を得る第２の処理ステップと、画像を表示する表示ステップとを実行させ、前記表示手ステップでは、前記第１の画像信号に基づく画像を第１の表示領域に表示するとともに、前記第２の画像信号に基づく画像を第２の表示領域に表示し、ユーザによって前記調整値が入力されると、前記第４の画像信号に基づく画像を前記第１の表示領域に表示するともに、前記第３の画像信号に基づく画像を前記第２の表示領域に表示することを特徴とする。

本発明によれば、魚眼レンズなどの超広視野光学系を用いて得られた歪みを有する画像について、傾き補正などの調整を行う調整値を精度よく調整することができる。

本発明の第１の実施形態による画像処理装置の一例を示すブロック図である。 図１に示す画像処理装置における画像処理を説明するためのフローチャートである。 図１に示す第１変換部で行われる画像の歪みの補正処理を説明するためのフローチャートである。 図１に示す第２変換部で行われる回転処理を説明するためのフローチャートである。 図１に示す画像処理装置における処理画像表示の一例を説明するための図である。 図１に示す画像処理装置における処理画像表示の他の例を説明するための図である。 魚眼レンズにおける射影方式の原理（正射影方式の原理）を説明するための図である。 魚眼レンズを用いた撮像の結果得られた撮像画像を説明するための図であり、（ａ）は魚眼レンズを用いた画像イメージを示す図、（ｂ）は魚眼レンズによる撮像画像を中心射影に変換した際の画像イメージを示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例を示すブロック図である。なお、図示の画像処理装置は、例えば、デジタルカメラなどの撮像装置に備えられており、この撮像装置には撮像レンズ系として魚眼レンズなどの超広視野光学系が用いられている。

画像処理装置はＣＰＵなどの画像処理制御部を有しており、この画像処理制御部は第１変換部１０１、第２変換部１０２、および記憶制御部１０４を備えている。そして、第１変換部１０１および第２変換部１０２は、表示部（液晶ディスプレイ）１０３に接続されている。

なお、図示はしないが、撮像装置においては、魚眼レンズを介して入射した光学像がＣＭＯＳイメージセンサなどの撮像素子に結像する。そして、撮像素子は光学像に応じたアナログ信号を出力する。このアナログ信号はＡ／Ｄ変換器でデジタル信号（第１の画像信号）に変換されて、第１変換部１０１に与えられる。

第１変換部１０１は、第１の画像信号における歪みを抑制するため、第１の幾何学的変換を施して第２の画像信号を生成する。なお、第１の幾何学的変換は、例えば、中心射影変換である。

上記の第２の画像信号は第２変換部１０２に与えられる。また、第２変換部１０２には、第１の画像信号が入力される。第２変換部１０２は第２の画像信号に対して、第１の幾何学的変換と異なる第２の幾何学的変換を施して第３の画像信号とする。さらに、第２変換部１０２は第１の画像信号に対して第２の幾何学的変換を施して第４の画像信号とする。

なお、第２の幾何学的変換は、例えば、傾き補正であり、この傾き補正は、ユーザが操作部から入力する調整値である回転角度に応じて行われる。

第２変換部１０２で生成された第３の画像信号は表示部１０３に与えられ、表示部１０３には後述するように第３の画像信号に応じた画像がプレビュー画像として表示される。また、第２の変換部１０２で生成された第４の画像信号は表示部１０３に与えられ、表示部１０３には第４の画像信号に応じた画像（傾き補正画像）が表示される。

記憶制御部１０４には第２変換部１０２から第４の画像信号が与えられる。記憶制御部１０４はこの第４の画像信号を記憶媒体（図示せず）に画像データとして記憶する。

図２は、図１に示す画像処理装置における画像処理を説明するためのフローチャートである。

画像処理が開始されると、画像処理装置は第１の画像信号を読み込む。そして、画像処理装置は図示しないメモリに格納された処理パラメータ（以下単にパラメータと呼ぶ）を読み込む（ステップＳ２０１）。ここで、パラメータとは、魚眼レンズに係るレンズ情報およびユーザが操作部（図示せず）から入力する画像調整用の調整値（例えば、回転角度）などである。

第２変換部１０２はパラメータに応じて傾き補正などの画像処理を行う。ユーザは表示部１０３に表示された画像を見て必要に応じて画像を調整するための調整値を入力する。ユーザは調整が完了すると、操作部から調整完了を示す調整完了操作を行う。

ここでは、まず、第２変換部１０２は調整値に応じて第１の画像信号に対して、例えば、回転処理を行って傾き補正を行い、第４の画像信号を生成して傾き補正画像を表示部１０３に表示する（ステップＳ２０２）。

回転処理に当たっては、後述のように、ユーザは操作部から、調整値として通常角度を指定することができる。この通常角度の指定において刃最大０度から３６０度まで指定することができる。

第２変換部１０２は指定された角度に基づいて、各座標（ｘ，ｙ）を回転中心からの位置関係と三角関数をベースとするアルゴリズムによって座標変換して回転後の座標（Ｘ，Ｙ）を得る。このアルゴリズムは、例えば、次の式（１）および（２）で示される。

Ｘ＝ｃｏｓＡ＊ｘ＋ｓｉｎＡ＊ｙ （１）
Ｙ＝−ｓｉｎＡ＊ｘ＋ｃｏｓＡ＊ｙ （２）
但し、回転中心を原点として、回転前座標を（ｘ，ｙ）、回転後座標を（Ｘ，Ｙ）、回転角度をラジアン単位でＡとする。

一方、第１変換部１０１は中心射影変換によって第１の画像信号における歪みを正確に又は簡易的に修正して、第２の画像信号を出力する。そして、第２変換部１０２は第２の画像信号に対して調整値に応じて傾き補正（つまり、回転処理）を行って、第３の画像信号とする。この第３の画像信号はプレビュー画像として表示部１０３に表示される（ステップＳ２０３）。

画像の歪みを補正する際には、例えば、第１変換部１０１はその中心からの距離（厳密には光学的な中心）をキーとして、予めメモリに格納された補正テーブルを参照して、歪みを補正するため元の画像の各点が変換後いずれに射影されるかを算出する。

例えば、中心を原点とした際、座標（３００，４００）、原点からの距離が５００である。この点を補正テーブルによって、例えば、距離６００に射影すると、第１変換部１０１は距離６００となる座標を変換後の座標とする。そして、当該変換を全ての点で行って補間を行えば、回転後（変換後）の全ての座標を求めることができる。

このようにして、元の画像と歪み補正後の画像において、各点の対応関係を決定することができる。この際、元の画像上の点は離散的に保持されているので、ある点の画素値が回転後の画像の点の画素値に対応できない場合には、当該点に関して周辺の点の画素値を用いて補間を行う。

これによって、第１変換部１０１は歪み補正を行った画像（第２の画像信号）を求めることができる。

続いて、画像処理装置はユーザが調整完了操作を行ったか否かを判定する（ステップＳ２０４）。調整完了操作が行われないと（ステップＳ２０４において、ＮＯ）、つまり、ユーザが調整値の変更を行うと、画像処理装置１０１はステップＳ２０１に戻って、パラメータ、つまり、変更後の調整値を取得して、変更後の調整値に応じてステップＳ２０２の処理を行う。このようにして、ユーザが調整値を変更する都度、上記の処理が行われることになる。

一方、調整完了操作が行われると（ステップＳ２０４において、ＹＥＳ）、第２変換部１０２は調整完了後の調整値に応じて回転後の画像（傾き補正画像：第４の画像信号）を生成する（ステップＳ２０５）。そして、記憶制御部１０４は当該傾き補正画像を記録媒体に記憶して（ステップＳ２０６）、画像処理を終了する。なお、この際、歪みの修正は行われない。

図３は、図１に示す第１変換部１０１で行われる画像の歪みの補正処理を説明するためのフローチャートである。なお、ここでは、等立体角射影の魚眼レンズで撮像の結果得られた画像について、射影方式を中心射影に変換して歪みを補正する。

歪み補正処理が開始されると、第１変換部１０１は魚眼レンズを用いて撮像された画像信号（以下単に画像ともいう）を入力する（ステップＳ５０１）。そして、第１変換部１０１はメモリから魚眼レンズに係るレンズ情報など必要なパラメータを取得する（ステップＳ５０２）。

次に、第１変換部１０１は入力した画像において予め規定された複数の点（座標、つまり、画素）における１つの画素について画素値を取得する（ステップＳ５０３）。そして、第１変換部１０１は当該画素を射影変換して変換後の座標を得る（ステップＳ５０４）。

続いて、第１変換部１０１は変換後の座標（つまり、画像）における画素値を画素補間によって算出する（ステップＳ５０５）。そして、第１変換部１０１は予め規定された座標（つまり、必要な画素）の全てについて変換処理を行ったか否かを判定する（ステップＳ５０６）。

全ての画素について変換処理を行っていないと（ステップＳ５０６において、ＮＯ）、第１変換部１０１はステップＳ５０３の処理に戻る。一方、全ての画素について変換処理が完了すると（ステップＳ５０６において、ＹＥＳ）、第１変換部１０１は変換処理後の画像を生成する（ステップＳ５０７）。そして、第１変換部１０１は歪み補正処理を終了する。

図４は、図１に示す第２変換部１０２で行われる回転処理を説明するためのフローチャートである。

回転処理を開始すると、第２変換部１０２はＡ／Ｄ変換器から第１の画像信号を入力するとともに、第１変換部１０１から第２の画像信号を入力する（ステップＳ６０１）。続いて、第２変換部１０２は変更後の調整値である回転角度を、メモリから取得する（ステップＳ６０２）。

次に、第２変換部１０２は入力した画像（ここでは、第１および第２の画像信号である）において予め規定された複数の画素の１つを取得する（ステップＳ６０３）。そして、第２変換部１０２は、回転角度に応じて当該画素を回転処理して回転後の画素を求める（ステップＳ６０４）。

続いて、第２変換部１０２は予め規定された座標（つまり、必要な画素）の全てについて回転処理を行ったか否かを判定する（ステップＳ６０５）。必要な画素の全てついて回転処理が行われていないと（ステップＳ６０５において、ＮＯ）、第２変換部１０２はステップＳ６０３の処理に戻って次の画素について回転処理を行う。

一方、必要な画素の全てついて回転処理を行うと（ステップＳ６０５において、ＹＥＳ）、第２変換部１０２は回転処理を終了して、回転処理後の画像を表示部１０３に表示する。つまり、ここでは、第２変換部１０２は第３の画像信号および第４の画像信号に応じた画像をそれぞれ表示部１０３に表示することになる。

図５は、図１に示す画像処理装置における処理画像表示の一例を説明するための図である。なお、図５に示す例は、画像の調整を行う際にユーザが操作するユーザインタフェースであり、当該ユーザインタフェースは画像の回転処理を行うためのものであり、画像処理装置で動作するソフトウェアによって行われる。

画像処理装置４０１の背面には表示部１０３である液晶ディスプレイ（表示領域）４０２が配置されるとともに、表示部１０３であるプレビュー用ディスプレイ（表示領域）４０３が配置されている。

いま、ユーザが操作部によって調整値として角度入力欄４０４に角度０度を入力すると、第２変換部１０２は回転処理を行わずに、Ａ／Ｄ変換器を介して読み込んだ第１の画像信号（つまり、回転処理が施されていない第４の画像信号）に応じた画像を液晶ディスプレイ４０２に表示することになる。

この際、第１変換部１０１は、図２で説明したようにして、第１の画像信号を中心射影変換して第２の画像信号を生成し、第２の画像信号を第２変換部１０２に与える。

第２の変換部１０１は角度０度であるから、第２の画像信号に回転処理を施すことなく第４の画像信号を表示部１０３に与える。これによって、水平および垂直方向が見やすくなったプレビュー画像が、プレビュー用液晶ディスプレイ４０３に表示される。

ユーザは液晶ディスプレイ４０２および４０３に表示された画像を確認して、調整値（つまり、回転角度）を変更するか否かを決定することになる。ユーザがＯＫボタン４０５を押し下げると、画像処理装置は前述の調整完了操作があったと判定することになる。

一方、ユーザは調整値（つまり、回転角度）を変更する際には、キャンセル（Ｃａｎｃｅｌ）ボタン４０６を押し下げた後、操作部によって角度入力欄４０４に変更後の回転角度を入力する。これによって、画像処理装置は前述の調整完了操作が行われず、回転角度が変更されたと判定する。

図６は、図１に示す画像処理装置における処理画像表示の他の例を説明するための図である。

いま、ユーザがキャンセルボタン４０６を押し下げた後、操作部によって角度入力欄４０４に回転角度５度を入力したとする（つまり、回転角度を５度に変更したとする）。これによって、第２変換部１０２は変更後の回転角度５度に応じて第１の画像信号および第２の画像信号に対して回転処理を行って、それぞれ第３の画像信号および第４の画像信号を生成する。

そして、第２変換部１０２は第３の画像信号に応じたプレビュー画像（水平および垂直方向が見やすくなったプレビュー画像）を、プレビュー用液晶ディスプレイ４０３に表示する。また、第２変換部１０２は第４の画像信号に応じた画像（傾き補正画像）を、液晶ディスプレイ４０２に表示する。

このようにして、ユーザは液晶ディスプレイ４０２および４０３に表示された画像を確認して、所望の画像が表示されるまで回転角度を変更することができる。そして、ユーザがＯＫボタン４０５を押し下げると、その時点で、第２変換部１０２で上述の処理が行われて、結果的に液晶ディスプレイ４０２に表示されている回転処理後の画像が記憶制御部１０４によって記憶媒体に記憶されることになる。

なお、記憶媒体は画像処理装置に内蔵するようにしてもよく、画像処理装置に接続された外部メモリであってもよい。

このようにして、本発明の実施の形態では、中心射影変換処理された画像をプレビュー表示して、ユーザは当該プレビュー画像を確認して、画像の調整値である回転角度を変更する。これによって、ユーザは水平および垂直方向が見やすくなったプレビュー画像に対応する回転角度変更後の画像を、魚眼レンズの歪みをそのままとして記憶することができる。つまり、ユーザは魚眼レンズの歪みをそのままとして画像の傾きを容易に調整することができる。

以上のように、本実施の形態では、ユーザはプレビュー画像の水平および垂直方向の少なくとも一方を参照しつつ回転角度を調整するようにすれば、魚眼レンズで撮像された画像に対して、精度よく傾き補正を行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置について説明する。なお、第２の実施形態による画像処理装置の構成は図１に示す例と同様である。

第１の実施形態では、第２変換部１０２は第２の幾何学的変換として画像の傾き補正を行う例について説明したが、第２の実施形態では、第２変換部１０２は第２の幾何学的変換として画像の歪曲収差補正を行う。

歪曲収差補正を行う際には、第２の変換部１０２は魚眼レンズなどのレンズ条件に応じて、予め設定された補正テーブル又は変換式を用いて、第１変換部１０１から出力された第２の画像信号に対して歪曲収差補正を行って、第３の画像信号を出力する。

なお、第２の実施形態において、第２変換部１０２における他の処理は第１の実施形態と同様であり、第１変換部１０１における処理は第１の実施形態と同様である。そして、ユーザは表示部１０３に表示された画像応じて、歪曲収差補正に用いる補正値を調整する。

ところで、魚眼レンズを用いた撮像の結果得られた画像に対して歪曲収差補正を行う際には、ここでは、等立体角射影で撮像された画像に対して補正を行うことになる。つまり、ここでは、理想的な等立体角射影の魚眼レンズとのズレを補正することになって、歪曲収差補正後の画像は、補正前の画像と比べて、理想的な等立体角射影の魚眼レンズで撮像された画像に近づくこととなる。

第２の実施形態では、第１の実施形態と同様にして、歪曲収差補正のみが行われた画像と中心射影変換および歪曲収差補正が行われたプレビュー画像とが表示部１０３に表示されることになる。

この結果、ユーザは水平および垂直方向の少なくとも一方を目安として、歪曲収差補正に係る補正値を容易に調整することができる。

［第３の実施形態］
続いて、本発明の第３の実施形態による画像処理装置について説明する。なお、第３の実施形態による画像処理装置の構成は図１に示す例と同様である。

第１の実施形態では、第１変換部１０１は第１の幾何学的変換として中心射影変換を行う例について説明したが、第３の実施形態では、第１変換部１０１は第１の幾何学的変換として画像の歪曲収差補正を行う。

なお、第３の実施形態において、第２変換部１０２における処理は第１の実施形態と同様である。また、第３の実施形態は、超広角レンズのように魚眼レンズよりも歪みの大きいレンズの場合に用いられ、第２変換部１０２では歪曲収差補正された第２の画像信号を傾き補正して第３の画像信号を生成する。そして、この第３の画像信号に応じたプレビュー画像が表示部１０３に表示される。

この結果、第３の実施形態では、ユーザは広角の歪みを残した状態で画像の傾きの補正を容易に行うことができる。

以上のように、本発明の実施の形態によれば、魚眼レンズなどの超広視野光学系を用いて得られた歪みを有する第１の画像信号について、その傾きなどを補正する際に用いられる調整値を精度よく調整することができる。

上述の説明から明らかなように、図１に示す例においては、第１変換部１０１が第１の処理手段として機能し、第２変換部１０２が第２の処理手段として機能する。また、第２変換部１０２および表示部１０３が表示手段として機能する。そして、図１に示す記憶制御部が記録制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 第１変換部
１０２ 第２変換部
１０３ 表示部
１０４ 記憶制御部
４０１ 画像処理装置
４０２，４０３ 液晶ディスプレイ
４０４ 角度入力欄
４０５ 実行ボタン（ＯＫボタン）
４０６ キャンセル（Ｃａｎｃｅｌ）ボタン

Claims (8)

1. 歪みを有する第１の画像信号に画像処理を施す画像処理装置であって、
   前記第１の画像信号に対して前記歪みを抑制するための第１の幾何学的変換を施して第２の画像信号を得る第１の処理手段と、
   前記第２の画像信号および前記第１の画像信号に対して、ユーザによって入力された調整値に応じて、前記第１の幾何学的変換と異なる第２の幾何学的変換を施すことで、それぞれ第３の画像信号および第４の画像信号を得る第２の処理手段と、
   画像を表示する表示手段とを有し、
   前記表示手段は、前記第１の画像信号に基づく画像を第１の表示領域に表示するとともに、前記第２の画像信号に基づく画像を第２の表示領域に表示し、ユーザによって前記調整値が入力されると、前記第４の画像信号に基づく画像を前記第１の表示領域に表示するともに、前記第３の画像信号に基づく画像を前記第２の表示領域に表示することを特徴とする画像処理装置。
2. 前記第４の画像信号を記録媒体に記録する記録制御手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像信号は、超広視野光学系を備える撮像装置による撮像の結果得られた画像信号であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の幾何学的変換は前記第１の画像信号を中心射影変換する処理であり、
   前記調整値は水平および垂直方向の少なくとも一方に対する画像の回転角度を調整する回転角度であって、前記第２の幾何学的変換は前記第１の画像信号および前記第２の画像信号をそれぞれ傾き補正する処理であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第１の幾何学的変換は前記第１の画像信号を中心射影変換する処理であり、
   前記調整値は画像の歪曲収差補正を行う際に用いられる補正値であって、前記第２の幾何学的変換は前記第１の画像信号および前記第２の画像信号をそれぞれ歪曲収差補正する処理であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記第１の幾何学的変換は前記第１の画像信号を歪曲収差補正する処理であり、
   前記調整値は水平および垂直方向の少なくとも一方に対する画像の回転角度を調整する回転角度であって、前記第２の幾何学的変換は前記第１の画像信号および前記第２の画像信号をそれぞれ傾き補正する処理であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
7. 歪みを有する第１の画像信号に画像処理を施す画像処理装置の制御方法であって、
   前記第１の画像信号に対して前記歪みを抑制するための第１の幾何学的変換を施して第２の画像信号を得る第１の処理ステップと、
   前記第２の画像信号および前記第１の画像信号に対して、ユーザによって入力された調整値に応じて、前記第１の幾何学的変換と異なる第２の幾何学的変換を施すことで、それぞれ第３の画像信号および第４の画像信号を得る第２の処理ステップと、
   画像を表示する表示ステップとを有し、
   前記表示手ステップでは、前記第１の画像信号に基づく画像を第１の表示領域に表示するとともに、前記第２の画像信号に基づく画像を第２の表示領域に表示し、ユーザによって前記調整値が入力されると、前記第４の画像信号に基づく画像を前記第１の表示領域に表示するともに、前記第３の画像信号に基づく画像を前記第２の表示領域に表示することを特徴とする制御方法。
8. 歪みを有する第１の画像信号に画像処理を施す画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記第１の画像信号に対して前記歪みを抑制するための第１の幾何学的変換を施して第２の画像信号を得る第１の処理ステップと、
   前記第２の画像信号および前記第１の画像信号に対して、ユーザによって入力された調整値に応じて、前記第１の幾何学的変換と異なる第２の幾何学的変換を施すことで、それぞれ第３の画像信号および第４の画像信号を得る第２の処理ステップと、
   画像を表示する表示ステップとを実行させ、
   前記表示手ステップでは、前記第１の画像信号に基づく画像を第１の表示領域に表示するとともに、前記第２の画像信号に基づく画像を第２の表示領域に表示し、ユーザによって前記調整値が入力されると、前記第４の画像信号に基づく画像を前記第１の表示領域に表示するともに、前記第３の画像信号に基づく画像を前記第２の表示領域に表示することを特徴とする制御プログラム。

Images