JP2020036249A

JP2020036249A - あおり補正を行う画像処理装置

Info

Publication number: JP2020036249A
Application number: JP2018162502A
Authority: JP
Inventors: 佳絵伊藤; Yoshie Ito
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-08-31
Filing date: 2018-08-31
Publication date: 2020-03-05

Abstract

【課題】カメラにあおり角を付けて撮影している時に、あおり補正の要不要を判別でき、高品質なパノラマ画像を得ることができる画像処理装置を提供すること。【解決手段】この画像処理装置は、撮像部の姿勢情報あるいは任意の設定値を基にあおり補正係数を求め、少なくとも２枚の撮像された画像に対してあおり補正を施した判定用仮画像を作成し、判定用仮画像とあおり補正を施す前の画像のそれぞれに対して特徴点の対応関係算出を行い、判定用仮画像とあおり補正を施す前の画像の間で対応数を比較して大小関係を求め、姿勢情報および対応関係算出の信頼性を評価する。さらに、信頼性の評価を基に姿勢情報および対応数の大小関係のいずれからからあおり補正係数を決定して画像のあおり補正を行い、あおり補正済み画像を合成する。【選択図】図４

Description

本発明は、互いに共通領域が写るように撮像方向を順次変化させながら連続撮影した画像を合成することで、より広範囲の画像、すなわちパノラマ画像を得る画像処理装置および方法、並びにプログラムに関する。特に高品質なパノラマ画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、撮影方向を順次変化させて撮影範囲の一部を構成する単位画像を撮像し、撮像ステップにおいて撮像した単位画像の一部を構成する所定サイズの画像領域を互いに重複領域が生じるように切り出し、切り出した画像領域を順次重ね合わせることによりパノラマ画像を生成する技術が公開されている（特許文献１）。

パノラマ撮影では、スイングの上下ブレにより上下方向の位置ずれが生じるため、パノラマ画像の合成後に上下方向をクロップした画像を出力する。図９（ａ）はあおりがない状態で撮影したパノラマ画像を位置合わせし、クロップした結果である。撮影した４枚の画像はクロップ範囲を割り込んでいないため、最終的に全画像を繋げたパノラマ画像が出力される。

一方、クロップ領域を超えてずれが生じた場合は、画像のない領域を持つパノラマ画像が生じてしまうため、クロップ領域を超えたずれが生じる前までの画像を合成に使用するが、撮影者が意図するよりも短い画角の画像となってしまう。

図８（ａ）はあおりでパノラマ撮影を行った時のカメラと被写体の位置関係、そして撮像されるパノラマ画像の形状を示す模式図である。撮影者８００が水平線に沿ってカメラ８０２をスイングして聳えるビル群などの被写体８０１などを撮影する場合に、図８（ａ）のようにしばしば被写体８０１を見上げるようにカメラ８０２をあおり角８０５分傾けて撮影する場合がある。この時、カメラを回転させる軸８０３が画像素子面８０４と平行でない状態で撮影すると、取得される画像は先のすぼまった円柱８０６に張り付いた扇形８０７となり、これを二次元的に展開すると、扇状の横長な画像８０８となる。この場合に、撮像される画像が図９（ｂ）で、取得した画像を位置合わせしていくとあおりによる歪みのため図中の４枚目の画像を合成した時点で点線内のクロップ範囲を逸脱する。そのため、３枚目までの画像までしか合成に利用できず、撮影者が意図するよりも短い画角の画像となってしまう。これに対し、あおり補正をした図９（ｂ）の画像を合成した場合が図９（ｃ）で、あおり補正により画像の歪みが軽減するために図９（ｂ）よりも長い範囲のパノラマ画像を取得できる。

特許文献２には、複数枚の画像データを合成する際に、ジャイロセンサーで検出したあおり角から歪みの評価値を算出し、評価値から画像データの合成比率を決定する方法が開示されている。

特許文献３には、複数種類の画像合成方法で合成した画像を評価し、それらの中から適切な合成方法を選択する画像処理方法が提示されている。前記評価方法では、画像間の重複領域内において対応点を抽出して合成誤差を計算し、所定値と比較するあるいは合成誤差の大小を比較することで合成方法を評価する。

特開２００５−３２８４９７号公報特許第４１７４１２２号公報特許第５８７５２４８号公報

しかしながらパノラマ撮影においては、あおり角を付けて撮影している場合においても、必ずしもあおり補正をすることで画像の改善が見られるわけではない。例えば、図８（ｂ）のように、撮影者８１０はカメラ８１２にあおり角８１５を付けて撮影しているが、カメラ８１２を回転させる軸８１３が画像素子面８１４と平行である場合は、取得される画像は円柱８１６に張り付いた長方形８１７となり、これを二次元的に展開すると、長方形状の画像８１８となる。撮影画像は歪まず、あおり補正が不要となる。また、図８（ｃ）のように、図８（ａ）と同様に、撮影者８２０がカメラ８２２を回転軸８２３が画像素子面８２４と平行でない状態であおり角８２５を付けて撮影しているが、撮影される対象８２１が回転の軌跡と略相似型の表面形状（例えばドームなど）をしている場合は、結果的に撮影画像８２８は歪まず、あおり補正が不要となる。パノラマ画像の歪みを、特許文献１と同様にジャイロセンサーのあおり角のみで判定した場合、図８（ｂ）及び（ｃ）のような、あおり補正が不要なシーンにおいてもあおり補正をしてしまい、画像の劣化につながってしまうという課題がある。

一方で、特許文献３に記載の手法ならば、あおり補正が必要な図８（ａ）のシーンとあおり補正が不要な図８（ｂ）と図８（ｃ）のシーンとを分けて最適な合成を行うことが可能である。しかしながら、画像の対応点が少ないシーンにおいては、判定の精度が低下してしまうという課題がある。

以上を鑑み、本発明の目的は、カメラにあおり角を付けて撮影している時に、あおり補正が必要なシーン（図８のａ）か不要なシーン（図８のｂとｃ）を判別でき、かつ画像の対応点抽出の信頼性が不十分なシーンにおいても、判定精度の低下を防ぎ、高品質なパノラマ画像を得ることができる画像処理装置および方法、並びにプログラムを提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、
撮像素子によって撮影された画像を順次入力し、入力の画像をつなぎ合わせて合成画像を生成する画像処理装置であって、前記撮像素子で撮影する撮像部と、前記画像処理装置の姿勢情報を取得する姿勢情報取得部と、前記撮像部で撮影された画像を幾何変形する画像補正部と、前記基準画像の特徴点と前記対象画像の特徴点との対応関係を算出し、対応関係の算出結果を基に画像の位置合わせを行う画像位置合わせ部と、前記姿勢情報および前記対応関係算出の信頼性を評価する信頼性評価部と、あおり補正係数を設定するあおり補正係数設定部と、前記位置合わせされた画像を合成する画像合成部を有し、前記撮影開始時に、前記姿勢情報取得部が撮像部の姿勢情報を取得し、前記補正係数設定部が前記姿勢情報あるいは任意の設定値を基にあおり補正係数を画像補正部に入力し、前記画像補正部で、前記撮像された少なくとも２枚の画像に対してあおり補正を施した判定用仮画像を作成し、前記画像位置合わせ部で、前記判定用仮画像とあおり補正を施す前の画像のそれぞれに対して特徴点の対応関係算出を行い、前記判定用仮画像とあおり補正を施す前の画像の間で対応数を比較して大小関係を求め、前記信頼性評価部で前記姿勢情報および前記対応関係算出の信頼性を評価して前記あおり補正係数設定部に入力し、前記あおり補正係数設定部は、前記信頼性の評価を基に撮像部の姿勢情報および対応数の大小関係のいずれから画像補正部にあおり補正係数を入力し、前記画像補正部で前記あおり補正係数を基に撮影された画像をあおり補正し、前記画像合成部で前記あおり補正済み画像をつなぎ合わせて合成画像を生成することを特徴とする。

本発明によれば、画像の対応点抽出の信頼性が不十分なシーンにおいても、あおり補正を適切に掛けることができ、高品質なパノラマ画像を得ることができる画像処理装置および方法、並びにプログラムを提供することができる。

実施の形態における画像処理装置の構成を説明する概念図である。第１の実施の形態の処理フローを説明するフロー図である。第１の実施の形態の構成要因間のやり取りに関する概念図である。第１の実施の形態の処理フローを詳細に説明するフロー図である。加速度センサーと差像処理装置のあおり角に関する概念図である。画像位置合わせおよびジャイロセンサーの信頼性に関する概念図である。画像位置合わせの信頼性算出に関する概念図である。発明が解決する課題に関する概念図である。発明が解決する課題に関する概念図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（実施形態１）
図１は、本実施形態の画像処理装置の基本構成を示すブロック図である。

画像処理装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラであってもよいし、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。

光学系１０１は、レンズ、シャッター、絞りを備え、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。光学系１０１に含まれるレンズは、例えば、フォーカスレンズ、ズームレンズ、シフトレンズ等を有する。シフトレンズは、画像処理装置１００に加わる振れにより撮像画像に生じるブレ（像ブレ）を光学的に補正するために用いる補正手段である。ＣＰＵは、Central Processing Unitの略称である。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を、画像信号に変換する。ＣＣＤは、Charge Coupled Deviceの略称である。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの略称である。

姿勢情報取得部１０５は、ジャイロセンサーであってもよいし、加速度センサーでもよく、画像処理装置１００の移動量を示す角速度乃至は重力加速度に対する装置の傾きを検出し、電気信号として変換してＣＰＵ１０３へ伝達する。ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、画像処理装置１００を構成する各部を制御することで、画像処理装置１００の機能を実現させる。一次記憶装置１０４は、例えば、ＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。ＲＡＭは、Random Access Memoryの略称である。また、一次記憶装置１０４に記憶されている情報は、画像処理部１０６で利用されたり、記録媒体１０７へ記録されたりもする。

二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、画像処理装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。ＥＥＰＲＯＭは、Electrically Etrasable Programmable Read Only Memoryの略称である。

記録媒体１０７は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、画像処理装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。ＧＵＩは、Graphical User Interfaceの略称である。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル、音声や視線などを用いた入力機器であっても良い。

温度情報取得部１１１は、画像処理装置１００内に設置され、姿勢情報取得部１０５やＣＰＵ１０３の温度をモニターする。

なお、画像処理装置１００は、画像処理部１０６が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１１０から設定可能である。画像処理部１０６は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理部１０６の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。

本発明のパノラマ撮影では、カメラを撮影者が動かしながら、もしくは自動雲台等で動かしながら連続撮影を行なうことで実施する。撮影された複数の各画像には被写体の共通領域が含まれるように撮影を行なう。各画像の共通領域の特徴点を抽出し、その特徴点がどのくらい動いたか移動ベクトルを検出する。その移動ベクトルから例えばアフィン変換の係数に変換し、特徴点が一致するように２枚の画像を重ね合わせることで、共通領域以外の部分が拡張された画像が得られる。これを複数回繰り返すことで１枚での撮影よりも広範囲のパノラマ画像を生成する。

本発明のパノラマ撮影の詳細について主に図１から図７を使用して説明する。なお、図３ではあおり補正係数設定部３０２ａと３０２ｂ、および画像補正部３０３ａと３０３ｂが登場するが、これらは互いに同じものであり、説明の明瞭化のために分けて表記している。また、図３では各構成部が互いに直接情報をやり取りしているように書かれているが、実際には一次記憶装置１０４やＣＰＵ１０３を介してやり取りを行う。

本発明におけるパノラマ撮影は、撮影された最初の数枚の画像処理フロー図２（ａ）と、それ以降の画像処理フロー図２（ｂ）とが異なる。ここでは、例として最初の２枚と、３枚以降として説明する。最初の１枚目及び２枚目では、あおり補正をするかしないかの判断を行う。具体的には、あおり補正をかけるための係数を設定するが、あおり補正が望ましくない場合は補正が掛らないような係数を設定する。３枚目以降ではあおり補正の実行判断を行わず、前の２枚で決定した内容に従い合成を行う。つまり、１枚目及び２枚目であおり補正の実行が決定した場合は、３枚目以後の撮影では１枚目及び２枚目と同様のあおり補正をかけた画像を合成する。以下に、１枚目及び２枚目における処理と、３枚目以降の処理に分けて説明する。

まず、１枚目及び２枚目における処理フローを説明する。撮像部３００は、画像センサーに光を導くための光学系と、受光した光を電気信号に変える画像センサーと、電気信号をＹＵＶなどの画像データに変換する現像系を有する。一方、姿勢情報取得部３０１は、撮像部の撮影と並行して、単位時間当たりの撮像装置の姿勢情報を取得する。姿勢情報取得部３０１の例として、加速度センサーおよびジャイロセンサーが好適に使用される。

撮像部３００によって撮像され（Ｓ２００、Ｓ４００）、現像されたＳ２０１像データは、画像補正部３０３ａに入力され３００１、画像前処理Ａ（Ｓ２０２）が行われる。撮影同時に、姿勢情報取得部３０１の値が取得されＳ４０１、一次記憶装置１０４に保持される。画像前処理Ａ（Ｓ２０２）とは、画像の歪みを補正するための処理で、具体的には円筒変換（Ｓ２０２０、Ｓ４０２）およびあおり補正（Ｓ２０２１、Ｓ４０３）である。パノラマ撮影において、位置合わせを簡便にできるように円筒変換（Ｓ２０２０、Ｓ４０２）を行なうことが好ましい。円筒変換には既存の方法が用いられる。また、この時同時に光学系１０１の歪曲収差を補正することも好ましい。

一方、あおり補正（Ｓ２０２１、Ｓ４０３）では、あおり補正係数設定部３０２ｂがあおり補正の実行の判断を行うために使用する仮の判定用画像を作成する。あおり補正係数設定部３０２ａは、姿勢情報取得部３０１から取得した撮像装置の姿勢情報から撮像１枚目のあおり角を算出し、画像補正部３０３ａに入力する。撮像装置のあおり角の算出方法として、図５を参照しながら、加速度センサーを例に解説する。図５（ａ）にある通り、撮像装置における水平方向をｘ軸、光軸をｙ軸、重力方向をｚ軸とする。撮像装置のあおり角は図５（ｂ）にあるように、ｘ軸を回転中心とした、ｙ−ｚ軸の回転角、すなわち水平方向と撮像装置のｙ軸方向がなす角度があおり角θである。あおり角θは、以下の式１から求められる。

式１のＡｙ，ｏｕｔは加速度センサーのｙ軸方向の出力、Ａｚ，ｏｕｔは加速度センサーのｚ軸方向の出力である。姿勢情報の傾きを得る方法として、ジャイロセンサーを撮像前に水平状態にしてオフセットを取り、出力を積分して算出する方法もあるが、積分時間が長くなる場合はバイアスの安定性からくる積分誤差が生じるため、好適には加速度センサーが用いられる。

次に、画像補正部３０３ａは、下記式２と式３を用い、光学系１０１から撮像系の焦点距離ｄを、二次記憶装置１０８から撮像素子の画素ピッチｐを取得し、あおり補正係数設定部３０２ａから入力された（３００３）あおり角θと合わせて下記あおり補正の変換係数を求める。

画像補正部３０３ａは、円筒変換（Ｓ２０２０、Ｓ４０２）された１枚目および２枚目の画像データに対し、式２で求めたあおり補正係数を適用し、あおり補正を行う（Ｓ２０２１、Ｓ４０３）。画像補正部３０３ａは、あおり補正した画像を画像位置合わせ部３０４に受け渡す（３００４）。ここではあおり補正の係数を射影変換から導いたが、あおり補正が可能であるならば他の変換方式を用いても良い。

画像位置合わせ部３０４は、前記あおり補正された画像と、あおり補正していない画像の２ペアの画像それぞれに対して対応点算出処理（Ｓ２０３、Ｓ４０４）を行う。

対応点算出処理とは、２枚の画像間で対応する点を検出することである。対応点の検出は画像間で共通する特徴点を抽出することで行う。特徴点の抽出は既知の方法が採用できる。一例をあげると円筒変換（Ｓ２０２０、Ｓ４０２）を行なった２枚の画像の輝度情報のみを抽出し、１乃至数ピクセルずらしてもとの画像から減算してその絶対値を算出する方法（テンプレートマッチング）や、輝度情報のみを抽出した画像にハイパスフィルターをかけた画像をもとの輝度情報画像から減算する方法などでエッジを抽出する。複数枚のエッジ画像をずらした状態で減算し、差分が少なくなる位置を計算する。差分が任意の閾値以下の場合、一致とみなし対応点として計上する。特徴点の抽出では、画像を複数のブロックに分割して特徴点の抽出を行なうことが好ましい。ブロック分割することで、画像内で実際は異なる似通った特徴点を対応点として誤検出してしまうことを避けるためである。ブロック分割は画像のピクセル数やアスペクト比にもよるが、一般的には４×３の１２ブロック乃至は９６×６４ブロックが好ましい。ブロックが細かすぎると特徴点が近づいて誤差を含むようになり、逆にブロックが大きすぎると上記で述べたように実際は異なる似通った特徴点を対応点として誤検出してしまうためである。このようなことから画素数や特徴点の見つけやすさ、被写体の画角などによって適宜最適なブロック数を選択可能である。画像位置合わせ部３０４は、前記あおり補正された画像と、あおり補正していない画像の２ペアの画像それぞれに対して上記対応点算出処理を行い、各ペアの対応点数（ブロック数を最大値とする）をあおり補正係数設定部３０２ｂに入力する３００８。

次いで、あおり補正係数設定部３０２ｂは、上記の対応点算出とは別に姿勢情報取得部３０１から取得した撮像装置の姿勢情報を基にあおり補正係数を設定する（Ｓ４１２、Ｓ４１４）。あおり補正が必要なシーン（図８ａ）では、撮像装置がロール方向に回転している。一方で、あおり補正が不要なシーン（図８のｂとｃ）では撮像装置がロール方向に回転していない。このロール方向の回転は例えばジャイロセンサーによって検出可能である。姿勢情報取得部３０１は、１枚目から２枚目撮像間におけるジャイロセンサーのロール方向の回転量をあおり補正係数設定部に入力する（３００５）。なお、ジャイロセンサーからの出力そのものは角速度であるが、パノラマ撮影では前回の撮影からどのくらいスイング（回転）されたかが必要なので、１枚目の撮影の場合はこの値を記録しておき、次の撮影まで角速度を積分し、２枚目の撮影時に前回からの回転角度を計算する。なお、撮像前のジャイロセンサーの出力値を手振れ量とし、ロール方向への回転量を算出する時に差し引くことが好ましい（不図示）。

画像位置合わせ部３０４から対応点数を受け取ったあおり補正係数設定部３０２ｂは、ペア間の対応点数を比較しＳ４０７、多い方のあおり補正係数を画像補正部３０３ｂに設定するＳ４０８。つまり、あおり補正を行ったペアの方が元画像のペアよりも対応点数が多い場合、あおり補正係数設定部３０２ｂは、画像補正部３０３ｂに判定用画像算出に用いたあおり補正係数を入力する。反対に、元画像のペアの方があおり補正を行ったペアよりも対応点数が多い場合、あおり補正係数設定部３０２ｂは、画像補正部３０３ｂに以下の係数１をあおり補正変換係数として入力することで、あおり補正を行わない設定にする。

また、姿勢情報取得部３０１から撮像装置のロール方向への回転量を受け取ったあおり補正係数設定部３０２ｂは、回転量が閾値以上である場合、画像補正部３０３ｂに判定用画像算出に用いたあおり補正係数を入力する（Ｓ４１２）。反対に、１枚目から２枚目撮像間においてジャイロセンサーがロール方向に回転していない場合、あおり補正係数設定部３０２ｂは、画像補正部３０３ｂに前記係数１をあおり補正変換係数として入力する（Ｓ４１４）。

前記あおり補正係数設定部３０２ｂによる前記あおり補正係数設定を、対応点数によって算出したあおり補正係数を設定するか、姿勢制御情報からのあおり補正係数を設定するかは、画像位置合わせ及び姿勢情報の信頼性によって判定する。以下、画像位置合わせおよび姿勢情報の信頼性の算出（Ｓ２０４，Ｓ４０５）の方法について説明する。

対応点算出の信頼性および姿勢制御情報（特にジャイロセンサー）の信頼性は、画像位置合わせ部３０４からの情報入力（３００５）および姿勢制御部３０１からの情報入力（３００６）を受けた情報信頼性評価部３０５によって判定され、あおり補正係数設定部３０２ｂに受け渡される（３００７）。信頼性は大小２つの閾値（位置合わせ：６００、６０１、姿勢制御：６１０、６１１）によって区切られた３つの信頼性区間に分けられる。すなわち、値が十分に信頼できる場合（位置合わせ：Ｇｒ６０４、姿勢制御：Ｐｒ６１４）、信頼できない場合（位置合わせ：Ｇｕｒ６０２、姿勢制御：Ｐｕｒ６１２）、およびその中間（位置合わせ：Ｇｐｒ６０３、姿勢制御：Ｐｐｒ６１３）である。

例えばジャイロセンサーの場合において、上記区分がどうなるかを説明する。ジャイロセンサーを静置していた場合でも出力される信号があり、これをオフセットと呼ぶ。このオフセットは個体ごとにことなり、さらに温度などによっても強度が変わるのが一般的である。通常は常温で静置しておいた時のオフセット量を撮像装置内の二次記憶装置１０８に保存しておき、使用するときに出力信号からオフセットを減算した値を使用する。しかし高温下もしくは低温下ではオフセットが常温とはことなるために正確にオフセット分を除去できない。またパノラマ撮影では一度の撮影で何十枚も撮影することもあり、撮像装置の温度が上昇しやすい。このような場合、オフセットが除去しきれずジャイロセンサー情報から取得した移動量が正確に算出できないことがある。このため、温度情報取得部１１１から取得された１枚目ないしは２枚目撮像時のジャイロセンサー温度が常温から離れているほど、信頼性が低いとみなす。具体的には、ジャイロセンサーの温度が、メーカーが保証する動作温度範囲から外れている場合には、その値を判断に用いることはできないため、信頼性なし（Ｐｕｒ）に区分する。一方、動作温度範囲内において、特に常温前後の場合は信頼性が高い（Ｐｒ）と区分し、前記ＰｕｒとＰｒの中間の場合は中程度の信頼性（Ｐｐｒ）に区分する。

対応点算出の信頼性は、低コントラスト領域が画像中に占める割合、繰り返しパターンが画像中に占める割合、移動体が占める割合、前記で算出した対応点数のうちの少なくとも一つを評価基準とする。図７はスイング方向が７００方向である場合の、撮像１枚目７０１、２枚目７０２、３枚目７０３の画像の位置関係と２つの対応点信頼性算出区間７０４および７０５の位置関係を示す概念図である。一つ目の対応点信頼性算出区間は、１枚目ないしは２枚目の位置合わせフレーム７０４の領域である。フレーム内の各ブロック内において低コントラスト領域が多い場合、全体の特徴点抽出数が少なくなるため、次ステップで対応点数を比較する時の信頼性が低いと判定する。また、各ブロック内が例えばタイルなどの繰り返しパターンで占められていた場合、２枚の画像間の差分が小さくなる位置が複数検出され、特徴点の対応関係が正しく算出されないため対応点算出の信頼性が低いと判定する。さらに、他ブロックよりも移動量が大きい対応点が検出されたブロックは移動体を検出している可能性が高く、信頼性が低いという判定となる。また、算出した対応点数が最大値の１割に満たない場合や、対応点が線状に連続的に並んでいる場合（水平線などのみ検知）は、信頼性が低いという判定にする。

姿勢情報の信頼性は、前記で述べたジャイロセンサーの温度（基準温度からの差）を評価基準とする。

信頼性評価部３０５は上記に述べた判定基準を基に対応点算出および姿勢情報の信頼性を区分し、あおり補正係数設定部３０２ｂに情報を受け渡す（３００７）。あおり補正係数設定部３０２ｂは、図６（ｃ）にあるように、対応点算出とジャイロセンサーの信頼性区分の組合せによってあおり補正係数を対応点算出もしくは姿勢情報のどちらに基づいて設定するかを決定し、画像補正部３０３ｂにあおり補正係数を設定する。対応点算出と姿勢情報の信頼性区分が異なる場合は、より信頼性が高い区分の方のあおり補正係数を採用する（ｒ＞ｐｒ＞ｕｒ）。例えば、Ｓ４１１の対応点算出の信頼性がない（Ｇｕｒ）場合で、ジャイロセンサーの信頼性が十分に高い（Ｐｒ）場合や中程度の信頼性（Ｐｐｒ）の場合はジャイロセンサーの回転情報のみから係数を設定する。一方、Ｓ４０９で対応点算出と姿勢情報の信頼性区分が同じ区分である場合、すなわちＰｒとＧｒ、ＰｐｒとＧｐｒの組合せである場合は、Ｓ４１０のように両者が同じ結論（あおり補正係数）ならばすでに対応点算出結果から設定されているあおり補正係数を残し、別の結論であるならば、後述する３枚目以降を追加することで信頼性を上げられるかの判定Ｓ４１３を行う。ＰｕｒとＧｕｒの組合せの場合は、どちらも信頼できない結果のため、後述する３枚目以降を追加することで信頼性を上げられるかの判定Ｓ４１３を行う。

対応点算出の信頼性および姿勢情報の信頼性の両方が低い場合、もしくは両者が異なる結論を示していた場合においては、あおり補正係数設定部３０２ｂは信頼性評価部３０５に、３枚目以降を用いてあおり補正をするかしないかの判定をすれば信頼性を上げられるかどうかを調べる指示を出す（３０１０、Ｓ４１３）。図７の対応点の信頼性算出区間２（７０５）は、２枚目画像の３枚目以降との『のりしろ』となる部分であり、ここを調べることで３枚目以降を使用すれば対応点算出の精度を上げられるか判定できる。信頼性評価部３０５は、２枚目の対応点の信頼性算出区間２（７０５）において低コントラスト領域、繰り返しパターン領域、移動体領域の検出から少なくとも１つを行う。信頼性評価部３０５が３枚目で対応点算出の信頼性区分が上がると認定した場合は、撮影３枚目に対し、２枚目と３枚目で再度上記フローを行う。一方、信頼性評価部３０５から２枚目の対応点の信頼性算出区間２（７０５）で対応点算出の信頼性区分が上がらないと入力を受けたあおり補正係数設定部３０２ｂは、あおり補正係数に前記係数１を設定して、本処理を終了する。

次に、３枚目以降（ただし、上記フローで３枚目を信頼性算出に用いた場合は、４枚目以降）における処理フローを説明する。図２（ｂ）に示すように、３枚目以降では、前記１、２枚目で決定したあおり補正係数を用いてパノラマ撮影を行う。３、４枚目を撮像後２１０、現像処理を行いＳ２１１、画像前処理Ｓ２１２として円筒変換Ｓ２１２０およびあおり補正Ｓ２１２１を行う。あおり補正で使用するあおり補正係数は、図２（ａ）のフローで決定し、画像補正部３０３ｂに入力されたものを用い、以後の撮像でも同じ係数を用いる。これは、撮像間で異なるあおり補正係数を使用した場合、補正後画像の上下サイズや画像内の被写体の画像全体に対する相対的な位置が異なってしまうため、位置合わせ作業が困難になるためである。その後、あおり補正を掛けた（係数１の場合は実質掛けていない）２枚の画像の対応点検出Ｓ２１３を行い、対応点がどのくらい動いたか示す移動ベクトルを検出する。

次に、２枚の画像をどの程度移動させて合成すればよいか調べるために、３枚目画像に対し４枚目の画像を変形させて最小の差分となる変換方法を探すＳ２１４。変換方法には既存の方法が適用される。具体的には、回転や平行移動が可能なユークリッド変換、アフィン変換、さらに台形補正が可能な射影変換などがあげられるが、平行移動のできない線形変換は使用できない。

Ｘ軸、Ｙ軸への移動や回転の場合はユークリッド変換で可能であるが、実際にカメラで撮影する場合の手ブレは前後方向やパン・チルト方向の手振れなどもあり、一般的には拡大、スキューなども補正可能なアフィン変換が用いられる。このアフィン変換を例に挙げるならば、基準となる対応点の座標（ｘ，ｙ）が座標（ｘ’、ｙ’）に移動する場合、以下の式４で表わされる。

この時に３×３行列をアフィン係数と呼ぶ。この方程式からアフィン変換では最低３か所の対応点のずれが検出できればアフィン係数を算出可能である。ただし、対応点が近い距離にしか見つからない場合や、直線状になってしまう場合はその対応点よりも遠い個所の変換が不正確になることから、互いに遠くて直線状にない対応点を選択することが好ましい。一方、複数の対応点が検出された場合は、互いに近い対応点を省いて残りを最小二乗法で正規化を行う。

このように算出されたアフィン係数で４枚目の画像を変形して位置合わせを行ないＳ２１５、２枚の画像を合成するＳ２１６。なお合成時は境界が目立たないように合成比率を変えながら合成することが好ましい。

なお、本実施形態では、あおり補正の判定に使用した１、２枚目の画像を最終合成画像には使用しない構成について述べたが、１次記憶装置１０４に１、２枚目の画像を保持しておき、３枚目以降の合成が終了した後に、画像の先頭に戻って合成することが好ましい。また、１、２枚目の追加合成時に画像位置合わせが信頼できない（Ｇｕｒ）場合は、ジャイロセンサー情報（１、２枚目撮像時に取得し、一次記憶装置１０４に保持）で位置合わせを行うことが好ましい。

上記処理により、画像の対応点抽出の信頼性が不十分なシーンにおいても、あおり補正を適切に掛けることができ、高品質なパノラマ画像を得ることができる画像処理装置および方法、並びにプログラムを提供することができる。

（実施形態２）
実施形態１では、最初の２枚において、画像の前処理として円筒変換とあおり補正を行った。

しかしながら、画像処理装置１００のあおり角度が非常に大きい場合（例えば４５°など）、図５（ａ）における円柱８０６の上部のすぼまりがきつくなる。すなわち、画像８０８の曲がりが大きくなる。曲がりが大きい状態で画像の対応点算出を行うと、同一フレーム内に被写体の同一箇所が入らず、評価できなくなるため、あおり補正の前にフレームに入る程度に画像の曲がりを修正する回転補正を行うことが望ましい。

実施形態２では、あおり補正の前に回転補正を行う例について説明する。フローチャートは実施形態１で使用した図４を用いる。

実施形態１では円筒変換Ｓ４０２後にあおり補正Ｓ４０３を行っていたが、実施形態２では円筒変換とあおり補正の間に画像の回転補正を行う。回転補正量は、ジャイロセンサーのロール値から計算した回転角を使用し、回転を行うことができる既知の変換（例えばユークリッド変換など）で回転させる。回転角の算出方法は実施形態１であおり補正係数の算出時にロール方向の角度を求めた方法が使用される。

以上によって、実施形態２ではあおり補正前に回転補正を行うことで、画像処理装置の傾きが大きい場合であっても対応点算出が可能となる。

（実施形態３）
実施形態１では、判定用画像用のあおり補正係数算出に加速度センサーの値を使用した。しかしながら、画像処理装置１００のあおり角が微量だった場合に加速度センサーから求められるあおり角の精度が不十分な場合がある。

実施形態３では、加速度センサーの値から算出したあおり角に加えて、前記あおり角に＋１５度〜−１５度した角度範囲の少なくとも１つ以上の角度を使用してあおり補正を行い、その中で最も対応点が多くなる角度を正しいあおり角として採用する。前記角度範囲の理由は、画像処理装置１００を手持ちした場合の加速度センサーから算出される角度の誤差が最大１５度前後であったためである。

なお、前記角度の範囲は現加速度センサーの精度に基づいたものであり、加速度センサーの精度が向上した場合は角度範囲を狭めても良い。逆に、コストダウンのため、より精度の低い加速度センサーを採用する場合は、角度範囲を広げることが望ましい。

以上によって、実施形態３では画像処理装置１００のあおり角が微量だった場合においても、適切なあおり補正を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限られるものではない。

１００画像処理装置、１０１光学系、１０２撮像素子、１０３ＣＰＵ、
１０４一次記憶装置、１０５姿勢情報取得部、１０６画像処理部、
１０７記憶媒体、１０８二次記憶装置、１０９表示部、１１０操作部、
１１１温度情報取得部、３００撮像部、３０１姿勢情報取得部、
３０２ａあおり補正係数設定部、３０２ｂあおり補正係数設定部、
３０３ａ画像補正部、３０３ｂ画像補正部、３０４画像位置合わせ部、
３０５信頼性評価部

Claims

撮像素子によって撮影された画像を順次入力し、入力の画像をつなぎ合わせて合成画像を生成する画像処理装置であって、
前記撮像素子で撮影する撮像部と、
前記画像処理装置の姿勢情報を取得する姿勢情報取得部と、
前記撮像部で撮影された画像を幾何変形する画像補正部と、
前記基準画像の特徴点と前記対象画像の特徴点との対応関係を算出し、対応関係の算出結果を基に画像の位置合わせを行う画像位置合わせ部と、
前記姿勢情報および前記対応関係算出の信頼性を評価する信頼性評価部と、
あおり補正係数を設定するあおり補正係数設定部と、
前記位置合わせされた画像を合成する画像合成部を有し、
前記撮影開始時に、
前記姿勢情報取得部が撮像部の姿勢情報を取得し、
前記補正係数設定部が前記姿勢情報あるいは任意の設定値を基にあおり補正係数を画像補正部に入力し、
前記画像補正部で、前記撮像された少なくとも２枚の画像に対してあおり補正を施した判定用仮画像を作成し、
前記画像位置合わせ部で、前記判定用仮画像とあおり補正を施す前の画像のそれぞれに対して特徴点の対応関係算出を行い、前記判定用仮画像とあおり補正を施す前の画像の間で対応数を比較して大小関係を求め、
前記信頼性評価部で前記姿勢情報および前記対応関係算出の信頼性を評価して前記あおり補正係数設定部に入力し、
前記あおり補正係数設定部は、前記信頼性の評価を基に撮像部の姿勢情報および対応数の大小関係のいずれから画像補正部にあおり補正係数を入力し、
前記画像補正部で前記あおり補正係数を基に撮影された画像をあおり補正し、
前記画像合成部で前記あおり補正済み画像をつなぎ合わせて合成画像を生成することを特徴とする画像処理装置。
前記姿勢情報取得部として加速度センサーを備え、前記判定用仮画像作成の際に、あおり補正には、撮像時の加速度センサー情報のピッチ角およびヨー角の内、スイング方向に対して直交する方向の角度をパラメータとして使用することを特徴とする請求項１に記載の画像補正部。
前記判定用仮画像作成の際に、前記加速度センサーから求められるあおり角に加えて、前記あおり角に＋１５度〜−１５度した角度範囲の少なくとも１つ以上の角度を使用してあおり補正係数を算出すること特徴とする請求項２に記載の画像補正部。
前記姿勢情報取得部としてジャイロセンサーを備え、前記判定用仮画像作成の際に、前記ジャイロセンサーのロール角を用いてユークリッド変換を行うことで回転補正をすることを特徴とする請求項１に記載の画像補正部。
前記撮像部の姿勢情報の信頼性は、ジャイロセンサー乃至はジャイロセンサー近傍の温度（基準温度からの差）であることを評価基準とする請求項１に記載の信頼性評価部。
前記対応点算出の信頼性は、低コントラスト領域が画像中に占める割合、繰り返しパターンが画像中に占める割合、移動体が占める割合、前記対応点数、前記対応点の並びかたのうちの少なくとも一つを評価基準とする請求項１に記載の信頼性評価部。
信頼性評価部は、前記撮像部の姿勢情報および対応数の信頼性を２つの信頼度の閾値によって分けられた、３段階の信頼性区分に分けることを特徴とする請求項１に記載の信頼性評価部。
請求項７に記載の信頼性評価部を有し、前記撮像部の姿勢情報および対応数の信頼性の区分が異なる場合は信頼性の高い方の結果を採用する請求項１に記載のあおり補正係数設定部。
前記撮像部の姿勢情報および対応数の信頼性の区分が同じであるが算出されたあおり補正係数が異なる場合、乃至は両方が信頼できない場合は、前記基準画像乃至は対応画像の一部から次の撮像の画像位置合わせの信頼性を推測することを特徴とする請求項８に記載のあおり補正係数設定部。
前記撮像部の姿勢情報からあおり補正係数を設定する際に、使用する撮像部の姿勢情報とは撮像時のジャイロセンサーのロール角であり、ロール角が回転を示す値だった場合に、判定用仮画像作成に使用したあおり補正係数を画像補正部に設定することを特徴とする請求項１に記載のあおり補正係数設定部。
前記対応数は、テンプレートマッチングのマッチング数、あるいは画像位置合わせベクトルのベクトル数であり、あおり補正係数の設定は上記マッチング数乃至はベクトル数が大きい方を採用することを特徴とする請求項１に記載のあおり補正係数設定部。