JP2016025447A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】本発明の目的は、ユーザーに手間が掛らず、しかもメモリの使用量を低減して超解像処理を行う。【解決手段】複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う際、位置合わせパラメータ算出部２０３は複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、基準画像と非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する。超解像処理判断部２０９は位置合わせパラメータに応じて、非基準画像の各々について当該非基準画像を超解像処理に用いるか否かを判定する。超解像処理部２１２は超解像処理に用いると判定された非基準画像と基準画像とを用いて超解像処理を行って高解像度の画像を生成する。【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、複数枚の低解像度の画像から１枚の高解像度の画像を生成する画像処理装置に関する。

複数枚の低解像度の画像から１枚の高解像度の画像を生成する技術として所謂複数枚超解像手法が知られている。複数枚超解像手法は、デジタルカメラなどの画像処理装置において、電子ズーム又は動画の画質を上げる際の用途などにおいて用いられている。

複数枚超解像手法の１つとして、例えば、ベイヤー配列の色フィルタを有する撮像素子で得られた低解像度画像を用いて色成分毎に高解像度画像を生成して、これら色成分毎の高解像度画像から１枚の高解像度画像を生成する手法がある。

ところで、画像を１枚毎に表示部に表示して、ユーザーの確認および評価に応じて合成に用いる画像および画像の領域を指定するとことによって、画像合成を行うようにした画像処理装置がある（特許文献１参照）。ここでは、複数枚の画像を選択的に用いて画像合成を行って、合成の際に用いるデータ量を少なくしつつ画像合成を行うようにしている。

特開２００１−３６８０９号公報

しかしながら、上述の特許文献１に記載の手法を用いたとしても、複数枚超解像手法においては、膨大な枚数の非基準画像が必要であることを考慮すると、非基準画像の全てを表示して評価する必要がある。そして、複数枚超解像手法に用いる非基準画像および画像領域を指定することは、ユーザーとって極めて面倒であり、しかも表示された非基準画像を評価することは、ユーザーにとって極めて困難である。

そこで、本発明の目的は、ユーザーに手間が掛らず、しかもメモリの使用量を低減して超解像処理を行うことができる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う画像処理装置であって、前記複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、前記基準画像と前記非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する算出手段と、前記位置合わせパラメータに応じて、前記非基準画像の各々について当該非基準画像を前記超解像処理に用いるか否かを判定する判定手段と、前記判定手段によって前記超解像処理に用いると判定された非基準画像と前記基準画像とを用いて前記超解像処理を行って前記高解像度の画像を生成する生成手段と、を有することを特徴とする。

本発明による制御方法は、複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う画像処理装置の制御方法であって、前記複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、前記基準画像と前記非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する算出ステップと、前記位置合わせパラメータに応じて、前記非基準画像の各々について当該非基準画像を前記超解像処理に用いるか否かを判定する判定ステップと、前記判定ステップで前記超解像処理に用いると判定された非基準画像と前記基準画像とを用いて前記超解像処理を行って前記高解像度の画像を生成する生成ステップと、を有することを特徴とする。

本発明による制御プログラムは、複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、前記基準画像と前記非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する算出ステップと、前記位置合わせパラメータに応じて、前記非基準画像の各々について当該非基準画像を前記超解像処理に用いるか否かを判定する判定ステップと、前記判定ステップで前記超解像処理に用いると判定された非基準画像と前記基準画像とを用いて前記超解像処理を行って前記高解像度の画像を生成する生成ステップと、を実行させることを特徴とする。

本発明によれば、非基準画像の各々について当該非基準画像を超解像処理に用いるか否かを判定して、超解像処理に用いると判定された非基準画像と基準画像とを用いて超解像処理を行う。これによって、ユーザーに手間が掛らず、しかもメモリの使用量を低減して超解像処理を行うことができる。

本発明の第１の実施形態による画像処理装置の一つである撮像装置の一例についてその構成を示すブロック図である。 図１に示す画像処理部の一例についてその構成を示すブロック図である。 図２に示す画像処理部で行われる超解像処理を説明するためのフローチャートである。 図２に示す移動体領域算出部で検出される局所的な移動体領域を説明するための図である。 図３に示す挿入ＭＡＰの生成について説明するための図である。 図３に示す挿入ＭＡＰの合成処理を説明するための図である。 図２に示す画像処理部において行われる超解像処理で用いられる画像（非基準画像）の枚数および処理順序の一例を示す図である。 図２に示す画像処理部において超解像処理を行う際に超解像処理を行う領域が指定されている場合の処理を説明するための図である。 本発明の第２の実施形態による画像処理装置の一例を示すブロック図である。 図９に示す画像処理部の一例についてその構成を示すブロック図である。 図１０に示す画像処理部で行われる画像記録出力処理を説明するためのフローチャートである。 低解像度画像から色成分毎の高解像度画像を生成する手法を説明するための図である。 図１２に示す処理を行うために必要な画像を説明するための図である。 超解像画像の生成に当たって消費されるメモリ容量を説明するための図である。 低解像度画像に対する高解像度画像の拡大倍率と超解像処理において低解像度画像の最低限枚数との関係を示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

まず、複数枚の画像を用いて高解像度画像を生成する複数枚超解像手法について、以下に述べる。ここで解像度とは、画像における空間解像度を指し、より高解像度の画像とは、より高い周波数帯域の成分まで表現可能な画像であることを意味する。以下の本実施形態においては特に、ある画角の被写体像を表現するために用いる画素数が相対的に少ない画像を解像度の低い画像として低解像度画像、ある画角の被写体像を表現するために用いる画素数が相対的に多い画像を解像度の高い画像として高解像度画像と呼ぶことにする。

図１２は、低解像度画像から色成分毎の高解像度画像を生成する手法を説明するための図である。

図１２において、まず、ベイヤー配列のＲ（赤）、Ｇ（緑）、およびＢ（青）の色フィルタを有する撮像素子で得られた低解像度画像１２ａをＲ、Ｇ、およびＢの色成分毎の低解像画像１２ｂ、１２ｃ、および１２ｄに分解する。

次に、低解像度画像１２ａの水平画素数Ｗおよび垂直画素数Ｈに対して、水平画素数２Ｗおよび垂直画素数２Ｈの高解像度画像を生成する際、色成分毎の低解像画像１２ｂ、１２ｃ、および１２ｄを水平および垂直に２倍に拡大した画像１２ｅ、１２ｆ、および１２ｇを生成する。画像１２ｅ、１２ｆ、および１２ｇにおいてグレー色で示す位置の画素を他の低解像度画像から生成して、色成分毎の高解像度画像（超解像画像）１２ｈ、１２ｉ、および１２ｊを生成する。

図１３は、図１２に示す処理を行うために必要な画像を説明するための図である。なお、図１３にはＧ成分のみが示されている。

図１２で説明した処理を行うためには、位置合わせの基準となり、高解像度画像を生成する際の画角の基準となる画像（以下基準画像と呼ぶ）１３ａが１枚必要となる。そして、前述のように基準画像１３ａを拡大して拡大後の基準画像１３ｂを得る。

さらに、基準画像から高解像画像を生成する際に生成すべきグレー色で示す位置の画素を生成するため、複数枚の画像が必要となる。ここで、高解像画像を生成する際に生成すべき画素を欠落画素と呼び、複数枚の画像を非基準画像１３ｃと呼ぶ。そして、複数枚の非基準画像１３ｃを用いて、超解像画像１３ｄを生成する。

非基準画像１３ｃは、欠落画素を生成するため、基準画像１３ａに対して互いに位置がずれている必要がある。位置をずらす手法として、例えば、レンズ又は撮像素子を駆動する手法、さらには、撮影者の手振れを用いる手法がある。

ところが、複数枚超解像手法において、高解像度画像（超解像画像）を生成する際に必要な非基準画像の枚数が膨大となってしまい、その結果、処理の際に用いるメモリ容量が増大してしまう。

図１４は、超解像画像の生成に当たって消費されるメモリ容量を説明するための図である。

いま、基準画像１３ａにおいて、非基準画像１３ｃの画素１４ａから欠落画素１４ｂを生成しようとする際、欠落画素１４ｂと非基準画像１３ｃの画素１４ａとの位置関係は図示のようになる。ここでは、欠落画素１４ｂの中心位置が黒点で示され、非基準画像１３ｃの画素１４ａの中心位置が白点で示されている。このように、欠落画素１４ｂの中心位置と画素１４ａの中心位置とが一致しないことが多い。

このような不一致はレンズ又は撮像素子を所望の精度で駆動制御できない場合、そして、手振れなどの不安定要素を用いる場合に発生する。このため、非基準画像の画素値から欠落画素値を生成すると、重心位置（つまり、中心位置）がずれているため、高解像度画像の画質に影響がでてしまう。

高解像度画像の画質に対する影響を低減するためには、欠落画素の中心位置と非基準画像の画素の中心位置間との距離ｄを求める。そして、距離ｄに応じて、欠落画素値を生成するか否かを判定しつつ高解像度画像を生成する。その後、高解像度画像に対してエッジの方向別フィルタリング処理を行って、画質の良好な高解像度画像を生成する。この処理を行うためには、膨大な枚数の非基準画像が必要となって、その結果、メモリ容量が増大してしまう。

さらに、高解像度画像における解像度を考慮すると、膨大な枚数の非基準画像が必要となる。

図１５は、低解像度画像に対する高解像度画像の拡大倍率と超解像処理において低解像度画像の最低限枚数との関係を示す図である。

図１５に示すように、低解像度画像に対して２倍の拡大倍率の高解像度画像を生成しようとすると、低解像度画像は最低１６枚必要となる。また、４倍の拡大倍率の高解像度画像を生成する際には、低解像度画像は最低６４枚必要となる。さらに、８倍の拡大倍率の高解像度画像を生成する際には、低解像度画像は最低２５６枚必要となり、拡大率が２倍となると、必要とする低解像度画像の枚数が４倍に増えることになる。

このように、複数枚超解像手法においては、高解像度画像を生成する際に必要な非基準画像の枚数が膨大な枚数になってしまい、メモリ容量を大量に使用してしまうことになる。そこで、本実施形態では、撮影の結果得られた複数の画像から超解像処理を行う際に、超解像処理に用いる画像を選別することを特徴とする。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一つである撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像光学系（以下単に光学系と呼ぶ）１０１を有している。この光学系１０１は、ズームレンズおよびフォーカスレンズを有するレンズ群、絞り調整装置、およびシャッター装置（ともに図示せず）を備えている。そして、光学系１０１によって、撮像素子１０２に結像する被写体像（光学像）の倍率、ピント位置、および光量が調整される。

光学系１０１の後段には、撮像素子１０２が配置されている。撮像素子１０２は、例えば、ＣＣＤ又はＣＭＯＳセンサーであり、光学１０１を通過した光学像を光電変換によって電気信号（アナログ信号）に変換する。Ａ／Ｄ変換部１０３は、撮像素子１０２の出力であるアナログ信号を受けて、当該アナログ信号をデジタル画像信号に変換する。

画像処理部１０４は、デジタル画像信号に対して所定の信号処理を行う。さらに、画像処理部１０４は、入力された複数枚の画像（つまり、デジタル画像信号）の各々について超解像処理に用いる画像として適切であるか否かを評価する評価処理を行う。そして、画像処理部１０４は、評価結果によって適切であると評価された画像のみを用いて超解像処理を行う。

なお、画像処理部１０４はＡ／Ｄ変換部１０３の出力であるデジタル画像信号ばかりでなく、記録部１０９から読み出された画像データについても同様にして画像処理を行うようにしてもよい。

駆動制御部１０５は、絞り、感度、焦点距離、ピント位置の調整、および手振れ補正を行うため、光学系１０１および撮像素子１０２を駆動制御する。図示の例では、複数枚超解像処理（複数枚超解像手法）で使用可能な画像を取得するため、駆動制御部１０５は画像毎に撮影画角をずらす制御も行う。そして、当該駆動制御については、カメラを動かすことなく撮影する三脚撮影などのシーンで行われる。

システム制御部１０６は、カメラ全体の動作を制御および統括する制御機能部である。システム制御部１０６は画像処理部１０４の出力である画像データから得られた輝度値および操作部１０７で入力された指示に基づいて、駆動制御部１０５を制御して光学系１０１および撮像素子１０２を駆動制御する。

表示部１０８は、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであり、システム制御部１０６は画像処理部１０４の出力である画像データ又は記録部１０９から読み出した画像データに応じた画像を表示部１０８に表示する。記録部１０９には画像データが記録される。記録部１０９として、例えば、半導体メモリが搭載されたメモリカードおよび光磁気ディスクなどの回転記録体を収容したパッケージを用いた情報記録媒体を用いるようにしてもよく、この情報記録媒体はカメラに着脱可能であってもよい。

なお、画像処理部１０４、駆動制御部１０６、システム制御部１０６、表示部１０８、および記録部１０９はバス１１０によって相互に接続されている。

図２は、図１に示す画像処理部１０４の一例についてその構成を示すブロック図である。

図示の画像処理部１０４は、画像入力部２０１、現像処理部２０２、位置合わせパラメータ算出部２０３、移動体領域算出部２０４、挿入ＭＡＰ生成部２０５、挿入ＭＡＰ合成部２０６、期待値算出部２０７、挿入ＭＡＰ記録部２０８、超解像処理判断部２０９、入力画像一時記録部２１０、画像記録部２１１、および超解像処理部２１２を備えている。

図３は、図２に示す画像処理部１０４で行われる超解像処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はシステム制御部１０６の制御下で行われる。

図２および図３を参照して、超解像処理を開始すると、システム制御部１０６の制御下で、画像入力部２０１はＡ／Ｄ変換部１０３からＮ枚目のデジタル画像信号（以下単に画像とも呼ぶ）を取得する（ステップＳ３０１）。ここで、Ｎは自然数であり、まず、Ｎ＝１、つまり、第１の画像が取得される。そして、画像入力部２０１で取得された画像は、入力画像として入力画像一時記憶部２１０に格納される。

続いて、現像処理部２０２は、Ｎ枚目の画像について現像処理を行って、ユーザーが視認可能な表示用画像（現像処理後の画像）とする（ステップＳ３０２）。ここで、現像処理とは、例えば、シェーディング処理、傷などのセンサー補正処理、ホワイトバランス補正処理、ノイズ低減処理、エッジ強調処理、色マトリクス処理、およびガンマ補正処理を含む処理である。

次に、位置合わせパラメータ算出部２０３は基準画像に対するＮ枚目の画像の位置合わせパラメータを算出する（ステップＳ３０３）。ここで基準画像とは、位置合わせの基準となる画であるとともに、超解像処理による高解像度画像生成の基準となる画像をいう。基準画像以外の残りの画像は非基準画像とする。

図示の例では、１枚目の画像が基準画像であり、２枚目以降の画像は非基準画像である。つまり、最初の撮影の結果得られた画像はユーザーが撮影の際に選択した画角で撮影されており、当該画角は超解像処理において高解像度化する際に最適な画角であるので、１枚目の画像が基準画像とされる。

なお、基準画像に対する位置合わせパラメータは、式（１）に示す射影変換係数ａ_０〜ａ_７をいう。射影変換係数ａ_０〜ａ_７は、例えば、最小二乗法などを用いた既知の方法で求めることができる。

次に、移動体領域算出部２０４は位置合わせパラメータを用いて、現像後のＮ枚目の非基準画像を画像変形して、１枚目の画像である基準画像との位置合わせを行う。そして、移動体領域算出部２０４は位置合わせの結果に応じて局所的な移動体領域を検出する（ステップＳ３０４）。

図４は、図２に示す移動体領域算出部２０４で検出された局所的な移動体領域を説明するための図である。

図４において、位置合わせパラメータを用いて、基準画像４ａに対して非基準画像４ｂを位置合わせする。なお、基準画像４ａおよび非基準画像４ｂの各々には局所的な移動体４０１が存在する。局所的な移動体４０１の存在によって、位置合わせを行うと、画像４ｃにおいて白領域４０２で示すように、基準画像４ａと非基準画像４ｂとにおいてその位置が合わない領域が存在する。この位置が合わない領域を局所的な移動体領域と呼ぶ。

再び図２および図３を参照して、挿入ＭＡＰ生成部２０５は、前述の位置合わせパラメータおよび局所的な移動体領域に基づいて、後述するようにして、Ｎ枚目の挿入ＭＡＰを生成する（ステップＳ３０５）。続いて、挿入ＭＡＰ合成部２０６は、後述するようにして、Ｎ枚目の挿入ＭＡＰと（Ｎ−１）枚目までの処理で保存した挿入ＭＡＰとを合成する合成処理を行って、合成挿入ＭＡＰを生成する（ステップＳ３０６）。

次に、期待値算出部２０７は、合成挿入ＭＡＰと（Ｎ−１）枚目までの処理で保存した挿入ＭＡＰとに基づいて、Ｎ枚目の画像に係る期待値を算出する（ステップＳ３０７）。ここで、Ｎ枚目の画像に係る期待値とは、Ｎ枚目の非基準画像を超解像処理に用いた際に超解像処理の効果が期待できる否かを示す数値である。期待値が大きい程、超解像の効果が期待できることになる。なお、Ｎ枚目の期待値の算出手法については、後述する。ここでは、Ｎ枚目の画像に係る期待値をＥ（Ｎ）で表す。

続いて、超解像処理判断部２０９は、期待値Ｅ（Ｎ）に基づいて、Ｎ枚目の非基準画像を記録するか否かを判定する。つまり、超解像処理判断部２０９は、Ｎ枚目の非基準画像を用いて超解像処理を行うか否かを判定することになる（ステップＳ３０８）。ここでは、期待値Ｅ（Ｎ）≧所定の閾値ＴＨ＿Ｅであると、超解像処理判断部２０９はＮ枚目の非基準画像を用いて超解像処理を行うと判定する。

期待値Ｅ（Ｎ）≧閾値ＴＨ＿Ｅであると（ステップＳ３０８において、ＹＥＳ）、超解像処理判断部２０９は、入力画像一時記録部２１０に記録されたＮ枚目の非基準画像（現像処理前）を画像記録部２１１に記録する（ステップＳ３０９）。そして、超解像処理判断部２０９は合成挿入ＭＡＰを挿入ＭＡＰ記録部２０８に上書き保存する（ステップＳ３１０）。なお、閾値ＴＨ＿Ｅは、予め設定された固定値であるが、撮影シーンに応じて閾値ＴＨ＿Ｅを変化させるようにしてもよい。

続いて、システム制御部１０６は（Ｎ＋１）枚目の画像を画像入力部２０１で取得するか否かを判定する（ステップＳ３１１）。この判定は、例えば、操作部１０７から入力される指示に応じて行われる。

（Ｎ＋１）枚目の画像を取得すると判定すると（ステップＳ３１１において、ＮＯ）、システム制御部１０６はＮ＝Ｎ＋１として（ステップＳ３１２）、ステップＳ３０１の処理に戻る。一方、（Ｎ＋１）枚目の画像を取得しないと判定すると（ステップＳ３１１において、ＮＯ）、システム制御部１０６の制御下で、超解像処理部２１２は画像記録部２１１に記録された非基準画像を用いて超解像処理を行う。

なお、超解像処理については、例えば、前述の画素挿入による高解像度化処理又はＭＡＰ法を用いた再構成型超解像処理などの手法があり、基地であるのでここでは詳細な説明を省略する。

期待値Ｅ（Ｎ）＜閾値ＴＨ＿Ｅであると（ステップＳ３０８において、ＮＯ）、超解像処理判断部２０９は、Ｎ枚目の非基準画像を記録しないと判定して、入力一時記録部２１０に記録された入力画像（Ｎ枚目の非基準画像）破棄して、ステップＳ３１１の処理に進む。

図５は、図３に示す挿入ＭＡＰの生成について説明するための図である。

挿入ＭＡＰとは、超解像処理を行った際に、基準画像に応じた高解像度画像においていずれの画素位置が埋まるか否かを示す画像をいう。図示の例では、ユーザーに対する解像感の寄与度が高いＧ成分に着目して、挿入ＭＡＰの生成から期待値の算出までを行うものとする。なお、Ｇ成分のみではなく色成分の各々について挿入ＭＡＰを生成して、期待値を算出するようにしてもよい。

基準画像に応じた高解像度画像５０２とＮ枚目の非基準画像のＧ成分５０１とを位置合わせする。ここで、破線で示す画像５０３はＮ枚目の非基準画像のＧ成分５０１を示す。そして、高解像度画像５０２上において、Ｎ枚目の非基準画像のＧ成分画素の中心位置が白丸で示されている。

拡大して示す画素５０４において、白丸はＧ成分画素の中心位置（ｘ’，ｙ’）を示し、黒丸は、高解像度画像５０２の画素の中心位置（ｘ，ｙ）を示す。そして、次の式（２）によって、中心位置（ｘ’，ｙ’）と中心位置（ｘ，ｙ）との画素間の距離ｄ（ｘ，ｙ）が求められる。

ここでは、挿入ＭＡＰ生成部２０５は、式（２）によって求めた距離ｄ（ｘ，ｙ）を用いて挿入ＭＡＰを生成する。

例えば、挿入ＭＡＰ生成部２０５は、次の式（３）を用いて距離ｄ（ｘ，ｙ）に応じて、挿入ＭＡＰｉ（ｘ，ｙ）５０５を作成する。ここで、閾値ＴＨ＿ｄ（距離閾値）は挿入ＭＡＰｉ（ｘ，ｙ）を調整するための閾値であって、ＭＡＸは挿入ＭＡＰで取りうる最大の値である。

ｄ（ｘ，ｙ）≦ＴＨ＿ｄ⇒ｉ（ｘ，ｙ）＝ｄ（ｘ，ｙ）
ｄ（ｘ，ｙ）＞ＴＨ＿ｄ⇒ｉ（ｘ，ｙ）＝ＭＡＸ （３）

ここでは、距離ｄ（ｘ，ｙ）が閾値ＴＨ＿ｄ以下であると、挿入ＭＡＰｉ（ｘ，ｙ）＝距離ｄ（ｘ，ｙ）とし、さらに、挿入ＭＡＰ生成部２０５は対象画素が局所的移動体領域に該当するか否かを判定して、挿入ＭＡＰｉ（ｘ，ｙ）を更新する。

つまり、挿入ＭＡＰ５０６のように、対象画素が局所的な移動体領域（移動領域）に該当する場合には、挿入ＭＡＰ生成部２０５は挿入ＭＡＰｉ（ｘ，ｙ）をＭＡＸに更新する。一方、対象画素が局所的な移動体領域（移動領域）に該当しない場合には、挿入ＭＡＰ生成部２０５は式（３）によって求めた挿入ＭＡＰｉ（ｘ，ｙ）を用いる。

なお、閾値ＴＨ＿ｄとして、予め設定された固定値が用いられるが、閾値ＴＨ＿ｄを位置合わせパラメータに応じて調整するようにしてもよい。例えば、位置合わせパラメータである射影変換係数のうち、回転・拡縮成分を示すａ_０、ａ_１、ａ_３、およびａ_４と、あおり成分を示すａ_６およびａ_７とに応じて閾値ＴＨ＿ｄを調整するようにしてもよい。

超解像処理において用いられる非基準画像は、基準画像に対してシフト成分のみによる位置変動で動く画像が望ましい。そして、回転・拡縮成分およびあおり成分が位置変動に多く含まれる非基準画像はできる限り超解像処理に用いないようにすることが望ましい。このため、位置合わせパラメータである射影変換係数のうち、回転・拡縮成分を示すａ_０、ａ_１、ａ_３、およびａ_４と、あおり成分を示すａ_６およびａ_７とに応じて閾値ＴＨ＿ｄを調整する。

図６は、図３に示す挿入ＭＡＰの合成処理を説明するための図である。

いま、挿入ＭＡＰ６０１がＮ枚目の挿入ＭＡＰであり、挿入ＭＡＰ６０２が（Ｎ−１）枚目までの処理で挿入ＭＡＰ記録部２０８に記録された挿入ＭＡＰであるとする。Ｎ枚目の挿入ＭＡＰ６０１をｉ（ｘ，ｙ）、挿入ＭＡＰ記録部２０８に記録された挿入ＭＡＰ６０２をｉ＿ｐｒｅ（ｘ，ｙ）とすると、挿入ＭＡＰ合成部２０５は、次の式（４）によって合成処理後の挿入ＭＡＰ６０３としてｉ＿ｐｏｓｔ（ｘ，ｙ）６０３を生成する。

ｉ（ｘ，ｙ）≠ｉ＿ｐｒｅ（ｘ，ｙ）⇒ｉ＿ｐｏｓｔ（ｘ，ｙ）＝ｍｉｎ（ｉ（ｘ，ｙ），ｉ＿ｐｒｅ（ｘ，ｙ））
ｉ（ｘ，ｙ）＝ｉ＿ｐｒｅ（ｘ，ｙ）⇒ｉ＿ｐｏｓｔ（ｘ，ｙ）＝ｉ＿ｐｒｅ（ｘ，ｙ） （４）

このように、Ｎ枚目の挿入ＭＡＰｉ（ｘ，ｙ）と、挿入ＭＡＰ記録部２０８に記録された挿入ＭＡＰｉ＿ｐｒｅ（ｘ，ｙ）とが一致しない場合には、挿入ＭＡＰ合成部２０５は、その値が小さい方を、合成処理後の挿入ＭＡＰｉ＿ｐｏｓｔ（ｘ，ｙ）６０３とする。一方、Ｎ枚目の挿入ＭＡＰｉ（ｘ，ｙ）と、挿入ＭＡＰ記録部２０８に記録された挿入ＭＡＰｉ＿ｐｒｅ（ｘ，ｙ）とが一致する場合には、挿入ＭＡＰ合成部２０５は、挿入ＭＡＰ記録部２０８に記録された挿入ＭＡＰの値ｉ＿ｐｒｅ（ｘ，ｙ）を、合成処理後の挿入ＭＡＰｉ＿ｐｏｓｔ（ｘ，ｙ）６０３とする。

続いて、図３に示すステップＳ３０７で行われる期待値Ｅ（Ｎ）の算出について説明する。

期待値Ｅ（Ｎ）とは、Ｎ枚目の非基準画像を超解像処理に用いた際に超解像処理の効果が期待できるか否かを示す数値である。そして、期待値Ｅ（Ｎ）が大きい程、超解像処理の効果が期待できる。

期待値算出部２０７は、合成処理後の挿入ＭＡＰと、（Ｎ−１）枚目までの処理によって保存された挿入ＭＡとに応じて、次の式（５）によって期待値Ｅ（Ｎ）を算出する。

式（５）において、ｉ＿ｐｒｅ（ｘ，ｙ）は、挿入ＭＡＰ記録部２０８に記録された挿入ＭＡＰであり。ｉ＿ｐｏｓｔ（ｘ，ｙ）は合成処理後の挿入ＭＡＰである。

ここでは、ユーザーに対する解像感の寄与度が高いＧ成分に着目して期待値Ｅ（Ｎ）を算出したが、Ｒ成分およびＢ成分の各々についても期待値を算出して、次の式（６）を用いて最終的なＮ枚目の期待値を算出するようにしてもよい。

式（６）において、Ｅ＿Ｒ（Ｎ）、Ｅ＿Ｇ（Ｎ）、およびＥ＿Ｂ（Ｎ）はそれぞれＲ成分、Ｇ成分、およびＢ成分に着目して算出したＮ枚目の期待値である。また、ａ、ｂ、およびｃは予め定められた重み係数である。これら重み係数は期待値Ｅ＿Ｒ（Ｎ）、Ｅ＿Ｇ（Ｎ）、およびＥ＿Ｂ（Ｎ）が同一の重みとなるように、１：１：１に設定してもよく、３：６：１のように輝度の重みとなるように設定してもよい。

図７は、図２に示す画像処理部において行われる超解像処理で用いられる画像（非基準画像）の枚数および処理順序の一例を示す図である。

いま、超解像処理を行う際に、Ｎ枚の画像を取得して、１枚目を基準画像７０１とし、残りの画像を非基準画像７０２とする。上述のようにして、画像処理部１０４において、期待値に応じて非基準画像の選別を行うと、期待値が低い画像７０３が得られる。そして、これら期待値の低い画像７０３は超解像処理から除かれることになる。つまり、超解像処理の際には、Ｋ枚目（Ｋ＜Ｎ）までの非基準画像を用いられることになって、メモリ容量の消費を低減することができる。

加えて、超解像処理を行う際、期待値に応じて非基準画像を並び替えて、期待値が最も高い非基準画像７０４を基準画像７０１の次に配置して、最も期待値が低い非基準画像７０５を最後に配置する。そして、このような配置順序に決定した非基準画像を画像記録２１１に保存して、当該配列を超解像処理の処理順序とするようにしてもよい。

図８は、図２に示す画像処理部において超解像処理を行う際に超解像処理を行う領域が指定されている場合の処理を説明するための図である。

いま、基準画像８０１において超解像処理を行う領域８０２が指定領域として指定されていたとする。この場合には、画像処理部１０４は非基準画像８０３において指定領域８０２に対応する対応領域８０５を位置合わせパラメータに応じて求める。そして、画像処理部１０４は対応領域８０５を包含する矩形領域８０４を非基準画像として記録する。

このようにして、超解像処理を行う領域に応じて非基準画像において対応する矩形領域を設定して、当該矩形領域を非基準画像として記録するようにすれば、さらに記憶すべきデータ量を削減することができる。

このように、本発明の第１の実施形態では、撮影の結果得られた複数の画像から超解像処理を行う際に用いる画像を選別して、当該選別した画像を用いて超解像処理を行うようにしたので、超解像処理の際に記憶すべきデータ量を確実に削減することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置の一例について説明する。

図９は、本発明の第２の実施形態による画像処理装置の一例を示すブロック図である。

図示の画像処理装置は、撮像装置（例えば、カメラ）９０および外部演算装置９１を有しており、カメラ９０および外部演算装置９１は通信回線で接続される。なお、カメラ９０において図１に示すカメラと同一の構成要素については同一の参照番号を付して説明を省略する。

図示のように、カメラ９０は画像処理部９０４を備えるとともに、通信部９１０を有している。画像処理部９０４は、システム制御部１０６の制御下で、デジタル画像信号に対して所定の信号処理を行う。さらに、画像処理部９０４は、入力された複数枚の画像の各々について超解像処理に用いる画像として適切であるか否かを評価する評価処理を行う。そして、画像処理部１０４は、評価結果によって適切であると評価された画像のみを通信部９１０によって外部演算装置９１に送る。

また、通信部９１０は、記録部１０９で記録された画像データなどを外部演算装置９１に送信する送信処理を行うとともに、外部演算装置９１で処理された画像などを受信する受信処理を行う。

外部演算装置９１は通信部９１２および超解像処理部９１３を有している。通信部９１２は、通信部９１０から送られた画像などを受信する受信処理を行うとともに、超解像処理部９１３によって処理された画像などを送信する送信処理を行う。

超解像処理部９１３は、通信部９１２で受信した複数枚の低解像度画像を用いて、高解像度画像を生成する超解像処理を行う。この超解像処理については第１の実施形態で説明したので、省略する。

図１０は、図９に示す画像処理部９０４の一例についてその構成を示すブロック図である。なお、図１０において、図２に示す画像処理部１０４と同一の構成要素については同一の参照番号を付して説明を省略する。

図示の画像処理部９０４は、超解像処理判断部２０９および画像記録部２１１の代わりにそれぞれ記録判断部１００９および画像出力部１０１１を備えており、超解像処理部２１２は備えていない。

図１１は、図１０に示す画像処理部９０４で行われる画像記録出力処理を説明するためのフローチャートである。なお、図１１に示すフローチャートにおいて、図３に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。

期待値算出部２０７によって、合成挿入ＭＡＰと（Ｎ−１）枚目までの処理で保存した挿入ＭＡＰとに基づいて、Ｎ枚目の画像に係る期待値を算出された後、記録判断部１００９は、期待値Ｅ（Ｎ）に基づいて、Ｎ枚目の非基準画像を記録するか否かを判定する（ステップＳ１１０８）。ここでは、期待値Ｅ（Ｎ）≧所定の閾値ＴＨ＿Ｅ（期待値閾値以上）であると、記録判断部１００９はＮ枚目の非基準画像を記録すると判定する。

期待値Ｅ（Ｎ）≧閾値ＴＨ＿Ｅであると（ステップＳ１１０８において、ＹＥＳ）、記録判断部１００９は、ステップＳ３０９において入力画像一時記録部２１０に記録されたＮ枚目の非基準画像（現像処理前）を画像出力部１０１１に記録する。そして、記録判断部１００９は、ステップＳ３１０において合成挿入ＭＡＰを挿入ＭＡＰ記録部２０８に上書き保存する。

ステップＳ３１１において、（Ｎ＋１）枚目の画像を取得すると判定すると、システム制御部１０６はステップＳ３１２の処理に進む。ステップＳ３０１の処理に戻る。一方、ステップＳ３１１において、（Ｎ＋１）枚目の画像を取得しないと判定されると、システム制御部１０６の制御下で、画像出力部１０１１は、記録した画像を、例えば、記録部１０９に出力する。そして、システム制御部１０６は画像記録出力処理を終了する。

記録部１０９に記録された画像（超解像処理で用いる画像）は、例えば、操作部１０７から出力指示を行うと、システム制御部１０６は記録部１０９に記録された当該画像を通信部９１０を介して外部演算処理装置９１に送る。そして、外部演算装置９１では、超解像処理部９１３によって超解像処理を行う。その後、外部演算装置９１は超解像処理後の画像をカメラに送り、当該超解像処理後の画像は記録部１０９に記録される。

なお、ステップＳ３１１において、（Ｎ＋１）枚目の画像を取得しないと判定されると、システム制御部１０６の制御下で、画像出力部１０１１は、記録した画像を直ちに外部演算装置９１に出力するようにしてもよい。

このように、本発明の第２の実施形態では、カメラにおいて超解像処理を行わず、カメラにおいては超解像処理で用いる画像を、例えば、記録部１０９に記録する。そして、出力指示があると、カメラ９０から外部演算装置９１に超解像処理で用いる画像を送る。そして、外部演算装置９１において超解像処理が行われる。

例えば、外部演算装置９１は、クラウドコンピュータ又はやＰＣなどであり、カメラ９０に比べて高負荷の演算処理を行うことができる。このため、繰り返し演算および高度な位置合わせなどが要求される超解像処理を行う場合に好適である。

このように、本発明の第２の実施形態では、記録データ量および送信データ量を効率良く削減することができ、カメラに処理負荷が掛ることなく効率的に超解像処理を行うことができる。

上述の説明から明らかなように、図１および図２に示す例では、システム制御部１０６および位置合わせパラメータ算出部２０３が算出手段として機能し、システム制御部１０６、挿入ＭＡＰ生成部２０５、挿入ＭＡＰ合成部２０６、期待値算出部２０７、および超解像処理判断部２０９が判定手段として機能する。そして、システム制御部１０６、画像記録部２１１、および超解像処理部２１２が生成手段として機能する。さらに、システム制御部１０６および操作部１０７は指定手段として機能し、システム制御部１０６および画像処理部１０４は設定手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２０１ 画像入力部
２０２ 現像処理部
２０３ 位置合わせパラメータ算出部
２０４ 移動体領域算出部
２０５ 挿入ＭＡＰ生成部
２０６ 挿入ＭＡＰ合成部
２０７ 期待値算出部
２０８ 挿入ＭＡＰ記録部
２０９ 超解像処理判断部
２１２ 超解像処理部

Claims (13)

1. 複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う画像処理装置であって、
   前記複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、前記基準画像と前記非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する算出手段と、
   前記位置合わせパラメータに応じて、前記非基準画像の各々について当該非基準画像を前記超解像処理に用いるか否かを判定する判定手段と、
   前記判定手段によって前記超解像処理に用いると判定された非基準画像と前記基準画像とを用いて前記超解像処理を行って前記高解像度の画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、前記位置合わせパラメータに基づいて、前記非基準画像を用いて前記超解像処理を行った際の効果を示す期待値を求めて、当該期待値に応じて前記非基準画像を前記超解像処理に用いるか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記超解像処理に用いると判定した前記非基準画像について前記期待値に応じてその処理順序を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記位置合わせパラメータに応じて前記非基準画像と前記基準画像との画素間の距離を求めて、前記画素間の距離に基づいて前記期待値を求めることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記判定手段は前記期待値が予め定められた期待値閾値以上であると、前記非基準画像を前記超解像処理に用いると判定することを特徴とする請求項２に記載の画像処理装置。
6. 前記判定手段は、前記位置合わせパラメータに応じて前記非基準画像と前記基準画像との画素間の距離を求め、予め定められた距離閾値と前記画素間の距離とに基づいて前記期待値を求めることを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段は、前記位置合わせパラメータに応じて前記距離閾値を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記位置合わせパラメータは、前記非基準画像を前記基準画像に位置合わせするための射影変換係数であり、
   前記判定手段は、前記射影変換係数から少なくともあおり成分と回転・拡縮成分とに応じて前記距離閾値を調整することを特徴とする請求項６に記載の画像処理装置。
9. 前記判定手段は、前記位置合わせパラメータに基づいて前記非基準画像と前記基準画像との間に移動する移動領域が存在すると判定すると、当該移動領域に応じて前記期待値を求めることを特徴とする請求項２に記載の画像処理装置。
10. 前記基準画像において超解像処理を行う領域を指定領域として指定する指定手段と、
    前記位置合わせパラメータに基づいて前記非基準画像において前記指定領域に対応する対応領域を求めて、当該対応領域を含む領域を前記基準画像の代わりとする設定手段とを有することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 撮像光学系を介して結像した光学像に応じて前記基準画像および前記非基準画像を得る撮像手段を有するとともに、前記算出手段および前記判定手段を有する撮像装置と、
    前記撮像装置に通信回線を介して接続され、前記生成手段を備える演算装置とを有することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う画像処理装置の制御方法であって、
    前記複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、前記基準画像と前記非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する算出ステップと、
    前記位置合わせパラメータに応じて、前記非基準画像の各々について当該非基準画像を前記超解像処理に用いるか否かを判定する判定ステップと、
    前記判定ステップで前記超解像処理に用いると判定された非基準画像と前記基準画像とを用いて前記超解像処理を行って前記高解像度の画像を生成する生成ステップと、
    を有することを特徴とする制御方法。
13. 複数枚の低解像度の画像から１枚の高解像度の画像を生成する超解像処理を行う画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記複数枚の低解像度の画像のうち一つを基準画像とし、残りの画像を非基準画像として、前記基準画像と前記非基準画像の各々との位置合わせを行う際に用いられる位置合わせパラメータを算出する算出ステップと、
    前記位置合わせパラメータに応じて、前記非基準画像の各々について当該非基準画像を前記超解像処理に用いるか否かを判定する判定ステップと、
    前記判定ステップで前記超解像処理に用いると判定された非基準画像と前記基準画像とを用いて前記超解像処理を行って前記高解像度の画像を生成する生成ステップと、
    を実行させることを特徴とする制御プログラム。