JP2020184669A - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】高品質な画像を生成する画像処理技術を提供する。【解決手段】画像処理装置は、時系列順に連続する画像群であって、第１の露光時間で撮像された複数の短時間露光画像と、第１の露光時間よりも長い第２の露光時間で撮像された長時間露光画像と、を含む画像群の位置合わせを行う位置合わせ手段と、長時間露光画像が条件を満たす場合、長時間露光画像を出力し、長時間露光画像が条件を満たさない場合、複数の短時間露光画像から選択される短時間露光画像が合成された合成画像を出力する出力手段と、を備える。【選択図】図１

Description

本発明は、被写体ぶれを抑制した画像を生成する画像処理技術に関する。

被写体の動きがシャッタースピードよりも速い場合、撮像された画像に被写体ぶれが発生する場合がある。そのため、被写体ぶれの発生を抑制するための撮像技術や、被写体ぶれを抑制した画像を生成する画像処理技術が提案されている。

例えば特許文献１に記載の撮像装置は、動画像データの符号化を行うエンコーダの動きベクトル情報を利用して、被写体ぶれを抑制可能な露光時間を算出し、動画像撮像時のシャッタースピードを制御する。

特開２０１１−２４４１４４号公報

特許文献１に記載の撮像装置では、被写体ぶれを抑制可能な露光時間のうち、理論上、最も長い露光時間（すなわち、最も遅いシャッタースピード）が、適正な露光時間として算出される。しかし、実際には、上記の適正な露光時間よりも長い露光時間で撮像が行われることで、被写体ぶれが発生していない高品質な画像が得られる可能性がある。なお、被写体ぶれとは、被写体の動きがシャッタースピードよりも速いことに起因して、被写体がぶれてしまうことをいう。

また、特許文献１に記載の撮像装置では、適正な露光時間として、真に適正な露光時間よりも短い露光時間が設定されると、光量の不足を補うために高い撮像感度が設定される。そのため、高い撮像感度で撮像されることに起因して、撮像された画像にノイズが発生してしまう場合がある。

本発明は上記課題を鑑みなされたものであり、その目的は、高品質な画像を生成する画像処理技術を提供することである。

本発明の一態様によれば、画像処理装置は、時系列順に連続する画像群であって、第１の露光時間で撮像された複数の短時間露光画像と、第１の露光時間よりも長い第２の露光時間で撮像された長時間露光画像と、を含む画像群の位置合わせを行う位置合わせ手段と、長時間露光画像が条件を満たす場合、長時間露光画像を出力し、長時間露光画像が条件を満たさない場合、複数の短時間露光画像から選択される短時間露光画像が合成された合成画像を出力する出力手段と、を備える。

本発明に係る画像処理技術によれば、被写体ぶれが抑制されつつ、ノイズの少ない画像が生成される。その結果、高品質な画像を生成することができる、という効果を奏する。

画像処理装置の機能構成の一例を示すブロック図。 画像処理の流れの一例を示すフローチャート。 露光時間導出の流れの一例を示すフローチャート。 動きベクトルに基づき露光時間を導出する様子を示す図。 露光時間とＩＳＯ感度との関係を示すグラフ例。 長時間露光画像が出力される具体例を示す図。 合成画像が出力される具体例を示す図。 スマートフォンの機能構成の一例を示すブロック図。 記録媒体の一例を示す図。

以下、本発明を実施するための形態の一例について図面を参照して説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

［実施形態］
以下、本発明の画像処理技術を実現するための実施形態の一例について説明する。

図１は、本実施形態の一態様に係る画像処理装置１００の機能構成の一例を示すブロック図である。
画像処理装置１００は、例えば、入力部１１０と、露光時間導出部１２０と、撮像制御部１３０と、取得部１４０と、位置合わせ部１５０と、ソート部１６０と、判定部１７０と、合成部１８０と、出力部１９０とを備える。これらは、例えば、画像処理装置１００の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

入力部１１０は、一例として、画像処理装置１００の外部の撮像部２００によって撮像された画像（以下、「撮像画像」という。）の入力を受け付ける機能を有する。

露光時間導出部１２０は、一例として、入力部１１０に入力された撮像画像に基づいて、この撮像画像に対応する露光時間を導出（算出）する機能を有する。

撮像制御部１３０は、撮像部２００を制御する、または撮像部２００による撮像を制御する機能部である。撮像制御部１３０は、一例として、撮像部２００の露光時間を設定する機能を有するとともに、一例として、露光時間導出部１２０によって導出された露光時間に対応するＩＳＯ感度を設定する機能を有する。

取得部１４０は、一例として、入力部１１０に入力された画像から、短時間露光画像セットと、長時間露光画像とを取得する機能を有する。詳細は後述する。

位置合わせ部１５０は、一例として、短時間露光画像セットと、長時間露光画像とを含む画像群の位置合わせを行う機能を有する。

ソート部１６０は、一例として、位置合わせ部１５０によって位置合わせされた短時間露光画像セットと、長時間露光画像とを、所定の基準に従ってソートする機能を有する。

判定部１７０は、一例として、ソート部１６０によってソートされた画像群において、長時間露光画像が閾値以上に順位付けされているか否かを判定する機能を有する。

合成部１８０は、一例として、画像の鮮鋭度に対する閾値判定を行って、画像群（短時間露光画像セットの一部）を１枚の画像に合成する機能を有する。

出力部１９０は、一例として、合成部１８０によって合成された画像を出力する機能を有する。

ここで、画像の「出力」とは、自装置での画像の表示（表示出力）の他、自装置での他の機能部への画像の出力（内部出力）や、自装置以外の装置（外部装置）への画像の出力（外部出力）や送信（外部送信）等を含む概念である。

（画像処理の手順）
図２は、本実施形態における画像処理の手順例を示すフローチャートである。
図２のフローチャートにおける処理は、例えば画像処理装置１００の不図示の処理部が、記憶部３００に格納された画像処理プログラムのコードを不図示のＲＡＭに読み出して実行することにより実現される。

なお、図１では、記憶部３００を画像処理装置１００の構成要素から除外して示しているが、記憶部３００を画像処理装置１００の構成要素に含めてもよい。また、図２のフローチャートにおける各記号Ｓは、ステップを意味する。

また、以下説明するフローチャートは、あくまでも本実施形態における画像処理の手順の一例を示すものに過ぎず、他のステップを追加したり、一部のステップを削除したりしてもよいことは勿論である。

Ｓ２０１において、入力部１１０は、撮像部２００で撮像された撮像画像の入力を受け付ける。なお、入力された撮像画像は、例えば、不図示の表示部に表示させるようにすることもできる。

Ｓ２０２において、露光時間導出部１２０は、撮像部２００の露光時間を導出する露光時間導出処理を行う。

図３は、露光時間導出処理の手順例を説明するためのフローチャートである。Ｓ２０２１〜Ｓ２０２４の処理は、露光時間導出部１２０によって実行される。

Ｓ２０２１において、露光時間導出部１２０によって撮像画像から動きベクトルが取得される。

ここで、「動きベクトル」とは、撮像画像中で動きが生じている領域における、動きの方向及び大きさを示すベクトルである。本実施形態では、一例として、時系列的に連続する２枚の撮像画像において、ブロックマッチング等の公知の手法を用いて、動きベクトルが取得される。

図４は、取得された動きベクトルに基づき露光時間を導出する原理を説明するための図である。
図４において、撮像画像４１０と、撮像画像４２０とは、時系列的に先に撮像された撮像画像と、後に撮像された撮像画像とをそれぞれ示している。

ここでは、撮像画像４１０におけるマクロブロック４１１と、撮像画像４２０におけるマクロブロック４２２とは、同じ被写体を含むこととする。この場合、露光時間導出部１２０は、マクロブロック４１１が存在していた位置からマクロブロック４２２の位置までのシフト量を、マクロブロック４２２の動きベクトルとして導出する。図４において、マクロブロック４１１が存在していた位置は破線矩形で、マクロブロック４２２の動きベクトルは破線矢印で示されている。

図３に戻り、Ｓ２０２２において、設定値が取得される。Ｓ２０２２で取得される設定値は、少なくとも２枚の撮像画像において対応する画素間の空間的距離（空間的距離を示す画素数）をどの程度許容するかを示す値である。設定値が小さい程、許容される画素間の距離は短くなり、設定値が大きい程、許容される画素間の距離は長くなる。すなわち、設定値は、許容される被写体ぶれの大きさを示す指標（指標値）といえる。露光時間導出部１２０は、例えば、予め記憶部３００に記憶されている設定値を取得する。

なお、設定値は、予め記憶部３００に記憶させておくこととしてもよいが、この他にも、例えば、ユーザーによって不図示の操作部によって入力された値を設定するようにしてもよい。さらに、設定値は例えば、サーバクライアントシステム等によってサーバ等の外部装置から不図示の通信部によって受信した値を設定するようにしてもよいし、インターネット等を利用して設定値を通信部によってダウンロードするなどして設定してもよい。

Ｓ２０２３において、撮像時間間隔が取得される。Ｓ２０２３で取得される撮像時間間隔は、例えば、２枚の撮像画像が撮像された時間間隔とすることができる。具体的には、例えば、撮像画像がライブビュー動画に含まれるフレームであった場合、撮像時間間隔は、フレームレートに対応するフレーム間隔とすることができる。

なお、上記の撮像時間間隔の代わりに、撮像時間間隔によって規定される期間である撮像期間を取得して、以降の処理を行うようにしてもよい。

Ｓ２０２４において、露光時間が導出される。本実施形態では、Ｓ２０２３で取得される撮像時間間隔に基づき、２枚の撮像画像において対応する画素間の空間的距離を、設定値以内（または設定値未満）に抑制するための露光時間が導出される。

ここで、例えば、動きベクトルのベクトル量（ベクトルの大きさ、ベクトルの値）をｍ、設定値をｘ、撮像時間間隔をｄとした場合、導出される露光時間ｔは、以下の数式（１）で表すことができる。
ｔ＝ｄ×ｘ／ｍ ・・・（１）

例えば、図４に示される２枚の撮像画像が、３０ｆｐｓのライブビュー動画に含まれる２枚のフレームであった場合を考える。取得された動きベクトルのベクトル量を「１７．２４」とし、設定値を「５」とすると、上記の数式（１）により、
ｔ＝３３［ｍｓ］×５／１７．２４＝９．５７［ｍｓ］
と算出される。このため、露光時間導出部１２０は、露光時間として「９．５７ｍｓ」を導出する。Ｓ２０２４が終了すると、露光時間導出処理を終了し、メインフローチャートの処理に復帰する。

再び図２のメインフローチャートに戻り、露光時間導出処理を行った後、Ｓ２０３において、撮像制御部１３０は、撮像部２００の露光時間を設定する。本実施形態では、撮像制御部１３０は、短時間露光画像を撮像するための露光時間（以下、「第１の露光時間」という。）と、長時間露光画像を撮像するための露光時間（以下、「第２の露光時間」という。）と、を設定する。

Ｓ２０２で導出された露光時間は、理論上、被写体ぶれを設定値以内に抑制することができる最も長い露光時間であると言える。
本実施形態では、一例として、Ｓ２０２で導出された露光時間が第１の露光時間に設定される。
一方、第２の露光時間は、第１の露光時間よりも長い露光時間が設定される。例えば、第１の露光時間の「２．０倍」の露光時間が第２の露光時間として設定される。

なお、第２の露光時間を設定するための倍率は、任意に設定することができる。また、明るい場所、暗い場所等の撮像環境に応じて、上記倍率を変更させてもよい。

さらに、撮像制御部１３０は、導出された露光時間に対応するＩＳＯ感度を設定する。
具体的には、撮像制御部１３０は、例えば、以下の手法に基づいてＩＳＯ感度を設定する。ＩＳＯ感度は、数値やレベル等によって設定することができる。そして、設定したＩＳＯ感度を撮像部２００に出力し、そのＩＳＯ感度で撮像部２００に撮像を行わせるように制御する。

図５は、露光時間とＩＳＯ感度との対応関係を示すグラフ例である。
このグラフにおいて、横軸は露光時間を示し、縦軸はＩＳＯ感度を示している。ＩＳＯ感度とは、あるフィルムがどの程度弱い光まで記録できるかを示す指標値（感光度）である。また、露光時間とシャッタースピードとの関係から、横軸の露光時間には括弧書きでシャッタースピードと記載している。

撮像制御部１３０は、例えば、上記の露光時間とＩＳＯ感度との対応関係に基づき、露光時間導出部１２０によって導出された露光時間が、いずれの範囲に属するかに応じて対応するＩＳＯ感度を設定する。露光時間とＩＳＯ感度との対応関係は、例えば実施例で後述するように、ＩＳＯ感度テーブルとして予め記憶部３００に記憶させておくことができる。

Ｓ２０４において、処理部は、所定のシャッター操作を検出したか否かを判定する。この所定のシャッター操作は、例えば、連写撮影（例えばバースト撮影）のためのシャッター操作とすることができる。また、連写撮影のためのシャッター操作は、例えば、不図示のシャッターボタンに対する長押し操作とすることができる。所定のシャッター操作を検出しなかった場合（Ｓ２０４：ＮＯ）、再びＳ２０１〜Ｓ２０３が繰り返される。一方、所定のシャッター操作を検出した場合（Ｓ２０４：ＹＥＳ）、Ｓ２０５に移行する。

Ｓ２０５において、取得部１４０は、撮像部２００によって撮像された、短時間露光画像セットと、長時間露光画像とを取得する。短時間露光画像セットとは、例えば、Ｓ２０４の所定のシャッター操作をトリガーとする連写撮影（例えばバースト撮影）によって撮像された、第１の露光時間で撮像された複数の短時間露光画像（複数の短時間露光画像のセット）である。さらに、Ｓ２０５では、例えば、Ｓ２０４の所定のシャッター操作をトリガーとして、第２の露光時間で撮像された長時間露光画像も取得される。つまり、Ｓ２０４の所定のシャッター操作をトリガーとして、露光時間を変えて複数枚の画像を撮像する、ブラケット撮影も行われると言える。

Ｓ２０６において、位置合わせ部１５０は、短時間露光画像セットと、長時間露光画像とを含む画像群の位置合わせを行う。例えば、ユーザーがスマートフォンを手に持って撮像を行うような場合、画像間で画素の位置ずれが発生してしまう可能性が高い。

そこで、取得された短時間露光画像セットと、長時間露光画像との位置合わせを行う。例えば、位置合わせ部１５０は、オプティカルフローを用いた公知の位置合わせ処理を行うことができる。この手法には、ブロックマッチング法や、勾配法などの手法も含まれる。あるいは、ジャイロセンサ等の慣性センサからのセンサ出力値を撮像画像ごとに取得して、画像間のシフト量に応じて位置合わせを行ってもよい。

Ｓ２０７において、ソート部１６０は、Ｓ２０６で位置合わせされた短時間露光画像セットと、長時間露光画像とを、所定の基準に従ってソートする。本実施形態では、この画像群は、鮮鋭度の高い画像から降順に並び替えられる。「鮮鋭度」とは、画像の明瞭さを示す指標（指標値）の一種である。

画像の鮮鋭度は、例えば、強度が異なる２種類のガウシアンフィルタを画像に適用し、ぼかし処理が施された２枚の画像の差の２乗値（ＳＳＤ）を用いることができる。

また、ソート部１６０において、鮮鋭度だけではなく他の基準も考慮してソートが行われてもよい。例えば、鮮鋭度に応じたスコアと、他の画像と共通する重畳領域の大きさに応じたスコアとを各画像に付与し、合計スコアが降順となるように画像が並び替えられてもよい。重畳領域の大きさを考慮することにより、後述の合成処理（Ｓ２１０）において合成に適した画像が上位に順位付けされ得る。

Ｓ２０８において、判定部１７０は、Ｓ２０７でソートされた画像群において、長時間露光画像が閾値以上に順位付けされているか否かを判定する。
具体的には、例えば、画像群が鮮鋭度順にソートされているのであれば、予め定められた鮮鋭度に対する閾値（閾値鮮鋭度）を用いることができる。この場合、判定部１７０は、例えば、鮮鋭度が閾値以上の画像群と、鮮鋭度が閾値を下回る画像群とに分類する。そして、判定部１７０は、長時間露光画像が、鮮鋭度が閾値以上の画像群に含まれている場合（Ｓ２０８：ＹＥＳ）、長時間露光画像以外の画像を記憶部３００から削除する。

なお、Ｓ２０８において、判定部１７０が、鮮鋭度が閾値を上回る画像群と、鮮鋭度が閾値以下の画像群とに分類するようにし、長時間露光画像が、鮮鋭度が閾値を上回る画像群に含まれている場合、長時間露光画像以外の画像を記憶部３００から削除するようにしてもよい。

そして、Ｓ２０９において、出力部１９０は長時間露光画像を出力し、本フローチャートの処理を終了する。

前述の通り、第１の露光時間は、理論上、被写体ぶれを設定値以内に抑制することができる最も長い露光時間であると言える。しかしながら、第２の露光画像で撮像した場合であっても、必ずしも長時間露光画像に被写体ぶれが発生するとは限らない。

そこで、本実施形態の画像処理装置１００は、１回の連写撮影（例えばバースト撮影）で短時間露光画像セットと、長時間露光画像とを取得し、長時間露光画像が所定の閾値以上であれば被写体ブレが発生していないと推定して、当該長時間露光画像を出力する。

図６は、本実施形態において長時間露光画像が出力される具体例を示す図である。
図６において、１枚の長時間露光画像と、７枚の短時間露光画像とが位置合わせ（Ｓ２０６）された様子が示されている。矩形は各画像を表しており、矩形内の数字はその画像の鮮鋭度を意味している。

図６の例において、画像群が鮮鋭度順にソートされると、長時間露光画像は全８枚の画像中３番目に順位付けされる。例えば、鮮鋭度に対する閾値＝３５０である場合、鮮鋭度が「４０３」，「３９９」，「３８７」，「３６５」の４枚の画像が、鮮鋭度が閾値以上の画像群であり、鮮鋭度が「３１６」，「３１６」，「３１１」，「２９０」の４枚の画像が、鮮鋭度が閾値を下回る画像群である。この結果、長時間露光画像は閾値以上の画像群に含まれることから、短時間露光画像が記憶部３００から削除され、長時間露光画像が出力される。

一方、図２の処理において、長時間露光画像が、鮮鋭度が閾値以上の画像群に含まれていない場合（Ｓ２０８：ＮＯ）、Ｓ２１０に移行する。Ｓ２１０において、合成部１８０は、鮮鋭度が閾値以上の短時間露光画像の画像群（すなわち、短時間露光画像セットの一部）を１枚の画像に合成して、閾値を下回る画像群を記憶部３００から削除する。そして、Ｓ２１１において、出力部１９０は、Ｓ２１０で合成された画像（以下、「合成画像」という。）を出力し、本フローチャートの処理を終了する。

図５からも明らかなように、傾向として、第１の露光時間が短いほど（すなわち、シャッタースピードが速いほど）、撮像制御部１３０は、高いＩＳＯ感度を設定する。撮像部２００が高いＩＳＯ感度で撮像した場合、撮像画像には高感度ノイズが多くなるおそれがある。そこで、本実施形態の画像処理装置１００は、長時間露光画像に被写体ブレが発生していると推定される場合に、閾値以上の短時間露光画像セットを対象として、いわゆるマルチフレームノイズ除去処理が行われる。

図７は、本実施形態において合成画像が出力される具体例を示す図である。
図７において、１枚の長時間露光画像と、７枚の短時間露光画像とが位置合わせ（Ｓ２０６）された様子が示されている。矩形は各画像を表しており、矩形内の数字はその画像の鮮鋭度を意味している。

図７の具体例において、画像群が鮮鋭度順にソートされると、長時間露光画像は全８枚の画像中５番目に順位付けされる。例えば、鮮鋭度に対する閾値＝３５０である場合、鮮鋭度が「４０３」，「３９９」，「３８７」，「３６５」の４枚の画像が、鮮鋭度が閾値以上の画像群であり、鮮鋭度が「３１６」，「３１６」，「３１１」，「２９０」の４枚の画像が、鮮鋭度が閾値を下回る画像群である。この結果、長時間露光画像は閾値以上の画像群に含まれていないことから、鮮鋭度が「４０３」，「３９９」，「３８７」，「３６５」の４枚の短時間露光画像が１枚の画像に合成され、閾値を下回る画像群（長時間露光画像を含む）が記憶部３００から削除され、合成画像が出力される。

なお、前述した長時間露光画像の鮮鋭度が閾値以上となること、または長時間露光画像の鮮鋭度が閾値を上回ることは、長時間露光画像に対する条件の一例である。
また、前述した鮮鋭度が閾値以上となる（または閾値を上回る）短時間露光画像の画像群を合成することは、複数の短時間露光画像から選択される短時間露光画像を合成することの一例である。

＜実施例＞
次に、上記の画像処理装置１００を適用した、または上記の画像処理装置１００を備える撮像装置、電子装置（電子機器）、情報処理装置の実施例について説明する。ここでは、一例として、カメラ機能付き（撮像機能付き）携帯電話機の一種であるスマートフォンの実施例について説明する。但し、本発明を適用可能な実施例が、この実施例に限定されるわけでないことは勿論である。

図８は、本実施例におけるスマートフォン１０００の機能構成の一例を示す図である。
スマートフォン１０００は、例えば、処理部１１００と、操作部１２００と、タッチパネル１２３０と、表示部１２５０と、記憶部１３００と、音出力部１４００と、撮像部１５００と、通信部１６００と、時計部１７００と、ジャイロセンサ１８００とを備える。

処理部１１００は、記憶部１３００に記憶されているシステムプログラム等の各種プログラムに従ってスマートフォン１０００の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

処理部１１００は、主要な機能部として、露光時間導出部１２０と、撮像制御部１３０と、取得部１４０と、位置合わせ部１５０と、ソート部１６０と、判定部１７０と、合成部１８０と、表示制御部１９５とを有する。これらの機能部は、図１の画像処理装置１００が備える機能部にそれぞれ対応するものである。

ただし、表示制御部１９５は、図１の画像処理装置１００が備える出力部１９０による出力の一態様として、各種の画像を表示部１２５０に表示（表示出力）させる制御を行う。

操作部１２００は、操作ボタンや操作スイッチといった、ユーザーがスマートフォン１０００に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部１２００は、表示部１２５０と一体的に構成されたタッチパネル１２３０を有し、このタッチパネル１２３０は、ユーザーとスマートフォン１０００との間の入力インターフェースとして機能する。操作部１２００からは、ユーザー操作に従った操作信号が処理部１１００に出力される。

表示部１２５０は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、表示制御部１９５から出力される表示信号に基づいた各種の表示を行う。本実施例では、表示部１２５０は、タッチパネル１２３０と一体的に構成されてタッチスクリーンを形成している。

音出力部１４００は、スピーカ等を有して構成される音出力装置であり、処理部１１００から出力される音出力信号に基づいた各種の音出力を行う。

撮像部１５００は、任意のシーンの画像を撮像可能に構成された撮像デバイスであり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子（半導体素子）を有して構成される。撮像部１５００は、撮像対象物から発せられた光を、不図示のレンズによって撮像素子の受光平面に結像させ、光電変換によって、像の光の明暗を電気信号に変換する。変換された電気信号は、不図示のＡ／Ｄ（Analog Digital）変換器によってデジタル信号に変換されて、処理部１１００に出力される。

通信部１６００は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部１６００の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。

時計部１７００は、スマートフォン１０００の内部時計であり、例えば水晶振動子及び発振回路である水晶発振器を有して構成される。時計部１７００の計時情報は、処理部１１００に随時出力される。

ジャイロセンサ１８００は、例えば３軸の軸回りの角速度を検出するセンサである。ジャイロセンサ１８００の検出結果は、処理部１１００に随時出力される。

記憶部１３００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。

本実施例では、記憶部１３００には、例えば、画像処理プログラム１３１０と、ＩＳＯ感度テーブル１３２０と、入力画像用バッファ１３３０と、ＳＴＥ(Short Time Exposure)画像データベース１３４０と、ＬＴＥ(Long Time Exposure)画像データベース１３５０とが記憶される。

画像処理プログラム１３１０は、処理部１１００により読み出され、画像処理として実行されるプログラムである。この画像処理は、例えば、図２に示したフローチャートに基づく処理として実行される。

ＩＳＯ感度テーブル１３２０には、例えば図５に示したような、露光時間とＩＳＯ感度との対応関係がテーブル形式で定められている。

入力画像用バッファ１３３０は、例えば、撮像部１５００によって撮像された撮像画像が入力画像として記憶されるバッファである。

ＳＴＥ画像データベース１３４０は、例えば、第１の露光時間で撮像された短時間露光画像が記憶されるデータベースである。
ＬＴＥ画像データベース１３５０は、例えば、第２の露光時間で撮像された長時間露光画像が記憶されるデータベースである。

スマートフォン１０００の処理部１１００は、記憶部１３００に記憶されている画像処理プログラム１３１０に従って、画像処理を行う。この画像処理は、図２に示したフローチャートに従って実行される。

この場合、図２の処理において、表示制御部１９５は、Ｓ２０１において入力部１１０で受け付けられた入力画像（撮像画像）を、例えばライブビュー画像として表示部１２５０に表示させる。また、表示制御部１９５は、タッチスクリーンとして構成された表示部１２５０に、タッチパネル１２３０を介してタッチ操作可能なシャッターボタンを表示させる。そして、判定部１７０は、Ｓ２０４において、表示部１２５０に表示されたシャッターボタンが、タッチパネル１２３０を介してタッチ操作（例えば、シャッターボタンの長押し操作）されたか否かを判定する。

また、表示制御部１９５は、Ｓ２０８の判定結果が肯定判定である場合（Ｓ２０８：ＹＥＳ）、長時間露光画像を表示部１２５０に表示させる（Ｓ２０９）。また、表示制御部１９５は、Ｓ２０８の判定結果が否定判定である場合（Ｓ２０８：ＮＯ）、Ｓ２１０で生成された合成画像を表示部１２５０に表示させる（Ｓ２１１）。

＜実施形態の効果＞
本実施形態の画像処理装置１００では、取得部１４０によって取得された、時系列順に連続する画像群であって、第１の露光時間で撮像された複数の短時間露光画像と、第１の露光時間よりも長い第２の露光時間で撮像された長時間露光画像と、を含む画像群の位置合わせが、位置合わせ部１５０によって行われる。そして、長時間露光画像が条件（例えば鮮鋭度に対する条件）を満たす場合、長時間露光画像を出力し、長時間露光画像が条件を満たさない場合、複数の短時間露光画像から選択される短時間露光画像が合成された合成画像が、出力部１９０から出力される。
これによれば、被写体ぶれが抑制されつつ、ノイズの少ない画像が生成される。その結果、高品質な画像を出力することができる。

また、この場合、出力部１９０は、長時間露光画像が条件を満たさない場合、条件を満たす短時間露光画像が合成された合成画像を出力するため、合成する短時間露光画像を適切に選択した上で、高品質な画像を出力することができる。

また、画像処理装置１００では、ソート部１６０が、位置合わせ部１５０によって位置合わせされた画像群を所定の基準に従ってソートするため、後段の判定部１７０による長時間露光画像に対する条件の判定が容易となる。

また、この場合、ソート部１６０が、位置合わせされた画像群を鮮鋭度に基づいてソートとすることで、画像群を簡易かつ適切にソートすることができる。

また、この場合、ソート部１６０が、ソート対象となる画像を、位置合わせ部１５０によって位置合わせされた画像群において他の画像と共通する重畳領域が大きいほど、上位に順位付けすることで、重畳領域の大きさを考慮したソートを実現することができる。その結果、合成部１８０による合成に適した画像が上位に順位付けされ得る。

また、画像処理装置１００では、合成部１８０が、ソート部１６０によってソートされた画像群に基づき合成画像を生成する。また、合成部１８０は、長時間露光画像の鮮鋭度が所定の鮮鋭度に達していない場合、鮮鋭度が所定の鮮鋭度に達している複数の短時間露光画像を合成する。これにより、鮮鋭度が適正である短時間露光画像に基づいて合成画像を生成することが可能となり、高品質な画像を生成することができる。

また、画像処理装置１００では、露光時間導出部１２０が、撮像部２００で撮像された撮像画像に含まれる被写体の動きベクトル量に応じた露光時間を導出する。また、撮像制御部１３０が、撮像部２００を制御する。そして、撮像制御部１３０が、露光時間導出部１２０によって導出された露光時間に基づいて撮像部２００の露光時間を制御することで、適切な露光時間に基づく撮像を撮像部２００に行わせることができる。

また、この場合、撮像部２００の露光時間を第１の露光時間とすることで、適切な露光時間に基づく複数の短時間露光画像の撮像を撮像部２００に行わせることができる。

また、この場合、撮像画像に含まれる被写体の動きベクトル量をｍ、予め定められた設定値をｘ、撮像画像が撮像される時間間隔をｄとした場合、露光時間導出部１２０によって導出される露光時間ｔは、ｔ＝ｄ×ｘ／ｍで表される。そして、設定値を、少なくとも２枚の撮像画像において対応する画素間の空間的距離を示す画素数とすることで、適切な設定値を設定した上で、簡単な計算によって露光時間を導出することができる。

また、上記の条件を、長時間露光画像の鮮鋭度に対する条件とすることで、長時間露光画像の鮮鋭度に基づいて、長時間露光画像と合成画像とのいずれの画像を出力するかを簡易かつ適切に判定することができる。

＜変形例＞
本発明を適用可能な実施形態は、上記の実施形態に限定されない。以下、変形例について説明する。

＜指標値＞
上記の実施形態では、画像の指標値として鮮鋭度を用いたが、これはあくまでも一例であり、他の指標値を用いるようにしてもよい。指標値は、取得された各画像の画素値から算出され、画質を評価可能な値であれば鮮鋭度以外であってもよい。鮮鋭度以外の指標値としては、例えば、明度（明るさ）、ノイズ量、コントラスト、および、ホワイトバランスなどを適用することができる。これら鮮鋭度以外の指標値を用いて、上記の実施形態と同様の処理を行うようにしてもよい。

＜条件＞
上記の実施形態では、長時間露光画像に対する条件を、鮮鋭度に対する条件としたが、これに限定されない。具体的には、例えば、長時間露光画像に対する条件を、上記の鮮鋭度以外の指標値に対する条件としてもよい。

また、例えば、短時間露光画像セットの鮮鋭度の平均値や中央値等の統計値を算出する。そして、長時間露光画像に対する条件を、長時間露光画像の鮮鋭度が、算出された統計値以上（または統計値超）となることを条件としてもよい。

＜合成画像＞
上記の実施形態では、長時間露光画像の鮮鋭度が閾値を下回る場合、鮮鋭度が閾値以上である短時間露光画像を１枚の画像に合成した合成画像を出力することとしたが、これに限定されない。

具体的には、例えば、長時間露光画像の鮮鋭度が閾値を下回る場合、短時間露光画像セットの中から、鮮鋭度が長時間露光画像の鮮鋭度よりも大きい短時間露光画像を選択する。そして、選択した短時間露光画像を１枚の画像に合成した合成画像を生成して出力するようにしてもよい。

また、例えば、長時間露光画像の鮮鋭度が閾値を下回る場合、短時間露光画像セットの鮮鋭度の平均値や中央値等の統計値を算出し、鮮鋭度がこれらの統計値よりも大きい短時間露光画像を選択する。そして、選択した短時間露光画像を１枚の画像に合成した合成画像を生成して出力するようにしてもよい。

また、例えば、長時間露光画像の鮮鋭度が閾値を下回る場合、短時間露光画像セットの中から鮮鋭度が高い順に一定数の短時間露光画像を選択したり、鮮鋭度が閾値以上である短時間露光画像の中から鮮鋭度が高い順に一定数の短時間露光画像を選択する。そして、選択した短時間露光画像を１枚の画像に合成した合成画像を生成して出力するようにしてもよい。

また、例えば、長時間露光画像の鮮鋭度が閾値以上である（または閾値を上回る）場合、鮮鋭度が閾値以上である（または閾値を上回る）短時間露光画像と、長時間露光画像とを１枚の画像に合成した合成画像を生成して出力するようにしてもよい。

＜画像処理装置の構成＞
上記の画像処理装置１００の構成要素は、必ずしも全ての構成要素を必須としなければならないわけではない。

具体的には、例えば、図１に示した画像処理装置１００の構成要素のうち、取得部１４０を除外し、位置合わせ部１５０が、入力部１１０に入力された撮像画像の中から、第１の露光時間で撮像された短時間露光画像セットと、第１の露光時間よりも長い第２の露光時間で撮像された長時間露光画像とを含む画像群を選択して、位置合わせを行うようにしてよい。また、例えば、位置合わせ部１５０を除外してもよい。

また、例えば、撮像制御部１３０を画像処理装置１００の構成要素から除外し、撮像制御部１３０を撮像部２００に設けるようにしてもよい。

＜撮像装置等＞
また、上記の実施例では、本発明を、撮像装置、電子装置（電子機器）、情報処理装置の一例であるスマートフォンに適用した場合を例示したが、これに限定されない。スマートフォン等の携帯電話機の他にも、本発明は、カメラ、ＰＤＡ、パソコン、ナビゲーション装置、腕時計、各種のタブレット端末といった各種の装置に適用可能である。

また、上記の各種の装置は、撮像部（撮像手段）を備えているとよいが、撮像部を必ずしも備えていなくてもよい。この場合は、例えば、撮像部を備える外部装置から撮像画像のデータを入力し、入力した撮像画像のデータに基づいて画像処理を行うようにすればよい。

＜記録媒体＞
また、上記の実施形態では、画像処理に係る各種のプログラムやデータが、記憶部３００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置、記憶媒体）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。

図９は、この場合における記録媒体の一例を示す図である。
画像処理装置１００には、メモリカード３０１を挿入するためのカードスロット３１０が設けられており、カードスロット３１０に挿入されたメモリカード３０１に記憶された情報を読み取る又はメモリカードに情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）３２０が設けられている。カードリーダライタ３２０は、処理部の制御に従って、記憶部３００に記録されたプログラムやデータをメモリカード３０１に書き込む動作を行う。メモリカード３０１に記録されたプログラムやデータは、画像処理装置１００以外の外部装置で読み取ることで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。

１００・・画像処理装置
１１０・・入力部
１２０・・露光時間導出部
１３０・・撮像制御部
１４０・・取得部
１５０・・位置合わせ部
１６０・・ソート部
１７０・・判定部
１８０・・合成部
１９０・・出力部
１０００・・スマートフォン

Claims (13)

1. 時系列順に連続する画像群であって、第１の露光時間で撮像された複数の短時間露光画像と、前記第１の露光時間よりも長い第２の露光時間で撮像された長時間露光画像と、を含む画像群の位置合わせを行う位置合わせ手段と、
   前記長時間露光画像が条件を満たす場合、前記長時間露光画像を出力し、前記長時間露光画像が前記条件を満たさない場合、前記複数の短時間露光画像から選択される短時間露光画像が合成された合成画像を出力する出力手段と、
   を備える画像処理装置。
2. 前記出力手段は、前記長時間露光画像が前記条件を満たさない場合、前記条件を満たす前記短時間露光画像が合成された合成画像を出力する、
   請求項１に記載の画像処理装置。
3. 位置合わせされた前記画像群を所定の基準に従ってソートするソート手段をさらに備える、
   請求項１または２に記載の画像処理装置。
4. 前記ソート手段は、位置合わせされた前記画像群を鮮鋭度に基づいてソートする、
   請求項３に記載の画像処理装置。
5. 前記ソート手段は、ソート対象となる画像を、位置合わせされた前記画像群において他の画像と共通する重畳領域が大きいほど、上位に順位付けする、
   請求項４に記載の画像処理装置。
6. ソートされた前記画像群に基づき前記合成画像を生成する合成手段をさらに備え、
   前記合成手段は、前記長時間露光画像の鮮鋭度が所定の鮮鋭度に達していない場合、鮮鋭度が前記所定の鮮鋭度に達している前記複数の短時間露光画像を合成する、
   請求項４または５に記載の画像処理装置。
7. 撮像部で撮像された撮像画像に含まれる被写体の動きベクトル量に応じた露光時間を導出する導出手段と、
   前記撮像部を制御する撮像制御手段と、
   をさらに備え、
   前記撮像制御手段は、前記導出手段によって導出された露光時間に基づいて前記撮像部の露光時間を制御する、
   請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記撮像部の露光時間は、前記第１の露光時間である、
   請求項７に記載の画像処理装置。
9. 前記撮像画像に含まれる被写体の動きベクトル量をｍ、予め定められた設定値をｘ、前記撮像画像が撮像される時間間隔をｄとした場合、前記導出手段によって導出される露光時間ｔは、
   ｔ＝ｄ×ｘ／ｍ
   で表され、
   前記設定値は、少なくとも２枚の前記撮像画像において対応する画素間の空間的距離を示す画素数である、
   請求項７または８に記載の画像処理装置。
10. 前記条件は、前記長時間露光画像の鮮鋭度に対する条件である、
    請求項１から９のいずれか１項に記載の画像処理装置。
11. 撮像部と、
    時系列順に連続する画像群であって、第１の露光時間で前記撮像部によって撮像された複数の短時間露光画像と、前記第１の露光時間よりも長い第２の露光時間で前記撮像部によって撮像された長時間露光画像と、を含む画像群の位置合わせを行う位置合わせ手段と、
    前記長時間露光画像が条件を満たす場合、前記長時間露光画像を出力し、前記長時間露光画像が前記条件を満たさない場合、前記複数の短時間露光画像から選択される短時間露光画像が合成された合成画像を出力する出力手段と、
    を備える撮像装置。
12. 時系列順に連続する画像群であって、第１の露光時間で撮像された複数の短時間露光画像と、前記第１の露光時間よりも長い第２の露光時間で撮像された長時間露光画像と、を含む画像群の位置合わせを行うことと、
    前記長時間露光画像が条件を満たす場合、前記長時間露光画像を出力し、前記長時間露光画像が前記条件を満たさない場合、前記複数の短時間露光画像から選択される短時間露光画像が合成された合成画像を出力することと、
    を含む画像処理方法。
13. コンピュータを、請求項１から請求項１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images