JP2011008322A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】カメラの撮像面に平行な二次元の物体の動きによって生じるモーションブラーを除去する。
【解決手段】画像移動手段２は、カメラ１の画像センサ１１上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させる。画像処理部４の逆畳み込み部４１は、画像センサ１１で取得された画像に対して、画像に含まれる被写体の動きに対応する複数の推定ＰＳＦを用いて逆畳み込みを行う。これにより、モーションブラーの除去が可能になる。
【選択図】図１

Description

本発明は、モーションブラーを除去するための撮像装置及び画像処理方法に関するものである。

モーションブラーとは、動く物体を撮影したときの画像中に見られる現象である。モーションブラーを生じた画像では、一般に、物体が、その動き方向に沿ってぼけた状態となる。

モーションブラーを回避する最も簡単な方法は、露光時間を短くすることである。しかし、露光時間を短くすれば、光量が減るので、その分、撮像の感度を上げなければならず、画像にノイズが入りやすくなる。また、暗い環境での撮影では、モーションブラーが起こらないほど露光時間を短くすることは困難である。

また、従来から、モーションブラーを画像処理により除去する様々な手法が提案されている。モーションブラーは、画像の高周波成分を減衰させることに相当するため、その除去は、高周波成分の増幅を意味する。したがって、モーションブラーを画像処理で除去すると、ノイズが増加したり、リンギングと呼ばれる縞状のアーティファクトが発生したりする傾向がある。この現象は被写体の速度が速いほど顕著になる。

下記非特許文献１では、ボケの除去に伴うノイズ増加やリンギングを、鮮明な画像に対する事前知識を用いて低減する手法が提案されている。しかしながら、高周波成分の減衰が大きい場合は、この低減効果はあまり期待できない。また、シーン中に異なる動きをする複数の物体が含まれた場合に、それぞれの物体の動きを推定するのは難しい。

下記非特許文献２では、複数の物体の動きを推定してモーションブラーを除去する手法が提案されているが、物体の動きは一次元（例えば水平方向のみ）に限定される。

さらに、近年、モーションブラーによる高周波成分の減衰を撮影時に低減する手法が開発されている。下記非特許文献３では、露光中にシャッターを開け閉めすることでモーションブラーの周波数特性が改善し、ボケの除去を容易化できることが示されている。ただしシャッターを閉めている時間が露光時間の半分を占めるため、光量が半分になり、相対的にノイズが増加する。また、動きの推定法はここでは提案されていない。

下記非特許文献４は、物体の動く方向が一次元（例えば水平）であれば、露光中にカメラを水平に等加速度運動させることで、モーションブラーを速度に非依存にできることを示した。しかしながら、この技術は、物体の動きが一次元に制限されないときには適用できない。

Q. Shan, J. Jia, A. Agarwala. "High-quality motion deblurring from a single image," Trans. Graphics, Vol.27, No.3, Article 73, 2008. A. Levin. Blind motion deblurring using image statistics. In Proc. 20th Conf. Neural Info. Proc. Systems, 2006. R. Raskar, A. Agrawal, J. Tumblin. "Coded exposure photography: motion deblurring using fluttered shutter," Trans. Gr., Vol.25, No.3, pp.795-804, 2006. A. Levin, P. Sand, T. S. Cho, F. Durand, W. T. Freeman. "Motion-invariant photography," Trans. Graphics, Vol.27, No.3, Article 71, 2008.

本発明は、以上の現状に鑑みてなされたものである。

本発明の第１の目的は、カメラの撮像面に平行な成分を持つ二次元での物体の動きによって生じるモーションブラーを除去することである。

本発明の第２の目的は、被写体が、異なる動きをする複数の物体を含む場合であっても、モーションブラーを除去しうる技術を提供することである。

本発明の第３の目的は、モーションブラーによる画像の高周波成分の減衰の程度を、物体の動く方向と速度に非依存にすることである。

本発明の第４の目的は、上限速度内における物体の動きの方向と速度の推定を可能にすることである。

前記した課題を解決する手段は、以下の項目のように記載できる。

（項目１）
モーションブラーの除去が可能な撮像装置であって、カメラと、画像移動手段と、画像処理部とを備えており、
前記カメラは、画像を取得するための画像センサと、前記画像センサ上に像を結ぶための光学系とを備えており、
前記画像移動手段は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させる構成となっており、
前記画像処理部は、逆畳み込み部を備えており、
前記逆畳み込み部は、前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行う構成となっている
ことを特徴とする撮像装置。

被写体の動きに対応するＰＳＦ（Point Spread Function）は、動きが未知の場合は、予測される動きに基づいて生成された推定ＰＳＦである。動きが既知であれば、その動きに対応する特定のＰＳＦである。推定ＰＳＦを用いる場合は、逆畳み込みの結果、モーションブラーが最も良く除去されたＰＳＦを特定し、そのＰＳＦから、物体の動きを推測できる。したがって、ＰＳＦが推定値であっても既知であっても、モーションブラーの除去が可能である。

（項目２）
さらに、ＰＳＦ生成部を備えており、
前記ＰＳＦ生成部は、前記被写体の最大移動速度及び移動方向の予測値ないし設定値に基づいて、複数の推定ＰＳＦを生成する構成となっており、
前記逆畳み込み部は、
前記複数の推定ＰＳＦを前記既定のＰＳＦとして用いて、前記画像に対する前記逆畳み込みを行う処理と、
前記逆畳み込みの結果、最も良くモーションブラーが除去された画像を特定する処理
とをさらに行う構成となっている
項目１に記載の撮像装置。

ここで、最も良くモーションブラーが除去された画像を特定する手段としては、作業者の目視による場合と、例えば画素値についての適宜な閾値を用いて自動的に行う場合とがありうる。

（項目３）
前記画像処理部は、さらに、画像統合部を備えており、
かつ、前記画像は、複数の被写体を含んでおり、
前記逆畳み込み部は、前記既定のＰＳＦを、前記複数の被写体に対応して画像を分割することで生成された領域画像に対して適用して、前記逆畳み込みを行う構成となっており、
前記画像統合部は、前記逆畳み込みが行われた前記領域画像をつなぎ合わせて、モーションブラーが除去された画像を生成する
項目１又は２に記載の撮像装置。

ここで、同じ速度で動く物体については、まとめて分割することが可能である。なお、速度とは、方向と速さとを持つベクトル量である。

（項目４）
前記画像処理部は、さらに、画像統合部を備えており、
かつ、前記画像は、異なる方向に移動する一つ又は複数の被写体を含んでおり、
前記逆畳み込み部は、前記既定のＰＳＦを、前記被写体の移動速度毎に画像を分割することで生成された領域画像に対して適用して、前記逆畳み込みを行う構成となっており、
前記画像統合部は、前記逆畳み込みが行われた前記領域画像をつなぎ合わせて、モーションブラーが除去された画像を生成する
項目１又は２に記載の撮像装置。

なお、ここで、移動速度とは、方向と速さとを持つベクトル量である。

（項目５）
前記画像移動手段は、前記カメラ、前記光学系又は前記画像センサを、円又はこれに近似可能な曲線に沿う方向に移動させることにより、前記画像センサ上における像の位置を移動させる構成となっている
項目１〜４のいずれか１項に記載の撮像装置。

（項目６）
前記画像移動手段は、前記画像センサにおける画素値を、円又はこれに近似可能な曲線に沿う方向に画素をずらしながら記憶することにより、前記画像センサ上における像の位置を実質的に移動させる構成となっている
項目１〜４のいずれか１項に記載の撮像装置。

（項目７）
前記画像移動手段は、被写体を撮影している間に、像の移動を少なくとも一時的に停止する構成となっている
項目１〜６のいずれか１項に記載の撮像装置。

（項目８）
前記逆畳み込み部は、複数の前記推定ＰＳＦを用いた逆畳み込みの結果、最もリンギングが少ない画像を、前記最も良くモーションブラーが除去された画像と判定する構成となっている
項目２に記載の撮像装置。

（項目９）
画像センサを備えたカメラで撮影された画像からモーションブラーを除去するための画像処理装置であって、逆畳み込み部を備えており、
前記画像は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させながら取得されたものであり、
前記逆畳み込み部は、前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行う構成となっている
ことを特徴とする画像処理装置。

（項目１０）
画像センサを備えたカメラで撮影された画像からモーションブラーを除去するための画像処理方法であって、以下のステップを備える：
（１）前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させながら画像を取得するステップ；
（２）前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行うことによって、前記画像におけるモーションブラーを除去するステップ。

（項目１１）
画像センサを備えたカメラで撮影された画像からモーションブラーを除去するための、コンピュータ上で実行可能な、画像処理用のコンピュータプログラムであって、
前記画像は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させながら取得されたものであり、
前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行うことによって、前記画像におけるモーションブラーを除去する処理を行うコンピュータプログラム。

（項目１２）
モーションブラーの除去が可能な撮像装置のために用いられるカメラ装置であって、
画像を取得するための画像センサと、前記画像センサ上に像を結ぶための光学系と、画像移動手段とを備えており、
前記画像移動手段は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させる構成となっている
ことを特徴とするカメラ装置。

本発明によれば、第１に、カメラの撮像面に平行な成分を持つ二次元での物体の動きによって生じるモーションブラーを除去することが可能になる。

第２に、被写体が、異なる動きをする複数の物体を含む場合であっても、その物体毎に領域を分割することによって、モーションブラーを除去することができる。

第３に、本発明においては、モーションブラーによる画像の高周波成分の減衰の程度が、物体の動く方向と速度に非依存になる。

第４に、本発明によれば、モーションブラーが除去された画像に適用されたＰＳＦを特定することによって、上限速度内における物体の動きの方向と速度の推定が可能になる。

本発明の一実施形態に係る撮像装置の概略的な構成を示すブロック図である。 本発明の一実施形態に係る撮像装置において用いられるカメラの一例を示す説明図である。 本発明の一実施形態に係る撮像装置において用いられる画像移動手段の一例を示す説明図である。 本発明の一実施形態に係るカメラの円運動動作を説明するための説明図である。 円運動を行うカメラが時空間中で辿る軌跡を示す説明図である。 点光源を異なる方向と速さで動かしたときに観測されるＰＳＦのシミュレーション画像を示す説明図である。この図は、静止カメラで取得される画像を示している。また、この図において、左から順に、物体の運動方向及び速さとして、静止、水平（遅い）、水平（速い）、斜め（遅い）、斜め（速い）、垂直（遅い）、垂直（速い）である場合をそれぞれ表している。 点光源を異なる方向と速さで動かしたときに観測されるＰＳＦのシミュレーション画像を示す説明図である。この図は、図６Ａで得られた画像を周波数変換して得られるパワースペクトルを示している。 点光源を異なる方向と速さで動かしたときに観測されるＰＳＦのシミュレーション画像を示す説明図である。この図は、円運動カメラで取得される画像を示している。また、この図において、左から順に、物体の運動方向及び速さとして、静止、水平（遅い）、水平（速い）、斜め（遅い）、斜め（速い）、垂直（遅い）、垂直（速い）である場合をそれぞれ表している。 点光源を異なる方向と速さで動かしたときに観測されるＰＳＦのシミュレーション画像を示す説明図である。この図は、図６Ｃで得られた画像を周波数変換して得られるパワースペクトルを示している。 図５に示した螺旋軌跡を周波数変換して得られるパワースペクトルを示す説明図である。図７中の図（ａ）〜（ｃ）は、図７の平面（ａ）〜（ｃ）で得られる断面を示している。 ＰＳＦを用いて逆畳み込みを行った場合にリンギングを生じた画像とリンギングを生じない画像とを対比して示すための説明図である。 本発明の一実施形態におけるモーションブラー除去方法を説明するためのフローチャートである。 本発明の一実施形態におけるモーションブラー除去方法を説明するための説明図である。 カメラの円運動方法の例を説明するための説明図である。 物体の速さの上限値と、考慮すべき速度範囲との関係を説明するための説明図である。図（ａ）は一次元の場合に対応する。図（ｂ）は二次元の場合に対応する。 円運動を行うカメラで撮影される静止物体のＰＳＦを模式的に示す説明図である。 画像センサ上での像の円運動を説明するための説明図である。 シミュレーションを用いたモーションブラー除去の実験例を示す説明図である。この図は、静止カメラで物体を撮影した結果（比較例）を示している。 図１５Ａの画像からモーションブラーを除去した結果（比較例）を示す。 シミュレーションを用いたモーションブラー除去の実験例を示す説明図である。この図は、coded exposureカメラ（非特許文献３）での観測結果（比較例）を示す。 図１５Ｃの画像を復元した結果（比較例）を示す。 シミュレーションを用いたモーションブラー除去の実験例を示す説明図である。この図は、motion-invariantカメラ（非特許文献４）での観測結果（比較例）を示す。 図１５Ｅの画像を復元した結果（比較例）を示す。 シミュレーションを用いたモーションブラー除去の実験例を示す説明図である。この図は、本実施形態における円運動カメラでの観測結果を示す。 図１５Ｇの画像を、本実施形態の方法で復元した結果を示す。 複数の物体を含む画像に対する、シミュレーションを用いたモーションブラー除去の実験例を示す説明図である。

本発明の一実施形態に係る、モーションブラー除去用の撮像装置を、添付の図面を参照しながら説明する。

（撮像装置の構成）
本実施形態の撮像装置は、カメラ１と、画像移動手段２と、記憶装置３と、画像処理部４と、ＰＳＦ生成部５とを、主要な要素として備えている（図１参照）。

カメラ１は、画像を取得するための画像センサ１１と、画像センサ１１上に像を結ぶための光学系１２とを備えている（図１参照）。画像センサ１１は、例えば、ＣＣＤやＣＭＯＳを用いて、画素毎に、画像の情報を取得できるものである。画像センサ１１としては、既存の技術を用いることができる。また、光学系１２としては、いわゆる結像光学系として知られる各種の光学系を用いることができる。したがって、カメラ１自体の構造についての、これ以上詳しい説明は省略する。

カメラ１の外観を図２に示す。カメラ１の光学系１２における光軸を図２において符号１３で表す。後述するように、本実施形態のカメラ１は、光軸１３にほぼ直交する面内を、その姿勢を保持しながら円運動する構成となっている。

画像移動手段２は、画像センサ１１上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させる構成となっている。具体的には、この実施形態の画像移動手段２は、コントローラ２１と、駆動機構２２とから構成されている。

コントローラ２１は、駆動機構２２の動作を制御すると共に、カメラ１で取得された画像を受け取る機能を有している。

駆動機構２２は、さらに具体的には、図３に示されるように、支持台２２１と、この支持台２２１に支持された第１モータ２２２と、この第１モータ２２２によって回転される回転盤２２３と、この回転盤２２３に取り付けられた第２モータ２２４とから構成されている。

第１モータ２２２と第２モータ２２４とには、コントローラ２１が接続されており、コントローラ２１によってこれらのモータの動作を制御できるようになっている。

また、第１モータ２２２の回転軸と、第２モータ２２４の回転軸とはほぼ平行とされている。

さらに、第２モータ２２４の回転方向は、第１モータ２２２とは逆とされており、かつ、これらのモータの回転周期は同じとされている。したがって、本実施形態では、第１モータ２２２によってカメラ１が１回公転すると、第２モータ２２４によってカメラ１が逆回りに１回自転する。これによって、カメラ１の姿勢を維持しつつ、カメラ１をある平面内で１周期分の円運動をさせることができるようになっている（図４参照）。このように、円運動とは、この実施形態の説明においては、姿勢を実質的に変えない運動を意味する。

記憶装置３は、コントローラ２１に送られた画像を保存するものである。記憶装置３としては、半導体メモリ、ハードディスク、光磁気ディスクなど、適宜なものを用いることができる。

画像処理部４は、逆畳み込み部４１と、画像統合部４２と、動き推定部４３とを備えている。

逆畳み込み部４１は、カメラ１の画像センサ１１で取得された画像に対して、画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行う構成となっている。

画像統合部４２は、逆畳み込みが行われた領域画像（後述）を統合することによって、モーションブラーが除去された画像を生成するものである。

動き推定部４３は、モーションブラーが除去された領域画像に適用されたＰＳＦに基づいて、被写体ないし物体の動きを推定するものである。

画像処理部４の構成についての詳しい説明は、後述する画像処理の説明において行う。

ＰＳＦ生成部５は、被写体の最大移動速度及び移動方向の予測値ないし設定値に基づいて、複数の推定ＰＳＦを生成する構成となっている。このＰＳＦ生成部５の詳しい説明も後述する。

（本実施形態におけるモーションブラー除去の原理）
ここで、本実施形態におけるモーションブラー除去方法の理解を容易とするために、モーションブラー除去の原理を説明する。

図６に、点光源を異なる方向と速度で動かしたときに観測されるモーションブラー、すなわちＰＳＦのシミュレーション画像を示す。図６において最上段は静止カメラでの観測である。上から二段目に、これらのＰＳＦを周波数変換して得られるパワースペクトルを示す。物体の移動速度が上がるにつれて、急激に高周波成分が減衰していることから、物体の移動は、移動方向の高周波成分を減衰させるフィルタとなっている。同じ動きを円運動カメラで観測すると、上から三段目のようになる。最下段にその周波数変換を示す。分布は異なるものの、動きの方向と速度によらずに、同程度の高周波成分が維持されている。つまり、カメラを円運動させると、このような機能を持つフィルタとして機能する。

（周波数解析）
図５に示した螺旋軌跡を周波数変換したパワースペクトルp(f_x, f_y, f_t)を図７に示す。(f_x, f_y, f_t)は時空間(x, y, t)に対応する周波数である。図７(a-c)はp(f_x, f_y, f_t)のf_t軸に垂直な断面である。露光時間を[-T, +T]、円運動の半径をRとすると、2Tf_t = k（kは整数）となるときこの断面は以下の式で表すことができる。
p(f_x, f_y, k/2T) = 4T² J_k ²(2πRf_r) (1)
ここでf_r = (f_x ² + f_y ²)^1/2である。J_k(z)はk次の第一種Bessel関数であり、z < |k|において|J_k(z)|は小さな値をとる。よって式(1)は2πRf_r < |k| = 2T|f_t|のときに小さな値をとることになるが、この条件は式変形すると|f_t| > πRf_r/T = S_maxf_rとなる。また、Bessel関数J_k(z)は、十分大きいzに対しては(2/πz)^1/2の率で減衰するcosine波として振舞う。よって式(1)は十分大きいf_rに対しては(1/π²Rf_r)の率で減衰する波であり、振幅がf_tに依存しない。以上の２点から、パワースペクトルp(f_x, f_y, f_t)は図７に示した円錐|f_t| = S_maxf_rの外側（薄墨の領域）に概ね均等に（ただし波打ちながら）分布することが分かる。一方で、前記した非特許文献４の議論を二次元の動きに拡張すると、物体速度(s_x, s_y)に対応するＰＳＦのパワースペクトルh(f_x, f_y)は、カメラの時空間中の軌跡のパワースペクトルp(f_x, f_y, f_t)の断面であることが示せる。すなわち、次の式が成り立つ。
h(f_x, f_y) = p(-f_x, -f_y, s_xf_x + s_yf_y) (2)
これは投影断面定理(Projection-Slice Theorem)からも導ける。式(2)から分かるように、断面の方程式はf_t = - s_xf_x - s_yf_yとなり、その傾きは物体速度によって決まる。つまり、図６Ｄに示したＰＳＦのパワースペクトルは、異なる傾きを持つ平面によるp(f_x, f_y, f_t)の断面図に相当する。よって、物体の速さの上限値をS_maxとすれば、断面の通りうる領域は図７に示した円錐の外側となるから、円運動カメラの時空間中の軌跡のパワースペクトルの分布（式(1)）は、速さS_max以下の全ての物体の動きに対応するＰＳＦに対してパワースペクトルを均等に分配する分布であることが分かる。

（動き推定）
図６Ｄから分かるように、円運動カメラによるＰＳＦのパワースペクトルは、値の小さな領域（零点）のパターンが物体の動く方向と速さによって異なる。求めたい対象物体の動きを速さs_tとx軸からの角度q_tで表すと、モーションブラー画像にはこの動き(s_t, q_t)から生成されるＰＳＦの零点に対応した周波数成分が失われている。(s_t, q_t)と異なるＰＳＦで逆畳み込みを行うと、失われていない高周波成分を拡大してしまいリンギングが発生する（図８の左から２番目と４番目の図を参照）。よって、速さs, 角度qを変えながら逆畳み込みを行い、リンギングの最も少ない結果を与えた速さと角度を(s_t, q_t)の推定値とすることができる（図８の左から３番目の図を参照）。

（本実施形態によるモーションブラー除去方法）
以上の原理的説明を前提として、次に、図９に示すフローチャートを参照しながら、前記した撮像装置を用いたブラー除去方法の例を説明する。なお、ブラー除去のためのアルゴリズムは、コンピュータに実装可能なコンピュータプログラムにより実行可能である。

（図９のステップＳＡ−１）
まず、推定ＰＳＦの生成について説明する。ＰＳＦ生成部５は、被写体に含まれる物体の最大移動速度に対応して、複数の推定ＰＳＦを生成する。具体的には、以下のように行う。

以下の例では、物体の速さの最大値が予め設定されているものとする。また、物体の実際の移動の速さ及び移動方向は未知とする。また、ＰＳＦ生成部５では、速さおよび方向の刻み幅が設定されている。例えば最大速さの設定値が１０（露光中に物体が移動する画素数）であり、速さの刻み幅が１（画素）, 角度の刻み幅が５°とする。この場合、（速さ、角度）でＰＳＦを表すと
(0, 0°), （静止状態では角度に非依存なので角度は１つだけ）
(1, 0°), (1, 5°), (1, 10°), …, (1, 355°)
(2, 0°), (2, 5°), (2, 10°), … (2, 355°)
…
(10, 0°), (10, 5°), (10, 10°), … (10, 355°)
の動きに対応するモーションブラーのＰＳＦをそれぞれ生成する。与えられた物体の動き（速さ、角度）に対応するＰＳＦを生成する具体的な方法は、後述の「物体の動きに従ったＰＳＦを生成する方法」の項において行う。生成されたＰＳＦを、ここでは推定ＰＳＦと称する。

（図９のステップＳＡ−２）
ＰＳＦ生成部５は、生成されたＰＳＦを、適宜な記憶装置に格納する。

（図９のステップＳＡ−３）
一方、画像移動手段２により、図４に示すようにカメラ１を円運動させながら、画像センサ１１によって画像を取得する。取得した画像は、コントローラ２１を介して記憶装置３に送られ、ここで保存される。

なお、カメラ１に対する物体の移動は、本実施形態では、カメラの光軸に直交する２次元平面内における等速直線運動を仮定する。ただし、像が円運動する間に等速直線運動であればよい。また、等速直線運動は、厳密なものである必要はない。したがって、像が円運動する時間を短くすれば、ほとんど全ての移動は、等速直線運動に近似できる。また、カメラに対して接近又は離間する方向成分を持つ移動であっても良い。そのような場合は、接近又は離間による物体の画像上での拡大又は縮小を相殺するような画像補正（ワーピング）を行うことにより、カメラの光軸に直交する２次元平面内における等速直線運動によるモーションブラーとみなしうる画像を得ることができる。なお、カメラの光軸に沿った動きのみを持つ物体の移動に対しては、本実施形態の方法は適用困難であるが、このような物体を撮影する機会は少ないし、そのモーションブラーを除去する必要も少ないので、この制約はほとんど問題にならないと考えられる。

（図９のステップＳＡ−４）
ついで、被写体に含まれる物体毎に、画像を分割して、領域画像を特定する。例えば、図１０（ａ）に示されるように、画像中に、一つの物体と背景とが含まれているとする。

ここで、まず、物体を囲む領域Φを設定する。領域Φの設定は、作業者により行うことができる。あるいは、物体と背景との色の違い、空間周波数の違いなど、適宜の閾値を用いて自動的に領域を設定することも可能である。

このようにすると、領域(内では、隣接画素との差分を最小化できるので、領域Φの内部を滑らかに穴埋めできる。後述するように、このようにして得た背景用の領域画像には、静止物体のＰＳＦによる逆畳み込みを適用する。

領域Φで切り出した画像を図１０（ｃ）に示す。ついで、この領域Φの外側を穴埋めすることで、物体に対応した領域画像を得る（図１０（ｄ））。穴埋めの方法は、前記した図１０（ｂ）の例と同様である。

なお、物体が複数個存在する場合は、各物体に対応する領域(を、それぞれ切り出し、さらに各領域Φを、それを囲む矩形画像内にそれぞれ配置し、領域(の外部をスムーズに埋めることで、物体のみを含む領域画像をそれぞれ得る。

また、物体に対応する領域画像の縁には、周期的境界条件を適用することが好ましい。すなわち、図１０（ｃ）で示す上辺と下辺との画素値の差と、右辺と左辺との画素値の差がそれぞれ最小化するように、物体を囲む領域を穴埋めする。これにより、後述する逆畳み込み時に、画像の縁に起因するアーティファクトを低減することができる。後述するように、物体に対応する領域画像には、取りうる全てのＰＳＦで逆畳み込みを行い、最適な結果を選択する。その後、逆畳み込みを行った画像を統合する（図１０（ｅ））。

（図９のステップＳＡ−５及びステップＳＡ−６）
ついで、前記のようにして得られた各領域画像に対して、画像処理部４の逆畳み込み部４１が推定ＰＳＦによる逆畳み込みを適用する。ここでは、物体の動きが未知であることから、各推定ＰＳＦを、移動する物体に対応する各領域画像にそれぞれ適用する。これにより、各推定ＰＳＦの数と各領域の数との積の数だけ、逆畳み込み画像が生成される。生成された各画像は、適宜な記憶装置に保存される。

ここで、前記したように、適用したＰＳＦと物体の動きが整合すると、リンギングの少ない画像を生成できる（図８の左から３番目の画像を参照）。一方、適用したＰＳＦと物体の動きとが整合しないと、リンギングの多い画像が生成される（図８の左から２番目と４番目の画像を参照）。そこで、各領域画像の全ての逆畳み込み画像から、最もリンギングが少ない画像を選別することで、物体の動きに整合するＰＳＦを特定することができる。リンギングの有無については、例えば、作業者の視認により行うことができる。あるいは、リンギングが発生すると、画素値の下限値又は上限値の絶対値が非常に大きくなるので、それを目安にして自動的に判別することもできる。

このように、物体の動きに適合する推定ＰＳＦによる逆畳み込みを適用することで、図８中の左から３番目に示すように、リンギングが少なく、かつ、モーションブラーが除去された画像を生成することができる。

一方、動く物体を含まない領域画像、例えば、背景に対応する領域画像については、静止物体に対応するＰＳＦを適用する。あるいは、背景についてモーションブラーの復元が不要である場合、例えば、背景が単一色の場合は、逆畳み込み処理を省略することも可能である。

（図９のステップＳＡ−７）
ついで、画像処理部４の画像統合部４２は、各領域の逆畳み込み画像のうち、リンギングが最も少なかった画像どうしをつなぎ合わせて、モーションブラーが除去された画像を得ることができる。

（図９のステップＳＡ−８）
また、画像処理部４の動き推定部４３は、各領域においてリンギングが最も少ない逆畳み込み画像を与えたＰＳＦから、各物体の動きを推定する。例えば、ある領域で選択された、リンギングが最も少ない画像が、(7, 170°)のＰＳＦによる逆畳み込み画像であったとする。この場合、その領域にある物体の動きは(7, 170°)であると推定することができる。

（図９のステップＳＡ−９）
各領域の逆畳み込み画像をつなぎ合わせて最終的に得られた画像は、適宜な記憶装置に格納される。あるいは、この最終画像は、適宜な出力装置により出力される。

本実施形態では、異なる方向に異なる速さで動く物体がシーン内に複数あるときでも、特定の物体だけが大きくボケるのを防ぎ（つまり「速い物体ほど劣化が激しい」ということはない）、画像の全ての領域で高周波成分を同程度に維持することができる。結果として、深刻なノイズ増加やリンギングを伴わないで、モーションブラーを除去することが可能になる。

（変形例１）
なお、前記した実施形態の説明にカメラを円運動させていた。しかしながら、図１１（ａ）〜（ｄ）に示すように、それ以外の運動方法も可能である。
ここでは、カメラの運動をxy平面上の位置ではなくs_xs_y平面上の速度の観点から考える。まず、一次元の場合から説明する。物体の速さの上限値をS_maxとすると、一次元の場合、考慮すべき速度範囲は図１２(a)に示すように[-S_max, +S_max]であるが、これはカメラを速さ-S_maxから開始して+S_maxまで加速することで全範囲を覆うことができる。これにより全ての物体速度を露光中に一瞬ずつ捕らえることができる。この考え方を二次元に拡張すると、考慮すべき速度の範囲は図１２(b)に示す円盤となる（内部も含む）。これを有限な露光時間中のカメラの運動で全範囲を覆うことはできないので、様々な被覆戦略が考えられる。最も基本となる戦略は、図１２（ｂ）に太線で示したように、円盤の外周（つまりs_xs_y平面中の円）のみをなぞることである。これはカメラを一定の速さで円運動させることで実現できる。「周波数解析」の項で説明したように、カメラを円運動させることで速さS_max未満の物体の動き（s_xs_y平面中の円盤の内部）にもほぼ均等にパワースペクトルを分配することが示せるが、以下に説明するようにその他の被覆戦略も考えられる。

（図１１（ａ））
これは、いくつかの同心円を含んでいる。この運動は、露光中にカメラを異なる半径で複数回円運動させることに相当している。もちろん、カメラ全体を円運動させることのほかに、既に述べたように、光学系や画像センサを円運動させることも可能であるが、説明の便宜上、カメラ全体が円運動する例を主に説明する。

（図１１（ｂ））
これは、円の外周と原点とを含んでいる。この運動は、同心円（図１１(a)）の特殊な場合であり、円運動の前または後にカメラをしばらく静止させることに相当している。

（図１１（ｃ））
これは渦巻き形状によって速度の範囲を被覆しようとする戦略であり、半径を増加または減少させながら円運動させることに相当している。もしくは、この運動は、円運動の角速度を一定とせず、加速または減速させながら円運動させることに相当している。

（図１１（ｄ））
これは、カメラを楕円に沿って動かすことに相当している。この運動においては、水平方向と垂直方向に異なる速度範囲を設定することができる。物体の速さの上限値が、水平方向と垂直方向で異なる場合に有用なカメラ運動法である。

この明細書では、前記したカメラ運動軌跡の楕円等を、円に近似可能な曲線として扱う。その他の運動であっても、画像センサ上の像が周回するものであれば、円に近似可能な曲線に含まれる。

（物体の動きに従ったＰＳＦを生成する方法）
ここで、カメラの運動が円に限らないことを前提として、カメラの運動（具体的には画像センサ上での像の移動）と物体の移動との関係を一般的に説明する。

（変形例２）
前記実施形態では、異なる物体毎に画像を分割して領域画像を生成した。しかしながら、一つの物体の異なる部分が異なる速度で移動する場合には、移動速度毎に画像を分割して領域画像を生成することができる。例えば、人の動きは、腕や足などの部位毎に、異なる方向に、あるいは異なる速さで動く。この場合、部位毎に画像を区分して、領域画像を生成することができる。区分後のモーションブラー除去のアルゴリズムは、前記と同様である。

なお、前記した実施形態において、画像移動手段２が、被写体を撮影している間に、像の移動を少なくとも一時的に停止するようにすれば（図１１（ｂ））、背景あるいは静止物体へのモーションブラーが軽減でき、好適である。すなわち、本実施形態の方法では、静止物体についても、カメラの円運動に伴うモーションブラーが発生する。これについては、前記したとおり、静止物体に対応するＰＳＦで逆畳み込みを行えば良い。しかし、像の移動を止めた状態を露光中に一時的に作って撮影すれば、静止物体に対応するＰＳＦのパワースペクトルは改善し、逆畳み込み結果の画質も改善する。ただしその分、動く物体の逆畳み込み結果の画質は劣化する。すなわち、図１１のようにカメラによる速度範囲の被覆のしかたを変えることで、どの範囲の物体速度に対する逆畳み込み結果の画質を改善するかを制御できる。

また、前記した実施形態では、物体の移動速度を未知としたが、既知であっても良い。例えば、異なる既知の速度を持つ複数物体が被写体に含まれている場合、本実施形態の方法では、物体毎に、モーションブラーを適切に除去できる。また、移動速度が既知である場合は、推定ＰＳＦを使う必要はなく、移動速度に対応したＰＳＦで逆畳み込みを行えばよい。逆畳み込み後に領域画像を統合する手順は前記と同様である。

さらに、前記した実施形態では、カメラ１、画像センサ１１あるいは光学系１２を機械的に変位させることで、画像センサ１１上の像を移動させた。しかしながら、画像移動手段２としては、画像センサ１１における画素値を、円又はこれに近似可能な曲線に沿う方向に画素をずらしながら記憶することにより、画像センサ１１上における像の位置を実質的に移動させる構成であってもよい。これは、露光中に画像センサ上の番地をずらしながら画素値を取得して累積していく（つまり積分していく）ことで実現できる。要するに、図１４に示すように、画像センサ１１上の像が実質的に円運動すれば、各種の移動手段を用いることができる。

（実験例１）
シミュレーションを用いた実験例を図１５によって説明することにより、図６に示すパワースペクトルの分布がモーションブラー除去に及ぼす影響をさらに補足して説明する。

図１５Ａは静止カメラでの観測である。なお、図１５においては、左から順に、静止、水平、斜め、垂直に移動する物体の画像を示している。

図１５Ｂは、図１５Ａの画像にウィーナーフィルタを適用してモーションブラーを除去した結果を示している。この結果を見ると、動く物体についての画像は大きく劣化している。

図１５Ｃは、coded exposureカメラ（非特許文献３参照）での観測結果である。この方法では、露光中にシャッターを閉めるため、画像は暗くなるが、高周波成分の減衰が低減される。そのため、図１５Ｄに示した復元結果は、静止カメラの場合より良い。

図１５Ｅは、motion-invariantカメラ（非特許文献４）での観測である。この方法は、図１５Ｆに示したように、水平方向の動きに対しては非常に良い復元結果を与えるが、動きが水平からずれるにつれて画像の縦方向の詳細が復元できなくなることが分かる。

図１５Ｇは、本実施形態における円運動カメラでの観測である。この方法では、図１５Ｈに示したように、どの動きに対しても同程度の良好な結果を得ることができる。

（実験例２）
次に、複数の物体を含む画像について、本実施形態の方法を用いて、シミュレーションによりモーションブラー除去を試みた結果を図１６に示す。

図１６の左端は、静止カメラによる画像を示す。物体の動きはそれぞれ異なっており、動きに応じたモーションブラーを生じている。

図１６の中央は、円運動カメラによって取得された画像を示す。左端の画像と比べると、物体の動きに拘わらず、画像の高周波成分が比較的に良く維持されている。このことは、各ボールに付された文字に着目するとわかりやすい。

図１６の右端は、本実施形態の方法でモーションブラーを除去した画像を示す。この方法では、前記したとおり、物体毎に領域画像を生成し、逆畳み込みを適用した後に、画像を統合している。若干のボケは残るが、物体の移動方向や移動速度に拘わらず、モーションブラーをある程度除去できている。

なお、前記した各実施形態の構成は、本発明の例示に過ぎず、本発明の内容を制限する趣旨のものではない。

１ カメラ
１１ 画像センサ
１２ 光学系
１３ 光軸
１ａ 時空間中におけるカメラの運動軌跡
２ 画像移動手段
２１ コントローラ
２２ 駆動機構
２２１ 支持台
２２２ 第１モータ
２２３ 回転盤
２２４ 第２モータ
３ 記憶装置
４ 画像処理部
４２ 画像統合部
４３ 動き推定部
５ ＰＳＦ生成部

Claims (12)

1. モーションブラーの除去が可能な撮像装置であって、カメラと、画像移動手段と、画像処理部とを備えており、
   前記カメラは、画像を取得するための画像センサと、前記画像センサ上に像を結ぶための光学系とを備えており、
   前記画像移動手段は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させる構成となっており、
   前記画像処理部は、逆畳み込み部を備えており、
   前記逆畳み込み部は、前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行う構成となっている
   ことを特徴とする撮像装置。
2. さらに、ＰＳＦ生成部を備えており、
   前記ＰＳＦ生成部は、前記被写体の最大移動速度及び移動方向の予測値ないし設定値に基づいて、複数の推定ＰＳＦを生成する構成となっており、
   前記逆畳み込み部は、
   前記複数の推定ＰＳＦを前記既定のＰＳＦとして用いて、前記画像に対する前記逆畳み込みを行う処理と、
   前記逆畳み込みの結果、最も良くモーションブラーが除去された画像を特定する処理
   とをさらに行う構成となっている
   請求項１に記載の撮像装置。
3. 前記画像処理部は、さらに、画像統合部を備えており、
   かつ、前記画像は、複数の被写体を含んでおり、
   前記逆畳み込み部は、前記既定のＰＳＦを、前記複数の被写体に対応して画像を分割することで生成された領域画像に対して適用して、前記逆畳み込みを行う構成となっており、
   前記画像統合部は、前記逆畳み込みが行われた前記領域画像をつなぎ合わせて、モーションブラーが除去された画像を生成する
   請求項１又は２に記載の撮像装置。
4. 前記画像処理部は、さらに、画像統合部を備えており、
   かつ、前記画像は、異なる方向に移動する一つ又は複数の被写体を含んでおり、
   前記逆畳み込み部は、前記既定のＰＳＦを、前記被写体の移動速度毎に画像を分割することで生成された領域画像に対して適用して、前記逆畳み込みを行う構成となっており、
   前記画像統合部は、前記逆畳み込みが行われた前記領域画像をつなぎ合わせて、モーションブラーが除去された画像を生成する
   請求項１又は２に記載の撮像装置。
5. 前記画像移動手段は、前記カメラ、前記光学系又は前記画像センサを、円又はこれに近似可能な曲線に沿う方向に移動させることにより、前記画像センサ上における像の位置を移動させる構成となっている
   請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記画像移動手段は、前記画像センサにおける画素値を、円又はこれに近似可能な曲線に沿う方向に画素をずらしながら記憶することにより、前記画像センサ上における像の位置を実質的に移動させる構成となっている
   請求項１〜４のいずれか１項に記載の撮像装置。
7. 前記画像移動手段は、被写体を撮影している間に、像の移動を少なくとも一時的に停止する構成となっている
   請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記逆畳み込み部は、複数の前記推定ＰＳＦを用いた逆畳み込みの結果、最もリンギングが少ない画像を、前記最も良くモーションブラーが除去された画像と判定する構成となっている
   請求項２に記載の撮像装置。
9. 画像センサを備えたカメラで撮影された画像からモーションブラーを除去するための画像処理装置であって、逆畳み込み部を備えており、
   前記画像は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させながら取得されたものであり、
   前記逆畳み込み部は、前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行う構成となっている
   ことを特徴とする画像処理装置。
10. 画像センサを備えたカメラで撮影された画像からモーションブラーを除去するための画像処理方法であって、以下のステップを備える：
    （１）前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させながら画像を取得するステップ；
    （２）前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行うことによって、前記画像におけるモーションブラーを除去するステップ。
11. 画像センサを備えたカメラで撮影された画像からモーションブラーを除去するための、コンピュータ上で実行可能な、画像処理用のコンピュータプログラムであって、
    前記画像は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させながら取得されたものであり、
    前記画像センサで取得された画像に対して、前記画像に含まれる被写体の動きに対応する既定のＰＳＦを用いて逆畳み込みを行うことによって、前記画像におけるモーションブラーを除去する処理を行うコンピュータプログラム。
12. モーションブラーの除去が可能な撮像装置のために用いられるカメラ装置であって、
    画像を取得するための画像センサと、前記画像センサ上に像を結ぶための光学系と、画像移動手段とを備えており、
    前記画像移動手段は、前記画像センサ上における像の位置を、円又はこれに近似可能な曲線に沿って実質的に移動させる構成となっている
    ことを特徴とするカメラ装置。