JP4935930B2 - 画像補正装置および画像補正方法 - Google Patents
画像補正装置および画像補正方法 Download PDFInfo
- Publication number
- JP4935930B2 JP4935930B2 JP2010516662A JP2010516662A JP4935930B2 JP 4935930 B2 JP4935930 B2 JP 4935930B2 JP 2010516662 A JP2010516662 A JP 2010516662A JP 2010516662 A JP2010516662 A JP 2010516662A JP 4935930 B2 JP4935930 B2 JP 4935930B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- pixel
- unit
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003702 image correction Methods 0.000 title claims description 55
- 238000000034 method Methods 0.000 title claims description 46
- 238000012937 correction Methods 0.000 claims description 98
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000009499 grossing Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、画像補正装置および画像補正方法に係わり、例えば、画像のぶれを補正するための画像補正装置および画像補正方法に適用することができる。
撮影された画像の手ぶれ（ここでは、被写体の移動によるぶれを含まないものとする）を補正する技術として、例えば、画像内のオブジェクトまたはテクスチャのエッジをシャープにする方法が知られている。
画像内のオブジェクトまたはテクスチャのエッジにおいては、通常、画素値（輝度、濃度など）が急激に変化する。図１に示すプロファイルは、エッジにおける画素値（ここでは、輝度レベル）の変化を示している。また、このプロファイルの横軸は、画素の位置を表している。なお、エッジにおいては、輝度レベルが傾斜（すなわち、ランプ）しているので、本明細書ではエッジが存在する領域を「ランプ領域」と呼ぶことがある。
エッジをシャープにするためには、例えば、図１に示すように、輝度レベルが中心レベルよりも低い領域（Ａ領域）では、各画素の輝度レベルは下げられる。一方、輝度レベルが中心レベルよりも高い領域（Ｂ領域）では、各画素の輝度レベルは上げられる。なお、ランプ領域の外側では、輝度レベルの補正は行われない。このような補正により、ランプ領域の幅が狭められ、エッジがシャープになる。この方法は、例えば、非特許文献１に記載されている。
また、関連する技術として、特許文献１には、一部の領域のみがぼけている画像において、ぼけ補正を行う画像処理方法が記載されている。すなわち、エッジ検出手段は、縮小画像において８つの異なる方向毎にエッジを検出する。ブロック分割手段は、縮小画像を１６分割する。解析手段は、各ブロックの画像がぼけ画像であるか否かを判断すると共に、ぼけ画像であるブロック画像のぼけ情報（ぼけ幅Ｌ、ぶれ度、ぼけ方向）を検出する。パラメータ設定手段は、ぼけ情報に基づいて、補正パラメータを設定すると共に、ぼけ幅Ｌに応じて補正強度αを設定する。
しかしながら、１枚の画像の中で手ぶれを除去する方法では、不適切な画像補正が行われてしまうことがある。例えば、１つの手ぶれ補正方法として、階調の勾配が緩やかなエッジが検出された場合、その緩やかな勾配は手ぶれによって生じたものと判断し、そのエッジをシャープにする手順が考えられる。ところが、この方法では、本来の画像（ここでは、手ぶれ無しで撮影された画像）において階調の勾配が緩やかなエッジも、同様にシャープなエッジに補正されてしまう。この場合、結果として、画質が劣化することになる。また、不必要な補正処理が行われるので、処理時間および／または消費電力の増大を招く可能性がある。
特開２００５−３３２３８１号公報
J.-G Leu, Edge sharpening through ramp width reduction, Image and Vision Computing 18 (2000) 501-514
本発明の課題は、少ない演算量で画像のぶれを適切に補正する画像補正装置および画像補正方法を提供することである。
実施形態の画像補正装置は、撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定部と、前記複数の画像から得られる補正対象画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する補正部、を有する。
実施形態の画像補正装置は、撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定部と、前記複数の画像から得られる補正対象画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する補正部、を有する。
図２は、実施形態の画像補正装置の構成を示す図である。実施形態の画像補正装置１は、特に限定されるものではないが、例えば、電子カメラにより得られた画像を補正する。また、画像補正装置１は、基本的に、手ぶれを補正するものとする。手ぶれは、例えば、画像の撮影時に撮影装置が動くことによって発生する。また、手ぶれに起因する画像の劣化は、主に、画像内のオブジェクトまたはテクスチャのエッジにおいて発生する。よって、画像補正装置１は、エッジをシャープにすることによって、及び／又は、輪郭を強調することによって、手ぶれを補正する。
入力画像は、撮影範囲を共有する複数の画像である。これらの複数の画像は、この実施例では、短時間内に連続して撮影された連写画像であるものとする。
画像補正装置１は、動きベクトル算出部１１、特性決定部１２、補正部１３を備える。動きベクトル算出部１１は、入力される連写画像に基づいて、画像の動きベクトルを算出する。特性決定部１２は、算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する。補正部１３は、連写画像から得られる補正対象画像において、エッジ特性を有する画素の画素値を補正する。補正対象画像は、例えば、連写画像として与えられる複数の画像の中の任意の１枚である。あるいは、補正対象画像は、複数の画像を合成することによって得られる合成画像であってもよい。なお、補正部１３は、例えば、エッジをシャープにする輪郭補正、及び／又は、輪郭強調を行う。
画像補正装置１は、動きベクトル算出部１１、特性決定部１２、補正部１３を備える。動きベクトル算出部１１は、入力される連写画像に基づいて、画像の動きベクトルを算出する。特性決定部１２は、算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する。補正部１３は、連写画像から得られる補正対象画像において、エッジ特性を有する画素の画素値を補正する。補正対象画像は、例えば、連写画像として与えられる複数の画像の中の任意の１枚である。あるいは、補正対象画像は、複数の画像を合成することによって得られる合成画像であってもよい。なお、補正部１３は、例えば、エッジをシャープにする輪郭補正、及び／又は、輪郭強調を行う。
このように、実施形態の画像補正装置１においては、すべての画素について補正を行うのではなく、動きベクトルに応じて決まる特定の画素に対してのみ補正が行われる。したがって、画像補正のための演算量が少なくなり、消費電力も少なくなる。
画像補正装置１は、さらに、位置補正部２１、被写体動き検出部２２、画像合成部２３を備えるようにしてもよい。位置補正部２１は、算出された動きベクトルに基づいて、複数の画像間の位置ずれを補正する。被写体動き検出部２２は、位置補正部２１によって位置ずれが補正された複数の画像を利用して、被写体の動きを検出する。なお、「被写体の動き」は、例えば、撮影された人が手を振っているとき、或いは撮影された自動車が走行しているとき等に検出される。画像合成部２３は、位置補正部２１によって位置ずれが補正された複数の画像を互いに合成して合成画像を生成する。このとき、画像合成部２３は、被写体の動きが検出されなかった領域の画像を合成し、被写体の動きが検出された領域の画像を合成しないようにしてもよい。
このようにして合成画像が生成されたときは、補正部１３は、その合成画像において、上述のエッジ特性を有する画素の画素値を補正する。合成画像を利用する場合は、補正部１３に与えられる画像のノイズが除去され、また、光量不足が回避されるので、画質が向上する。
図３は、実施形態の画像補正方法を示すフローチャートである。このフローチャートの処理は、この実施例では、連写が行われたときに実行されるものとする。なお、連写により得られる画像の数は、特に限定されるものではない。
ステップＳ１では、連写画像（すなわち、撮影範囲を共有する複数の画像）が入力される。ステップＳ２では、連写画像に基づいて、動きベクトルを算出する。ここで算出される動きベクトルは、手ぶれに起因する画像のぶれを表す。なお、動きベクトルは、特に限定されるものではないが、例えば、ＫＬＴ変換を用いて特徴点を抽出し、その特徴点を追跡することで算出される。ＫＬＴ変換については、例えば、下記の文献Ａ〜Ｃに記載されている。
文献Ａ：Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981.
文献Ｂ：Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.
文献Ｃ：Jianbo Shi and Carlo Tomasi. Good Features to Track. IEEE Conference on Computer Vision and Pattern Recognition, pages 593-600, 1994.
文献Ａ：Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981.
文献Ｂ：Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.
文献Ｃ：Jianbo Shi and Carlo Tomasi. Good Features to Track. IEEE Conference on Computer Vision and Pattern Recognition, pages 593-600, 1994.
図４は、動きベクトルについて説明する図である。ここでは、撮影時に手ぶれによってカメラが所定の方向に動いたときの動きベクトルが示されている。この場合、動きベクトルは、Ｘ方向の移動量およびＹ方向の移動量によって表され、画像内のすべての位置において同じである。また、動きベクトルの向きはぶれ方向を表し、動きベクトルの大きさはぶれ量を表す。なお、撮影時にカメラが回転した場合には、回転を表す３×３マトリックスが算出される。
ステップＳ３では、算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性（或いは、画像補正を行うべき画素の条件）を決定する。エッジ特性は、例えば、ぶれ方向（動きベクトルの方向）に基づいて決定される。この場合、エッジ特性は、例えば、各画素における画素値勾配の方向で定義される。画素値は、特に限定されるものではないが、例えば輝度レベルである。なお、エッジ特性は、ぶれ量（動きベクトルの大きさ）に基づいて決定されるようにしてもよい。
一例として、算出された動きベクトルの成分が「Ｘ＝−１」「Ｙ＝２」であったものとする。そうすると、ぶれ方向は、下式により算出される。
ぶれ方向＝arctan（Ｙ方向の移動量／Ｘ方向の移動量）
＝arctan（−２）
＝−１．１０７
この場合、ぶれ方向は、図５に示すZone１〜Zone８のなかのZone３に属することになる。なお、各Zoneは、それぞれ「π／４」が割り当てられている。
ぶれ方向＝arctan（Ｙ方向の移動量／Ｘ方向の移動量）
＝arctan（−２）
＝−１．１０７
この場合、ぶれ方向は、図５に示すZone１〜Zone８のなかのZone３に属することになる。なお、各Zoneは、それぞれ「π／４」が割り当てられている。
図６は、補正すべきエッジを決定する方法について説明する図である。ここでは、手ぶれによって、連続する２枚の画像間で被写体が位置Ａから位置Ｂに動いたものとする。この場合、被写体のエッジは、主に、領域ｃおよび領域ｄにおいてぼけることとなる。すなわち、領域ｃおよび領域ｄに属するエッジは補正を行うべきであるが、他の領域のエッジは必ずしも補正を行う必要はない。したがって、実施形態の画像補正方法では、領域ｃおよび領域ｄに属するエッジを検出し、それらのエッジのみが補正される。これにより、画像補正のための演算量が削減される。
図７は、補正すべきエッジを決定する方法の実施例を説明する図である。ここでは、被写体の輪郭は、エッジ１〜４により形成されているものとする。また、被写体の各エッジは、画素値（例えば、輝度レベル）がその被写体の外側に向かって「３」から「１」に変化する勾配を有している。なお、この実施例では、画素値が低下していく方向を「画素値勾配の方向」を呼ぶことにする。
図７に示す例では、手ぶれによる動きベクトルＭＶの方向は、エッジ２、４の画素値勾配の方向と平行である。この場合、一般に、エッジ２、４は、その手ぶれによってぼけることになる。したがって、エッジ２、４は、手ぶれ補正を行う必要がある。一方、エッジ１、３の画素値勾配の方向は、動きベクトルＭＶの方向と直交している。この場合、一般に、エッジ１、３は、その手ぶれによってさほどぼけることはない。すなわち、エッジ１、３は、必ずしも手ぶれ補正を行う必要はない。
したがって、実施形態の画像補正方法では、画素値勾配の方向が動きベクトルの方向に対して所定の関係を有している画素について、画素値の補正が行われる。具体的には、画素値勾配の方向が動きベクトルとほぼ同じである画素、および画素値勾配の方向が動きベクトルとほぼ逆方向である画素について、補正処理が行われる。例えば、手ぶれに起因する動きベクトルの方向が図５に示すZone３に属していた場合、画素値勾配の方向がZone３またはZone７に属する画素について、補正処理が行われる。
図３に戻る。ステップＳ４では、算出された動きベクトルに基づいて、複数の画像間の位置ずれを補正する。２枚の画像が入力されたときは、例えば、一方の画像を基準として他方の画像の各画素の位置を動きベクトルに従って補正する。また、３枚の画像が入力されたときは、例えば、２番目の画像を基準として、１番目および３番目の画像の各画素の位置を動きベクトルに従って補正する。ステップＳ４により、手ぶれによる位置ずれが補正された複数の画像が得られる。
ステップＳ５〜Ｓ６では、位置ずれが補正された複数の画像を利用して、被写体の動きを検出する。被写体の動き（例えば、被写体としての人が手を振っている状態、被写体としての自動車が走行している状態など）は、特に限定されるものではないが、例えば、位置ずれ補正後の複数の画像間の差分を計算することにより検出される。すなわち、この差分がゼロ（または、十分に小さい値）であれば、被写体は動いていないと判定され、この差分が所定値よりも大きければ被写体が動いていると判定される。これにより、動いている被写体の画素を検出することができる。
ステップＳ７では、被写体が動いていない領域の画像を合成する。すなわち、被写体が動いていない領域において、複数の画像の互いに同じ位置の画素の画素データが合成される。これにより、被写体が動いていない領域について、合成画像が生成される。
ステップＳ８では、合成画像に対して、ぶれ補正が行われる。ぶれ補正は、輪郭補正またはエッジのシャープ化である。ステップＳ９では、合成画像に対して、輪郭強調が行われる。なお、ステップＳ８、Ｓ９の一方のみを行ってもよいし、ステップＳ８、Ｓ９の双方を行うようにしてもよい。ステップＳ８、Ｓ９の双方を行う場合、その順番は特に限定されない。
ステップＳ８、Ｓ９の補正は、画素毎に行われる。ただし、この補正は、すべての画素に対して行われる必要はない。すなわち、ステップＳ３に関連して説明したように、動きベクトルに応じて決まる特定の画素に対してのみ補正が行われる。なお、ステップＳ８、Ｓ９の実施例は、後で説明する。
ステップＳ１０では、ステップＳ８、Ｓ９により補正された領域の画像、および被写体が動いていない領域の画像を合成する。これにより、補正画像が得られる。
図８は、実施形態の画像補正装置１に係わるハードウェア構成を示す図である。図８において、ＣＰＵ１０１は、メモリ１０３を利用して画像補正プログラムを実行する。記憶装置１０２は、例えばハードディスクであり、画像補正プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。
図８は、実施形態の画像補正装置１に係わるハードウェア構成を示す図である。図８において、ＣＰＵ１０１は、メモリ１０３を利用して画像補正プログラムを実行する。記憶装置１０２は、例えばハードディスクであり、画像補正プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。
読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬性記録媒体１０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、カメラ、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。
実施形態に係わる画像補正プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像補正プログラムを実行することにより、実施形態に係わる画像補正装置が実現される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像補正プログラムを実行することにより、実施形態に係わる画像補正装置が実現される。
図９は、図３に示すステップＳ８のぶれ補正処理を実行するぶれ補正回路３０の構成を示す図である。なお、ぶれ補正回路３０の入力画像は、図３を参照しながら説明したように、被写体が動いていない領域の画像である。或いは、ぶれ補正回路３０の入力画像は、連写画像（複数の画像）の中の任意の１つであってもよい。
入力画像は、平滑化処理部３１および補正部３５に与えられる。平滑化処理部３１は、例えば、平滑化（または、平均化）フィルタであり、入力画像の各画素の輝度値を平滑化する。この平滑化処理により、入力画像のノイズが除去（または、低減）される。ぶれ範囲検出部３２は、平滑化処理部３１から出力される平滑化画像において、手ぶれが発生していると推定される領域を検出する。すなわち、ぶれ範囲検出部３２は、平滑化画像の各画素について、手ぶれが発生しているか否かを推定する。なお、手ぶれに起因する画像の劣化は、上述したように、主に、画像内のオブジェクトまたはテクスチャのエッジにおいて発生する。また、エッジ領域においては、一般に、輝度値が図１に示すように傾斜している。したがって、ぶれ範囲検出部３２は、例えば、平滑化画像において輝度の傾斜を検出することにより、手ぶれ範囲を検出する。
補正対象抽出部３３は、検出された手ぶれ範囲において、さらに補正対象の画素を抽出する。補正対象の画素を抽出するための条件は、図３に示すステップＳ３において、動きベクトルに基づいて決定される。例えば、動きベクトルの方向が図５に示すZone３に属していた場合、画素値勾配の方向（ここでは、輝度の傾斜の方向）がZone３又はZone７に属する画素が抽出される。
補正量算出部３４は、補正対象抽出部３３により抽出された画素について補正量を算出する。そして、補正部３５は、補正量算出部３４により算出された補正量を利用して、入力画像を補正する。このとき、補正部３５は、例えば、図１を参照しながら説明したように、エッジ領域において、中心レベルよりも輝度の高い画素の輝度値をより高くし、中心レベルよりも輝度の低い画素の輝度値をより低くする。これにより、エッジがシャープになる。
このように、ぶれ補正回路３０は、動きベクトルに基づいて決められた条件に従って補正対象の画素を抽出し、その抽出された画素についての補正量を算出する。このとき、平滑化された画像においては、ノイズが除去（または、低減）されている。このため、検出されるぶれ範囲、および算出される補正量は、ノイズの影響を受けない。したがって、ノイズの影響を受けることなく、画像内のエッジをシャープにすることができる。
平均化処理部３１は、入力画像のサイズを検出する。すなわち、例えば、入力画像の画素数が検出される。画像サイズを検出する方法は、特に限定されるものではなく、公知の技術により実現するようにしてもよい。そして、例えば、入力画像のサイズが閾値よりも小さければ３×３フィルタ２２が選択され、入力画像のサイズが閾値よりも大きければ５×５フィルタ２３が選択される。閾値は、特に限定されるものではないが、例えば、１Ｍピクセルである。
図１０（ａ）は、３×３平滑化フィルタの実施例である。３×３平滑化フィルタは、入力画像の各画素について、平滑化演算を実行する。すなわち、対象画素およびその周辺の８画素（合計、９画素）の輝度値の平均が算出される。図１０（ｂ）は、５×５平滑化フィルタの実施例である。５×５平滑化フィルタも、３×３平滑化フィルタと同様に、入力画像の各画素について、平滑化演算を実行する。ただし、５×５平滑化フィルタは、対象画素およびその周辺の２４画素（合計、２５画素）の輝度値の平均を算出する。
このように、平均化処理部３１は、画像のサイズに応じて決まるフィルタを利用して、入力画像を平滑化する。ここで、一般に、サイズの大きい画像においては、ノイズが大きくなる。したがって、画像サイズが大きいほど、強い平滑化処理が必要になる。
なお、上述の実施例では、２種類のフィルタのうちの一方が選択されているが、実施形態の画像補正装置はこの構成に限定されるものではない。すなわち、画像のサイズに応じて３以上のフィルタの中から１つが選択されるようにしてもよい。また、図１０（ａ）および図１０（ｂ）には、複数の画素値の単純平均を算出するフィルタが示されているが、実施形態の画像補正装置はこの構成に限定されるものではない。すなわち、平滑化処理部３１を構成するフィルタとして、例えば、中心または中心領域に大きな重みを持った加重平均フィルタを使用するようにしてもよい。
図１１は、ぶれ補正回路３０の動作を示すフローチャートである。図１１において、ステップＳ２１では、画像データが入力される。画像データは、各画素の画素値（輝度情報など）を含んでいる。ステップＳ２２では、平滑化フィルタのサイズが決定される。平滑化フィルタのサイズは、上述したように、入力画像のサイズに応じて決定される。そして、ステップＳ２３において、ステップＳ２２で決められたフィルタを用いて、入力画像が平滑化される。
ステップＳ２４では、平滑化された画像の各画素について後述する評価指数ＩH、ＩM、ＩL、ＧH、ＧM、ＧLを算出する。ステップＳ２５では、平滑化画像の各画素について、評価指数ＩH、ＩM、ＩLを利用して、ぶれ範囲に属しているか否かを判定する。ステップＳ２６では、補正対象の画素を抽出する。そして、補正対象の画素について、ステップＳ２７〜Ｓ２９が実行される。一方、抽出されなかった画素については、ステップＳ２７〜Ｓ２９の処理はスキップされる。
ステップＳ２７では、対象画素についての評価指数ＧH、ＧM、ＧLを利用して、その対象画素の輝度を補正すべきか否かを判定する。補正が必要な場合には、ステップＳ２８において、評価指数ＩH、ＩM、ＩL、ＧH、ＧM、ＧLを利用して補正量を算出する。そして、ステップＳ２９では、算出された補正量に従って、原画像を補正する。
なお、ステップＳ２２〜Ｓ２３の処理は、図９に示す平均化処理部３１により実行される。また、ステップＳ２４〜Ｓ２９は、エッジのランプ領域（輝度レベルが傾斜している領域）の幅を狭くすることで、そのエッジをシャープにする処理に相当する。以下、ステップＳ２４〜Ｓ２９の処理を説明する。
＜評価指数の算出（ステップＳ２４）＞
平滑化された画像の各画素に対して、Sobel演算が行われる。Sobel演算は、図１２に示すSobelフィルタが使用される。すなわち、Sobel演算では、対象画素およびその周辺の８画素が利用される。ここで、図１２（ａ）はＸ方向のSobelフィルタの構成を示し、図１２（ｂ）はＹ方向のSobelフィルタの構成を示している。そして、各画素に対して、Ｘ方向Sobel演算およびＹ方向Sobel演算が実行される。以下では、Ｘ方向およびＹ方向のSobel演算の結果を、それぞれ「gradＸ」「gradＹ」と呼ぶことにする。
平滑化された画像の各画素に対して、Sobel演算が行われる。Sobel演算は、図１２に示すSobelフィルタが使用される。すなわち、Sobel演算では、対象画素およびその周辺の８画素が利用される。ここで、図１２（ａ）はＸ方向のSobelフィルタの構成を示し、図１２（ｂ）はＹ方向のSobelフィルタの構成を示している。そして、各画素に対して、Ｘ方向Sobel演算およびＹ方向Sobel演算が実行される。以下では、Ｘ方向およびＹ方向のSobel演算の結果を、それぞれ「gradＸ」「gradＹ」と呼ぶことにする。
Sobel演算の結果を利用して、各画素について、輝度の勾配の大きさを算出する。勾配の大きさ「gradMag」は、例えば、下記（１）式で算出される。
Zone１：０≦PixDirection＜π／４ 且つ gradＸ＞０
Zone２：π／４≦PixDirection＜π／２ 且つ gradＹ＞０
Zone３：−π／２≦PixDirection＜−π／４ 且つ gradＹ＜０
Zone４：−π／４≦PixDirection＜０ 且つ gradＸ＜０
Zone５：０≦PixDirection＜π／４ 且つ gradＸ＜０
Zone６：π／４≦PixDirection＜π／２ 且つ gradＹ＜０
Zone７：−π／２≦PixDirection＜−π／４ 且つ gradＹ＞０
Zone８：−π／４≦PixDirection＜０ 且つ gradＸ＞０
次に、平滑化された画像の各画素について、画素濃度指数ＩH、ＩM、ＩLを算出する。画素濃度指数ＩH、ＩM、ＩLは、上記（３）式で求められる勾配の方向に依存する。ここで、一実施例として、勾配の方向がZone１（０≦θ＜π／４）に属する場合の画素濃度指数ＩH、ＩM、ＩLを算出する例を示す。以下では、画素(i, j)の勾配方向を「θ(i, j)」と呼ぶことにする。
まず、「θ＝０」に対して下式を定義する。なお、「P(i, j)」は、座標(i, j)に位置する画素の輝度値を表す。「P(i, j+1)」は、座標(i, j+1)に位置する画素の輝度値を表す。他の画素についても同様である。
ＩH(0)＝0.25×{P(i+1, j+1)＋2×P(i, j+1)＋P(i−1, j+1)}
ＩM(0)＝0.25×{P(i+1, j)＋2×P(i, j)＋P(i−1, j)}
ＩL(0)＝0.25×{P(i+1, j−1)＋2×P(i, j−1)＋P(i−1, j−1)}
同様に、「θ＝π／４」に対して下式を定義する。
ＩH(π/4)＝0.5×{P(i+1, j)＋P(i, j+1)}
ＩM(π/4)＝0.25×{P(i+1, j−1)＋2×P(i, j)＋P(i−1, j+1)}
ＩL(π/4)＝0.5×{P(i, j−1)＋P(i−1, j)}
ＩH(0)＝0.25×{P(i+1, j+1)＋2×P(i, j+1)＋P(i−1, j+1)}
ＩM(0)＝0.25×{P(i+1, j)＋2×P(i, j)＋P(i−1, j)}
ＩL(0)＝0.25×{P(i+1, j−1)＋2×P(i, j−1)＋P(i−1, j−1)}
同様に、「θ＝π／４」に対して下式を定義する。
ＩH(π/4)＝0.5×{P(i+1, j)＋P(i, j+1)}
ＩM(π/4)＝0.25×{P(i+1, j−1)＋2×P(i, j)＋P(i−1, j+1)}
ＩL(π/4)＝0.5×{P(i, j−1)＋P(i−1, j)}
ここで、Zone１における３つの画素濃度指数は、それぞれ「θ＝０」の画素濃度指数および「θ＝π／４」の画素濃度指数を利用する線形補間により算出される。すなわち、Zone１における３つの画素濃度指数は、下式により算出される。
ＩH,Zone1＝ＩH(0)×ω＋ＩH(π/4)×(1−ω)
ＩM,Zone1＝ＩM(0)×ω＋ＩM(π/4)×(1−ω)
ＩL,Zone1＝ＩL(0)×ω＋ＩL(π/4)×(1−ω)
ω＝１−{4×θ(i, j)}／π
Zone２〜Zone８の画素濃度指数についても、同様の手順で算出することができる。すなわち、「θ＝０、π/4、π/2、3π/4、π、−3π/4、−π/2、−π/4」に対して、それぞれ画素濃度指数が算出される。これらの画素濃度指数は、それぞれ、平滑化された画像の各画素の輝度値に３×３フィルタ演算を行うことにより得られる。図１３、図１４、図１５は、それぞれ画素濃度指数ＩH、ＩM、ＩLを得るためのフィルタの構成を示す図である。
ＩH,Zone1＝ＩH(0)×ω＋ＩH(π/4)×(1−ω)
ＩM,Zone1＝ＩM(0)×ω＋ＩM(π/4)×(1−ω)
ＩL,Zone1＝ＩL(0)×ω＋ＩL(π/4)×(1−ω)
ω＝１−{4×θ(i, j)}／π
Zone２〜Zone８の画素濃度指数についても、同様の手順で算出することができる。すなわち、「θ＝０、π/4、π/2、3π/4、π、−3π/4、−π/2、−π/4」に対して、それぞれ画素濃度指数が算出される。これらの画素濃度指数は、それぞれ、平滑化された画像の各画素の輝度値に３×３フィルタ演算を行うことにより得られる。図１３、図１４、図１５は、それぞれ画素濃度指数ＩH、ＩM、ＩLを得るためのフィルタの構成を示す図である。
これらのフィルタを用いることにより、所定の８方向の画素濃度指数ＩH、ＩM、ＩLを算出することができる。そして、各Zoneの画素濃度指数ＩHは、対応する２方向の画素濃度指数ＩHを利用して、下式により算出される。
ＩH,Zone1＝ＩH(0)×w15＋ＩH(π/4)×(1−w15)
ＩH,Zone2＝ＩH(π/2)×w26＋ＩH(π/4)×(1−w26)
ＩH,Zone3＝ＩH(π/2)×w37＋ＩH(3π/4)×(1−w37)
ＩH,Zone4＝ＩH(π)×w48＋ＩH(3π/4)×(1−w48)
ＩH,Zone5＝ＩH(π)×w15＋ＩH(−3π/4)×(1−w15)
ＩH,Zone6＝ＩH(−π/2)×w26＋ＩH(−3π/4)×(1−w26)
ＩH,Zone7＝ＩH(−π/2)×w37＋ＩH(−π/4)×(1−w37)
ＩH,Zone8＝ＩH(0)×w48＋ＩH(−π/4)×(1−w48)
なお、w15、w26、w37、w48は、それぞれ、下指示により表される。
W15＝１−4θ／π
W26＝4θ／π−１
W37＝−１−4θ／π
W48＝１＋4θ／π
ＩH,Zone1＝ＩH(0)×w15＋ＩH(π/4)×(1−w15)
ＩH,Zone2＝ＩH(π/2)×w26＋ＩH(π/4)×(1−w26)
ＩH,Zone3＝ＩH(π/2)×w37＋ＩH(3π/4)×(1−w37)
ＩH,Zone4＝ＩH(π)×w48＋ＩH(3π/4)×(1−w48)
ＩH,Zone5＝ＩH(π)×w15＋ＩH(−3π/4)×(1−w15)
ＩH,Zone6＝ＩH(−π/2)×w26＋ＩH(−3π/4)×(1−w26)
ＩH,Zone7＝ＩH(−π/2)×w37＋ＩH(−π/4)×(1−w37)
ＩH,Zone8＝ＩH(0)×w48＋ＩH(−π/4)×(1−w48)
なお、w15、w26、w37、w48は、それぞれ、下指示により表される。
W15＝１−4θ／π
W26＝4θ／π−１
W37＝−１−4θ／π
W48＝１＋4θ／π
また、各Zoneの画素濃度指数ＩMは、対応する２方向の画素濃度指数ＩMを利用して、下式により算出される。
ＩM,Zone1＝ＩM(0)×w15＋ＩM(π/4)×(1−w15)
ＩM,Zone2＝ＩM(π/2)×w26＋ＩM(π/4)×(1−w26)
ＩM,Zone3＝ＩM(π/2)×w37＋ＩM(3π/4)×(1−w37)
ＩM,Zone4＝ＩM(π)×w48＋ＩM(3π/4)×(1−w48)
ＩM,Zone5＝ＩM(π)×w15＋ＩM(−3π/4)×(1−w15)
ＩM,Zone6＝ＩM(−π/2)×w26＋ＩM(−3π/4)×(1−w26)
ＩM,Zone7＝ＩM(−π/2)×w37＋ＩM(−π/4)×(1−w37)
ＩM,Zone8＝ＩM(0)×w48＋ＩM(−π/4)×(1−w48)
ＩM,Zone1＝ＩM(0)×w15＋ＩM(π/4)×(1−w15)
ＩM,Zone2＝ＩM(π/2)×w26＋ＩM(π/4)×(1−w26)
ＩM,Zone3＝ＩM(π/2)×w37＋ＩM(3π/4)×(1−w37)
ＩM,Zone4＝ＩM(π)×w48＋ＩM(3π/4)×(1−w48)
ＩM,Zone5＝ＩM(π)×w15＋ＩM(−3π/4)×(1−w15)
ＩM,Zone6＝ＩM(−π/2)×w26＋ＩM(−3π/4)×(1−w26)
ＩM,Zone7＝ＩM(−π/2)×w37＋ＩM(−π/4)×(1−w37)
ＩM,Zone8＝ＩM(0)×w48＋ＩM(−π/4)×(1−w48)
同様に、各Zoneの画素濃度指数ＩLは、対応する２方向の画素濃度指数ＩLを利用して、下式により算出される。
ＩL,Zone1＝ＩL(0)×w15＋ＩL(π/4)×(1−w15)
ＩL,Zone2＝ＩL(π/2)×w26＋ＩL(π/4)×(1−w26)
ＩL,Zone3＝ＩL(π/2)×w37＋ＩL(3π/4)×(1−w37)
ＩL,Zone4＝ＩL(π)×w48＋ＩL(3π/4)×(1−w48)
ＩL,Zone5＝ＩL(π)×w15＋ＩL(−3π/4)×(1−w15)
ＩL,Zone6＝ＩL(−π/2)×w26＋ＩL(−3π/4)×(1−w26)
ＩL,Zone7＝ＩL(−π/2)×w37＋ＩL(−π/4)×(1−w37)
ＩL,Zone8＝ＩL(0)×w48＋ＩL(−π/4)×(1−w48)
ＩL,Zone1＝ＩL(0)×w15＋ＩL(π/4)×(1−w15)
ＩL,Zone2＝ＩL(π/2)×w26＋ＩL(π/4)×(1−w26)
ＩL,Zone3＝ＩL(π/2)×w37＋ＩL(3π/4)×(1−w37)
ＩL,Zone4＝ＩL(π)×w48＋ＩL(3π/4)×(1−w48)
ＩL,Zone5＝ＩL(π)×w15＋ＩL(−3π/4)×(1−w15)
ＩL,Zone6＝ＩL(−π/2)×w26＋ＩL(−3π/4)×(1−w26)
ＩL,Zone7＝ＩL(−π/2)×w37＋ＩL(−π/4)×(1−w37)
ＩL,Zone8＝ＩL(0)×w48＋ＩL(−π/4)×(1−w48)
このように、各画素について画素濃度指数ＩH、ＩM、ＩLを算出する際には、下記の手順が行われる。
（ａ）勾配の方向θを算出する
（ｂ）θに対応するZoneを検出する
（ｃ）検出されたZoneに対応する１組のフィルタを用いてフィルタ演算を行う。たとえば、θがZone１に属する場合には、図１３に示すフィルタを用いてＩH(0)、ＩH(π/4)が算出される。ＩM、ＩLについても同様である。
（ｄ）上記（ｃ）で得られる１組の演算結果およびθに基づいて、ＩH、ＩM、ＩLを算出する
次に、平滑化された画像の各画素について、勾配指数ＧH、ＧM、ＧLを算出する。勾配指数ＧH、ＧM、ＧLは、画素濃度指数ＩH、ＩM、ＩLと同様に、上記（３）式で求められる勾配の方向に依存する。よって、画素濃度指数と同様に、Zone１（０≦θ＜π／４）における勾配指数ＧH、ＧM、ＧLを算出する例を示す。
（ａ）勾配の方向θを算出する
（ｂ）θに対応するZoneを検出する
（ｃ）検出されたZoneに対応する１組のフィルタを用いてフィルタ演算を行う。たとえば、θがZone１に属する場合には、図１３に示すフィルタを用いてＩH(0)、ＩH(π/4)が算出される。ＩM、ＩLについても同様である。
（ｄ）上記（ｃ）で得られる１組の演算結果およびθに基づいて、ＩH、ＩM、ＩLを算出する
次に、平滑化された画像の各画素について、勾配指数ＧH、ＧM、ＧLを算出する。勾配指数ＧH、ＧM、ＧLは、画素濃度指数ＩH、ＩM、ＩLと同様に、上記（３）式で求められる勾配の方向に依存する。よって、画素濃度指数と同様に、Zone１（０≦θ＜π／４）における勾配指数ＧH、ＧM、ＧLを算出する例を示す。
まず、「θ＝０」に対して下式を定義する。なお、「gradMag(i, j)」は、座標(i, j)に位置する画素の勾配の大きさを表す。また、「gradMag(i+1, j)」は、座標(i+1, j)に位置する画素の勾配の大きさを表す。他の画素についても同様である。
ＧH(0)＝gradMag(i, j+1)
ＧM(0)＝gradMag(i, j)
ＧL(0)＝gradMag(i, j−1)
同様に、「θ＝π／４」に対して下式を定義する。
ＧH(π/4)＝0.5×{gradMag(i+1, j)＋gradMag (i, j+1)}
ＧM(π/4)＝gradMag(i, j)
ＧL(π/4)＝0.5×{gradMag(i, j−1)＋gradMag (i−1, j)}
ＧH(0)＝gradMag(i, j+1)
ＧM(0)＝gradMag(i, j)
ＧL(0)＝gradMag(i, j−1)
同様に、「θ＝π／４」に対して下式を定義する。
ＧH(π/4)＝0.5×{gradMag(i+1, j)＋gradMag (i, j+1)}
ＧM(π/4)＝gradMag(i, j)
ＧL(π/4)＝0.5×{gradMag(i, j−1)＋gradMag (i−1, j)}
ここで、Zone１における勾配指数は、「θ＝０」の勾配指数および「θ＝π／４」の勾配指数を利用する線形補間により算出される。すなわち、Zone１における勾配指数は、下式により算出される。
ＧH,Zone1＝ＧH(0)×ω＋ＧH(π/4)×(1−ω)
ＧM,Zone1＝ＧM(0)×ω＋ＧM(π/4)×(1−ω)＝gradMag(i, j)
ＧL,Zone1＝ＧL(0)×ω＋ＧL(π/4)×(1−ω)
ω＝１−{4×θ(i, j)}／π
このように、勾配指数ＧMは、勾配の方向θに依存することなく、常に「gradMag(i, j)」である。即ち、各画素の勾配指数ＧMは、勾配の方向θに係わりなく、上述した（１）式または（２）式により算出される。
ＧH,Zone1＝ＧH(0)×ω＋ＧH(π/4)×(1−ω)
ＧM,Zone1＝ＧM(0)×ω＋ＧM(π/4)×(1−ω)＝gradMag(i, j)
ＧL,Zone1＝ＧL(0)×ω＋ＧL(π/4)×(1−ω)
ω＝１−{4×θ(i, j)}／π
このように、勾配指数ＧMは、勾配の方向θに依存することなく、常に「gradMag(i, j)」である。即ち、各画素の勾配指数ＧMは、勾配の方向θに係わりなく、上述した（１）式または（２）式により算出される。
Zone２〜Zone８の勾配指数についても、同様の手順で算出することができる。すなわち、「θ＝０、π/4、π/2、3π/4、π、−3π/4、−π/2、−π/4」に対して、それぞれ勾配指数が算出される。これらの勾配指数は、それぞれ、平滑化された画像の各画素の勾配の大きさgradMagに３×３フィルタ演算を行うことにより得られる。図１６および図１７は、それぞれ勾配指数ＧH、ＧLを得るためのフィルタの構成を示す図である。
このようなフィルタ演算により所定の８方向の勾配指数ＧH、ＧLが得られる。そして、各Zoneの勾配指数ＧHは、対応する２方向の勾配指数ＧHを利用して、下式により算出される。
ＧH,Zone1＝ＧH(0)×w15＋ＧH(π/4)×(1−w15)
ＧH,Zone2＝ＧH(π/2)×w26＋ＧH(π/4)×(1−w26)
ＧH,Zone3＝ＧH(π/2)×w37＋ＧH(3π/4)×(1−w37)
ＧH,Zone4＝ＧH(π)×w48＋ＧH(3π/4)×(1−w48)
ＧH,Zone5＝ＧH(π)×w15＋ＧH(−3π/4)×(1−w15)
ＧH,Zone6＝ＧH(−π/2)×w26＋ＧH(−3π/4)×(1−w26)
ＧH,Zone7＝ＧH(−π/2)×w37＋ＧH(−π/4)×(1−w37)
ＧH,Zone8＝ＧH(0)×w48＋ＧH(−π/4)×(1−w48)
なお、w15、w26、w37、w48は、それぞれ、下指示により表される。
W15＝１−4θ／π
W26＝4θ／π−１
W37＝−１−4θ／π
W48＝１＋4θ／π
ＧH,Zone1＝ＧH(0)×w15＋ＧH(π/4)×(1−w15)
ＧH,Zone2＝ＧH(π/2)×w26＋ＧH(π/4)×(1−w26)
ＧH,Zone3＝ＧH(π/2)×w37＋ＧH(3π/4)×(1−w37)
ＧH,Zone4＝ＧH(π)×w48＋ＧH(3π/4)×(1−w48)
ＧH,Zone5＝ＧH(π)×w15＋ＧH(−3π/4)×(1−w15)
ＧH,Zone6＝ＧH(−π/2)×w26＋ＧH(−3π/4)×(1−w26)
ＧH,Zone7＝ＧH(−π/2)×w37＋ＧH(−π/4)×(1−w37)
ＧH,Zone8＝ＧH(0)×w48＋ＧH(−π/4)×(1−w48)
なお、w15、w26、w37、w48は、それぞれ、下指示により表される。
W15＝１−4θ／π
W26＝4θ／π−１
W37＝−１−4θ／π
W48＝１＋4θ／π
同様に、各Zoneの勾配指数ＧLは、対応する２方向の勾配指数ＧLを利用して、下式により算出される。
ＧL,Zone1＝ＧL(0)×w15＋ＧL(π/4)×(1−w15)
ＧL,Zone2＝ＧL(π/2)×w26＋ＧL(π/4)×(1−w26)
ＧL,Zone3＝ＧL(π/2)×w37＋ＧL(3π/4)×(1−w37)
ＧL,Zone4＝ＧL(π)×w48＋ＧL(3π/4)×(1−w48)
ＧL,Zone5＝ＧL(π)×w15＋ＧL(−3π/4)×(1−w15)
ＧL,Zone6＝ＧL(−π/2)×w26＋ＧL(−3π/4)×(1−w26)
ＧL,Zone7＝ＧL(−π/2)×w37＋ＧL(−π/4)×(1−w37)
ＧL,Zone8＝ＧL(0)×w48＋ＧL(−π/4)×(1−w48)
ＧL,Zone1＝ＧL(0)×w15＋ＧL(π/4)×(1−w15)
ＧL,Zone2＝ＧL(π/2)×w26＋ＧL(π/4)×(1−w26)
ＧL,Zone3＝ＧL(π/2)×w37＋ＧL(3π/4)×(1−w37)
ＧL,Zone4＝ＧL(π)×w48＋ＧL(3π/4)×(1−w48)
ＧL,Zone5＝ＧL(π)×w15＋ＧL(−3π/4)×(1−w15)
ＧL,Zone6＝ＧL(−π/2)×w26＋ＧL(−3π/4)×(1−w26)
ＧL,Zone7＝ＧL(−π/2)×w37＋ＧL(−π/4)×(1−w37)
ＧL,Zone8＝ＧL(0)×w48＋ＧL(−π/4)×(1−w48)
このように、各画素について勾配指数ＧH、ＧM、ＧLを算出する際には、下記の手順が行われる。
（ａ）勾配の大きさgradMagを算出する
（ｂ）gradMagからＧMを算出する
（ｃ）勾配の方向θを算出する
（ｄ）θに対応するZoneを検出する
（ｅ）検出されたZoneに対応する１組のフィルタを用いてフィルタ演算を行う。たとえば、θがZone１に属する場合には、図１６に示すフィルタを用いてＧH(0)、ＧH(π/4)が算出される。ＧLについても同様である。
（ｆ）上記（ｅ）で得られる１組の演算結果およびθに基づいて、ＧH、ＧLを算出する
以上説明したように、ステップＳ２４においては、平滑化された画像の各画素について評価指数（画素濃度指数ＩH、ＩM、ＩLおよび勾配指数ＧH、ＧM、ＧL）が算出される。そして、これらの評価指数は、ぶれ範囲の検出、および補正量の算出のために使用される。
（ａ）勾配の大きさgradMagを算出する
（ｂ）gradMagからＧMを算出する
（ｃ）勾配の方向θを算出する
（ｄ）θに対応するZoneを検出する
（ｅ）検出されたZoneに対応する１組のフィルタを用いてフィルタ演算を行う。たとえば、θがZone１に属する場合には、図１６に示すフィルタを用いてＧH(0)、ＧH(π/4)が算出される。ＧLについても同様である。
（ｆ）上記（ｅ）で得られる１組の演算結果およびθに基づいて、ＧH、ＧLを算出する
以上説明したように、ステップＳ２４においては、平滑化された画像の各画素について評価指数（画素濃度指数ＩH、ＩM、ＩLおよび勾配指数ＧH、ＧM、ＧL）が算出される。そして、これらの評価指数は、ぶれ範囲の検出、および補正量の算出のために使用される。
＜ぶれ範囲の検出（ステップＳ２５）＞
ぶれ範囲検出部３２は、平滑化された画像の各画素について、それぞれ下記（４）式の条件を満たすか否かをチェックする。なお、（４）式は、対象画素が輝度スロープの途中に位置していることを示している。
ＩH＞ＩM＞ＩL ・・・（４）
画素濃度指数が（４）式を満たす画素は、ぶれ範囲に属している（或いは、エッジ上に配置されている）と判定される。すなわち、（４）式を満たす画素は、補正が必要であると判定される。一方、画素濃度指数が（４）式を満たしていない画素は、ぶれ範囲に属していないと判定される。すなわち、（４）式を満たしていない画素は、補正が必要でないと判定される。なお、図１に示すランプ領域内の画素は、基本的に、上記（４）式により、ぶれ範囲に属すると判定される。
ぶれ範囲検出部３２は、平滑化された画像の各画素について、それぞれ下記（４）式の条件を満たすか否かをチェックする。なお、（４）式は、対象画素が輝度スロープの途中に位置していることを示している。
ＩH＞ＩM＞ＩL ・・・（４）
画素濃度指数が（４）式を満たす画素は、ぶれ範囲に属している（或いは、エッジ上に配置されている）と判定される。すなわち、（４）式を満たす画素は、補正が必要であると判定される。一方、画素濃度指数が（４）式を満たしていない画素は、ぶれ範囲に属していないと判定される。すなわち、（４）式を満たしていない画素は、補正が必要でないと判定される。なお、図１に示すランプ領域内の画素は、基本的に、上記（４）式により、ぶれ範囲に属すると判定される。
＜補正対象の画素の抽出（ステップＳ２６）＞
補正対象抽出部３３は、ぶれ範囲に属している画素の中で、補正すべき画素を抽出する。例えば、図６に示す例では、エッジ上の画素のうち、領域ｃまたは領域ｄに属する画素が抽出される。また、図７に示す例では、エッジ１〜４上の画素のうち、エッジ２、４上の画素のみが抽出される。実施例では、手ぶれによる動きベクトルの方向がZone３に属している場合、勾配の方向θがZone３またはZone７に属している画素が抽出される。勾配の方向θは、各画素について上記（３）で算出される。
補正対象抽出部３３は、ぶれ範囲に属している画素の中で、補正すべき画素を抽出する。例えば、図６に示す例では、エッジ上の画素のうち、領域ｃまたは領域ｄに属する画素が抽出される。また、図７に示す例では、エッジ１〜４上の画素のうち、エッジ２、４上の画素のみが抽出される。実施例では、手ぶれによる動きベクトルの方向がZone３に属している場合、勾配の方向θがZone３またはZone７に属している画素が抽出される。勾配の方向θは、各画素について上記（３）で算出される。
抽出された画素についてステップＳ２７〜Ｓ２９の補正が行われる。抽出されなかった画素については、ステップＳ２７〜Ｓ２９の補正は行われない。すなわち、ステップＳ２５においてエッジ上に位置すると判定された画素であっても、手ぶれの影響が小さいと判定された場合には、ステップＳ２７〜Ｓ２９の補正は行われない。
＜補正量の算出（ステップＳ２７〜Ｓ２８）＞
補正量算出部３４は、補正対象として抽出された各画素について、下記のケース１〜３を満たすかチェックする。
ケース１：ＧH＞ＧM＞ＧL
ケース２：ＧH＜ＧM＜ＧL
ケース３：ＧH＜ＧM 且つ ＧL＜ＧM
ケース１は、輝度の勾配が急峻になっていくことを表している。したがって、ケース１に属する画素は、図１に示すエッジのランプ領域において、輝度レベルが中心レベルよりも低い領域（Ａ領域）に属していると考えられる。一方、ケース２は、輝度の勾配が緩やかになっていくことを表している。したがって、ケース２に属する画素は、輝度レベルが中心レベルよりも高い領域（Ｂ領域）に属していると考えられる。なお、ケース３は、対象画素の勾配が、隣接画素の勾配よりも高いことを表している。すなわち、ケース３に属する画素は、輝度レベルが中心レベルまたはその近傍領域（Ｃ領域）に属していると考えられる。
補正量算出部３４は、補正対象として抽出された各画素について、下記のケース１〜３を満たすかチェックする。
ケース１：ＧH＞ＧM＞ＧL
ケース２：ＧH＜ＧM＜ＧL
ケース３：ＧH＜ＧM 且つ ＧL＜ＧM
ケース１は、輝度の勾配が急峻になっていくことを表している。したがって、ケース１に属する画素は、図１に示すエッジのランプ領域において、輝度レベルが中心レベルよりも低い領域（Ａ領域）に属していると考えられる。一方、ケース２は、輝度の勾配が緩やかになっていくことを表している。したがって、ケース２に属する画素は、輝度レベルが中心レベルよりも高い領域（Ｂ領域）に属していると考えられる。なお、ケース３は、対象画素の勾配が、隣接画素の勾配よりも高いことを表している。すなわち、ケース３に属する画素は、輝度レベルが中心レベルまたはその近傍領域（Ｃ領域）に属していると考えられる。
そして、補正量算出部３４は、補正対象として抽出された各画素について、それぞれ輝度レベルの補正量を算出する。
画素がケース１に属する場合（すなわち、画素がランプ領域内の低輝度領域に位置する場合）、その画素の輝度の補正量Leveldownは、下式で表される。なお、「Ｓ」は補正因子であり、「θ」は上述の（３）式で得られる。
画素がケース１に属する場合（すなわち、画素がランプ領域内の低輝度領域に位置する場合）、その画素の輝度の補正量Leveldownは、下式で表される。なお、「Ｓ」は補正因子であり、「θ」は上述の（３）式で得られる。
＜補正（ステップＳ２９）＞
補正部３５は、原画像の各画素の画素値（例えば、輝度レベル）を補正する。ここで、画素（i, j）について補正により得られる画素データImage(i, j)は、下式で得られる。なお、「Originai(i, j)」は、原画像の画素（i, j）の画素データである。
ケース１：Image(i, j)＝Originai(i, j)−Leveldown(i, j)
ケース２：Image(i, j)＝Originai(i, j)＋Levelup(i, j)
他のケース：Image(i, j)＝Originai(i, j)
このように、実施形態の画像補正装置１においては、複数の画像を利用して手ぶれの方向および大きさを表す動きベクトルを算出し、その動きベクトルに基づいて決まる条件を持った画素に対してのみ補正が行われる。すなわち、手ぶれの影響が大きいエッジの画素のみが補正される。したがって、手ぶれを適切に補正しながら、画像補正のための演算量を少なくすることができる。
補正部３５は、原画像の各画素の画素値（例えば、輝度レベル）を補正する。ここで、画素（i, j）について補正により得られる画素データImage(i, j)は、下式で得られる。なお、「Originai(i, j)」は、原画像の画素（i, j）の画素データである。
ケース１：Image(i, j)＝Originai(i, j)−Leveldown(i, j)
ケース２：Image(i, j)＝Originai(i, j)＋Levelup(i, j)
他のケース：Image(i, j)＝Originai(i, j)
このように、実施形態の画像補正装置１においては、複数の画像を利用して手ぶれの方向および大きさを表す動きベクトルを算出し、その動きベクトルに基づいて決まる条件を持った画素に対してのみ補正が行われる。すなわち、手ぶれの影響が大きいエッジの画素のみが補正される。したがって、手ぶれを適切に補正しながら、画像補正のための演算量を少なくすることができる。
実施形態の画像補正装置１は、上述したぶれ補正の代わりに、或いは上述したぶれ補正と共に、輪郭強調を行うこともできる。輪郭強調は、連写画像に基づいて算出される動きベクトルの方向に対応するフィルタを用いて行われる。すなわち、動きベクトルの方向により表されるぶれ方向においてのみ輪郭強調が行われる。
輪郭強調は、特に限定されるものではないが、例えば、アンシャープマスクにより実現される。アンシャープマスクは、原画像とその平滑化画像との間の差分iDiffValue(i, j)を算出する。この差分は、変化の方向も表す。そして、係数iStrengthを用いてこの差分を調整し、その調整された差分を原画像に加える。これにより、輪郭が強調される。
アンシャープマスクの計算式は、下記の通りである。なお、「iStrength」は、輪郭強調の強度を表す定数である。
補正値NewValue(i, j)＝Original(i, j)＋iDiffValue(i, j)×iStrength
このように、実施形態の画像補正方法においては、手ぶれ補正のための演算量を少なくすることができる。
補正値NewValue(i, j)＝Original(i, j)＋iDiffValue(i, j)×iStrength
このように、実施形態の画像補正方法においては、手ぶれ補正のための演算量を少なくすることができる。
また、実施形態の画像補正方法においては、算出した動きベクトルを用いて位置ずれ補正をした複数の画像を合成し、その合成画像において手ぶれ補正を行うことができる。この場合、連写画像の中の１枚の画像を利用して補正を行う方法と比べてノイズが除去されるので、画質が向上する。
さらに、実施形態の画像補正方法においては、被写体が動いている領域の画像を合成しないようにできる。この場合、被写体の多重化が回避される。
さらに、実施形態の画像補正方法においては、被写体が動いている領域の画像の補正をしないようにすることができる。この場合、不適切な補正が回避される。
さらに、実施形態の画像補正方法においては、被写体が動いている領域の画像の補正をしないようにすることができる。この場合、不適切な補正が回避される。
Claims (10)
- 撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクト
ル算出部と、
前記動きベクトル算出部により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定部と、
決定されたエッジ特性を有する画素を抽出する補正対象抽出部と、
前記複数の画像から得られる補正対象画像において、前記補正対象抽出部によって抽出された画素の画素値を補正する補正部と、
を有する画像補正装置。 - 請求項１に記載の画像補正装置であって、
前記特性決定部は、前記エッジ特性として、前記動きベクトルに基づいて、各画素についての画素値勾配の方向を決定する
ことを特徴とする画像補正装置。 - 請求項１に記載の画像補正装置であって、
前記補正部は、エッジをシャープにする輪郭補正を行う
ことを特徴とする画像補正装置。 - 請求項１に記載の画像補正装置であって、
前記補正対象画像は、前記複数の画像から選択される１つの画像である
ことを特徴とする画像補正装置。 - 請求項１に記載の画像補正装置であって、
前記動きベクトルに基づいて、前記複数の画像間の位置ずれを補正する位置補正部と、
前記位置補正部によって位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部、をさらに備え、
前記補正部は、前記合成画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する
ことを特徴とする画像補正装置。 - 請求項５に記載の画像補正装置であって、
前記位置補正部によって位置ずれが補正された複数の画像を利用して、被写体の動きを検出する被写体動き検出部をさらに備え、
前記画像合成部は、被写体の動きが検出されなかった領域の画像を合成する
ことを特徴とする画像補正装置。 - 請求項１に記載の画像補正装置であって、
被写体の動きを検出する被写体動き検出部をさらに備え、
前記補正部は、被写体の動きが検出された領域の画素については補正を行わない
ことを特徴とする画像補正装置。 - 撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクト
ル算出部と、
前記複数の画像から得られる補正対象画像において、オブジェクトまたはテクスチャのエッジを検出するエッジ検出部と、
前記エッジ検出部により検出されたエッジ上に位置する各画素について、画素値勾配の方向を検出する勾配方向検出部と、
前記エッジ上に位置する画素から、前記画素値勾配の方向が前記動きベクトルの方向に対して所定の角度である画素を抽出する抽出部と、
前記抽出部により抽出された画素の画素値を補正する補正部
を有する画像補正装置。 - 撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出し、
前記算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定し、
決定されたエッジ特性を有する画素を抽出し、
前記複数の画像から得られる補正対象画像において、前記抽出された画素の画素値を補正する
ことを特徴とする画像補正方法。 - コンピュータに、
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出手順、
前記動きベクトル算出手順により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定手順、
決定されたエッジ特性を有する画素を抽出する補正対象抽出手順と、
前記複数の画像から得られる補正対象画像において、前記補正対象抽出手順により抽出された画素の画素値を補正する補正手順
を実行させるための画像補正プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2008/001476 WO2009150696A1 (ja) | 2008-06-10 | 2008-06-10 | 画像補正装置および画像補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009150696A1 JPWO2009150696A1 (ja) | 2011-11-04 |
| JP4935930B2 true JP4935930B2 (ja) | 2012-05-23 |
Family
ID=41416425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010516662A Expired - Fee Related JP4935930B2 (ja) | 2008-06-10 | 2008-06-10 | 画像補正装置および画像補正方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20110129167A1 (ja) |
| JP (1) | JP4935930B2 (ja) |
| WO (1) | WO2009150696A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180034027A (ko) * | 2016-09-27 | 2018-04-04 | 청주대학교 산학협력단 | 영상 블러를 고려한 윤곽선 검출 장치 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5654484B2 (ja) * | 2010-06-04 | 2015-01-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像処理装置、画像処理方法、集積回路、プログラム |
| SE536619C2 (sv) | 2012-06-20 | 2014-04-01 | Flir Systems Ab | Förfarande för kompensation av rörelseoskärpa i samband medvibrationer |
| JP6671994B2 (ja) * | 2016-02-02 | 2020-03-25 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム、記憶媒体 |
| KR101795271B1 (ko) * | 2016-06-10 | 2017-11-07 | 현대자동차주식회사 | 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법 |
| US11722771B2 (en) * | 2018-12-28 | 2023-08-08 | Canon Kabushiki Kaisha | Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus |
| US11716552B2 (en) | 2019-08-06 | 2023-08-01 | Sony Group Corporation | Imaging control device, imaging control method, and imaging device for increasing resolution of an image |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04302591A (ja) * | 1991-03-29 | 1992-10-26 | Sony Corp | ビデオデータの手振れ補正装置 |
| JPH08185145A (ja) * | 1995-01-06 | 1996-07-16 | Matsushita Electric Ind Co Ltd | 液晶表示装置 |
| JP2004032135A (ja) * | 2002-06-24 | 2004-01-29 | Ricoh Co Ltd | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 |
| JP2004080252A (ja) * | 2002-08-14 | 2004-03-11 | Toshiba Corp | 映像表示装置及びその方法 |
| JP2006333061A (ja) * | 2005-05-26 | 2006-12-07 | Sanyo Electric Co Ltd | 手ぶれ補正装置 |
| WO2007032082A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2311182A (en) * | 1996-03-13 | 1997-09-17 | Innovision Plc | Improved gradient based motion estimation |
| GB2311183A (en) * | 1996-03-13 | 1997-09-17 | Innovision Plc | Gradient based motion estimation |
| US6665450B1 (en) * | 2000-09-08 | 2003-12-16 | Avid Technology, Inc. | Interpolation of a sequence of images using motion analysis |
| EP1396818B1 (en) * | 2001-06-15 | 2012-10-03 | Sony Corporation | Image processing apparatus and method and image pickup apparatus |
| EP1603077B1 (en) * | 2003-03-07 | 2010-06-02 | Nippon Telegraph and Telephone Corporation | Biological image correlation device and correlation method thereof |
| US6925117B2 (en) * | 2003-03-12 | 2005-08-02 | Kabushiki Kaisha Toshiba | Data transmission apparatus, method and program, data reception apparatus and method, and data transmission and reception system, using differential data |
| EP1589763A2 (en) * | 2004-04-20 | 2005-10-26 | Sony Corporation | Image processing apparatus, method and program |
| US7474788B2 (en) * | 2004-09-08 | 2009-01-06 | Taiwan Semiconductor Manufacturing Co., Ltd. | Method and system for enhancing image resolution using a modification vector |
| US7447337B2 (en) * | 2004-10-25 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | Video content understanding through real time video motion analysis |
| JP4755490B2 (ja) * | 2005-01-13 | 2011-08-24 | オリンパスイメージング株式会社 | ブレ補正方法および撮像装置 |
| JP4395763B2 (ja) * | 2005-03-07 | 2010-01-13 | ソニー株式会社 | 撮像装置および撮像方法 |
| KR100714723B1 (ko) * | 2005-07-15 | 2007-05-04 | 삼성전자주식회사 | 디스플레이 패널에서의 잔광 보상 방법과 잔광 보상 기기,그리고 상기 잔광 보상 기기를 포함하는 디스플레이 장치 |
| JP4752407B2 (ja) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP5044922B2 (ja) * | 2005-11-08 | 2012-10-10 | カシオ計算機株式会社 | 撮像装置及びプログラム |
| JP4585456B2 (ja) * | 2006-01-23 | 2010-11-24 | 株式会社東芝 | ボケ変換装置 |
| JP4457358B2 (ja) * | 2006-05-12 | 2010-04-28 | 富士フイルム株式会社 | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
| US20080170124A1 (en) * | 2007-01-12 | 2008-07-17 | Sanyo Electric Co., Ltd. | Apparatus and method for blur detection, and apparatus and method for blur correction |
| TW200840365A (en) * | 2007-03-23 | 2008-10-01 | Ind Tech Res Inst | Motion-blur degraded image restoration method |
| JP4922839B2 (ja) * | 2007-06-04 | 2012-04-25 | 三洋電機株式会社 | 信号処理装置、映像表示装置及び信号処理方法 |
-
2008
- 2008-06-10 JP JP2010516662A patent/JP4935930B2/ja not_active Expired - Fee Related
- 2008-06-10 WO PCT/JP2008/001476 patent/WO2009150696A1/ja active Application Filing
-
2010
- 2010-11-24 US US12/954,218 patent/US20110129167A1/en not_active Abandoned
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04302591A (ja) * | 1991-03-29 | 1992-10-26 | Sony Corp | ビデオデータの手振れ補正装置 |
| JPH08185145A (ja) * | 1995-01-06 | 1996-07-16 | Matsushita Electric Ind Co Ltd | 液晶表示装置 |
| JP2004032135A (ja) * | 2002-06-24 | 2004-01-29 | Ricoh Co Ltd | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 |
| JP2004080252A (ja) * | 2002-08-14 | 2004-03-11 | Toshiba Corp | 映像表示装置及びその方法 |
| JP2006333061A (ja) * | 2005-05-26 | 2006-12-07 | Sanyo Electric Co Ltd | 手ぶれ補正装置 |
| WO2007032082A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180034027A (ko) * | 2016-09-27 | 2018-04-04 | 청주대학교 산학협력단 | 영상 블러를 고려한 윤곽선 검출 장치 |
| KR101877741B1 (ko) | 2016-09-27 | 2018-08-09 | 청주대학교 산학협력단 | 영상 블러를 고려한 윤곽선 검출 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009150696A1 (ja) | 2009-12-17 |
| US20110129167A1 (en) | 2011-06-02 |
| JPWO2009150696A1 (ja) | 2011-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cho et al. | Video deblurring for hand-held cameras using patch-based synthesis | |
| US8532421B2 (en) | Methods and apparatus for de-blurring images using lucky frames | |
| JP4935930B2 (ja) | 画像補正装置および画像補正方法 | |
| US9692939B2 (en) | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence | |
| Zhang et al. | Spatially variant defocus blur map estimation and deblurring from a single image | |
| JP4585456B2 (ja) | ボケ変換装置 | |
| JP5158202B2 (ja) | 画像補正装置および画像補正方法 | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| JP4454657B2 (ja) | ぶれ補正装置及び方法、並びに撮像装置 | |
| KR20150037369A (ko) | 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 | |
| JP5978949B2 (ja) | 画像合成装置及び画像合成用コンピュータプログラム | |
| KR101671391B1 (ko) | 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| JP6254938B2 (ja) | 画像ノイズ除去装置、および画像ノイズ除去方法 | |
| Yongpan et al. | An improved Richardson–Lucy algorithm based on local prior | |
| Yang et al. | A novel gradient attenuation Richardson–Lucy algorithm for image motion deblurring | |
| US20220122223A1 (en) | Kernel-aware super resolution | |
| Wang et al. | Video stabilization: A comprehensive survey | |
| WO2013089261A1 (ja) | 画像処理システム及び画像処理方法 | |
| US20150110405A1 (en) | Point spread function cost function with non-uniform weights | |
| Sánchez et al. | Motion smoothing strategies for 2D video stabilization | |
| Zhao et al. | An improved image deconvolution approach using local constraint | |
| Qiao et al. | Temporal coherence-based deblurring using non-uniform motion optimization | |
| Lafenetre et al. | Handheld burst super-resolution meets multi-exposure satellite imagery | |
| JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN110349110B (zh) | 一种基于累帧过融合的模糊图像增强方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |