JP2010166558A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010166558A
JP2010166558A JP2009281307A JP2009281307A JP2010166558A JP 2010166558 A JP2010166558 A JP 2010166558A JP 2009281307 A JP2009281307 A JP 2009281307A JP 2009281307 A JP2009281307 A JP 2009281307A JP 2010166558 A JP2010166558 A JP 2010166558A
Authority
JP
Japan
Prior art keywords
image
exposure
unit
exposure image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009281307A
Other languages
English (en)
Inventor
Haruo Hatanaka
晴雄 畑中
Shinpei Fukumoto
晋平 福本
Yasuhiro Iijima
靖博 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009281307A priority Critical patent/JP2010166558A/ja
Priority to CN200910262481.2A priority patent/CN101753825A/zh
Priority to US12/641,616 priority patent/US8300110B2/en
Publication of JP2010166558A publication Critical patent/JP2010166558A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

【課題】位置合わせの失敗が推定される場合においても、ぶれ及びノイズの少ない画像を生成する。
【解決手段】比較的短い露光時間の露光による短露光画像及び比較的長い露光時間の露光による適正露光画像の画像データに基づいて短露光画像及び適正露光画像間の位置ずれが打ち消されるように両画像を位置合わせした後、両画像を合成することでぶれ及びノイズの少ない補正画像を生成することが可能な撮像装置において、位置合わせが成功するか否かを推定する推定部（５７）を設ける。推定部によって位置合わせが失敗すると推定される場合においては、短露光画像の撮影のみを実行した後、フィルタリング処理にて短露光画像に画像劣化（ぶれ）を与えることにより適正露光画像を模した擬似適正露光画像を生成し、短露光画像と擬似適正露光画像を合成することで補正画像を得る。
【選択図】図１５

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。
近年、手ぶれや被写体ぶれに由来して生じる画像ぶれを抑制する技術が盛んに開発されている。この種の技術の中で光学的にぶれ補正を行うものも存在するが、光学的にぶれ補正を行うためには、ぶれを検出するセンサ及びぶれを光学的に補正する機構が必要となる。
これらのセンサ及び機構の搭載はコスト及び装置小型化の面において不利となる。そこで、撮影後の画像処理によってぶれを補正する技術も様々に提案されている。
例えば、或る従来方法では、露光時間（露出時間）の短い露光によって解像度は高いがノイズの多い第１画像を撮影すると共に露光時間（露出時間）の長い露光によって解像度は低いがノイズの少ない第２画像を撮影する。そして、第１及び第２画像の画像データに基づいて両画像間の位置ずれを検出し、その位置ずれを打ち消すための位置合わせを行った後、第１及び第２画像を合成することにより補正画像を生成する（例えば、下記特許文献１参照）。
特開２００７−３２４７７０号公報
このような第１及び第２画像間の位置合わせを介した画像合成処理は、ぶれ及びノイズの少ない画像の生成を図ったものであるが、位置合わせは常に正確に実行できるとは限らず、仮に位置合わせに失敗すると、補正画像において被写体が二重になって表れたり、合成処理において片方の画像の合成比率が異常に高くなって補正画像に大きなぶれやノイズが含まれてしまう。
そこで本発明は、様々な条件下においてぶれやノイズの少ない画像を生成することのできる撮像装置を提供することを目的とする。
本発明に係る第１の撮像装置は、撮影によって画像の画像データを出力する撮像手段を備え、所定の撮影指示に従って得られた前記撮像手段の出力データに基づいて出力画像を生成する撮像装置において、前記撮像手段にて撮影された第１画像の画像データ及び前記第１画像の露光時間よりも長い露光時間にて撮影された第２画像の画像データに基づいて前記第１及び第２画像間の位置合わせを行った後、前記第１及び第２画像を合成することで前記出力画像を生成する第１補正手段と、前記第２画像を用いることなく、前記第１画像のノイズを低減することによって前記出力画像を生成する第２補正手段と、前記第２画像の撮影用に設定された撮影条件又は前記撮像手段の出力データに基づいて前記第１及び第２補正手段を択一的に選択する選択処理を実行し、選択した補正手段によって前記出力画像を生成させる補正制御手段と、を備えたことを特徴とする。
比較的短い露光時間にて撮影される第１画像は、ノイズは比較的多いが画像のぶれは比較的少ない。逆に、比較的長い露光時間にて撮影される第２画像は、画像のぶれは比較的大きいがノイズは比較的少ない。この特性を利用して第１及び第２画像を合成することにより、ぶれ及びノイズの少ない出力画像を生成することが可能となる。しかしながら、撮影条件等によっては、第１及び第２画像間の位置合わせを介した画像合成処理によって有効な出力画像が得られないこともある。そのような状況が推定されるとき、上記第１の撮像装置によれば、位置合わせを用いない他の方法、即ち第２補正手段によって出力画像を生成することが可能となる。第２補正手段によって生成される出力画像は、ぶれの比較的少ない第１画像のノイズを低減することによって得られる。即ち、第１及び第２画像間の位置合わせを介した画像合成処理によって有効な出力画像が得られないと推測される場合においても、ぶれやノイズが抑制された画像を得ることができる。
本発明に係る第２の撮像装置は、撮影によって画像の画像データを出力する撮像手段を備え、所定の撮影指示に従って得られた前記撮像手段の出力データに基づいて出力画像を生成する撮像装置において、前記撮像手段にて撮影された第１画像の画像データ及び前記第１画像の露光時間よりも長い露光時間にて撮影された第２画像の画像データに基づいて前記第１及び第２画像間の位置合わせを行った後、前記第１及び第２画像を合成することで前記出力画像を生成する第１補正手段と、前記第２画像を用いることなく、前記第１画像又は前記第１画像を補正した補正画像を前記出力画像として出力する第２補正手段と、前記第１画像の撮影用に設定された撮影条件、前記第２画像の撮影用に設定された撮影条件、又は、前記撮像手段の出力データに基づいて、前記第１及び第２補正手段を択一的に選択する選択処理を実行し、選択した補正部によって前記出力画像を生成させる補正制御手段と、を備えたことを特徴とする。
比較的短い露光時間にて撮影される第１画像は、ノイズは比較的多いが画像のぶれは比較的少ない。逆に、比較的長い露光時間にて撮影される第２画像は、画像のぶれは比較的大きいがノイズは比較的少ない。この特性を利用して第１及び第２画像を合成することにより、ぶれ及びノイズの少ない出力画像を生成することが可能となる。しかしながら、撮影条件等によっては、第１及び第２画像間の位置合わせを介した画像合成処理によって有効な出力画像が得られないこともある。そのような状況が推定されるとき、上記第２の撮像装置によれば、位置合わせを用いない他の方法、即ち第２補正手段によって出力画像を生成することが可能となる。第２補正手段によって生成される出力画像は、第１画像又は第１画像を補正して得られる画像である。即ち、第１及び第２画像間の位置合わせを介した画像合成処理によって有効な出力画像が得られないと推測される場合においても、ぶれやノイズが抑制された画像を得ることができる。
具体的には例えば、前記選択処理において前記第２補正手段が選択される場合、前記第２画像の撮影は実行されない。
これにより、第２画像の撮影に必要な処理時間及び消費電力の節約が可能となる。
また具体的には例えば、前記第２画像の撮影条件として、前記第２画像の露光時間及び前記第２画像の撮影時における焦点距離が設定され、前記補正制御手段は、設定された前記第２画像の露光時間及び前記焦点距離の内の少なくとも一方に基づいて前記選択処理を実行する。
より具体的には例えば、前記補正制御手段は、前記第２画像の露光時間及び前記第２画像の撮影時における焦点距離の内の少なくとも一方に基づいて前記位置合わせの成否を判定し、成功と判定する場合に前記第１補正手段を選択する一方、失敗と判定する場合に前記第２補正手段を選択する。
或いは例えば、前記補正制御手段は、前記撮影指示前又は後に得られる前記撮像手段の出力データに基づいて前記位置合わせの成否を判定し、成功と判定する場合に前記第１補正手段を選択する一方、失敗と判定する場合に前記第２補正手段を選択する。
また例えば、前記第２補正手段は、前記第１画像に対してぼけによる画像劣化を与えた画像を生成する画像劣化手段と、前記第１画像のノイズを低減させた画像を生成するノイズ低減手段とを用い、前記画像劣化手段の生成画像と前記ノイズ低減手段の生成画像を合成することにより前記出力画像を生成する。
また例えば、前記第１補正手段は、前記第１及び第２画像と前記第１画像のノイズを低減させた画像とを合成することで前記出力画像を生成する。
本発明によれば、様々な条件下においてぶれやノイズの少ない画像を生成することのできる撮像装置を提供することが可能である。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図１の撮像装置によって撮影された短露光画像と適正露光画像の例を示す図である。 空間領域の二次元座標系と二次元画像を示す図である。 本発明の第１実施例に係る画像補正部の内部ブロック図である。 短露光画像と適正露光画像との間のブロックマッチングを説明するための図である。 図３（ａ）の短露光画像のノイズを低減することによって得られた第２中間生成画像を示す図である。 位置合わせ後の適正露光画像（第１中間生成画像）とノイズ低減処理後の短露光画像（第２中間生成画像）との間の差分画像を示す図である。 図５の差分値算出部で得られた差分値と、第１及び第２中間生成画像の画素信号の混合率と、の関係を示す図である。 位置合わせ後の適正露光画像（第１中間生成画像）とノイズ低減処理後の短露光画像（第２中間生成画像）とを合成することによって得られた第３中間生成画像を示す図である。 ノイズ低減処理後の短露光画像（第２中間生成画像）に対してエッジ抽出処理を施すことで得られたエッジ画像を示す図である。 図５のエッジ強度値算出部で得られたエッジ強度値と、短露光画像及び第３中間生成画像の画素信号の混合率と、の関係を示す図である。 短露光画像と第３中間生成画像を合成することによって得られた目標補正画像を示す図である。 位置合わせ後の、短露光画像の画像領域と適正露光画像の画像領域の位置関係を示す図である。 本発明の第２実施例に係る画像補正部の内部ブロック図である。 本発明の第２実施例に係る撮像装置の動作の流れを表すフローチャートである。 本発明の第２実施例に係り、露光時間及び焦点距離との関係における位置合わせの成否推定方法を説明するための図である。 シャッタボタンが全押しの状態となる時刻周辺の撮影画像列を示す図である。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項を説明する。
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。主制御部１３には、画像補正部２０が備えられている。操作部１７には、シャッタボタン１７ａが備えられている。尚、本実施形態では、表示部１５が撮像装置１に設けられていることを想定しているが、表示部１５は、撮像装置１の外部に設けられた表示装置であってもよい。
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの駆動制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各受光画素は露光時間（即ち露光期間の長さ）に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。また、主制御部１３は、撮像素子３３の露光時間を制御するための露光時間制御信号を撮像部１１に出力する。主制御部１３に備えられる画像補正部２０の機能については後述する。
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、画像の撮影及び記録を指示するためのボタンである。
シャッタボタン１７ａは２段階の押下操作が可能に形成されている。撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。
撮影画像は、手ぶれに起因するぶれを含みうる。画像補正部２０は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号によって表される画像データを用いた画像処理により、ぶれの少ない画像を生成する機能を備える。画像補正部２０によって生成されるべき、ぶれの少ない画像を、以下特に「目標補正画像」という。
目標補正画像は、適正露光画像及び短露光画像に基づいて或いは短露光画像のみに基づいて生成される。適正露光画像は、適正露光時間ＴOPの露光による撮影によって撮像素子３３から得られる画像を指し、短露光画像は、適正露光時間ＴOPよりも短い露光時間ＴSHの露光による撮影によって撮像素子３３から得られる画像を指す。
撮影画像の明るさが短露光画像及び適正露光画像間で同程度となるように、短露光画像の取得時における感度が調整される。即ち、撮影画像の明るさが短露光画像及び適正露光画像間で同程度となるように、適正露光時間ＴOPと露光時間ＴSHの比に基づき、短露光画像の取得時における感度は適正露光画像の取得時における感度よりも大きくされる。感度は、例えばＩＳＯ感度である。ＩＳＯ感度は、ＩＳＯ（International Organization for
Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで撮影画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによって撮影画像の各画素の輝度値（即ち明るさ）も２倍となる（但し、増幅における飽和を無視）。或る画素の輝度値とは、その画素の輝度信号の値を指す。
短露光画像は比較的短い露光時間によって撮影されるため、短露光画像に含まれる、手ぶれに由来するぶれ及び被写体ぶれに由来するぶれは比較的少ない。そのため、短露光画像においては、エッジが鮮明に描写される。しかしながら、撮影時の感度が高いことから、短露光画像にはノイズが比較的多く含まれる。
これに対して、適正露光画像は比較的長い露光時間によって撮影されるため、適正露光画像に含まれるノイズは比較的少ない。但し、露光時間が長いことから、適正露光画像には手ぶれ及び被写体ぶれに由来するぶれが含まれやすくなる。
図３（ａ）及び（ｂ）に、短露光画像と適正露光画像の例を示す。図３（ａ）及び（ｂ）における画像３１０及び３１１が、夫々、短露光画像及び適正露光画像の例である。短露光画像３１０及び適正露光画像３１１は、背景被写体である山の前に注目被写体としての人物ＳＵＢが立っている状態を撮影することにより得られたものである。
適正露光画像３１１と比較して、短露光画像３１０では、エッジが鮮明に描写されているものの比較的大きなノイズ（図３（ａ）における黒い斑点に対応）が混入している。一方、短露光画像３１０と比較して、適正露光画像３１１に含まれるノイズは少ないが適正露光画像３１１上では人物ＳＵＢが大きくぶれている。また、図３（ａ）及び（ｂ）では、短露光画像３１０及び適正露光画像３１１の撮影中に人物ＳＵＢが移動していることを想定しており、これによって短露光画像３１０上の人物ＳＵＢの位置と比べて適正露光画像３１１上の人物ＳＵＢは右寄りに位置していると共に適正露光画像３１１上の人物ＳＵＢには被写体ぶれが生じている。
また、図４に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。画像３００は、例えば、適正露光画像、短露光画像、目標補正画像、又は、後述の第１〜第３中間生成画像若しくは擬似適正露光画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が上側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。
従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、上側及び下側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
以下、撮像装置１（特に画像補正部２０）の構成及び動作を説明する実施例として第１〜第３実施例を説明する。矛盾なき限り、或る実施例に記載した事項を他の実施例に適用することもできる。特に、第１実施例には第２及び第３実施例にて示される技術の前提技術が示されているため、第１実施例に記載した事項は、矛盾なき限り、第２及び第３実施例にも適用される。
＜＜第１実施例＞＞
まず、第１実施例を説明する。第１実施例では、シャッタボタン１７ａの押下に伴って、以下のように短露光画像及び適正露光画像が取得される。
シャッタボタン１７ａが半押しの状態となっていることが確認されると、主制御部１３は、プリ露光を実行し、プリ露光にて得られるＡＦＥ１２の出力信号レベルから適正露光時間ＴOPを決定する。プリ露光とは、短露光画像及び適正露光画像の露光に先立って行われる露光を指す。その後、シャッタボタン１７ａが全押しの状態となっていることが確認されると、短露光画像と適正露光画像を連続的に撮影する。短露光画像の撮影後に適正露光画像を撮影しても良いし、適正露光画像の撮影後に短露光画像を撮影しても良いが、両画像の露光間隔がなるだけ短くなるようにそれらは連続的に撮影される。上述したように、適正露光画像は適正露光時間ＴOPにて撮影され、短露光画像は適正露光時間ＴOPよりも短い露光時間ＴSHにて撮影される。例えば、露光時間ＴSHは、光学系３５の焦点距離の逆数に相当する手ぶれ限界露光時間以下に設定される。ＴSHをＴOP／４などに設定してもよい。
図５は、第１実施例に係る画像補正部２０ａの内部ブロック図である。第１実施例では、図１の画像補正部２０として画像補正部２０ａが用いられる。上述の如く撮影された短露光画像及び適正露光画像の画像データは、画像補正部２０ａに入力される。画像データとは、画像の色及び輝度を表すデータを指す。
画像補正部２０ａは、短露光画像と適正露光画像との間の位置ずれを検出して両画像間の位置合わせを行う位置合わせ部５１と、短露光画像に含まれるノイズを低減するノイズ低減部５２と、位置合わせ後の適正露光画像とノイズ低減後の短露光画像との間の差分をとって各画素位置における差分値を算出する差分値算出部５３と、その差分値に基づく合成比率にて位置合わせ後の適正露光画像とノイズ低減後の短露光画像を合成する第１合成部５４と、ノイズ低減後の短露光画像からエッジを抽出してエッジ強度値を算出するエッジ強度値算出部５５と、エッジ強度値に基づく合成比率にて短露光画像と第１合成部５４による合成画像とを合成することにより目標補正画像を生成する第２合成部５６と、を備える。
画像補正部２０ａ内の各部位の動作について詳説する。尚、単に、短露光画像と言った場合、それは、ノイズ低減部５２によるノイズ低減処理が施されていない短露光画像を指す（後述の他の実施例においても同様）。図３（ａ）に例示した短露光画像３１０は、ノイズ低減部５２によるノイズ低減が施されていない短露光画像である。
位置合わせ部５１は、短露光画像及び適正露光画像の画像データに基づいて短露光画像と適正露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて短露光画像及び適正露光画像間の位置合わせを行う。上述したように短露光画像と適正露光画像は連続的に撮影されるため、両画像の撮影時における撮影領域は略同一となるが、両画像の撮影時刻は完全に同じではないため両画像についての撮影領域は若干ずれ、結果、同一被写体の画像データが存在する、短露光画像上の位置と適正露光画像上の位置が若干ずれることがある。
位置合わせ部５１は、この位置のずれを検出して、検出した位置ずれが打ち消されるように適正露光画像の各画素の座標値に対して座標変換を施す。これにより、誤差を無視したとすれば、同一被写体の画像データが存在する、短露光画像上の位置と座標変換後の適正露光画像上の位置とが完全に一致するようになる。
位置合わせ部５１による位置ずれの検出方法として、２枚の画像の画像データから２枚の画像間の位置ずれを検出することのできる任意の方法を用いることができる。例えば、代表点マッチング法、ブロックマッチング法又は勾配法を用いて位置ずれを検出することができる。例として、ブロックマッチング法を用いる場合の位置ずれ検出方法を、図６（ａ）及び（ｂ）を参照して説明する。
図６（ａ）において、符号３５０は短露光画像を表し、符号３５１は短露光画像３５０内に設定された着目ブロックを表す。着目ブロック３５１は、短露光画像３５０の全画像領域（全体の画像領域）の一部である。図６（ｂ）において、符号３６０は適正露光画像を表し、符号３６１は適正露光画像３６０内に設定された候補ブロックを表す。候補ブロック３６１は、適正露光画像３６０の全画像領域の一部である。着目ブロック３５１と候補ブロック３６１は、同一の画像サイズを有する（同じ画素数の画素から形成される）。
図６（ｂ）の破線矩形領域内の範囲３６２は、候補ブロック３６１が位置しうる探索範囲を示す。探索範囲３６２は、例えば、着目ブロック３５１の中心位置を中心とする矩形範囲である。
位置合わせ部５１は、着目ブロック３５１内の画像と候補ブロック３６１内の画像との間の相関値を算出する。この際、候補ブロック３６１は、探索範囲３６２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動のたびに相関値が算出される。相関値は、例えば、着目ブロック３５１と候補ブロック３６１との間における、対応しあう画素の輝度差の絶対値の総和とされる。即ち例えば、着目ブロック３５１内の全画素の夫々を個別に着目画素として捉え、着目画素ごとに、着目ブロック３５１内の着目画素の輝度値と、候補ブロック３６１内の、着目画素に対応する画素の輝度値との差の絶対値を求め、これによって得られた絶対値（着目ブロック３５１の画素数分の絶対値）の総和を相関値として算出する。この総和による相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。尚、輝度差の絶対値の総和を表すＳＡＤではなく、輝度差の二乗の総和を表すＳＳＤ（Sum of Squared Difference）を相関値として求めるようにしてもよい。
相関値は、着目ブロック３５１内の画像と候補ブロック３６１内の画像との類似性を表し、それらの画像の類似性が高いほど、対応する相関値は小さくなる。位置合わせ部５１は、相関値が最も小さくなる候補ブロック３６１の中心位置を特定し、着目ブロック３５１の中心位置から候補ブロック３６１の中心位置へ向かうベクトルを、動きベクトルとして求める。この動きベクトルの向き及び大きさによって、短露光画像から見た適正露光画像の位置ずれの向き及び大きさが表される。
位置合わせ部５１は、このようにして求められた位置ずれ（動きベクトル）に基づき適正露光画像に対して上述の座標変換を施すことにより、該位置ずれを補正する。第１実施例において、この位置ずれ補正後の適正露光画像（換言すれば、位置合わせ後の適正露光画像）は、第１中間生成画像として機能する。
ノイズ低減部５２は、短露光画像に対してノイズ低減処理を施すことにより、短露光画像に含まれるノイズを低減する。ノイズ低減部５２におけるノイズ低減処理を、ノイズ低減に適した任意の空間フィルタリングにて実現することができる。ノイズ低減部５２における空間フィルタリングでは、エッジがなるだけ保存されるような空間フィルタを利用することが望ましく、例えば、メディアンフィルタを用いた空間フィルタリングが採用される。
また、ノイズ低減部５２におけるノイズ低減処理を、ノイズ低減に適した任意の周波数フィルタリングにて実現することもできる。ノイズ低減部５２において周波数フィルタリングを利用する場合、短露光画像に含まれる空間周波数成分の内、所定のカットオフ周波数未満の空間周波数成分を通過させ且つ該カットオフ周波数以上の空間周波数成分を低減させるローパスフィルタを用いるとよい。尚、メディアンフィルタ等を用いた空間フィルタリングによっても、短露光画像に含まれる空間周波数成分の内の、比較的低い周波数の空間周波数成分が殆どそのまま残存する一方で比較的高い周波数の空間周波数成分が低減される。故に、メディアンフィルタ等を用いた空間フィルタリングもローパスフィルタによるフィルタリングの一種である、と考えることもできる。
ノイズ低減部５２によるノイズ低減処理後の短露光画像を、第２中間生成画像と呼ぶ。図７に、図３（ａ）の短露光画像３１０に対してノイズ低減処理を施すことによって得られた第２中間生成画像３１２を示す。図３（ａ）と図７の比較からも分かるように、第２中間生成画像３１２では、短露光画像３１０に含まれているノイズが低減されている一方で、短露光画像３１０と比べてエッジが僅かに不鮮明となっている。
差分値算出部５３は、第１中間生成画像と第２中間生成画像との間の、各画素位置における差分値を算出する。画素位置（ｘ，ｙ）における差分値をＤＩＦ（ｘ，ｙ）にて表す。差分値ＤＩＦ（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素と第２中間生成画像の画素位置（ｘ，ｙ）における画素との間における、輝度及び／又は色の差を表す値である。
差分値算出部５３は、例えば下記式（１）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出する。ここで、Ｐ１Y（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値であり、Ｐ２Y（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値である。
式（１）ではなく、ＲＧＢ形式の信号値を利用し、下記式（２）又は式（３）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出することも可能である。ここで、Ｐ１R（ｘ，ｙ）、Ｐ１G（ｘ，ｙ）及びＰ１B（ｘ，ｙ）は、夫々、第１中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値であり、Ｐ２R（ｘ，ｙ）、Ｐ２G（ｘ，ｙ）及びＰ２B（ｘ，ｙ）は、夫々、第２中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値である。或る画素のＲ、Ｇ及びＢ信号は、その画素の赤、緑及び青の強度を表す色信号である。

上記の式（１）、式（２）又は式（３）に基づく差分値ＤＩＦ（ｘ，ｙ）の算出方法は例示に過ぎず、それら以外の方法によって差分値ＤＩＦ（ｘ，ｙ）を求めるようにしても構わない。例えば、ＹＵＶ形式の信号値を利用し、ＲＧＢ形式の信号値を用いる場合と同様の方法にて差分値ＤＩＦ（ｘ，ｙ）を算出しても構わない。この場合、式（２）及び（３）におけるＲ、Ｇ及びＢを夫々Ｙ、Ｕ及びＶに置き換えて考えればよい。ＹＵＶ形式の信号は、Ｙによって表される輝度信号とＵ及びＶによって表される色差信号から成る。
図８に、各画素位置における差分値ＤＩＦ（ｘ，ｙ）を画素信号値として有する差分画像の例を示す。図８の差分画像３１３は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく差分画像である。差分画像３１３では、差分値ＤＩＦ（ｘ，ｙ）が比較的大きい部分を白で表し、差分値ＤＩＦ（ｘ，ｙ）が比較的小さい部分を黒で表している。短露光画像３１０及び適正露光画像３１１の撮影中における人物ＳＵＢの移動によって、差分画像３１３における人物ＳＵＢの移動領域での差分値ＤＩＦ（ｘ，ｙ）が比較的大きくなっている。また、手ぶれに由来する適正露光画像３１１上のぶれにより、エッジ付近（人物や山の輪郭部）の差分値ＤＩＦ（ｘ，ｙ）も大きくなっている。
第１合成部５４は、第１中間生成画像と第２中間生成画像との合成を行い、得られた合成画像を第３中間生成画像として出力する。この合成は、第１及び第２中間生成画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）を差分値ＤＩＦ（ｘ，ｙ）に基づいて決定することができる。第１合成部５４にて決定される、画素位置（ｘ，ｙ）に対する混合率をα（ｘ，ｙ）にて表す。
差分値ＤＩＦ（ｘ，ｙ）と混合率α（ｘ，ｙ）との関係例を図９に示す。図９の関係例を採用する場合、
「ＤＩＦ（ｘ，ｙ）＜Ｔｈ１＿Ｌ」の成立時において「α（ｘ，ｙ）＝１」とされ、
「Ｔｈ１＿Ｌ≦ＤＩＦ（ｘ，ｙ）＜Ｔｈ１＿Ｈ」の成立時において「α（ｘ，ｙ）＝１−（ＤＩＦ（ｘ，ｙ）−Ｔｈ１＿Ｌ）／（Ｔｈ１＿Ｈ−Ｔｈ１＿Ｌ）」とされ、
「Ｔｈ１＿Ｈ≦ＤＩＦ（ｘ，ｙ）」の成立時において「α（ｘ，ｙ）＝０」とされる。
ここで、Ｔｈ１＿Ｌ及びＴｈ１＿Ｈは、「０＜Ｔｈ１＿Ｌ＜Ｔｈ１＿Ｈ」を満たす所定の閾値である。図９の関係例を採用する場合、差分値ＤＩＦ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌから閾値Ｔｈ１＿Ｈに向かって増大するにつれて対応する混合率α（ｘ，ｙ）が１から０に向かって線形的に減少するが、混合率α（ｘ，ｙ）を非線形に減少させても構わない。
第１合成部５４は、各画素位置における差分値ＤＩＦ（ｘ，ｙ）から各画素位置における混合率α（ｘ，ｙ）を決定した後、下記式（４）に従って第１及び第２中間生成画像の対応画素の画素信号を混合することで、第３中間生成画像の画素信号を生成する。ここで、Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素信号を表している。
画素信号Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ１（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ１（ｘ，ｙ）及びＰ２（ｘ，ｙ）を混合することにより画素信号Ｐ３（ｘ，ｙ）を得ればよい。画素信号Ｐ１（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。
図１０に、第１合成部５４にて得られる第３中間生成画像の例を示す。図９に示す第３中間生成画像３１４は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく第３中間生成画像である。
上述したように、人物ＳＵＢが動いた領域では差分値Ｄ（ｘ，ｙ）が比較的大きくなるため、第３中間生成画像３１４に対する第２中間生成画像３１２（図７参照）の寄与度（１−α（ｘ，ｙ））が比較的大きくなる。結果、第３中間生成画像３１４における被写体ぶれは、適正露光画像３１１（図３（ｂ）参照）におけるそれよりも大幅に抑制される。
また、エッジ付近においても差分値Ｄ（ｘ，ｙ）が大きくなることから上記寄与度（１−α（ｘ，ｙ））が大きくなる。結果、第３中間生成画像３１４におけるエッジの鮮鋭度は、適正露光画像３１１におけるそれよりも改善される。但し、第２中間生成画像３１２におけるエッジは、短露光画像３１０のそれと比較して若干不鮮明であるため、第３中間生成画像３１４におけるエッジも短露光画像３１０のそれと比較して若干不鮮明となる。
一方において、差分値Ｄ（ｘ，ｙ）が比較的小さい領域はエッジ成分の少ない平坦領域であると推測される。このため、差分値Ｄ（ｘ，ｙ）が比較的小さい領域に対しては、上述の如く、ノイズの含有量が少ない第１中間生成画像の寄与度α（ｘ，ｙ）を比較的大きくする。これにより、第３中間生成画像のノイズを低く抑えることができる。尚、第２中間生成画像はノイズ低減処理を経て生成されたものであるため、第３中間生成画像に対する第２中間生成画像の寄与度（１−α（ｘ，ｙ））が比較的大きくなる領域においても、ノイズは殆ど目立たない。
上述したように、第３中間生成画像におけるエッジは短露光画像のそれと比較して若干不鮮明となるが、この不鮮明さは、エッジ強度値算出部５５及び第２合成部５６によって改善される。
エッジ強度値算出部５５は、第２中間生成画像に対してエッジ抽出処理を行い、各画素位置におけるエッジ強度値を算出する。画素位置（ｘ，ｙ）におけるエッジ強度値を、Ｅ（ｘ，ｙ）にて表す。エッジ強度値Ｅ（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）を中心とする小ブロック内の画素信号の変化量を表す指標であり、その変化量が大きいほどエッジ強度値Ｅ（ｘ，ｙ）は大きくなる。
例えば、下記式（５）に従って、エッジ強度値Ｅ（ｘ，ｙ）を求める。上述したように、Ｐ２Y（ｘ，ｙ）は第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値を表す。
Ｆｘ（ｉ，ｊ）及びＦｙ（ｉ，ｊ）は、夫々、水平方向及び垂直方向のエッジを抽出するためのエッジ抽出フィルタのフィルタ係数を表す。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタを用いることができ、例えば、微分フィルタ、プリューウィットフィルタ（Prewitt filter）、ソーベルフィルタ（Sobel filter）を用いることができる。
例えば、プリューウィットフィルタを用いる場合、式（５）におけるＦｘ（ｉ，ｊ）に、「Ｆｘ（−１，−１）＝Ｆｘ（−１，０）＝Ｆｘ（−１，１）＝−１」、「Ｆｘ（０，−１）＝Ｆｘ（０，０）＝Ｆｘ（０，１）＝０」及び「Ｆｘ（１，−１）＝Ｆｘ（１，０）＝Ｆｘ（１，１）＝１」を代入すれば良く、式（５）におけるＦｙ（ｉ，ｊ）に、「Ｆｙ（−１，−１）＝Ｆｙ（０，−１）＝Ｆｙ（１，−１）＝−１」、「Ｆｙ（−１，０）＝Ｆｙ（０，０）＝Ｆｙ（１，０）＝０」及び「Ｆｙ（−１，１）＝Ｆｙ（０，１）＝Ｆｙ（１，１）＝１」を代入すれば良い。勿論、このようなフィルタ係数は一例であり、エッジ強度値Ｅ（ｘ，ｙ）の算出用のエッジ抽出フィルタは様々に変形可能である。また、式（５）では３×３のフィルタサイズを有するエッジ抽出フィルタを用いているが、エッジ抽出フィルタのフィルタサイズは３×３以外でもよい。
図１１に、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）を画素信号値として有するエッジ画像の例を示す。図１１のエッジ画像３１５は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づくエッジ画像である。エッジ画像３１５では、エッジ強度値Ｅ（ｘ，ｙ）が比較的大きい部分を白で表し、エッジ強度値Ｅ（ｘ，ｙ）が比較的小さい部分を黒で表している。エッジ強度値Ｅ（ｘ，ｙ）は、エッジが鮮明である短露光画像３１０のノイズを抑制することによって得られた第２中間生成画像３１２のエッジを抽出することで得られる。そのため、ノイズとエッジが分離され、エッジ強度値Ｅ（ｘ，ｙ）によって、ノイズと被写体のエッジとを明確に区別した上でエッジの位置が特定される。
第２合成部５６は、第３中間生成画像と短露光画像との合成を行い、得られた合成画像を目標補正画像として出力する。この合成は、第３中間生成画像と短露光画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）をエッジ強度値Ｅ（ｘ，ｙ）に基づいて決定することができる。第２合成部５６にて決定される、画素位置（ｘ，ｙ）に対する混合率をβ（ｘ，ｙ）にて表す。
エッジ強度値Ｅ（ｘ，ｙ）と混合率β（ｘ，ｙ）との関係例を図１２に示す。図１２の関係例を採用する場合、
「Ｅ（ｘ，ｙ）＜Ｔｈ２＿Ｌ」の成立時において「β（ｘ，ｙ）＝０」とされ、
「Ｔｈ２＿Ｌ≦Ｅ（ｘ，ｙ）＜Ｔｈ２＿Ｈ」の成立時において「β（ｘ，ｙ）＝（Ｅ（ｘ，ｙ）−Ｔｈ２＿Ｌ）／（Ｔｈ２＿Ｈ−Ｔｈ２＿Ｌ）」とされ、
「Ｔｈ２＿Ｈ≦Ｅ（ｘ，ｙ）」の成立時において「β（ｘ，ｙ）＝１」とされる。
ここで、Ｔｈ２＿Ｌ及びＴｈ２＿Ｈは、「０＜Ｔｈ２＿Ｌ＜Ｔｈ２＿Ｈ」を満たす所定の閾値である。図１２の関係例を採用する場合、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌから閾値Ｔｈ２＿Ｈに向かって増大するにつれて対応する混合率β（ｘ，ｙ）が０から１に向かって線形的に増加するが、混合率β（ｘ，ｙ）を非線形に増加させても構わない。
第２合成部５６は、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）から各画素位置における混合率β（ｘ，ｙ）を決定した後、下記式（６）に従って第３中間生成画像と短露光画像の対応画素の画素信号を混合することで、目標補正画像の画素信号を生成する。ここで、ＰOUT（ｘ，ｙ）、ＰIN_SH（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、目標補正画像、短露光画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素信号を表している。
画素信号ＰOUT（ｘ，ｙ）、ＰIN_SH（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、目標補正画像、短露光画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ３（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号ＰIN_SH（ｘ，ｙ）及びＰ３（ｘ，ｙ）を混合することにより画素信号ＰOUT（ｘ，ｙ）を得ればよい。画素信号Ｐ３（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。
図１３に、第２合成部５６にて得られる目標補正画像の例を示す。図１３に示す目標補正画像３１６は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく目標補正画像である。エッジ部分では、目標補正画像３１６に対する短露光画像３１０の寄与度β（ｘ，ｙ）が大きくなるため、目標補正画像３１６においては、第３中間生成画像３１４（図１０参照）におけるエッジの僅かな不鮮明さが改善され、エッジが鮮明に描写される。一方、エッジ以外の部分では、目標補正画像３１６に対する第３中間生成画像３１４の寄与度（１−β（ｘ，ｙ））が大きくなるため、目標補正画像３１６に対して、短露光画像３１０に含まれるノイズが反映されることが抑制される。ノイズは、エッジ以外の部分（平坦部分）において特に視覚的に目立つため、上述のような混合率β（ｘ，ｙ）による合成比率の調整は効果的である。
このように第１実施例によれば、適正露光画像（より詳細には位置合わせ後の適正露光画像（即ち第１中間生成画像））とノイズ低減後の短露光画像（即ち第２中間生成画像）とを、それらから得られる差分値を用いて合成することにより、適正露光画像のぶれ及び短露光画像のノイズが抑制された第３中間生成画像を生成することができる。その後、ノイズ低減後の短露光画像（即ち第２中間生成画像）から得たエッジ強度値を用いて第３中間生成画像と短露光画像を合成することにより、目標補正画像に短露光画像の鮮明なエッジを反映させることができる一方で、短露光画像のノイズの目標補正画像への反映が抑制される。結果、目標補正画像は、ぶれ及びノイズの少ない画像となる。
エッジとノイズを明確に分離検出し、短露光画像のノイズの目標補正画像への混入を良好に回避するためには、上述の如くエッジ強度値をノイズ低減後の短露光画像（即ち第２中間生成画像）から導出する方が望ましいが、エッジ強度値をノイズ低減前の短露光画像（即ち図３（ａ）の短露光画像３１０など）から導出するようにしてもよい。この場合、式（５）のＰ２Y（ｘ，ｙ）にノイズ低減前の短露光画像の画素位置（ｘ，ｙ）における画素の輝度値を代入した上で、式（５）に従いエッジ強度値Ｅ（ｘ，ｙ）を算出すればよい。
尚、実際には、短露光画像の画像領域と位置合わせ後の適正露光画像の画像領域との間で、互いに重なり合わない画像領域が存在する（上述の説明では、説明の簡略化上、その存在を無視している）。即ち、図１４に示す如く、通常、短露光画像の全画像領域４００の位置と位置合わせ後の適正露光画像の全画像領域４０１の位置は完全に一致せず、全画像領域４００と全画像領域４０１とが重なり合う領域４０２（以下、重なり領域４０２という）の大きさは全画像領域４００又は全画像領域４０１のそれよりも小さい。図１４では、重なり領域４０２が斜線領域によって示されている。
ノイズ低減部５２、差分値算出部５３、第１合成部５４、エッジ強度値算出部５５及び第２合成部５６は、短露光画像における重なり領域４０２内の画素信号と第１中間生成画像における重なり領域４０２内の画素信号とに基づき、重なり領域４０２を全画像領域とする目標補正画像を生成することができる。この場合、目標補正画像の全画像領域の大きさは、短露光画像のそれよりも小さくなる。
これに代えて、第２中間生成画像における非重なり領域４０３内の画素信号から目標補正画像における非重なり領域４０３内の画素信号を生成するようにしてもよい（例えば、前者の画素信号と後者の画素信号を一致させる）。一方で、短露光画像における重なり領域４０２内の画素信号と第１中間生成画像における重なり領域４０２内の画素信号とに基づき目標補正画像における重なり領域４０２内の画素信号を生成し、目標補正画像における重なり領域４０２及び非重なり領域４０３を貼り合わせることで目標補正画像の全画像領域を形成するようにしてもよい。この場合、目標補正画像の全画像領域の大きさは短露光画像のそれと同じとなる。ここで、非重なり領域４０３とは、短露光画像の全画像領域４００から重なり領域４０２を除いて残った領域を指し、図１４ではドット領域で示されている。
＜＜第２実施例＞＞
次に第２実施例を説明する。第１実施例に示した短露光画像及び適正露光画像間の位置合わせを介した画像合成処理によって、ぶれ及びノイズの少ない画像を生成することができるが、位置合わせは常に正確に実行できるとは限らず、仮に位置合わせに失敗すると、目標補正画像において被写体が二重になって表れたり、合成処理において片方の画像の合成比率が異常に高くなって目標補正画像に大きなぶれ又はノイズが含まれてしまう。
第２実施例では、位置合わせが失敗する可能性を考慮し、位置合わせの失敗が生じそうな場合においても、ぶれ及びノイズの少ない画像の生成を可能ならしめる。これを可能とするために、第２実施例に係る画像補正部は、短露光画像及び適正露光画像間の位置合わせの実行に先立って該位置合わせが成功しそうであるか或いは失敗しそうであるかを予測推定する機能、又は、短露光画像及び適正露光画像間の位置合わせの実行後に該位置合わせが成功したと考えられるか或いは失敗したと考えられるかを事後推定する機能を備える。位置合わせの成功／失敗の推定を位置合わせの実行後に行うことも可能であるが、以下の説明では、その推定を位置合わせの実行前に実行するものとする。尚、単に位置合わせといった場合、それは、短露光画像及び適正露光画像間の位置合わせを指す。
図１５は、第２実施例に係る画像補正部２０ｂの内部ブロック図である。第２実施例では、図１の画像補正部２０として画像補正部２０ｂが用いられる。画像補正部２０ｂは、符号５１〜５９によって参照される各部位を備える。連続的な撮影によって得られた短露光画像及び適正露光画像の画像データは、画像補正部２０ｂに入力される。但し、場合によっては適正露光画像の撮影がなされず、短露光画像の画像データのみが画像補正部２０ｂに入力されることもある（詳細は後述）。
位置合わせ成否推定部５７（以下、成否推定部５７と略記する）が、位置合わせ部５１の位置合わせに関する上記の推定機能を備える。成否推定部５７は、位置合わせが成功すると推定した時に成功推定信号を選択部５９に出力し、位置合わせが失敗すると推定した時に失敗推定信号が選択部５９に出力する。この推定方法の詳細な説明は後に設けることとし、先に、図１５の示す他の部位の機能等を説明する。
擬似適正露光画像生成部５８（以下、生成部５８と略記する）は、短露光画像にノイズ低減処理及び平滑化処理を施し、このノイズ低減処理及び平滑化処理後の短露光画像を擬似適正露光画像として出力する。ここにおけるノイズ低減処理及び平滑化処理は、擬似適正露光画像のノイズレベル（換言すれば信号対雑音比）が実際の適正露光画像のそれと同程度になるように且つ擬似適正露光画像に含まれるぶれの大きさが実際の適正露光画像のそれと同程度になるように実行される。つまり、擬似適正露光画像が実際の適正露光画像を模した画像となるようにノイズ低減処理及び平滑化処理が実行される。
生成部５８におけるノイズ低減処理はノイズ低減部５２のそれと同様のものである。例えばメディアンフィルタを用いた空間フィルタリングによって短露光画像のノイズを低減する。そのノイズ低減処理後の短露光画像に対して、例えば平滑化フィルタを用いた空間フィルタリングを実行することで、擬似適正露光画像を生成する。平滑化処理を実現するための平滑化フィルタとして、ガウシアンフィルタを用いることができる。手ぶれによる画像劣化は、ガウシアンフィルタによる平滑化ぼけに近似できるからである。生成部５８による平滑化処理により、短露光画像に対してぼけによる画像劣化が与えられ、擬似適正露光画像は実際の適正露光画像に類似した画像となる。
選択部５９は、成否推定部５７による位置合わせの成否推定結果に基づいて、位置合わせ部５１から出力される位置合わせ後の適正露光画像及び生成部５８から出力される擬似適正露光画像の何れか一方を選択し、選択した画像を差分値算出部５３及び第１合成部５４に出力する。選択部５９によって選択される画像が、第２実施例（及び後述する第３実施例）における第１中間生成画像として機能する。より具体的には、選択部５９は、成否推定部５７から成功推定信号が出力されている時には位置合わせ後の適正露光画像を選択して、位置合わせ後の適正露光画像を第１中間生成画像として出力し、成否推定部５７から失敗推定信号が出力されている時には擬似適正露光画像を選択して、擬似適正露光画像を第１中間生成画像として出力する。
画像補正部２０ｂ内の、符号５１〜５６によって参照される各部位は、図５の画像補正部２０ａ内のそれらと同じものであり、選択部５９から第１中間生成画像が出力された後に実行される、第１中間生成画像及び短露光画像に基づく目標補正画像の生成動作は、第１実施例におけるそれと同じである。
尚、第１合成部５４及び第２合成部５６にて設定されるべき上記混合率α（ｘ，ｙ）及びβ（ｘ，ｙ）の値が適切でなく、その結果、目標補正画像に対する短露光画像（及び第２中間生成画像）の寄与度が大きすぎると目標補正画像のノイズが目立ち、逆に、目標補正画像に対する適正露光画像の寄与度が大きすぎると目標補正画像の鮮鋭度が無用に劣化する。従って、目標補正画像における鮮鋭度とノイズのバランスが最適な状態となるように、差分値ＤＩＦ（ｘ，ｙ）から混合率α（ｘ，ｙ）を決定するためのパラメータ及びエッジ強度値Ｅ（ｘ，ｙ）から混合率β（ｘ，ｙ）を決定するためのパラメータを予め調整しておくとよい。例えば、目標補正画像のノイズが目立たない範囲で目標補正画像に対する短露光画像（及び第２中間生成画像）の寄与度が最大化されるように上記パラメータを事前に調整しておくことで、目標補正画像の鮮鋭度が損なわれないようにするとよい。
［動作フローチャート］
次に、図１６を参照して、画像補正部２０ｂを含む撮像装置１の動作の手順を説明する。図１６は、この動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１の動作（特に画像補正部２０ｂの動作）の流れを説明する。
まず、ステップＳ１１において、主制御部１３はシャッタボタン１７ａが半押しの状態となっているか否かを確認し、シャッタボタン１７ａが半押しの状態となっていることを確認するとプリ露光を実行する。そして、ステップＳ１２において、プリ露光にて得られるＡＦＥ１２の出力信号レベルから適正露光時間ＴOPを決定する。プリ露光にて得られるＡＦＥ１２の出力信号レベルによって、画像上における被写体の明るさが検出され、その検出した明るさから適正露光時間ＴOPが決定される。また、ステップＳ１３において、現時点のズームレンズ３０の位置から撮像部１１の焦点距離を検出し、その検出した焦点距離を焦点距離ｆLとして設定する。焦点距離ｆLは、適正露光画像及び短露光画像の撮影時における撮像部１１の焦点距離である。現時点のズームレンズ３０の位置が特定されることによって、現時点の光学ズーム倍率が特定される。
その後、ステップＳ１４にて主制御部１３はシャッタボタン１７ａが全押しの状態となっているか否かを確認し、シャッタボタン１７ａが全押しの状態となっていることを確認すると、ステップＳ１５にて適正露光時間ＴOPと手ぶれ限界露光時間を比較する。例えば、焦点距離ｆLの逆数を手ぶれ限界露光時間として用いることができる。そして、適正露光時間ＴOPが手ぶれ限界露光時間以下である場合は、適正露光時間ＴOPにて撮影されるべき適正露光画像に手ぶれに由来するぶれは殆ど含まれないと判断して、ステップＳ１５からステップＳ３０に移行し、ステップＳ３０及びＳ３１の処理を実行する。即ち、ステップＳ３０にて適正露光画像のみの撮影を実行した後、ステップＳ３１にて適正露光画像の表示部１５への表示及び適正露光画像の画像データの記録媒体１６への記録を行って、図１６の動作を終了する。記録媒体１６に画像データを記録する際、画像データを所定の圧縮方式を用いて圧縮するようにしてもよい（後述のステップＳ２４においても同様）。
一方、ステップＳ１５において適正露光時間ＴOPが手ぶれ限界露光時間よりも大きい場合、ステップＳ１６にて、成否推定部５７は位置合わせの成否推定を行う。ステップＳ１６における成否推定では、これから撮影されるべき短露光画像及び適正露光画像間の位置合わせが成功するか否かを予測推定する（この推定方法については後述）。
ステップＳ１６において位置合わせが成功すると推定された場合は、ステップＳ１７及びＳ１８において、露光時間ＴSHによる短露光画像の撮影と適正露光時間ＴOPによる適正露光画像の撮影を連続的に行う。得られた短露光画像及び適正露光画像の画像データは、画像補正部２０ｂに入力される。図１６に示す例では、短露光画像の撮影後に適正露光画像を撮影しているが、適正露光画像の撮影後に短露光画像を撮影することも可能である。
露光時間ＴSHは、上述したように適正露光時間ＴOPよりも短く、例えばＴOP／４に設定される。また、露光時間ＴSHを、手ぶれ限界露光時間又は手ぶれ限界露光時間未満の任意の露光時間に設定しても良い。
ステップＳ１７及びＳ１８にて短露光画像及び適正露光画像の撮影が行われた後、ステップＳ１９において、成否推定部５７は再び位置合わせの成否推定を行う。ステップＳ１９における成否推定では、ステップＳ１７及びＳ１８の撮影によって得られた短露光画像及び適正露光画像の画像データに基づいて、又は、それら内の一方の画像の画像データに基づいて、位置合わせが成功するか否かを予測推定する（この推定方法については後述）。
ステップＳ１９において位置合わせが成功すると推定された場合は、ステップＳ２０において、成否推定部５７から成功推定信号が選択部５９に出力される。このため、ステップＳ１７及びＳ１８にて撮影された短露光画像及び適正露光画像を図１５の位置合わせ部５１に与えることで得られた位置合わせ後の適正露光画像が選択部５９にて選択され、ステップＳ２０において、その位置合わせ後の適正露光画像が第１中間生成画像として出力される。
ステップＳ１９において位置合わせが失敗すると推定された場合は、ステップＳ２２において、成否推定部５７から失敗推定信号が選択部５９に出力される。このため、ステップＳ１９において位置合わせが失敗すると推定された場合は、ステップＳ１７にて撮影された短露光画像に基づき生成部５８により生成された擬似適正露光画像が選択部５９にて選択され、ステップＳ２２において、その擬似適正露光画像が第１中間生成画像として出力される。
また、ステップＳ１６において位置合わせが失敗すると推定された場合は、ステップＳ２１において露光時間ＴSHによる短露光画像の撮影のみを行ってから、ステップＳ２２に移行する。また、この場合も、成否推定部５７から失敗推定信号が選択部５９に出力される。このため、ステップＳ１６において位置合わせが失敗すると推定された場合は、ステップＳ２１にて撮影された短露光画像に基づき生成部５８により生成された擬似適正露光画像が選択部５９にて選択され、ステップＳ２２において、その擬似適正露光画像が第１中間生成画像として出力される。
ステップＳ２０又はＳ２２にて選択部５９から第１中間生成画像が出力された後、ステップＳ２３及びＳ２４の処理が実行される。即ち、ステップＳ２３において、画像処理部２０ｂは、ステップＳ２０又はＳ２２にて選択部５９から出力された第１中間生成画像とステップＳ１７又はＳ２１の撮影によって得られた短露光画像とに基づき、上述した方法に従って目標補正画像を生成する。その後、ステップＳ２４において、得られた目標補正画像の表示部１５への表示及び目標補正画像の画像データの記録媒体１６への記録を行って、図１６の動作を終了する。
図１６のフローチャートでは、ステップＳ１６とステップＳ１９の夫々にて位置合わせの成否推定を行っているが、それらの一方を省略することも可能である。ステップＳ１９の成否推定を省略する場合、ステップＳ１７及びＳ１８にて短露光画像及び適正露光画像の撮影が行われた後は、必ず、ステップＳ２０に移行して位置合わせ後の適正露光画像が第１中間生成画像として出力される。
ステップＳ１６の成否推定を省略する場合には、ステップＳ２１の処理も省略され、ステップＳ１５において適正露光時間ＴOPが手ぶれ限界露光時間よりも大きいと判断された後は、必ず、ステップＳ１７及びＳ１８における短露光画像及び適正露光画像の撮影を介してステップＳ１９の成否推定を実行する。
［位置合わせの成否の推定方法］
成否推定部５７による位置合わせの成否の推定方法を詳説する。成否推定部５７は、様々な方法によってこの推定を行うことができる。以下に、位置合わせの成否推定方法として用いることができる第１〜第３推定方法を例示する。第１又は第２推定方法をステップＳ１６における位置合わせの成否推定方法として用いることができ、第３推定方法をステップＳ１９における位置合わせの成否推定方法として用いることができる。
――第１成否推定方法――
まず、第１成否推定方法について説明する。第１成否推定方法では、適正露光画像に対して設定された撮影条件に基づいて位置合わせの成否推定を行う。ここにおける撮影条件には、適正露光時間ＴOP及び焦点距離ｆLが含まれる。
適正露光時間ＴOP又は焦点距離ｆLが大きくなると、一般に、手ぶれに由来する適正露光画像上のぶれは大きくなる。被写体ぶれに由来するぶれについても同様である。そして、それらが大きすぎると、適正露光画像上のぶれが大きくなりすぎて、位置合わせ用に算出される位置ずれ（上述の動きベクトル）の精度が低くなり、結果、位置合わせに失敗する確率が高くなる。これを考慮し、第１成否推定方法では、ステップＳ１２及びＳ１３にて決定された適正露光時間ＴOP及び焦点距離ｆLに基づいて、位置合わせの成否を推定する。
具体的には例えば、図１７に示すような露光時間及び焦点距離を横軸及び縦軸にとった座標系を定義し、この座標系上に露光時間及び焦点距離との関係を規定する判定曲線５０１及び５０２を用意して、適正露光時間ＴOP及び焦点距離ｆLを満たす点（ＴOP，ｆL）を、この座標系上に配置して考える。図１７において、この点（ＴOP，ｆL）が、判定曲線５０２の左下側に位置する斜線領域（斜線で満たされた領域）５０４内に位置する時、適正露光時間ＴOPは、手ぶれ限界露光時間よりも短く、手ぶれに由来する適正露光画像上のぶれは無視できる程度に小さいと考えられる。従って、図１６の動作手順においては、斜線領域５０４内に点（ＴOP，ｆL）が位置する場合、ステップＳ１５からステップＳ３０に移行して適正露光画像の撮影のみが実行される。上述したように、手ぶれ限界露光時間を、焦点距離ｆLの逆数によって表すことができる。
点（ＴOP，ｆL）が斜線領域５０４内に収まらなくても、即ち適正露光時間ＴOPが手ぶれ限界露光時間よりも長くても、点（ＴOP，ｆL）が判定曲線５０１の左下側に位置する領域であって且つ斜線領域５０４と重ならないドット領域（ドットで満たされた領域）５０３内に収まる場合は手ぶれがそれほど大きくないと予想される。そこで、点（ＴOP，ｆL）がドット領域５０３内に位置する場合は位置合わせが成功すると推定して成功推定信号を出力する。一方、点（ＴOP，ｆL）がドット領域５０３にも斜線領域５０４にも収まらない場合は、位置合わせが失敗すると推定して失敗推定信号を出力する。
位置合わせの成功／失敗を分ける境界の露光時間を位置合わせ限界露光時間と呼ぶ。手ぶれ限界露光時間も位置合わせ限界露光時間も、焦点距離の関数であり、それらの値は焦点距離が大きくなるほど小さくなる。判定曲線５０１は、位置合わせ限界露光時間と焦点距離との関係を規定する曲線であって、判定曲線５０２は、手ぶれ限界露光時間と焦点距離との関係を規定する曲線である。実際の手ぶれ量は、撮像装置１の筐体の形状やシャッタボタン１７ａの特性などの影響を受けるため、手ぶれ限界露光時間及び位置合わせ限界露光時間（換言すれば判定曲線５０２及び５０１の形状）を、適宜、実験等を介して予め求めておくとよい。
尚、適正露光時間ＴOP及び焦点距離ｆLの双方を用いるのではなく、適正露光時間ＴOPのみに基づいて、或いは、焦点距離ｆLのみに基づいて位置合わせの成否推定を行うことも可能である。例えば、「ＴOP＞ＴTH」又は「ｆL＞ｆTH」が満たされる時に位置合わせが失敗すると推定して失敗推定信号を出力し、「ＴOP≦ＴTH」又は「ｆL≦ｆTH」が満たされる時に位置合わせが成功すると推定して成功推定信号を出力するようにしてもよい。
ここで、ＴTHは、焦点距離ｆLに依存することなく予め設定された一定の基準露光時間であり、ｆTHは、適正露光時間ＴOPに依存することなく予め設定された一定の基準焦点距離である。
ところで、適正露光画像の撮影条件と短露光画像の撮影条件は密接に関係している。例えば、短露光画像の露光時間ＴＳＨをＴＯＰ／４に設定することができることを上述したが、露光時間ＴＳＨをＴＯＰ／４に設定した場合、短露光画像の撮影時における露光時間（＝ＴＯＰ／４）と焦点距離（ｆＬ）を定めることによって、自動的に適正露光画像の撮影時における露光時間及び焦点距離が定まる。故に、第１成否推定方法は、短露光画像に対して設定された撮影条件に基づき位置合わせの成否推定を行う方法である、と解釈することもできる。この際、ＴＳＨはＴＯＰの関数であるならば、ＴＯＰ／４以外であっても良い（但し、ＴＳＨ＜ＴＯＰ）。
――第２成否推定方法――
次に、第２成否推定方法を説明する。第２成否推定方法では、ステップＳ１７及びＳ１８における短露光画像及び適正露光画像の撮影前、又は、ステップＳ２１における短露光画像の撮影前、又は、ステップＳ３０における適正露光画像の撮影前に、撮像部１１から得られたプレビュー画像に基づいて、位置合わせの成否推定を行う。
図１８に、シャッタボタン１７ａが全押しの状態となる時刻周辺の撮影画像列を示す。
撮像装置１は、静止画像を撮影可能な撮影モードにおいて、周期的に撮影を行って撮影画像列を生成する。撮影画像列とは、時系列に並ぶ複数の撮影画像の集まりを指す。時間が経過するにつれ、時刻ｔ1、ｔ2、・・・、ｔn-3、ｔn-2、ｔn-1、ｔn及びｔn+1がこの順番で訪れ、時刻ｔ1、ｔ2、・・・、ｔn-3、ｔn-2及びｔn-1における撮影によって撮像部１１から撮影画像Ｉ1、Ｉ2、・・・、Ｉn-3、Ｉn-2及びＩn-1が得られたとし、時刻ｔn-1と時刻ｔnとの間においてシャッタボタン１７ａが全押しの状態となって図１６のステップＳ１４からステップＳ１５への移行が発生したことを想定する。尚、ｎは３以上の整数である。
この場合、シャッタボタン１７ａの全押し後に、短露光画像及び適正露光画像の内の少なくとも一方が撮影される。図１８の例では、シャッタボタン１７ａの全押し後に訪れる時刻ｔn及びｔn+1において短露光画像Ｉn及び適正露光画像Ｉn+1が撮影されることを想定している。但し、ステップＳ１５及びＳ１６の分岐処理の結果によっては、シャッタボタン１７ａの全押し後に短露光画像のみ又は適正露光画像のみが撮影される。
上述の撮影画像Ｉ1、Ｉ2、・・・、Ｉn-3、Ｉn-2及びＩn-1をプレビュー画像と呼ぶ。
順次取得されるプレビュー画像は、動画像として表示部１５に更新表示される。第２成否推定方法では、このプレビュー画像Ｉ1、Ｉ2、・・・、Ｉn-3、Ｉn-2及びＩn-1に基づいて位置合わせの成否推定を行う。以下に具体的な方法を説明する。以下に述べる第１〜第４の具体的方法の何れかを用いて、位置合わせの成否推定を行うことができる。第１〜第４の具体的方法の内の２以上の方法を組み合わせて位置合わせの成否推定を行うようにしても構わない。
（ｉ）第１の具体的方法を説明する。位置合わせの対象画像（短露光画像及び適正露光画像）が平坦であってエッジをあまり含まない場合、画像データに基づく位置合わせの特性から、位置合わせは失敗する可能性が高いと考えられる。そして、プレビュー画像に、そのような画像特徴が当てはまる場合は、位置合わせの対象画像にも、そのような画像特徴が当てはまる可能性が高い。これを考慮し、第１の具体的方法では、プレビュー画像のエッジ強度の大小に基づいて位置合わせの成否推定を行う。
つまり例えば、エッジ強度値Ｅ（ｘ，ｙ）の算出を介して第２中間生成画像３１２からエッジ画像３１５を生成する方法と同様に（図７及び図１１参照）、プレビュー画像Ｉn-pに対してエッジ抽出処理を施してプレビュー画像Ｉn-pのエッジ画像を生成し、プレビュー画像Ｉn-pのエッジ画像における各画素信号値の平均値（換言すればエッジ画像の平均輝度）をエッジ評価値として求める。その後、そのエッジ評価値と所定の閾値を比較し、エッジ評価値が閾値以下である場合に位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力する。ここで、ｐは１以上の整数であるが、ｐ＝１に設定することが最も望ましい。
（ii）第２の具体的方法を説明する。連続撮影によって得られた２枚の撮影画像間における物体の動きに複数の異なる動きが含まれる場合、両画像間の位置ずれを正確に検出することは難しい。そして、プレビュー画像に、そのような画像特徴が当てはまる場合は、位置合わせの対象画像にも、そのような画像特徴が当てはまる可能性が高い。これを考慮し、第２の具体的方法では、画像上における複数の異なる動きの存否に基づいて位置合わせの成否推定を行う。
つまり例えば、以下のように処理するとよい。プレビュー画像Ｉn-2から第１〜第Ｎの特徴点を抽出して、プレビュー画像Ｉn-2とプレビュー画像Ｉn-1との間で画像マッチング（例えばブロックマッチング）を行うことにより、プレビュー画像Ｉn-2上の第１〜第Ｎの特徴点に対応する、プレビュー画像Ｉn-1上におけるＮ個の特徴点を抽出する（Ｎは２以上の整数）。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。そして、プレビュー画像Ｉn-2上の特徴点ごとに、プレビュー画像Ｉn-2上の特徴点の位置からプレビュー画像Ｉn-1上の対応特徴点の位置へと向かうベクトルを特徴点動きベクトルとして求める。
第１〜第Ｎの特徴点に対して求められた特徴点動きベクトルをＭＶ1〜ＭＶNにて表す。その後、特徴点動きベクトルＭＶ1〜ＭＶNの分散と所定の閾値を比較し、その分散が閾値以上である場合に上記複数の異なる動きが存在すると判定すると共に位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力する。
特徴点動きベクトルＭＶ1〜ＭＶNの平均ベクトルをＭＶAVEにて表した場合、特徴点動きベクトルと平均ベクトルＭＶAVEとの差分ベクトルを特徴点動きベクトルごとに求め、得られたＮ個の差分ベクトルの大きさの平均値を、特徴点動きベクトルＭＶ1〜ＭＶNの分散として用いることができる。
尚、上述の例では、短露光画像の撮影直前に得られるプレビュー画像Ｉn-2及びＩn-1を用いて複数の異なる動きの存否判定に基づく位置合わせの成否推定を行っているが、プレビュー画像Ｉn-2及びＩn-1の代わりに、プレビュー画像Ｉn-3及びＩn-2を用いたり、プレビュー画像Ｉn-4及びＩn-3を用いたりすることも可能である。
（iii）第３の具体的方法を説明する。注目撮影画像内に同じような模様が複数存在する場合、その注目撮影画像とそれに時間的に隣接する撮影画像との間の位置ずれを正確に検出することは難しい。そして、プレビュー画像に、そのような画像特徴が当てはまる場合は、位置合わせの対象画像にも、そのような画像特徴が当てはまる可能性が高い。これを考慮し、第３の具体的方法では、画像上における複数の同じ模様の存否に基づいて位置合わせの成否推定を行う。
つまり例えば、以下のように処理するとよい。図６（ａ）及び（ｂ）の短露光画像３５０及び適正露光画像３６０内に着目ブロック３５１及び候補ブロック３６１を設定し、探索範囲３６２内で候補ブロック３６１の位置を移動させながら着目ブロック３５１内の画像と候補ブロック３６１内の画像との間の相関値を算出したのと同様の処理を、プレビュー画像Ｉn-2及びＩn-1に適用する。即ち、上記の短露光画像３５０及び適正露光画像３６０をプレビュー画像Ｉn-2及びＩn-1に読み替えることにより、プレビュー画像Ｉn-2及びＩn-1についての相関値を上述した方法に従って求める。
プレビュー画像Ｉn-1上に設定される候補ブロックの移動により、プレビュー画像Ｉn-2及びＩn-1についての相関値は複数個求められ、それぞれの相関値は、対応する候補ブロックの位置と対応付けられる。求められた複数の相関値が第１〜第Ｎの相関値から成るとし（Ｎは２以上の整数）、説明の便宜上、任意の整数ｉに対して「第ｉの相関値は第（ｉ＋１）の相関値以下である」という条件が成立する場合を想定する。この場合、第１の相関値は第１〜第Ｎの相関値の内の最小値であって、第２の相関値は２番目に小さい相関値であるが、プレビュー画像Ｉn-2上の着目ブロック内の模様と同じような模様がプレビュー画像Ｉn-1上の探索範囲内に存在している場合は、第１の相関値と第２の相関値との差は非常に小さくなる（その差がゼロである時もある）。
そこで、第１の相関値と第２の相関値との差と所定の閾値とを比較し、その差が閾値以下である場合に上記複数の同じ模様が存在すると判定すると共に位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力する。
尚、上述の例では、短露光画像の撮影直前に得られるプレビュー画像Ｉn-2及びＩn-1を用いて複数の同じ模様の存否判定に基づく位置合わせの成否推定を行っているが、プレビュー画像Ｉn-2及びＩn-1の代わりに、プレビュー画像Ｉn-3及びＩn-2を用いたり、プレビュー画像Ｉn-4及びＩn-3を用いたりすることも可能である。
（iv）第４の具体的方法を説明する。図６（ａ）及び（ｂ）の短露光画像３５０及び適正露光画像３６０間の位置ずれの大きさが大きすぎる場合、短露光画像３５０の着目ブロック３５１に対応すべき適正露光画像３６０上の候補ブロック３６１の位置が探索範囲３６２を超えてしまい、正確な動きベクトルを検出することができなくなる。そして、撮影者が意図的なカメラ操作を行っている場合など、プレビュー画像列に、そのような位置ずれが当てはまる場合は、位置合わせの対象画像にも、そのような位置ずれが当てはまる可能性が高い。これを考慮し、第４の具体的方法では、プレビュー画像列に対して算出された動きベクトルの大きさに基づいて位置合わせの成否推定を行う。意図的なカメラ操作とは、撮影者が意図的に撮像装置１の筐体を横や縦に振る操作（パン操作やチルト操作）を指す。
つまり例えば、以下のように処理するとよい。成否推定部５７は、時間的に隣接して得られる２枚のプレビュー画像間の動きベクトルを、プレビュー画像が新たに得られる度に導出する。この導出方法は、上述した、短露光画像及び適正露光画像間の動きベクトルの導出方法と同じである。プレビュー画像間Ｉi及びＩj間の動きベクトルをＭＶ［ｉ，ｊ］によって表す。そうすると、時系列で並ぶ動きベクトルＭＶ［１，２］、ＭＶ［２，３］、ＭＶ［３，４］、・・・、ＭＶ［ｎ−３、ｎ−２］及びＭＶ［ｎ−２、ｎ−１］が得られる。これらの動きベクトル（ＭＶ［１，２］等）を、特にプレビュー動きベクトルと呼ぶ。成否推定部５７は、プレビュー動きベクトルの大きさを常時監視し、プレビュー動きベクトルの大きさが徐々に増加して所定の閾値を超えた時に、その時点において意図的なカメラ操作が開始したと判断する。成否推定部５７は、意図的なカメラ操作が開始したと判断した後、一定期間、プレビュー動きベクトルの大きさが所定の閾値以下に保たれていた場合に、意図的なカメラ操作が終了したと判断する。
このような意図的なカメラ操作の開始及び終了判定を行っている状態において、シャッタボタン１７ａの状態が全押しの状態となっていることが確認されると、成否推定部５７は、その確認時点が、意図的なカメラ操作が行われている期間に属しているか否かを判断する。そして、その確認時点が意図的なカメラ操作が行われている期間に属している場合は位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力する。
――第３成否推定方法――
次に、第３成否推定方法を説明する。第３成否推定方法では、ステップＳ１７及びＳ１８の撮影によって得られた短露光画像及び適正露光画像の画像データに基づいて、又は、それら内の一方の画像の画像データに基づいて、位置合わせの成否推定を行う。
第３成否推定方法に、第２成否推定方法にて述べた第１〜第３の具体的方法を適用することができる。以下の第３成否推定方法の説明では、ステップＳ１７及びＳ１８の撮影によって得られた短露光画像及び適正露光画像に、夫々、符号Ｉn及びＩn+1を割り当てる（図１８参照）。
第１の具体的方法を適用する場合、上述の第１の具体的方法の説明文中におけるプレビュー画像Ｉn-pを短露光画像Ｉn又は適正露光画像Ｉn+1に読み替えれば足る。即ち例えば、上述の第１の具体的方法に従って短露光画像Ｉn又は適正露光画像Ｉn+1のエッジ評価値を求め、エッジ評価値が所定の閾値以下である場合に位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力すればよい。
第２の具体的方法を適用する場合、上述の第２の具体的方法の説明文中におけるプレビュー画像Ｉn-2及びプレビュー画像Ｉn-1を夫々短露光画像Ｉn及び適正露光画像Ｉn+1に読み替えれば足る。即ち例えば、上述の第２の具体的方法に従って短露光画像Ｉn及び適正露光画像Ｉn+1についての特徴点動きベクトルＭＶ1〜ＭＶNの分散を求め、その分散が閾値以上である場合に上記複数の異なる動きが存在すると判定すると共に位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力すればよい。
第３の具体的方法を適用する場合、上述の第３の具体的方法の説明文中におけるプレビュー画像Ｉn-2及びプレビュー画像Ｉn-1を夫々短露光画像Ｉn及び適正露光画像Ｉn+1に読み替えれば足る。即ち例えば、上述の第３の具体的方法に従って短露光画像Ｉn及び適正露光画像Ｉn+1についての複数の相関値を求め、その複数の相関値中の１番目及び２番目に小さい相関値の差が所定の閾値以下である場合に上記複数の同じ模様が存在すると判定すると共に位置合わせが失敗すると推定して失敗推定信号を出力し、そうでない場合に、位置合わせが成功すると推定して成功推定信号を出力すればよい。
［第２実施例の作用・効果について］
適正露光時間ＴOP等が大きく手ぶれが大きいと推測される場合や画像特徴から位置ずれ検出用の動きベクトルの算出精度が低いと推測される場合、位置合わせに失敗する可能性が高い。これらの場合において、実際に位置合わせに失敗し、その状態で短露光画像及び適正露光画像に基づくぶれ補正を行うと、合成処理において片方の画像の合成比率が異常に高くなって目標補正画像に大きなぶれ又はノイズが含まれうる。だからといって、これらの場合に単に適正露光画像の撮影のみを行ったのでは、勿論、ぶれの補正効果を得ることはできない。
これに鑑み、第２実施例では、位置合わせの失敗が推定される場合に、位置合わせが不要な方法、即ち短露光画像のみに基づくぶれ補正方法によって目標補正画像を生成する。
短露光画像に基づいて生成される擬似適正露光画像は、実際の適正露光画像を模した画像である。故に、短露光画像及び擬似適正露光画像から生成される目標補正画像のぶれ及びノイズは、短露光画像及び適正露光画像から生成される目標補正画像のそれと同程度であることが期待される。即ち、第２実施例によれば、位置合わせの失敗が推定されるような場合においても、ぶれ及びノイズの少ない画像を生成することが可能となる。
また、位置合わせの失敗が推定される場合、適正露光画像の撮影を行わずに短露光画像の撮影のみを行うようにすることで（図１６のステップＳ１６及びＳ２１参照）、適正露光画像の撮影に必要な処理時間及び消費電力を節約することができる。
また、図１５のブロック図からも明らかなように、短露光画像と適正露光画像を用いて目標補正画像を生成する機能を担う部位と、短露光画像のみを用いて目標補正画像を生成する機能を担う部位は、一部において共通となっている。このため、後者の機能を追加するために必要な回路規模は少なくて済む。尚、図１６のステップＳ１６において位置合わせが失敗すると推定された場合は、ステップＳ２１において露光時間ＴＳＨによる短露光画像の撮影を行い、この短露光画像そのものを目標補正画像として取り扱うようにしても良い。この場合、図１５の第２合成部５６から短露光画像の画像データがそのまま目標補正画像の画像データとして出力される。位置合わせに失敗した状態で短露光画像及び適正露光画像から目標補正画像を生成するよりも、短露光画像をそのまま目標補正画像として出力した方が、目標補正画像のぶれ抑制の観点からは有益である。
＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例では、擬似適正露光画像の生成方法の変形列を説明する。第３実施例は第２実施例と組み合わせて実施され、第３実施例にて述べた擬似適正露光画像の生成方法に従って、図１５の生成部５８は、擬似適正露光画像を生成することができる。
第３実施例に係る擬似適正露光画像の生成方法では、擬似適正露光画像の生成に、短露光画像だけでなく実際に撮影された適正露光画像をも参照する。このため、図１６のステップＳ１６にて位置合わせの失敗が推定される場合において、第３実施例に係る擬似適正露光画像の生成方法を利用するときは、ステップＳ２１にて短露光画像と適正露光画像を連続撮影するとよい。
第３実施例では、短露光画像に対して、平均化フィルタＦＩＬを用いた空間フィルタリングを適用することで擬似適正露光画像を生成する。平均化フィルタＦＩＬのフィルタサイズはｍ×ｍであり（即ち、水平及び垂直方向の夫々のフィルタサイズはｍであり）、ｍは３以上の整数である。平均化フィルタＦＩＬは、注目画素位置を中心とするｍ×ｍ画素の画像領域内の画素信号を平均化し、得られた平均の画素信号を空間フィルタリング後の注目画素位置の画素信号として出力する空間フィルタである。
ここで、平均化フィルタＦＩＬのフィルタサイズを変更可能にしておく。そして、実際の撮影によって得られた適正露光画像のノイズレベルと短露光画像から生成されるべき擬似適正露光画像のノイズレベルとが同程度となるように、生成部５８において、平均化フィルタＦＩＬのフィルタサイズを調整する（即ち、ｍの値を調整する）。
この調整を行うために、まず、生成部５８は、撮影によって得られた短露光画像及び適正露光画像の画像データを受けて、短露光画像の画素信号値の標準偏差σSと適正露光画像の画素信号値の標準偏差σLを計算する。例えば、σSは短露光画像の各画素の輝度値の標準偏差であって且つσLは適正露光画像の各画素の輝度値の標準偏差である。
一般に、ｑ個の画素の画素信号の平均をとる空間フィルタリングを実行すると、空間フィルタリング後の画像のノイズレベルは空間フィルタリング前のそれの１／√ｑになることが知られている。尚、本明細書において、√ｉは、ｉの正の平方根を表している（ｉは正の値）。また、或る画像のノイズレベルは、その画像の画素信号値の標準偏差の正の平方根で表される。従って、短露光画像のノイズレベルは√σSであり、適正露光画像のノイズレベルは√σLである。
平均化フィルタＦＩＬのフィルタサイズはｍ×ｍであるので、平均化フィルタＦＩＬによる空間フィルタリングでは、ｍ2個の画素の画素信号が平均化される。従って、短露光画像に対して平均化フィルタＦＩＬによる空間フィルタリングを行った場合、空間フィルタリング後の短露光画像のノイズレベルは√σS／ｍになる。
第３実施例では、この空間フィルタリング後の短露光画像が擬似適正露光画像となる。
そして、この擬似適正露光画像のノイズレベルと実際の適正露光画像のノイズレベルとが同じであるならば、「√σS／ｍ＝√σL」が成立する。故に、生成部５８は、下記式（７）に従ってｍの値を決定し、決定内容に従ったフィルタサイズを有する平均化フィルタＦＩＬを用いて短露光画像を空間フィルタリングすることにより擬似適正露光画像を生成する。これにより、実際の適正露光画像のノイズレベルと擬似適正露光画像のノイズレベルが同程度となり、適正露光画像及び短露光画像から生成される目標補正画像と同等の目標補正画像を短露光画像のみから生成することが可能となる。
式（７）における演算記号“Ｒｏｕｎｄ”によって、その演算記号の被演算項の小数点を四捨五入され、被演算項の値が整数値に丸め込まれる。式（７）における演算記号“Ｒｏｕｎｄ”の被演算項は√（σS／σL）である。例えば、ｊが整数である時、ｍの値は、「ｊ−０．５≦√（σS／σL）＜ｊ＋０．５」ならばｊとされ、「ｊ＋０．５≦√（σS／σL）＜ｊ＋１．５」ならば（ｊ＋１）とされる。
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、画像補正部（２０、２０ａ又は２０ｂ）内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
［注釈２］
例えば以下のように考えることができる。図１５における画像補正部２０ｂは、短露光画像及び適正露光画像間の位置合わせを介して両画像を合成することにより目標補正画像を生成する第１補正部と、短露光画像から目標補正画像を生成する第２補正部とを備える、と考えることができる。そして、第１補正部は符号５１〜５６によって参照される各部位を含んで形成され、第２補正部は符号５２〜５６及び５８によって参照される各部位を含んで形成される、と考えることができる。成否推定部５７及び選択部５９は、第１補正部及び第２補正部を択一的に機能させる補正制御部を形成すると考えることができる。
１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
２０、２０ａ、２０ｂ 画像補正部
５１ 位置合わせ部
５２ ノイズ低減部
５３ 差分値算出部
５４ 第１合成部
５５ エッジ強度値算出部
５６ 第２合成部
５７ 位置合わせ成否推定部
５８ 擬似適正露光画像生成部
５９ 選択部

Claims (7)

  1. 撮影によって画像の画像データを出力する撮像手段を備え、所定の撮影指示に従って得られた前記撮像手段の出力データに基づいて出力画像を生成する撮像装置において、
    前記撮像手段にて撮影された第１画像の画像データ及び前記第１画像の露光時間よりも長い露光時間にて撮影された第２画像の画像データに基づいて前記第１及び第２画像間の位置合わせを行った後、前記第１及び第２画像を合成することで前記出力画像を生成する第１補正手段と、
    前記第２画像を用いることなく、前記第１画像のノイズを低減することによって前記出力画像を生成する第２補正手段と、
    前記第２画像の撮影用に設定された撮影条件又は前記撮像手段の出力データに基づいて前記第１及び第２補正手段を択一的に選択する選択処理を実行し、選択した補正手段によって前記出力画像を生成させる補正制御手段と、を備えた
    ことを特徴とする撮像装置。
  2. 前記選択処理において前記第２補正手段が選択される場合、前記第２画像の撮影は実行されない
    ことを特徴とする請求項１に記載の撮像装置。
  3. 前記第２画像の撮影条件として、前記第２画像の露光時間及び前記第２画像の撮影時における焦点距離が設定され、
    前記補正制御手段は、設定された前記第２画像の露光時間及び前記焦点距離の内の少なくとも一方に基づいて前記選択処理を実行する
    ことを特徴とする請求項１または請求項２に記載の撮像装置。
  4. 前記補正制御手段は、前記撮影指示前又は後に得られる前記撮像手段の出力データに基づいて前記位置合わせの成否を判定し、成功と判定する場合に前記第１補正手段を選択する一方、失敗と判定する場合に前記第２補正手段を選択する
    ことを特徴とする請求項１または請求項２に記載の撮像装置。
  5. 前記第２補正手段は、前記第１画像に対してぼけによる画像劣化を与えた画像を生成する画像劣化手段と、前記第１画像のノイズを低減させた画像を生成するノイズ低減手段とを用い、前記画像劣化手段の生成画像と前記ノイズ低減手段の生成画像を合成することにより前記出力画像を生成する
    ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
  6. 前記第１補正手段は、前記第１及び第２画像と前記第１画像のノイズを低減させた画像とを合成することで前記出力画像を生成する
    ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。
  7. 撮影によって画像の画像データを出力する撮像手段を備え、所定の撮影指示に従って得られた前記撮像手段の出力データに基づいて出力画像を生成する撮像装置において、
    前記撮像手段にて撮影された第１画像の画像データ及び前記第１画像の露光時間よりも長い露光時間にて撮影された第２画像の画像データに基づいて前記第１及び第２画像間の位置合わせを行った後、前記第１及び第２画像を合成することで前記出力画像を生成する第１補正手段と、
    前記第２画像を用いることなく、前記第１画像又は前記第１画像を補正した補正画像を前記出力画像として出力する第２補正手段と、
    前記第１画像の撮影用に設定された撮影条件、前記第２画像の撮影用に設定された撮影
    条件、又は、前記撮像手段の出力データに基づいて、前記第１及び第２補正手段を択一的
    に選択する選択処理を実行し、選択した補正手段によって前記出力画像を生成させる補正
    制御手段と、を備えた
    ことを特徴とする撮像装置。
JP2009281307A 2008-12-19 2009-12-11 撮像装置 Pending JP2010166558A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009281307A JP2010166558A (ja) 2008-12-19 2009-12-11 撮像装置
CN200910262481.2A CN101753825A (zh) 2008-12-19 2009-12-18 摄像装置
US12/641,616 US8300110B2 (en) 2008-12-19 2009-12-18 Image sensing apparatus with correction control

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008324428 2008-12-19
JP2009281307A JP2010166558A (ja) 2008-12-19 2009-12-11 撮像装置

Publications (1)

Publication Number Publication Date
JP2010166558A true JP2010166558A (ja) 2010-07-29

Family

ID=42265484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009281307A Pending JP2010166558A (ja) 2008-12-19 2009-12-11 撮像装置

Country Status (3)

Country Link
US (1) US8300110B2 (ja)
JP (1) JP2010166558A (ja)
CN (1) CN101753825A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115560A (ja) * 2011-11-28 2013-06-10 Fujitsu Ltd 画像合成装置及び画像合成方法
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
KR20150074641A (ko) * 2013-12-24 2015-07-02 삼성테크윈 주식회사 자동 초점 조절 방법 및 자동 초점 조절 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
US8971632B2 (en) * 2010-08-19 2015-03-03 Sharp Laboratories Of America, Inc. System for feature detection for low contrast images
US8374453B2 (en) 2010-11-10 2013-02-12 Raytheon Company Integrating image frames
US9311747B2 (en) * 2010-11-18 2016-04-12 Mitsubishi Electric Corporation Three-dimensional image display device and three-dimensional image display program
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
CN102645816B (zh) * 2011-02-16 2015-01-14 佳能企业股份有限公司 曝光参数补正方法及成像装置
WO2012144158A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 画像処理装置及び画像処理方法
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP2013179565A (ja) * 2012-02-01 2013-09-09 Panasonic Corp 撮像装置
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
CN104823437A (zh) * 2014-06-12 2015-08-05 深圳市大疆创新科技有限公司 一种图片处理方法、装置
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
US10284875B2 (en) * 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion
CN106791377B (zh) * 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN108668075A (zh) * 2018-03-29 2018-10-16 青岛海信移动通信技术股份有限公司 一种拍照方法和装置
CN109040589B (zh) * 2018-08-16 2020-06-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110149484B (zh) * 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009006A (ja) * 2001-06-20 2003-01-10 Sony Corp 撮像方法および装置
JP2006254365A (ja) * 2005-03-14 2006-09-21 Sony Corp 画像信号処理装置、撮影装置、および画像信号処理方法
JP2007027969A (ja) * 2005-07-13 2007-02-01 Casio Comput Co Ltd 撮像装置及びプログラム
WO2007032156A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346093A (ja) 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ぶれ画像補正装置、ぶれ画像補正方法、およびぶれ画像補正プログラム記録媒体
JP4586291B2 (ja) 2001-04-05 2010-11-24 株式会社ニコン 電子カメラおよび画像処理システム
US7176962B2 (en) 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP4631558B2 (ja) 2005-06-22 2011-02-16 株式会社ニコン 撮像装置および画像処理プログラム
EP1914982A1 (en) 2005-07-19 2008-04-23 Sharp Kabushiki Kaisha Imaging device
JP2007049374A (ja) 2005-08-09 2007-02-22 Nikon Corp 撮像方法及び撮像装置
JP4341613B2 (ja) 2005-11-29 2009-10-07 セイコーエプソン株式会社 制御装置、撮影装置、撮影装置の制御方法、および、制御プログラム
JP3974633B1 (ja) 2006-05-30 2007-09-12 京セラ株式会社 撮像装置および撮像方法
JP4567593B2 (ja) * 2005-12-27 2010-10-20 三星デジタルイメージング株式会社 撮像装置および撮影方法
US7796872B2 (en) 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
KR101023944B1 (ko) 2007-06-25 2011-03-28 주식회사 코아로직 영상 처리 장치 및 그 방법
JP2009111773A (ja) 2007-10-30 2009-05-21 Kyocera Corp 画像処理装置およびその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009006A (ja) * 2001-06-20 2003-01-10 Sony Corp 撮像方法および装置
JP2006254365A (ja) * 2005-03-14 2006-09-21 Sony Corp 画像信号処理装置、撮影装置、および画像信号処理方法
JP2007027969A (ja) * 2005-07-13 2007-02-01 Casio Comput Co Ltd 撮像装置及びプログラム
WO2007032156A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115560A (ja) * 2011-11-28 2013-06-10 Fujitsu Ltd 画像合成装置及び画像合成方法
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US9380206B2 (en) 2012-03-12 2016-06-28 Casio Computer Co., Ltd. Image processing apparatus that combines images
KR20150074641A (ko) * 2013-12-24 2015-07-02 삼성테크윈 주식회사 자동 초점 조절 방법 및 자동 초점 조절 장치
KR102130756B1 (ko) * 2013-12-24 2020-07-06 한화테크윈 주식회사 자동 초점 조절 방법 및 자동 초점 조절 장치

Also Published As

Publication number Publication date
US20100157110A1 (en) 2010-06-24
US8300110B2 (en) 2012-10-30
CN101753825A (zh) 2010-06-23

Similar Documents

Publication Publication Date Title
JP2010166558A (ja) 撮像装置
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
US9094648B2 (en) Tone mapping for low-light video frame enhancement
US8243150B2 (en) Noise reduction in an image processing method and image processing apparatus
US8279291B2 (en) Image transforming apparatus using plural feature points and method of controlling operation of same
JP2010141653A (ja) 画像処理装置及び撮像装置
US9307212B2 (en) Tone mapping for low-light video frame enhancement
JP5112104B2 (ja) 画像処理装置及び画像処理プログラム
US8780224B2 (en) Imaging device, method and computer readable medium for generating a blur-adjusted image on the basis of a reference image and a non-reference image
IES20050090A2 (en) A digital image acquisition system having means for determining a camera motion blur function
JP5569357B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20080108964A (ko) 촬상 장치
JP2009135561A (ja) ぶれ検出装置、ぶれ補正装置及び方法
JP2007082044A (ja) 撮像方法および撮像装置
JP5039588B2 (ja) 撮像装置及び撮像装置の制御方法
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP4942572B2 (ja) 画像加算装置および方法並びにプログラム
JP5760654B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4052348B2 (ja) 画像処理装置、及び画像処理方法
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
JP5301690B2 (ja) 撮影装置および方法並びにプログラム
JP5721552B2 (ja) 撮像装置および画像合成方法
US20230276127A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100521

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131217