JP4987355B2

JP4987355B2 - 撮像装置および撮像方法

Info

Publication number: JP4987355B2
Application number: JP2006150691A
Authority: JP
Inventors: 剛渡部; 敏樹羽鳥; 武司河野; 隆一澤田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2005-10-14
Filing date: 2006-05-30
Publication date: 2012-07-25
Anticipated expiration: 2026-05-30
Also published as: CN101331754A; CN101331754B; JP2007135182A; WO2007043575A1; US20100053349A1; US8704900B2

Description

本発明は、撮像画像を合成することによりノイズを低減可能な撮像装置および撮像方法に関するものである。

近年、撮像装置としてカメラの小型化が進み、手振れ補正技術が注目をされてきている。
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっている。

このように、撮影する際に、種々の方法や安定性の無い状態で撮影する場合、シャッターボタンを押した際にカメラがブレて手振れが発生してしまう。
たとえば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。

この問題を解消すべく、手振れ補正する装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。

また、他の方法として、画像処理により複数枚の画像からブレの無い画像を得ることができる撮像装置などが種々提案されている（たとえば特許文献１参照）。
特開平１０−１０８０７９号公報

しかし、従来提案されている撮像装置においては、複数枚分の画像を保持しておくメモリが必要となり高価なものとなってしまうという不利益がある。
また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。

本発明の目的は、異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することが可能な撮像装置および撮像方法を提供することにある。

本発明の第１の観点は、異なる露出条件で撮影した少なくともノイズがある解像度が高い画像と解像度は低いがノイズの少ない画像を含む複数枚の撮像画像を合成する機能を有する撮像装置であって、前記複数枚の画像間の位置ズレとブレ量を検出する検出手段と、前記検出手段において生成された位置ズレとブレを含んだ画像から抽出したエッジからの距離により画像の合成における比率を設定し、当該設定した比率をもって画像を合成する合成手段とを有する。

好適には、前記合成手段は、画像の合成を輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う。

好適には、前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う。

好適には、前記検出手段は、画像間の位置ズレとブレ量を複数枚の画像の差分画像から抽出する。

好適には、前記合成手段は、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露出の解像感が高い画像の比率が大きくなるように設定する。

好適には、前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成する

好適には、前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。

本発明の第２の観点は、異なる露出条件で撮影した少なくともノイズがある解像度が高い画像と解像度は低いがノイズの少ない画像を含む複数枚の撮像画像を合成する撮像方法であって、前記複数枚の画像間の位置ズレとブレ量を検出する第１ステップと、前記第１ステップにおいて生成された位置ズレとブレを含んだ画像からエッジを抽出する第２ステップと、抽出したエッジからの距離により画像の合成における比率を設定する第３ステップと、前記第３ステップで設定した比率をもって画像を合成する第４ステップとを有する。

本発明によれば、異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック図である。

本撮像装置１０は、光学系１１、撮像素子１２、信号処理部１３、制御および演算処理ユニットしてのＣＰＵ１４、およびメモリ１５を有している。

本実施形態の撮像装置１０は、露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影する機能を有している。
そして、撮像装置１０は、撮影画像間の位置ズレとブレ量を検出しエッジからの距離により複数画像の比率を変化させて合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。

撮像素子１２は、ＣＣＤまたはＣＭＯＳセンサ等により形成され、光学系１１を通った被写体の光学像を受けて光電変換して信号処理部１３に供給する。以下の説明では、撮像素子１２はＣＣＤにより形成されているものとして説明する。

本実施形態の光学系１１と撮像素子１２は、たとえばＣＰＵ１４の制御の下、ＣＣＤ感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影と、ＣＣＤ感度を変えてノイズは多いが露出時間の短い撮影と、を行うことが可能である。

信号処理部１３は、カラー補間、ホワイトバランス、ＹＵＶ変換処理、圧縮、フィルタリング等の処理を行い、メモリ１５への格納等を行う。
本実施形態の信号処理部１３は、光学系１１と撮像素子１２における各撮影データから輝度信号部分を抽出する機能と、輝度信号Ｙのノイズ成分を除去するフィルタリング処理機能を有する。フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。
信号処理部１３は、各撮影データに応じたフィルタリング処理後の画像をメモリ１５に格納する。

ＣＰＵ１４は、露出制御を行うとともに、図示しない操作部などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系１１、撮像素子１２、信号処理部１３等を制御し、システム全体の調停制御を司るものである。

また、ＣＰＵ１４は、メモリ１３に格納された信号処理部１３の信号処理後のデータに基づいて、撮影画像間の位置ズレとブレ量を検出しエッジからの距離により複数画像の比率を変化させて合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。
より具体的には、露出条件の異なる複数枚の画像間の位置ズレとブレ量を検出する検出機能と、検出機能の検出結果を基に位置ズレとブ量を含んだ画像のエッジ成分を抽出して、抽出したエッジからの距離により画像の合成における比率を設定し、設定した比率をもって画像を合成する合成機能とを有している。

ＣＰＵ１４は、検出機能において、信号処理部１３で処理された露出条件の異なる各撮影の輝度信号Ｙの差（短時間露出画像ＹＳ―長時間画像露出ＹＬ）を算出し、位置ズレとブレ量を検出する。この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ブレを含んだエッジの画像が生成されることになる。
ＣＰＵ１４は、検出機能において、生成された位置ズレとブレを含んだ画像からエッジ成分を抽出し、このエッジからの距離に応じて合成における比率を設定する。
ＣＰＵ１４に比率設定に際して、合成機能において、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きく設定する。一方、エッジ部分は短時間露出の解像感のある画像の比率が高くなるように設定する。
たとえば、エッジ部分は短時間露光の画像の比率を１００％とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で５０％ずつの比率まで可変すればよい。
そして、ＣＰＵ１４は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。
このように、ＣＰＵ１４は、エッジからの距離と画像間の比率をとりながら画像の合成を行う。これを複数の画像で繰り返し処理を行い、全画像の処理が終了した段階でノイズの低減がされたブレのない出力画像を得る。
ＣＰＵ１４は、処理後の画像データをメモリ１５に格納する。

以下、異なる露出条件で撮影した複数枚の画像例、撮影画像のＹＵＶ変換形式における輝度信号Ｙを画像の合成に用いる理由、撮影した複数画像のＹ信号成分の差分画像についてさらに詳細に説明する。

図２（ａ）〜（ｃ）は、異なる露出条件で撮影した２枚の画像とその合成の画像例を示す図である。
図２（ａ）は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが感度を上げたため画像全体にノイズがのったものである。
図２（ｂ）は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるがノイズの少ない画像である。図２(ｃ)は図２(ａ），（ｂ）を合成した画像である。
複数枚の画像は連続して撮影しても図２（ａ）〜（ｃ）に示すように、撮影間で位置ズレを生じる。

次に、撮影画像のＹＵＶ形式について説明する。
この形式で扱われる信号は、輝度信号Ｙ、色差信号Ｕ、および色差信号Ｖである。これらの信号ＹＵＶのうち、解像度を決める要素としてＹ信号成分が大きく影響する。
画像圧縮の原理としてＪＰＥＧなど、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Ｙの画像合成を行うことによりノイズの大きな低減効果が図ることができる。

図３（ａ）〜（ｃ）は短時間露出で撮影したＹ信号成分の画像、長時間露出で撮影したＹ信号成分の画像、および複数画像のＹ信号成分の差分画像を示す図である。
複数枚の画像撮影間の位置ズレと長時間露出においては手振れを含んでおりブレた画像となる。
撮影において連続撮影した場合、画像の被写体エッジ部分で大きな位置ズレは発生しない。また、Ｙ信号成分の差分画像であるためエッジ部分とブレ部分の浮き出た画像となる。
本実施形態においては、この差分画像から解像度が高いがノイズの多い画像を基準としてエッジからの距離による比率で複数枚画像の合成を行う。

図４（ａ）〜（ｃ）は、差分画像と合成における比率との関係を示す図であって、図４（ａ）はノイズ低減処理前の画像を、図４（ｂ）は被写体部分を拡大した画像を、図４（ｃ）は出力画像をそれぞれ示している。

差分画像のエッジ部分は図に示すようになる。画像の近隣の画素は大きく変化しないことから、エッジから所定距離以上離れると比較的変化の少ない画像となる。
このことからエッジ近傍では図３（ｂ）のようにある所定の傾斜を持たせた合成比率で画像処理を行う。
たとえば、被写体後方の壁や一様な面など、ノイズののった画像はノイズが目立ちムラのある画像であったものが、この処理を行うことによりノイズ低減が図れる。
本実施形態においては、ＹＵＶのＹ成分のみでノイズ除去を行うことで処理時間の短縮を図っている。
また位置ズレやブレに関して、本実施形態では複数画像の差分画像から抽出しているが、パターンマッチングなどにより正確なズレ量を検出して合成比率を変化させたりすることも可能である。

次に、上記構成による動作を、図５のフローチャートに関連付けて説明する。

まず、ＣＰＵ１４の制御の下、光学系１１および撮像素子１２を撮影するために駆動し、ステップＳＴ１において、ＣＣＤ感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影を行う。
次に、ステップＳＴ２において、ＣＣＤ感度を変えてノイズは多いが露出時間の短い撮影を行う。
そして、信号処理部１３が、ステップＳＴ３において、各撮影データから輝度信号部分を抽出し、ステップＳＴ４において、輝度信号のノイズ成分を除去するフィルタリング処理を行う。

以降、ＣＰＵ１４で以下の処理を行う。
ステップＳＴ５において、処理された各撮影の輝度信号の差（短時間露出画像ＹＳ−長時間画像露出ＹＬ）を算出する。この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ブレを含んだエッジの画像が生成されることになる。
次に、ステップＳＴ６において、画像から複数画像を撮影した際に発生する、位置ズレとブレによるズレを動きベクトルとして求める。
ステップＳＴ７において、上記のようにステップＳＴ６で生成された画像から位置ズレとブレを含んだ画像からエッジ成分を抽出し、そこからの距離に応じて比率を設定する。この場合、エッジからの距離に従い、長時間露出のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露出の解像感のある画像の比率が高くなるように設定する。
ステップＳＴ８以降ではエッジからの距離に応じてステップＳＴ９またはステップＳＴ１０の処理に分類され、比率による画像の合成を行う。
エッジからの距離があらかじめ設定した距離より近い場合、ステップＳＴ９において短時間露出画像の比率を大きくして画像を合成する。
エッジからの距離があらかじめ設定した距離より遠い場合、ステップＳＴ１０において長時間露出画像の比率を大きくして画像を合成する。
これを複数の画像で繰り返し処理を行い。
ステップＳＴ１１において、全画像の処理が終了した段階でノイズの低減がされたブレのない出力画像を得る。

なお、本実施形態では、２枚の画像を合成した場合について説明したが、３枚以上の画像を合成するようにしてもよい。たとえば３枚合成の場合、それぞれの露出条件に応じてエッジからの距離により合成における比率を設定すればよい。

以上の説明のように、本発明では異なる露出条件で撮影した複数の画像から、差分画像によるエッジからの距離により合成比率を変えて画像処理を行うことによりノイズ低減効果が図れ、撮影画像間の位置ズレやブレにも対応した撮影が行える。
したがって、メモリ容量の低減、処理時間の短縮、部品実装スペースの確保、コストの削減と大きな効果が得られる。

本実施形態の合成処理は、撮影画像の信号処理後のＹＵＶ（Ｙは輝度信号、Ｕ，Ｖは色差信号）形式における輝度信号Ｙを画像合成に用いる場合を例に説明したが、撮像素子（センサ）からのＲＧＢベイヤー配列の出力（ＲＡＷデータ）に対して行う場合にも適用できる。

この場合、ＣＰＵ１４は、撮影した複数枚の画像のＲＡＷ画素データよりＧｒ成分を抽出して差分をとり、この差分画像からエッジ、ブレ成分を検出する。ＲＡＷ画像信号は、アナログ段階で既にホワイトバランスのゲインがＲ・Ｂに対してかけられているため、Ｇ成分に比べてＲ・Ｂ成分はノイズが多い。そのため、本実施形態では、ノイズが少ないＧｒ成分を抽出すればよい。なお、その他のＲ、Ｇ、Ｇｂで行うことも可能である。
また、たとえばＣＰＵ１４は、位置ズレを補正処理した各画像の差分画像（短時間露出画像Ｓ１―長時間画像露出Ｓ２）の絶対値を算出する。
この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。

本発明に係る撮像装置の一実施形態を示すブロック図である。異なる露出条件で撮影した複数枚の画像例を示す図である。短時間露出で撮影したＹ信号成分の画像、長時間露出で撮影したＹ信号成分の画像、および複数画像のＹ信号成分の差分画像を示す図である。差分画像と合成における比率との関係を示す図である。本実施形態の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・光学系、１２・・・撮像素子、１３・・・信号処理部、１４・・・ＣＰＵ、１５・・・メモリ。

Claims

異なる露出条件で撮影した少なくともノイズがある解像度が高い画像と解像度は低いがノイズの少ない画像を含む複数枚の撮像画像を合成する機能を有する撮像装置であって、
前記複数枚の画像間の位置ズレとブレ量を検出する検出手段と、
前記検出手段において生成された位置ズレとブレを含んだ画像から抽出したエッジからの距離により画像の合成における比率を設定し、当該設定した比率をもって画像を合成する合成手段と
を有する撮像装置。
前記合成手段は、画像の合成を輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う
請求項１記載の撮像装置。
前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う
請求項１記載の撮像装置。
前記検出手段は、画像間の位置ズレとブレ量を複数枚の画像の差分画像から抽出する
請求項１から３のいずれかに記載の撮像装置。
前記合成手段は、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露出の解像感が高い画像の比率が大きくなるように設定する
請求項１から４のいずれかに記載の撮像装置。
前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成する
請求項４記載の撮像装置。
前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する
請求項４または５記載の撮像装置。
異なる露出条件で撮影した少なくともノイズがある解像度が高い画像と解像度は低いがノイズの少ない画像を含む複数枚の撮像画像を合成する撮像方法であって、
前記複数枚の画像間の位置ズレとブレ量を検出する第１ステップと、
前記第１ステップにおいて生成された位置ズレとブレを含んだ画像からエッジを抽出する第２ステップと、
抽出したエッジからの距離により画像の合成における比率を設定する第３ステップと、
前記第３ステップで設定した比率をもって画像を合成する第４ステップと
を有する撮像方法。