JP2008211674A - 画像信号処理方法及び装置 - Google Patents

Abstract

【課題】静止画に生じる手ブレの補正を、複数枚撮影した画像の位置ずれを合わせて合成することでソフト的に行うに際し、撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにすると共に、処理量も増大させないようにした画像信号処理方法及び装置を提供することが課題である。
【解決手段】複数枚の画像を合成し、手ブレを補正した高画質な合成処理画像を得るにあたり、合成処理画像の周辺部に存在する複数の画像のうちの少なくとも一以上の未合成領域の画像を前記合成処理画像に組み合わせ、撮像手段から得られる画像サイズと同じサイズの画像を出力するようにし、かつ、合成処理画像と未合成領域の画像の境界部が目立たないよう、合成処理画像の中心部に向け、合成する画像の割合を変化させるようにした。
【選択図】図５

Description

本発明は、撮像装置により被写体像を撮像する際に生じる手ブレの補正を行うための画像信号処理方法及び装置に係り、特に、複数枚撮影した画像の位置ずれを合わせて合成して静止画手ブレ補正を行い、画像の合成によって撮像画像の有効画素数が減少しないようにした、画像信号処理方法及び装置に関するものである。

近年、撮像素子を用いた所謂デジタルカメラは、小型化、軽量化が進んだことで撮影時のホールド性が低下すると共に、携帯電話搭載カメラなどでは片手での撮影など、従来の撮影形態とくらべて自由度が広がり、それに伴って手ブレが増加している。また、暗い場所などでの長時間露出では、例え安定性を確保して撮影したとしても、シャッターボタンを押した際にカメラがブレてしまうということがある。

このような場合、感度を上げて露出時間を短くするという方法もあるが、通常の撮像素子では、感度を上げると撮像素子のノイズが増えて粗い画像となってしまう。そのため、手ぶれ補正機能を有したデジタルカメラが増えている。この手ぶれ補正は、撮影レンズを移動させる方法、撮像素子を移動させる方法、ソフト的に対処する方法などがあるが、撮影レンズを移動させる方法と撮像素子を移動させる方法は、カメラのブレ方向を検出して機械的にレンズや撮像素子を移動させる機構が必要となり、それだけスペースが必要であると共にコストが上昇する。

それに対してソフト的に対処する方法は、機構的に動く部分を加えなくて済むためコスト的に有利であると共に、携帯電話用カメラなど、スペース的に可動機構を組み込むことが困難な場合でも手ブレ補正が可能であるため、小型機器への組み込みに有利である。

このソフト的に対処する方法としては、例えばＩＳＯ感度を高くしてノイズが多いが手ブレの無い短時間露光の画像と、ＩＳＯ感度が低く、ノイズは少ないが手ブレが発生している可能性のある長時間露光画像とを合成する方式、適正露出時間の１／ｎで手ブレを押さえる露出時間の画像をｎ枚連続撮影し、それぞれの画像の位置ずれを補正して合成する方式とがある。

例えば特許文献１には、広ダイナミックレンジ画像を得るための技術ではあるが、ＣＣＤ撮像素子により、撮像時間の短い（すなわち手ブレが少ない）画像と、撮像時間の長い（すなわち手ブレが生じている可能性が高い）画像の露光量の異なる２画像（原画像信号）を取得し、原画像信号間の位置ずれの補正をしつつ合成して、１つの静止画像（手ブレのない合成画像信号）を生成する画像信号生成処理をおこなうようにした撮像装置が開示されている。

特開２００３−３１９２４０号公報

しかしながら、この特許文献１に示された撮像装置では、撮像時間の長い画像を得ることで手ブレが生じることを考慮し、最終的な生成画像サイズを、この手ブレによる移動分を見込んで撮像素子の全画枠（最大有効画素数）よりも少し小さいサイズに設定している。

すなわち、前記したようにソフト的に手ブレを処理する方法では、ノイズが多いが手ブレの無い短時間露光の画像と、手ブレが発生している長時間露光画像とを合成したり、適正露出の１／ｎの短時間露光の画像をｎ枚合成したりするなど、いずれも単独では使用できない、ノイズの多い画像や手ブレが発生した画像、光量不足の画像などを合成しており、他の画像と合成されたノイズも手ブレも光量不足もない画像部分は、撮像素子における本来の有効画素数より少ない画素数の画像となってしまう。

この場合、画素数の減少を回避するため、倍率を上げる方向で画像のリサイズを行うことも考えられるが、画素補完を行ってリサイズせねばならぬため、デジタルズームのように解像度が劣化してしまうという問題があり、さらにリサイズの場合、画面全体に対して画像処理を行わねばならないから、処理量が多くなってしまうという問題も生じる。

そのため本発明においては、静止画に生じる手ブレの補正を、複数枚撮影した画像の位置ずれを合わせて合成することでソフト的に行うに際し、撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにすると共に、処理量も増大させないようにした画像信号処理方法及び装置を提供することが課題である。

前記した特許文献１に示された、撮像時間の短い（すなわち手ブレが少ない）画像と、撮像時間の長い（すなわち手ブレが生じている可能性が高い）画像の露光量の異なる２画像（原画像信号）を、原画像信号間の位置ずれの補正をしつつ合成した場合、この合成により、ノイズと手ブレのない画像（合成画像）の周囲には、ノイズが多いが手ブレのない画像部分（未合成領域）と、ノイズはないが手ブレしている可能性が高い画像部分（未合成領域）が残る。

このうち、ノイズはないが手ブレしている可能性が高い画像部分（未合成領域）は手ブレを補正する手段が無いが、ノイズが多いが手ブレのない画像部分（未合成領域）は、ノイズの減少処理を行うとノイズをそれほど目立たなくできる可能性があり、またこの未合成領域の画像は、画像における周囲であるからあまり注目されることがなく、ノイズの減少処理をすれば充分使える可能性がある。

しかしながら、このノイズが多いが手ブレのない画像部分（未合成領域）は、原画像信号間の位置ずれの補正をしつつ合成した部分（合成画像）にそのまま繋げると、境界部分が明確になり、合成したことが判明してしまう。そのため本発明においては、この原画像信号間の位置ずれの補正をしつつ合成した部分（合成画像）と、ノイズが多いが手ブレのない画像部分（未合成領域）との境界を画像処理によって目立たなくし、撮像素子の有効画素を全て使用して有効画素数を減少させないようにすると共に、リサイズなどの場合に比し、処理量も増大させないようにしたものである。

従って本発明になる画像信号処理方法は、
撮影レンズを介して被写体像を撮像し、複数枚の画像を得た後、
前記複数枚の画像間のズレ量を算出し、該ズレ量に基づいて前記複数枚の画像の合成処理を行なって合成処理画像を得る画像信号処理方法において、
前記合成処理画像の周辺部に存在する、前記複数の画像のうちの少なくとも一以上の未合成領域の画像を前記合成処理画像に組み合わせ、前記撮像手段から得られる画像サイズと同じサイズのフルサイズ合成処理画像を得ることを特徴とする。

また、この画像信号処理方法を実施するための画像信号処理装置は、
撮影レンズを介して被写体像を撮像し、複数枚の画像を取得する撮像手段と、
該撮像手段が撮像した前記複数枚の画像を記憶する記憶手段と、
該記憶手段に記憶した画像間のズレ量を算出して該ズレ量に基づき、前記複数枚の画像の合成処理を行なう信号処理装置とからなる画像信号処理装置において、
前記画像信号処理装置は、前記合成処理画像の周辺部となる前記複数の画像のうちの少なくとも一以上の未合成領域の画像を前記合成処理画像に組み合わせる補正画像生成手段を有し、前記撮像手段から得られる画像サイズと同じサイズのフルサイズ合成処理画像を出力することを特徴とする。

このように、合成処理画像の周辺部に存在する、複数の画像のうちの少なくとも一以上の未合成領域の画像を合成処理画像に組み合わせ、撮像手段から得られる画像サイズと同じサイズの画像を得るようにすることで、撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにすると共に、処理量も増大させないようにしたフルサイズ合成処理画像が得られる画像信号処理方法及び装置を提供することができる。

そして、前記合成処理画像に組み合わせる前記未合成領域の画像におけるノイズ量と輝度レベルとを、前記合成処理画像のレベルに合わせ込むよう補正することで、未合成領域の画像を合成領域に対して目立たなくすることができる。

また、前記合成処理画像に前記複数の画像のうちの少なくとも一以上の未合成領域の画像を組み合わせる処理において、
前記組み合わせた境界部から前記合成処理画像中心部に向かう領域は、前記合成処理画像と未合成領域の画像の合成の割合を、中心に向かうに従い、前記合成処理画像の割合を大きくしながら合成することで、画像が粗くなる可能性のある未合成領域の画像と、精細度の高い合成領域との境界をさらに目立たなくすることができ、処理量を増大させたり有効画素数を減少させずに未合成領域の画像を目立たないように接続することができる。

さらに、前記組み合わせた境界部から前記合成処理画像中心部に向かい、前記合成処理画像と未合成領域の画像の合成の割合を中心に向かうに従い変化させる領域は、前記複数の画像間の位置のずれ量、ノイズ量の差、輝度の差のいずれかまたは複数が大きいほど幅を広く取ることが、本発明の好適な実施形態である。

そして、前記合成処理画像とフルサイズ合成処理画像とを、選択出力可能とすることで、有効画素数全て（フルサイズ合成処理画像）を使った画像と使わない画像を自由に選択でき、本発明をデジタルカメラなどに組み込んだときに、ユーザの選択範囲を広げることができる。

このように本発明の画像信号処理方法及び装置によれば、複数枚の画像間のズレ量を算出し、このズレ量に基づいて複数枚の画像の合成処理を行うに際し、処理量を増大させずに、撮像素子の最大有効画素を全て使用して有効画素数を減少させない画像を得ることができ、スペース的に機械的な手ブレ補正を組み込めない、携帯電話などの撮像装置の画像信号処理方法及び装置として好適である。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

最初に図４、図５を用い、本発明の画像信号処理方法を簡単に説明する。まず図４は、本発明になる画像信号処理方法を説明するための図で、（Ａ）の５０は例えばＩＳＯ感度を高くして撮像時間が短く、手ブレが少ないがノイズの多い画像で、以下この画像をｓｈｏｒｔ画像と称する。（Ｂ）の５１はＩＳＯ感度を低くし、適正露出でノイズはないが長時間露光によって手ブレが生じている画像で、以下この画像をｌｏｎｇ画像と称する。（Ｃ）の５２は、（Ａ）のｓｈｏｒｔ画像５０と（Ｂ）のｌｏｎｇ画像５１とを合成し（合成処理画像）たときの、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の画角のズレを説明するための図である。

図５は、（Ａ）がｓｈｏｒｔ画像５０にｌｏｎｇ画像５１を合成した画像５２に、ｓｈｏｒｔ画像５０の未合成領域の画像５４を加えることを説明するための図で、（Ｂ）はさらに本発明の画像信号処理方法により、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１とを合成して手ブレのない画像５２を合成した後、ｓｈｏｒｔ画像５０の未合成領域の画像５４を加え、その境界部分を画像処理で目立たなくするため、合成した画像５２における境界部分から中央方向に向け、合成処理画像とｓｈｏｒｔ画像の合成の割合を、合成処理画像の割合を大きくしながら合成する領域５３を設け、ｓｈｏｒｔ画像５０の領域全体を撮像画像として出力することを説明するための図である。

本発明における実施例１の画像信号処理方法では、被写体の撮影に当たり、撮像時間が短くて手ブレは少ないがノイズの多い図４（Ａ）のｓｈｏｒｔ画像５０と、適正露出でノイズはないが長時間露光によって手ブレが生じている図４（Ｂ）のｌｏｎｇ画像５１の２枚を撮像してメモリに記憶し、両画像における輝度変化部分（エッジ部）の画像位置を元に、ｓｈｏｒｔ画像５０にｌｏｎｇ画像５１を合成し、図４（Ｃ）における合成処理画像５２のような手ブレとノイズのない画像を得る。

しかし、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１とは、手ブレと時間経過とによって図４（Ｃ）に示したように撮影範囲がずれる。そのため、手ブレのない合成処理画像５２の範囲は、ｓｈｏｒｔ画像５０やｌｏｎｇ画像５１と比較すると小さくなる。そこで本発明の画像信号処理方法では、合成処理画像５２に、図５（Ａ）に５４で示したｓｈｏｒｔ画像５０における未合成領域の画像を加え、ｓｈｏｒｔ画像５０と同じ、撮像素子の有効画素を全て使った画像を出力する。

但し、図５（Ａ）のｓｈｏｒｔ画像５０における未合成領域の画像５４は、合成処理画像５２と比較してノイズが多い画像となってそのままでは境界部分がはっきり判ってしまうため、合成処理画像５２とｓｈｏｒｔ画像５０における未合成領域の画像５４の境界部から、５３で示した合成処理画像５２の中心部に向かう領域では、境界部で未合成領域の画像５４の比率（割合）を大きくし、合成処理画像５２の中心部に向かうほど合成処理画像５２の比率（割合）を大きくしながら合成し、境界部が滑らかに合成処理画像５２にとけ込むようにして、この境界部分が判らないようにする。

また、未合成領域の画像５４におけるノイズ量と輝度レベルとを、合成処理画像５２のレベルに合わせ込むよう補正したり、境界部から合成処理画像５２の中心部に向かう領域５３は、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の画像間の位置のずれ量やノイズ量の差、及び輝度の差のいずれかまたは複数が大きいほど幅を広く取るようにして、より、境界部分が判らないようにもする。

このようにすることで、撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにできると共に、合成処理は、ｓｈｏｒｔ画像５０のノイズ量と輝度レベルとを合成処理画像５２のレベルに合わせ込むことと、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の境界部から合成処理画像５２の中心部に向かう領域５３において、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の割合を変えながら合成していくことだけになり、合成処理の処理量を増大させずに、撮像素子の最大有効画素を全て使用して有効画素数を減少させないようにした画像信号処理方法とすることができる。

なお、以上の説明では、合成する画像をｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の２つとしたが、本発明はこれら２つの画像の場合だけでなく、前記した、適正露出時間の１／ｎで手ブレを押さえる露出時間の画像をｎ枚連続撮影し、それぞれの画像の位置ずれを補正して合成する方式でも良い。また、このようにして撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにした画像信号を出力するだけでなく、未合成領域の画像５４を付加しない合成処理画像５２だけを出力するようにしても良いことも勿論である。

以下、図１乃至図３、及び図７乃至図９を用い、本発明を詳細に説明する。まず図１は、本発明になる画像信号処理方法を実施する撮像装置の概略ブロック図である。図中１０は撮像レンズ、１１は撮像素子、１２は撮像素子１１が撮像した画像信号の信号処理装置で、１３は撮像装置全体を制御するＣＰＵ、１４は撮像素子１１が撮像した画像信号を記憶するメモリ、１５は手ブレ補正処理が済んだ画像の表示や記憶を行う画像表示部・画像記憶部である。

図２は、本発明になる画像信号処理方法及び装置の画像処理の流れを説明するための概略ブロック図であり、２０は図１の撮像素子１１からの画像信号の入力部、２１は図１に１４で示した画像メモリで、２１_１、２１_２、２１_３、……は、前記した本発明の概略で説明したように、ｓｈｏｒｔ画像５０やｌｏｎｇ画像５１を記憶したり、適正露出時間の１／ｎで手ブレを押さえる露出時間の画像をｎ枚連続撮影した場合、それらを記憶するために設けられたメモリである。

２２は、図４、図５に合成処理画像５２として示した合成処理済みの画像を記憶する合成画像メモリ、２３は合成処理画像５２に未合成領域の画像５４を付加した画像を記憶する補正画像メモリ、２４は未合成領域の画像を付加した補正画像メモリ２３と合成処理済画像のみを記憶した合成画像メモリ２２を選択出力するスイッチで、これは、前記したように撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにした画像信号を出力するだけでなく、未合成領域の画像５４を付加せずに合成処理画像５２だけも出力できるようにするためのものである。そして２５は、選択された画像を図１の画像表示部・画像記憶部１５に送る出力部である。

図３は、本発明になる画像信号処理方法のフロー図であり、（Ａ）はｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の画像合成後、合成処理画像５２に未合成領域の画像５４を付加したときに互いの境界が判らないように処理する場合のフロー図、（Ｂ）は合成処理画像５２に未合成領域の画像５４を付加するとき、ｓｈｏｒｔ画像５０における未合成領域の画像５４のノイズ低減処理をした後、合成画像の境界が判らないように処理する場合のフロー図、（Ｃ）は手ブレのない露出アンダー画像を複数連写した場合の処理フロー図、（Ｄ）は（Ｃ）の処理に、（Ｂ）と同様、合成処理画像に未合成領域の画像を付加するとき、未合成領域の画像のノイズ低減処理を行う場合のフロー図である。

最初に図１、図２及び図３（Ａ）のフロー図を用い、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の画像合成後、合成処理画像５２に未合成領域の画像５４を付加したときに、互いの境界が判らないように処理する場合の画像信号処理方法について説明する。

図３（Ａ）のフロー図におけるステップＳ３０で撮影が開始されると、撮像レンズ１０で撮像素子１１に結像された被写体像が撮像され、図示していないＡ／Ｄ変換装置やその他の処理装置で画像信号が整えられ、信号処理装置１２に送られてＣＰＵ１３の指示によりその画像信号がメモリ１４に記憶される。この時、前記したようにｓｈｏｒｔ画像５０とｌｏｎｇ画像５１とから手ブレの補正を行う場合、ステップＳ３１でｓｈｏｒｔ画像５０が、ステップＳ３２でｌｏｎｇ画像５１が撮像され、図２の入力部２０から画像メモリ２１における画像１と記した画像メモリ２１_１にｓｈｏｒｔ画像５０が、画像２と記した画像メモリ２１_２にｌｏｎｇ画像５１が記憶される。

そして次のステップＳ３３で、これらｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の位置ズレ量が、図１のＣＰＵ１３の指示で信号処理装置１２により算出され、さらにステップＳ３４で、この算出した位置ズレ量に基づき、信号処理装置１２によって画像合成処理が行われるわけであるが、この画像合成処理の概略を説明するのが図７乃至図９である。

まず図７は、ｓｈｏｒｔ画像５０に相当する短時間露光で高感度な画像（Ａ）と、ｌｏｎｇ画像５１に相当する長時間露光で感度の低い画像（Ｂ）を、位置ずれを合わせた後に差分を取ることで、被写体のエッジとブレ部分のみが現れた差分画像（Ｃ）を得ることを説明するための図であり、図８は、ｓｈｏｒｔ画像５０に相当する短時間露光画像とｌｏｎｇ画像５１に相当する適正露光画像とを合成する際の、差分画像と合成における比率との関係を示す図、図９はこれら短時間露光画像と適正露光画像とを合成する処理のフロー図である。

図１の撮像素子１１で撮像された被写体画像は、輝度信号Ｙ、色差信号Ｕ、および色差信号Ｖで構成されるが、解像度を決める要素としては輝度信号Ｙの成分が大きく影響する。ＪＰＥＧなどの画像圧縮においても色差信号を減らして圧縮するなど、人間の目は比較的色情報に関して鈍感である。

そのため、手ブレ補正の画像合成においても輝度信号Ｙに基づいて合成を行うことで、ノイズの大きな低減効果を得ることができる。ｓｈｏｒｔ画像５０に相当する図７（Ａ）の短時間露光画像と、ｌｏｎｇ画像５１に相当する（Ｂ）の長時間露光画像との輝度信号Ｙの差分画像（Ｃ）は、エッジ部分とブレ部分の浮き出た画像となる。

この差分画像（Ｃ）は、そのままｓｈｏｒｔ画像５０に相当する図７（Ａ）の短時間露光画像と、ｌｏｎｇ画像５１に相当する（Ｂ）の長時間露光画像との被写体のエッジとブレ部分のみが現れた画像となるので、この差分に基づき、解像度が高いがノイズの多い画像（すなわちｓｈｏｒｔ画像５０）を基準とし、そのエッジからの距離による比率で、解像度が悪いがノイズの無い画像（すなわちｌｏｎｇ画像５１）を合成するわけである。

図８（Ａ）〜（Ｃ）は、差分画像と合成における比率との関係を示す図で、図８（Ａ）は、図７（Ｃ）の差分画像を示し、図８（Ｂ）はその被写体部分を拡大した画像、図８（Ｃ）は出力画像をそれぞれ示している。

図８（Ｂ）のようにエッジ近傍では、ある特定の傾斜を持たせた合成比率で画像処理を行うことで、被写体後方の壁や一様な面など、ノイズの載った画像ではノイズによってムラがあったものが、図８（Ｃ）のようにエッジ部から離れた部分はノイズの低減を図ることができる。

次に、この合成処理を図９のフローチャートで説明すると、ステップＳ８１とステップＳ８２は、前記図３におけるステップＳ３０とステップＳ３１と同じｌｏｎｇ画像５１とｓｈｏｒｔ画像５０の撮影であり、ステップＳ８３は、前記した輝度信号Ｙの抽出、ステップＳ８４は輝度信号Ｙのノイズ成分を除去するフィルタリング処理である。

そして次のステップＳ８５で、エッジ部からの位置ずれが検出、補正され、ステップＳ８６で図７（Ｃ）に示した差分画像が生成され、ステップＳ８７で図８（Ｂ）に示したエッジからの距離により、ｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の合成比率が設定される。

そしてステップＳ８８で、合成処理を行う画像のエッジからの距離が判断され、近い場合はステップＳ８９に行ってｓｈｏｒｔ画像５０の比率を大きくして合成し、遠い場合はステップＳ９０に行ってｌｏｎｇ画像５１の比率を大きくして合成する。そしてステップＳ９１で全画像の処理が行われたか否かを判断し、終わっていない場合はステップＳ８３に戻って処理を繰り返し、終わった場合は画像を出力して処理を終了する。

再度図３（Ａ）のフロー図に戻って、このようにしてｓｈｏｒｔ画像５０とｌｏｎｇ画像５１の合成が行われるわけであるが、以上説明した処理は、この図３（Ａ）のフロー図におけるステップＳ３４の画像合成処理である。そしてこのようにして合成された画像は、その合成処理画像５２が図２の合成画像（合成処理済画像）メモリ２２に記憶される。

そして次にステップＳ３５で、前記図５で説明した合成処理画像５２にｓｈｏｒｔ画像５０の未合成領域の画像５４を加え、さらに、合成処理画像５２にｓｈｏｒｔ画像５０の未合成領域の画像５４を加えたことで生じた境界部を目立たなくするため、図５（Ｂ）に５３で示した合成処理画像５２の中心部に向かう領域で、未合成領域の画像５４の割合と合成処理画像５２の割合を変えながら合成する処理を行い、境界部分が判らないようにする。

このようにして合成処理、未合成領域の画像５４の付加、境界部分を目立たなくする処理が終わると、これらの処理が済んだ画像は、図２の補正画像（未合成領域の画像を付加した画像）メモリ２３に記憶され、未合成領域の画像５４を付加した画像と合成処理画像５２のみを選択出力するスイッチ２４が補正画像メモリ２３側になっている場合は補正画像（未合成領域の画像を付加した画像）が出力部２５に送られ、合成画像（合成処理済画像）メモリ２２側になっている場合は未合成領域の画像５２を付加していない画像が出力部２５に送られて、図１における画像表示部・画像記憶部１５によって表示されたり外部メモリに記憶されたりして処理が終了するわけである。

以上が図３（Ａ）のフロー図の説明であるが、次に図３（Ｂ）のフロー図について説明する。この図３（Ｂ）のフロー図は、図３（Ａ）のフロー図にステップＳ３４の後に、ステップＳ３４−１として示したｓｈｏｒｔ画像５０のノイズ低減処理が加わったものである。

このステップＳ３４−１のｓｈｏｒｔ画像５０におけるノイズ低減処理は、前記図５で説明した合成処理画像５２に加えるｓｈｏｒｔ画像５０のうち、未合成領域の画像５４とステップＳ３５で画像処理を行う領域５３のノイズを低減する処理であり、例えば図６に示したような、メディアン処理などを指す。

そのため、図６に基づいてメディアン処理について説明すると、これは例えばｎ×ｎの局所領域における濃度値を小さい順に並べ、まん中に来る濃度値を領域中央の画素の出力濃度とする処理で、この処理により、ごま塩状のノイズの除去を行うことができる。例えば図６（Ａ）のように水平３画素を対象にした場合、３つの画素の濃度値を小さい順に並べ、まん中に来る濃度値を、３画素のうちの網を掛けた領域中央の画素の出力濃度とするもので、同様に（Ｂ）の３×３画素の場合も、９つの画素の濃度値を小さい順に並べてまん中に来る濃度値を９画素における網を掛けた領域中央の画素の出力濃度とするものである。これは（Ｃ）のように５×５の２５画素の場合も全く同様である。

ノイズ量を合わせる方法としては、各種露光条件時においての未合成領域の画像５４と、合成処理画像５２のノイズ量（標準偏差など）を予め測定しておく方法も一つであり、実際の撮影時の露光条件から、未合成領域の画像５４と合成処理画像５２のノイズ量の差を推定し、その差に応じたメディアンフィルタを掛ける。ノイズの差が少ない場合は、水平３画素、差が大きい場合は５×５画素のメディアンフィルタにするなどして、強弱の調整を行う。それ以外の動作は前記した図３（Ａ）のフロー図と同様であるので説明を省略する。

次に図３（Ｃ）の、適正露出時間の１／ｎで手ブレを押さえる露出時間の画像をｎ枚連続撮影し、それぞれの画像の位置ずれを補正して合成する方式のフロー図について説明する。

ステップＳ４０で撮影が開始されると、前記したように撮像レンズ１０で撮像素子１１に結像された被写体像が撮像され、図示していないＡ／Ｄ変換装置やその他の処理装置で画像信号が整えられ、信号処理装置１２に送られてＣＰＵ１３の指示によりその画像信号がメモリ１４に記憶される。今の場合、ｎ枚の画像は全て同じ条件で撮像された画像であり、それらは図２の入力部２０から画像メモリ２１における画像１と記した画像メモリ２１_１、画像２と記した画像メモリ２１_２、画像３と記した画像メモリ２１_３、……にそれぞれ記憶される。

そして次のステップＳ４２で、これらｎ枚の画像の位置ズレ量が、図１のＣＰＵ１３の指示で信号処理装置１２により算出され、さらにステップＳ４３で、この算出した位置ズレ量に基づき、信号処理装置１２によって画像合成が行われる。そしてこのようにして合成された画像は、その合成処理画像５２が図２の合成画像（合成処理済画像）メモリ２２に記憶される。

また、このステップＳ４３では、ｎ枚合成した画像の周囲に（ｎ−１）、（ｎ−２）、……の画像が合成された領域と合成が全くなされていない未合成領域の画像が存在するから、これらｎ枚合成した画像と未合成領域の画像の画像とで、撮像素子の画像サイズと同じサイズの画像を生成する。そしてステップＳ４４で、ｎ枚の撮像画像のうちの１枚を選択し、合成した画像の周囲の輝度値の調整が行われる。すなわち、ｎ枚撮像した画像は前記したように全て露出アンダーであるから、前記したｌｏｎｇ画像５１のように正常な輝度値の画像が存在せず、（ｎ−１）、（ｎ−２）の画像が合成された領域と合成が全くなされていない未合成領域の画像は、露出アンダーになるからこの処理が必要になる。

この輝度値の補正は、未合成領域の画像５４と合成処理画像５２の平均輝度をそれぞれ算出し、その比率を掛け合わせる。例えば、未合成領域の画像５４の平均輝度をＹｓ、合成処理画像５２の平均輝度をＹｍとした場合、ｓｈｏｒｔ画像５０の各画素の輝度にＹｍ／Ｙｓを乗じればよい。なお、標準偏差や平均輝度を算出する場合は、全ての画素に対して行う必要はなく、一定間隔で間引きした画素について算出することにより、処理量を削減することが可能である。

こうして合成処理が済むと、ステップＳ４５で、合成処理画像に未合成領域の画像を加えたことで生じた境界部を目立たなくするため、図５（Ｂ）に５３で示したように合成処理画像５２の中心部に向かう領域で、未合成領域の画像の割合と合成処理画像の割合を変えながら合成する処理を行い、境界部分が判らないようにして補正画像（未合成領域の画像を付加した画像）メモリ２３に記憶し、前記したように未合成領域の画像を付加した画像と合成処理済画像のみを選択出力するスイッチ２４で出力する画像を選択し、出力部２５に出力して終了する。

以上が図３（Ｃ）のフロー図の説明であるが、図３（Ｄ）のフロー図は、図３（Ｃ）のフロー図のステップＳ４４の後に、ステップＳ４４−１として示したノイズ低減処理が加わったものであり、このノイズ低減処理は、前記図３（Ｂ）の処理におけるステップＳ３４−１のノイズ低減処理と全く同じなので説明は省略する。

なお、図５（Ｂ）に５３の番号を付した合成処理画像５２の中心部に向かう領域は、画像間の経時的な位置のずれ量や、ノイズ量の差、輝度の差によってその中心部方向の幅が決まってくる。

これは、経時的な位置ずれが大きいほどこの領域５３に用いる低画質の画像の幅が必要となるためで、低画質の幅が広い場合、境界を目立たせないようにするには混合する領域幅を広く取る方が有利である。

そして画像のノイズ量は、例えばｓｈｏｒｔ画像５０撮影のために撮像素子のゲインを上げたとき、設定したゲインでどの程度のノイズが発生するかを予め調べておくことで、撮像に際して設定したゲインに応じたノイズ量を判定することができる。そのためこのノイズ量を予めＳＮ比としておき、ΔＳＮを単位画素あたりのＳＮ比の変化が目立たない限界の値（ｄＢ／ｐｉｘ）としたとき、
領域５３の幅≧（合成処理画像５２のＳＮ比−未合成領域の画像５４のＳＮ比）／ΔＳＮ
で算出するようにすればよい。

また輝度の差は、ΔＥＶを単位画素あたりの明るさの変化が目立たない限界の値（ＥＶ／ｐｉｘ）としたとき、
領域５３の幅≧（合成処理画像５２の明るさ−未合成領域の画像５４の明るさ）／ ΔＥＶ
となる。なお、ここでの明るさは輝度値を対数圧縮されたものに比例する値である。

そしてこれらの一つ、若しくはこれらによって得られた領域５３の幅のうち、最大のものによって画像を混合する幅を設定すればよい。

このように本発明の画像信号処理方法及び装置によれば、複数枚の画像間のズレ量を算出し、このズレ量に基づいて複数枚の画像の合成処理を行うに際し、処理量を増大させずに、撮像素子の最大有効画素を全て使用して有効画素数を減少させない画像を得ることができる画像信号処理方法及び装置を提供することができる。

本発明によれば、撮像素子の最大有効画素を全て使用し、有効画素数を減少させないようにすると共に、処理量も増大させないようにした手ブレ補正を実施でき、携帯電話など、スペース的に機械的な手ブレ補正が設けられない機器に用いて好適な画像信号処理方法及び装置を提供することができる。

本発明になる画像信号処理方法を実施する画像信号処理装置を備えた撮像装置の概略ブロック図である。 本発明になる画像信号処理方法の画像処理の流れを説明するための概略ブロック図である。 本発明になる画像信号処理方法のフロー図であり、（Ａ）は画像合成後、境界が判らないように処理する場合のフロー図、（Ｂ）はノイズは多いが撮像時間の短い画像の未合成領域の画像のノイズ低減処理をした後、合成画像の境界が判らないように処理する場合のフロー図、（Ｃ）は手ブレのない露出アンダー画像を連写した場合の処理フロー図、（Ｄ）はさらにノイズ低減処理を加えた場合のフロー図である。 本発明になる画像信号処理方法における、（Ａ）がノイズは多いが撮像時間の短い（すなわち手ブレが少ない）画像、（Ｂ）がノイズのない適正露出による（すなわち長時間露光により手ブレが生じている）画像、（Ｃ）は（Ａ）と（Ｂ）の画像を合成した場合に生じる画角のズレを説明するための図である。 （Ａ）は、ノイズが多い短時間露光画像（すなわち手ブレが少ない）にノイズのない適正露出画像（手ブレが生じている）画像を合成した画像で、（Ｂ）は本発明の画像信号処理方法により、短時間露光画像と適正露出画像との境界を画像処理によって目立たなくし、ノイズが多い短時間露光画像の領域全体を撮像画像とした画像である。 短時間露光画像と適正露出画像との境界を目立たなくするためのノイズ低減に用いる画像処理技術の一例を説明するための図である。 短時間露出画像（Ａ）と適正露出画像（Ｂ）との差分を取ることで、被写体のエッジ部分が現れた差分画像（Ｃ）となることを説明するための図である。 短時間露出画像と適正露出画像とを合成する際の差分画像と合成における比率との関係を示す図である。 短時間露出画像と適正露出画像とを合成する処理のフロー図である。

符号の説明

１０ 撮像レンズ
１１ 撮像素子
１２ 信号処理装置
１３ ＣＰＵ
１４ メモリ
１５ 画像表示部、画像記憶部
２０ 入力部
２１ 画像メモリ
２２ 合成画像（合成処理済画像）メモリ
２３ 補正画像（未合成領域の画像を付加した画像）メモリ
２４ 未合成領域の画像を付加した画像と合成処理済画像のみを選択出力するスイッチ
２５ 出力部

Claims (7)

1. 撮影レンズを介して被写体像を撮像し、複数枚の画像を得た後、
   前記複数枚の画像間のズレ量を算出し、該ズレ量に基づいて前記複数枚の画像の合成処理を行なって合成処理画像を得る画像信号処理方法において、
   前記合成処理画像の周辺部に存在する、前記複数の画像のうちの少なくとも一以上の未合成領域の画像を前記合成処理画像に組み合わせ、前記撮像手段から得られる画像サイズと同じサイズのフルサイズ合成処理画像を得ることを特徴とする画像信号処理方法。
2. 前記合成処理画像に組み合わせる前記未合成領域の画像におけるノイズ量と輝度レベルとを、前記合成処理画像のレベルに合わせ込むよう補正することを特徴とする請求項１に記載した画像信号処理方法。
3. 前記合成処理画像に前記複数の画像のうちの少なくとも一以上の未合成領域の画像を組み合わせる処理において、
   前記組み合わせた境界部から前記合成処理画像中心部に向かう領域は、前記合成処理画像と未合成領域の画像の合成の割合を、中心に向かうに従い、前記合成処理画像の割合を大きくしながら合成することを特徴とする請求項１または２に記載した画像信号処理方法。
4. 前記組み合わせた境界部から前記合成処理画像中心部に向かい、前記合成処理画像と未合成領域の画像の合成の割合を中心に向かうに従い変化させる領域は、前記複数の画像間の位置のずれ量、ノイズ量の差、輝度の差のいずれかまたは複数が大きいほど幅を広く取ることを特徴とする請求項３に記載した画像信号処理方法。
5. 前記合成処理画像とフルサイズ合成処理画像とを、選択出力可能としたことを特徴とする請求項１乃至４のいずれかに記載した画像信号処理方法。
6. 撮影レンズを介して被写体像を撮像し、複数枚の画像を取得する撮像手段と、
   該撮像手段が撮像した前記複数枚の画像を記憶する記憶手段と、
   該記憶手段に記憶した画像間のズレ量を算出して該ズレ量に基づき、前記複数枚の画像の合成処理を行なう信号処理装置とからなる画像信号処理装置において、
   前記画像信号処理装置は、前記合成処理画像の周辺部となる前記複数の画像のうちの少なくとも一以上の未合成領域の画像を前記合成処理画像に組み合わせる補正画像生成手段を有し、前記撮像手段から得られる画像サイズと同じサイズのフルサイズ合成処理画像を出力することを特徴とする画像信号処理装置。
7. 前記合成処理画像と前記補正画像生成手段出力とを選択出力する選択手段を有していることを特徴とする請求項６に記載した画像信号処理装置。

Images