JP2007202098A - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP2007202098A JP2007202098A JP2006150690A JP2006150690A JP2007202098A JP 2007202098 A JP2007202098 A JP 2007202098A JP 2006150690 A JP2006150690 A JP 2006150690A JP 2006150690 A JP2006150690 A JP 2006150690A JP 2007202098 A JP2007202098 A JP 2007202098A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- ratio
- noise
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】撮像装置10は、光学系11および撮像素子12により露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影し、信号処理部13の信号処理後、CPU14で撮影画像間の位置ズレとブレを検出し、2枚の差分画像から閾値によってエッジ・ブレとノイズを切り分けて、画像の合成比率を変化させて合成することにより、ブレのないノイズ低減を図った画像を形成する。
【選択図】図1
Description
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっている。
たとえば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。
また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。
そして、撮像装置10は、撮影画像間の位置ズレとブレ量を検出し、この検出結果を基に位置ズレを補正した露出時間が短時間第1の画像と長時間の第2の画像より画素の差分をとり、この差分値があらかじめ設定した閾値を越える場合はこの画素を画像のエッジと判断して第1の画像の合成比率を高くし、差分値が閾値以下の場合は第1の画像の合成比率を低くして(第2の画像の合成比率を高くして)、画像を合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。
本実施形態の信号処理部13は、光学系11と撮像素子12における各撮影データから輝度信号部分を抽出する機能と、輝度信号Yのノイズ成分を除去するフィルタリング処理機能を有する。フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。
信号処理部13は、各撮影データに応じたフィルタリング処理後の画像をメモリ15に格納する。
より具体的には、露出条件の異なる複数枚の画像間の位置ズレとブレ量を検出する検出機能と、検出機能の検出結果を基に位置ズレを補正した露出時間が短時間第1の画像と長時間の第2の画像より画素の差分をとり、この差分値があらかじめ設定した閾値を越える場合はこの画素を画像のエッジと判断して第1の画像の合成比率を高くし、差分値が閾値以下の場合は第2の画像の合成比率を高くして画像を合成する合成機能とを有している。
CPU14は、たとえば補正機能において、位置ズレを補正処理した各画像の差分画像(短時間露出画像S1―長時間画像露出S2)の絶対値を算出する。
この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。
CPU14は、エッジからの距離が大きくなるに従い、長時間露光のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露光の解像感が高い画像の比率が大きくなるように設定する。
たとえば、エッジ部分は短時間露光の画像の比率を100%とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で50%ずつの比率とすればよい。
そして、CPU14は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。
CPU14は、処理後の画像データをメモリ15に格納する。
図2(a)は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが感度を上げたため画像全体にノイズがのったものである。
図2(b)は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるがノイズの少ない画像である。図2(c)は図2(a),(b)を合成した画像である。
複数枚の画像は連続して撮影しても図2(a)〜(c)に示すように、撮影間で位置ズレを生じる。
なお、その他のR、B、Gbで行うことも可能である。本実施形態においては、複数枚の画像撮影間の位置ズレを補正した後で差分をとっており、短時間露光のエッジとノイズ、長時間露光のブレを含んだ画像となる。この差分画像からエッジ・ブレ成分とノイズ成分を閾値Thにより切り分ける。
本実施形態においては、この差分画像から解像度が高いがノイズの多い画像を基準としてエッジからの距離による比率で複数枚画像の合成を行う。
このことからエッジ近傍では図3(b)のように、差分画像は短時間露光のエッジとノイズ、長時間露光のブレを抽出した画像となる。
これをあらかじめ設定した閾値Thにより切り分け、信号が閾値Vthよりも大きい場合はエッジ・ブレと判断し、短時間露光の合成比率を大きくする。
信号が閾値Thよりも小さい場合はノイズと判断し、長時間露光の合成比率を大きく設定する。そして、たとえば個々の画素で合成比率を設定して2枚の画像の合成を行う。
たとえば、被写体後方の壁や一様な面など、ノイズののった画像はノイズが目立ちムラのある画像であったものが、この処理を行うことによりノイズ低減が図れる。
たとえば、エッジ部分は短時間露光の画像の比率を100%とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で50%ずつの比率とすればよい。
次に、ステップST2において、CCD感度を変えてノイズは少ないが露光時間の長い撮影を行う。
ステップST3において、撮影データからGr成分を抽出し、ステップST4において、信号のノイズ成分を除去するフィルタ処理を行う。フィルタ処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどがある。
次に、ステップST5において、処理された各画像の位置ズレを検出し、補正する。ここではズレを検出・補正する方法は問わない。
ステップST6において、位置ズレを補正処理した各画像の差分画像(短時間露光画像S1―長時間画像露光S2)を算出する。この画像は短時間露光の画像から長時間露光のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。
ステップST7において、差分画像の各画素の値ΔSと設定した閾値Thを比較し、ステップST8において、ΔSがThより大きければ短時間露光の合成比率を高く設定する。反対にΔSがThより小さければ、ステップST9において、長時間露光の合成比率を高く設定する。
ステップST10において、この比率設定を全画素に対して行い、ステップST11において、この比率を基に2枚の画像の合成を行う。
これは、撮影時に設定されたセンサの信号に対するゲイン倍率によって、閾値Thの値を変えるというものである。
暗い被写体などでは、撮影時のISO感度が高く設定され、センサの出力に対するゲイン倍率が高くなる。ゲインが高くなればノイズが多くなるため、ゲイン倍率に対応して差分画像によるエッジとノイズの切り分け閾値を変えるようにする。
この形式で扱われる信号は、輝度信号Y、色差信号U、および色差信号Vである。これらの信号YUVのうち、解像度を決める要素としてY信号成分が大きく影響する。
画像圧縮の原理としてJPEGなど、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Yの画像合成を行うことによりノイズの大きな低減効果が図ることができる。
この場合、YUVのY成分のみでノイズ除去を行うことで処理時間の短縮を図っている。
Claims (11)
- 異なる露出条件で撮影した複数枚の撮像画像を合成する機能を有する撮像装置であって、
前記複数枚の画像間の位置ズレとブレ量を検出する検出手段と、
前記検出手段の検出結果を基に位置ズレを補正した第1の画像と第2の画像より画素の差分をとり、当該差分値があらかじめ設定した閾値を越える場合は当該画素を画像のエッジと判断して第1の画像の合成比率を高くし、当該差分値が閾値以下の場合は第1の画像の合成比率を低くして画像を合成する合成手段と
を有する撮像装置。 - 合成対象の複数枚の画像のうち、少なくとも1枚はノイズはあるが解像度が高い画像を含む
請求項1記載の撮像装置。 - 合成対象の複数枚の画像のうち、少なくとも1枚は解像度は低いがノイズの少ない画像を含む
請求項1または2記載の撮像装置。 - 前記合成手段に設定する閾値は、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である
請求項1から3のいずれか一に記載の撮像装置。 - 前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともG成分に基づいて行う
請求項1から4のいずれか一に記載の撮像装置。 - 前記合成手段は、画像の合成を輝度信号Y、色差信号U,Vのうち、少なくとも輝度信号に基づいて行う
請求項1から4のいずれか一に記載の撮像装置。 - 前記検出手段は、画像間の位置ズレとブレ量を複数枚の画像の差分画像から抽出する
請求項1から6のいずれかに記載の撮像装置。 - 前記合成手段は、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露出の解像感が高い画像の比率が大きくなるように設定する
請求項1から7のいずれかに記載の撮像装置。 - 前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成する
請求項8記載の撮像装置。 - 前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する
請求項8または9記載の撮像装置。 - 異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、
前記複数枚の画像間の位置ズレとブレ量を検出する第1ステップと、
検出結果を基に位置ズレを補正した第1の画像と第2の画像より画素の差分をとる第2ステップと、
前記差分値とあらかじめ設定した閾値とを比較し、前記差分値が閾値を越える場合は当該画素を画像のエッジと判断して第1の画像の合成比率を高くし、当該差分値が閾値以下の場合は第1の画像の合成比率を低く設定する第3ステップと、
前記第3ステップで設定した比率をもって画像を合成する第4ステップと
を有する撮像方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006150690A JP3974634B2 (ja) | 2005-12-27 | 2006-05-30 | 撮像装置および撮像方法 |
PCT/JP2006/325061 WO2007077719A1 (ja) | 2005-12-27 | 2006-12-15 | 撮像装置およびその画像処理方法 |
US12/159,587 US8115818B2 (en) | 2005-12-27 | 2006-12-15 | Imaging device and image processing method of same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005376663 | 2005-12-27 | ||
JP2006150690A JP3974634B2 (ja) | 2005-12-27 | 2006-05-30 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007202098A true JP2007202098A (ja) | 2007-08-09 |
JP3974634B2 JP3974634B2 (ja) | 2007-09-12 |
Family
ID=38456182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006150690A Expired - Fee Related JP3974634B2 (ja) | 2005-12-27 | 2006-05-30 | 撮像装置および撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3974634B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009207118A (ja) * | 2008-01-16 | 2009-09-10 | Sanyo Electric Co Ltd | 撮像装置及びぶれ補正方法 |
US20090231445A1 (en) * | 2008-03-17 | 2009-09-17 | Makoto Kanehiro | Imaging apparatus |
CN101953152A (zh) * | 2008-03-31 | 2011-01-19 | 富士胶片株式会社 | 摄像***、摄像方法、和用于存储程序的计算机可读取介质 |
CN102651802A (zh) * | 2011-02-24 | 2012-08-29 | 索尼公司 | 图像处理装置和图像处理方法及程序 |
WO2012147719A1 (ja) | 2011-04-28 | 2012-11-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
US8373776B2 (en) | 2008-12-12 | 2013-02-12 | Sanyo Electric Co., Ltd. | Image processing apparatus and image sensing apparatus |
KR101424923B1 (ko) * | 2012-03-16 | 2014-08-01 | 후지쯔 가부시끼가이샤 | 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램 |
US8983140B2 (en) | 2010-07-08 | 2015-03-17 | Ricoh Company, Ltd. | Image processing unit, image processing method, and image processing program to correct blurs and noise in an image |
JP2015083934A (ja) * | 2013-10-25 | 2015-04-30 | 三菱電機株式会社 | 波面計測装置及び波面計測方法 |
WO2017199758A1 (ja) * | 2016-05-16 | 2017-11-23 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム |
JP2020184669A (ja) * | 2019-05-07 | 2020-11-12 | シャープ株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101396353B1 (ko) * | 2007-11-16 | 2014-05-19 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
-
2006
- 2006-05-30 JP JP2006150690A patent/JP3974634B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009207118A (ja) * | 2008-01-16 | 2009-09-10 | Sanyo Electric Co Ltd | 撮像装置及びぶれ補正方法 |
US20090231445A1 (en) * | 2008-03-17 | 2009-09-17 | Makoto Kanehiro | Imaging apparatus |
US8208034B2 (en) * | 2008-03-17 | 2012-06-26 | Ricoh Company, Ltd. | Imaging apparatus |
CN101953152A (zh) * | 2008-03-31 | 2011-01-19 | 富士胶片株式会社 | 摄像***、摄像方法、和用于存储程序的计算机可读取介质 |
US8373776B2 (en) | 2008-12-12 | 2013-02-12 | Sanyo Electric Co., Ltd. | Image processing apparatus and image sensing apparatus |
US8983140B2 (en) | 2010-07-08 | 2015-03-17 | Ricoh Company, Ltd. | Image processing unit, image processing method, and image processing program to correct blurs and noise in an image |
CN102651802A (zh) * | 2011-02-24 | 2012-08-29 | 索尼公司 | 图像处理装置和图像处理方法及程序 |
WO2012147719A1 (ja) | 2011-04-28 | 2012-11-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
US9118840B2 (en) | 2011-04-28 | 2015-08-25 | Olympus Corporation | Image processing apparatus which calculates motion vectors between images shot under different exposure conditions, image processing method, and computer readable medium |
KR101424923B1 (ko) * | 2012-03-16 | 2014-08-01 | 후지쯔 가부시끼가이샤 | 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램 |
US9007483B2 (en) | 2012-03-16 | 2015-04-14 | Fujitsu Limited | Image synthesis device and computer program for image synthesis for synthesizing a plurality of images of different exposure times |
JP2015083934A (ja) * | 2013-10-25 | 2015-04-30 | 三菱電機株式会社 | 波面計測装置及び波面計測方法 |
WO2017199758A1 (ja) * | 2016-05-16 | 2017-11-23 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム |
CN109076170A (zh) * | 2016-05-16 | 2018-12-21 | 索尼公司 | 图像处理设备、图像处理方法、成像设备和程序 |
US11064129B2 (en) | 2016-05-16 | 2021-07-13 | Sony Corporation | Image processing apparatus, image processing method, imaging apparatus, and program |
JP2020184669A (ja) * | 2019-05-07 | 2020-11-12 | シャープ株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3974634B2 (ja) | 2007-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4987355B2 (ja) | 撮像装置および撮像方法 | |
JP3974633B1 (ja) | 撮像装置および撮像方法 | |
JP3974634B2 (ja) | 撮像装置および撮像方法 | |
WO2007077719A1 (ja) | 撮像装置およびその画像処理方法 | |
JP4900401B2 (ja) | 撮影装置およびプログラム | |
JP5612017B2 (ja) | カメラの手ぶれ低減システム | |
WO2007074774A1 (ja) | ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法 | |
JP2008277896A (ja) | 撮像装置および撮像方法 | |
JP2007082044A (ja) | 撮像方法および撮像装置 | |
JP4606486B2 (ja) | 画像処理装置および撮影装置 | |
JP2006262220A (ja) | 撮像装置 | |
JP2009272890A (ja) | 画像処理装置及び画像処理方法、並びに撮影装置 | |
JP4947576B2 (ja) | 撮像装置、ぶれ補正方法及び撮像方法 | |
JP5079271B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP2005236662A (ja) | 撮像方法、撮像装置及び撮像システム | |
JP2008236739A (ja) | 撮像装置および撮像方法 | |
JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
JP5760654B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006262221A (ja) | 撮像装置および画像処理方法 | |
JP5482427B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
JP2009111773A (ja) | 画像処理装置およびその方法 | |
JP5316098B2 (ja) | 撮像装置、撮像方法、および、プログラム | |
JP2006262222A (ja) | 撮像装置 | |
JP5079253B2 (ja) | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 | |
JP5871590B2 (ja) | 撮像装置、及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070514 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20070514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070614 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |