JP2010239514A - 撮像システム及び画像処理方法並びにプログラム - Google Patents
撮像システム及び画像処理方法並びにプログラム Download PDFInfo
- Publication number
- JP2010239514A JP2010239514A JP2009086960A JP2009086960A JP2010239514A JP 2010239514 A JP2010239514 A JP 2010239514A JP 2009086960 A JP2009086960 A JP 2009086960A JP 2009086960 A JP2009086960 A JP 2009086960A JP 2010239514 A JP2010239514 A JP 2010239514A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shooting
- main
- image processing
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims description 64
- 238000012937 correction Methods 0.000 claims description 47
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】被写体を撮像する撮像部2と、撮影者の撮影操作を検出する操作検出部34と、撮影操作がされた場合に、本撮影を行うとともに、本撮影に先立ち、該本撮影とは異なる撮影条件で事前撮影を行う撮影制御部20と、事前撮影において取得された事前画像に関する情報を記憶するSDRAM41と、該本撮影により取得された本撮影画像を事前画像を用いて補正する画像処理部25とを具備する撮像システム1を提供する。
【選択図】図1
Description
これに対して、類似画像を用いて、本撮影時に取得された本撮影画像に対して画像処理を行い、画像を修正する方法が知られている(例えば、特許文献1参照)。
また、スルー画等の本撮影前表示に使用している撮影画像から得られた情報を用いて、本撮影画像に対して画像処理を行い、例えばホワイトバランスなどの被写体の色味等を修正する方法が知られている(例えば、特許文献2参照)。
また、複数の画像を同一の解像で撮影し、合成することによって、本撮影画像におけるノイズの低減や露出向上、ぶれの低減を行う技術が知られている。
本発明の第1の態様は、撮影光学系と、前記撮影光学系を介して被写体を撮像する撮像素子と、撮影者の撮影操作を検出する撮影操作検出手段と、前記撮影操作がされた場合に、本撮影を行う第1の撮影制御手段と、前記本撮影に先立ち、該本撮影とは異なる撮影条件で事前撮影を行う第2の撮影制御手段と、前記事前撮影において取得された事前画像に関する情報を記憶する記憶手段と、該本撮影により取得された本撮影画像を前記事前画像を用いて補正する画像処理手段とを具備する撮像システムである。
さらに、事前画像は本撮影において取得された画像とほぼ類似の被写体を撮影しているので、本撮影の補正のために、より適切な情報を得ることができる。
以下に、本発明の第1の実施形態に係る撮像システムについて、図面を参照して説明する。
図1は、本実施形態に係る撮像システムの概略構成を示したブロック図である。本実施形態に係る撮像システム1は、例えば、デジタルカメラであり、撮像部2と画像処理装置3とを備えている。撮像部2は、レンズ10、シャッタ11、CCD12、CCD制御部13、レンズ駆動部14、及びストロボ15を備えている。
レンズ10には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り10aが配置されている。この絞り10aの役割は、撮影制御部20からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像システムにおいては、明るさ調節の目的のために、例えば、光量調節のためのNDフィルタで代用することも可能である。
レンズ10の後方には、露光時間制御用のシャッタ11が配置されている。このシャッタ11は撮影制御部20によって駆動制御される。
シャッタ11はスルー画像撮影時には常に開いた状態とされる。このとき、CCD12の露光量制御はCCD12の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画(以下「スチル撮影」という。)撮影時にはシャッタ11によりCCD12への露光量が制御される。
画像処理装置3は、例えば、ASICであり、上述の撮影制御部(第1の撮影制御手段、第2の撮影制御手段)20、CCDインターフェイス21、ボディCPU22、輝度算出部23、AF演算部24、画像処理部(画像処理手段)25等を備えている。これら各部は、画像処理装置3内のデータバス30を介して相互に接続されている。
輝度算出部23は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
AF演算部24は、画像信号を所定の領域に分割し、領域毎にコントラスト情報を算出し、レンズ駆動部14の制御と同期して、所定領域のコントラストが最大となるように、レンズ10を駆動することにより、被写体に焦点を合わせる。
図2において、まず、撮影者によってデジタルカメラの電源がオンされると、スルー画を格納するメモリがクリアされる(ステップSA1)。このメモリは、例えば、上述したSDRAM(記憶手段)41である。続いて、撮影モード、ズーム等のユーザ設定情報が検出される(ステップSA2)。ユーザ設定は、例えば、操作検出部34(図1参照)により行われる。
また、高感度時には、複数画素を撮像素子内で加算した後、ゲインアップする処理を行うことで、低解像であるが画素加算による効果によりノイズの少ない画像を得ることができる。
次に、シャッターボタンが半押しされているか否かが判定され(ステップSA6)、半押しされていない場合には、カメラの主動作スイッチであるパワースイッチがオン状態であるかどうか確認し(ステップSA15)、パワースイッチがオン状態である場合には上記ステップSA2に戻り、ステップSA2以降の処理を繰り返し行う。また、パワースイッチがオフ状態の場合には終了処理(ステップSA16)を行い、カメラのシーケンスを終了する。一方、ステップSA6にてシャッターボタンが半押しされている場合には、オートフォーカス(ステップSA7)、露光演算(ステップSA8)が行われ、その後、半押し状態が解除されたか否かが再度判定される(ステップSA9)。
次に、上記ステップSA5及びステップSA11において行われるスルー画像撮影表示処理及びスルー画像格納処理について図3を参照して説明する。図3は、スルー画像撮影表示処理及びスルー画像格納処理の処理手順を示したフローチャートである。
次に、ステップSB1におけるスルー画像撮影において取得された画像に対してメモリ格納用の画像処理が施される(ステップSB3)。本実施形態では、スルー画像が格納されるが、メモリ節約のために目的によってはこのうち、輝度情報のみを抽出して格納してもよい。
次に、図2のステップSA13において行われる本撮影画像の画像処理について図4を参照して説明する。ここでは、本撮影画像に対して行われる種々の画像処理のうち、特に、上述したスルー画像を用いて行われる画像処理について説明する。
次に、参照画像としてステップSC1で選択したスルー画像を設定し(ステップSC2)、参照画像と本撮影画像とを比較し(ステップSC3)、本撮影画像の高画質化が可能か否かを判定する。例えば、本撮影画像が予め設定されている基準感度よりも低感度な場合、参照画像の輝度平均値が所定値以下の場合等には、高画質化が不可能であると判断する。
続いて、本撮影画像を複数のエリアに分割し、そのうちの一つのエリア(以下「選定エリア」という。)を選択する(ステップSC6)。そして、選定エリアと参照画像とを比較し、選定エリアと類似するエリアを参照画像において特定する(ステップSC7)。このとき、例えば、本撮影画像における選定エリアの輝度信号をもとに公知のブロックマッチング等の手法を用い、参照画像から類似のエリアを選択する。この場合において、参照画像と本撮影画像のサイズを一致させるように補正を行った上でエリアの選択を行うとよい。
次に、図4を用いて説明した本撮影画像の画像処理のステップSC1において行われるスルー画像選択処理について図5を参照して説明する。
まず、スルー画像と本撮影画像とを比較するとともに、本撮影画像の画像解析を行い、本撮影画像のノイズ低減処理に使用可能なスルー画像を抽出する(ステップSD1)。例えば、メモリに格納されているスルー画像のうち、解像度及び感度の少なくともいずれか一つが本撮影画像と異なるスルー画像を抽出する。
次に、抽出した各スルー画像と本撮影画像とをマッチングし(ステップSD2)、本撮影画像に最も類似するスルー画像を選択する(ステップSD3)。
上記図5のステップSD2において行われるマッチング処理の詳細について、図6を参照して説明する。
まず、本撮影画像の中央部約50%をスルー画像のサイズにリサイズした画像をテンプレート画像として設定し(ステップSE1)、続いて、スルー画像上に比較初期位置を設定し(ステップSE2)、設定した比較位置においてテンプレート画像とスルー画像との類似度を算出する(ステップSE3)。類似度の算出は、例えば、それぞれ対応した位置の画素の画素値の差分を算出し、全ての差分の積算値を類似度として算出する。なお、類似度の算出方法については、上記算出方法に限定されることなく、例えば、各画像のヒストグラムを計算し、ヒストグラムの類似度を画像の類似度としてもよく、また、色情報も加味して類似度を求めることとしてもよい。
そして、全検索領域にわたって類似度の算出が終了すると(ステップSE4において「YES」)、ステップSE3において算出した各位置における類似度を評価し、最も値の高い類似度を当該スルー画像の類似度とするとともに(ステップSE6)、類似度の最も高い位置を本撮影画像とスルー画像との位置合せ基準として設定し(ステップSE7)、本処理を終了する。
そして、図6に示したマッチング処理を図5のステップSD1において抽出された全てのスルー画像に対して行うことで、各スルー画像の類似度が算出され、図5のステップSD3において最も類似度の高いスルー画像が選択されることとなる。
また、本撮影画像の画像処理に用いるスルー画像として、感度の異なるスルー画を採用することにより、感度が低く、よりノイズの少ない画像を用いて補正することで、よりノイズ低減性能を上げることができる。さらには、感度は高くても画素加算することによりノイズが低減されたスルー画像を用いて補正するようなこともできる。
次に、本発明の第2の実施形態について説明する。
上述した第1の実施形態では、スルー画像を用いてノイズ低減処理を行っていたが、本実施形態では、スルー画像を用いて色補正を行う点で異なる。より具体的には、上述した第1の実施形態で図4を参照して説明した本撮影画像の画像処理に代えて、図7に示す画像処理を実行する。
以下、本実施形態に係る撮像システムについて、上記第1の実施形態と異なる点について主に説明する。
図7は、本実施形態に係る本撮影画像の画像処理の処理手順を示した図である。
まず、本撮影画像の画像処理で用いられるスルー画像の選択処理が行われる(図7のステップSF1)。このスルー画像の選択処理についての詳細は、上述した第1の実施形態と略同様であるが、本実施形態では、図5のステップSD1において抽出されるスルー画像は、露光条件が本撮影画像と異なるスルー画像とされる。
次に、本撮影画像と参照画像の位置合せ処理及びリサイズ処理を行い(ステップSF6)、その後、本撮影画像と参照画像とを複数のエリアに分割する(ステップSF7)。次に、参照画像の各エリア内においてカラーマップを作成するとともに(ステップSF8)、本撮影画像の各エリア内においてカラーマップを作成し(ステップSF9)、これらをメモリに格納する。
また、露光条件が本撮影画像と異なるスルー画像を用いて本撮影画像の色補正を行うことで、本撮影で露光不足や露光オーバーとなってしまい、色情報が正確でなかった部分についても、参照画像の色情報が残っていれば、それらを用いて色を再現することが可能となる。
次に、本発明の第3の実施形態について説明する。
上述した第1の実施形態では、スルー画像を用いてノイズ低減処理を行っていたが、本実施形態では、ブレ補正を行う点で異なる。より具体的には、上述した第1の実施形態で図4を参照して説明した本撮影画像の画像処理に代えて、図8に示す画像処理を実行する。
以下、本実施形態に係る撮像システムについて、上記第1の実施形態と異なる点について主に説明する。
図8は、本実施形態に係る本撮影画像の画像処理の処理手順を示した図である。
まず、本撮影画像においてブレ補正が必要か否かが判定される(ステップSG1)。これは、例えば、本撮影時の焦点距離に応じて決定される所定のシャッタ速度よりも、撮影シャッタ速度が長かった場合に、ブレ補正が必要であると判断する。なお、これ以外の方法として、例えば、本撮影画像のコントラスト等の情報を用いて判定してもよいし、テブレ補正センサ等を搭載し、その出力を使用して判定することとしてもよい。
次に、本撮影画像と参照画像とを複数のエリアにそれぞれ分割し、エリア毎にブロックマッチングを行い、相関の高いブロックの本撮影画像と参照画像での座標の変動を計算することで、各エリアの動きベクトルをそれぞれ求める(ステップSG5)。
続いて、上記ブレ量を相殺するように参照画像の各画素を該ブレ量と逆方向に同じ大きさでシフトしながら基準画像の各画素に位置合せし、各画素同士を所定の割合で加算することでブレ補正を行い、最終的な本撮影画像を作成し(ステップSG7)、本処理を終了する。
また、シャッタ速度が本撮影時よりも速いスルー画像を用いて本撮影画像のブレ補正を行うことで、高精度なブレ補正が可能となり、被写体ぶれ等が起きた場合であっても補正が可能となる。
2 撮像部
3 画像処理装置
20 撮影制御部
25 画像処理部
34 操作検出部
41 SDRAM
46 表示モニタ
Claims (10)
- 撮影光学系と、
前記撮影光学系を介して被写体を撮像する撮像素子と、
撮影者の撮影操作を検出する撮影操作検出手段と、
前記撮影操作がされた場合に、本撮影を行う第1の撮影制御手段と、
前記本撮影に先立ち、該本撮影とは異なる撮影条件で事前撮影を行う第2の撮影制御手段と、
前記事前撮影において取得された事前画像に関する情報を記憶する記憶手段と、
該本撮影により取得された本撮影画像を前記事前画像を用いて補正する画像処理手段と
を具備することを特徴とする撮像システム。 - 前記第2の撮影制御手段は、前記本撮影とは異なる解像または露光で事前撮影を行うことを特徴とする請求項1に記載の撮像システム。
- 前記事前画像を表示する表示手段を備えることを特徴とする請求項1または請求項2に記載の撮像システム。
- 前記画像処理手段は、前記事前画像に関する情報と前記本撮影画像に関する情報とを比較して類似度を算出し、
前記類似度が所定の条件を満たす前記事前画像に関する情報を用いて、前記本撮影画像を補正することを特徴とする請求項1から請求項3のいずれかに記載の撮像システム。 - 前記画像処理手段は、
前記事前画像に関する情報と前記本撮影画像に関する情報とを照合して位置合わせを行い、
位置合せが行われた状態で前記事前画像と前記本撮影画像とを合成することを特徴とする請求項1から請求項4のいずれかに記載の撮像システム。 - 前記画像処理手段は、前記事前画像に関する情報を用いて前記本撮影画像のノイズ成分を低減することを特徴とする請求項1から請求項5のいずれかに記載の撮像システム。
- 前記画像処理手段は、前記事前画像に関する情報を用いて前記本撮影画像の色を補正することを特徴とする請求項1から請求項6のいずれかに記載の撮像システム。
- 前記画像処理手段は、前記事前画像に関する情報を用いて前記本撮影画像の手ブレ、または、被写体ブレを補正することを特徴とする請求項1から請求項7のいずれかに記載の撮像システム。
- 本撮影に先立ち、本撮影とは異なる解像で事前撮影を行い、該事前撮影で得られた画像を用いて本撮影において取得された画像を補正することを特徴とする撮像装置の画像処理方法。
- 画像処理を行うための画像処理プログラムであって、
本撮影に先立って行われるとともに、該本撮影とは異なる解像度で行われた事前撮影において取得された画像を用いて、本撮影において取得された画像を補正する補正処理をコンピュータに実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009086960A JP2010239514A (ja) | 2009-03-31 | 2009-03-31 | 撮像システム及び画像処理方法並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009086960A JP2010239514A (ja) | 2009-03-31 | 2009-03-31 | 撮像システム及び画像処理方法並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010239514A true JP2010239514A (ja) | 2010-10-21 |
Family
ID=43093437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009086960A Pending JP2010239514A (ja) | 2009-03-31 | 2009-03-31 | 撮像システム及び画像処理方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010239514A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10142568B2 (en) | 2017-02-13 | 2018-11-27 | Semiconductor Components Industries, Llc | Methods and apparatus for vignette and out-of-focus correction |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006166359A (ja) * | 2004-12-10 | 2006-06-22 | Canon Inc | 赤目補正方法 |
JP2007133810A (ja) * | 2005-11-14 | 2007-05-31 | Nikon Corp | 画像処理装置 |
JP2007243917A (ja) * | 2006-02-10 | 2007-09-20 | Nikon Corp | 撮像装置および画像処理プログラム |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
-
2009
- 2009-03-31 JP JP2009086960A patent/JP2010239514A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006166359A (ja) * | 2004-12-10 | 2006-06-22 | Canon Inc | 赤目補正方法 |
JP2007133810A (ja) * | 2005-11-14 | 2007-05-31 | Nikon Corp | 画像処理装置 |
JP2007243917A (ja) * | 2006-02-10 | 2007-09-20 | Nikon Corp | 撮像装置および画像処理プログラム |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10142568B2 (en) | 2017-02-13 | 2018-11-27 | Semiconductor Components Industries, Llc | Methods and apparatus for vignette and out-of-focus correction |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4900401B2 (ja) | 撮影装置およびプログラム | |
JP5439197B2 (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
JP4665718B2 (ja) | 撮影装置 | |
JP4985251B2 (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
JP2009194700A (ja) | 画像処理装置及び画像処理プログラム | |
JP2001103366A (ja) | カメラ | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP4606486B2 (ja) | 画像処理装置および撮影装置 | |
JP2008277896A (ja) | 撮像装置および撮像方法 | |
JP2010200177A (ja) | 撮像装置及び画像処理プログラム | |
US9282257B2 (en) | Image apparatus and imaging method | |
JP2004328606A (ja) | 撮像装置 | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP2006217249A (ja) | 電子カメラ、電子カメラシステムおよびプログラム | |
JP6294607B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JP2010239514A (ja) | 撮像システム及び画像処理方法並びにプログラム | |
JP4666265B2 (ja) | 像振れ補正装置及びその補正方法 | |
JP5043178B2 (ja) | 像振れ補正装置及びその補正方法 | |
US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
JP5613145B2 (ja) | 撮影装置およびプログラム | |
JP2009044235A (ja) | カメラ | |
JP2006319465A (ja) | 撮像装置 | |
JP4666264B2 (ja) | 像振れ補正装置及びその補正方法 | |
JP4621991B2 (ja) | 像振れ補正装置及びその補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140408 |