JP5131376B2 - 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 - Google Patents
画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 Download PDFInfo
- Publication number
- JP5131376B2 JP5131376B2 JP2011221342A JP2011221342A JP5131376B2 JP 5131376 B2 JP5131376 B2 JP 5131376B2 JP 2011221342 A JP2011221342 A JP 2011221342A JP 2011221342 A JP2011221342 A JP 2011221342A JP 5131376 B2 JP5131376 B2 JP 5131376B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- base
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
(2)m枚目(例えば、m=N/2)に取り込んだ画像をベース画像とし、そのm枚目のベース画像に対して、他の画像を順次合成する方法
例えば、特許文献1では、ぶれ補正モードと非ぶれ補正モードの2つのモードを備える電子カメラが示されている。この電子カメラでは、撮影準備期間中(非ぶれ補正モード時)に、CCDの各露光期間にのみぶれ補正を行い、画素データの出力期間にはぶれ補正を行わないようにしている。
図1において、画像1〜画像3の3枚の画像に対し、単純に合成すると、画像4のように、多重化した画像が生じる。
図2において、撮像装置10は、レンズ11、イメージセンサ12、撮影制御部13、AGC(Auto Gain Control)回路16、AD変換器(Analog Digital Converter、ADC)17、画像処理部(イメージシグナルプロセッサ(ISP)ともいう)18、画像保持部22、補正処理部23、を備える。
イメージセンサ12は、撮像対象からレンズ11を介して受光された光を電荷に光電変換して蓄積する受光部(不図示)と、蓄積された電荷を光電変換データとして出力する信号出力部(不図示)を備える。
ADC17は、ゲインが制御された光電変換データをアナログからディジタルに変換する。
なお、ステップS101〜S106については、図4と同様であるので説明を省略する。
なお、ステップS101〜S106については、図4と同様であるので説明を省略する。
図7は、本発明の第3実施形態における第2ベース画像選定部(重ね合わせを行わない領域用ベース画像選定部)の構成を示すブロック図である。
ぶれ量算出部42は、画像保持部22が保持する複数枚の画像データ中の、第2ベース画像選定部41から通知された重ね合わせを行わない領域に対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ(輪郭)を検出し、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理を行ってベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量を算出する。
なお、ステップS101〜S106については、図4と同様であるので説明を省略する。
ぶれ量算出部42は、画像保持部22が保持する複数枚の画像データ中の、第2ベース画像選定部41から通知された重ね合わせを行わない領域に対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ(輪郭)を検出するとともに、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみを特徴点として抽出する。そして、連写で取り込んだ各画像データ間でその特徴点部分がどちらの方向にどれだけ移動したかという追跡処理を行い、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量を算出する。
図9は、本発明の第4実施形態における第2ベース画像選定部(重ね合わせを行わない領域用ベース画像選定部)の構成を示すブロック図である。
顔認識部52は、まず、画像保持部22が保持する複数枚の画像データ中の、第2ベース画像選定部51から通知された重ね合わせを行わない領域に対して、顔の探索領域の検出を行なう。すなわち、画像データから色情報として肌色領域を抽出し、その肌色領域の形・面積が顔の領域としての条件を満たしている場合に、その抽出した肌色領域を顔の探索領域とする。
2.楕円のような形状をしており、色が赤い領域
3.輝度値が肌色領域の輝度値よりも暗い領域
なお、ステップS101〜S106については、図4と同様であるので説明を省略する。
本発明の複数枚の画像データの合成処理は、画像データ処理装置81によって実現することが可能である。本発明の処理のためのプログラムやデータは、画像データ処理装置81の記憶装置85から画像データ処理装置81のメモリにロードして実行することも、可搬型記憶媒体83から画像データ処理装置81のメモリにロードして実行することも、外部記憶装置82からネットワーク86を介して画像データ処理装置81のメモリにロードして実行することも可能である。
(付記1)
複数枚の画像データを処理する画像データ処理装置において、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択部と、
選択された重ね合わせの第1ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択部と、
重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする画像データ処理装置。
(付記2)
前記第2ベース画像選択部は、前記複数の画像データのうちで、画像データ内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択することを特徴とする付記1記載の画像データ処理装置。
(付記3)
前記ぶれ量が最も小さい画像データとは、画像データ内で検出されたエッジ部分の解像度が最も大きい画像データであることを特徴とする付記2記載の画像データ処理装置。
(付記4)
前記ぶれ量が最も小さい画像データとは、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データであることを特徴とする付記2記載の画像データ処理装置。
(付記5)
取り込んだ画像データ中の重ね合わせを行わない領域において、人物の顔の目の開き具合を認識する顔認識部をさらに備え、
前記第2ベース画像選択部は、前記顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域で使用するベース画像として選択することを特徴とする付記1記載の画像データ処理装置。
(付記6)
連写して得た複数枚の画像データを処理する撮像装置において、
撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択部と、
選択された重ね合わせの第1ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択部と、
重ね合わせ結果と、前記第2ベース画像の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする撮像装置。(付記7)
前記第2ベース画像選択部は、取り込まれた複数の画像データ中の1枚目に撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択することを特徴とする付記6記載の撮像装置。
(付記8)
前記第2ベース画像選択部は、取り込まれた複数の画像データ中のシャッター音と同一タイミングで撮影した画像に対応する画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択することを特徴とする付記6記載の撮像装置。
(付記9)
複数枚の画像データを処理する画像データ処理方法において、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択ステップと、
選択された重ね合わせの第1ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択ステップと、
重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を備えることを特徴とする画像データ処理方法。
(付記10)
前記第2ベース画像選択ステップにおいて、前記複数の画像データのうちで、画像データ内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択することを特徴とする付記9記載の画像データ処理方法。(付記11) 前記ぶれ量が最も小さい画像データとは、画像データ内で検出されたエッジ部分の解像度が最も大きい画像データであることを特徴とする付記10記載の画像データ処理方法。
(付記11)
前記ぶれ量が最も小さい画像データとは、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データであることを特徴とする付記10記載の画像データ処理方法。
(付記12)
取り込んだ画像データ中の重ね合わせを行わない領域において、人物の顔の目の開き具合を認識する顔認識ステップをさらに備え、
前記第2ベース画像選択ステップにおいて、前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域で使用するベース画像として選択することを特徴とする付記9記載の画像データ処理方法。
(付記13)
複数枚の画像データをコンピュータに処理させる画像データ処理プログラムにおいて、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択ステップと、
選択された重ね合わせの第1ベース画像と、前記取り込んだ複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択ステップと、
重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を前記コンピュータに実行させることを特徴とする画像データ処理プログラム。
(付記14)
前記第2ベース画像選択ステップにおいて、前記複数の画像データのうちで、画像データ内のぶれ量が最も小さい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択することを特徴とする付記14記載の画像データ処理プログラム。
(付記15)
前記ぶれ量が最も小さい画像データとは、画像データ内で検出されたエッジ部分の解像度が最も大きい画像データであることを特徴とする付記15記載の画像データ処理プログラム。
(付記16)
前記ぶれ量が最も小さい画像データとは、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データであることを特徴とする付記15記載の画像データ処理プログラム。
(付記17)
取り込んだ画像データ中の重ね合わせを行わない領域において、人物の顔の目の開き具合を認識する顔認識ステップをさらに備え、
前記第2ベース画像選択ステップにおいて、前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、重ね合わせを行わない領域で使用するベース画像として選択することを特徴とする付記14記載の画像データ処理プログラム。
11 レンズ
12 イメージセンサ
13 撮影制御部
16 AGC回路
17 ADC
18 画像処理部(ISP)
22 画像保持部
23、30、41、51 補正処理部
31 第1ベース画像選定部
32 ずれ量算出部
33 重ね合わせ領域検出部
34 画像重ね合わせ部
36 第2ベース画像選定部
38 画像合成部
42 ぶれ量算出部
52 顔認識部
Claims (4)
- 複数枚の画像データを処理する画像データ処理装置において、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択部と、
前記選択された重ね合わせの第1ベース画像と、前記取り込まれた複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
前記選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
前記取り込まれた複数の画像データのうちで、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択部と、
前記画像重ね合わせ部による重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする画像データ処理装置。 - 連写して得た複数枚の画像データを処理する撮像装置において、
撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
前記取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択部と、
前記選択された重ね合わせの第1ベース画像と、前記取り込まれた複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出部と、
前記選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせ部と、
前記取り込まれた複数の画像データのうちで、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択部と、
前記画像重ね合わせ部による重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成部、を備えることを特徴とする撮像装置。 - 複数枚の画像データを処理する画像データ処理方法において、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択ステップと、
前記選択された重ね合わせの第1ベース画像と、前記取り込まれた複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
前記選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
前記取り込まれた複数の画像データのうちで、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択ステップと、
前記画像重ね合わせステップによる重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を備えることを特徴とする画像データ処理方法。 - 複数枚の画像データをコンピュータに処理させる画像データ処理プログラムにおいて、
取り込まれた複数の画像データ中の1枚の画像データを、重ね合わせを行う際に使用する第1ベース画像として選択する第1ベース画像選択ステップと、
前記選択された重ね合わせの第1ベース画像と、前記取り込まれた複数の画像データのうちの他画像データとのずれ量を算出するずれ量算出ステップと、
前記選択された第1ベース画像に対して他画像データをずれ補正して重ね合わせうる領域である重ね合わせ領域を、前記算出されたずれ量を基に検出するとともに、その重ね合わせ領域に対する重ね合わせを実行する画像重ね合わせステップと、
前記取り込まれた複数の画像データのうちで、画像データ内で抽出された特徴点部分の解像度が最も大きい画像データを、重ね合わせを行わない領域に使用する第2ベース画像として選択する第2ベース画像選択ステップと、
前記画像重ね合わせステップによる重ね合わせ結果と、前記第2ベース画像中の重ね合わせを行わない領域を合成するとともに、合成結果の画像データを出力する画像合成ステップ、を前記コンピュータに実行させることを特徴とする画像データ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011221342A JP5131376B2 (ja) | 2011-10-05 | 2011-10-05 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011221342A JP5131376B2 (ja) | 2011-10-05 | 2011-10-05 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006261788A Division JP4861109B2 (ja) | 2006-09-27 | 2006-09-27 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012039645A JP2012039645A (ja) | 2012-02-23 |
JP5131376B2 true JP5131376B2 (ja) | 2013-01-30 |
Family
ID=45851040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011221342A Expired - Fee Related JP5131376B2 (ja) | 2011-10-05 | 2011-10-05 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5131376B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191136A (ja) * | 1996-12-27 | 1998-07-21 | Canon Inc | 撮像装置及び画像合成装置 |
JP4110560B2 (ja) * | 1998-05-20 | 2008-07-02 | カシオ計算機株式会社 | 画像処理方法及びその装置 |
JP4229692B2 (ja) * | 2002-12-25 | 2009-02-25 | キヤノンソフトウェア株式会社 | 撮像装置および撮像方法およびプログラムおよび記録媒体 |
JP2005020607A (ja) * | 2003-06-27 | 2005-01-20 | Casio Comput Co Ltd | 合成画像出力装置および合成画像出力処理プログラム |
JP4562182B2 (ja) * | 2005-03-07 | 2010-10-13 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2011
- 2011-10-05 JP JP2011221342A patent/JP5131376B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012039645A (ja) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4861109B2 (ja) | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 | |
JP4825093B2 (ja) | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム | |
JP5754312B2 (ja) | 画像処理装置及び画像処理方法、並びにプログラム | |
US8212895B2 (en) | Digital camera system with portrait effect | |
KR101034109B1 (ko) | 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체 | |
KR101817657B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
JP4783252B2 (ja) | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム | |
JP4757085B2 (ja) | 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム | |
JP5803467B2 (ja) | 画像処理装置および撮像装置、ならびに画像処理方法 | |
JP5569357B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2017103688A (ja) | 動きベクトル検出装置およびその制御方法 | |
JP2013074572A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014068081A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP5446847B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP6024135B2 (ja) | 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム | |
JP5131376B2 (ja) | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 | |
JP5541956B2 (ja) | 画像合成方法、画像合成プログラムおよび画像合成装置 | |
JP5636660B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009098850A (ja) | 演算装置及びそのプログラム | |
JP6525692B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2017220834A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2023125905A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2023154575A (ja) | 撮像装置およびその制御方法、ならびに画像処理装置 | |
JP2016092794A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121009 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121022 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5131376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |