JP6995582B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6995582B2 JP6995582B2 JP2017223680A JP2017223680A JP6995582B2 JP 6995582 B2 JP6995582 B2 JP 6995582B2 JP 2017223680 A JP2017223680 A JP 2017223680A JP 2017223680 A JP2017223680 A JP 2017223680A JP 6995582 B2 JP6995582 B2 JP 6995582B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- light emitting
- difference
- flash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Description
特許文献1に開示されている技術では、ストロボ光の発光を伴うフラッシュオン撮影と、ストロボ光の発光を伴わないフラッシュオフ撮影とを連続して行う。フラッシュオフ撮影の時には、夜景が適正に露光されるように、撮影感度を高く設定する。一方、フラッシュオン撮影時の画像(フラッシュ画像)は、主要被写体の明るさが適正な画像となる。従って、これら非フラッシュ画像(フラッシュオフ撮影時に得られる画像)とフラッシュ画像とを合成することにより、夜景と主要被写体との双方の明るさが適正となる画像を記録できる。
本発明は、このような問題点に鑑みてなされたものであり、主要被写体の領域とその他の領域との双方の明るさが適正となる画像を生成することを目的とする。
まず、第1の実施形態を説明する。
図1は、デジタルカメラ100の機能構成の一例を示すブロック図である。
システム制御部101は、例えばCPUである。システム制御部101は、デジタルカメラ100が備える各ブロックの動作を制御する。具体的にシステム制御部101は、デジタルカメラ100が備える各ブロックの動作プログラムを読み出し、システムメモリ103に展開して実行することにより、各ブロックの動作を制御する。デジタルカメラ100が備える各ブロックの動作プログラムは、例えば、不揮発性メモリ102に記憶されている。
撮像ユニット120は、被写体を撮像し、画像データを出力するユニットである。撮像ユニット120は、撮影レンズ121、シャッタ122、撮像素子123、およびA/D変換部124を有する。撮影レンズ121は、フォーカスレンズやズームレンズ、カラーフィルタ等を含む撮影レンズ郡である。撮影レンズ121は、絞りおよびNDフィルタ機能を備えるシャッタ122を介して光学像を撮像素子123に結像する。撮像素子123は、例えばCCDやCMOSセンサ等の撮像素子であり、撮影レンズ121を介して結像された光学像をアナログ画像信号に変換してA/D変換部124に出力する。A/D変換部124は、撮像素子123から入力されたアナログ画像信号に対してA/D変換処理を適用することにより、アナログ画像信号をデジタル画像信号(画像データ/フレーム)に変換する。
S200において、システム制御部101は、撮像処理を行う。具体的にシステム制御部101は、画像処理部104による演算処理の結果を取得し、露出値を決定する。露出値は、シャッタスピード、絞りの開口量、およびISO感度の設定を含む、撮像ユニット120に係る制御量である。システム制御部101は、決定した露出値を撮像ユニット120に設定する。システム制御部101は、撮像ユニット120により時系列的に連続して撮像されたフラッシュ画像と複数の非フラッシュ画像とを取得する。このように本実施形態では、例えば、S200において、ストロボ光が発光された状態で撮像された発光画像と、ストロボ光が発光されていない状態で撮像された非発光画像とを取得することの一例が実現される。
以上、図2のフローチャートを用いて、フラッシュ画像と非フラッシュ画像とを合成する全体の処理の一例を説明した。
次に、S601において、システム制御部101は、レジスタの値iが、合成する回数N(ここではN=3)を超えていないかを判定する。この判定の結果、真の場合(レジスタの値iが、合成する回数Nを超えていない場合)、処理はS602のステップに移る。一方、偽の場合(レジスタの値iが、合成する回数Nを超えている場合)、システム制御部101は、背景画像生成処理を終了し、この時点で得られている画像を背景画像420とする(図4(b)を参照)。
まず、システム制御部101は、合成基準画像と、合成対象の画像とのフレーム間の差分情報を算出する。システム制御部101は、例えば、図3(b)に示す1枚目の非フラッシュ画像320を合成基準画像に設定する。1枚目の非フラッシュ画像320と2枚目の非フラッシュ画像330とのフレーム間の差分情報は、図7(a)に示す差分情報710となる。差分情報は、例えば、各画像の明るさまたは色差のフレーム間の画素ごとの差分値で表わされる。図7に示す例では、差分値の絶対値が閾値を上回る領域を、領域701のように白い領域で表す。システム制御部101は、この白い領域701で示されている領域を被写体が動いている領域と判断する。システム制御部101は、黒い領域702を被写体が動いていない領域と判断する。以上の処理と同様の処理を行うことで、図7(b)に示すように、1枚目の非フラッシュ画像320と3枚目の非フラッシュ画像340とのフレーム間の差分情報720が得られる。
尚、合成基準画像としてフラッシュ画像を用いてもよい。この場合には、図3(a)に示すフラッシュ画像310を用いず、図4(a)に示すゲインが調整されたフラッシュ画像410を合成基準画像として用いる。
以上の処理を繰り返し、図3(b)~図3(d)に示す非フラッシュ画像320、330、340と図4(a)に示すフラッシュ画像410とを合成することで、図4(b)に示す背景画像420が生成される。
S800において、システム制御部101は、被写体が動いている領域の動きベクトルを抽出する。以下の説明では、被写体が動いている領域を、必要に応じて動き領域と称する。システム制御部101は、ゲインが調整されたフラッシュ画像410と複数の非フラッシュ画像320、330、340とを用いて動きベクトル(動き領域の動く方向と動き量を示すベクトル)を抽出する。
本実施形態では、以上のようにして、前記動きベクトルに基づいて、前記発光画像と前記複数の非発光画像のうちの1つの前記非発光画像との間における被写体の動きを予測する予測ベクトルを導出することの一例が実現される。
次に、第2の実施形態を説明する。第1の実施形態では、ユーザによる入力操作部115の操作やタイマ撮影等による撮影指示に伴う本撮影により取得した3枚の非フラッシュ画像320、330、340を用いる場合を例に挙げて説明した。これに対し、本実施形態では、ライブビュー用画像(プレビュー用画像)を用いて、明るさの差分情報を求めて動きベクトルを求め、求めた動きベクトルから予測ベクトルを求める。そして、予測ベクトルと、本撮影により取得した2枚の画像(フラッシュ画像および非フラッシュ画像)の差分情報とを用いて動いている被写体の領域を取り除いて主要被写体の領域を求める。そして、フラッシュ画像に含まれる主要被写体の領域における画像と非フラッシュ画像(の主要被写体の領域以外の領域)とを合成する。
本実施形態のデジタルカメラ100構成は、図1に示す第1の実施形態のデジタルカメラ100の構成と同じであるため、その詳細な説明を省略する。
図14において、本撮影フラッシュ画像1410は、本撮影フラッシュ画像1304に対し、背景領域の明るさが本撮影非フラッシュ画像1305の明るさと合うようにゲインが調整された画像である。
また、本実施形態においても、第1の実施形態で説明した変形例を適用することができる。
次に、第3の実施形態を説明する。第1、第2の実施形態では、フラッシュ画像と非フラッシュ画像との差分情報の全体において差分領域の動きを求め、動きのない差分領域を、主要被写体置き換え領域として算出する例を挙げて説明した。これに対し本実施形態では、ストロボ光の適正発光距離にある被写体の領域以外の領域をマスク領域として、マスク領域については、差分領域の動きを求めない。このように本実施形態と第1、第2の実施形態とでは、動いている被写体を特定するための処理の一部が主として異なる。従って、本実施形態の説明において、第1、第2の実施形態と同一の部分については、図1~図14に付した符号と同一の符号を付す等して詳細な説明を省略する。
図15のフローチャートを参照しながら、本実施形態のデジタルカメラ100の全体処理の一例を説明する。尚、第1、第2の実施形態と同じ処理についての詳細な説明は省略する。
本実施形態では、システム制御部101は、適正発光距離情報の領域を設定する。例えば、システム制御部101は、撮影レンズ121の絞り値(F値)とガイドナンバーから適正発光距離情報を算出すると共に、奥行き情報を算出する。適正発光距離情報は、ストロボ光が適正にとどくデジタルカメラ100からの距離を示す情報である。シーンの奥行き情報は、デジタルカメラ100から被写体までの距離を示す情報である。そして、システム制御部101は、適正発光距離情報と奥行き情報とに基づいて、ストロボ光の適正発光距離の被写体の範囲だけを、動きベクトルを求める領域とする。
図16において、システム制御部101は、例えば、本撮影フラッシュ画像1410の撮像時における撮影レンズ121の絞り値(F値)とガイドナンバーから、適正発光距離情報1601を取得する。これと同時にシステム制御部101は、奥行き情報1602を算出する。奥行き情報1602の算出方法としては、以下の方法が挙げられる。
尚、本実施形態では、第2の実施形態に基づく形態(画面表示用非フラッシュ画像を用いる形態)を例に挙げて説明したが、第1の実施形態に基づく形態(本撮影による非フラッシュ画像を用いる形態)であっても良い。また、本実施形態においても、第1、第2の実施形態で変形例を適用することができる。
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (16)
- ストロボ光が発光された状態で撮像された発光画像と、ストロボ光が発光されていない状態で撮像された非発光画像とを取得する取得手段と、
複数の前記非発光画像の画素情報の変化に基づいて、前記発光画像において動きのある被写体の領域を検出する検出手段と、
前記発光画像と、前記非発光画像に基づく画像とを合成する合成手段と、
前記発光画像と前記複数の非発光画像とを合成した画像を、前記非発光画像に基づく画像として生成する生成手段と、を有し、
前記生成手段は、前記発光画像および前記複数の非発光画像のうち基準となる画像と、前記発光画像および前記複数の非発光画像のうち前記基準となる画像と異なる画像とを合成し、合成した画像と、前記基準となる画像と異なる画像のうち合成していない画像とを合成することを、前記発光画像と前記複数の非発光画像とを目標回数分合成するまで繰り返し行うことを特徴とする画像処理装置。 - 前記生成手段は、前記基準となる画像の画素情報と、前記基準となる画像と異なる画像の画素情報との差分に応じて、既に合成されている画像と、当該基準となる画像と異なる画像とを合成する割合を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記検出手段は、前記発光画像の画素情報と前記複数の非発光画像のうちの1つの前記非発光画像の画素情報との差分を示す画像である第1の差分画像を導出することと、前記複数の非発光画像のうちの2つの非発光画像の画素情報の差分を示す画像である第2の差分画像を少なくとも1つ導出することと、前記第2の差分画像に基づいて、前記第1の差分画像から、動きのある被写体の領域を検出することとを少なくとも行うことを特徴とする請求項1または2に記載の画像処理装置。
- 前記発光画像の背景の領域の明るさが前記非発光画像の明るさに近づくように前記発光画像の明るさを調整する調整手段を更に有し、
前記検出手段は、前記調整手段により明るさが調整された前記発光画像の画素情報と前記複数の非発光画像のうちの1つの前記非発光画像の画素情報との差分を示す画像を前記第1の差分画像として導出することを特徴とする請求項3に記載の画像処理装置。 - 前記検出手段は、2つの前記非発光画像の画素情報の差分に基づいて当該2つの前記非発光画像における被写体の動きを示す動きベクトルを導出し、導出した動きベクトルに基づいて、前記発光画像において動きのある被写体の領域を検出することを特徴とする請求項1~4の何れか1項に記載の画像処理装置。
- 前記検出手段は、前記2つの非発光画像の領域であって、当該2つの非発光画像の画素情報に閾値を上回る差分がある領域の大きさに応じて、当該2つの非発光画像における被写体の動きを示す動きベクトルを検出する範囲を変更することを特徴とする請求項5に記載の画像処理装置。
- 前記検出手段は、前記動きベクトルに基づいて、前記発光画像と前記複数の非発光画像のうちの1つの前記非発光画像との間における被写体の動きを予測する予測ベクトルを導出し、当該予測ベクトルに基づいて、前記発光画像において動きのある被写体の領域を検出することを特徴とする請求項5または6に記載の画像処理装置。
- 前記検出手段は、前記発光画像の画素情報と前記複数の非発光画像のうちの1つの前記非発光画像の画素情報との差分を示す第1の差分画像と、前記予測ベクトルとに基づいて、前記発光画像において動きのある被写体の領域を検出することを特徴とする請求項7に記載の画像処理装置。
- 前記複数の非発光画像の数は、3以上であることを特徴とする請求項1~8の何れか1項に記載の画像処理装置。
- 前記複数の非発光画像の位置を合わせる位置合わせ手段を更に有することを特徴とする請求項1~9の何れか1項に記載の画像処理装置。
- 前記非発光画像は、画面に表示するための画像であり、
前記発光画像は、撮影指示に基づいて本撮影された画像であることを特徴とする請求項1~10の何れか1項に記載の画像処理装置。 - 前記非発光画像と前記発光画像は、撮影指示に基づいて本撮影された画像であることを特徴とする請求項1~9の何れか1項に記載の画像処理装置。
- 前記検出手段は、撮像装置からの前記ストロボ光の発光距離を示す情報と、前記非発光画像における被写体の撮像装置からの距離を示す情報とに基づいて、前記発光画像において動きのある被写体の領域を検出する範囲を決定することを特徴とする請求項1~12の何れか1項に記載の画像処理装置。
- 前記画素情報は、明るさまたは色差を示す情報であることを特徴とする請求項1~13の何れか1項に記載の画像処理装置。
- ストロボ光が発光された状態で撮像された発光画像と、ストロボ光が発光されていない状態で撮像された非発光画像とを取得する取得工程と、
複数の前記非発光画像の画素情報の変化に基づいて、前記発光画像において動きのある被写体の領域を検出する検出工程と、
前記発光画像と、前記非発光画像に基づく画像とを合成する合成工程と、
前記発光画像と前記複数の非発光画像とを合成した画像を、前記非発光画像に基づく画像として生成する生成工程と、を有し、
前記生成工程においては、前記発光画像および前記複数の非発光画像のうち基準となる画像と、前記発光画像および前記複数の非発光画像のうち前記基準となる画像と異なる画像とを合成し、合成した画像と、前記基準となる画像と異なる画像のうち合成していない画像とを合成することを、前記発光画像と前記複数の非発光画像とを目標回数分合成するまで繰り返し行うことを特徴とする画像処理方法。 - 請求項1~14の何れか1項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223680A JP6995582B2 (ja) | 2017-11-21 | 2017-11-21 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223680A JP6995582B2 (ja) | 2017-11-21 | 2017-11-21 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019096995A JP2019096995A (ja) | 2019-06-20 |
JP6995582B2 true JP6995582B2 (ja) | 2022-01-14 |
Family
ID=66972140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017223680A Active JP6995582B2 (ja) | 2017-11-21 | 2017-11-21 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6995582B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017201455A (ja) | 2016-05-02 | 2017-11-09 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体 |
-
2017
- 2017-11-21 JP JP2017223680A patent/JP6995582B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017201455A (ja) | 2016-05-02 | 2017-11-09 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2019096995A (ja) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101605419B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP2014044345A (ja) | 撮像装置 | |
US9398230B2 (en) | Imaging device and imaging method | |
JP2016143022A (ja) | 撮像装置及び撮像方法 | |
CN104243863A (zh) | 拍摄装置、拍摄方法 | |
JP2017129828A (ja) | 撮像装置および撮像方法 | |
TWI477887B (zh) | 影像處理裝置、影像處理方法及記錄媒體 | |
JP2010136058A (ja) | 電子カメラおよび画像処理プログラム | |
JP2020017807A (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 | |
US8040380B2 (en) | Image-taking apparatus | |
KR20170011555A (ko) | 디지털 촬영 장치 및 그 방법 | |
JP6761230B2 (ja) | 画像処理装置、その制御方法、プログラム及び撮像装置 | |
JP6995582B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6718256B2 (ja) | 画像処理装置、撮像装置およびそれらの制御方法ならびにプログラム | |
JP2015232620A (ja) | 撮像装置、制御方法およびプログラム | |
JP5188293B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2023165555A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP2009033289A (ja) | 撮像装置及び撮像方法 | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP6210836B2 (ja) | 撮像装置、撮像制御装置、その制御方法およびプログラム | |
JP4665826B2 (ja) | 撮像装置および画像処理プログラム | |
JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
JP7134601B2 (ja) | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 | |
JP5962974B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP6757245B2 (ja) | 動画再生装置、撮像装置、動画再生方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6995582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |