JP2023033355A - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP2023033355A JP2023033355A JP2022212105A JP2022212105A JP2023033355A JP 2023033355 A JP2023033355 A JP 2023033355A JP 2022212105 A JP2022212105 A JP 2022212105A JP 2022212105 A JP2022212105 A JP 2022212105A JP 2023033355 A JP2023033355 A JP 2023033355A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- focus
- distance
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】様々な被写界深度を有する画像の撮影を支援する画像処理装置及びその制御方法を提供すること。【解決手段】 画像処理装置は、画像に撮影されたシーンの距離の分布を表す距離情報を取得する。そして、画像処理装置は、距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する。【選択図】図3
Description
本発明は、画像処理装置およびその制御方法に関する。
被写界深度が浅い(狭い)条件で主被写体を撮影することにより背景や前景をボカし、主被写体を協調した画像を得る方法が知られている。また、前景と背景についてはボケた画像を、主被写体については合焦した画像を取得して合成することにより、指定した仮想の絞り値に対応した被写界深度の画像を生成する方法も提案されている(特許文献1)。
特許文献1の方法を用いることで、撮影環境や撮像装置による制約を受けない被写界深度の画像を得ることができる。しかしながら、被写界深度は絞り値だけでなく、合焦距離やレンズの焦点距離(画角)にも依存するため、所望の画像を得るために設定する仮想の絞り値を決定することは容易でない。また、複数枚の画像を合成するため、被写体が動くと合成画像の品質が低下する。
本発明はこのような従来技術の課題に鑑みてなされたものである。したがって、本発明の目的は、様々な被写界深度を有する画像の撮影を支援する画像処理装置及びその制御方法を提供することにある。
上述の目的は、撮影された画像と、画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、を有することを特徴とする画像処理装置によって達成される。
本発明によれば、様々な被写界深度を有する画像の撮影を支援する画像処理装置及びその制御方法を提供することができる。
以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能ブロックは、プログラマブルロジックや回路部品といったハードウェア、プログラマブルプロセッサが実行可能なソフトウェア、またはそれらハードウェアとソフトウェアとの組み合わせによって実現することができる。また、1つの機能ブロックは複数のハードウェアで実現されてもよい。また、1つのハードウェアが複数の機能ブロックを実現してもよい。また、1つ以上の機能ブロックは、1つ以上のプログラマブルプロセッサ(CPU、MPUなど)がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、デジタルカメラは本発明を適用可能な画像処理装置の一例にすぎない。本発明は任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。なお、本発明には撮影機能は必須でなく、外部の撮像装置から画像を取得して撮影条件を決定し、外部の撮像装置による撮影動作を制御する装置で実施することもできる。
(デジタルカメラの構成)
図1は実施形態に係るデジタルカメラ100の機能構成例を示すブロック図である。デジタルカメラ100は動画および静止画の撮影ならびに記録が可能である。デジタルカメラ100内の各機能ブロックは、バス160を介して互いに通信可能に接続されている。デジタルカメラ100の動作は、主制御部151が有する1つ以上のプログラマブルプロセッサが例えばROM155に記憶されているプログラムをRAM154に読み込んで実行し、各機能ブロックを制御することにより実現される。また、特に記載が無い限り、各機能ブロックは、ASICなどのハードウェア回路、もしくは、1つ以上のプログラマブルプロセッサがプログラムをメモリに読み込んで実行することにより実現することができる。
図1は実施形態に係るデジタルカメラ100の機能構成例を示すブロック図である。デジタルカメラ100は動画および静止画の撮影ならびに記録が可能である。デジタルカメラ100内の各機能ブロックは、バス160を介して互いに通信可能に接続されている。デジタルカメラ100の動作は、主制御部151が有する1つ以上のプログラマブルプロセッサが例えばROM155に記憶されているプログラムをRAM154に読み込んで実行し、各機能ブロックを制御することにより実現される。また、特に記載が無い限り、各機能ブロックは、ASICなどのハードウェア回路、もしくは、1つ以上のプログラマブルプロセッサがプログラムをメモリに読み込んで実行することにより実現することができる。
撮影レンズ101(レンズユニット)は、固定1群レンズ102、ズームレンズ111、絞り103、固定3群レンズ121、フォーカスレンズ131、ズームモータ(ZM)112、絞りモータ(AM)104、およびフォーカスモータ(FM)132を有する。固定1群レンズ102、ズームレンズ111、絞り103、固定3群レンズ121、フォーカスレンズ131は撮影光学系を構成する。なお、便宜上レンズ102、111、121、131を1枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ101は撮像装置100から取り外し可能な交換レンズとして構成されてもよい。
絞り制御部105は、主制御部151の命令にしたがって絞りモータ104の動作を制御し、絞り103の開口径を変更する。
ズーム制御部113は、主制御部151の命令にしたがってズームモータ112の動作を制御し、撮影レンズ101の焦点距離(画角)を変更する。
ズーム制御部113は、主制御部151の命令にしたがってズームモータ112の動作を制御し、撮影レンズ101の焦点距離(画角)を変更する。
フォーカス制御部133は、例えば撮像素子141から得られる1対の焦点検出用信号の位相差に基づいて撮影レンズ101のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部133は、デフォーカス量およびデフォーカス方向をフォーカスモータ132の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部133はフォーカスモータ132の動作を制御し、フォーカスレンズ131を駆動することにより、撮影レンズ101の焦点状態を制御する。
このように、フォーカス制御部133は位相差検出方式の自動焦点検出(AF)を実施するが、フォーカス制御部133は撮像素子141から得られる画像信号のコントラスト評価値に基づくコントラスト検出方式のAFを実行してもよい。また、撮像素子141とは別個に設けたAFセンサから得られる焦点検出用信号を用いて位相差検出方式のAFを実行してもよい。なお、フォーカス制御部133におけるAF動作において、後述する画像処理部152が検出する主被写体の領域に焦点検出領域を設定することができる。
撮影レンズ101によって撮像素子141の結像面に形成される被写体像は、撮像素子141に配置された複数の画素のそれぞれが有する光電変換素子により電気信号(画像信号)に変換される。本実施形態では、撮像素子141に、水平方向にm、垂直方向にn(n,mは複数)の画素が行列状に配置されており、各画素には2つの光電変換素子(光電変換領域)が設けられている。撮像素子141からの信号読み出しは、主制御部151からの指示に従ってセンサ制御部143が制御する。
個々の画素が有する2つの光電変換領域を領域Aおよび領域Bと呼び、個々の画素の領域Aから読み出した画像信号群からなる画像をA画像、個々の画素の領域Bから読み出した画像信号群からなる画像をB画像と呼ぶ。また、A画像とB画像を画素単位で加算した画像をA+B画像と呼ぶ。A画像とB画像は視差画像対を形成する。表示や記録にはA+B画像を用いる。また、位相差検出方式のAFに用いる焦点検出用信号の生成や、距離マップの生成にはA画像とB画像を用いる。
撮像素子141から読み出された画像信号は信号処理部142に供給される。信号処理部142は、画像信号にノイズ低減処理、A/D変換処理、自動利得制御処理などの信号処理を適用し、画像データとしてセンサ制御部143に出力する。センサ制御部143は信号処理部142から受信した画像データをRAM(ランダム・アクセス・メモリ)154に蓄積する。
RAM154に保存された画像データを記録する場合、主制御部151は画像データに例えば所定のヘッダを追加するなどして、記録形式に応じたデータファイルを生成する。この際、主制御部151は必要に応じて圧縮解凍部153で画像データを符号化し、符号化データをデータファイルに格納する。主制御部151は、生成したデータファイルを例えばメモリカードのような記録媒体157に記録する。
また、RAM154に保存された画像データを表示する場合、主制御部151は表示部150での表示サイズに適合するように画像データを画像処理部152でスケーリングした後、RAM154のうちビデオメモリとして用いる領域(VRAM領域)に書き込む。表示部150は、RAM154のVRAM領域から表示用の画像データを読み出し、例えばLCDや有機ELディスプレイなどの表示装置に表示する。表示部150では、画像処理部152が検出した主被写体(動体)の検出結果(主被写体領域を示す枠など)も表示する。
デジタルカメラ100は、動画撮影時(撮影スタンバイ状態や動画記録中)に、撮影された動画を表示部150に即時表示することにより、表示部150を電子ビューファインダー(EVF)として機能させる。表示部150をEVFとして機能させる際に表示する動画およびそのフレーム画像を、ライブビュー画像もしくはスルー画像と呼ぶ。また、デジタルカメラ100は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間表示部150に表示する。これらの表示動作についても、主制御部151の制御によって実現される。
圧縮解凍部153は画像データを符号化したり復号したりする。例えば静止画や動画を記録する場合、予め定められた符号化方式によって画像データや音声データを符号化する。また、記録媒体157に記録された静止画データファイルや動画データファイルを再生する際、圧縮解凍部153は符号化データを復号してRAM154に格納する。
RAM154はプログラムを実行するためのシステムメモリ、ビデオメモリ、バッファメモリなどとして用いられる。
ROM155は主制御部151のプロセッサが実行可能なプログラム、各種の設定値、デジタルカメラ100の固有情報、GUIデータなどを記憶する。ROM155は電気的に書き換え可能であってよい。
ROM155は主制御部151のプロセッサが実行可能なプログラム、各種の設定値、デジタルカメラ100の固有情報、GUIデータなどを記憶する。ROM155は電気的に書き換え可能であってよい。
操作部156は、ユーザがデジタルカメラ100に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどの入力デバイス群の総称である。操作部156を通じた入力はバス160を通じて主制御部151が検知し、主制御部151は入力に応じた動作を実現するために各部を制御する。
主制御部151は例えばCPUやMPUなどのプログラマブルプロセッサを1つ以上有し、例えばROM155に記憶されたプログラムをRAM154に読み込んで実行することにより各部を制御し、デジタルカメラ100の機能を実現する。主制御部151はまた、被写体輝度の情報に基づいて露出条件(シャッタースピードもしくは蓄積時間、絞り値、感度)を自動的に決定するAE処理を実行する。被写体輝度の情報は例えば画像処理部152から取得することができる。主制御部151は、例えば人物の顔など、特定被写体の領域の輝度情報に基づいて露出条件を決定することもできる。
主制御部151は、動画撮影時には絞り103は固定とし、電子シャッタスピード(蓄積時間)とゲインの大きさで露出を制御する。主制御部151は決定した蓄積時感とゲインの大きさをセンサ制御部143に通知する。センサ制御部143は通知された露出条件に従った撮影が行われるように撮像素子141の動作を制御する。
距離マップ生成部161(距離検出手段)は、例えばRAM154に保存された画像データを用いて距離マップを生成する。距離マップは、撮影範囲内に存在する物体のデジタルカメラ100からの距離(被写体距離)の分布を示す情報である。距離マップは例えば輝度値が被写体距離を表す2次元画像の形態であってよく、デプスマップ距離画像、奥行き画像などと呼ばれることもある。距離マップは公知の方法で生成することができる。例えば、距離マップ生成部161は、視差画像(上述したA画像およびB画像)の像ズレ量から各画素位置におけるデフォーカス量(フォーカスレンズの合焦位置からのズレ量およびズレの方向)を求めることができる。デフォーカス量は現在の被写体距離を基準としたピントのズレ量を表すので、デフォーカス量を距離情報と見なすことができる。もちろん、デフォーカス量に基づいてフォーカスレンズの合焦位置を求め、合焦位置に対応する被写体距離を求めてもよい。なお、撮像装置100をステレオカメラのような多眼カメラとして視差画像を取得してもよいし、記憶媒体や外部装置から視差画像を取得してもよい。
また、距離マップは視差画像を用いずに生成することもできる。コントラスト評価値が極大となるフォーカスレンズ位置を画素ごとに求めることで、画素ごとに被写体距離を取得することができる。また、合焦距離を変えて同一シーンを複数回撮影して得られる画像データと光学系の点像分布関数(PSF)とから、ボケ量と距離との相関関係に基づいて画素ごとの距離情報を求めることもできる。距離マップ生成部161は、画像全体に対して距離マップを生成してもよいし、画像のうち、動体検出に必要な部分領域に対してだけ距離マップを生成してもよい。距離マップ生成部161は、生成した距離マップをRAM154に保存する。距離マップは画像処理部152から参照される。
さらに、距離マップ生成部161は、距離マップに領域ごとに信頼度を算出し、距離マップとともに保存することができる。信頼度の算出方法には特に制限はない。例えば、視差画像を用いて距離マップを生成する際、視差画像間の像ズレ量を求めるために、相対的なシフト量を変えながら例えばSADなどの相関量(類似度)を演算し、相関が最大(相関量が最小)になるシフト量を像ズレ量として検出する。算出した相関量の平均値と最大値との差が大きい程、検出した像ズレ量(デフォーカス量)の信頼度は高いと考えられる。したがって、各画素位置で算出した相関量の平均値と最大値との差を、その画素位置信頼度として用いることができる。なお、距離マップ生成部161は、被写体距離やその信頼度を、画素ごとに求める代わりに小領域(画素ブロック)ごとに求めて距離マップを生成してもよい。
シーン解析部162は、距離マップ生成部161が生成した距離マップと、距離マップの生成に用いた画像とその撮像条件とから、撮影シーンを解析する。シーン解析部162はシーン解析により、例えば、合焦している被写体の位置(像高)とコントラスト情報、および、被写体の認識情報を取得する。例えばシーン解析部162は、距離マップから、合焦している被写体領域が存在する位置(像高)の範囲を検出する。また、シーン解析部162は、合焦している被写体領域の画像に対してバンドパスフィルタを適用してエッジ強度を検出し、その積分値をコントラスト情報として取得することができる。また、シーン解析部162は、画像処理部152による被写体検出結果に基づいて、合焦している被写体領域が人体であるか否かを判定し、判定結果を認識情報とする。シーン解析部162は、取得した情報をRAM154に保存する。
ボケ量算出部163は、RAM154に保存されたシーン解析結果に基づいて、背景(非合焦被写体)のボケ量を算出する。ボケ量算出部163の動作の詳細については後述する。
画像処理部152は、RAM154に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部152が適用する画像処理には、ホワイトバランス調整処理、色補間(デモザイク)処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。さらに、画像処理部152は特定の特徴を有する領域を被写体領域として検出する。特定の特徴を有する領域は、例えば人体の領域や、人間の顔領域であってよい。
検出した被写体領域に関する情報を、他の画像処理(例えばホワイトバランス調整処理や被写体の輝度情報の生成処理など)に利用してもよい。なお、フォーカス制御部133がコントラスト検出方式のAFを行う場合、コントラスト評価値を画像処理部152が生成してフォーカス制御部133に供給することができる。画像処理部152は、処理した画像データや、被写体領域に関する情報などをRAM154に保存する。
図2は、本実施形態のデジタルカメラ100のフォーカスブラケットモードにおける撮影動作に関するフローチャートである。フォーカスブラケットモードは例えば操作部156を通じたメニュー画面の操作によって設定されてよい。
図2に示す処理は、撮影スタンバイ状態において例えば操作部156を通じて撮影準備指示が入力されたことに応じて実行されてよい。撮影準備指示は例えばシャッターボタンの半押しであってよい。撮影スタンバイ状態では動画撮影が実施され、表示部150がEVFとして機能しているものとする。
S201で主制御部151は、EVF表示用に撮影された動画像のデータを距離マップ生成部161に供給し、距離マップ生成部161は距離情報を生成する。なお、距離マップの生成方法に応じて主制御部151は、フォーカス制御部133を通じてフォーカスレンズ131を駆動したり、上述したA画像とB画像のデータを距離マップ生成部161に供給したりする。距離マップ生成部161は、生成した距離情報をシーン解析部162に出力する。また、主制御部151は、上述したA+B画像を画像処理部152に供給する。画像処理部152は、A+B画像に対して被写体検出処理を適用し、検出された被写体領域ごとの、位置、大きさ、信頼度などを被写体検出結果として生成する。また、画像処理部152は、A+B画像から、EVF表示用の画像を生成する。
S202でシーン解析部162は、距離マップ生成部161から距離情報を取得する。また、シーン解析部162は、距離マップの生成に用いられた画像の撮影条件(合焦距離、絞り値、シャッタースピード、撮影感度など)を主制御部151から取得する。さらにシーン解析部162は、被写体領域の検出結果を画像処理部152から取得する。
S203でシーン解析部162はシーン解析処理を実行する。シーン解析部162はまず、距離情報を用いて距離範囲を複数に分割する。この際、シーン解析部162は、例えば距離情報から被写体距離のヒストグラムを生成し、生成したヒストグラムに基づいて距離範囲を分割することができる。ヒストグラムの階級数は予め定めておくことができる。シーン解析部162は、例えば、ヒストグラムの度数にピーク(極大点)が存在する場合には、各ピークを被写体の代表距離として、ピークを1つずつ含むように距離範囲を分割することができる。なお、ヒストグラムのピークは、信号波形のピーク検出と同様の方法を利用して検出することができる。
例えば、図3のヒストグラム501の度数には3つのピーク322~324が存在する。そのため、シーン解析部162は、各ピークから近距離側でカウント値が最初に極小となる位置で距離範囲を分割する(範囲1~範囲3)。
一方、図4のようにピークが1つの場合、シーン解析部162は、ピークを含んだ距離範囲(範囲1)以外の距離範囲(背景の距離範囲)について、複数に分割することができる。例えばシーン解析部162は、背景の距離範囲を予め定められた距離ごとに分割してもよい。あるいは、分割単位を条件に応じて異ならせてもよい。例えば、シーン解析部162は、合焦被写体の距離が至近(所定の距離以下)である場合には、そうでない場合よりも細かく分割することができる。これにより、マクロ撮影時のように被写界深度の浅い撮影において、被写界深度を細かく制御したブラケット撮影が実現できる。
また、例えば背景の距離範囲に、変動の少ないカウント値が連続する距離区間がある場合、その区間が同一被写体に対応するのか、複数の被写体に対応するのかによって分割方法を異ならせてもよい。同一被写体に対応すると判定される場合、シーン解析部162は通常よりも細かく分割することができる。一方、異なる被写体に対応すると判定される場合、シーン解析部162は1つの区間に2つの被写体が含まれないように分割することができる。なお、距離ヒストグラムにおけるある距離範囲が同一被写体に対応するか否かは、距離マップにおいてその距離範囲に属する画素の分布に基づいて判定することができる。例えば、分布がある範囲に集中していれば、同一被写体に対応するものと判定することができる。
次に、シーン解析部162は、画像内の被写体領域の位置や大きさ、コントラストを解析する。シーン解析部162は、例えば距離情報のヒストグラムのピークごとに、ピーク位置を含む所定距離範囲に存在する被写体を検出し、被写体の領域および画像中における位置を検出することができる。なお、ここでは被写体領域の位置を、被写体領域の代表位置(例えば重心位置)の像高として検出するものとする。像高は、撮像光学系の光軸と撮像面との交点を原点とした距離である。また、シーン解析部162は、検出した被写体の領域のそれぞれが人物の領域であるか否かを、画像処理部152による被写体検出結果に基づいて判定する。なお、シーン解析部162は、距離情報を用いて画像中の被写体領域およびその位置を検出する代わりに、画像処理部152が検出した被写体領域とその位置を用いてもよい。
また、シーン解析部162は、被写体領域のそれぞれについてのコントラスト情報を取得する。コントラスト情報は例えばエッジ強度の情報であってよい。シーン解析部は、被写体領域内の所定サイズの矩形領域の各画素に対して空間バンドパスフィルタ処理を適用して算出したエッジ強度の積分値を被写体領域のコントラスト情報とする。このコントラスト情報は以下の式(1)によって表すことができ、コントラスト情報の値が大きいほど、被写体領域のコントラストが高いことを示す。
fr(i,j):個々の画素のエッジ強度値
Fr:コントラスト情報
Fr:コントラスト情報
そして、シーン解析部162は、分割した距離範囲の情報と、被写体領域ごとの画像内の位置、コントラスト情報、人物の領域と判定されたか否かの情報とを、シーン情報としてボケ量算出部163に出力する。
S204でボケ量算出部163は、シーン情報に基づいて、非合焦被写体もしくは分割範囲ごとのボケ量を算出する。ボケ量算出部163は、シーン情報のうち、1つ以上に基づいてボケ量を算出することができる。
まず、合焦している被写体領域の位置に基づくボケ量の算出例について説明する。ボケ量算出部163は例えば、シーン情報のうち、コントラスト情報が最も大きな被写体領域を合焦している被写体領域と見なすことができる。
まず、合焦している被写体領域の位置に基づくボケ量の算出例について説明する。ボケ量算出部163は例えば、シーン情報のうち、コントラスト情報が最も大きな被写体領域を合焦している被写体領域と見なすことができる。
図6は、合焦被写体領域602の位置(像高)が小さい撮像画像601、合焦被写体領域612の位置(像高)が大きい撮像画像611、画像での像高位置621をそれぞれ示す。像高は画像(撮像素子)と撮像光学系の光軸との交点を原点とした距離である。ここでは撮像素子と光軸とが撮像素子の中心で交わるものとする。また、画像座標を、画像の左上角の画素623の座標を原点(0,0)とした直交座標系で表すものとする。
この場合、画像の4頂点で像高は最大となり、画像サイズを水平M画素、垂直N画素とすると、像高の最大値HmaxはHmax=√(M2+N2)/2である。また、合焦被写体の位置624(x,y)の像高HsはHs=√(|(x-1)-M/2|2+|(y-1)-N/2|2)である。ここでは、像高の大きさを、最大値を10割(100%)とした割合Hs/Hmax×100[%]で評価するものとする。
合焦被写体領域の像高が小さい場合(例えば0≦像高≦30%)は、合焦被写体が画像の中心付近に存在している。この場合、撮影者は主に合焦被写体に着目して撮影している可能性が高いと考えられる。そのため、ボケ量算出部163は、非合焦被写体のボケ量が大きくなる条件でブラケット撮影されるようなボケ量を算出する。これにより、合焦被写体が目立つ撮像画像が得られる。
一方で、合焦被写体領域の像高が大きい(例えば30%<像高)場合、撮影者は合焦被写体だけでなく、その背景(非合焦被写体)にも着目して撮影している可能性が高いと考えられる。そのため、非合焦被写体についてもぼけが小さくなる条件でブラケット撮影されるようなボケ量を算出する。これにより、背景の情報も活かした撮像画像が得られる。
図5の501は、合焦被写体領域の位置(像高)と、ボケ量算出部163が算出する背景(非合焦被写体)のボケ量δとの関係例を示している。ここでは、合焦被写体領域の像高[%]に閾値th1、th2を設定し、
・0≦像高[%]<th1ではボケ量δを最大(上限値)
・th2<像高[%]≦100ではボケ量δを最小(下限値)
・th1≦像高[%]≦th2ではボケ量δを像高に反比例して低減させる
例を示している。なお、th1、th2は予め、例えば実験的に求めることができる。なお、基本的に像高が小さい範囲において背景のボケ量が大きくなる様な特性であれば、像高とボケ量δの関係は501に示した関係に限定されない。
・0≦像高[%]<th1ではボケ量δを最大(上限値)
・th2<像高[%]≦100ではボケ量δを最小(下限値)
・th1≦像高[%]≦th2ではボケ量δを像高に反比例して低減させる
例を示している。なお、th1、th2は予め、例えば実験的に求めることができる。なお、基本的に像高が小さい範囲において背景のボケ量が大きくなる様な特性であれば、像高とボケ量δの関係は501に示した関係に限定されない。
次に、非合焦被写体領域のコントラスト値に基づくボケ量の算出例について説明する。非合焦被写体領域のコントラスト値が大きい場合、ボケ量算出部163は、合焦被写体を目立たせるよりも非合焦被写体のコントラストを残すことを優先し、非合焦被写体のぼけを小さくする。一方、非合焦被写体領域のコントラスト値が小さい場合、ボケ量算出部163は、非合焦被写体のコントラストを残すよりも合焦被写体を目立たせることを優先し、非合焦被写体のぼけを大きくする。
図5の502は、非合焦被写体領域のコントラスト値Frと、ボケ量算出部163が算出する背景のボケ量δとの関係例を示している。ここでは、非合焦被写体のコントラスト値Frに閾値th3、th4を設定し、
・0≦非合焦被写体領域のコントラスト値Fr<th3ではボケ量δを最大(上限値)
・th4<非合焦被写体領域のコントラスト値Fr≦100ではボケ量δを最小(下限値)
・th3≦非合焦被写体領域のコントラスト値Fr≦th4ではボケ量δを非合焦被写体領域のコントラスト値Frに反比例して低減させる
例を示している。なお、th3、th4は予め、例えば実験的に求めることができる。なお、ここでは非合焦被写体領域のコントラスト値が第1の値の場合のボケ量が、第1の値よりも小さな第2の値の場合のボケ量以下になるようにボケ量を算出する例を示したが、これは単なる一例である。
・0≦非合焦被写体領域のコントラスト値Fr<th3ではボケ量δを最大(上限値)
・th4<非合焦被写体領域のコントラスト値Fr≦100ではボケ量δを最小(下限値)
・th3≦非合焦被写体領域のコントラスト値Fr≦th4ではボケ量δを非合焦被写体領域のコントラスト値Frに反比例して低減させる
例を示している。なお、th3、th4は予め、例えば実験的に求めることができる。なお、ここでは非合焦被写体領域のコントラスト値が第1の値の場合のボケ量が、第1の値よりも小さな第2の値の場合のボケ量以下になるようにボケ量を算出する例を示したが、これは単なる一例である。
次に、合焦被写体領域が人物の領域であると判定されている場合の背景(非合焦被写体)のボケ量の算出例について説明する。合焦被写体領域が人物の領域であると判定されており、かつ、合焦被写体領域の画像全体に占める割合が大きい(例えば50%以上の)場合、合焦被写体に着目して撮影している可能性が高い。この場合、合焦被写体領域の像高が小さい場合と同ように、背景(非合焦被写体)のボケ量を大きく算出して、合焦被写体が目立つ画像が得られるようにする。
例えば、ボケ量算出部163は、
・50≦合焦被写体が画像に占める割合[%]ではボケ量δを最大(上限値)
・合焦被写体が画像に占める割合[%]<50ではボケ量δを合焦被写体が画像に占める割合[%]に比例して低減させる
ようにボケ量δを算出することができる。
・50≦合焦被写体が画像に占める割合[%]ではボケ量δを最大(上限値)
・合焦被写体が画像に占める割合[%]<50ではボケ量δを合焦被写体が画像に占める割合[%]に比例して低減させる
ようにボケ量δを算出することができる。
なお、合焦被写体領域が人物の領域であると判定され、かつ距離ヒストグラムにおける合焦被写体領域のカウント値のピークが非合焦被写体のカウント値のピークよりも大きい場合には、合焦被写体領域を主被写体とした撮影である可能性が高いと判定してもよい。例えば、図3の321に示す様な距離ヒストグラムが得られている場合が該当する。
この場合、ボケ量算出部163は、
・th5<合焦被写体が画像に占める割合[%]ではボケ量δを最大(上限値)
・合焦被写体が画像に占める割合[%]<th6ではボケ量δを最小(下限値)
・th6≦合焦被写体が画像に占める割合[%]≦th5ではボケ量δを合焦被写体が画像に占める割合[%]に比例して増加させる
ようにボケ量δを算出することができる。なお、th5、th6は予め、例えば実験的に求めることができる。
・th5<合焦被写体が画像に占める割合[%]ではボケ量δを最大(上限値)
・合焦被写体が画像に占める割合[%]<th6ではボケ量δを最小(下限値)
・th6≦合焦被写体が画像に占める割合[%]≦th5ではボケ量δを合焦被写体が画像に占める割合[%]に比例して増加させる
ようにボケ量δを算出することができる。なお、th5、th6は予め、例えば実験的に求めることができる。
一方、合焦被写体領域が人物の領域であると判定されていない場合には、合焦被写体の距離や、被写体の距離分布に基づいて、シーン解析によって分割された距離範囲ごとに背景のボケ量を算出することができる。
例えば、合焦被写体までの距離が非常に近い(例えば30cm以下の)場合、マクロ撮影している可能性が高い。マクロ撮影のような至近撮影では被写界深度が非常に浅くなる。そのため、基本的に背景のボケ量δは小さく算出する。
例えば、合焦被写体までの距離が非常に近い(例えば30cm以下の)場合、マクロ撮影している可能性が高い。マクロ撮影のような至近撮影では被写界深度が非常に浅くなる。そのため、基本的に背景のボケ量δは小さく算出する。
例えば、ボケ量算出部163は、
・最短撮影可能距離=合焦被写体の距離でボケ量δが下限値となり、
・合焦被写体の距離=th7でボケ量δが予め定めた値(例えば上限値/3)となり、
・最短撮影可能距離<合焦被写体の距離<th7の範囲では、合焦被写体の距離に比例してボケ量δが増加する
ようにボケ量δを算出することができる。なお、th7は例えばレンズの最短撮影距離+1mなどとして予め定めることができる。このように、至近撮影と判定される場合には、ボケ量δの最大値が上限値よりも小さくなる範囲でボケ量を算出する。これにより、被写界深度の浅い至近撮影において、被写界深度を細かく制御したブラケット撮影が実現できる。
・最短撮影可能距離=合焦被写体の距離でボケ量δが下限値となり、
・合焦被写体の距離=th7でボケ量δが予め定めた値(例えば上限値/3)となり、
・最短撮影可能距離<合焦被写体の距離<th7の範囲では、合焦被写体の距離に比例してボケ量δが増加する
ようにボケ量δを算出することができる。なお、th7は例えばレンズの最短撮影距離+1mなどとして予め定めることができる。このように、至近撮影と判定される場合には、ボケ量δの最大値が上限値よりも小さくなる範囲でボケ量を算出する。これにより、被写界深度の浅い至近撮影において、被写界深度を細かく制御したブラケット撮影が実現できる。
また、ボケ量算出部163は、同一被写体に対応する複数の距離範囲については、ボケの絶対量が小さい範囲で変化するように個々の距離範囲についてボケ量δを算出する。
一方、異なる被写体に対応する距離範囲については、被写体ごとにボケ量の差が明確になるようにボケ量δに差を付けて算出する。
一方、異なる被写体に対応する距離範囲については、被写体ごとにボケ量の差が明確になるようにボケ量δに差を付けて算出する。
以上のようにして非合焦被写体もしくは分割範囲ごとに算出した1つ以上のボケ量δから、ボケ量算出部163は最終的にブラケット撮影条件を決定するためのボケ量Δを算出する。ボケ量算出部163はボケ量Δを例えば以下の式(2)を用いて算出することができる。ここでのαnは、算出した情報毎のボケ量に設定された重み、nは取得された情報の数を表している。重みαnは、ボケ量Δの算出に用いるボケ量δの組み合わせに応じて予め定められており、例えばROM155に記憶されているものとする。重みは、重みαnは、複数のボケ量δそれぞれの優先度に応じて決定することができる。
δn:情報毎に決定したボケ量
Δ:撮影で使用するボケ量
Δ:撮影で使用するボケ量
例えば、合焦被写体の像高が大きく、非合焦被写体のコントラストが高い場合、合焦被写体に隠されていない非合焦被写体の領域が大きく、非合焦被写体のコントラストを残して撮影することが好適と考えられる。上述したように、合焦被写体の像高が大きい場合も、非合焦被写体のコントラストが高い場合も、非合焦被写体のボケ量δは小さく算出される。したがって、このような組み合わせの場合、非合焦被写体のボケ量Δも小さくなる。
一方、合焦被写体の像高が小さく、非合焦被写体のコントラストが低い場合、非合焦被写体の多くが合焦被写体に隠されており、非合焦被写体のコントラストを残す必要性が小さいと考えられる。上述したように、合焦被写体の像高が小さい場合も、非合焦被写体のコントラストが低い場合も、非合焦被写体のボケ量δは大きく算出される。したがって、このような組み合わせの場合、非合焦被写体のボケ量Δも大きくなる。
S205で主制御部151は、ボケ量算出部163で算出したボケ量Δ、カメラ情報入力部102から取得したカメラ情報、距離情報入力部103から取得した被写体距離情報を基に、ブラケット撮影で用いる複数の絞り値を算出する。図7は被写体距離と焦点距離、ボケ量の関係を示した図である。
図7において、以下の式(3)が成り立つ。
dF=Δ×S2/(S2-S1)・・・(3)
ここで、
dF:レンズの絞り口径のサイズ
Δ:ボケ量
S1:光学中心から合焦被写体の結像面までの距離
S2:光学中心から非合焦被写体の結像面までの距離
である。
dF=Δ×S2/(S2-S1)・・・(3)
ここで、
dF:レンズの絞り口径のサイズ
Δ:ボケ量
S1:光学中心から合焦被写体の結像面までの距離
S2:光学中心から非合焦被写体の結像面までの距離
である。
また、レンズの公式より式(4)、(5)が成り立つ。
S1=d1×f/(d1-f)・・・(4)
S2=d2×f/(d2-f)・・・(5)
ここで、
d1:光学中心から合焦被写体までの距離
d2:光学中心から非合焦被写体までの距離
f:撮像光学系の焦点距離
である。
S1=d1×f/(d1-f)・・・(4)
S2=d2×f/(d2-f)・・・(5)
ここで、
d1:光学中心から合焦被写体までの距離
d2:光学中心から非合焦被写体までの距離
f:撮像光学系の焦点距離
である。
式(3)~(5)より、式(6)が成り立つ。
dF=Δ×S2×(d1-f)/{f×(d1-d2)}・・・(6)
dF=Δ×S2×(d1-f)/{f×(d1-d2)}・・・(6)
また、レンズの絞り口径dFは焦点距離fと絞り値Fの関係から式(7)を用いて算出することができる。
dF=f/F・・・(7)
dF=f/F・・・(7)
式(6)に式(7)を代入し、ブラケット撮影で使用する絞り値を、式(8)を用いて決定する。
F=f2×(d1-d2)/{Δ×d2×(d1-f)}・・・(8)
F=f2×(d1-d2)/{Δ×d2×(d1-f)}・・・(8)
具体的には、主制御部151は、撮影時における撮影光学系の焦点距離fと、合焦被写体の距離d1とを式(8)に代入する。そして、非合焦被写体もしくは分割範囲ごとに、算出したボケ量Δと、距離d2を代入することにより、ブラケット撮影で用いる複数の絞り値Fを決定する。ここで、距離d1、d2は、距離ヒストグラムで分割した個々の距離範囲の代表距離であってよい。例えば、距離範囲内でカウント値が最大となる距離を代表距離として用いることができる。
なお、絞り値の算出に用いる被写体距離d1、d2を、距離マップ生成部161が視差画像に基づいて生成する場合、距離情報の精度は被写体のコントラストなどに影響を受ける。例えば、コントラストの低い被写体では距離情報の精度が低下する。そのため、ブラケット撮影で使用する絞り値の算出に用いる被写体距離情報として、信頼度の高い情報を選択することにより、式(8)で決定される絞り値の精度を向上させることができる。
図8の撮影シーン801を例にして説明すると、高コントラストである被写体領域802~804部分については信頼度が高い距離情報が算出できる。一方で、低コントラストの残りの領域については距離情報の信頼度が低下する。また、被写体のエッジ部分の画像は距離の異なる被写体を含んでいるため、距離情報の信頼度が低下する。信頼度マップ811は、撮影シーン801について距離マップ生成部161が生成する距離情報の信頼度を二値化し、信頼度が高い領域を白、信頼度が低い領域を黒で模式的に示したものである。被写体のエッジ部分と被写体領域でない領域については、コントラストが低いかエッジ部分であることから信頼度が低い。
このような場合、主制御部151は、式(8)に用いる距離d1を合焦被写体領域812内部で得られた距離情報から取得する。また、主制御部151は、式(8)に用いる距離d2を、非合焦被写体領域813および814内部で得られた距離情報から取得する。例えば、非合焦被写体1に関しては、距離マップにおいて範囲2に該当する画素のうち、領域813に含まれる画素に対応する距離に基づいて代表距離を決定することができる。
なお、例えば撮影シーンA(図3)のように、被写体ごとに距離範囲を分割した場合、ボケ量Δを算出した非合焦被写体の数よりもブラケット撮影枚数が少ないことが起こりうる。この場合、画像中で領域を大きく占めている非合焦被写体を優先してブラケット撮影の条件を決定することができる。これは、画像中に占める割合が大きい被写体は視覚的な影響が大きいからである。
例えば、距離ヒストグラム821が得られている場合、非合焦被写体1に対応する範囲2のカウント値の積分値が非合焦被写体2に対応する範囲3のカウント値の積分値よりも大きいため、非合焦被写体2よりも非合焦被写体1が優先される。なお、カウント値の積分値の代わりに、対応する最大カウント値が大きい非合焦被写体を優先してもよい。図8の例では、最大カウント値823が最大カウント値824より大きいため、非合焦被写体2よりも非合焦被写体1が優先される。なお、信頼度が高い距離情報が得られない非合焦被写体については、距離を無限遠として絞り値を算出してもよい。
また、例えば撮影シーンB(図4)のように、背景の距離範囲を所定数に分割した場合、ボケ量Δを算出した距離範囲の分割数よりもブラケット撮影枚数が少ないことが起こりうる。この場合、算出した複数の絞り値の一部を、ブラケット撮影枚数に応じて選択することができる。例えば、選択する絞り値の間隔を調整することにより、ブラケット撮影枚数を満たすように選択することができる。
主制御部151は、式(8)に基づいて算出した絞り値Fで撮影するための他の撮影条件(シャッタースピードおよび撮影感度)を決定する。絞り値Fが変わっても露出量が変わらないように、また、撮影感度はシャッタースピードが所定時間より遅くならない限り変更しないように撮影条件を決定する。例えば、撮影感度を変更せずに露出量を満たすためのシャッタースピードTvが焦点距離fの逆数(1/f)またはそれより速ければ、撮影感度は変更せず、シャッタースピードだけを変更する。撮影感度を変更せずに露出量を満たすためのシャッタースピードTvが1/fより遅くなる場合には、シャッタースピードが1/fまたはそれより速くなるように撮影感度を上げる。主制御部151は、このようにして、ブラケット撮影で用いる複数の撮影条件を決定する。
S206で主制御部151は、撮影指示(例えばシャッターボタンの全押し)を検出したか否かを調べ、撮影指示を検出していれば処理をS207に進め、検出していなければ処理をS201に戻す。
S207で主制御部151は、S205で決定した撮影条件を用いたブラケット撮影を開始する。ブラケット撮影中、主制御部151は、シーン解析時の合焦被写体への合焦を維持するようにフォーカスレンズの位置を継続的に調整する。
1回(1フレーム)の撮影が終了し、記録用の画像データをRAM154に格納すると、S208で主制御部151は、S205で決定した複数の絞り値のうち、未撮影の絞り値が残っているか否かを判定する。未撮影の絞り値が残っていれば処理をS206に戻し、残っていなければ処理をS209に進める。
S209で主制御部151は、RAM154に格納されている記録用の画像データを記録媒体157に順次記録して処理を終了する。なお、例えば表示部150にブラケット撮影で得られた画像のサムネイルを一覧表示し、記録する画像をユーザに選択させてもよい。また、ブラケット撮影した画像を別個に記録する代わりに、あるいはそれとは別に、ブラケット撮影で得られた画像を用いた合成画像を記録してもよい。
以上説明した様に、本実施形態によれば、絞り値を変更するブラケット撮影に用いる複数の絞り値を、撮影シーンに存在する被写体の距離の分布に基づいて自動的に決定するようにした。そのため、ユーザは、所望の被写界深度を有する画像を、絞り値、撮像光学系の焦点距離、被写体距離といった条件を考慮する必要なしに容易に得ることができる。
(その他の実施形態)
上述したブラケット撮影動作の実施は、明示的に被写界深度(絞り)ブラケット撮影モードが設定されている場合に限定されない。ブラケット撮影モードが設定されていない場合でも、シーン判別結果に応じて絞りブラケット撮影を行うことを決定してもよい。例えば、合焦被写体が人物であると判定される場合には絞りブラケット撮影を実施するようにしてもよい。
上述したブラケット撮影動作の実施は、明示的に被写界深度(絞り)ブラケット撮影モードが設定されている場合に限定されない。ブラケット撮影モードが設定されていない場合でも、シーン判別結果に応じて絞りブラケット撮影を行うことを決定してもよい。例えば、合焦被写体が人物であると判定される場合には絞りブラケット撮影を実施するようにしてもよい。
なお、上述の実施形態では、被写体の距離情報に基づいて算出した非合焦被写体や背景のボケ量に基づいてブラケット撮影に用いる絞り値を決定する構成について説明した。しかし、被写体の距離情報に基づいて他の方法によってブラケット撮影に用いる絞り値を決定してもよい。
例えば、合焦被写体の後ろにある非合焦被写体のうち、最も近いものが被写界深度に入らないようにブラケット撮影に用いる絞り値を決定することができる。図3に示すシーンであれば、非合焦被写体1に対応する距離範囲におけるピーク323に対応する距離が合焦被写体の被写界深度に含まれないように絞り値Fを決定することができる。これにより、非合焦被写体1(および非合焦被写体2)をボカすことができ、合焦被写体が目立つ画像を撮影することができる。
例えば、主制御部151は、シーン解析部162から合焦被写体の代表距離と、合焦被写体の後方で被写体に最も近い非合焦被写体の代表距離とを取得する。また、主制御部151は、シーン解析した画像の撮影条件のうち、少なくとも撮影光学系の焦点距離を取得する。そして、主制御部151は、代表距離の差が被写界深度以下となる絞り値を公知の式に基づいて算出する(許容錯乱円径には撮像素子141の画素ピッチを用いることができる)。主制御部151はブラケット撮影に用いる絞り値を、算出した絞り値よりも開放側の絞り値から選択する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…デジタルカメラ、101…レンズユニット、141…撮像素子、142…撮像信号処理部、151…主制御部、152…画像処理部、154…RAM、155…ROM、161…距離マップ生成部、162…シーン解析部、163…ボケ量算出部
上述の目的は、撮影された画像と、画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、を有し、前記制御手段は、前記距離情報に基づいて合焦被写体よりも遠くに存在する非合焦被写体を検出する解析手段と、前記非合焦被写体ごとにボケ量を算出する算出手段と、前記ボケ量に基づいて前記複数の絞り値を前記合焦被写体のボケ量が所定の値以下に収まる範囲で決定する設定手段と、を有し、前記設定手段は、前記非合焦被写体が被写界深度に入らないように前記複数の絞り値を決定することを特徴とする画像処理装置によって達成される。
Claims (15)
- 撮影された画像と、該画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、
前記距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、
を有することを特徴とする画像処理装置。 - 前記制御手段は、
前記距離情報に基づいて合焦被写体よりも遠くに存在する非合焦被写体を検出する解析手段と、
前記非合焦被写体ごとにボケ量を算出する算出手段と、
前記ボケ量に基づいて前記複数の絞り値を決定する決定手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記算出手段は、
前記合焦被写体の前記画像における位置、
前記合焦被写体の前記画像に占める割合、
前記非合焦被写体のコントラストの高さ、
の少なくとも1つに応じて前記ボケ量の大きさを異ならせることを特徴とする請求項2に記載の画像処理装置。 - 前記算出手段は、前記合焦被写体が第1の位置にある場合よりも、前記第1の位置より画像の中心に近い第2の位置にある場合に、前記非合焦被写体のボケ量を大きく算出することを特徴とする請求項3に記載の画像処理装置。
- 前記算出手段は、前記合焦被写体が前記画像に占める割合が第1の値である場合よりも、前記第1の値より大きい第2の値である場合に、前記非合焦被写体のボケ量を大きく算出することを特徴とする請求項3に記載の画像処理装置。
- 前記算出手段は、前記非合焦被写体のコントラスト値が第1の値である場合よりも、前記第1の値よりコントラストが高いことを示す第2の値である場合に、前記非合焦被写体のボケ量を小さく算出することを特徴とする請求項3から5のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記非合焦被写体に対して複数のボケ量が算出された場合、前記複数のボケ量を重み加算したボケ量に基づいて前記絞り値を決定することを特徴とする請求項2から6のいずれか1項に記載の画像処理装置。
- 前記制御手段は、
合焦被写体よりも遠い距離範囲を複数に分割する解析手段と、
前記分割した距離範囲ごとにボケ量を算出する算出手段と、
前記ボケ量に基づいて前記複数の絞り値を決定する決定手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記解析手段は、前記合焦被写体の距離が予め定められた距離以下である場合には、そうでない場合よりも前記距離範囲を細かく分割することを特徴とする請求項8に記載の画像処理装置。
- 前記解析手段は、同一被写体に対応する距離範囲については、そうでない距離範囲よりも細かく分割することを特徴とする請求項8に記載の画像処理装置。
- 前記解析手段は、2つの被写体が1つの範囲に含まれないように前記距離範囲を分割することを特徴とする請求項8に記載の画像処理装置。
- 前記制御手段は、
前記距離情報に基づいて、合焦被写体よりも遠くに存在し、かつ前記合焦被写体に最も近い非合焦被写体を検出し、
前記検出した非合焦被写体が被写界深度に入らないように前記複数の絞り値を決定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像を撮影する撮影手段と、
請求項1から12のいずれか1項に記載の画像処理装置とを有し、
前記制御手段が決定した複数の絞り値を用いて前記撮影手段でブラケット撮影を実行することを特徴とする撮像装置。 - 取得手段が、撮影された画像と、該画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得工程と、
制御手段が、前記距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御工程と、
を有することを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1から12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022212105A JP2023033355A (ja) | 2018-09-14 | 2022-12-28 | 画像処理装置およびその制御方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018172825A JP7204387B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置およびその制御方法 |
JP2022212105A JP2023033355A (ja) | 2018-09-14 | 2022-12-28 | 画像処理装置およびその制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018172825A Division JP7204387B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023033355A true JP2023033355A (ja) | 2023-03-10 |
Family
ID=69901281
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018172825A Active JP7204387B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置およびその制御方法 |
JP2022212105A Pending JP2023033355A (ja) | 2018-09-14 | 2022-12-28 | 画像処理装置およびその制御方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018172825A Active JP7204387B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7204387B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7019895B2 (ja) * | 2020-04-07 | 2022-02-16 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 装置、撮像装置、撮像システム、移動体、方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4565549B2 (ja) | 2004-06-03 | 2010-10-20 | 株式会社リコー | 撮像装置およびその合焦制御方法 |
JP4582295B2 (ja) | 2004-05-28 | 2010-11-17 | カシオ計算機株式会社 | 撮影装置及びそのプログラム |
CN101196670A (zh) | 2006-12-05 | 2008-06-11 | 华晶科技股份有限公司 | 景深包围拍摄方法及装置 |
JP2008294785A (ja) | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
KR101510098B1 (ko) | 2007-12-21 | 2015-04-08 | 삼성전자주식회사 | 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법 |
JP2015204470A (ja) | 2014-04-10 | 2015-11-16 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
JP2017010093A (ja) | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2017038338A (ja) | 2015-08-15 | 2017-02-16 | 国立大学法人北陸先端科学技術大学院大学 | 撮影支援方法ならびに撮影支援装置 |
-
2018
- 2018-09-14 JP JP2018172825A patent/JP7204387B2/ja active Active
-
2022
- 2022-12-28 JP JP2022212105A patent/JP2023033355A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020046475A (ja) | 2020-03-26 |
JP7204387B2 (ja) | 2023-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107948519B (zh) | 图像处理方法、装置及设备 | |
JP5390707B2 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
JP4497211B2 (ja) | 撮像装置、撮像方法及びプログラム | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
JP5434361B2 (ja) | 画像処理装置及び画像処理方法 | |
US20100177979A1 (en) | Image processing apparatus and image processing method | |
JP2008271241A (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
JP6518452B2 (ja) | 撮像装置及び撮像方法 | |
JP6223059B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP2018174502A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
JP6261205B2 (ja) | 画像処理装置 | |
JP2010072619A (ja) | 露出演算装置およびカメラ | |
JP4866317B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2023033355A (ja) | 画像処理装置およびその制御方法 | |
JP2009284056A (ja) | 画像処理装置および方法並びにプログラム | |
JP2020017807A (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
JP2018182700A (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2012142729A (ja) | カメラ | |
JP2014131188A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2015118274A (ja) | 撮像装置、その制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240304 |