JP2017228821A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2017228821A JP2017228821A JP2016121482A JP2016121482A JP2017228821A JP 2017228821 A JP2017228821 A JP 2017228821A JP 2016121482 A JP2016121482 A JP 2016121482A JP 2016121482 A JP2016121482 A JP 2016121482A JP 2017228821 A JP2017228821 A JP 2017228821A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection
- chromatic aberration
- magnification
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】倍率色収差の検出精度を落とさずに、倍率色収差の検出処理速度を低減可能な画像処理装置および画像処理方法を提供すること。【解決手段】検出用画像を縮小して縮小画像を生成する画像縮小手段と、縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出する算出手段と、検出用画像を複数の像高領域に分割する像高分割手段と、像高領域で分割される検出領域ごとに、信頼度に基づいて検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定する決定手段と、検出用ブロックに対して倍率色収差の検出を行う検出手段と、を有する。【選択図】図1
Description
本発明は、画像処理装置および画像処理方法に関する。
従来、縮小画像を使用して、ホワイトバランスの制御、露出制御、またはベクトル検出を行う技術が知られている。例えば、特許文献1では、縮小画像を用いて、動きベクトルを検出し、その確からしさを算出することでグローバルモーションを算出する技術が開示されている。また、特許文献2では、縮小画像を用いてホワイトバランスの制御用、または露出の制御用の評価値を算出する技術が開示されている。
しかしながら、特許文献1に開示された従来技術では、ベクトル検出を行う場合に縮小画像のみを使用しているため、検出精度が低下してしまう。また、特許文献2に開示された従来技術は、像高について考慮しておらず、算出される評価値が像高に依存する倍率色収差検出等にでは適切ではない。
このような課題に鑑みて、本発明は、倍率色収差の検出精度を落とさずに、倍率色収差の検出処理速度を低減可能な画像処理装置および画像処理方法を提供することを目的とする。
本発明の一側面としての画像処理装置は、検出用画像を縮小して縮小画像を生成する画像縮小手段と、前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出する算出手段と、前記検出用画像を複数の像高領域に分割する像高分割手段と、前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定する決定手段と、前記検出用ブロックに対して倍率色収差の検出を行う検出手段と、を有することを特徴とする。
また、本発明の他の側面としての画像処理方法は、検出用画像を縮小して縮小画像を生成するステップと、前記検出用画像を複数の像高領域に分割するステップと、前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出するステップと、前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定するステップと、前記検出用ブロックに対して倍率色収差の検出を行うステップと、を有することを特徴とする。
本発明によれば、倍率色収差の検出精度を落とさずに、倍率色収差の検出処理速度を低減可能な画像処理装置および画像処理方法を提供することができる。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1を参照して、本発明の実施形態に係る画像処理装置を備える撮像装置1について説明する。図1は、撮像装置1の構成図である。撮像装置1は、画像処理部(画像処理装置)100、光学系101、撮像素子部102、および記憶部(記憶手段)111を備える。撮像素子部102は、CCDやCMOSセンサで構成され、光学系101より得られる光信号を光電変換する。なお、本実施形態では、光学系101は、撮像装置1の内部に設けられているが、撮像装置1に対して交換可能に装着される構成であってもよい。記憶部111は、ROMやRAMで構成され、倍率色収差量(色ずれ量)の補正テーブル群を保持する。なお、本実施形態では記憶部111は撮像装置1の内部に画像処理部100とは別に設けられているが、本発明はこれに限定されない。例えば、記憶部111は、撮像装置1の外部に設けられてもよいし、画像処理部100の内部に設けられてもよい。
画像処理部100は、ASICで構成され、画像縮小部103、ブロック信頼度算出部104、方向分割部105、色ずれ量算出部106、像高分割部107、検出部ブロック決定部108、倍率色収差検出部109、および制御部(CPU)110を備える。画像縮小部(画像縮小手段)103は、撮像素子部102から取得した検出用画像を縮小し、縮小した画像をブロック信頼度算出部104に出力する。ブロック信頼度算出部(算出手段。以下、信頼度算出部という)104は、画像縮小部103から取得した縮小画像を分割したブロックごとに、低コントラスト度、および色つき度に基づいて倍率色収差の検出に適するかどうかの度合(信頼度)を算出する。方向分割部(方向分割手段)105は、撮像素子部102から取得した検出用画像を、画像中心を基点として複数の方向領域に分割する。色ずれ量算出部106は、撮影条件に応じて記憶部111が保持する倍率色収差量の補正テーブル群から補正テーブルを選択し、選択した補正テーブルに基づいて色ずれ量を算出する。像高分割部(像高分割手段)107は、色ずれ量算出部106が算出した色ずれ量に基づいて、検出用画像を複数の検出像高領域に分割する。検出ブロック決定部(決定手段。以下、決定部という)108は、信頼度算出部104が算出した信頼度および制御部110が設定する閾値(所定値)に基づいて、検出用画像を分割したブロックから倍率色収差の検出を行う検出ブロックを決定する。倍率色収差検出部(検出手段。以下、検出部という)109は、決定部108が決定した検出ブロックの倍率色収差の検出を行う。
図2は、倍率色収差の検出が行われる検出用画像300を示す図である。図2(A)は、検出用画像300が方向分割部105により画像中心(光軸中心)を基点として方向領域D0〜D8で分割された状態を示す図である。図2(B)は、各方向領域の倍率色収差の検出方向を示す図である。図2(C)は、検出用画像300が格子状の分割ブロックB00〜B2851で分割された状態を示す図である。検出用画像300では、各分割ブロックが属する方向領域D0〜D7の検出方向にしたがって倍率色収差の検出が行われる。図2(B)に示されるように、方向領域D0〜D7の検出方向はそれぞれ、画像中心から上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、および左上方向である。
次に、図3、図4を参照して、色ずれ量算出部106が、色ずれ量を算出する方法について説明する。図3は、記憶部111に格納される色ずれ量の補正テーブルの撮影条件(F値、焦点距離、およびフォーカス位置)を示す図である。図4は、ユーザが設定する撮影条件に基づいて色ずれ量を算出する方法の説明図である。
本実施形態では、ユーザが撮影条件としてF値を4.0、焦点距離を37mm、フォーカス位置を50cmに設定した場合について説明する。記憶部111は撮影条件AA1〜DD25ごとに補正テーブルを保持し、色ずれ量算出部106は撮影条件AA13、AA18、BB13、BB18の色ずれ量の補正テーブルを選択する。図4(A)のE0〜E3はそれぞれ、撮影条件AA13、AA18、BB13、BB18の色ずれ量の補正テーブルである。補正テーブルは、図4(A)に示されるように、像高方向に沿って0.25cm単位で分割された像高領域H0〜H7ごとの色ずれ量を保持する。色ずれ量算出部106は、図4(B)に示されるように、図4(A)の補正テーブルE0〜E3の色ずれ量を加算平均および補間することでユーザが設定した撮影条件に基づく補正テーブルE4を算出する。なお、本実施形態では、撮影条件は、F値、焦点距離、およびフォーカス位置を含んでいるが、F値、焦点距離、およびフォーカス位置のうち少なくとも1つを含んでいればよい。
次に、図5を参照して、像高分割部107が検出用画像300を検出像高領域I0〜I7に分割する方法について説明する。図5は、像高分割部107が検出用画像300を検出像高領域I0〜I7に分割する方法を示す図である。色ずれ量算出部106が算出した像高領域ごとの色ずれ量は、線形や近似曲線で補間される。そこで、色ずれ量の変化が急峻な(色ずれ量の変化量が所定量より大きい)像高領域では実際の色ずれ量と補間された色ずれ量との誤差が大きくなるため、像高分割部107は密に倍率色収差の検出が行われるように像高分割を行う。また、色ずれ量の変化がなだらかな(色ずれ量の変化量が所定量より小さい)像高領域では実際の色ずれ量と補間された色ずれ量との誤差が小さいため、像高分割部107は疎に倍率色収差の検出が行われるように像高分割を行う。色ずれ量算出部106が算出した像高領域ごとの色ずれ量は、レンズの個体差や交換式レンズの光軸中心のずれに起因して、実際の色ずれ量と大きく異なる場合がある。そこで、像高領域ごとに算出された色ずれ量の絶対値が所定値より大きい像高領域では実際の色ずれ量と像高領域ごとに算出された色ずれ量との誤差が大きくなるため、像高分割部107は密に倍率色収差の検出が行われるように像高分割を行う。また、像高領域ごとに算出された色ずれ量の絶対値が所定値より小さい像高領域では実際の色ずれ量と像高領域ごとに算出された色ずれ量との誤差が小さいため、像高分割部107は疎に倍率色収差の検出が行われるように像高分割を行う。
例えば、像高領域H0〜H3では色ずれ量の変化がなだらかで、かつ、色ずれ量の絶対値も小さいため、像高分割部107は疎に倍率色収差の検出が行われるように像高分割を行う。像高領域H4では色ずれ量の変化が急峻であるため、像高分割部107は密に倍率色収差の検出が行われるように像高分割を行う。像高領域H5〜H6では色ずれ量の絶対値が大きいため、像高分割部107は密に倍率色収差の検出が行われるように像高分割を行う。像高領域H7では色ずれ量の変化が急峻であるため、像高分割部107は密に倍率色収差の検出が行われるように像高分割を行う。具体的には、像高分割部107は、画像中心から0.5cmの領域を検出像高領域I0として分割する。同様に、0.5−0.8cmの領域、0.8−1.0cmの領域、1.0−1.5cmの領域、1.5−1.7cmの領域、1.7−1.8cmの領域、1.8−1.9cmの領域、1.9−2.0cmの領域をそれぞれ、検出像高領域I1〜I8として分割する。
次に、図6A〜図6Bを参照して、信頼度算出部104が画像縮小部103により縮小された縮小画像700を用いて、信頼度(低コントラスト度、および色つき度)を算出する方法について説明する。図6Aは、縮小画像700が縮小分割ブロック(縮小ブロック)A00〜A2851で分割された状態を示す図である。図6Bは、各縮小分割ブロックのR画素の配列を示す図である。図6Cは、各縮小分割ブロックのG画素の配列を示す図である。図6Dは、各縮小分割ブロックのB画素の配列を示す図である。
本実施形態では、検出用画像300は、水平4000画素、垂直3000ラインで、それぞれが水平64画素、垂直64ラインの分割ブロックB00〜B2851により水平に62分割、垂直に46分割された領域に分割される。例えば、縮小率が1/4である場合、縮小画像700は、水平1000画素、垂直750ラインとなり、それぞれが水平16画素、垂直16ラインの縮小分割ブロックA00〜A2851により水平に62分割、垂直に46分割された領域に分割される。
信頼度算出部104は、各縮小分割ブロックの図6BのR画素の配列、図6CのG画素の配列、図6DのB画素の配列において、R画素、G画素、およびB画素の低コントラスト度をそれぞれ以下の式を用いて算出する。
縮小分割ブロックA00〜A2851の低コントラスト度は、R画素、G画素、およびB画素の低コントラスト度を加算平均して算出されてもよいし、重みづけ平均して算出されてもよい。
また、信頼度算出部104は、各縮小分割ブロックのR画素、G画素、およびB画素の配列において、R画素およびB画素の色つき度をそれぞれ以下の式を用いて算出する。
縮小分割ブロックA00〜A2851の色つき度は、R画素およびB画素の色つき度を加算平均して算出されてもよいし、重みづけ平均して算出されてもよい。
次に、図7を参照して、決定部108が信頼度算出部104が算出した信頼度(低コントラスト度、および色つき度)と制御部110が設定する閾値に基づいて、倍率色収差の検出が行われる検出ブロックを算出する方法について説明する。図7は、縮小画像700の方向領域D6かつ検出像高領域I7である検出領域の拡大図である。図中のブロックの数値は信頼度であり、数値が大きいブロックほど低コントラストかつ色つきであり信頼度が低い。本実施形態では、制御部110は、閾値を20に設定している。決定部108は、信頼度が閾値より小さいブロック(図中の白色のブロック)を倍率色収差の検出を行うブロックとして決定し、信頼度が閾値より大きいブロック(図中の灰色のブロック)を倍率色収差の検出を行う検出ブロックとして決定しない。なお、本実施形態では、制御部110が設定する閾値を20に設定しているが、本発明はこれに限定されない。閾値をより小さくすることで、倍率色収差の検出を行う検出ブロックの個数を少なくして更に処理速度を速めることができる。また、閾値をより大きくすることで、倍率色収差の検出を行う検出ブロックの個数は多くなるが、より高精度に倍率色収差の検出を行うことができる。
次に、図8を参照して、本実施形態の画像処理について説明する。図8は、画像処理部100による画像処理を示すフローチャートである。画像処理部100により実行される画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施形態では画像処理部100が画像処理を実行するが、パーソナルコンピュータ(PC)や専用の装置が画像処理装置として本実施形態の画像処理を実行してもよい。また、本実施形態の画像処理のプログラムに対応する回路を設け、回路を動作させることで本実施形態の画像処理を実行させてもよい。
ステップS1001では、画像縮小部103は、ユーザから設定された撮影条件で記録用画像である検出用画像300が取得されたタイミングで、検出用画像300を縮小して縮小画像700を生成する。
ステップS1002では、方向分割部105は、検出用画像300を方向領域D0〜D7で分割する。
ステップS1003では、色ずれ量算出部106は、撮影条件に基づいて補正テーブルを選択し、色ずれ量を算出する。
ステップS1004では、像高分割部107は、色ずれ量算出部106から取得する色ずれ量に基づいて、検出用画像300を検出像高領域I0〜I7で分割する。
ステップS1005では、信頼度算出部104は、縮小画像700を縮小分割ブロックA00〜A2851で分割して、信頼度(低コントラスト度、および色つき度)を算出する。このとき、各縮小分割ブロックは、各検出用ブロックに対して1/4に縮小されている。そのため、縮小分割ブロックA00〜A2851を用いて信頼度の判定を行う場合、分割ブロックB00〜B2851を用いて上記処理を行う場合に比べて、4倍の速さで上記処理を実行することができる。なお、本実施形態では画像縮小部103による縮小率を1/4としているが、本発明はこれに限定されない。例えば、縮小率をより大きくすることで更に処理速度を速めることができる。また、縮小率をより小さくすることで、処理速度は遅くなるが、より高精度に上記処理を行うことができる。
ステップS1006では、決定部108は、各縮小分割ブロックの信頼度と、制御部110が設定する閾値に基づいて、検出用画像300の各検出ブロックで倍率色収差の検出を行うか否かを決定する。
ステップS1007では、検出部109は、方向領域D0〜D7および検出像高領域I0〜I7で分割された検出領域において、決定部108が決定した検出ブロックに対して倍率色収差の検出を行う。検出部109は、検出領域内の全てのブロックに対して倍率色収差の検出を行わず、決定部108が決定した信頼度の検出ブロックに対して倍率色収差の検出を行うため、精度を保ちながら、倍率色収差の検出の処理時間を短縮することができる。
ステップS1008では、検出部109が検出した色ずれ量に基づいて倍率色収差の補正が実行される。
以上説明したように、本実施形態では、検出用画像のうち縮小画像を用いて倍率色収差の検出に適した領域を決定し、決定した領域に対してのみ倍率色収差の検出を行う。そのため、倍率色収差の検出精度を保つとともに、処理時間を短縮することができる。
また、各処理の速度は、画像縮小部103で生成される縮小画像の縮小率や制御部110が設定する信頼度の閾値を変更することで、撮像装置1の連写や単写などの各種の撮影モードに応じて変更することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 画像処理部(画像処理装置)
103 画像縮小部(画像縮小手段)
104 信頼度算出部(算出手段)
107 像高分割部(像高分割手段)
108 検出ブロック決定部(決定手段)
109 倍率色収差検出部(検出手段)
103 画像縮小部(画像縮小手段)
104 信頼度算出部(算出手段)
107 像高分割部(像高分割手段)
108 検出ブロック決定部(決定手段)
109 倍率色収差検出部(検出手段)
Claims (12)
- 検出用画像を縮小して縮小画像を生成する画像縮小手段と、
前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出する算出手段と、
前記検出用画像を複数の像高領域に分割する像高分割手段と、
前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定する決定手段と、
前記検出用ブロックに対して倍率色収差の検出を行う検出手段と、を有することを特徴とする画像処理装置。 - 前記像高分割手段は、撮影条件に応じて選択される倍率色収差量の補正テーブルに基づいて、前記検出用画像を複数の像高領域に分割することを特徴とする請求項1に記載の画像処理装置。
- 前記像高分割手段は、倍率色収差量の大きさに基づいて、前記検出用画像を複数の像高領域に分割することを特徴とする請求項2に記載の画像処理装置。
- 前記像高分割手段は、倍率色収差量の変化量に基づいて、前記検出用画像を複数の像高領域に分割することを特徴とする請求項2または3に記載の画像処理装置。
- 前記決定手段は、前記信頼度が所定値より大きい場合、前記ブロックを前記検出用ブロックとして決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 撮影条件ごとの倍率色収差量の補正テーブルを保持する記憶手段を更に有することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記撮影条件は、焦点距離、フォーカス位置、およびF値のうち少なくとも1つであることを特徴とする請求項6に記載の画像処理装置。
- 前記信頼度は、画素に関する低コントラスト度および色つき度のうち少なくともいずれかであることを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 請求項1から8のいずれか1項に記載の画像処理装置を有することを特徴とする撮像装置。
- 検出用画像を縮小して縮小画像を生成するステップと、
前記検出用画像を複数の像高領域に分割するステップと、
前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出するステップと、
前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定するステップと、
前記検出用ブロックに対して倍率色収差の検出を行うステップと、を有することを特徴とする画像処理方法。 - 請求項10に記載の画像処理方法の各工程をコンピュータに実行させるための画像処理プログラム。
- 請求項11に記載の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016121482A JP2017228821A (ja) | 2016-06-20 | 2016-06-20 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016121482A JP2017228821A (ja) | 2016-06-20 | 2016-06-20 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017228821A true JP2017228821A (ja) | 2017-12-28 |
Family
ID=60891944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016121482A Pending JP2017228821A (ja) | 2016-06-20 | 2016-06-20 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017228821A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112858193B (zh) * | 2019-11-12 | 2023-06-30 | 精工爱普生株式会社 | 分光测定方法及分光测定装置 |
-
2016
- 2016-06-20 JP JP2016121482A patent/JP2017228821A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112858193B (zh) * | 2019-11-12 | 2023-06-30 | 精工爱普生株式会社 | 分光测定方法及分光测定装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636126B2 (en) | Image processing device, imaging apparatus, image processing method, image processing program, and recording medium | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US10726539B2 (en) | Image processing apparatus, image processing method and storage medium | |
EP2224726A2 (en) | Image processing apparatus, image processing method, and program | |
WO2013005316A9 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US8588521B2 (en) | Image processing apparatus and control method therefor | |
US20180033121A1 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2016079965A1 (en) | Depth detection apparatus, imaging apparatus and depth detection method | |
US10204400B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
US10116865B2 (en) | Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions | |
CN107666605B (zh) | 图像处理装置、图像捕获装置、图像处理方法和存储介质 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US10122939B2 (en) | Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium | |
JP2016164709A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2016066848A (ja) | 撮像装置およびその制御方法 | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2017228821A (ja) | 画像処理装置および画像処理方法 | |
JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP6452414B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2017055229A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2017034616A (ja) | 画像処理装置及びその制御方法 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP6091082B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US10776927B2 (en) | Image processing apparatus, image processing method, and program | |
JP2023161484A (ja) | 画像処理装置、方法及びプログラム |