JP7341843B2 - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents
画像処理装置および画像処理方法、撮像装置、プログラム Download PDFInfo
- Publication number
- JP7341843B2 JP7341843B2 JP2019190302A JP2019190302A JP7341843B2 JP 7341843 B2 JP7341843 B2 JP 7341843B2 JP 2019190302 A JP2019190302 A JP 2019190302A JP 2019190302 A JP2019190302 A JP 2019190302A JP 7341843 B2 JP7341843 B2 JP 7341843B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- color
- distance
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、距離計測に用いた画像とは異なるカラー画像と撮影情報を用いて、被写体色による距離計測誤差の補正を精度よく行うことを目的とする。
・CAR(赤波長帯用の色収差情報)。
・CAG(緑波長帯用の色収差情報)。
・CAB(青波長帯用の色収差情報)。
・距離計測時に利用した空間周波数帯域の情報
・距離計測時に輝度画像を生成した際の各カラーの混合比率情報
・距離計測時に利用した画像に対するウィンドウサイズ情報。
空間周波数帯域の情報としては、距離計測時に所望の空間周波数帯域の成分を抽出するために利用したバンドパスフィルタの情報を利用するのが好適である。また混合比率情報としては、距離計測に利用した輝度画像を生成する際のR,G,Bの各カラーフィルタにおける輝度画像の混合比率(YR,YG,YB)が取得される。ウィンドウサイズ情報(Wと記す)は、ある注目画素における距離を算出する際に利用した、注目画素の周辺領域(局所領域)のウィンドウの大きさを表す情報である。
図5を参照して、前記実施形態の第1変形例に係る距離補正量算出処理について説明する。前記実施形態では、図3(B)のS3052に示す色別寄与率の算出時にWB処理でのゲイン情報を利用する態様について説明したが、前記色の違いの補正において必ずしもWB処理でのゲイン情報を利用せずともよい。また、前記色の違いの補正は色別寄与率の算出時以外で行うこともできる。本変形例では、撮影時に推定した光源の色温度情報を用いて補正処理を実行する。また、画像の色味の補正処理をカラー画像に対して直接実行することができる。
図6を参照して、第2変形例に係る距離補正量算出処理について説明する。前記実施形態では、撮像装置情報として色収差情報、距離計測時に利用した空間周波数帯域の情報、各カラーの混合比率情報、ウィンドウサイズ情報を取得できる場合に関して説明した。この中で色収差情報は、高精度な距離補正量の算出にあたって必須の情報であるが、その他の撮像装置情報については近似値を用いることができる。本変形例では、距離計測時に利用した空間周波数帯域の情報、各カラーの混合比率情報、またはウィンドウサイズ情報が取得できなかった場合の処理に関して説明する。
本変形例では、距離画像以外の補正について説明する。補正対象は距離画像でなくてもよく、撮像装置のAF機能(オートフォーカス機能)により合焦した画像中の1点または複数の点における距離であってもよい。AF機能では、制御部が撮像光学系を構成するフォーカスレンズの駆動によって撮像画像における所望の位置または領域に焦点を合わせる制御を行う。その際、画像処理装置200はAF動作が実行された画像中の領域をウィンドウサイズ情報として取得し、前述の実施形態と同様に距離の補正を実施する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
201 画像読込部
202 情報取得部
203 補正量算出部
204 距離補正部
Claims (15)
- 被写体の距離情報に対して、前記距離情報とともに取得されたカラー画像の情報を用いて補正する画像処理装置であって、
前記カラー画像および距離情報の取得時の撮影情報である第1の情報と、前記距離情報の算出に用いられた第2の情報を取得する取得手段と、
前記第1および第2の情報を用いて、前記距離情報の補正量を算出する算出手段と、
前記補正量と前記第1の情報を用いて、前記距離情報を補正する補正手段と、を備え、
前記取得手段は、前記第1の情報として前記カラー画像の生成にて色別に用いられた情報を取得し、前記第2の情報として撮像装置が備える撮像光学系の色収差情報を取得する
ことを特徴とする画像処理装置。 - 前記第1の情報は、前記カラー画像の生成にて算出されたホワイトバランス処理のゲイン情報または撮影時の光源の色温度情報を有する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記取得手段は、距離計測時に利用した空間周波数帯域、距離計測時に輝度信号の生成に用いたカラー画像の混合比率、および距離計測時に利用したウィンドウサイズのうち、1つ以上の情報を取得する
ことを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記取得手段は、前記撮像光学系の焦点距離をさらに取得し、
前記補正手段は、前記被写体までの距離、前記焦点距離、および前記補正量を用いて、前記距離情報を補正する
ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記算出手段は、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報および前記第1の情報を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率および前記第2の情報に基づく加重平均から前記補正量を算出する
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記算出手段は、前記空間周波数帯域の情報を用いて前記カラー画像から所定の空間周波数帯域の成分を抽出した画像にて、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報および前記第1の情報を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率および前記第2の情報に基づく加重平均から前記補正量を算出する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記算出手段は、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報と前記第1の情報と前記混合比率を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率と前記第2の情報に基づく加重平均から前記補正量を算出する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記算出手段は、前記空間周波数帯域の情報を用いて前記カラー画像から所定の空間周波数帯域の成分を抽出した画像にて、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報と前記混合比率を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率と前記第2の情報に基づく加重平均から前記補正量を算出する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記算出手段は、前記局所領域における色別の強度情報を算出する際、距離計測時に利用したウィンドウサイズを用いる
ことを特徴とする請求項5から8のいずれか1項に記載の画像処理装置。 - 前記強度情報は、前記局所領域における輝度和、平均輝度、または標準偏差の情報である
ことを特徴とする請求項5から9のいずれか1項に記載の画像処理装置。 - 請求項1から10のいずれか1項に記載の画像処理装置と、
前記カラー画像および距離情報の取得に用いられる撮像素子と、を備える
ことを特徴とする撮像装置。 - 前記算出手段は、像側でのデフォーカス量である前記補正量を算出する
ことを特徴とする請求項11に記載の撮像装置。 - 前記距離情報は、前記カラー画像が画像処理される前の画像から生成される距離画像の情報、または、オートフォーカス機能により合焦した画像中の1点または複数の点における距離情報である
ことを特徴とする請求項11または請求項12に記載の撮像装置。 - 被写体の距離情報に対して、前記距離情報とともに取得されたカラー画像の情報を用いて補正する画像処理装置にて実行される画像処理方法であって、
前記カラー画像および距離情報の取得時の撮影情報である第1の情報と、前記距離情報の算出に用いられた第2の情報を取得する取得工程と、
前記第1および第2の情報を用いて、前記距離情報の補正量を算出する算出工程と、
前記補正量と前記第1の情報を用いて、前記距離情報を補正する補正工程と、を有し、
前記取得工程にて、前記第1の情報として前記カラー画像の生成にて色別に用いられた情報を取得し、前記第2の情報として撮像装置が備える撮像光学系の色収差情報を取得する処理が行われる
ことを特徴とする画像処理方法。 - 請求項14に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019190302A JP7341843B2 (ja) | 2019-10-17 | 2019-10-17 | 画像処理装置および画像処理方法、撮像装置、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019190302A JP7341843B2 (ja) | 2019-10-17 | 2019-10-17 | 画像処理装置および画像処理方法、撮像装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021068925A JP2021068925A (ja) | 2021-04-30 |
JP7341843B2 true JP7341843B2 (ja) | 2023-09-11 |
Family
ID=75637594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019190302A Active JP7341843B2 (ja) | 2019-10-17 | 2019-10-17 | 画像処理装置および画像処理方法、撮像装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7341843B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293035A (ja) | 2005-04-11 | 2006-10-26 | Canon Inc | 撮像装置、焦点調節装置及びその制御方法 |
JP2013090265A (ja) | 2011-10-21 | 2013-05-13 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2019009511A (ja) | 2017-06-20 | 2019-01-17 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム |
JP2019078626A (ja) | 2017-10-24 | 2019-05-23 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法、及びプログラム |
-
2019
- 2019-10-17 JP JP2019190302A patent/JP7341843B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293035A (ja) | 2005-04-11 | 2006-10-26 | Canon Inc | 撮像装置、焦点調節装置及びその制御方法 |
JP2013090265A (ja) | 2011-10-21 | 2013-05-13 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2019009511A (ja) | 2017-06-20 | 2019-01-17 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム |
JP2019078626A (ja) | 2017-10-24 | 2019-05-23 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021068925A (ja) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5358039B1 (ja) | 撮像装置 | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
US20130050546A1 (en) | Image processing apparatus and method | |
JP6516429B2 (ja) | 距離計測装置、撮像装置、および距離計測方法 | |
TWI471004B (zh) | 成像裝置、成像方法及程式 | |
US20110199514A1 (en) | Image processing apparatus and image processing method | |
GB2460241A (en) | Correction of optical lateral chromatic aberration | |
US20220082370A1 (en) | Electronic apparatus, control method thereof and computer readable storage medium | |
US10326951B2 (en) | Image processing apparatus, image processing method, image capturing apparatus and image processing program | |
US9143762B2 (en) | Camera module and image recording method | |
US10339665B2 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
JP7341843B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
US10531029B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium for correcting pixel value of pixel-of-interest based on correction amount calculated | |
JP5055588B2 (ja) | 画像処理装置および画像処理方法 | |
JP2014241580A (ja) | 撮像装置 | |
JP6395790B2 (ja) | 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム | |
US10334161B2 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
JP7445508B2 (ja) | 撮像装置 | |
JP7300962B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラム、および記憶媒体 | |
JP6604737B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2022181027A (ja) | 画像処理装置、画像処理方法、撮像装置、およびプログラム | |
JP5501884B2 (ja) | 色ずれ補正装置 | |
JP2016001782A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP6415228B2 (ja) | 画像合成装置および画像合成装置の制御方法 | |
JP2022036505A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7341843 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |