JP2012213075A - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2012213075A JP2012213075A JP2011078117A JP2011078117A JP2012213075A JP 2012213075 A JP2012213075 A JP 2012213075A JP 2011078117 A JP2011078117 A JP 2011078117A JP 2011078117 A JP2011078117 A JP 2011078117A JP 2012213075 A JP2012213075 A JP 2012213075A
- Authority
- JP
- Japan
- Prior art keywords
- foreign object
- object shadow
- image
- captured image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供する。
【解決手段】本発明の画像処理装置50は、補正対象の第一撮影画像G1の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像G2を選択する第二撮影画像選択部55と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部60と、前記異物影情報取得部60により取得された、前記第二撮影画像G2における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像G1を補正する補正部56と、を備えること、を特徴とする。
【選択図】図4
【解決手段】本発明の画像処理装置50は、補正対象の第一撮影画像G1の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像G2を選択する第二撮影画像選択部55と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部60と、前記異物影情報取得部60により取得された、前記第二撮影画像G2における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像G1を補正する補正部56と、を備えること、を特徴とする。
【選択図】図4
Description
本発明は、画像処理装置及び画像処理プログラムに関するものである。
電子カメラ等により撮像を行う際、光学フィルタ等に異物が付着していると、異物影が撮像画像に写り込む場合がある。このように画像に写り込んだ異物影を補正するものとして、異物影の写り込んだ基準画像から異物位置の座標等の情報を得て、その情報に基づいて通常撮影された撮影画像に写り込んだ異物影を補正する画像処理装置が知られている。
また、補正対象の画像における異物影による透過率の変化(各画素における輝度情報の変化)から異物影を検出し、異物影を削除する補正を行う技術が知られている(特許文献1参照)。
また、補正対象の画像における異物影による透過率の変化(各画素における輝度情報の変化)から異物影を検出し、異物影を削除する補正を行う技術が知られている(特許文献1参照)。
しかしながら、上記従来技術においては、異物影が写り込んだ基準画像を撮影する必要がある。また、撮影画像と基準画像とにおいて、異物影の座標が異なる場合もある。
本発明の課題は、より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供することである。
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項1に記載の発明は、補正対象の第一撮影画像(G1)の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像(G2)を選択する第二撮影画像選択部(55)と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部(60)と、前記異物影情報取得部(60)により取得された、前記第二撮影画像(G2)における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像(G1)を補正する補正部(56)と、を備えること、を特徴とする画像処理装置(50)である。
請求項2に記載の発明は、補正対象の第一撮影画像(G1)の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像(G2)を選択する第二撮影画像選択部(55)と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部(60)と、前記異物影候補を異物影として採用し、前記異物影情報取得部(60)により取得された前記異物影候補の前記座標を、前記第一撮影画像(G1)に表示する表示部(52)と、を備えること、を特徴とする画像処理装置(50)である。
請求項3に記載の発明は、請求項1または2に記載の画像処理装置(50)であって、前記第二撮影画像選択部(55)は、前記第一撮影画像(G1)の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像(G2)として選択すること、を特徴とする画像処理装置(50)である。
請求項4に記載の発明は、請求項3に記載の画像処理装置(50)であって、前記撮影条件は、前記第一撮影画像(G1)を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも1つが同一であることと、を含むこと、を特徴とする画像処理装置(50)である。
請求項5に記載の発明は、請求項1から4のいずれか1項に記載の画像処理装置(50)であって、前記第二撮影画像(G2)における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置(50)である。
請求項6に記載の発明は、請求項1から5のいずれか1項に記載の画像処理装置(50)であって、前記第一撮影画像(G1)における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置(50)である。
請求項7に記載の発明は、請求項1から6のいずれか1項に記載の画像処理装置(50)であって、前記第二撮影画像選択部(55)が選択した第二撮影画像(G2)が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像(G2)から選択された場合、該異物影候補を含む一定範囲の輝度と、前記第一撮影画像(G1)における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像(G2)の異物影候補を、異物影として採用すること、を特徴とする画像処理装置(50)である。
請求項8に記載の発明は、請求項1から6のいずれか1項に記載の画像処理装置(50)であって、前記第二撮影画像選択部(55)が選択した第二撮影画像(G2)が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像(G2)から選択された場合、該異物影候補を含む一定範囲の色相と、前記第一撮影画像(G1)における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像(G2)の異物影候補を、異物影として採用すること、を特徴とする画像処理装置(50)である。
請求項9に記載の発明は、請求項1から8のいずれか1項に記載の画像処理装置(50)の機能をコンピュータに実行させるための画像処理プログラムである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
請求項1に記載の発明は、補正対象の第一撮影画像(G1)の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像(G2)を選択する第二撮影画像選択部(55)と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部(60)と、前記異物影情報取得部(60)により取得された、前記第二撮影画像(G2)における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像(G1)を補正する補正部(56)と、を備えること、を特徴とする画像処理装置(50)である。
請求項2に記載の発明は、補正対象の第一撮影画像(G1)の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像(G2)を選択する第二撮影画像選択部(55)と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部(60)と、前記異物影候補を異物影として採用し、前記異物影情報取得部(60)により取得された前記異物影候補の前記座標を、前記第一撮影画像(G1)に表示する表示部(52)と、を備えること、を特徴とする画像処理装置(50)である。
請求項3に記載の発明は、請求項1または2に記載の画像処理装置(50)であって、前記第二撮影画像選択部(55)は、前記第一撮影画像(G1)の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像(G2)として選択すること、を特徴とする画像処理装置(50)である。
請求項4に記載の発明は、請求項3に記載の画像処理装置(50)であって、前記撮影条件は、前記第一撮影画像(G1)を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも1つが同一であることと、を含むこと、を特徴とする画像処理装置(50)である。
請求項5に記載の発明は、請求項1から4のいずれか1項に記載の画像処理装置(50)であって、前記第二撮影画像(G2)における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置(50)である。
請求項6に記載の発明は、請求項1から5のいずれか1項に記載の画像処理装置(50)であって、前記第一撮影画像(G1)における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置(50)である。
請求項7に記載の発明は、請求項1から6のいずれか1項に記載の画像処理装置(50)であって、前記第二撮影画像選択部(55)が選択した第二撮影画像(G2)が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像(G2)から選択された場合、該異物影候補を含む一定範囲の輝度と、前記第一撮影画像(G1)における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像(G2)の異物影候補を、異物影として採用すること、を特徴とする画像処理装置(50)である。
請求項8に記載の発明は、請求項1から6のいずれか1項に記載の画像処理装置(50)であって、前記第二撮影画像選択部(55)が選択した第二撮影画像(G2)が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像(G2)から選択された場合、該異物影候補を含む一定範囲の色相と、前記第一撮影画像(G1)における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像(G2)の異物影候補を、異物影として採用すること、を特徴とする画像処理装置(50)である。
請求項9に記載の発明は、請求項1から8のいずれか1項に記載の画像処理装置(50)の機能をコンピュータに実行させるための画像処理プログラムである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
本発明によれば、より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供することができる。
以下、図面等を参照して、本発明の実施形態について説明する。
図1は、レンズ交換式のカメラ1の構成を示す図である。図2は、カメラ1と画像処理装置を構成するパーソナルコンピュータ(PC)30及び周辺装置を示すブロック図である。
カメラ1は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。本実施形態は、カメラ1が撮影した画像データを、画像処理装置として機能するPC30が取得して後述する異物影の検出及び補正処理を行うものである。
図1は、レンズ交換式のカメラ1の構成を示す図である。図2は、カメラ1と画像処理装置を構成するパーソナルコンピュータ(PC)30及び周辺装置を示すブロック図である。
カメラ1は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。本実施形態は、カメラ1が撮影した画像データを、画像処理装置として機能するPC30が取得して後述する異物影の検出及び補正処理を行うものである。
カメラ1は、カメラボディ2と、カメラボディ2に対して着脱可能な撮像レンズ3とにより構成されている。撮像レンズ3は、複数の光学レンズ群(図1においては1枚のレンズで示す)を有する結像光学系3Lを備えている。
カメラボディ2は、シャッタ11、光学フィルタ12、撮像素子13、画像処理部14、操作部15、表示部16、メモリカード用インターフェース(以下、「メモリカードIF」と記す)17、外部インターフェース(以下、「外部IF」と記す)18、電源19、制御部20等を備えている。
シャッタ11は、結像光学系3Lから撮像素子13へ向かう撮影光を遮蔽及び通過させることによって、露光時間を調整する。
光学フィルタ12は、撮像に際して偽色(色モアレ)等の発生を防止する光学ローパスフィルタ等によって構成される。なお、図1中の符号4は、この光学フィルタ12の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ12に異物4が付着していると、撮像素子13によって取得される画像データのなかに、異物影の影響を受けた画素が含まれる場合がある。
光学フィルタ12は、撮像に際して偽色(色モアレ)等の発生を防止する光学ローパスフィルタ等によって構成される。なお、図1中の符号4は、この光学フィルタ12の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ12に異物4が付着していると、撮像素子13によって取得される画像データのなかに、異物影の影響を受けた画素が含まれる場合がある。
撮像素子13は、CCDやCMOS等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子13は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号(撮像信号)を出力する。撮像素子13から出力された画像信号は、所定のアナログ信号処理の後、A/D変換されて画像処理部14に入力される。
画像処理部14は、撮像素子13から入力された画像データに対して、補間,階調変換や輪郭強調などの画像処理を行う。
操作部15は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部15は、それらの操作情報を制御部に入力する。
操作部15は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部15は、それらの操作情報を制御部に入力する。
表示部16は、LCD等によって構成され、カメラ1における各種設定メニュー、撮像素子13による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
メモリカード用IF17は、メモリカード(カード状のリムーバブルメモリ)40とのインターフェースとなる。
外部IF18は、所定のケーブルや無線伝送路を介してPC30等の外部装置とのインターフェースとなる。
電源19は、カメラ1の各機能部に電力を供給する。
外部IF18は、所定のケーブルや無線伝送路を介してPC30等の外部装置とのインターフェースとなる。
電源19は、カメラ1の各機能部に電力を供給する。
制御部20は、カメラ1における各機能部を統括制御する。すなわち、制御部20は、操作部15におけるレリーズスイッチから撮影指示信号が入力されると、シャッタ11を駆動制御して露光動作等の撮影動作を制御する。また、制御部20は、撮像素子13で取得されて画像処理部14で画像処理が行われて入力された画像データを、メモリカード用IF17に着脱可能に取り付けられたメモリカード40等に記憶させ、保存する。さらに、制御部20は、メモリカード40等に記憶された画像データを呼び出し、表示部16に表示させる。
上記のように構成されたカメラ1は、撮影時において制御部20によって制御されて、下記のように作用する。
操作者によって操作部15のレリーズボタンが押圧操作されると、シャッタ11を所定時間開放する。撮像素子13は、結像光学系3Lにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子13によって生成された画像信号は、画像データとして画像処理部14に入力され、画像処理部14によって所定の画像処理が施される。そして、画像処理部14で画像処理された画像データに基づいて表示部16に撮影画像を表示すると共に、その画像データに必要に応じてJPEGやRAW等による圧縮処理を施してメモリカード用IF17に装着されたメモリカード40に記憶・保存する。また、外部IF18を介して接続された後述するPC30に、画像データを送出する。
操作者によって操作部15のレリーズボタンが押圧操作されると、シャッタ11を所定時間開放する。撮像素子13は、結像光学系3Lにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子13によって生成された画像信号は、画像データとして画像処理部14に入力され、画像処理部14によって所定の画像処理が施される。そして、画像処理部14で画像処理された画像データに基づいて表示部16に撮影画像を表示すると共に、その画像データに必要に応じてJPEGやRAW等による圧縮処理を施してメモリカード用IF17に装着されたメモリカード40に記憶・保存する。また、外部IF18を介して接続された後述するPC30に、画像データを送出する。
ここで、メモリカード40に記憶・保存され、又は、外部IF18を介してPC30に送出される画像データは、例えば、Exif(EXchange Image File format)ファイルに記録される。Exifファイルには、カメラボディ2の種類、カメラメーカー名、撮像画素情報、絞り値(F値)や焦点、シャッタスピード及び露光補正等の露出条件、撮影時刻、撮影距離などの付加情報が共に記録される。
パーソナルコンピュータ(PC)30は、図示しないが、CPU、メモリ、ハードディスク、メモリカード40とのインターフェースとなるメモリカード用IF、ケーブルや無線伝送路を介してカメラ1等の外部装置とのインターフェースとなる外部IF等を備えている。また、PC30には、プリンタ32やPC操作部としてマウス34が接続されている。
さらに、PC30に接続のCD−ROM33には、異物影検出及び検出された異物の情報に基づいて画像を補正処理するアプリケーションプログラムが予めインストールされている。
つぎに、選択された第一撮影画像をもとに選択された第二画像中における異物影情報を取得し、その検出した異物影情報に基づいて第一撮影画像を補正する処理(異物影情報取得・補正処理)について説明する。
前述したように、PC30には、異物影情報取得及び画像補正処理のアプリケーションプログラムがインストールされており、PC30は、このプログラムを実行することによって、異物影情報取得及び画像の補正処理を行う画像処理装置50として機能する。
図3は、異物影情報取得・補正処理を行う画像処理装置50の機能ブロック図である。図4は、画像処理装置50における異物影情報取得部60の機能ブロック図である。
画像処理装置50は、メモリカード30を介して提供された、又は、カメラ1の外部インターフェース18から伝送された画像データを保存する保存領域51と、保存領域51に保存された撮影画像を表示するモニタ52と、その表示を制御する表示制御部53とを備えている。
また、画像処理装置50は、保存領域51に保存された撮影画像データから、異物影候補を選択し、異物影候補の座標及び異物影候補の部分の輝度低下量を取得する異物影情報取得部60と、マウス34等を介して補正対象となる画像を選択可能な第一撮影画像選択部54と、選択された第一撮影画像をもとに、保存領域51から第二撮影画像を選択する第二撮影画像選択部55と、第二撮影画像における、異物影情報取得部60によって検出された異物影情報に基づいて、第一撮影画像中の対応部分を補正する補正部56と、を備えている。
異物影情報取得部60は、図4に示すように、連結領域判定部61と、対象領域抽出部62と、輝度判定部63とを備えている。
次に、異物影情報取得処理及び補正処理について説明する。
(異物影情報取得)
画像処理装置50の保存領域51に、メモリカード40を介して、又は、カメラ1の外部インターフェース18を介して撮影画像が入力される。そうすると、画像処理装置50の異物影情報取得部60は、保存領域51に入力された撮影画像から異物影情報取得を行う。
ここで、異物影情報とは、異物影が存在する位置の座標及び異物影の部分の輝度低下量(ゲインマップ)等である。
この異物影情報取得は、保存領域に画像が転送された時点で自動的に行ってもよく、また、操作者の操作によって開始するものであってもよい。
(異物影情報取得)
画像処理装置50の保存領域51に、メモリカード40を介して、又は、カメラ1の外部インターフェース18を介して撮影画像が入力される。そうすると、画像処理装置50の異物影情報取得部60は、保存領域51に入力された撮影画像から異物影情報取得を行う。
ここで、異物影情報とは、異物影が存在する位置の座標及び異物影の部分の輝度低下量(ゲインマップ)等である。
この異物影情報取得は、保存領域に画像が転送された時点で自動的に行ってもよく、また、操作者の操作によって開始するものであってもよい。
図5は、異物影情報取得部60における異物影情報取得処理画の流れを説明するフローチャートである。図5及び以下の説明中、ステップを「S」とも略記する。
まず、ステップS51で連結領域判定部61は、画像を形成するRGBによる各画素の画像データの輝度平面を求め、その明度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。そして、逆ガンマ補正後の輝度平面から、輝度勾配平面を生成する。
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
まず、ステップS51で連結領域判定部61は、画像を形成するRGBによる各画素の画像データの輝度平面を求め、その明度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。そして、逆ガンマ補正後の輝度平面から、輝度勾配平面を生成する。
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
次に、連結領域判定部61は、所定の閾値を設定して、輝度勾配平面を2値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「1」、閾値より低い輝度勾配値を有する画素を「0」と置換する。
そして、ステップS52において、連結領域判定部61は、このようにして得られた2値画像から、「1」の画素が連結した領域(連結画素領域)を抽出する。連結画素領域とは、例えば、矩形の画素の4辺の内の少なくとも1辺で連続した(4近傍の)画素領域とする。この連結画素領域が、異物影の可能性のある領域である。
そして、ステップS52において、連結領域判定部61は、このようにして得られた2値画像から、「1」の画素が連結した領域(連結画素領域)を抽出する。連結画素領域とは、例えば、矩形の画素の4辺の内の少なくとも1辺で連続した(4近傍の)画素領域とする。この連結画素領域が、異物影の可能性のある領域である。
ステップS53において、対象領域抽出部62は、連結領域判定部61によって抽出された連結画素領域の中から、異物影のサイズ(大小)に基づいて補正候補領域を抽出する。この対象領域抽出部62における異物影の大きさの判別は、画素数によって規定する。
ここで、対象領域抽出部62は、連結画素領域から補正候補領域を抽出する際において、異物影の絶対的な大きさを基準とする。ここでは、一般的な異物のサイズと異物影のサイズがほぼ等しいものとして、最小100μm×100μm〜最大400μm×400μmの大きさを検出対象とする。
ここで、対象領域抽出部62は、連結画素領域から補正候補領域を抽出する際において、異物影の絶対的な大きさを基準とする。ここでは、一般的な異物のサイズと異物影のサイズがほぼ等しいものとして、最小100μm×100μm〜最大400μm×400μmの大きさを検出対象とする。
そして、対象領域抽出部62では、上記異物影の画素数によって表される面積を閾値として、連結領域判定部61において2値画像から抽出された連結画素領域の大きさ(画素数)がこの閾値内に含まれるものを選択する。
さらにステップS54において輝度判定部63は、先の連結領域判定部61において説明したHSV変換によって求められた輝度値V(Value)と画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、異物影は、内部の輝度が周辺の輝度に比較して低く、輝度比(内部の輝度/周辺の輝度)は1よりとても小さい。このため、輝度比が小さい所定の閾値を設定し、連結画像領域の輝度比がこの閾値より小さいに場合にのみ、異物影として判定する。
ここで、異物影の周囲の一定範囲の輝度の標準偏差が閾値以上の場合、異物影として採用しない。これは、検出された異物影の周囲の輝度の標準偏差が大きいときは、テクスチャー上の影のために、実際の異物影であることの信頼性が低いからである。
そして、ステップS55において、異物影情報取得部60は、異物影の輝度低下量と異物位置情報(座標)を取得し、それぞれの撮影画像に関連付けて保存領域51に保存するする。
(補正対象画像選択)
図6は異物影除去動作を示すフローチャートである。
ステップS61においてPCの表示制御部53は、操作者によるPC操作部34の操作に基づいて保存領域51に保存された撮影画像を、モニタ52に撮影画像を表示させる。
この際、PC制御部は、撮影画像を多数の画像を一覧表示するために縮小されたサムネイム画像の形で表示してもよく、また、一枚の画像を順次選択するようにしても良い。
図6は異物影除去動作を示すフローチャートである。
ステップS61においてPCの表示制御部53は、操作者によるPC操作部34の操作に基づいて保存領域51に保存された撮影画像を、モニタ52に撮影画像を表示させる。
この際、PC制御部は、撮影画像を多数の画像を一覧表示するために縮小されたサムネイム画像の形で表示してもよく、また、一枚の画像を順次選択するようにしても良い。
ステップS62において、操作者のPC操作部の操作を介して、第一画像選択部54は、モニタ52に表示された撮影画像のうちの、異物影の除去を希望する第一の撮影画像G1を選択する。
図7は、選択された画像の一例としての第一撮影画像G1を示す。図7の第一撮影画像G1において、木々の部分に異物影4Aが存在する。このような異物影は、例えば光学フィルタ12の前面に付着した異物(異物4)(図1参照)により生じている。しかし、本実施形態の第一撮影画像G1は、異物影4Aの輝度勾配と、木々の輝度勾配が重なってしまい、輝度勾配により異物影を検出する手法では、異物影を検出することが困難となっている。
図7は、選択された画像の一例としての第一撮影画像G1を示す。図7の第一撮影画像G1において、木々の部分に異物影4Aが存在する。このような異物影は、例えば光学フィルタ12の前面に付着した異物(異物4)(図1参照)により生じている。しかし、本実施形態の第一撮影画像G1は、異物影4Aの輝度勾配と、木々の輝度勾配が重なってしまい、輝度勾配により異物影を検出する手法では、異物影を検出することが困難となっている。
(第二画像選択)
ステップS63において、第一の撮影画像G1が選択されると、第二撮影画像選択部55は、保存領域に保存されている複数の撮影画像のうち、第一撮影画像G1と撮影条件が同一又は略同一である第二撮影画像G2を検索して選択する。
ステップS63において、第一の撮影画像G1が選択されると、第二撮影画像選択部55は、保存領域に保存されている複数の撮影画像のうち、第一撮影画像G1と撮影条件が同一又は略同一である第二撮影画像G2を検索して選択する。
この場合、撮影条件の同一性の判断は、第一撮影画像G1のExif情報と第二撮影画像G2のExif情報とを基に行う。
具体的には、Exif情報における、カメラボディ(カメラ種類)2、絞り値(F値)、焦点距離、撮影時刻、レンズ、撮影距離等が同一であることが判断基準である。
これらの撮影条件のうち、カメラボディ2が同一であることとは本実施形態において必須とする。本実施形態は、同一のカメラボディ2で撮影した場合に、異なる撮影画像であっても、カメラボディ2内に配置されている光学フィルタ12に付着した異物は、同じ位置に影として移り込む現象を利用して異物影を補正するものであるからである。
具体的には、Exif情報における、カメラボディ(カメラ種類)2、絞り値(F値)、焦点距離、撮影時刻、レンズ、撮影距離等が同一であることが判断基準である。
これらの撮影条件のうち、カメラボディ2が同一であることとは本実施形態において必須とする。本実施形態は、同一のカメラボディ2で撮影した場合に、異なる撮影画像であっても、カメラボディ2内に配置されている光学フィルタ12に付着した異物は、同じ位置に影として移り込む現象を利用して異物影を補正するものであるからである。
その他の撮影条件は、少なくとも1つ以上、特に、絞り値が一致することが好ましく、焦点距離、撮影時間等も同一であることがより好ましい。全ての条件が一致することがさらに好ましい。
第二撮影画像選択部52により選択される第二撮影画像G2は、選択条件に応じて、1以上又は複数選択される。なお、1枚も選択されなかった場合は、モニタ52に、選択枚数ゼロ等の警告表示が出るようにしてもよい。
図8は、第二撮影画像選択部52により第二撮影画像G2が複数選択された場合の2つの画像G2(1)及びG2(2)を示す図である。
ここで、G2(1)に関しては、空の部分に異物影4Aaが有り、また、山のエッジからも遠いために異物影の検出が容易である。画像G2(2)に関しても空(色は濃いが検出可能)の部分に異物影4Abがあり検出可能である。
第二撮影画像選択部52により選択される第二撮影画像G2は、選択条件に応じて、1以上又は複数選択される。なお、1枚も選択されなかった場合は、モニタ52に、選択枚数ゼロ等の警告表示が出るようにしてもよい。
図8は、第二撮影画像選択部52により第二撮影画像G2が複数選択された場合の2つの画像G2(1)及びG2(2)を示す図である。
ここで、G2(1)に関しては、空の部分に異物影4Aaが有り、また、山のエッジからも遠いために異物影の検出が容易である。画像G2(2)に関しても空(色は濃いが検出可能)の部分に異物影4Abがあり検出可能である。
(第二画像から第一撮影画像に適用される異物影情報取得)
ステップS64において、第二撮影画像G2が選択されると、画像処理装置50は、第二撮影画像の異物影情報(異物影の位置の座標、及び輝度低下量(ゲインマップ))を読み出す。
ステップS64において、第二撮影画像G2が選択されると、画像処理装置50は、第二撮影画像の異物影情報(異物影の位置の座標、及び輝度低下量(ゲインマップ))を読み出す。
(表示)
ステップS65において、第二撮影画像G2のそれぞれにおいて検出された異物影の位置を、第一撮影画像における異物影位置として、第一撮影画像が表示されているモニタ画面に重ねて表示する。
すなわち、1枚目の第二撮影画像に異物影A1が検出され、2枚目の第二撮影画像における同じ位置にA2、異なる位置にBの異物影が検出され、3枚目の第二撮影画像における、A1と同じ位置にA3、A1とBと異なる位置に異物影Cが検出された場合は、モニタ画面上の第一画像に、位置A、B,Cが表示される。
ステップS65において、第二撮影画像G2のそれぞれにおいて検出された異物影の位置を、第一撮影画像における異物影位置として、第一撮影画像が表示されているモニタ画面に重ねて表示する。
すなわち、1枚目の第二撮影画像に異物影A1が検出され、2枚目の第二撮影画像における同じ位置にA2、異なる位置にBの異物影が検出され、3枚目の第二撮影画像における、A1と同じ位置にA3、A1とBと異なる位置に異物影Cが検出された場合は、モニタ画面上の第一画像に、位置A、B,Cが表示される。
(補正)
ステップS66において操作者は、操作部を介して、モニタ画面に表示されている位置A,B,Cのうち、補正を希望する部分を選択する。処理開始を選択すると、選択した部分の補正が行われる。
なお、ここで、表示や選択をすることなく、第一撮影画像を選択すると、選択された第二画像から自動的に補正が行われても良い。
ステップS66において操作者は、操作部を介して、モニタ画面に表示されている位置A,B,Cのうち、補正を希望する部分を選択する。処理開始を選択すると、選択した部分の補正が行われる。
なお、ここで、表示や選択をすることなく、第一撮影画像を選択すると、選択された第二画像から自動的に補正が行われても良い。
ここで、複数の第二撮影画像の同一位置に異物影が検出されている場合
1)複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の輝度を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の輝度と比較する。そして、該第一撮影画像における対応部分の周囲の輝度と最も近い輝度を有する第二撮影画像の異物影を、異物影として採用する。それは異物影の周囲の輝度が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
1)複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の輝度を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の輝度と比較する。そして、該第一撮影画像における対応部分の周囲の輝度と最も近い輝度を有する第二撮影画像の異物影を、異物影として採用する。それは異物影の周囲の輝度が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
2)また、1)の替わりに、複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の色相を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の色相とを比較する。そして、該第一撮影画像における対応部分の周囲の色相と最も近い色相を有する第二撮影画像の異物影を、異物影として採用してもよい。これも異物影の周囲の色相が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
3)さらに、1)、2)の替わりに、これらの両方を参照するようにしても良い。
4)さらに、複数の第二撮影画像における同一位置の輝度低下量を平均しても良い。
3)さらに、1)、2)の替わりに、これらの両方を参照するようにしても良い。
4)さらに、複数の第二撮影画像における同一位置の輝度低下量を平均しても良い。
補正部56は、上述のように選択された第二撮影画像G2中に写り込んだ異物影情報としてのゲインマップと異物位置情報(座標)を用いて第一撮影画像を補正して異物影の輝度を低減又は削除する補正を行う。
すなわち、補正部56は、第一撮影画像G1中について、第二撮影画像G2から取得したゲインマップを用い、第一撮影画像G1の輝度に、輝度信号の逆数を掛け算して、ゲイン補正を行う。これにより、第一撮影画像G1中に出現する異物影等の異物による輝度の変化を低減もしくは除去する画像補正を行う。
以上、本実施形態によると、第一撮影画像において、異物影の特定が困難な位置に、第二撮影画像において異物影が検出できた場合に、第一撮影画像においても同じ位置に異物影が存在する推測し、第二撮影画像の異物影情報に基づいて第一撮影画像を補正することが可能となる。そして、これによって、複数の撮影画像の異物影の検出結果を用いることにより、異物影の検出しにくい画像における異物影の補正が可能となる。
(変形形態)
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
(1)上記実施形態において、保存領域51に撮影画像が入力された時点で、入力された全ての撮影画像について異物影情報取得を行う形態について説明した。しかし、本発明はこれに限定されない。例えば、第一撮影画像が選択され、それに基づいて第二撮影画像が選択された後、選択された第二撮影画像について異物影情報を取得するものであってもよい。
この変形形態によると、選択された第二撮影画像についてのみ異物影情報が取得されるので、全体として処理量が減少する。一方、本実施形態の場合は、予め、全ての撮影画像について異物影情報が取得されているので、第二撮影画像が選択された後の処理時間が減少する。
この変形形態によると、選択された第二撮影画像についてのみ異物影情報が取得されるので、全体として処理量が減少する。一方、本実施形態の場合は、予め、全ての撮影画像について異物影情報が取得されているので、第二撮影画像が選択された後の処理時間が減少する。
(2)上記実施形態では、電子スチルカメラであるカメラ1によって撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナ等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
(3)上記実施の形態では、電子スチルカメラであるカメラ1で撮影した画像データをPC(パソコン)30で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。カメラ1にそのようなプログラムを備えてもよい。その場合、カメラ1の液晶画面での欠陥位置の特定は、タッチパネル方式や、カメラ背面に設けられた十字キー等で行ってもよい。
また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
(4)PC30で実行するプログラムは、CD−ROMなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
1:カメラ、2:カメラボディー、12:光学フィルタ、13:撮像素子、17:メモリカード用IF、18:外部IF、30:パーソナルコンピュータ(PC)、33:CD−ROM、34:マウス、51:保存領域、52:モニタ、53:常時制御部、54:第一撮影画像選択部、55:第二撮影画像選択部、56:補正部、60:異物影情報取得部
Claims (9)
- 補正対象の第一撮影画像の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像を選択する第二撮影画像選択部と、
前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部と、
前記異物影情報取得部により取得された、前記第二撮影画像における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像を補正する補正部と、を備えること、
を特徴とする画像処理装置。 - 補正対象の第一撮影画像の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像を選択する第二撮影画像選択部と、
前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部と、
前記異物影候補を異物影として採用し、前記異物影情報取得部により取得された前記異物影候補の前記座標を、前記第一撮影画像に表示する表示部と、を備えること、
を特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記第二撮影画像選択部は、前記第一撮影画像の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像として選択すること、
を特徴とする画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記撮影条件は、前記第一撮影画像を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも1つが同一であること、を含むこと、
を特徴とする画像処理装置。 - 請求項1から4のいずれか1項に記載の画像処理装置であって、
前記第二撮影画像における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、
を特徴とする画像処理装置。 - 請求項1から5のいずれか1項に記載の画像処理装置であって、
前記第一撮影画像における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、
を特徴とする画像処理装置。 - 請求項1から6のいずれか1項に記載の画像処理装置であって、
前記第二撮影画像選択部が選択した第二撮影画像が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像から選択された場合、
該異物影候補を含む一定範囲の輝度と、前記第一撮影画像における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像の異物影候補を、異物影として採用すること、
を特徴とする画像処理装置。 - 請求項1から6のいずれか1項に記載の画像処理装置であって、
前記第二撮影画像選択部が選択した第二撮影画像が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像から選択された場合、
該異物影候補を含む一定範囲の色相と、前記第一撮影画像における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像の異物影候補を、異物影として採用すること、
を特徴とする画像処理装置。 - 請求項1から8のいずれか1項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011078117A JP2012213075A (ja) | 2011-03-31 | 2011-03-31 | 画像処理装置及び画像処理プログラム |
PCT/JP2012/057604 WO2012133228A1 (ja) | 2011-03-31 | 2012-03-23 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011078117A JP2012213075A (ja) | 2011-03-31 | 2011-03-31 | 画像処理装置及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012213075A true JP2012213075A (ja) | 2012-11-01 |
Family
ID=47266677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011078117A Pending JP2012213075A (ja) | 2011-03-31 | 2011-03-31 | 画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012213075A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105009561A (zh) * | 2013-02-18 | 2015-10-28 | 松下知识产权经营株式会社 | 摄像装置的异物信息检测装置以及异物信息检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004343519A (ja) * | 2003-05-16 | 2004-12-02 | Nikon Corp | 撮像装置および画像処理装置 |
JP2008244867A (ja) * | 2007-03-27 | 2008-10-09 | Canon Inc | 画像処理装置及びその制御方法及びプログラム及び記憶媒体及び撮像装置 |
-
2011
- 2011-03-31 JP JP2011078117A patent/JP2012213075A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004343519A (ja) * | 2003-05-16 | 2004-12-02 | Nikon Corp | 撮像装置および画像処理装置 |
JP2008244867A (ja) * | 2007-03-27 | 2008-10-09 | Canon Inc | 画像処理装置及びその制御方法及びプログラム及び記憶媒体及び撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105009561A (zh) * | 2013-02-18 | 2015-10-28 | 松下知识产权经营株式会社 | 摄像装置的异物信息检测装置以及异物信息检测方法 |
US9706110B2 (en) * | 2013-02-18 | 2017-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Foreign body information detection device and foreign body information detection method of imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
JP6267502B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
JP2008227569A (ja) | 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム | |
JP6351271B2 (ja) | 画像合成装置、画像合成方法、およびプログラム | |
JP2013106284A (ja) | 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置 | |
JP2011019177A (ja) | 被写***置特定用プログラム、およびカメラ | |
US9137506B2 (en) | User interface (UI) providing method and photographing apparatus using the same | |
US8334919B2 (en) | Apparatus and method for digital photographing to correct subject area distortion caused by a lens | |
JP6172973B2 (ja) | 画像処理装置 | |
US8537266B2 (en) | Apparatus for processing digital image and method of controlling the same | |
JP2013225779A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2009027223A (ja) | 画像表示装置、画像表示方法、およびプログラム | |
US20190073558A1 (en) | Information processing apparatus, information processing method, and computer program | |
JP6099973B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
JP2012213075A (ja) | 画像処理装置及び画像処理プログラム | |
JP2006128793A (ja) | 撮像装置、及びその制御方法 | |
CN112640430B (zh) | 成像元件、摄像装置、图像数据处理方法及存储介质 | |
JP2012222508A (ja) | 画像処理装置および画像処理プログラム | |
JP2012222509A (ja) | 画像処理装置及び画像処理プログラム | |
JP5750934B2 (ja) | 画像処理装置および画像処理プログラム | |
WO2012133228A1 (ja) | 画像処理装置及び画像処理プログラム | |
JP5412791B2 (ja) | デジタルカメラ、および画像処理プログラム | |
JP2013012089A (ja) | 画像処理装置、カメラおよび画像処理プログラム | |
JP2012256169A (ja) | 画像処理装置および画像処理プログラム | |
JP2013055459A (ja) | 撮像装置、画像処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151110 |