JP2020005236A - 色分解光学系および撮像素子起因のゴースト像の補正方法、及び、画像処理装置、撮像装置 - Google Patents

Abstract

【課題】 従来、色分解光学系または撮像素子起因のゴーストについて、画像処理による有効な画質改善方法が提案されていない為、画質が低下する問題がある。【解決手段】撮像エリア内またはエリア外に高輝度光源を配置した状態で、色分解プリズムが組み込まれた撮像系を用いて入力画像データを取り込み（Ｓ２０１）、撮像条件毎に色分解光学系または撮像素子起因の各種ゴースト像をＲ／Ｇ／Ｂ色成分毎に取得し、参照データとして事前登録する（Ｓ２０２）。そして、事前登録された各種参照データをパターン・マッチングによりサーチし（Ｓ２０３）、前記、ゴースト像があるか否かの認識判定を行う（Ｓ２０４）。ゴースト像があると認識された場合は、該当する参照データに対してゴースト像強度補正処理（Ｓ２０５）を行い、Ｒ／Ｇ／Ｂ色成分毎の撮像データに対し、ゴースト像強度補正された参照データを差し引くことで、ゴースト像除去処理（Ｓ２０６）を行う。【選択図】図２

Description

本発明は、デジタル画像処理により、色分解光学系または撮像素子起因のゴースト像を除去し、画質を向上させるための画像処理技術に関する。

従来のデジタル画像処理によるゴースト除去として、入力画像データ中のゴースト光源をサーチし、この情報からゴースト像成分のシミュレーション画像を生成して、原画像から差し引くという方法がある。

特開２００８−２８９０３４号公報

従来、色分解光学系または撮像素子起因のゴーストについては、画像処理による有効な画質改善方法が提案されていない。

このため、プリズム形状、遮光部材、ダイクロイック膜、トリミング膜などの調整、先端部・エッジ部・ガラス面・面取り部の黒塗りなどを行ってもとりきれなかった色分解光学系起因のゴースト、及び、ブラケットエッジ・カバーガラス・撮像素子面・ワイヤーボンド・遮光マスクエッジなどを改善してもとりきれなかった撮像素子起因のゴーストにより、画質が低下してしまう問題があった。

そこで、本発明では、まず、撮像エリア内またはエリア外に高輝度光源を配置した状態で、色分解プリズムが組み込まれた撮像系を用いて、撮像条件毎に色分解光学系または撮像素子起因の各種ゴースト像をＲ／Ｇ／Ｂの色成分ごとに取得し、参照データとして事前に登録する。前記、撮像条件としては、Ｆナンバー、焦点距離、絞り、ズーム状態、デフォーカス量のいずれか１つが含まれることを特徴とする。前記、色分解光学系または撮像素子起因のゴーストとしては、下記（１）〜（３）の３項目に記載のいずれかを含むことを特徴とする。

（１）撮像素子ブラケットのエッジ・撮像素子カバーガラス等の撮像素子周辺部、及び、撮像素子内の撮像素子面・ワイヤーボンド・遮光マスクエッジ部などから反射した光束が色分解プリズムの接合面・エアギャップ・接着剤・ガラスエッジ・遮光スリット先端部・プリズム射出面などのプリズム内部で反射または干渉または回折して、再度撮像素子へ入射するゴースト像。

（２）撮像素子ブラケットのエッジ・撮像素子カバーガラス等の撮像素子周辺部、及び、撮像素子面・ワイヤーボンド・遮光マスクエッジ部などの撮像素子内部、及び、色分解プリズムの接合面・エアギャップ・接着剤・ガラスエッジ・遮光スリット先端部・プリズム射出面等のプリズム内部からの反射または干渉または回折光が撮像素子へ入射するゴースト像。

（３）色分解プリズム直前に配置されたＩＲカット・ＮＤ・ＣＣ・光学ローパスなどの各種フィルターの外周面取り・エッジ・フィルター棚、及び、鏡室のエッジで反射して、撮像素子へ入射するゴースト像。

そして、Ｒ／Ｇ／Ｂ各色成分の撮像データに対して、前記、事前登録された各種参照データをパターン・マッチング（正規化相関等）によりサーチし、色分解光学系または撮像素子起因のゴースト像があるか否かの認識判定処理を行う。

前記、認識判定処理の結果、色分解光学系または撮像素子起因のゴースト像があると認識された場合は、該当する参照データに対して撮像データのゴースト像強度に合わせるための補正処理を行った後、Ｒ／Ｇ／Ｂ色成分毎の撮像データに対して、前記、ゴースト像強度補正された参照データを差し引くことにより、色分解光学系、または、撮像素子起因のゴースト像の除去補正が行える。

本発明によれば、従来、自動的に除去できなかった入力画像データ中の色分解光学系および撮像素子起因のゴースト像を自動的に除去し、高画質の出力画像データを取得することが可能となる。

本発明の実施例における画像処理装置を有する撮像装置の構成例を示す図 本発明の実施例におけるゴースト除去処理を示すフローチャート 色分解光学系におけるゴースト発生事例を示す図 ゴースト像強度補正処理のイメージを示す図 干渉縞ゴーストを示す図 日の出形状ゴーストを示す図 光束跳ね上げ拡散ゴーストを示す図 光束跳ね上げ山状ゴーストを示す図 光束跳ね上げ鋭角ゴーストを示す図 光束跳ね上げ棒状ゴーストを示す図 光束跳ね上げ放射状ゴーストを示す図 キャンドルフレームゴーストを示す図 セルゴーストを示す図

以下、図面を参照して本発明の実施の形態について説明する。本実施例では、撮像光学系と撮像素子を用いて取得された原画像を、入力画像データといい、エアギャップを有する３色分解プリズムを用いて、赤、緑、青の３原色からなるカラー画像であるとして説明する。

図１には、本発明の実施例である画像処理装置を有する撮像装置の構成例を示す。撮像装置は、基本的には、撮像光学系１０１と、撮像素子部１０２と、画像形成部１０３と、メモリ部１０９、画像出力部１１０及びコントロール部１０８を備える。撮影光学系１０１は、撮像素子部１０２に被写体光を導く。

撮像素子部１０２は、被写体光を電気信号に変換する撮像素子があり、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサで構成される。

画像形成部１０３は、撮像素子部１０２からのアナログ出力信号をデジタル化し、更に各種処理を施して画像信号を生成する。画像形成部１０３は、Ａ／Ｄ変換部（Ａ／Ｄ）１０４、オートゲイン制御部（ＡＧＣ）１０５、オートホワイトバランス部（ＡＷＤ）１０６、及び、ゴースト除去部１０７を含む。

Ａ／Ｄ１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。ＡＷＢ１０６は、画像の白レベル補正を行う。

ゴースト除去部１０７は、撮像光学系１０１、及び、撮像素子部１０２を用いて画像形成部１０３で生成された入力画像データからゴースト像成分を除去する。ゴースト除去部１０７は、不図示の操作部にて選択できるゴースト除去モードの設定により動作し、後に説明する図２のフローチャートに示す処理を実行する。

コントロール部１０８は撮像装置全体の制御を司る。

メモリ部１０９は画像形成部１０３から出力された画像データを記憶保持する。

画像出力部１１０は画像形成部１０３から出力された画像データを、図示しないモニタや記録媒体等の画像出力装置に表示または記録する画像出力部である。

次に、図２を用いて、本実施例の撮像装置のゴースト除去部１０７で行われるゴースト除去処理について説明する。本処理は、ゴースト除去部１０７を構成するコンピュータにおいて、該コンピュータ内に格納された画像処理プログラムとして実行される。

ステップＳ２０１では、前記、コンピュータは、ゴースト除去部１０７に入力画像データを取り込む。

次にステップＳ２０２では、撮像エリア内またはエリア外に高輝度光源が配置された状態で、色分解プリズムが組み込まれた撮像系を用いて、撮像条件毎に色分解光学系または撮像素子起因の各種ゴースト像をＲ／Ｇ／Ｂの色成分ごとに取得し、ゴースト像参照データとして事前に登録する。前記、撮像条件としては、Ｆナンバー、焦点距離、絞り、ズーム状態、デフォーカス量がある。前記、色分解光学系または撮像素子起因のゴーストとしては、下記の（１）〜（３）がある。

（１）撮像素子ブラケットのエッジ・撮像素子カバーガラス等の撮像素子周辺部および撮像素子面・ワイヤーボンド・遮光マスクエッジ部等の撮像素子内部から反射した光束が色分解プリズムの接合面・エアギャップ・接着剤・ガラスエッジ・遮光スリット先端部・プリズム射出面等のプリズム内部で反射または干渉または回折して、再度撮像素子へ入射することにより発生するゴースト像。

（２）撮像素子ブラケットのエッジ・撮像素子カバーガラス等の撮像素子周辺部および撮像素子面・ワイヤーボンド・遮光マスクエッジ部等の撮像素子内部、及び、色分解プリズムの接合面・エアギャップ・接着剤・ガラスエッジ・遮光スリット先端部・プリズム射出面等のプリズム内部で反射または干渉または回折した光が撮像素子へ入射することにより発生するゴースト像。

（３）色分解プリズム直前に配置されたＩＲカット・ＮＤ・ＣＣ・光学ローパスなどの各種フィルターの外周面取り・エッジ・フィルター棚、及び、鏡室のエッジで反射して、撮像素子へ入射することにより発生するゴースト像。

本ステップで事前登録するゴースト像参照データの詳細は後に説明する。

次にステップＳ２０３では、入力されたＲ／Ｇ／Ｂ各色成分の撮像データに対して、色分解光学系または撮像素子起因のゴースト像があるか否かの判定を行うため、前記、撮像条件毎、及び、Ｒ／Ｇ／Ｂ毎に事前登録された参照データをパターン・マッチング（正規化相関等）によりサーチ処理を行う。本ステップで実行する処理の詳細は後に説明する。

次にステップＳ２０４では、ステップＳ２０３で出力したパターン・マッチング処理の結果に基づいて、ゴースト除去が可能か否かを判断する。パターン・マッチング処理の結果が所定の閾値以下ならば、参照データとして登録されたゴーストが存在しないと判定し、ステップＳ２０７に進む。一方、マッチング処理の結果が所定の閾値以上ならば、参照データとして登録されたゴーストが存在すると判断してステップＳ２０５に進む。

ステップＳ２０５では、参照データを入力画像データ中のゴースト像強度と整合させるためのゴースト像強度補正処理を行う。本ステップで実行する処理の詳細は後に述べる。

次にステップＳ２０６では、入力画像データから、ステップＳ２０５で生成したゴースト像強度補正データを減算する。Ｒ／Ｇ／Ｂ成分毎に、入力画像データからゴースト像強度補正された参照データを差し引くことにより、色分解光学系または撮像素子起因のゴースト除去が行える。これにより、ゴースト除去された出力画像データが生成される。

次にステップＳ２０７では、入力画像データについて、撮影条件毎に、事前に登録された参照データを使用して、すべてサーチ処理が完了したか否かを判定する。全てのゴースト像参照データのサーチ処理が終了するまで、ステップＳ２０３〜Ｓ２０７の処理を繰り返す。全てのゴースト像参照データのサーチ処理が終了した場合は、ステップＳ２０８に進む。

最後に、ステップＳ２０８では、ステップＳ２０２〜ステップＳ２０７の一連のゴースト除去処理を行った出力画像データを、画像出力部１１０に出力する。

以下、図２の各ステップについて詳細を説明する。

ステップＳ２０２で事前登録するゴースト像参照データの９つの具体例について、図３、及び、図５〜図１３を用いて、以下に説明する。

図３に示す撮像素子面３０９で反射した光が色分解プリズムに戻り、エアギャップ３０４の前面、後面で反射する際、干渉を起こして、再度、撮像素子部３１８へ入射することにより、図５に示すような干渉縞ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部５０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示す撮像素子カバーガラス３１０で反射した光束が色分解プリズム３１５と色分解プリズム３１６の接合面で２次反射して、撮像素子面３０９に入射することにより、図６に示すような日の出形状ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部６０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示す撮像素子内部のワイヤーボンドまたは遮光マスクのエッジ３０８からの光束の跳ね上げが撮像素子面３０９に入射することにより、図７に示すような光束跳ね上げ拡散ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部７０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示すエアギャップ接着剤の溜まり３０５または撮像素子ブラケットのエッジ３０７からの光束の跳ね上げが撮像素子面３０９に入射することにより、図８に示すような光束跳ね上げ山状ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部８０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示すプリズム内のガラスエッジまたはプリズム内スリット先端部３０６からの光束の跳ね上げが撮像素子面３０９に入射することにより、図９に示すような光束跳ね上げ鋭角ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部９０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示す鏡室のエッジ３０１または金物のフィルター棚、マスクエッジ３０３からの垂直方向に発生する光束の跳ね上げが撮像素子面３０９に入射することにより、図１０に示すような光束跳ね上げ棒状ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部１００１の点線枠内）を除去対象参照データとして事前登録する。

図３に示すプリズム前に配置されたフィルター外周の面取り部３０２から垂直方向に発生する光束の跳ね上げが撮像素子面３０９に入射することにより、図１１に示すような光束跳ね上げ放射状ゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部１１０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示すエアギャップ３０４内で多重反射して、再度、撮像素子面３０９に入射することにより、図１２に示すようなキャンドルフレームゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部１２０１の点線枠内）を除去対象参照データとして事前登録する。

図３に示す撮像素子３０９の規則的な微細パターンにより、反射光が干渉作用を起こし、色分解プリズム３１６の射出面で２次反射して、再度、撮像素子面３０９に入射することにより、図１３に示すようなセルゴーストが発生する。このゴースト像のパターン部分（参照データ登録エリア部１３０１の点線枠内）を除去対象参照データとして事前登録する。

次に、ステップＳ２０３で行われるゴースト像のサーチ処理について、以下に説明する。従来から、登録された参照画像をその中に含む入力画像を対象に、この参照画像と入力画像とのパターン・マッチングを行って、これら参照画像と入力画像との相対的な位置関係を求める技術は周知である。

このようなパターン・マッチングの手法として、参照画像および入力画像を２値化することなく、濃淡画像のままで互いの相互相関値を求め、この相互相関値の最大値から参照画像と入力画像との相対的な位置関係を求める手法がある。この際、画像の明るさやコントラストによる影響を除去するため、相互相関値を画像の平均値と分散値とで正規化することが行われている。

相互相関の演算は、入力画像Ｓと参照画像Ｔとについて分散Ｄｓ［数３］、Ｄｔ［数２］、及び、画像Ｓ、Ｔの共分散Ｄｓｔ［数４］を求め、これら分散Ｄｓ、Ｄｔおよび共分散Ｄｓｔから相関係数Ｃｓｔ［数５］を算出することにより行われる。

ここで、Ｍは相互相関演算を行うべき領域の画素のＸ方向の個数、ＮはＹ方向の個数であり、入力画像Ｓと参照画像Ｔとの大きさは等しいものとしている。

相関係数Ｃｓｔは、−１≦Ｃｓｔ≦１の範囲の値をとり、入力画像Ｓと参照画像Ｔとが一致した場合はＣｓｔ＝１、全く相関がない場合はＣｓｔ＝０の値をとる。一般に、入力画像Ｓは参照画像Ｔより大きく、従って、相互相関をとるべき入力画像Ｃの領域を参照画像Ｔと等しい大きさに区切り、この区切りを順次走査して、相関係数Ｃｓｔが最大値をとる領域を入力画像Ｓと参照画像Ｔが一致する箇所であるとしてパターン・マッチングが行われる。

相互相関演算によるパターン・マッチングでは、パターン全体の濃淡分布の情報をそのまま用い、これを各画像の特徴としてマッチングが行われるので、入力画像Ｓと参照画像Ｔとの間に明るさやコントラストの変化があっても比較的確実に認識が行えるとともに、パターンに多少の相違があっても認識できるという利点がある。

次に、ステップＳ２０４で行われるゴースト除去判定処理について説明する。ステップＳ２０４では、ステップＳ２０３のゴースト像のサーチ処理結果に対して、閾値を用いた判定処理を行う。

サーチ処理結果が所定の閾値以上であれば、以降のステップＳ２０５とＳ２０６でゴースト除去処理を行い、閾値未満であればステップＳ２０７に進んで、ゴースト除去処理を行わない。除去したいゴースト像に応じて、任意に閾値を設定する。

次に、ステップＳ２０５で行われるゴースト像の強度補正処理について説明する。ステップＳ２０５の処理により、入力画像データ中のゴーストと除去対象のゴースト像参照データとが良好に一致すると判定される。しかし、入力画像データ中のゴーストと除去対象のゴースト像参照データとをより近似させるため、双方のゴースト像の強度とオフセットを近づける。

参照データのゴースト像強度とオフセットを入力画像データ中のゴースト像に近似させる従来技術の１つとして、線形近似による最小二乗法がある。

線形近似による最小二乗法では、入力画像データ中のゴースト像Ｓとゴースト像参照データＴ、ゴースト像の振幅倍率をＡ、オフセットをＢとすると、［数６］を最小とするＡ、Ｂを求める。ここで、Ｍは画像領域のＸ方向の画素個数、ＮはＹ方向の画素個数であり、入力画像Ｓと参照画像Ｔとの大きさは等しいものとしている。

このように、Ｒ／Ｇ／Ｂチャンネルのゴースト像参照データごとに、ゴースト像の強度を調整することにより、精度良く強度を合わせることができる。

図４に、ゴースト像強度補正処理のイメージ図を示す。４０１は入力画像データ中のゴースト像の１次元の強度分布を示し、４０２は強度補正前のゴースト像の１次元の強度分布を示す。縦軸は画素階調値を、横軸は画素位置を表す。

前記、ゴースト像の振幅倍率ＡとオフセットＢを最小二乗法で算出して、ゴースト像参照データを補正すれば、像強度４０２を、像強度４０１に近づけることができる。

入力画像データ中のゴーストに対して、強度補正されたゴースト像のパターンが最も良く一致する位置で、入力画像データから強度補正されたゴースト像参照データの減算処理を実行する。その結果、入力画像データからゴーストが良好に除去された出力画像データが得られる。

このように、本実施例によれば、従来、自動的に除去できなかった入力画像データ中の色分解光学系および撮像素子起因のゴースト像を自動的に除去し、高画質の出力画像データを取得することが可能となる。

以上説明したように、本発明のデジタル画像処理により、色分解光学系または撮像素子起因のゴースト像を除去し、画質を向上するのに適用できる。

１０１ 撮像光学系
１０２ 撮像素子部
１０３ 画像形成部
１０４ Ａ／Ｄ
１０５ ＡＧＣ
１０６ ＡＷＢ
１０７ ゴースト除去部
１０８ コントロール部
１０９ メモリ部
１１０ 画像出力部
３０１ 鏡室のエッジ
３０２ フィルター外周の面取り
３０３ 金物のフィルター棚、マスクエッジ
３０４ エアギャップ
３０５ エアギャップ接着剤の溜まり
３０６ プリズムのガラスエッジ、または、スリット先端部
３０７ 撮像素子ブラケットのエッジ
３０８ 撮像素子内部のワイヤーボンド、または、遮光エッジ
３０９ 撮像素子面
３１０ 撮像素子カバーガラス
３１１ 色温度変換フィルター（ＣＣフィルター）
３１２ 光量調節フィルター（ＮＤフィルター）
３１３ 光学ローパスフィルター（ＯＬＰフィルター）
３１４ 色分解プリズム１
３１５ 色分解プリズム２
３１６ 色分解プリズム３
３１７ 撮像素子部１
３１８ 撮像素子部２
３１９ 撮像素子部３
４０１ 入力画像データ中のゴースト像の１次元の強度分布
４０２ 強度補正前のゴースト像の１次元の強度分布
５０１ 干渉縞ゴーストの参照データ登録エリア部
６０１ 日の出形状ゴーストの参照データ登録エリア部
７０１ 光束跳ね上げ拡散ゴーストの参照データ登録エリア部
８０１ 光束跳ね上げ山状ゴーストの参照データ登録エリア部
９０１ 光束跳ね上げ鋭角ゴーストの参照データ登録エリア部
１００１ 光束跳ね上げ棒状ゴーストの参照データ登録エリア部
１１０１ 光束跳ね上げ放射状ゴーストの参照データ登録エリア部
１２０１ キャンドルフレームゴーストの参照データ登録エリア部
１３０１ セルゴーストの参照データ登録エリア部

Claims (8)

1. 色分解プリズムが組み込まれた撮像系で取得された画像に対して、撮像エリア内またはエリア外に高輝度光源を置いて、撮像条件毎に色分解光学系または撮像素子起因のゴースト像をＲ／Ｇ／Ｂの色成分ごとに参照データとして事前登録する手段と、Ｒ／Ｇ／Ｂ各色成分の撮像データに対して、前記、事前登録された参照データをパターン・マッチング（正規化相関等）によりサーチし、色分解光学系または撮像素子起因のゴースト像があるか否かの認識判定処理を行う手段と、前記、認識判定処理の結果、色分解光学系または撮像素子起因のゴースト像があると認識された場合は該当する参照データに対して撮像データのゴースト像強度に合わせるための補正処理を行う手段と、Ｒ／Ｇ／Ｂ色成分毎の撮像データに対して、前記、ゴースト像強度補正された参照データを差し引いてゴースト像の除去を行うことを特徴とする画像処理装置。
2. 前記、請求項１の撮像条件として、Ｆナンバー、焦点距離、絞り、ズーム状態、デフォーカス量のいずれか１つが含まれることを特徴とする画像処理装置。
3. 前記、請求項１の色分解光学系または撮像素子起因のゴーストとして、撮像素子ブラケットのエッジ・撮像素子カバーガラス等の撮像素子周辺部、及び、撮像素子面・ワイヤーボンド・遮光マスクエッジ部等の撮像素子内部から反射した光束が色分解プリズムの接合面・エアギャップ・接着剤・ガラスエッジ・遮光スリット先端部・プリズム射出面等のプリズム内部で反射または干渉または回折して、再度撮像素子へ入射するゴースト像を含むことを特徴とする画像処理装置。
4. 前記、請求項１の色分解光学系または撮像素子起因のゴーストとして、撮像素子ブラケットのエッジ・撮像素子カバーガラス等の撮像素子周辺部、及び、撮像素子面・ワイヤーボンド・遮光マスクエッジ部等の撮像素子内部、及び、色分解プリズムの接合面・エアギャップ・接着剤・ガラスエッジ・遮光スリット先端部・プリズム射出面等のプリズム内部からの反射または干渉または回折光が撮像素子へ入射するゴースト像を含むことを特徴とする画像処理装置。
5. 前記、請求項１の色分解光学系起因のゴーストとして、色分解プリズム直前に配置されたＩＲカット・ＮＤ・ＣＣ・光学ローパスなどの各種フィルターの外周面取り・エッジ・フィルター棚、及び、鏡室のエッジで反射して、撮像素子へ入射するゴースト像を含むことを特徴とする画像処理装置。
6. 前記、請求項１から請求項５の色分解プリズムは、Ｒ／Ｇ／Ｂの３チャンネルタイプ以外に、２チャンネルタイプ、４チャンネルタイプ、４チャンネル以上のタイプにも対応することを特徴とする画像処理装置。
7. 前記、請求項１から請求項６のいずれか１つの画像処理装置を有することを特徴とする撮像装置。
8. 前記、請求項１から請求項６のいずれか１つの処理を実行することを特徴とする画像処理プログラム。

Images