JP6331258B2

JP6331258B2 - 撮像装置及び方法

Info

Publication number: JP6331258B2
Application number: JP2013086043A
Authority: JP
Inventors: 吉田　和弘; 和弘吉田
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2013-04-16
Filing date: 2013-04-16
Publication date: 2018-05-30
Anticipated expiration: 2033-04-16
Also published as: JP2014209689A

Description

本発明は、偽色を検出する偽色検出装置及び方法に関する。

固体撮像素子を用いて被写体像を撮像するデジタルカメラが知られている。固体撮像素子は複数の画素を有し、１つの画素に１色のカラーフィルタが設けられる。画像を構成する１つの画素は３つの色成分を有するため、不足する色成分を周辺画素の色成分で補間する。そのため、固体撮像素子の画素の間隔よりも高い周波数を有する被写体像が入射したとき、固体撮像素子の画素が被写体像を正確にサンプリング及び補間できず、画像に偽色が発生する。偽色を検出する手段を開示する文献として特許文献１及び２が知られている。特許文献１は、固体撮像素子が出力した画像信号に対してエッジ検出を行い、高輝度な部位を検出する。そして、検出した部位に近接する領域における色差成分の値が所定の範囲内にあるか否かに応じて偽色を検出する。特許文献２は、被写体像に合焦した画像と合焦していない画像とを比較して偽色を検出する。

特開２００２−２６２２９９号公報特開２０１１−１０９４９６号公報

しかし、特許文献１による構成では、被写体像の周波数が高すぎると固体撮像素子が被写体像を解像できず、被写体像のエッジを捉えることができない。被写体像のエッジを捉えることができないとエッジ検出できないため、偽色を検出できない。また、色差成分の値に基づいて偽色を検出する構成では、偽色以外の部分をも検出してしまうおそれがある。また、特許文献２による構成では、被写体像に合焦した画像と合焦していない画像とを撮像した瞬間にタイムラグがあるため、これらの２枚の画像を比較することが困難となるおそれがある。加えて、比較するために、２枚の画像において特徴点をそれぞれ抽出して被写体像の位置を合わせるなどの特殊な処理が必要となる。この特殊な処理は、装置を複雑にするとともに、コスト上昇を招く。

本発明はこれらの問題に鑑みてなされたものであり、画像に含まれる偽色を検出する偽色検出装置及び方法を得ることを目的とする。

本願第１の発明による偽色検出装置は、輝度成分及び色差成分により画素の色を表した画像データを取得し、所定の色空間において偽色が生じやすい第１の偽色領域を決定し、第１の偽色領域と補色関係にある第２の偽色領域を決定する演算部と、画像データに含まれる注目画素を成す色差成分が第１の偽色領域に含まれるか否かを示す第１の判断結果を作成し、注目画素を成す色差成分が第２の偽色領域に含まれるか否かを示す第２の判断結果を作成し、第１の判断結果及び第２の判断結果に基づいて画像データに偽色が含まれるか否かを判断する検出部を備えることを特徴とする。

演算部は、注目画素の色差成分から成る行列を所定の回転角度で回転変換して回転色差成分を作成し、検出部は、回転色差成分が第１の偽色領域に含まれるか否かを示す第１の判断結果を作成し、回転色差成分が第２の偽色領域に含まれるか否かを示す第２の判断結果を作成することが好ましい。

色空間は、直交する２つの色差成分により規定される二次元直交座標系で表される平面が好適である。

色空間は、色差に対応する偏角と彩度に対応する動径とにより規定される二次元極座標系で表される平面が好適である。

検出部は、注目画素の色差成分が第１の偽色領域に含まれ、かつ注目画素から所定の範囲内にある周辺画素の色差成分が第２の偽色領域に含まれるか否かを示す第１の最終判断結果を作成し、注目画素の色差成分が第２の偽色領域に含まれ、かつ注目画素から所定の範囲内にある周辺画素の色差成分が第１の偽色領域に含まれるか否かを示す第２の最終判断結果を作成し、第１の最終判断結果及び第２の最終判断結果に基づいて注目画素が偽色画素であるか否か判断することが好ましい。

注目画素の色差成分が第１の偽色領域に含まれ、かつ注目画素から所定の範囲内にある周辺画素の色差成分が第２の偽色領域に含まれることを第１の最終判断結果が示し、かつ注目画素の色差成分が第２の偽色領域に含まれ、かつ注目画素から所定の範囲内にある周辺画素の色差成分が第１の偽色領域に含まれることを第２の最終判断結果が示す場合に、注目画素を偽色画素であると判断してもよい。

所定の範囲は、画像データが有する画素数に応じて決定され、画素数が多くなるにつれて所定の範囲が広くなるように構成されてもよい。

検出部は、第２の判断結果から高周波成分を除去して得られる第２の除去結果を作成し、第２の除去結果と第１の判断結果とに基づいて第１の除去判断結果を作成し、第１の判断結果から高周波成分を除去して得られる第１の除去結果を作成し、第１の除去結果と第２の判断結果とに基づいて第２の除去判断結果を作成し、第１の除去判断結果と第２の除去判断結果とに基づいて、注目画素を偽色画素であると判断してもよい。

検出部は、第１の判断結果において第１の偽色領域に含まれると判断されている注目画素の輝度と、第２の判断結果において第２の偽色領域に含まれると判断されている全ての画素の輝度との相加平均である第１の輝度を算出し、第２の判断結果において第２の偽色領域に含まれると判断されている注目画素の輝度と、第１の判断結果において第１の偽色領域に含まれると判断されている全ての画素の輝度との相加平均である第２の輝度を算出し、第１の輝度と第２の輝度との差が閾値よりも小さい場合に、注目画素が偽色を含むと判断してもよい。

検出部は、第１の判断結果において第１の偽色領域に含まれると判断されている注目画素の彩度と、第２の判断結果において第２の偽色領域に含まれると判断されている全ての画素の彩度との二乗平均平方根である第１の彩度を算出し、第２の判断結果において第２の偽色領域に含まれると判断されている注目画素の彩度と、第１の判断結果において第１の偽色領域に含まれると判断されている全ての画素の彩度との二乗平均平方根である第２の彩度を算出し、第１の彩度と第２の彩度との差が閾値よりも小さい場合に、注目画素が偽色を含むと判断してもよい。

演算部は、画像データを作成した機器の特性に応じて回転角度を決定することが好ましい。

画像データは、入射光の光路上に設けられるカラーフィルタを介して被写体像を撮像する撮像素子により作成され、演算部は、カラーフィルタの特性に応じて回転角度を決定してもよい。

演算部は、画像データを作成するときに用いた画像処理に応じて回転角度を決定してもよい。

第１の判断結果及び第２の判断結果から除去する高周波成分の範囲は、画像データが有する画素数に応じて決定され、画素数が多くなるにつれて範囲を広げてもよい。

本願第２の発明による撮像装置は、前記偽色検出装置と、画像データを作成する撮像素子と、撮像素子に入射する光の光路上に設けられるカラーフィルタとを備え、演算部は、カラーフィルタの特性に応じて回転角度を決定することを特徴とする。

本願第３の発明による偽色検出方法は、輝度成分と色差成分とから画素の色を表した画像データを取得するするステップと、所定の色空間において偽色が生じやすい第１の偽色領域を決定するステップと、第１の偽色領域と補色関係にある第２の偽色領域を決定するステップと、注目画素を成す色差成分が第１の偽色領域に含まれるか否かを示す第１の判断結果を作成するステップと、注目画素を成す色差成分が第２の偽色領域に含まれるか否かを示す第２の判断結果を作成するステップと、第１の判断結果及び第２の判断結果に基づいて画像データに偽色が含まれるか否かを判断するするステップとを備えることを特徴とする。

本願第４の発明による偽色検出プログラムは、輝度成分と色差成分とから画素の色を表した画像データを取得するステップと、所定の色空間において偽色が生じやすい第１の偽色領域を決定するステップと、第１の偽色領域と補色関係にある第２の偽色領域を決定するステップと、注目画素を成す色差成分が第１の偽色領域に含まれるか否かを示す第１の判断結果を作成するステップと、注目画素を成す色差成分が第２の偽色領域に含まれるか否かを示す第２の判断結果を作成するステップと、第１の判断結果及び第２の判断結果に基づいて画像データに偽色が含まれるか否かを判断するするステップとを備えることを特徴とする。

本発明によれば、画像に含まれる偽色を検出する偽色検出装置及び方法を得る。

第１の実施形態による偽色検出装置を備えるデジタルカメラを概略的に示したブロック図である。回転変換について示した図である。回転変換について示した図である。第１及び第２の中間判断結果について示した図である。第１の偽色判定処理を示したフローチャートである。ＬＰＦについて示した図である。第３の実施形態による第３の偽色判定処理を示したフローチャートである。

本願発明の第１の実施形態による偽色検出装置について図１から７を用いて説明する。図１は、偽色検出装置を備えるデジタルカメラ１００を示す。図１を用いてデジタルカメラ１００の構成について説明する。

デジタルカメラ１００は、ＤＳＰ１１０、撮像素子であるＣＭＯＳ１２１、合焦レンズ１３１、及びＬＣＤ１２２を主に備える。

合焦レンズ１３１は、複数のレンズにより構成され、デジタルカメラ１００のボディに畳まれて格納され、デジタルカメラ１００が撮影画像を記録する動作モードに設定されたとき、ボディから繰り出される。繰り出された合焦レンズ１３１は被写体に合焦して、ＣＭＯＳ１２１に被写体像を結像させる。合焦レンズ１３１の外周面にはピント調整リング１３２及び駆動モータ１３３が設けられる。駆動モータ１３３は合焦レンズ１３１を駆動して被写体に合焦させる。ピント調整リング１３２はユーザにより回転され、合焦レンズ１３１を被写体に合焦させる。

合焦レンズ１３１とＣＭＯＳ１２１との間の光路上には絞り羽根１２３、シャッター幕１２４が設けられる。絞り羽根１２３はＣＭＯＳ１２１に到達する光量を調節し、シャッター幕１２４は、合焦レンズ１３１からＣＭＯＳ１２１までの光路を開閉する。

ＣＭＯＳ１２１は、複数の画素１２１ａと、その画素１２１ａの１つ１つに設けられるカラーフィルタ１２１ｂとを備える。１枚のカラーフィルタ１２１ｂは、赤、緑、及び青の３色のうち、いずれか１つの色を有する。赤、緑、及び青のカラーフィルタ１２１ｂは、例えばベイヤー配列などの配列法に従って並べられる。ＣＭＯＳ１２１は、ＤＳＰ１１０が生成する同期クロック信号を受信し、これに同期して動作する。複数の画素１２１ａは結像した被写体像を撮像して電荷として出力する。ＣＭＯＳ１２１は、電荷の大きさにより構成される画像データを連続的にＤＳＰ１１０へ出力する。すなわち画像データは、輝度成分及び色差成分によって各画素１２１ａの色を表現する。

ＤＳＰ１１０は、検出部１１１及び演算部１１２を主に備える。検出部１１１及び演算部１１２は、画像データに含まれる偽色を検出する。これらの部材の詳細については後述される。

ＤＳＰ１１０は、画像データに基づいて合焦レンズ１３１が被写体に合焦しているか否かを判断し、判断に応じた信号を駆動回路１２５に送信する。駆動回路１２５は、受信した信号に応じて駆動モータ１３３を動作させる。これにより、合焦レンズ１３１が被写体に合焦する。

ＤＳＰ１１０は、メモリ１２７を一時記憶装置として用いながら画像データに所定の処理を施した後、画像ファイルを作成してメモリカード１２８に送信するとともに、処理済みの画像データをＬＣＤ１２２に連続的に送信する。メモリカード１２８は、例えばＳＤカードであって、デジタルカメラ１００に対して着脱自在となるように設けられ、受信した画像ファイルを保存する。ＬＣＤ１２２は、受信した画像データを表示する。

ＤＳＰ１１０には、操作スイッチ１２６が接続される。操作スイッチ１２６は、シャッターレリーズボタンを備える。シャッターレリーズボタンは二段階スイッチであり、ユーザが半押しすると半押し信号をＤＳＰ１１０に送信し、全押しすると全押し信号をＤＳＰ１１０に送信する。

ＤＳＰ１１０が半押し信号を受信すると、受信した画像データに応じて、絞り値及びシャッター速度を算出し、ＬＣＤ１２２は補正画像を表示する。ＤＳＰ１１０が全押し信号を受信すると、算出済みの絞り値及びシャッター速度で絞り羽根１２３及びシャッター幕１２４を駆動させ、ＣＭＯＳ１２１に被写体像を撮像させる。そしてＣＭＯＳ１２１から取得した画像データに対して所定の画像処理を施し、メモリカード１２８に送信する。メモリカード１２８は、受信した画像ファイルを保存する。

次に、図２及び３を用いて演算部１１２について説明する。図２（ａ）は、２つの色差成分により規定される座標系において、偽色が発生しやすい領域２０を示す。この座標系は、直交する２つの色差成分により規定される二次元直交座標系であるとともに、色差に対応する偏角と彩度に対応する動径とにより規定される二次元極座標系でもある。以下、色差Ｃｂを横軸、色差Ｃｒを縦軸として説明する。

偽色が発生しやすい領域２０は、カラーフィルタ１２１ｂの分光感度や、ＤＳＰ１１０が実行する画像処理で行われる色補正処理などに応じて適宜決定される。分光感度や色補正処理は画像を作成した機器によって異なる。そのため、画像を作成した機器に応じて決定してもよい。領域２０を決定する手段について説明する。まず、回転角度を決定すべき機器を用いて、ＣＺＰ（ＣｉｒｃｕｌａｒＺｏｎｅＰｌａｔｅ）チャートを撮像する。これにより得られる画像データは偽色を有する。そこで、この画像データが有する輝度成分と色差成分を用いて、図２（ａ）に示す座標系において偽色が発生する領域を決定する。偽色が発生する程度に応じて、領域２０の大きさが変更される。

次に、この領域２０内に、矩形の第１の未回転偽色領域２１ｂと第２の未回転偽色領域２２ｂを設定する（図２（ｂ）参照）。領域２０を矩形の領域に近似することにより、画像データの色差成分が含まれるか否かの判断が容易となる。しかしながら、第１の未回転偽色領域２１ｂと第２の未回転偽色領域２２ｂの長手方向が縦軸に対して平行でなく傾いているため、これらの領域に画像データの色差成分が含まれるか否かを判断すると、計算が複雑となり、計算負荷が大きくなる。そこで、第１の未回転偽色領域２１ｂと第２の未回転偽色領域２２ｂとを回転変換することにより第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃを作成する（図２（ｃ）参照）。第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃの長手方向は縦軸に対して平行であるため、これらの領域に画像データの色差成分が含まれるか否かを判断すれば、計算が容易となり、計算負荷を抑えることができる。第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃとは、互いに補色関係にあり、これらの縦方向の長さは彩度と一致し、これらの横方向の長さは色相と一致する。

回転変換の角度は、領域２０を決定する手段と同様に、カラーフィルタ１２１ｂの分光感度、ＤＳＰ１１０が実行する画像処理で行われる色補正などに応じて適宜決定される。すなわち、画像を作成した機器に応じて決定される。回転角度を決定する手段について説明する。領域２０を決定する手段と同様に、回転角度を決定すべき機器を用いてＣＺＰチャートを撮像し、偽色が発生する領域を決定する。そして、この領域を回転変換したとき、領域の長手方向が縦軸と平行になるような回転角度を求める。求められた回転角度が、その機器固有の回転角度である。回転前の色差成分を（Ｃｂ，Ｃｒ）、回転後の色差成分を（Ｃｂ’，Ｃｒ’）、回転角度をθとすると、回転後の色差成分（Ｃｂ’，Ｃｒ’）は以下の式により表される。
Ｃｂ’＝Ｃｂ・ｃｏｓθ−Ｃｒ・ｓｉｎθ
Ｃｒ’＝Ｃｂ・ｓｉｎθ＋Ｃｒ・ｃｏｓθ
演算部１１２は、この式を用いて、取得した画像データの色差成分を回転変換し、回転色差成分を作成する。言い換えると、演算部１１２が画像データの色相を回転変換する。この処理を回転変換処理という。

図３は、図２（ａ）に示されるものと異なる特性を持つ機器の偽色が発生しやすい領域３０ａを示した図である。領域３０ａ内に、矩形の第１の未回転偽色領域３１ａと第２の未回転偽色領域３２ａが設定されている（図３（ａ）参照）。

図２の領域２０が長手方向に一直線に延びるのに対して、領域３０ａは「く」の字型に折れ曲がっている。そのため、領域３０ａ全体を一定の回転角度で回転させても、２つの回転偽色領域の長手方向は縦軸と平行にならない。そこで、第１の未回転偽色領域３１ａの長手方向が縦軸と平行になるような第１の回転角度θ１と、第２の未回転偽色領域３２ａの長手方向が縦軸と平行になるような第２の回転角度θ２を求める。求められた第１の回転角度θ１及び第２の回転角度θ２が、その機器固有の回転角度である。演算部１１２は、第１の回転角度θ１及び第２の回転角度θ２を用いて、取得した画像データの色差成分を回転変換し、回転色差成分を作成する。言い換えると、演算部１１２が画像データの色相を回転変換する。この処理を回転変換処理という。

次に、図２及び４を用いて検出部１１１について説明する。検出部１１１は、画像データに含まれる各画素１２１ａの色差成分が第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃに含まれるか否かを判断し、その結果に応じて画像データに偽色が含まれるか否かを決定する。すなわち、偽色を有する可能性がある画素１２１ａ（偽色可能性画素）に対し、その偽色可能性画素から所定の範囲内に、その偽色可能性画素と補色関係にある偽色可能性画素が存在する場合、その偽色可能性画素が偽色を有すると判断する。以下、この処理について詳細に説明する。

まず、検出部１１１は、画像データを構成する画素１２１ａから検査対象である注目画素を１つ選択する。そして、注目画素を成す色差成分が第１の回転偽色領域２１ｃに含まれるか否かを判断する。そして、第１の回転偽色領域２１ｃに含まれる場合には値１を判断結果として出力し、含まれない場合には値０を判断結果として出力する。この処理を全ての画素１２１ａに対して実行する。出力された判断結果を画素１２１ａの配列に対応するように並べて得られる行列が第１の中間判断結果である。同様にして注目画素を成す色差成分が第２の回転偽色領域２２ｃに含まれるか否かを判断し、第２の中間判断結果を作成する。

次に、検出部１１１は、第１の中間判断結果において値１を有する注目画素を検出し、第２の中間判断結果におけるその注目画素及び注目画素から所定の範囲内の画素１２１ａの値に１が含まれるか否かを判断する。図４（ａ）は、第１の中間判断結果において値１を有する注目画素４１と、その注目画素から２画素分の範囲に含まれる画素１２１ａの値を示す。図４（ｂ）及び図４（ｃ）は、第２の中間判断結果の一部であって、注目画素を中心とする行列であり、第１の中間判断結果において値１を有する注目画素に対応する画素４２と、その注目画素から２画素分の範囲に含まれる画素１２１ａの値を示す。図４（ｂ）及び図４（ｃ）は、５×５の正方行列であり、注目画素から２画素分の範囲が所定の範囲に相当する。所定の範囲は、画像データが有する画素数に応じて決定され、画素数が多くなるにつれて所定の範囲が広くなる。図４（ｂ）には値１を取る画素１２１ａが含まれる。しかし図４（ｃ）には値１を取る画素１２１ａが含まれず、全ての画素１２１ａの値が０を取る。図４（ｂ）に示すように、第１の中間判断結果において値１を有する注目画素のうち、第２の中間判断結果におけるその注目画素及び注目画素から所定の範囲内の画素１２１ａの値に１が含まれるとき、注目画素に偽色が含まれると判断して値１を判断結果として出力する。他方、図４（ｃ）に示すように、第１の中間判断結果において値１を有する注目画素のうち、第２の中間判断結果におけるその注目画素及び注目画素から所定の範囲内の画素１２１ａの値に１が含まれないとき、注目画素に偽色が含まれないと判断し、値０を判断結果として出力する。この処理を全ての画素１２１ａに対して実行する。出力された判断結果を画素１２１ａの配列に対応するように並べて得られる行列が第１の最終判断結果である。同様にして、検出部１１１は、第２の中間判断結果において値１を有する注目画素を検出し、第１の中間判断結果におけるその注目画素及び注目画素から所定の範囲内の画素１２１ａの値に１が含まれるか否かを判断する。判断結果を画素１２１ａの配列に対応するように並べて得られる行列が第２の最終判断結果である。

そして、検出部１１１は、第１の最終判断結果と第２の最終判断結果とを対応する画素毎に加算して、偽色判定結果を作成する。偽色判定結果は、画像データの画素１２１ａが作る行列と同じ行列であり、行列において対応する要素の値が１であるとき、その画素１２１ａは偽色であると判断されていることを示し、対応する要素の値が０であるとき、その画素１２１ａは偽色でないと判断されていることを示す。

次に、図５を用いて第１の偽色判定処理について説明する。第１の偽色判定処理は、演算部１１２及び検出部１１１によって実行される処理である。

初めのステップＳ５１では、演算部１１２が画像データを読み込む。画像データは、例えばＪＰＥＧ形式のような輝度成分及び色差成分から構成される画像データである。

次のステップＳ５２では、演算部１１２が画像データの色相を回転変換処理して回転色差成分を作成する。

次のステップＳ５３では、検出部１１１が第１の中間判断結果及び第２の中間判断結果を作成する。

次のステップＳ５４では、検出部１１１が、第１の中間判断結果及び第２の中間判断結果に基づいて第１の最終判断結果及び第２の最終判断結果を作成した後、第１の最終判断結果と第２の最終判断結果とを加算して偽色判定結果を作成する。これにより、偽色を持つ画素１２１ａが検出される。

本実施形態によれば、第１の回転偽色領域２１ｃと、第１の回転偽色領域２１ｃと補色関係にある第２の回転偽色領域２２ｃとを用いて偽色の判定を行うため、偽色と同じような配色を誤って偽色と判断することを防止し、精度良く偽色を検出できる。

また、演算部１１２が回転変換を行うことにより、計算が複雑となることを防ぎ、計算負荷を減らすことができる。

さらに、画像データの画素数が増えるに従って、前述した所定の範囲を拡大、すなわち図４（ｂ）及び図４（ｃ）に示す正方行列の大きさを大きくすることにより、画像データの画素数に適した範囲を設定して、精度良く偽色を含む領域を検出できる。

次に、図２、５、及び６を用いて第２の実施形態について説明する。第２の実施形態は、第１の中間判断結果又は第２の中間判断結果にＬＰＦ（ローパスフィルタ）を掛けてから第１の最終判断結果及び第２の最終判断結果を算出する点が第１の実施形態と異なる。第１の実施形態と同様の構成については、同じ符号を付して説明を省略する。

次に、図６を用いて検出部１１１について説明する。検出部１１１は、画像データに含まれる各画素１２１ａの色差成分が第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃに含まれるか否かを判断し、その結果にＬＰＦを掛けた結果に応じて画像データに偽色が含まれるか否かを決定する。以下、これらの処理について詳細に説明する。第１の中間判断結果及び第２の中間判断結果を作成する手順に関しては第１の実施形態と同様であるため、説明を省略する。

図６（ａ）は５×５のサイズを有するＬＰＦを示し、図６（ｂ）は第２の中間判断結果を示す。ここで、注目画素をＡ１３とすると、Ａ１３に対してＬＰＦを掛けて得られる値ＬＰＦ＿Ａ１３は以下の式により求められる。
ＬＰＦ＿Ａ１３＝Ｌ１・Ａ１＋Ｌ２・Ａ２＋Ｌ３・Ａ３＋Ｌ４・Ａ４＋Ｌ５・Ａ５＋Ｌ６・Ａ６＋Ｌ７・Ａ７＋Ｌ８・Ａ８＋Ｌ９・Ａ９＋Ｌ１０・Ａ１０＋Ｌ１１・Ａ１１＋Ｌ１２・Ａ１２＋Ｌ１３・Ａ１３＋Ｌ１４・Ａ１４＋Ｌ１５・Ａ１５＋Ｌ１６・Ａ１６＋Ｌ１７・Ａ１７＋Ｌ１８・Ａ１９＋Ｌ２０・Ａ２０＋Ｌ２１・Ａ２１＋Ｌ２２・Ａ２２＋Ｌ２３・Ａ２３＋Ｌ２４・Ａ２４＋Ｌ２５・Ａ２５
同様の処理を第２の中間判断結果に含まれる全ての画素１２１ａに対して行い、第２の除去結果を得る。そして、第１の中間判断結果と第２の除去結果とを同じ位置にある要素毎に乗算を行う。乗じた要素と同じ位置に乗算の結果を配置した結果が第１の除去判断結果である。これにより、第１の中間判断結果と第２の除去結果との双方において０でない値を取る画素１２１ａのみが、第１の除去判断結果において０でない値を取ることになり、いずれかにおいて値が０である画素１２１ａは第１の除去判断結果において値０を取ることになる。同様にして、検出部１１１は、第１の中間判断結果に対してＬＰＦを掛けて第１の除去結果を得る。そして第２の中間判断結果と第１の除去結果とを同じ位置にある要素毎に乗算を行い、第２の除去判断結果を得る。第１の中間判断結果及び第２の中間判断結果に対してＬＰＦを掛けると、第１の除去結果及び第２の除去結果において０でない値を取る領域が拡大する。つまり、第１の中間判断結果及び第２の中間判断結果から高周波成分を除去すると第１の偽色領域に含まれる画素が第２の判断結果において増え、第２の偽色領域に含まれる画素が第１の判断結果において増える。すなわち、偽色を含む可能性がある領域が拡大する。これにより、より確実に偽色を含む領域を検出できる。

そして、検出部１１１は、第１の除去判断結果と第２の除去判断結果とを対応する要素毎に加算して、偽色判定結果を作成する。偽色判定結果は、画像データの画素１２１ａが作る行列と同じ行列であり、行列において対応する要素の値が１であるとき、その画素１２１ａは偽色であると判断されており、対応する要素の値が０であるとき、その画素１２１ａは偽色でないと判断されている。

図６（ｃ）は、全ての要素が同じ値を取るＬＰＦの一例である。補色関係にある第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃに含まれるか否かを判断して作成される第１の中間判断結果と第２の中間判断結果は、通常、同じ位置に値１を取る要素、すなわち第１の回転偽色領域２１ｃ又は第２の回転偽色領域２２ｃに含まれる画素１２１ａを持たない。ここで、第２の中間判断結果に対してＬＰＦを掛けると、第２の除去結果において０でない値を取る領域、すなわち偽色を含む可能性がある領域が第２の中間判断結果よりも拡大する。これにより、第２の除去結果と第１の中間判断結果とが補色関係となる。

また、第１の中間判断結果及び第２の中間判断結果に対してＬＰＦを掛ける回数を増やすにつれて、第１の除去結果及び第２の除去結果において０でない値を取る領域が拡大していく。そこで、画像データの画素数が増えるに従って、ＬＰＦを掛ける回数を増やせば、偽色を含む可能性がある領域を拡大して、より確実に偽色を含む領域を検出できる。

あるいは、ＬＰＦのサイズを大きくするにつれて、第１の除去結果及び第２の除去結果において０でない値を取る領域を拡大することもできる。そこで、画像データの画素数が増えるに従って、ＬＰＦのサイズを大きくすれば、偽色を含む可能性がある領域を拡大して、より確実に偽色を含む領域を検出できる。

次に、図５を用いて第２の偽色判定処理について説明する。第２の偽色判定処理は、演算部及び検出部１１１によって実行される処理である。

ステップＳ５１からＳ５３は、第１の偽色判定処理と同じであるため、説明を省略する。

ステップＳ５４では、検出部１１１が、第１の中間判断結果及び第２の中間判断結果に基づいて第１の除去判断結果と第２の除去判断結果を作成した後、第１の除去判断結果と第２の除去判断結果とを加算して偽色判定結果を作成する。これにより、偽色を持つ画素１２１ａが検出される。

本実施形態によれば、第１の実施形態と同様の効果を備えると共に、従来の撮像装置が備えるＬＰＦを用いて偽色を検出できるため、新たな構成要素を設けずに、従来の画像処理ＩＣでも偽色を精度良く検出することができる。

また、画像データの画素数が増えるに従って、ＬＰＦを掛ける回数を増やすことにより、偽色を含む可能性がある領域を拡大して、より確実に偽色を含む領域を検出できる。

さらに、画像データの画素数が増えるに従って、ＬＰＦのサイズを大きくすることにより、偽色を含む可能性がある領域を拡大して、より確実に偽色を含む領域を検出できる。

次に、図４及び７を用いて第３の実施形態について説明する。第３の実施形態は、第１の中間判断結果及び第２の中間判断結果の作成と、第１の除去判断結果と第２の除去判断結果の作成との間に、輝度及び彩度を判定する点が第１及び第２の実施形態と異なる。第１及び第２の実施形態と同様の構成については、同じ符号を付して説明を省略する。

次に、図４及び７を用いて第３の偽色判定処理について説明する。第３の偽色判定処理は、演算部１１２及び検出部１１１によって実行される処理である。

ステップＳ５１からＳ５３は、第１及び第２の偽色判定処理と同じであるため、説明を省略する。

次のステップＳ７１では、輝度を用いて偽色を判定する。より詳しく説明すると、図４（ａ）の第１の中間判断結果において値１を取る注目画素の輝度と、第１の中間判断結果と補色関係にある図４（ｂ）の第２の中間判断結果において値１を取る全ての画素１２１ａの輝度との相加平均を算出する。そして得られた値を第１の輝度とする。同様に、第２の中間判断結果において値１を取る注目画素の輝度と、第２の中間判断結果と補色関係にある第１の中間判断結果において値１を取る全ての画素１２１ａの輝度との相加平均を算出する。そして得られた値を第２の輝度とする。次に、第１の輝度と第２の輝度との差を求め、予め定めた閾値よりも差が小さい場合には偽色を含む可能性があると判断して、第１の中間判断結果において対応する画素１２１ａ（注目画素）の値を１のまま維持する。他方、差が閾値以上である場合には偽色を含む可能性がないと判断し、第１の中間判断結果において対応する画素１２１ａ（注目画素）の値を１から０に変更する。偽色が発生した画素１２１ａでは、補色関係にある色差成分どうしは大きく異なるが、輝度成分どうしは差が少ない現象を利用したものである。すなわち、色差成分の差が大きく、かつ輝度成分の差が少ない画素１２１ａを、偽色を含む可能性があると判断する。これにより、補色関係にある色を有する物体が近接している被写体を撮像する場合に、補色関係にある色を誤って偽色と判断してしまうことを防止できる。

次のステップＳ７２では、彩度を用いて偽色を判定する。より詳しく説明すると、図４（ａ）の第１の中間判断結果において値１を取る注目画素の彩度と、第１の中間判断結果と補色関係にある図４（ｂ）の第２の中間判断結果において値１を取る全ての画素１２１ａの彩度との相加平均を算出する。彩度は、色差Ｃｂと色差Ｃｒとの二乗平均平方根である。そして得られた値を第１の彩度とする。同様に、第２の中間判断結果において値１を取る注目画素の彩度と、第２の中間判断結果と補色関係にある第１の中間判断結果において値１を取る全ての画素１２１ａの彩度との相加平均を算出する。そして得られた値を第２の彩度とする。次に、第１の彩度と第２の彩度との差を求め、予め定めた閾値よりも差が小さい場合には偽色を含む可能性があると判断して、第１の中間判断結果において対応する画素１２１ａ（注目画素）の値を１のまま維持する。他方、差が閾値以上である場合には偽色を含む可能性がないと判断し、第１の中間判断結果において対応する画素１２１ａ（注目画素）の値を１から０に変更する。偽色が発生した画素１２１ａでは、補色関係にある色差成分どうしは大きく異なるが、彩度成分どうしは差が少ない現象を利用したものである。すなわち、色差成分の差が大きく、かつ彩度成分の差が少ない画素１２１ａを、偽色を含む可能性があると判断する。これにより、補色関係にある色を有する物体が近接している被写体を撮像する場合に、補色関係にある色を誤って偽色と判断してしまうことを防止できる。

本実施形態によれば、補色関係にある色を有する物体が近接している被写体を撮像する場合に、補色関係にある色を誤って偽色と判断してしまうことを防止できる。また、補色関係にある一方で輝度や彩度が異なる被写体を偽色と判断してしまうことを防止できる。

なお第３の実施形態において、第３の偽色判定処理における、輝度を用いた偽色の判定と彩度を用いた偽色の判定は、いずれか一方のみを実行しても良い。

また第３の実施形態において、色差Ｃｂと色差Ｃｒとの二乗平均平方根を彩度であると説明したが、色差Ｃｂと色差Ｃｒとの二乗平均を彩度として使用しても良い。

なお、いずれの実施形態においても、検出部１１１は、第１の回転偽色領域２１ｃと第２の回転偽色領域２２ｃではなく、第１の未回転偽色領域２１ｂ、３１ａと第２の未回転偽色領域２２ｂ、３２ａに画素１２１ａの色差成分が含まれるか否かを判断することにより、偽色を検出しても良い。

また、第１の偽色判定処理のステップＳ５１及び第２の偽色判定処理のステップＳ７１において、輝度成分及び色差成分から構成されるＪＰＥＧ形式以外の形式のファイル、例えばＲＡＷ形式を読み込んでも良い。このとき、輝度成分及び色差成分から構成されない画像データに関しては、画像データを輝度成分及び色差成分に変換する。

２１ｂ第１の未回転偽色領域
２１ｃ第１の回転偽色領域
２２ｂ第２の未回転偽色領域
２２ｃ第２の回転偽色領域
３１ａ第１の未回転偽色領域
３２ａ第２の未回転偽色領域
４１注目画素
４２画素
１００デジタルカメラ
１１０ＤＳＰ
１１１検出部
１１２演算部
１２１ＣＭＯＳ
１２１ａ画素
１２１ｂカラーフィルタ
１２２ＬＣＤ
１２３絞り羽根
１２４シャッター幕
１２５駆動回路
１２６操作スイッチ
１２７メモリ
１２８メモリカード
１３１合焦レンズ
１３２ピント調整リング
１３３駆動モータ

Claims

輝度成分及び色差成分により画素の色を表した画像データを取得し、所定の色空間において偽色が生じやすい第１の偽色領域を決定し、前記第１の偽色領域と補色関係にある第２の偽色領域を決定する演算部と、
前記第１の偽色領域内に第１の矩形領域を設定し、前記第２の偽色領域内に第２の矩形領域を設定し、
前記画像データに含まれる注目画素を成す色差成分が前記第１の矩形領域に含まれるか否かを示す第１の判断結果を作成し、前記注目画素を成す色差成分が前記第２の矩形領域に含まれるか否かを示す第２の判断結果を作成し、
前記第１の判断結果及び前記第２の判断結果に基づいて前記画像データに偽色が含まれるか否かを判断する検出部を備える偽色検出装置。
輝度成分及び色差成分により画素の色を表した画像データを取得し、所定の色空間において偽色が生じやすい第１の偽色領域を決定し、前記第１の偽色領域と補色関係にある第２の偽色領域を決定する演算部と、
前記画像データに含まれる注目画素を成す色差成分が前記第１の偽色領域に含まれるか否かを示す第１の判断結果を作成し、前記注目画素を成す色差成分が前記第２の偽色領域に含まれるか否かを示す第２の判断結果を作成し、前記第１の判断結果及び前記第２の判断結果に基づいて前記画像データに偽色が含まれるか否かを判断し、さらに、
前記注目画素の色差成分が前記第１の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第２の偽色領域に含まれるか否かを示す第１の最終判断結果を作成し、前記注目画素の色差成分が前記第２の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第１の偽色領域に含まれるか否かを示す第２の最終判断結果を作成し、前記第１の最終判断結果及び前記第２の最終判断結果に基づいて前記注目画素が偽色画素であるか否か判断する検出部を備える偽色検出装置。
前記演算部は、前記注目画素の色差成分から成る行列を所定の回転角度で回転変換して回転色差成分を作成し、
前記検出部は、前記回転色差成分が前記第１の偽色領域に含まれるか否かを示す第１の判断結果を作成し、前記回転色差成分が前記第２の偽色領域に含まれるか否かを示す第２の判断結果を作成する請求項１または２に記載の偽色検出装置。
前記色空間は、直交する２つの色差成分により規定される二次元直交座標系で表される平面である請求項１から３のいずれか１項に記載の偽色検出装置。
前記色空間は、色差に対応する偏角と彩度に対応する動径とにより規定される二次元極座標系で表される平面である請求項１から４のいずれか１項に記載の偽色検出装置。
前記注目画素の色差成分が前記第１の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第２の偽色領域に含まれることを前記第１の最終判断結果が示し、または前記注目画素の色差成分が前記第２の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第１の偽色領域に含まれることを前記第２の最終判断結果が示す場合に、前記注目画素を偽色画素であると判断する請求項２に記載の偽色検出装置。
前記所定の範囲は、前記画像データが有する画素数に応じて決定され、前記画素数が多くなるにつれて前記所定の範囲が広くなる請求項６に記載の偽色検出装置。
前記検出部は、前記第２の判断結果から高周波成分を除去して得られる第２の除去結果を作成し、前記第２の除去結果と前記第１の判断結果とに基づいて第１の除去判断結果を作成し、前記第１の判断結果から高周波成分を除去して得られる第１の除去結果を作成し、前記第１の除去結果と前記第２の判断結果とに基づいて第２の除去判断結果を作成し、前記第１の除去判断結果と前記第２の除去判断結果とに基づいて、前記注目画素を偽色画素であると判断する請求項１から５のいずれか１項に記載の偽色検出装置。
前記検出部は、前記第１の偽色領域に含まれる画素を前記第２の判断結果において増やして得られる第２の除去結果を作成し、前記第２の除去結果と前記第１の判断結果とに基づいて第１の除去判断結果を作成し、前記第２の偽色領域に含まれる画素を前記第１の判断結果において増やして得られる第１の除去結果を作成し、前記第１の除去結果と前記第２の判断結果とに基づいて第２の除去判断結果を作成し、前記第１の除去判断結果と前記第２の除去判断結果とに基づいて、前記注目画素を偽色画素であると判断する請求項１から５のいずれかに記載の偽色検出装置。
前記検出部は、前記第１の判断結果において前記第１の偽色領域に含まれると判断されている注目画素の輝度と、前記第２の判断結果において前記第２の偽色領域に含まれると判断されている全ての画素の輝度との相加平均である第１の輝度を算出し、前記第２の判断結果において前記第２の偽色領域に含まれると判断されている注目画素の輝度と、前記第１の判断結果において前記第１の偽色領域に含まれると判断されている全ての画素の輝度との相加平均である第２の輝度を算出し、前記第１の輝度と前記第２の輝度との差が閾値よりも小さい場合に、前記注目画素が偽色を含むと判断する請求項１から５のいずれかに記載の偽色検出装置。
前記検出部は、前記第１の判断結果において前記第１の偽色領域に含まれると判断されている注目画素の彩度と、前記第２の判断結果において前記第２の偽色領域に含まれると判断されている全ての画素の彩度との二乗平均平方根である第１の彩度を算出し、前記第２の判断結果において前記第２の偽色領域に含まれると判断されている注目画素の彩度と、前記第１の判断結果において前記第１の偽色領域に含まれると判断されている全ての画素の彩度との二乗平均平方根である第２の彩度を算出し、前記第１の彩度と前記第２の彩度との差が閾値よりも小さい場合に、前記注目画素が偽色を含むと判断する請求項１から５及び９のいずれかに記載の偽色検出装置。
前記演算部は、前記画像データを作成した機器の特性に応じて前記回転角度を決定する請求項３に記載の偽色検出装置。
前記画像データは、入射光の光路上に設けられるカラーフィルタを介して被写体像を撮像する撮像素子により作成され、前記演算部は、前記カラーフィルタの特性に応じて前記回転角度を決定する請求項１２に記載の偽色検出装置。
前記演算部は、前記画像データを作成するときに用いた画像処理に応じて前記回転角度を決定する請求項１２に記載の偽色検出装置。
前記第１の判断結果及び第２の判断結果から除去する高周波成分の範囲は、前記画像データが有する画素数に応じて決定され、前記画素数が多くなるにつれて前記範囲が広げられる請求項９に記載の偽色検出装置。
請求項３に記載の偽色検出装置と、
前記画像データを作成する撮像素子と、
前記撮像素子に入射する光の光路上に設けられるカラーフィルタとを備え、
前記演算部は、前記カラーフィルタの特性に応じて前記回転角度を決定する撮像装置。
輝度成分と色差成分とから画素の色を表した画像データを取得するするステップと、
所定の色空間において偽色が生じやすい第１の偽色領域を決定するステップと、
前記第１の偽色領域と補色関係にある第２の偽色領域を決定するステップと、
注目画素を成す色差成分が前記第１の偽色領域に含まれるか否かを示す第１の判断結果を作成するステップと、
前記注目画素を成す色差成分が前記第２の偽色領域に含まれるか否かを示す第２の判断結果を作成するステップと、
前記第１の判断結果及び前記第２の判断結果に基づいて前記画像データに偽色が含まれるか否かを判断するステップと、
前記注目画素の色差成分が前記第１の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第２の偽色領域に含まれるか否かを示す第１の最終判断結果を作成し、前記注目画素の色差成分が前記第２の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第１の偽色領域に含まれるか否かを示す第２の最終判断結果を作成し、前記第１の最終判断結果及び前記第２の最終判断結果に基づいて前記注目画素が偽色画素であるか否か判断するステップとを備える偽色検出方法。
輝度成分と色差成分とから画素の色を表した画像データを取得するするステップと、
所定の色空間において偽色が生じやすい第１の偽色領域を決定するステップと、
前記第１の偽色領域と補色関係にある第２の偽色領域を決定するステップと、
注目画素を成す色差成分が前記第１の偽色領域に含まれるか否かを示す第１の判断結果を作成するステップと、
前記注目画素を成す色差成分が前記第２の偽色領域に含まれるか否かを示す第２の判断結果を作成するステップと、
前記第１の判断結果及び前記第２の判断結果に基づいて前記画像データに偽色が含まれるか否かを判断するステップと、
前記注目画素の色差成分が前記第１の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第２の偽色領域に含まれるか否かを示す第１の最終判断結果を作成し、前記注目画素の色差成分が前記第２の偽色領域に含まれ、かつ前記注目画素から所定の範囲内にある周辺画素の色差成分が前記第１の偽色領域に含まれるか否かを示す第２の最終判断結果を作成し、前記第１の最終判断結果及び前記第２の最終判断結果に基づいて前記注目画素が偽色画素であるか否か判断するステップとを備える偽色検出プログラム。