JP4168229B2 - Edge enhancement processing device - Google Patents
Edge enhancement processing device Download PDFInfo
- Publication number
- JP4168229B2 JP4168229B2 JP2001272284A JP2001272284A JP4168229B2 JP 4168229 B2 JP4168229 B2 JP 4168229B2 JP 2001272284 A JP2001272284 A JP 2001272284A JP 2001272284 A JP2001272284 A JP 2001272284A JP 4168229 B2 JP4168229 B2 JP 4168229B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- pixel
- edge
- calculated
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 80
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000012937 correction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 124
- 230000006870 function Effects 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 15
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000002950 deficient Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000012886 linear function Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、エッジ強調処理装置に関する。
【0002】
【従来の技術】
従来、この種のエッジ強調処理装置としては、モザイクフィルタを介して撮像素子により被写体像を画像情報として取り込む撮像装置(例えば、ディジタルスチルカメラ)にて生成される各画素の画像データに対して演算されたエッジ強調度合いに基づいてエッジ強調が行なうものがある。このとき、エッジ強調度合いは、上記画像データに対して所定の一の演算手法を実施し、この演算から一意的に算出されるエッジ強調輝度に基づいて定義付けされる。
【0003】
【発明が解決しようとする課題】
上述した従来のエッジ強調処理装置においては、一の演算手法に基づいて算出されたエッジ強調輝度を利用するため、画像データの特性をエッジ強調に反映させることができないという課題があった。
【0004】
本発明は、上記課題にかんがみてなされたもので、相互に異なる演算手法に基づく輝度をエッジ強調に利用することによって、画像データの特性を当該エッジ強調により反映させることが可能なエッジ強調処理装置の提供を目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するため、本発明のエッジ強調装置は、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算手段と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算手段と、上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調するエッジ強調手段と、を具備する構成としてある。
【0006】
上記構成においては、第一演算手段では各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する。第二演算手段では上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する。そして、エッジ強調手段にて上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調する。通常は一つの演算手法に基づいて算出される輝度を利用してエッジ度合いを強調する。しかし、本発明においては、相互に異なる演算手法に基づいて算出された性質が異なる二つの輝度をエッジ強調に利用するため、画像データの本質的な特性をエッジ強調度合いに反映させることが可能になる。
【0007】
第一演算手段における演算手法の一例として、上記第一演算手段は、所定のモザイクフィルタを介して撮像素子に取り込まれた画像データの各要素色を平均する演算方法に基づいて上記各画素の輝度を算出する構成としてもよい。
該構成によれば、第一演算手段では所定のモザイクフィルタを介して撮像素子に取り込まれた画像データの各要素色を平均する演算方法に基づいて各画素の輝度を算出する。これにより、画像データ処理等の処理が施されない生データに基づく輝度を算出することが可能になる。
【0008】
上述した第一演算手段では生データに基づく輝度を算出することが可能である。一方、これに対する第二演算手段における演算手法の一例として、上記第二演算手段は、同画像データに対して画素補間および異なる色空間への色変換を実行する画像処理により輝度が負数となりうる演算方法に基づいて上記各画素の輝度を算出する構成としてもよい。
該構成によれば、第二演算手段にて画像データに対して画素補間および異なる色空間への色変換を実行する画像処理にて輝度が負数となりうる演算方法に基づいて各画素の輝度を算出する。すなわち、第一演算手段での演算手法では画像処理を施さない生データに基づいて輝度を算出し、第二演算手段での演算手法では、各種画像処理を施したデータに基づいて輝度を算出する。このとき、この第二演算手段での演算手法では、画像データのチューニングのため輝度が負数を取りうる演算を行なう。このように、第一演算手段では生データに基づく正数の輝度を算出し、第二演算手段ではこれに対して画像処理後の画像データのチューニング状態を反映した輝度を算出する。そして、両者の輝度に基づいてエッジ強調を行なうことによって、エッジ強調により画像データの特性を反映することが可能になる。
【0009】
第一演算手段にて算出される輝度と、第二演算手段にて算出される輝度との変換度合いのレベルを調整するために、上記第一演算手段は、上記第二演算手段が実行する画像処理に含まれるγ補正処理を上記算出した各画素の輝度に対して実行する構成としてもよい。
該構成によれば、第一演算手段にて第二演算手段が実行する画像処理に含まれるγ補正処理を算出した各画素の輝度に対して実行する。
【0010】
全画素に対してエッジ強調を実行すると、処理負荷が大きくなりスループットが低下する。そこで、上記エッジ強調手段は、上記第一演算手段が算出した上記各画素の輝度に基づいて同各画素のエッジ量を算出するとともに、同算出したエッジ量に対応して同各画素のエッジ度合いを強調する構成としてもよい。
該構成によれば、エッジ強調手段にて第一演算手段が算出した各画素の輝度に基づいて各画素のエッジ量を算出する。そして、この算出したエッジ量に対応して各画素のエッジ度合いを強調する。すなわち、輪郭を構成する画素をエッジ強調の対象とすることにより、エッジ強調処理を実施する画素を制限することによって処理効率の向上を図る。
【0011】
エッジ量の低い画素の輝度をエッジ強調度合いに反映させることを防止する手法の一例として、上記算出したエッジ量に基づいて非線形関数値(例えば、コアリング関数値)を算出し、同算出した非線形関数値を上記第二演算手段にて演算した輝度に加算することによって上記各画素のエッジ度合いを強調する構成としてもよい。
該構成によれば、エッジ強調手段にて算出したエッジ量に基づいて非線形関数値を算出する。これによって、エッジ量が小さい画素をフィルタリングする。そして、この算出した非線形関数値を第二演算手段にて演算した輝度に加算することによって各画素のエッジ度合いを強調する。
【0012】
モザイクフィルタの一例として、上記モザイクフィルタは、CMYGの各要素色にて形成される構成としてもよい。
該構成によれば、モザイクフィルタをCMYGの各要素色にて形成する。
【0013】
モザイクフィルタの他の一例として、上記モザイクフィルタは、RGBの各要素色にて形成される構成としてもよい。
該構成によれば、モザイクフィルタをRGBの各要素色にて形成する。
【0014】
また、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調する手法は必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。
このため、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調するエッジ強調処理方法であって、上記各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算工程と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算工程と、上記第一演算工程において算出した輝度により基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算工程において算出した上記各画素のエッジ度合いを強調するエッジ強調工程と、を具備する構成も可能である。
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【0015】
ところで、このようなエッジ強調処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例としてエッジ強調処理装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【0016】
その一例として、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調するエッジ強調処理プログラムを記録した記録媒体であって、上記各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算機能と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算機能と、上記第一演算機能が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算機能が算出した上記各画素のエッジ度合いを強調するエッジ強調工程と、をコンピュータにて実行させるコンピュータ読取可能な記録媒体としてもよい。
【0017】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。また、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【0018】
【発明の効果】
以上説明したように本発明は、二つの異なる演算手法に基づいて各画素の輝度を算出し、各画素のエッジを強調するに際して、これら二つの輝度を利用することによって、画像データの本質的な特性をエッジ強調度合いに反映させることが可能なエッジ強調を実現することが可能なエッジ強調処理装置を提供することができる。
さらに、エッジ強調処理を実施する画素を制限することによって処理効率の向上を図ることが可能になる。
さらに、エッジ強調により画像データの特性を反映することが可能になる。
さらに、請求項2にかかる発明によれば、第一演算手段にて算出された輝度を第二演算手段にて算出された輝度と同様のγ補正を行なうため、γ変換のレベルを同等のものとすることが可能になる。
【0019】
さらに、請求項3にかかる発明によれば、エッジ量が小さい画素の輝度がエッジ強調度合いに反映されることを防止することが可能になる。
【0020】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
(1)デジタルスチルカメラの構成:
(2)画像処理の概略:
(3)エッジ強調処理について:
(4)エッジ強調処理の変形例:
(5)まとめ:
【0021】
(1)ディジタルスチルカメラの概略構成:
図1は、本発明のエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成をブロック図により示している。同図において、ディジタルスチルカメラ10は、光学部20と、CPU32を核とする制御部30とから構成されている。光学部20は、光学レンズ系21と、オートフォーカス機構22と、測距部23と、オートフォーカスコントローラ24とを備え、オートフォーカスコントローラ24がコントローラ25からの制御信号に基づいて測距部23にて被写体までの距離を測定しつつオートフォーカス機構22にて光学レンズ系21を駆動してピントを合わせる。光学レンズ系21にて被写体像を結像するのは撮像素子としてのCCD26の撮像面であり、本CCD26は1800×1200画素を有する単板で構成されている。単板で構成しているため、2×2画素について、グリーン(G)、マゼンタ(M)、イエロー(Y)、シアン(C)のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【0022】
この他、光学部20にはストロボ27も備えられており、コントローラ25からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、CCD26が出力するアナログ量の電気信号を増幅するオートゲインコントローラ(AGC)28が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するA/Dコンバータ29が備えられている。むろん、以上の光学部20については、ディジタルスチルカメラ10としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系21にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【0023】
また、制御部30はバス31を備えており、当該バス31にCPU32とROM33とRAM34と上記A/Dコンバータ29が接続されている。CPU32はROM33に書き込まれたファームウェアを実行して光学部20の制御や画像処理の演算等を実行するものであり、その際にRAM34は画像データを保存する画像エリア34aとして機能したり演算処理のためのワークエリア34bとして機能したりする。CPU32が光学部20を制御する際には、コントローラ25に対して制御信号を出力し、同コントローラ25が各構成回路などに対する適宜制御信号を生成して出力する。
【0024】
制御部30はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル35と、撮影画像や操作指示などを表示するLCDパネル36を備えており、CPU32は操作パネル35の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。また、LCDパネル36への表示はRAM34に割り当てられたビデオRAMエリア34cに対してCPU32が所定のデータを書き込むことにより、LCDパネル36に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。そして、撮影され、所定の画像処理を経て生成される画像データはI/O37aを介して外部メモリであるフラッシュメモリカード37bに書き込まれ、また、必要に応じて同フラッシュメモリカード37bから読み出される。
【0025】
制御部30の構成もこの種のディジタルスチルカメラ10の典型例であって、各種の変更が可能である。例えば、外部メモリの種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能なメモリとのインターフェイスを備えなくてもUSBインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。表示部としてのLCDパネルに付随して情報表示用LCDを備えてもよいし、CPU32については制御対象が異なる複数のCPUを備えても良い。
【0026】
光学部20で撮像された画像はCCD26からアナログ電気信号として出力された後、AGC28を経てA/Dコンバータ29にてディジタルデータに変換され、さらにバス31を介してRAM34の画像エリア34aに記録される。そして、CPU32が所定の画像処理を実行することによりJPEG画像データに変換されて上述したフラッシュメモリカード37bに書き込まれることになる。
【0027】
(2)画像処理の概略:
図2は、このCPU32が実行する画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。同図において、ステップS102では、欠陥画素補間を実行する。およそ200万画素を有するCCD26には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした5×5画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する5×5のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体は光学部20において既に検出されている。
【0028】
次のステップS104ではホワイトバランスの測定を行う。撮影時の光源の種類、およびCCD26とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップS104にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップS110にてホワイトバランスの制御をする。ホワイトバランスを測定するときには間引き処理で選択した113×75画素の画像データを利用し、RGB表色系においてG成分を基準としたR成分の偏りとB成分の偏りを測定する。なお、本CCD26は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【0029】
本実施形態では三種類の画像を生成する。一つ目は確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにLCDパネル36に表示するための画像であり、720×240画素の画像データで構成される。サムネール画像は主画像とともに画像データとして記録されるものであり160×120画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、E−mail画像という720×480画素か、Print画像という1800×1200画素か、Hypict2という高解像度化した2160×1440画素かのいずれかである。
【0030】
図2において、ステップS106〜ステップS114は破線で囲む表示をしてあり、すくなくともこれらの処理は生成される三種類の画像ごとに実施される。ステップS106ではデータ補間を実施する。CCD26は単板で構成され、200万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクカラーデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む8画素に含まれる色情報の平均値である。例えば、シアン画素(C1)の周囲にはイエローの画素が二個(Y1,Y2)、マゼンタの画素が二個(M1,M2)、グリーンの画素が四個(G1〜G4)存在する。
【0031】
従って、このシアン画素の色情報(C,M,Y,G)については、
C=C1
M=(M1+M2)/2
Y=(Y1+Y2)/2
G=(G1+G2+G3+G4)/4
として計算する。
【0032】
ステップS108では、表色系を変えてRGB画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。RGB画像データに変換後、ステップS110では、上述したようにRGB表色系におけるR成分の偏りとB成分の偏りを少なくする制御を実行する。次のステップS112ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について10ビットの画像データを8ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した10ビット→8ビットのルックアップテーブルを参照して変換する。
【0033】
この後、JPEG画像圧縮技術を利用するため、RGB表色系からYUV表色系へと色変換する。なお、輝度とイエローを区別するため、以後において輝度はYmと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ysとして表示することにする。RGB表色系からYUV表色系への色変換は一般式あるいは行列式を利用して変換する。
【0034】
なお、モザイクカラーデータからYUV表色系への変換の一般式は、
Ys=0.25×(C+M+Y+G)
U=C+M−(Y+G)
V=−C+M+Y−G
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【0035】
ステップS116とステップS118は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてUV成分についてのみいわゆるローパスフィルタを適用する演算を行なう。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量から非線形関数値(例えば、コアリング関数値)を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
【0036】
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行なう。撮影は上述した三種類の画像ごとに上述した画像処理を実行し、最終的にはサムネール画像を含んだ主画像のJPEG圧縮画像をフラッシュメモリカード37bに書き込むことによって完了する。この他にも、本ディジタルスチルカメラではフラッシュメモリカード37bから画像データを読み込んでLCDパネル36に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【0037】
(3)エッジ強調処理について:
なお、上述したステップS118のエッジ強調処理は、ステップS106のデータ補間処理、ステップS108およびステップS114の色変換処理、ステップS110のステップホワイトバランス制御処理等の画像処理を実行して生成されたYmUVの画像データの輝度Ymを利用することによって各画素のエッジ度合いを強調することも可能である。しかし、このように各処理が施されるとともに、チューニングが実施されると、輝度Ymが負数になる場合がある。ここで、かかる負数の輝度Ymを利用してエッジ強調処理を実行すると、エッジ強調に支障をきたす場合がある。そこで、本発明にかかるエッジ強調処理装置は、モザイクカラーデータから直接導き出す単純輝度Ysを利用することによって、エッジ強調に利用する輝度が負数になることを防止するとともに、より画像データの特性をエッジ強調に反映させることを可能にしている。
【0038】
ここで、上述したとおり、撮像素子であるCCD26は光学系レンズ21により結像された被写体像を撮像する。CCD26により撮像された画像信号は、所定のタイミング信号に基づき順次A/Dコンバータ29によりデジタル画像信号に変換されて、図示しないYUV変換モジュールに送られる。このYUV変換モジュールは、入力信号から輝度Ymと、2つの色信号(U,V)を生成する。生成された輝度Ymは、エッジ強調処理モジュールへ送られ、このエッジ強調処理モジュールによって単純輝度Ysと組み合わせられたエッジ強調量に基づいて被写体のエッジ強調に利用される。
【0039】
図3は、このエッジ強調処理モジュールの構成を示すブロック構成図である。同図において、エッジ強調処理モジュール40は、単純輝度算出モジュール41と、エッジ量算出モジュール42と、非線形関数モジュール43と、加算モジュール44とから構成されている。また、図4は、エッジ強調処理モジュール40に内蔵される各モジュール41〜44における信号波形を示した図である。同図において、輝度Ymは上述したYUV変換モジュールから入力する。単純輝度Ysは上述のとおりモザイクカラーデータから直接導き出す。エッジ量Eは単純輝度Ysから算出する。非線形関数値f(E)はエッジ量Eに基づいて算出する。そして、エッジ強調輝度Y’は輝度Ymと非線形関数値f(E)とを加算することによって算出する。
【0040】
エッジ量算出モジュール42は、図5に示す3×3画素単位のラプラシアンフィルタ50を内部に備えている。そして、このラプラシアンフィルタ50は、中心画素のエッジ量Eを算出するに際して、当該中心画素の画像データを4倍するとともに、上下左右に隣接する画素の画像データを1倍し、上記4倍した中心画素の画像データからこの上下左右に隣接する画素の画像データを減算する。すなわち、中心画素およびそれと近接する周囲の画素の輝度に応じて、中心画素の単純輝度Ysの振幅を上下左右の画素幅だけ減算する。このようなラプラシアンフィルタ50にてフィルタ演算を実行すると、図6に示すように中心画素のエッジ量Eが算出される。
【0041】
また、非線形関数モジュール43は、図7に示す非線形関数をテーブルとして備えており、エッジ量算出モジュール42にて算出されたエッジ量Eを入力するとともに、このエッジ量Eに対応する非線形関数値f(E)を算出することが可能になっている。この非線形関数では、図4に示すとおり、振幅を一定の非線形関数レベルLにカットしノイズを取り除くことを可能にしている。単純輝度Ysのエッジ量Eから非線形関数値f(E)が算出されると、この非線形関数値f(E)は加算モジュール44に出力される。そして、加算モジュール44では、非線形関数モジュール43から入力した非線形関数値f(E)とYUV変換モジュールから出力される輝度Ymとを加算演算する。これにより、被写体のエッジを強調するエッジ強調輝度Y’を算出する。
【0042】
図8は、エッジ強調処理モジュール40にて各モジュール41〜44を用いて実行されるエッジ強調処理の処理内容を示したフローチャートである。
同図において、C,M,Y,Gがモザイク状に配置されたドットマトリクス
状に構成されるモザイクカラーデータに基づいて単純輝度Ysを算出する(ステップS118a)。ここで、単純輝度Ysの算出について説明する。CCD26を介して取り込まれたモザイクカラーデータは、図9に示すドットマトリクス状の画素にて形成されている。ここで、横軸(a1,a2,・・・)は横軸方向の画素位置を示すとともに、縦軸(b1,b2,・・・)は縦軸方向の画素位置を示している。例えば、画素(a1,b1)はG11のモザイクカラーデータを有していることを示しており、画素(a2,b1)はM21のモザイクカラーデータを有していることを示している。そして、所定画素の単純輝度Ysを算出するに際しては、当該画素を含め相互に隣接する4画素のモザイクカラーデータに基づいて算出する。
【0043】
例えば、画素(a1,b1)の単純輝度Ys(a1,b1)は、当該画素(a1,b1)のモザイクカラーデータであるG11と、画素(a1,b2)のモザイクカラーデータであるY12と、画素(a2,b1)のモザイクカラーデータであるM21と、画素(a2,b2)のモザイクカラーデータであるC22とに基づいて算出することになる。かかる場合の演算方法を数式に表すと、
Ys(a1,b1)=(G11+M21+Y12+C22)/4
となる。
【0044】
また、画素(a2,b1)の単純輝度Ys(a2,b1)は、当該画素(a2,b1)のモザイクカラーデータであるM21と、画素(a2,b2)のモザイクカラーデータであるC22と、画素(a3,b1)のモザイクカラーデータであるG31と、画素(a3,b2)のモザイクカラーデータであるY32とに基づいて算出される。かかる場合の演算方法を数式に表すと、
Ys(a2,b1)=(M21+G31+C22+Y32)/4
となる。
【0045】
すなわち、所定画素の単純輝度Ysを算出する場合は、当該画素のモザイクカラーデータと、この画素の右,下および右斜め下にて隣接する画素のモザイクカラーデータとの平均値を算出することになる。この単純輝度Ysの算出を画素(a1,b1)から順次ドットマトリクス状のモザイクカラ−データの全画素について実行する。以上のようにして各画素の単純輝度Ysが算出されると、この算出された単純輝度Ysに対してトーンカーブ補正を行う。このトーンカーブ補正はいわゆるγ補正と呼ばれるものである。
【0046】
このトーンカーブ補正自体はルックアップテーブルを利用しており、輝度Ymとのレベルを調整するためにγカーブはステップS112にて使用するものと同等のカーブを備えるように予めチューニングして作成されている。このトーンカーブ補正では10ビット→8ビットのルックアップテーブルを参照して変換することになる。そして、図10に示した各画素(a1,b1)・・・の単純輝度Ysを保持した単純輝度データを生成する。このように、各画素についての単純輝度Ysの算出が終了すると、次に、この単純輝度Ysに基づいて各画素のエッジ量Eを算出する(ステップS118b)。このエッジ量Eの算出は上述したとおりラプラシアンフィルタ50を用いる。例えば、単純輝度Ys(a2,b2)のエッジ量E(a2,b2)は、次の演算方法に基づいて行なわれる。
【0047】
E(a2,b2)=4×Ys(a2,b2)−Ys(a2,b1)−Ys(a1,b2)−Ys(a2,b1)−Ys(a3,b2)
このように所定画素のエッジ量Eを算出する場合は、上述したとおり当該画素の単純輝度Ysを4倍するとともに、この4倍した単純輝度Ysから上下左右に隣接する画素の単純輝度Ysを減算することによって算出する。そして、このエッジ量Eの算出を全画素について実行する。全画素のエッジ量Eを算出すると、このエッジ量Eは、非線形関数モジュール43に出力される。非線形関数モジュール43は、入力したエッジ量Eに基づいて非線形関数値f(E)を算出する(ステップS118c)。非線形関数値f(E)の算出に際しては、テーブルを使用して所定のエッジ量Eに対応する非線形関数値f(E)を取り出すことによって算出しても良いし、図7に示した非線形関数にエッジ量Eを代入することによって、非線形関数値f(E)を演算によって算出するようにしても良い。
【0048】
ステップS118cにて非線形関数値f(E)が算出されると、YUV変換モジュールから全画素についての輝度Ymを取得する(ステップS118d)。この輝度Ymは図11に示すように各画素毎に既に算出されている。そして、各画素について順次エッジ強調輝度Y’を算出する(ステップS118e)。このエッジ強調輝度Y’の算出は、加算モジュール44にて実行される。この加算モジュール44では次の式に基づいてエッジ強調輝度Y’を算出する。
Y’=Ym+f(E)
そして、エッジ強調輝度Y’が算出されると、図12に示すようにYUV変換モジュールにて生成された各画素の輝度Ymをこのエッジ強調輝度Y’に基づいて補正することによって、被写体のエッジ強調を実現する(ステップS118f)。
【0049】
上述したエッジ強調処理では、ステップS118aにて全画素についての単純輝度Ysを算出し、ステップS118bにて全画素についてのエッジ量Eを算出し、ステップS118cにて全画素についての非線形関数値f(E)を算出し、ステップS118dにて全画素についての輝度Ymを取得し、ステップS118eにて全画素についての各エッジ強調輝度Y’を算出し、ステップS118fにてこのエッジ強調輝度Y’に基づいて被写体をエッジ強調する構成を採用した。むろん、各ステップにて全画素についての単純輝度Ys,エッジ量E,非線形関数値f(E),輝度Ym,エッジ強調輝度Y’の算出を行なう構成に限定されるものではなく、各画素毎に単純輝度Ys,エッジ量E,非線形関数値f(E),輝度Ymに基づいてエッジ強調輝度Y’の算出および画像データ補正を行ない、順次全画素について行なうようにしても良い。
【0050】
上述した実施形態においては、各画素の状況に拘わらず、全画素についてエッジ強調処理を実行する態様を採用した。むろん、このように全画素についてエッジ強調する態様に限定されるものではなく、所定のエッジ量Eを有する画素、すなわち、輪郭画素についてのみエッジ強調処理を実行する態様を採用しても良い。かかる場合のエッジ強調処理の処理内容を図13のフローチャートに示す。同図においては、各画素毎に順次処理を実行する態様を採用する。先ず、ドットマトリクス状の先頭画素(a1,b1)の輝度Ymを取得する(ステップS118g)。そして、この輝度Ymが所定のしきい値ST以上であるか否かを判別する(ステップS118h)。
【0051】
輝度Ymが所定のしきい値ST以上であると判別された場合は、単純輝度算出モジュール41にて当該画素(a1,b1)および隣接する画素のモザイクデータを取得して、このモザイクデータに基づいて上述したステップS118aと同様の演算を利用して当該画素(a1,b1)の単純輝度Ys(a1,b1)を算出する(ステップS118i)。次に、エッジ量算出モジュール42は、この単純輝度Ys(a1,b1)に基づいて、上述したステップS118bと同様の演算を利用して各画素のエッジ量E(a1,b1)を算出する(ステップS118j)。当該画素(a1,b1)のエッジ量Eが算出されると、このエッジ量E(a1,b1)は、非線形関数モジュール43に出力される。
【0052】
非線形関数モジュール43は、入力したエッジ量E(a1,b1)に基づいて非線形関数値f(E)(a1,b1)を算出する(ステップS118k)。そして、加算モジュール44にて当該画素(a1,b1)のエッジ強調輝度Y’(a1,b1)を算出する(ステップS118l)。以上の演算を全画素について実行したかを判別し(ステップS118m)、全画素完了していなければ、ステップS118gに戻り上述した各ステップS118g〜S118lを繰り返す。全画素についての処理が完了していると判別された場合は、ステップS118lにて算出された各画素のエッジ強調輝度Y’に基づいて画像データを補正する(ステップS118n)。
【0053】
上述した実施形態においてはステップS118hにて輝度Ymと比較するしきい値STを固定とし、エッジ量Eがこのしきい値STより大きい場合に輪郭画素と判定して、当該画素に対してエッジ強調処理を実行する態様を採用した。一方、このしきい値STは固定する態様に限定されるものではなく、全画素のエッジ量Eの分布に基づいてしきい値STを可変させるようにしても良い。例えば、全体的にエッジ量が大きい場合は、輪郭画素数が多いため、しきい値STを小さく設定する。また、全体的にエッジ量が小さい場合は、しきい値STを大きく設定する。すなわち、シャープな画素が少ない場合にしきい値をSTを高めに設定することによって、エッジ強調処理を実行する輪郭画素数を調整することが可能となる。
【0054】
また、本実施形態においては、CCD26は1800×1200画素を有する単板で構成するとともに、2×2画素について、グリーン(G)、マゼンタ(M)、イエロー(Y)、シアン(C)のカラーフィルタを順次形成する構成を採用した。そして、単純輝度Ysの算出をこのG,M,Y,Cのモザイクデータの平均値としたが、むろん、CCD26を1800×1200画素を有する単板で構成するとともに、レッド(R)、グリーン(G)、ブルー(B)のカラーフィルタを順次形成する構成を採用しても良い。かかる場合は、単純輝度Ysの算出をこのR,G,Bのカラーデータの平均値とすれば良い。
【0055】
(4)まとめ:
このように、CCD26を介して取り込まれたC,M,Y,Gのモザイクカラーデータを平均する第一演算方法にて単純輝度Ysを算出するとともに、データ補間処理等を実行する第二演算方法にて輝度Ymを算出し、この相互に異なる演算方法にて算出された単純輝度Ysと輝度Ymとに基づいてエッジ強調輝度Y’を算出して画像データを補正することによって、より画像データの特性をエッジ強調に反映させることを可能にする。
【図面の簡単な説明】
【図1】本発明にかかるエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成を示したブロック図である。
【図2】ディジタルスチルカメラで実行される画像処理の主要な流れを示したフローチャートである。
【図3】エッジ強調モジュールの構成を示した構成図である。
【図4】エッジ強調モジュール内部の信号変化を示した図である。
【図5】ラプラシアンフィルタの構成を示した図である。
【図6】エッジの態様を示した図である。
【図7】非線形関数の一例を示した図である。
【図8】エッジ強調処理の処理内容を示したフローチャートである。
【図9】モザイクデータの画像データを示した図である。
【図10】単純輝度成分を示した図である。
【図11】YUV変換モジュールにて生成された画像データの輝度成分を示した図である。
【図12】エッジ強調輝度成分を示した図である。
【図13】エッジ強調処理の他の処理内容を示したフローチャートである。
【符号の説明】
10…ディジタルスチルカメラ
20…光学部
21…光学レンズ系
22…オートフォーカス機構
23…測距部
24…オートフォーカスコントローラ
25…コントローラ
26…CCD
27…ストロボ
28…オートゲインコントローラ(AGC)
29…A/Dコンバータ
30…制御部
31…バス
32…CPU
33…ROM
34…RAM
34a…画像エリア
34b…ワークエリア
34c…ビデオRAMエリア
35…操作パネル
36…LCDパネル
37a…I/O
37b…フラッシュメモリカード[0001]
BACKGROUND OF THE INVENTION
The present invention provides an edge enhancement processing device.In placeRelated.
[0002]
[Prior art]
Conventionally, as this type of edge enhancement processing device, calculation is performed on image data of each pixel generated by an imaging device (for example, a digital still camera) that captures a subject image as image information by an imaging device via a mosaic filter. Some edge enhancement is performed based on the edge enhancement degree. At this time, the degree of edge enhancement is defined on the basis of edge enhancement luminance that is uniquely calculated from the calculation by performing a predetermined calculation method on the image data.
[0003]
[Problems to be solved by the invention]
In the above-described conventional edge enhancement processing apparatus, there is a problem that the characteristics of image data cannot be reflected in edge enhancement because edge enhancement luminance calculated based on one calculation method is used.
[0004]
The present invention has been made in view of the above problems, and by using luminance based on mutually different calculation methods for edge enhancement, an edge enhancement processing apparatus capable of reflecting the characteristics of image data by the edge enhancement.SetFor the purpose of provision.
[0005]
[Means for Solving the Problems]
To achieve the above objective,Edge enhancement device of the present inventionIsFirst calculation means for calculating the luminance of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern based on a predetermined calculation method in which the luminance is not a negative number; and Second computing means for calculating the brightness of each pixel by image processing tuned so that the brightness can be a negative number, and calculating the edge amount of each pixel based on the brightness calculated by the first computing means, Edge enhancement means for enhancing the edge degree of each pixel calculated by the second calculation means based on an edge amount;It is set as the structure which comprises.
[0006]
the aboveIn the configurationIn the first calculation meansThe luminance of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern is calculated based on a predetermined calculation method in which the luminance is not a negative number.. In the second calculation meansThe luminance of each pixel is calculated by image processing tuned so that the luminance can be a negative number.. And with edge enhancement meansThe edge amount of each pixel is calculated based on the luminance calculated by the first calculation means, and the edge degree of each pixel calculated by the second calculation means is emphasized based on the edge amount.. Usually, the edge degree is emphasized using luminance calculated based on one calculation method. However, in the present invention, since two luminances having different properties calculated based on different calculation methods are used for edge enhancement, the essential characteristics of image data can be reflected in the degree of edge enhancement. Become.
[0007]
As an example of calculation method in the first calculation means,UpThe first calculation means is configured to calculate the luminance of each pixel based on a calculation method that averages each element color of image data captured by the image sensor via a predetermined mosaic filter.Good.
According to the configurationThe first calculation means calculates the luminance of each pixel based on a calculation method that averages the element colors of the image data captured by the image sensor via a predetermined mosaic filter. This makes it possible to calculate the luminance based on raw data that is not subjected to processing such as image data processing.
[0008]
The first calculation means described above can calculate the luminance based on the raw data. On the other hand, as an example of the calculation method in the second calculation means for this,UpThe second calculating means is configured to calculate the luminance of each pixel based on a calculation method in which the luminance can be a negative number by image processing that performs pixel interpolation and color conversion to a different color space for the image data.Good.
According to the configurationThe luminance of each pixel is calculated based on a calculation method in which the luminance can be a negative number in image processing in which pixel interpolation and color conversion to a different color space are performed on the image data by the second calculation means. In other words, the calculation method using the first calculation means calculates the luminance based on raw data that is not subjected to image processing, and the calculation method using the second calculation means calculates the luminance based on data subjected to various image processing. . At this time, in the calculation method using the second calculation means, calculation is performed such that the luminance can take a negative number for tuning the image data. In this way, the first calculation means calculates a positive luminance based on the raw data, and the second calculation means calculates the luminance reflecting the tuning state of the image data after image processing. Then, by performing edge enhancement based on both luminances, it becomes possible to reflect the characteristics of the image data by edge enhancement.
[0009]
In order to adjust the level of the degree of conversion between the luminance calculated by the first calculation means and the luminance calculated by the second calculation means,UpThe first calculating means executes a γ correction process included in the image processing executed by the second calculating means for the calculated luminance of each pixel.Good.
According to the configurationThe γ correction processing included in the image processing executed by the second calculation means is executed by the first calculation means for the calculated luminance of each pixel.
[0010]
When edge enhancement is performed on all pixels, the processing load increases and throughput decreases. Therefore,UpThe edge enhancement means calculates the edge amount of each pixel based on the luminance of each pixel calculated by the first calculation means, and emphasizes the edge degree of each pixel corresponding to the calculated edge amount. As a configuration toGood.
According to the configurationThen, the edge amount of each pixel is calculated based on the luminance of each pixel calculated by the first calculation means by the edge enhancement means. Then, the edge degree of each pixel is emphasized corresponding to the calculated edge amount. In other words, the pixels constituting the contour are targeted for edge enhancement, thereby limiting the pixels on which the edge enhancement processing is performed, thereby improving the processing efficiency.
[0011]
As an example of a technique to prevent the brightness of pixels with low edge amount from being reflected in the degree of edge enhancement,UpA non-linear function value (for example, a coring function value) is calculated based on the calculated edge amount, and the calculated non-linear function value is added to the luminance calculated by the second calculating means to thereby obtain an edge of each pixel. As composition to emphasize degreeGood.
According to the configurationThen, a nonlinear function value is calculated based on the edge amount calculated by the edge enhancement means. Thereby, pixels with a small edge amount are filtered. Then, the edge degree of each pixel is emphasized by adding the calculated nonlinear function value to the luminance calculated by the second calculating means.
[0012]
As an example of a mosaic filter,UpNote that the mosaic filter is formed with each element color of CMYG.Good.
According to the configurationThe mosaic filter is formed with each element color of CMYG.
[0013]
As another example of mosaic filter,UpNote that the mosaic filter is composed of RGB element colors.Good.
According to the configurationThe mosaic filter is formed with RGB element colors.
[0014]
In addition, the method of enhancing the edge degree of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern is not necessarily limited to a substantial device. Can also be easily understood.
For this reason,eachAn edge emphasis processing method for emphasizing the edge degree of each pixel of image data composed of pixels in a dot matrix in which element colors are arranged in a mosaic pattern,A first calculation step of calculating the luminance of each pixel based on a predetermined calculation method in which the luminance is not negative, and a first calculation step of calculating the luminance of each pixel by image processing tuned so that the luminance can be negative. The edge amount of each pixel is calculated based on the two calculation steps and the luminance calculated in the first calculation step, and the edge degree of each pixel calculated in the second calculation step is emphasized based on the edge amount. An edge emphasizing step is also possible..
That is, it is not necessarily limited to a substantial apparatus, and there is no difference that the method is also effective.
[0015]
By the way, such an edge emphasis processing apparatus may exist alone or may be used in a state where it is incorporated in a certain device. However, the idea of the invention is not limited to this and includes various aspects. It is a waste. Therefore, it can be changed as appropriate, such as software or hardware. When the software of the edge emphasis processing apparatus is implemented as an embodiment of the idea of the invention, it naturally exists on a recording medium on which such software is recorded, and it must be used.
[0016]
As an example,eachRecorded an edge enhancement processing program that enhances the edge degree of each pixel of image data composed of dot matrix pixels with element colors arranged in a mosaic patternRecordA medium,A first calculation function for calculating the luminance of each pixel based on a predetermined calculation method in which the luminance is not a negative number, and a first calculation function for calculating the luminance of each pixel by image processing tuned so that the luminance can be a negative number. The edge amount of each pixel is calculated based on the two calculation function and the luminance calculated by the first calculation function, and the edge degree of each pixel calculated by the second calculation function is emphasized based on the edge amount. A computer-readable recording medium that causes the computer to execute the edge emphasizing step..
[0017]
Of course, the recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium that will be developed in the future. In addition, the duplication stages such as the primary duplication product and the secondary duplication product are equivalent without any question. In addition, even when a part is software and a part is realized by hardware, the idea of the invention is not completely different, and a part is stored on a recording medium and is appropriately changed as necessary. It may be in the form of being read.
[0018]
【The invention's effect】
As described above, the present invention calculates the luminance of each pixel based on two different calculation methods, and uses these two luminances when emphasizing the edge of each pixel. It is possible to provide an edge enhancement processing apparatus capable of realizing edge enhancement capable of reflecting the characteristics in the edge enhancement degree.
Furthermore, it is possible to improve processing efficiency by limiting the pixels on which edge enhancement processing is performed.
further, DIt is possible to reflect the characteristics of the image data by enhancing the wedge.
And claims2According to the invention, the luminance calculated by the first calculating means is subjected to γ correction similar to the luminance calculated by the second calculating means, so that the level of γ conversion can be made equivalent. become.
[0019]
And claims3According to the invention, it is possible to prevent the luminance of a pixel having a small edge amount from being reflected in the edge enhancement degree..
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of digital still camera:
(2) Outline of image processing:
(3) About edge enhancement processing:
(4) Modified example of edge enhancement processing:
(5) Summary:
[0021]
(1) Schematic configuration of digital still camera:
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which an edge enhancement processing device of the present invention is applied. In the figure, the digital
[0022]
In addition, the
[0023]
The
[0024]
The
[0025]
The configuration of the
[0026]
The image picked up by the
[0027]
(2) Outline of image processing:
FIG. 2 shows a main flow of image processing executed by the
[0028]
In the next step S104, white balance is measured. Depending on the type of light source at the time of shooting and the combination of the
[0029]
In this embodiment, three types of images are generated. The first is a confirmation image, the second is a thumbnail image, and the third is a main image. The confirmation image is an image to be displayed on the
[0030]
In FIG. 2, Steps S106 to S114 are displayed surrounded by broken lines, and at least these processes are performed for each of the three types of generated images. In step S106, data interpolation is performed. Although the
[0031]
Therefore, for the color information (C, M, Y, G) of this cyan pixel,
C = C1
M = (M1 + M2) / 2
Y = (Y1 + Y2) / 2
G = (G1 + G2 + G3 + G4) / 4
Calculate as
[0032]
In step S108, the color system is changed and converted to RGB image data. There are general formulas for conversion, but actually, a simple general formula is not used, but conversion is performed using a tuned lookup table or a determinant. After conversion into RGB image data, in step S110, as described above, control is performed to reduce the bias of the R component and the bias of the B component in the RGB color system. In the next step S112, tone curve correction is performed. Tone curve correction is also referred to as so-called γ correction. At this time, 10-bit image data is converted into 8-bit image data for each component, and further noise reduction and gradation characteristics in the white side region and the black side region are performed. The γ curve itself is also adjusted to maintain The tone curve correction itself uses a look-up table, and is converted with reference to a 10-bit → 8-bit look-up table created by tuning in advance.
[0033]
Thereafter, color conversion is performed from the RGB color system to the YUV color system in order to use the JPEG image compression technique. In order to distinguish between brightness and yellow, the brightness is hereinafter displayed as Ym, and the brightness directly derived from the mosaic color data is displayed as simple brightness Ys as described later. The color conversion from the RGB color system to the YUV color system is performed using a general formula or a determinant.
[0034]
The general formula for conversion from mosaic color data to YUV color system is:
Ys = 0.25 × (C + M + Y + G)
U = C + M- (Y + G)
V = -C + M + Y-G
However, in practice, the tuning and white balance control as described above are performed, and this correspondence is not adopted.
[0035]
Steps S116 and S118 are processes performed only when the main image is created. Noise removal is performed by applying a so-called low-pass filter only for the UV component as the color component. In other words, the color change that is too steep acts on the pressing feeling. In the edge enhancement, a non-linear function value (for example, a coring function value) is calculated from an edge amount based on the luminance component only for the luminance component, and the non-linear function value is weighted to the original luminance component. Therefore, when the luminance value changes between adjacent pixels, the edge amount is calculated, and if the absolute value of the edge amount is large, the amount of change is reflected in the luminance value. If the absolute value is small, the original luminance is calculated. The value is almost unchanged.
[0036]
The above is the outline of the image processing. However, the above procedure also shortens the calculation processing time by simultaneously performing a plurality of processes in the actual calculation processing. The shooting is completed by executing the above-described image processing for each of the three types of images described above, and finally writing the JPEG compressed image of the main image including the thumbnail image in the
[0037]
(3) About edge enhancement processing:
Note that the edge enhancement processing in step S118 described above includes YmUV generated by executing image processing such as data interpolation processing in step S106, color conversion processing in steps S108 and S114, and step white balance control processing in step S110. It is also possible to emphasize the edge degree of each pixel by using the luminance Ym of the image data. However, when each process is performed as described above and the tuning is performed, the luminance Ym may become a negative number. Here, when edge enhancement processing is executed using such a negative luminance Ym, edge enhancement may be hindered. Therefore, the edge enhancement processing device according to the present invention uses the simple luminance Ys that is directly derived from the mosaic color data, thereby preventing the luminance used for edge enhancement from becoming a negative number and further improving the characteristics of the image data to the edge. It is possible to reflect in the emphasis.
[0038]
Here, as described above, the
[0039]
FIG. 3 is a block diagram showing the configuration of this edge enhancement processing module. In the figure, the edge enhancement processing module 40 includes a simple
[0040]
The edge
[0041]
The
[0042]
FIG. 8 is a flowchart showing the processing contents of the edge enhancement processing executed by the edge enhancement processing module 40 using the
In the figure, a dot matrix in which C, M, Y, and G are arranged in a mosaic pattern
The simple luminance Ys is calculated based on the mosaic color data configured in the shape (step S118a). Here, calculation of the simple luminance Ys will be described. Mosaic color data taken in via the
[0043]
For example, the simple luminance Ys (a1, b1) of the pixel (a1, b1) is G11 which is mosaic color data of the pixel (a1, b1), Y12 which is mosaic color data of the pixel (a1, b2), The calculation is based on M21 which is the mosaic color data of the pixel (a2, b1) and C22 which is the mosaic color data of the pixel (a2, b2). If the calculation method in such a case is expressed in a mathematical formula,
Ys (a1, b1) = (G11 + M21 + Y12 + C22) / 4
It becomes.
[0044]
The simple luminance Ys (a2, b1) of the pixel (a2, b1) is M21 which is mosaic color data of the pixel (a2, b1), C22 which is mosaic color data of the pixel (a2, b2), It is calculated based on G31 which is the mosaic color data of the pixel (a3, b1) and Y32 which is the mosaic color data of the pixel (a3, b2). If the calculation method in such a case is expressed in a mathematical formula,
Ys (a2, b1) = (M21 + G31 + C22 + Y32) / 4
It becomes.
[0045]
That is, when calculating the simple luminance Ys of a predetermined pixel, the average value of the mosaic color data of the pixel and the mosaic color data of the adjacent pixels on the right, bottom, and diagonally lower right of the pixel is calculated. Become. The calculation of the simple luminance Ys is sequentially performed on all pixels of the dot matrix-like mosaic color data from the pixel (a1, b1). When the simple luminance Ys of each pixel is calculated as described above, tone curve correction is performed on the calculated simple luminance Ys. This tone curve correction is so-called γ correction.
[0046]
This tone curve correction itself uses a look-up table, and in order to adjust the level with the luminance Ym, the γ curve is prepared by tuning in advance so as to have a curve equivalent to that used in step S112. Yes. In this tone curve correction, conversion is performed with reference to a lookup table of 10 bits → 8 bits. Then, simple luminance data holding the simple luminance Ys of each pixel (a1, b1)... Shown in FIG. Thus, when the calculation of the simple luminance Ys for each pixel is completed, the edge amount E of each pixel is then calculated based on the simple luminance Ys (step S118b). The edge amount E is calculated using the
[0047]
E (a2, b2) = 4 × Ys (a2, b2) −Ys (a2, b1) −Ys (a1, b2) −Ys (a2, b1) −Ys (a3, b2)
In this way, when calculating the edge amount E of a predetermined pixel, the simple luminance Ys of the pixel is quadrupled as described above, and the simple luminance Ys of pixels adjacent vertically and horizontally is subtracted from the quadruple simple luminance Ys. To calculate. Then, this edge amount E is calculated for all pixels. When the edge amount E of all the pixels is calculated, the edge amount E is output to the
[0048]
When the nonlinear function value f (E) is calculated in step S118c, the luminance Ym for all pixels is acquired from the YUV conversion module (step S118d). The luminance Ym has already been calculated for each pixel as shown in FIG. Then, the edge enhancement brightness Y ′ is sequentially calculated for each pixel (step S118e). The calculation of the edge enhancement luminance Y ′ is executed by the
Y '= Ym + f (E)
Then, when the edge enhancement luminance Y ′ is calculated, the luminance Ym of each pixel generated by the YUV conversion module is corrected based on the edge enhancement luminance Y ′ as shown in FIG. Emphasis is realized (step S118f).
[0049]
In the edge enhancement processing described above, the simple luminance Ys for all pixels is calculated in step S118a, the edge amount E for all pixels is calculated in step S118b, and the nonlinear function value f (for all pixels is calculated in step S118c. E) is calculated, the luminance Ym for all the pixels is acquired in step S118d, each edge enhanced luminance Y ′ for all the pixels is calculated in step S118e, and based on this edge enhanced luminance Y ′ in step S118f. In this case, the subject is edge-emphasized. Of course, the present invention is not limited to the configuration for calculating the simple luminance Ys, the edge amount E, the nonlinear function value f (E), the luminance Ym, and the edge enhancement luminance Y ′ for all pixels in each step. Alternatively, the edge enhancement luminance Y ′ may be calculated and the image data corrected based on the simple luminance Ys, the edge amount E, the nonlinear function value f (E), and the luminance Ym, and may be sequentially performed for all the pixels.
[0050]
In the above-described embodiment, an aspect is adopted in which edge enhancement processing is performed on all pixels regardless of the state of each pixel. Of course, the present invention is not limited to the aspect in which edge enhancement is performed on all pixels, and an aspect in which edge enhancement processing is performed only on pixels having a predetermined edge amount E, that is, contour pixels, may be employed. The processing content of the edge enhancement processing in such a case is shown in the flowchart of FIG. In the figure, a mode in which processing is sequentially executed for each pixel is adopted. First, the luminance Ym of the first pixel (a1, b1) in the dot matrix shape is acquired (step S118g). And it is discriminate | determined whether this brightness | luminance Ym is more than predetermined threshold value ST (step S118h).
[0051]
When it is determined that the luminance Ym is equal to or greater than the predetermined threshold ST, the simple
[0052]
The
[0053]
In the above-described embodiment, the threshold value ST to be compared with the luminance Ym is fixed in step S118h. A mode of executing processing was adopted. On the other hand, the threshold value ST is not limited to a fixed mode, and the threshold value ST may be varied based on the distribution of the edge amount E of all pixels. For example, when the edge amount is large as a whole, the threshold pixel ST is set small because the number of contour pixels is large. When the edge amount is small as a whole, the threshold value ST is set large. That is, when the number of sharp pixels is small, by setting the threshold value to a higher ST, it is possible to adjust the number of contour pixels for executing the edge enhancement processing.
[0054]
In the present embodiment, the
[0055]
(4) Summary:
As described above, the second calculation method for calculating the simple luminance Ys by the first calculation method for averaging the mosaic color data of C, M, Y, G captured via the
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which an edge enhancement processing apparatus according to the present invention is applied.
FIG. 2 is a flowchart showing a main flow of image processing executed by a digital still camera.
FIG. 3 is a configuration diagram showing a configuration of an edge enhancement module.
FIG. 4 is a diagram showing signal changes inside the edge enhancement module.
FIG. 5 is a diagram illustrating a configuration of a Laplacian filter.
FIG. 6 is a diagram showing an aspect of an edge.
FIG. 7 is a diagram illustrating an example of a nonlinear function.
FIG. 8 is a flowchart showing processing details of edge enhancement processing;
FIG. 9 is a diagram showing image data of mosaic data.
FIG. 10 is a diagram illustrating a simple luminance component.
FIG. 11 is a diagram showing luminance components of image data generated by a YUV conversion module.
FIG. 12 is a diagram showing edge-enhanced luminance components.
FIG. 13 is a flowchart showing other processing details of edge enhancement processing;
[Explanation of symbols]
10. Digital still camera
20 ... Optical part
21 ... Optical lens system
22 ... Autofocus mechanism
23. Ranging section
24 ... Autofocus controller
25 ... Controller
26 ... CCD
27 Strobe
28 ... Auto gain controller (AGC)
29 ... A / D converter
30 ... Control unit
31 ... Bus
32 ... CPU
33 ... ROM
34 ... RAM
34a ... Image area
34b ... Work area
34c ... Video RAM area
35 ... Control panel
36 ... LCD panel
37a ... I / O
37b ... Flash memory card
Claims (3)
上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算手段と、
上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調するエッジ強調手段と、
を具備することを特徴とするエッジ強調処理装置。First calculation means for calculating the luminance of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern based on a predetermined calculation method in which the luminance is not a negative number ;
On SL luminance of each pixel, a second calculating means for calculating the tuned image processing so that the luminance can be a negative number,
Edge enhancement means for calculating an edge amount of each pixel based on the luminance calculated by the first calculation means, and enhancing an edge degree of each pixel calculated by the second calculation means based on the edge amount ; ,
An edge emphasis processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001272284A JP4168229B2 (en) | 2001-09-07 | 2001-09-07 | Edge enhancement processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001272284A JP4168229B2 (en) | 2001-09-07 | 2001-09-07 | Edge enhancement processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003085555A JP2003085555A (en) | 2003-03-20 |
JP4168229B2 true JP4168229B2 (en) | 2008-10-22 |
Family
ID=19097680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001272284A Expired - Fee Related JP4168229B2 (en) | 2001-09-07 | 2001-09-07 | Edge enhancement processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4168229B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5017567B2 (en) * | 2008-03-07 | 2012-09-05 | 株式会社メガチップス | Image processing apparatus and surveillance camera |
KR20220078109A (en) | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | Method and apparatus for color space conversion |
-
2001
- 2001-09-07 JP JP2001272284A patent/JP4168229B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003085555A (en) | 2003-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7057653B1 (en) | Apparatus capable of image capturing | |
JP5045421B2 (en) | Imaging apparatus, color noise reduction method, and color noise reduction program | |
US7710470B2 (en) | Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise | |
KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
JP5014099B2 (en) | Imaging apparatus and control method thereof | |
WO2011118071A1 (en) | Image processing method and device, image processing program, and medium having said program recorded thereon | |
JP2003304549A (en) | Camera and image signal processing system | |
JP4168229B2 (en) | Edge enhancement processing device | |
JP2006041687A (en) | Image processing apparatus, image processing method, image processing program, electronic camera, and scanner | |
JP3730063B2 (en) | Color component generation apparatus, color component generation method, and multicolor image pickup apparatus using the same | |
JP2003348382A (en) | Contour emphasizing circuit | |
JP4003037B2 (en) | White balance adjustment device, white balance adjustment program, white balance adjustment method, and digital camera | |
JP4150878B2 (en) | Image data generator | |
JP4239483B2 (en) | Image processing method, image processing program, and image processing apparatus | |
JP2004304641A (en) | Image processing method and image processing apparatus | |
JP2004064227A (en) | Video signal processing apparatus | |
JP3837881B2 (en) | Image signal processing method and electronic camera | |
JP3855256B2 (en) | COMPRESSED IMAGE DATA GENERATION DEVICE, COMPRESSED IMAGE DATA GENERATION METHOD, AND MEDIUM CONTAINING COMPRESSED IMAGE DATA GENERATION PROCESSING PROGRAM | |
JP4239480B2 (en) | Image processing method, image processing program, and image processing apparatus | |
JP2000023085A (en) | Digital camera and image signal processing storage medium | |
JP4954658B2 (en) | Image processing device | |
JPH08181909A (en) | Image pickup device | |
KR101595888B1 (en) | Photographing apparatus controlling method of photographing apparatus and recording medium storing program to implement the controlling method | |
JP4025962B2 (en) | White balance adjustment | |
JP2002209224A (en) | Image processing unit, image processing method and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080709 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080722 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |