JP4168229B2

JP4168229B2 - Edge enhancement processing device

Info

Publication number: JP4168229B2
Application number: JP2001272284A
Authority: JP
Inventors: 政信白川; 耕平籬
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-09-07
Filing date: 2001-09-07
Publication date: 2008-10-22
Anticipated expiration: 2021-09-07
Also published as: JP2003085555A

Description

【０００１】
【発明の属する技術分野】
本発明は、エッジ強調処理装置に関する。
【０００２】
【従来の技術】
従来、この種のエッジ強調処理装置としては、モザイクフィルタを介して撮像素子により被写体像を画像情報として取り込む撮像装置（例えば、ディジタルスチルカメラ）にて生成される各画素の画像データに対して演算されたエッジ強調度合いに基づいてエッジ強調が行なうものがある。このとき、エッジ強調度合いは、上記画像データに対して所定の一の演算手法を実施し、この演算から一意的に算出されるエッジ強調輝度に基づいて定義付けされる。
【０００３】
【発明が解決しようとする課題】
上述した従来のエッジ強調処理装置においては、一の演算手法に基づいて算出されたエッジ強調輝度を利用するため、画像データの特性をエッジ強調に反映させることができないという課題があった。
【０００４】
本発明は、上記課題にかんがみてなされたもので、相互に異なる演算手法に基づく輝度をエッジ強調に利用することによって、画像データの特性を当該エッジ強調により反映させることが可能なエッジ強調処理装置の提供を目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明のエッジ強調装置は、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算手段と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算手段と、上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調するエッジ強調手段と、を具備する構成としてある。
【０００６】
上記構成においては、第一演算手段では各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する。第二演算手段では上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する。そして、エッジ強調手段にて上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調する。通常は一つの演算手法に基づいて算出される輝度を利用してエッジ度合いを強調する。しかし、本発明においては、相互に異なる演算手法に基づいて算出された性質が異なる二つの輝度をエッジ強調に利用するため、画像データの本質的な特性をエッジ強調度合いに反映させることが可能になる。
【０００７】
第一演算手段における演算手法の一例として、上記第一演算手段は、所定のモザイクフィルタを介して撮像素子に取り込まれた画像データの各要素色を平均する演算方法に基づいて上記各画素の輝度を算出する構成としてもよい。
該構成によれば、第一演算手段では所定のモザイクフィルタを介して撮像素子に取り込まれた画像データの各要素色を平均する演算方法に基づいて各画素の輝度を算出する。これにより、画像データ処理等の処理が施されない生データに基づく輝度を算出することが可能になる。
【０００８】
上述した第一演算手段では生データに基づく輝度を算出することが可能である。一方、これに対する第二演算手段における演算手法の一例として、上記第二演算手段は、同画像データに対して画素補間および異なる色空間への色変換を実行する画像処理により輝度が負数となりうる演算方法に基づいて上記各画素の輝度を算出する構成としてもよい。
該構成によれば、第二演算手段にて画像データに対して画素補間および異なる色空間への色変換を実行する画像処理にて輝度が負数となりうる演算方法に基づいて各画素の輝度を算出する。すなわち、第一演算手段での演算手法では画像処理を施さない生データに基づいて輝度を算出し、第二演算手段での演算手法では、各種画像処理を施したデータに基づいて輝度を算出する。このとき、この第二演算手段での演算手法では、画像データのチューニングのため輝度が負数を取りうる演算を行なう。このように、第一演算手段では生データに基づく正数の輝度を算出し、第二演算手段ではこれに対して画像処理後の画像データのチューニング状態を反映した輝度を算出する。そして、両者の輝度に基づいてエッジ強調を行なうことによって、エッジ強調により画像データの特性を反映することが可能になる。
【０００９】
第一演算手段にて算出される輝度と、第二演算手段にて算出される輝度との変換度合いのレベルを調整するために、上記第一演算手段は、上記第二演算手段が実行する画像処理に含まれるγ補正処理を上記算出した各画素の輝度に対して実行する構成としてもよい。
該構成によれば、第一演算手段にて第二演算手段が実行する画像処理に含まれるγ補正処理を算出した各画素の輝度に対して実行する。
【００１０】
全画素に対してエッジ強調を実行すると、処理負荷が大きくなりスループットが低下する。そこで、上記エッジ強調手段は、上記第一演算手段が算出した上記各画素の輝度に基づいて同各画素のエッジ量を算出するとともに、同算出したエッジ量に対応して同各画素のエッジ度合いを強調する構成としてもよい。
該構成によれば、エッジ強調手段にて第一演算手段が算出した各画素の輝度に基づいて各画素のエッジ量を算出する。そして、この算出したエッジ量に対応して各画素のエッジ度合いを強調する。すなわち、輪郭を構成する画素をエッジ強調の対象とすることにより、エッジ強調処理を実施する画素を制限することによって処理効率の向上を図る。
【００１１】
エッジ量の低い画素の輝度をエッジ強調度合いに反映させることを防止する手法の一例として、上記算出したエッジ量に基づいて非線形関数値（例えば、コアリング関数値）を算出し、同算出した非線形関数値を上記第二演算手段にて演算した輝度に加算することによって上記各画素のエッジ度合いを強調する構成としてもよい。
該構成によれば、エッジ強調手段にて算出したエッジ量に基づいて非線形関数値を算出する。これによって、エッジ量が小さい画素をフィルタリングする。そして、この算出した非線形関数値を第二演算手段にて演算した輝度に加算することによって各画素のエッジ度合いを強調する。
【００１２】
モザイクフィルタの一例として、上記モザイクフィルタは、ＣＭＹＧの各要素色にて形成される構成としてもよい。
該構成によれば、モザイクフィルタをＣＭＹＧの各要素色にて形成する。
【００１３】
モザイクフィルタの他の一例として、上記モザイクフィルタは、ＲＧＢの各要素色にて形成される構成としてもよい。
該構成によれば、モザイクフィルタをＲＧＢの各要素色にて形成する。
【００１４】
また、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調する手法は必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。
このため、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調するエッジ強調処理方法であって、上記各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算工程と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算工程と、上記第一演算工程において算出した輝度により基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算工程において算出した上記各画素のエッジ度合いを強調するエッジ強調工程と、を具備する構成も可能である。
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００１５】
ところで、このようなエッジ強調処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例としてエッジ強調処理装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００１６】
その一例として、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調するエッジ強調処理プログラムを記録した記録媒体であって、上記各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算機能と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算機能と、上記第一演算機能が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算機能が算出した上記各画素のエッジ度合いを強調するエッジ強調工程と、をコンピュータにて実行させるコンピュータ読取可能な記録媒体としてもよい。
【００１７】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。また、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００１８】
【発明の効果】
以上説明したように本発明は、二つの異なる演算手法に基づいて各画素の輝度を算出し、各画素のエッジを強調するに際して、これら二つの輝度を利用することによって、画像データの本質的な特性をエッジ強調度合いに反映させることが可能なエッジ強調を実現することが可能なエッジ強調処理装置を提供することができる。
さらに、エッジ強調処理を実施する画素を制限することによって処理効率の向上を図ることが可能になる。
さらに、エッジ強調により画像データの特性を反映することが可能になる。
さらに、請求項２にかかる発明によれば、第一演算手段にて算出された輝度を第二演算手段にて算出された輝度と同様のγ補正を行なうため、γ変換のレベルを同等のものとすることが可能になる。
【００１９】
さらに、請求項３にかかる発明によれば、エッジ量が小さい画素の輝度がエッジ強調度合いに反映されることを防止することが可能になる。
【００２０】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）デジタルスチルカメラの構成：
（２）画像処理の概略：
（３）エッジ強調処理について：
（４）エッジ強調処理の変形例：
（５）まとめ：
【００２１】
（１）ディジタルスチルカメラの概略構成：
図１は、本発明のエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成をブロック図により示している。同図において、ディジタルスチルカメラ１０は、光学部２０と、ＣＰＵ３２を核とする制御部３０とから構成されている。光学部２０は、光学レンズ系２１と、オートフォーカス機構２２と、測距部２３と、オートフォーカスコントローラ２４とを備え、オートフォーカスコントローラ２４がコントローラ２５からの制御信号に基づいて測距部２３にて被写体までの距離を測定しつつオートフォーカス機構２２にて光学レンズ系２１を駆動してピントを合わせる。光学レンズ系２１にて被写体像を結像するのは撮像素子としてのＣＣＤ２６の撮像面であり、本ＣＣＤ２６は１８００×１２００画素を有する単板で構成されている。単板で構成しているため、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【００２２】
この他、光学部２０にはストロボ２７も備えられており、コントローラ２５からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、ＣＣＤ２６が出力するアナログ量の電気信号を増幅するオートゲインコントローラ（ＡＧＣ）２８が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するＡ／Ｄコンバータ２９が備えられている。むろん、以上の光学部２０については、ディジタルスチルカメラ１０としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系２１にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【００２３】
また、制御部３０はバス３１を備えており、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰＵ３２はＲＯＭ３３に書き込まれたファームウェアを実行して光学部２０の制御や画像処理の演算等を実行するものであり、その際にＲＡＭ３４は画像データを保存する画像エリア３４ａとして機能したり演算処理のためのワークエリア３４ｂとして機能したりする。ＣＰＵ３２が光学部２０を制御する際には、コントローラ２５に対して制御信号を出力し、同コントローラ２５が各構成回路などに対する適宜制御信号を生成して出力する。
【００２４】
制御部３０はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル３５と、撮影画像や操作指示などを表示するＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネル３５の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。また、ＬＣＤパネル３６への表示はＲＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに対してＣＰＵ３２が所定のデータを書き込むことにより、ＬＣＤパネル３６に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。そして、撮影され、所定の画像処理を経て生成される画像データはＩ／Ｏ３７ａを介して外部メモリであるフラッシュメモリカード３７ｂに書き込まれ、また、必要に応じて同フラッシュメモリカード３７ｂから読み出される。
【００２５】
制御部３０の構成もこの種のディジタルスチルカメラ１０の典型例であって、各種の変更が可能である。例えば、外部メモリの種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能なメモリとのインターフェイスを備えなくてもＵＳＢインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。表示部としてのＬＣＤパネルに付随して情報表示用ＬＣＤを備えてもよいし、ＣＰＵ３２については制御対象が異なる複数のＣＰＵを備えても良い。
【００２６】
光学部２０で撮像された画像はＣＣＤ２６からアナログ電気信号として出力された後、ＡＧＣ２８を経てＡ／Ｄコンバータ２９にてディジタルデータに変換され、さらにバス３１を介してＲＡＭ３４の画像エリア３４ａに記録される。そして、ＣＰＵ３２が所定の画像処理を実行することによりＪＰＥＧ画像データに変換されて上述したフラッシュメモリカード３７ｂに書き込まれることになる。
【００２７】
（２）画像処理の概略：
図２は、このＣＰＵ３２が実行する画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。同図において、ステップＳ１０２では、欠陥画素補間を実行する。およそ２００万画素を有するＣＣＤ２６には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした５×５画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する５×５のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体は光学部２０において既に検出されている。
【００２８】
次のステップＳ１０４ではホワイトバランスの測定を行う。撮影時の光源の種類、およびＣＣＤ２６とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップＳ１０４にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップＳ１１０にてホワイトバランスの制御をする。ホワイトバランスを測定するときには間引き処理で選択した１１３×７５画素の画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りとＢ成分の偏りを測定する。なお、本ＣＣＤ２６は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【００２９】
本実施形態では三種類の画像を生成する。一つ目は確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにＬＣＤパネル３６に表示するための画像であり、７２０×２４０画素の画像データで構成される。サムネール画像は主画像とともに画像データとして記録されるものであり１６０×１２０画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙｐｉｃｔ２という高解像度化した２１６０×１４４０画素かのいずれかである。
【００３０】
図２において、ステップＳ１０６〜ステップＳ１１４は破線で囲む表示をしてあり、すくなくともこれらの処理は生成される三種類の画像ごとに実施される。ステップＳ１０６ではデータ補間を実施する。ＣＣＤ２６は単板で構成され、２００万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクカラーデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む８画素に含まれる色情報の平均値である。例えば、シアン画素（Ｃ１）の周囲にはイエローの画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）存在する。
【００３１】
従って、このシアン画素の色情報（Ｃ，Ｍ，Ｙ，Ｇ）については、
Ｃ＝Ｃ１
Ｍ＝（Ｍ１＋Ｍ２）／２
Ｙ＝（Ｙ１＋Ｙ２）／２
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４
として計算する。
【００３２】
ステップＳ１０８では、表色系を変えてＲＧＢ画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。ＲＧＢ画像データに変換後、ステップＳ１１０では、上述したようにＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくする制御を実行する。次のステップＳ１１２ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した１０ビット→８ビットのルックアップテーブルを参照して変換する。
【００３３】
この後、ＪＰＥＧ画像圧縮技術を利用するため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する。なお、輝度とイエローを区別するため、以後において輝度はＹｍと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ｙｓとして表示することにする。ＲＧＢ表色系からＹＵＶ表色系への色変換は一般式あるいは行列式を利用して変換する。
【００３４】
なお、モザイクカラーデータからＹＵＶ表色系への変換の一般式は、
Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【００３５】
ステップＳ１１６とステップＳ１１８は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてＵＶ成分についてのみいわゆるローパスフィルタを適用する演算を行なう。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量から非線形関数値（例えば、コアリング関数値）を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
【００３６】
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行なう。撮影は上述した三種類の画像ごとに上述した画像処理を実行し、最終的にはサムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込むことによって完了する。この他にも、本ディジタルスチルカメラではフラッシュメモリカード３７ｂから画像データを読み込んでＬＣＤパネル３６に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【００３７】
（３）エッジ強調処理について：
なお、上述したステップＳ１１８のエッジ強調処理は、ステップＳ１０６のデータ補間処理、ステップＳ１０８およびステップＳ１１４の色変換処理、ステップＳ１１０のステップホワイトバランス制御処理等の画像処理を実行して生成されたＹｍＵＶの画像データの輝度Ｙｍを利用することによって各画素のエッジ度合いを強調することも可能である。しかし、このように各処理が施されるとともに、チューニングが実施されると、輝度Ｙｍが負数になる場合がある。ここで、かかる負数の輝度Ｙｍを利用してエッジ強調処理を実行すると、エッジ強調に支障をきたす場合がある。そこで、本発明にかかるエッジ強調処理装置は、モザイクカラーデータから直接導き出す単純輝度Ｙｓを利用することによって、エッジ強調に利用する輝度が負数になることを防止するとともに、より画像データの特性をエッジ強調に反映させることを可能にしている。
【００３８】
ここで、上述したとおり、撮像素子であるＣＣＤ２６は光学系レンズ２１により結像された被写体像を撮像する。ＣＣＤ２６により撮像された画像信号は、所定のタイミング信号に基づき順次Ａ／Ｄコンバータ２９によりデジタル画像信号に変換されて、図示しないＹＵＶ変換モジュールに送られる。このＹＵＶ変換モジュールは、入力信号から輝度Ｙｍと、２つの色信号（Ｕ，Ｖ）を生成する。生成された輝度Ｙｍは、エッジ強調処理モジュールへ送られ、このエッジ強調処理モジュールによって単純輝度Ｙｓと組み合わせられたエッジ強調量に基づいて被写体のエッジ強調に利用される。
【００３９】
図３は、このエッジ強調処理モジュールの構成を示すブロック構成図である。同図において、エッジ強調処理モジュール４０は、単純輝度算出モジュール４１と、エッジ量算出モジュール４２と、非線形関数モジュール４３と、加算モジュール４４とから構成されている。また、図４は、エッジ強調処理モジュール４０に内蔵される各モジュール４１〜４４における信号波形を示した図である。同図において、輝度Ｙｍは上述したＹＵＶ変換モジュールから入力する。単純輝度Ｙｓは上述のとおりモザイクカラーデータから直接導き出す。エッジ量Ｅは単純輝度Ｙｓから算出する。非線形関数値ｆ（Ｅ）はエッジ量Ｅに基づいて算出する。そして、エッジ強調輝度Ｙ’は輝度Ｙｍと非線形関数値ｆ（Ｅ）とを加算することによって算出する。
【００４０】
エッジ量算出モジュール４２は、図５に示す３×３画素単位のラプラシアンフィルタ５０を内部に備えている。そして、このラプラシアンフィルタ５０は、中心画素のエッジ量Ｅを算出するに際して、当該中心画素の画像データを４倍するとともに、上下左右に隣接する画素の画像データを１倍し、上記４倍した中心画素の画像データからこの上下左右に隣接する画素の画像データを減算する。すなわち、中心画素およびそれと近接する周囲の画素の輝度に応じて、中心画素の単純輝度Ｙｓの振幅を上下左右の画素幅だけ減算する。このようなラプラシアンフィルタ５０にてフィルタ演算を実行すると、図６に示すように中心画素のエッジ量Ｅが算出される。
【００４１】
また、非線形関数モジュール４３は、図７に示す非線形関数をテーブルとして備えており、エッジ量算出モジュール４２にて算出されたエッジ量Ｅを入力するとともに、このエッジ量Ｅに対応する非線形関数値ｆ（Ｅ）を算出することが可能になっている。この非線形関数では、図４に示すとおり、振幅を一定の非線形関数レベルＬにカットしノイズを取り除くことを可能にしている。単純輝度Ｙｓのエッジ量Ｅから非線形関数値ｆ（Ｅ）が算出されると、この非線形関数値ｆ（Ｅ）は加算モジュール４４に出力される。そして、加算モジュール４４では、非線形関数モジュール４３から入力した非線形関数値ｆ（Ｅ）とＹＵＶ変換モジュールから出力される輝度Ｙｍとを加算演算する。これにより、被写体のエッジを強調するエッジ強調輝度Ｙ’を算出する。
【００４２】
図８は、エッジ強調処理モジュール４０にて各モジュール４１〜４４を用いて実行されるエッジ強調処理の処理内容を示したフローチャートである。
同図において、Ｃ，Ｍ，Ｙ，Ｇがモザイク状に配置されたドットマトリクス
状に構成されるモザイクカラーデータに基づいて単純輝度Ｙｓを算出する（ステップＳ１１８ａ）。ここで、単純輝度Ｙｓの算出について説明する。ＣＣＤ２６を介して取り込まれたモザイクカラーデータは、図９に示すドットマトリクス状の画素にて形成されている。ここで、横軸（ａ１，ａ２，・・・）は横軸方向の画素位置を示すとともに、縦軸（ｂ１，ｂ２，・・・）は縦軸方向の画素位置を示している。例えば、画素（ａ１，ｂ１）はＧ１１のモザイクカラーデータを有していることを示しており、画素（ａ２，ｂ１）はＭ２１のモザイクカラーデータを有していることを示している。そして、所定画素の単純輝度Ｙｓを算出するに際しては、当該画素を含め相互に隣接する４画素のモザイクカラーデータに基づいて算出する。
【００４３】
例えば、画素（ａ１，ｂ１）の単純輝度Ｙｓ（ａ１，ｂ１）は、当該画素（ａ１，ｂ１）のモザイクカラーデータであるＧ１１と、画素（ａ１，ｂ２）のモザイクカラーデータであるＹ１２と、画素（ａ２，ｂ１）のモザイクカラーデータであるＭ２１と、画素（ａ２，ｂ２）のモザイクカラーデータであるＣ２２とに基づいて算出することになる。かかる場合の演算方法を数式に表すと、
Ｙｓ（ａ１，ｂ１）＝（Ｇ１１＋Ｍ２１＋Ｙ１２＋Ｃ２２）／４
となる。
【００４４】
また、画素（ａ２，ｂ１）の単純輝度Ｙｓ（ａ２，ｂ１）は、当該画素（ａ２，ｂ１）のモザイクカラーデータであるＭ２１と、画素（ａ２，ｂ２）のモザイクカラーデータであるＣ２２と、画素（ａ３，ｂ１）のモザイクカラーデータであるＧ３１と、画素（ａ３，ｂ２）のモザイクカラーデータであるＹ３２とに基づいて算出される。かかる場合の演算方法を数式に表すと、
Ｙｓ（ａ２，ｂ１）＝（Ｍ２１＋Ｇ３１＋Ｃ２２＋Ｙ３２）／４
となる。
【００４５】
すなわち、所定画素の単純輝度Ｙｓを算出する場合は、当該画素のモザイクカラーデータと、この画素の右，下および右斜め下にて隣接する画素のモザイクカラーデータとの平均値を算出することになる。この単純輝度Ｙｓの算出を画素（ａ１，ｂ１）から順次ドットマトリクス状のモザイクカラ−データの全画素について実行する。以上のようにして各画素の単純輝度Ｙｓが算出されると、この算出された単純輝度Ｙｓに対してトーンカーブ補正を行う。このトーンカーブ補正はいわゆるγ補正と呼ばれるものである。
【００４６】
このトーンカーブ補正自体はルックアップテーブルを利用しており、輝度Ｙｍとのレベルを調整するためにγカーブはステップＳ１１２にて使用するものと同等のカーブを備えるように予めチューニングして作成されている。このトーンカーブ補正では１０ビット→８ビットのルックアップテーブルを参照して変換することになる。そして、図１０に示した各画素（ａ１，ｂ１）・・・の単純輝度Ｙｓを保持した単純輝度データを生成する。このように、各画素についての単純輝度Ｙｓの算出が終了すると、次に、この単純輝度Ｙｓに基づいて各画素のエッジ量Ｅを算出する（ステップＳ１１８ｂ）。このエッジ量Ｅの算出は上述したとおりラプラシアンフィルタ５０を用いる。例えば、単純輝度Ｙｓ（ａ２，ｂ２）のエッジ量Ｅ（ａ２，ｂ２）は、次の演算方法に基づいて行なわれる。
【００４７】
Ｅ（ａ２，ｂ２）＝４×Ｙｓ（ａ２，ｂ２）−Ｙｓ（ａ２，ｂ１）−Ｙｓ（ａ１，ｂ２）−Ｙｓ（ａ２，ｂ１）−Ｙｓ（ａ３，ｂ２）
このように所定画素のエッジ量Ｅを算出する場合は、上述したとおり当該画素の単純輝度Ｙｓを４倍するとともに、この４倍した単純輝度Ｙｓから上下左右に隣接する画素の単純輝度Ｙｓを減算することによって算出する。そして、このエッジ量Ｅの算出を全画素について実行する。全画素のエッジ量Ｅを算出すると、このエッジ量Ｅは、非線形関数モジュール４３に出力される。非線形関数モジュール４３は、入力したエッジ量Ｅに基づいて非線形関数値ｆ（Ｅ）を算出する（ステップＳ１１８ｃ）。非線形関数値ｆ（Ｅ）の算出に際しては、テーブルを使用して所定のエッジ量Ｅに対応する非線形関数値ｆ（Ｅ）を取り出すことによって算出しても良いし、図７に示した非線形関数にエッジ量Ｅを代入することによって、非線形関数値ｆ（Ｅ）を演算によって算出するようにしても良い。
【００４８】
ステップＳ１１８ｃにて非線形関数値ｆ（Ｅ）が算出されると、ＹＵＶ変換モジュールから全画素についての輝度Ｙｍを取得する（ステップＳ１１８ｄ）。この輝度Ｙｍは図１１に示すように各画素毎に既に算出されている。そして、各画素について順次エッジ強調輝度Ｙ’を算出する（ステップＳ１１８ｅ）。このエッジ強調輝度Ｙ’の算出は、加算モジュール４４にて実行される。この加算モジュール４４では次の式に基づいてエッジ強調輝度Ｙ’を算出する。
Ｙ’＝Ｙｍ＋ｆ（Ｅ）
そして、エッジ強調輝度Ｙ’が算出されると、図１２に示すようにＹＵＶ変換モジュールにて生成された各画素の輝度Ｙｍをこのエッジ強調輝度Ｙ’に基づいて補正することによって、被写体のエッジ強調を実現する（ステップＳ１１８ｆ）。
【００４９】
上述したエッジ強調処理では、ステップＳ１１８ａにて全画素についての単純輝度Ｙｓを算出し、ステップＳ１１８ｂにて全画素についてのエッジ量Ｅを算出し、ステップＳ１１８ｃにて全画素についての非線形関数値ｆ（Ｅ）を算出し、ステップＳ１１８ｄにて全画素についての輝度Ｙｍを取得し、ステップＳ１１８ｅにて全画素についての各エッジ強調輝度Ｙ’を算出し、ステップＳ１１８ｆにてこのエッジ強調輝度Ｙ’に基づいて被写体をエッジ強調する構成を採用した。むろん、各ステップにて全画素についての単純輝度Ｙｓ，エッジ量Ｅ，非線形関数値ｆ（Ｅ），輝度Ｙｍ，エッジ強調輝度Ｙ’の算出を行なう構成に限定されるものではなく、各画素毎に単純輝度Ｙｓ，エッジ量Ｅ，非線形関数値ｆ（Ｅ），輝度Ｙｍに基づいてエッジ強調輝度Ｙ’の算出および画像データ補正を行ない、順次全画素について行なうようにしても良い。
【００５０】
上述した実施形態においては、各画素の状況に拘わらず、全画素についてエッジ強調処理を実行する態様を採用した。むろん、このように全画素についてエッジ強調する態様に限定されるものではなく、所定のエッジ量Ｅを有する画素、すなわち、輪郭画素についてのみエッジ強調処理を実行する態様を採用しても良い。かかる場合のエッジ強調処理の処理内容を図１３のフローチャートに示す。同図においては、各画素毎に順次処理を実行する態様を採用する。先ず、ドットマトリクス状の先頭画素（ａ１，ｂ１）の輝度Ｙｍを取得する（ステップＳ１１８ｇ）。そして、この輝度Ｙｍが所定のしきい値ＳＴ以上であるか否かを判別する（ステップＳ１１８ｈ）。
【００５１】
輝度Ｙｍが所定のしきい値ＳＴ以上であると判別された場合は、単純輝度算出モジュール４１にて当該画素（ａ１，ｂ１）および隣接する画素のモザイクデータを取得して、このモザイクデータに基づいて上述したステップＳ１１８ａと同様の演算を利用して当該画素（ａ１，ｂ１）の単純輝度Ｙｓ（ａ１，ｂ１）を算出する（ステップＳ１１８ｉ）。次に、エッジ量算出モジュール４２は、この単純輝度Ｙｓ（ａ１，ｂ１）に基づいて、上述したステップＳ１１８ｂと同様の演算を利用して各画素のエッジ量Ｅ（ａ１，ｂ１）を算出する（ステップＳ１１８ｊ）。当該画素（ａ１，ｂ１）のエッジ量Ｅが算出されると、このエッジ量Ｅ（ａ１，ｂ１）は、非線形関数モジュール４３に出力される。
【００５２】
非線形関数モジュール４３は、入力したエッジ量Ｅ（ａ１，ｂ１）に基づいて非線形関数値ｆ（Ｅ）（ａ１，ｂ１）を算出する（ステップＳ１１８ｋ）。そして、加算モジュール４４にて当該画素（ａ１，ｂ１）のエッジ強調輝度Ｙ’（ａ１，ｂ１）を算出する（ステップＳ１１８ｌ）。以上の演算を全画素について実行したかを判別し（ステップＳ１１８ｍ）、全画素完了していなければ、ステップＳ１１８ｇに戻り上述した各ステップＳ１１８ｇ〜Ｓ１１８ｌを繰り返す。全画素についての処理が完了していると判別された場合は、ステップＳ１１８ｌにて算出された各画素のエッジ強調輝度Ｙ’に基づいて画像データを補正する（ステップＳ１１８ｎ）。
【００５３】
上述した実施形態においてはステップＳ１１８ｈにて輝度Ｙｍと比較するしきい値ＳＴを固定とし、エッジ量Ｅがこのしきい値ＳＴより大きい場合に輪郭画素と判定して、当該画素に対してエッジ強調処理を実行する態様を採用した。一方、このしきい値ＳＴは固定する態様に限定されるものではなく、全画素のエッジ量Ｅの分布に基づいてしきい値ＳＴを可変させるようにしても良い。例えば、全体的にエッジ量が大きい場合は、輪郭画素数が多いため、しきい値ＳＴを小さく設定する。また、全体的にエッジ量が小さい場合は、しきい値ＳＴを大きく設定する。すなわち、シャープな画素が少ない場合にしきい値をＳＴを高めに設定することによって、エッジ強調処理を実行する輪郭画素数を調整することが可能となる。
【００５４】
また、本実施形態においては、ＣＣＤ２６は１８００×１２００画素を有する単板で構成するとともに、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成する構成を採用した。そして、単純輝度Ｙｓの算出をこのＧ，Ｍ，Ｙ，Ｃのモザイクデータの平均値としたが、むろん、ＣＣＤ２６を１８００×１２００画素を有する単板で構成するとともに、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のカラーフィルタを順次形成する構成を採用しても良い。かかる場合は、単純輝度Ｙｓの算出をこのＲ，Ｇ，Ｂのカラーデータの平均値とすれば良い。
【００５５】
（４）まとめ：
このように、ＣＣＤ２６を介して取り込まれたＣ，Ｍ，Ｙ，Ｇのモザイクカラーデータを平均する第一演算方法にて単純輝度Ｙｓを算出するとともに、データ補間処理等を実行する第二演算方法にて輝度Ｙｍを算出し、この相互に異なる演算方法にて算出された単純輝度Ｙｓと輝度Ｙｍとに基づいてエッジ強調輝度Ｙ’を算出して画像データを補正することによって、より画像データの特性をエッジ強調に反映させることを可能にする。
【図面の簡単な説明】
【図１】本発明にかかるエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成を示したブロック図である。
【図２】ディジタルスチルカメラで実行される画像処理の主要な流れを示したフローチャートである。
【図３】エッジ強調モジュールの構成を示した構成図である。
【図４】エッジ強調モジュール内部の信号変化を示した図である。
【図５】ラプラシアンフィルタの構成を示した図である。
【図６】エッジの態様を示した図である。
【図７】非線形関数の一例を示した図である。
【図８】エッジ強調処理の処理内容を示したフローチャートである。
【図９】モザイクデータの画像データを示した図である。
【図１０】単純輝度成分を示した図である。
【図１１】ＹＵＶ変換モジュールにて生成された画像データの輝度成分を示した図である。
【図１２】エッジ強調輝度成分を示した図である。
【図１３】エッジ強調処理の他の処理内容を示したフローチャートである。
【符号の説明】
１０…ディジタルスチルカメラ
２０…光学部
２１…光学レンズ系
２２…オートフォーカス機構
２３…測距部
２４…オートフォーカスコントローラ
２５…コントローラ
２６…ＣＣＤ
２７…ストロボ
２８…オートゲインコントローラ（ＡＧＣ）
２９…Ａ／Ｄコンバータ
３０…制御部
３１…バス
３２…ＣＰＵ
３３…ＲＯＭ
３４…ＲＡＭ
３４ａ…画像エリア
３４ｂ…ワークエリア
３４ｃ…ビデオＲＡＭエリア
３５…操作パネル
３６…ＬＣＤパネル
３７ａ…Ｉ／Ｏ
３７ｂ…フラッシュメモリカード[0001]
BACKGROUND OF THE INVENTION
  The present invention provides an edge enhancement processing device.In placeRelated.
[0002]
[Prior art]
Conventionally, as this type of edge enhancement processing device, calculation is performed on image data of each pixel generated by an imaging device (for example, a digital still camera) that captures a subject image as image information by an imaging device via a mosaic filter. Some edge enhancement is performed based on the edge enhancement degree. At this time, the degree of edge enhancement is defined on the basis of edge enhancement luminance that is uniquely calculated from the calculation by performing a predetermined calculation method on the image data.
[0003]
[Problems to be solved by the invention]
In the above-described conventional edge enhancement processing apparatus, there is a problem that the characteristics of image data cannot be reflected in edge enhancement because edge enhancement luminance calculated based on one calculation method is used.
[0004]
  The present invention has been made in view of the above problems, and by using luminance based on mutually different calculation methods for edge enhancement, an edge enhancement processing apparatus capable of reflecting the characteristics of image data by the edge enhancement.SetFor the purpose of provision.
[0005]
[Means for Solving the Problems]
  To achieve the above objective,Edge enhancement device of the present inventionIsFirst calculation means for calculating the luminance of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern based on a predetermined calculation method in which the luminance is not a negative number; and Second computing means for calculating the brightness of each pixel by image processing tuned so that the brightness can be a negative number, and calculating the edge amount of each pixel based on the brightness calculated by the first computing means, Edge enhancement means for enhancing the edge degree of each pixel calculated by the second calculation means based on an edge amount;It is set as the structure which comprises.
[0006]
  the aboveIn the configurationIn the first calculation meansThe luminance of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern is calculated based on a predetermined calculation method in which the luminance is not a negative number.. In the second calculation meansThe luminance of each pixel is calculated by image processing tuned so that the luminance can be a negative number.. And with edge enhancement meansThe edge amount of each pixel is calculated based on the luminance calculated by the first calculation means, and the edge degree of each pixel calculated by the second calculation means is emphasized based on the edge amount.. Usually, the edge degree is emphasized using luminance calculated based on one calculation method. However, in the present invention, since two luminances having different properties calculated based on different calculation methods are used for edge enhancement, the essential characteristics of image data can be reflected in the degree of edge enhancement. Become.
[0007]
  As an example of calculation method in the first calculation means,UpThe first calculation means is configured to calculate the luminance of each pixel based on a calculation method that averages each element color of image data captured by the image sensor via a predetermined mosaic filter.Good.
  According to the configurationThe first calculation means calculates the luminance of each pixel based on a calculation method that averages the element colors of the image data captured by the image sensor via a predetermined mosaic filter. This makes it possible to calculate the luminance based on raw data that is not subjected to processing such as image data processing.
[0008]
  The first calculation means described above can calculate the luminance based on the raw data. On the other hand, as an example of the calculation method in the second calculation means for this,UpThe second calculating means is configured to calculate the luminance of each pixel based on a calculation method in which the luminance can be a negative number by image processing that performs pixel interpolation and color conversion to a different color space for the image data.Good.
  According to the configurationThe luminance of each pixel is calculated based on a calculation method in which the luminance can be a negative number in image processing in which pixel interpolation and color conversion to a different color space are performed on the image data by the second calculation means. In other words, the calculation method using the first calculation means calculates the luminance based on raw data that is not subjected to image processing, and the calculation method using the second calculation means calculates the luminance based on data subjected to various image processing. . At this time, in the calculation method using the second calculation means, calculation is performed such that the luminance can take a negative number for tuning the image data. In this way, the first calculation means calculates a positive luminance based on the raw data, and the second calculation means calculates the luminance reflecting the tuning state of the image data after image processing. Then, by performing edge enhancement based on both luminances, it becomes possible to reflect the characteristics of the image data by edge enhancement.
[0009]
  In order to adjust the level of the degree of conversion between the luminance calculated by the first calculation means and the luminance calculated by the second calculation means,UpThe first calculating means executes a γ correction process included in the image processing executed by the second calculating means for the calculated luminance of each pixel.Good.
  According to the configurationThe γ correction processing included in the image processing executed by the second calculation means is executed by the first calculation means for the calculated luminance of each pixel.
[0010]
  When edge enhancement is performed on all pixels, the processing load increases and throughput decreases. Therefore,UpThe edge enhancement means calculates the edge amount of each pixel based on the luminance of each pixel calculated by the first calculation means, and emphasizes the edge degree of each pixel corresponding to the calculated edge amount. As a configuration toGood.
  According to the configurationThen, the edge amount of each pixel is calculated based on the luminance of each pixel calculated by the first calculation means by the edge enhancement means. Then, the edge degree of each pixel is emphasized corresponding to the calculated edge amount. In other words, the pixels constituting the contour are targeted for edge enhancement, thereby limiting the pixels on which the edge enhancement processing is performed, thereby improving the processing efficiency.
[0011]
  As an example of a technique to prevent the brightness of pixels with low edge amount from being reflected in the degree of edge enhancement,UpA non-linear function value (for example, a coring function value) is calculated based on the calculated edge amount, and the calculated non-linear function value is added to the luminance calculated by the second calculating means to thereby obtain an edge of each pixel. As composition to emphasize degreeGood.
  According to the configurationThen, a nonlinear function value is calculated based on the edge amount calculated by the edge enhancement means. Thereby, pixels with a small edge amount are filtered. Then, the edge degree of each pixel is emphasized by adding the calculated nonlinear function value to the luminance calculated by the second calculating means.
[0012]
  As an example of a mosaic filter,UpNote that the mosaic filter is formed with each element color of CMYG.Good.
  According to the configurationThe mosaic filter is formed with each element color of CMYG.
[0013]
  As another example of mosaic filter,UpNote that the mosaic filter is composed of RGB element colors.Good.
  According to the configurationThe mosaic filter is formed with RGB element colors.
[0014]
  In addition, the method of enhancing the edge degree of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern is not necessarily limited to a substantial device. Can also be easily understood.
  For this reason,eachAn edge emphasis processing method for emphasizing the edge degree of each pixel of image data composed of pixels in a dot matrix in which element colors are arranged in a mosaic pattern,A first calculation step of calculating the luminance of each pixel based on a predetermined calculation method in which the luminance is not negative, and a first calculation step of calculating the luminance of each pixel by image processing tuned so that the luminance can be negative. The edge amount of each pixel is calculated based on the two calculation steps and the luminance calculated in the first calculation step, and the edge degree of each pixel calculated in the second calculation step is emphasized based on the edge amount. An edge emphasizing step is also possible..
  That is, it is not necessarily limited to a substantial apparatus, and there is no difference that the method is also effective.
[0015]
By the way, such an edge emphasis processing apparatus may exist alone or may be used in a state where it is incorporated in a certain device. However, the idea of the invention is not limited to this and includes various aspects. It is a waste. Therefore, it can be changed as appropriate, such as software or hardware. When the software of the edge emphasis processing apparatus is implemented as an embodiment of the idea of the invention, it naturally exists on a recording medium on which such software is recorded, and it must be used.
[0016]
  As an example,eachRecorded an edge enhancement processing program that enhances the edge degree of each pixel of image data composed of dot matrix pixels with element colors arranged in a mosaic patternRecordA medium,A first calculation function for calculating the luminance of each pixel based on a predetermined calculation method in which the luminance is not a negative number, and a first calculation function for calculating the luminance of each pixel by image processing tuned so that the luminance can be a negative number. The edge amount of each pixel is calculated based on the two calculation function and the luminance calculated by the first calculation function, and the edge degree of each pixel calculated by the second calculation function is emphasized based on the edge amount. A computer-readable recording medium that causes the computer to execute the edge emphasizing step..
[0017]
Of course, the recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium that will be developed in the future. In addition, the duplication stages such as the primary duplication product and the secondary duplication product are equivalent without any question. In addition, even when a part is software and a part is realized by hardware, the idea of the invention is not completely different, and a part is stored on a recording medium and is appropriately changed as necessary. It may be in the form of being read.
[0018]
【The invention's effect】
  As described above, the present invention calculates the luminance of each pixel based on two different calculation methods, and uses these two luminances when emphasizing the edge of each pixel. It is possible to provide an edge enhancement processing apparatus capable of realizing edge enhancement capable of reflecting the characteristics in the edge enhancement degree.
  Furthermore, it is possible to improve processing efficiency by limiting the pixels on which edge enhancement processing is performed.
  further, DIt is possible to reflect the characteristics of the image data by enhancing the wedge.
  And claims2According to the invention, the luminance calculated by the first calculating means is subjected to γ correction similar to the luminance calculated by the second calculating means, so that the level of γ conversion can be made equivalent. become.
[0019]
  And claims3According to the invention, it is possible to prevent the luminance of a pixel having a small edge amount from being reflected in the edge enhancement degree..
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of digital still camera:
(2) Outline of image processing:
(3) About edge enhancement processing:
(4) Modified example of edge enhancement processing:
(5) Summary:
[0021]
(1) Schematic configuration of digital still camera:
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which an edge enhancement processing device of the present invention is applied. In the figure, the digital still camera 10 includes an optical unit 20 and a control unit 30 having a CPU 32 as a core. The optical unit 20 includes an optical lens system 21, an autofocus mechanism 22, a distance measuring unit 23, and an autofocus controller 24, and the autofocus controller 24 controls the distance measuring unit 23 based on a control signal from the controller 25. The optical lens system 21 is driven by the autofocus mechanism 22 while the distance to the subject is measured. A subject image is formed by the optical lens system 21 on the image pickup surface of a CCD 26 as an image pickup element, and the CCD 26 is constituted by a single plate having 1800 × 1200 pixels. Since it is composed of a single plate, green (G), magenta (M), yellow (Y), and cyan (C) color filters are sequentially formed for 2 × 2 pixels. In addition, although the shutter is provided with the mechanical shutter with the electronic shutter, illustration is abbreviate | omitted about the mechanical shutter.
[0022]
In addition, the optical unit 20 is also provided with a strobe 27, which emits a predetermined amount of light and a predetermined number of times according to a drive signal from the controller 25. This realizes shooting such as red-eye prevention or slow sync. Note that an auto gain controller (AGC) 28 for amplifying an analog electric signal output from the CCD 26 is provided, and an A / D converter 29 for converting the amplified analog electric signal into a digital value and outputting the digital value. . Of course, the optical unit 20 described above is merely an example of a general configuration as the digital still camera 10, and it is needless to say that various changes can be made. For example, the optical lens system 21 may include a zoom lens, or may be an inexpensive one that does not have an autofocus function as a fixed focus.
[0023]
The control unit 30 includes a bus 31, and the CPU 32, the ROM 33, the RAM 34, and the A / D converter 29 are connected to the bus 31. The CPU 32 executes firmware written in the ROM 33 to execute control of the optical unit 20 and calculation of image processing. At this time, the RAM 34 functions as an image area 34a for storing image data or performs calculation processing. Function as a work area 34b. When the CPU 32 controls the optical unit 20, it outputs a control signal to the controller 25, and the controller 25 generates and outputs an appropriate control signal for each component circuit.
[0024]
The control unit 30 also has a function as a man-machine interface, and includes an operation panel 35 on which operation buttons and the like are arranged, and an LCD panel 36 for displaying captured images and operation instructions. The operation is monitored, and the corresponding control is executed while receiving the operation as appropriate. Further, the display on the LCD panel 36 is performed by the CPU 32 writing predetermined data in the video RAM area 34c allocated to the RAM 34, so that the display controller provided in the LCD panel 36 appropriately reads the data and displays it. . Then, image data that has been shot and generated through predetermined image processing is written to the flash memory card 37b, which is an external memory, via the I / O 37a, and is read out from the flash memory card 37b as necessary.
[0025]
The configuration of the control unit 30 is also a typical example of this type of digital still camera 10, and various changes can be made. For example, the type of external memory can be easily replaced with another type as appropriate, and image data can be output to a computer via a USB interface even without an interface with a removable memory. It may be. An LCD for information display may be provided along with the LCD panel as a display unit, and the CPU 32 may be provided with a plurality of CPUs having different control targets.
[0026]
The image picked up by the optical unit 20 is output from the CCD 26 as an analog electric signal, then converted into digital data by the A / D converter 29 via the AGC 28, and further recorded in the image area 34 a of the RAM 34 via the bus 31. The Then, the CPU 32 executes predetermined image processing to convert it into JPEG image data and write it into the above-described flash memory card 37b.
[0027]
(2) Outline of image processing:
FIG. 2 shows a main flow of image processing executed by the CPU 32. Although detailed processing as described below is executed in detail, the processing is generally proceeded according to this flow. First, this outline will be described. In the figure, in step S102, defective pixel interpolation is executed. A defective pixel is inevitable in the CCD 26 having about 2 million pixels, and if it is below a predetermined reference value, it is supplied as a non-defective product. For this reason, defective pixels within a non-defective range are compensated by using a 5 × 5 pixel median filter based on only the same color pixels. That is, if the defective pixel is a cyan pixel, the output values of 5 × 5 cyan pixels located around the defective pixel are arranged in order, and the median value is set as the value of the defective pixel. The defective pixel itself has already been detected by the optical unit 20.
[0028]
In the next step S104, white balance is measured. Depending on the type of light source at the time of shooting and the combination of the CCD 26 and the color filter, the white balance may be shifted. In this embodiment, the white balance is measured at step S104 for each shooting, and the result is reflected. In step S110, the white balance is controlled so as to reduce the deviation. When measuring the white balance, 113 × 75 pixel image data selected in the thinning process is used to measure the bias of the R component and the bias of the B component in the RGB color system based on the G component. The CCD 26 includes a complementary color filter, and performs control based on the fact that it is a complementary color system.
[0029]
In this embodiment, three types of images are generated. The first is a confirmation image, the second is a thumbnail image, and the third is a main image. The confirmation image is an image to be displayed on the LCD panel 36 immediately after shooting, and is composed of image data of 720 × 240 pixels. The thumbnail image is recorded as image data together with the main image, and is composed of image data of 160 × 120 pixels. The main image can be selected in three sizes according to the selection of the operator, and is either 720 × 480 pixels as an E-mail image, 1800 × 1200 pixels as a Print image, or 2160 × 1440 pixels with high resolution as Hypic2 It is.
[0030]
In FIG. 2, Steps S106 to S114 are displayed surrounded by broken lines, and at least these processes are performed for each of the three types of generated images. In step S106, data interpolation is performed. Although the CCD 26 is composed of a single plate and has 2 million pixels, the color information is not completely completed for all the pixels. That is, there is only cyan information for some pixels, only magenta information for some pixels, only yellow information for some pixels, and only green information for some pixels. This data is called mosaic color data. Data interpolation is a process for completing the color information for each pixel by supplementing the information of other colors that are insufficient for each pixel. The lacking information is the average value of the color information included in the eight pixels surrounding the target pixel. For example, there are two yellow pixels (Y1, Y2), two magenta pixels (M1, M2), and four green pixels (G1-G4) around the cyan pixel (C1).
[0031]
Therefore, for the color information (C, M, Y, G) of this cyan pixel,
C = C1
M = (M1 + M2) / 2
Y = (Y1 + Y2) / 2
G = (G1 + G2 + G3 + G4) / 4
Calculate as
[0032]
In step S108, the color system is changed and converted to RGB image data. There are general formulas for conversion, but actually, a simple general formula is not used, but conversion is performed using a tuned lookup table or a determinant. After conversion into RGB image data, in step S110, as described above, control is performed to reduce the bias of the R component and the bias of the B component in the RGB color system. In the next step S112, tone curve correction is performed. Tone curve correction is also referred to as so-called γ correction. At this time, 10-bit image data is converted into 8-bit image data for each component, and further noise reduction and gradation characteristics in the white side region and the black side region are performed. The γ curve itself is also adjusted to maintain The tone curve correction itself uses a look-up table, and is converted with reference to a 10-bit → 8-bit look-up table created by tuning in advance.
[0033]
Thereafter, color conversion is performed from the RGB color system to the YUV color system in order to use the JPEG image compression technique. In order to distinguish between brightness and yellow, the brightness is hereinafter displayed as Ym, and the brightness directly derived from the mosaic color data is displayed as simple brightness Ys as described later. The color conversion from the RGB color system to the YUV color system is performed using a general formula or a determinant.
[0034]
The general formula for conversion from mosaic color data to YUV color system is:
Ys = 0.25 × (C + M + Y + G)
U = C + M- (Y + G)
V = -C + M + Y-G
However, in practice, the tuning and white balance control as described above are performed, and this correspondence is not adopted.
[0035]
Steps S116 and S118 are processes performed only when the main image is created. Noise removal is performed by applying a so-called low-pass filter only for the UV component as the color component. In other words, the color change that is too steep acts on the pressing feeling. In the edge enhancement, a non-linear function value (for example, a coring function value) is calculated from an edge amount based on the luminance component only for the luminance component, and the non-linear function value is weighted to the original luminance component. Therefore, when the luminance value changes between adjacent pixels, the edge amount is calculated, and if the absolute value of the edge amount is large, the amount of change is reflected in the luminance value. If the absolute value is small, the original luminance is calculated. The value is almost unchanged.
[0036]
The above is the outline of the image processing. However, the above procedure also shortens the calculation processing time by simultaneously performing a plurality of processes in the actual calculation processing. The shooting is completed by executing the above-described image processing for each of the three types of images described above, and finally writing the JPEG compressed image of the main image including the thumbnail image in the flash memory card 37b. In addition, this digital still camera can read image data from the flash memory card 37b and display it on the LCD panel 36, or can delete data and perform various settings. The description is omitted because it is applicable.
[0037]
(3) About edge enhancement processing:
Note that the edge enhancement processing in step S118 described above includes YmUV generated by executing image processing such as data interpolation processing in step S106, color conversion processing in steps S108 and S114, and step white balance control processing in step S110. It is also possible to emphasize the edge degree of each pixel by using the luminance Ym of the image data. However, when each process is performed as described above and the tuning is performed, the luminance Ym may become a negative number. Here, when edge enhancement processing is executed using such a negative luminance Ym, edge enhancement may be hindered. Therefore, the edge enhancement processing device according to the present invention uses the simple luminance Ys that is directly derived from the mosaic color data, thereby preventing the luminance used for edge enhancement from becoming a negative number and further improving the characteristics of the image data to the edge. It is possible to reflect in the emphasis.
[0038]
Here, as described above, the CCD 26 that is an image pickup device picks up the subject image formed by the optical system lens 21. The image signals picked up by the CCD 26 are sequentially converted into digital image signals by the A / D converter 29 based on a predetermined timing signal, and sent to a YUV conversion module (not shown). This YUV conversion module generates a luminance Ym and two color signals (U, V) from an input signal. The generated luminance Ym is sent to the edge enhancement processing module, and is used for edge enhancement of the subject based on the edge enhancement amount combined with the simple luminance Ys by the edge enhancement processing module.
[0039]
FIG. 3 is a block diagram showing the configuration of this edge enhancement processing module. In the figure, the edge enhancement processing module 40 includes a simple luminance calculation module 41, an edge amount calculation module 42, a non-linear function module 43, and an addition module 44. FIG. 4 is a diagram showing signal waveforms in the modules 41 to 44 built in the edge enhancement processing module 40. In the figure, the luminance Ym is input from the YUV conversion module described above. The simple luminance Ys is directly derived from the mosaic color data as described above. The edge amount E is calculated from the simple luminance Ys. The nonlinear function value f (E) is calculated based on the edge amount E. The edge enhancement luminance Y ′ is calculated by adding the luminance Ym and the nonlinear function value f (E).
[0040]
The edge amount calculation module 42 includes a 3 × 3 pixel unit Laplacian filter 50 shown in FIG. The Laplacian filter 50, when calculating the edge amount E of the center pixel, quadruples the image data of the center pixel and also doubles the image data of the adjacent pixels in the vertical and horizontal directions, The image data of pixels adjacent in the vertical and horizontal directions is subtracted from the image data of the pixels. That is, the amplitude of the simple luminance Ys of the central pixel is subtracted by the vertical, horizontal, and horizontal pixel widths according to the luminance of the central pixel and surrounding pixels adjacent thereto. When the filter operation is executed by such a Laplacian filter 50, the edge amount E of the center pixel is calculated as shown in FIG.
[0041]
The nonlinear function module 43 includes the nonlinear function shown in FIG. 7 as a table. The nonlinear function module 43 inputs the edge amount E calculated by the edge amount calculating module 42 and also uses a nonlinear function value f corresponding to the edge amount E. (E) can be calculated. In this non-linear function, as shown in FIG. 4, the amplitude can be cut to a certain non-linear function level L to remove noise. When the nonlinear function value f (E) is calculated from the edge amount E of the simple luminance Ys, this nonlinear function value f (E) is output to the addition module 44. The addition module 44 adds the nonlinear function value f (E) input from the nonlinear function module 43 and the luminance Ym output from the YUV conversion module. Thereby, an edge enhancement luminance Y ′ for enhancing the edge of the subject is calculated.
[0042]
FIG. 8 is a flowchart showing the processing contents of the edge enhancement processing executed by the edge enhancement processing module 40 using the modules 41 to 44.
In the figure, a dot matrix in which C, M, Y, and G are arranged in a mosaic pattern
The simple luminance Ys is calculated based on the mosaic color data configured in the shape (step S118a). Here, calculation of the simple luminance Ys will be described. Mosaic color data taken in via the CCD 26 is formed by pixels in a dot matrix form shown in FIG. Here, the horizontal axis (a1, a2,...) Indicates the pixel position in the horizontal axis direction, and the vertical axis (b1, b2,...) Indicates the pixel position in the vertical axis direction. For example, the pixel (a1, b1) indicates that it has G11 mosaic color data, and the pixel (a2, b1) indicates that it has M21 mosaic color data. Then, when calculating the simple luminance Ys of the predetermined pixel, it is calculated based on the mosaic color data of four pixels adjacent to each other including the pixel.
[0043]
For example, the simple luminance Ys (a1, b1) of the pixel (a1, b1) is G11 which is mosaic color data of the pixel (a1, b1), Y12 which is mosaic color data of the pixel (a1, b2), The calculation is based on M21 which is the mosaic color data of the pixel (a2, b1) and C22 which is the mosaic color data of the pixel (a2, b2). If the calculation method in such a case is expressed in a mathematical formula,
Ys (a1, b1) = (G11 + M21 + Y12 + C22) / 4
It becomes.
[0044]
The simple luminance Ys (a2, b1) of the pixel (a2, b1) is M21 which is mosaic color data of the pixel (a2, b1), C22 which is mosaic color data of the pixel (a2, b2), It is calculated based on G31 which is the mosaic color data of the pixel (a3, b1) and Y32 which is the mosaic color data of the pixel (a3, b2). If the calculation method in such a case is expressed in a mathematical formula,
Ys (a2, b1) = (M21 + G31 + C22 + Y32) / 4
It becomes.
[0045]
That is, when calculating the simple luminance Ys of a predetermined pixel, the average value of the mosaic color data of the pixel and the mosaic color data of the adjacent pixels on the right, bottom, and diagonally lower right of the pixel is calculated. Become. The calculation of the simple luminance Ys is sequentially performed on all pixels of the dot matrix-like mosaic color data from the pixel (a1, b1). When the simple luminance Ys of each pixel is calculated as described above, tone curve correction is performed on the calculated simple luminance Ys. This tone curve correction is so-called γ correction.
[0046]
This tone curve correction itself uses a look-up table, and in order to adjust the level with the luminance Ym, the γ curve is prepared by tuning in advance so as to have a curve equivalent to that used in step S112. Yes. In this tone curve correction, conversion is performed with reference to a lookup table of 10 bits → 8 bits. Then, simple luminance data holding the simple luminance Ys of each pixel (a1, b1)... Shown in FIG. Thus, when the calculation of the simple luminance Ys for each pixel is completed, the edge amount E of each pixel is then calculated based on the simple luminance Ys (step S118b). The edge amount E is calculated using the Laplacian filter 50 as described above. For example, the edge amount E (a2, b2) of the simple luminance Ys (a2, b2) is performed based on the following calculation method.
[0047]
E (a2, b2) = 4 × Ys (a2, b2) −Ys (a2, b1) −Ys (a1, b2) −Ys (a2, b1) −Ys (a3, b2)
In this way, when calculating the edge amount E of a predetermined pixel, the simple luminance Ys of the pixel is quadrupled as described above, and the simple luminance Ys of pixels adjacent vertically and horizontally is subtracted from the quadruple simple luminance Ys. To calculate. Then, this edge amount E is calculated for all pixels. When the edge amount E of all the pixels is calculated, the edge amount E is output to the nonlinear function module 43. The nonlinear function module 43 calculates a nonlinear function value f (E) based on the input edge amount E (step S118c). In calculating the nonlinear function value f (E), the nonlinear function value f (E) corresponding to the predetermined edge amount E may be extracted by using a table, or the nonlinear function value shown in FIG. By substituting the edge amount E into, the nonlinear function value f (E) may be calculated by calculation.
[0048]
When the nonlinear function value f (E) is calculated in step S118c, the luminance Ym for all pixels is acquired from the YUV conversion module (step S118d). The luminance Ym has already been calculated for each pixel as shown in FIG. Then, the edge enhancement brightness Y ′ is sequentially calculated for each pixel (step S118e). The calculation of the edge enhancement luminance Y ′ is executed by the addition module 44. The adding module 44 calculates edge enhancement luminance Y ′ based on the following equation.
Y '= Ym + f (E)
Then, when the edge enhancement luminance Y ′ is calculated, the luminance Ym of each pixel generated by the YUV conversion module is corrected based on the edge enhancement luminance Y ′ as shown in FIG. Emphasis is realized (step S118f).
[0049]
In the edge enhancement processing described above, the simple luminance Ys for all pixels is calculated in step S118a, the edge amount E for all pixels is calculated in step S118b, and the nonlinear function value f (for all pixels is calculated in step S118c. E) is calculated, the luminance Ym for all the pixels is acquired in step S118d, each edge enhanced luminance Y ′ for all the pixels is calculated in step S118e, and based on this edge enhanced luminance Y ′ in step S118f. In this case, the subject is edge-emphasized. Of course, the present invention is not limited to the configuration for calculating the simple luminance Ys, the edge amount E, the nonlinear function value f (E), the luminance Ym, and the edge enhancement luminance Y ′ for all pixels in each step. Alternatively, the edge enhancement luminance Y ′ may be calculated and the image data corrected based on the simple luminance Ys, the edge amount E, the nonlinear function value f (E), and the luminance Ym, and may be sequentially performed for all the pixels.
[0050]
In the above-described embodiment, an aspect is adopted in which edge enhancement processing is performed on all pixels regardless of the state of each pixel. Of course, the present invention is not limited to the aspect in which edge enhancement is performed on all pixels, and an aspect in which edge enhancement processing is performed only on pixels having a predetermined edge amount E, that is, contour pixels, may be employed. The processing content of the edge enhancement processing in such a case is shown in the flowchart of FIG. In the figure, a mode in which processing is sequentially executed for each pixel is adopted. First, the luminance Ym of the first pixel (a1, b1) in the dot matrix shape is acquired (step S118g). And it is discriminate | determined whether this brightness | luminance Ym is more than predetermined threshold value ST (step S118h).
[0051]
When it is determined that the luminance Ym is equal to or greater than the predetermined threshold ST, the simple luminance calculation module 41 acquires the mosaic data of the pixel (a1, b1) and adjacent pixels, and based on this mosaic data Then, the simple luminance Ys (a1, b1) of the pixel (a1, b1) is calculated using the same calculation as in step S118a described above (step S118i). Next, the edge amount calculation module 42 calculates the edge amount E (a1, b1) of each pixel based on the simple luminance Ys (a1, b1) by using the same operation as in step S118b described above ( Step S118j). When the edge amount E of the pixel (a1, b1) is calculated, the edge amount E (a1, b1) is output to the nonlinear function module 43.
[0052]
The nonlinear function module 43 calculates a nonlinear function value f (E) (a1, b1) based on the input edge amount E (a1, b1) (step S118k). Then, the edge enhancement luminance Y ′ (a1, b1) of the pixel (a1, b1) is calculated by the addition module 44 (step S118l). It is determined whether or not the above calculation has been performed for all pixels (step S118m). If all the pixels have not been completed, the process returns to step S118g and the above steps S118g to S118l are repeated. If it is determined that the processing has been completed for all pixels, the image data is corrected based on the edge enhancement luminance Y ′ of each pixel calculated in step S118l (step S118n).
[0053]
In the above-described embodiment, the threshold value ST to be compared with the luminance Ym is fixed in step S118h. A mode of executing processing was adopted. On the other hand, the threshold value ST is not limited to a fixed mode, and the threshold value ST may be varied based on the distribution of the edge amount E of all pixels. For example, when the edge amount is large as a whole, the threshold pixel ST is set small because the number of contour pixels is large. When the edge amount is small as a whole, the threshold value ST is set large. That is, when the number of sharp pixels is small, by setting the threshold value to a higher ST, it is possible to adjust the number of contour pixels for executing the edge enhancement processing.
[0054]
In the present embodiment, the CCD 26 is formed of a single plate having 1800 × 1200 pixels, and the colors of green (G), magenta (M), yellow (Y), and cyan (C) are used for 2 × 2 pixels. A configuration in which filters are sequentially formed is employed. The calculation of the simple luminance Ys is the average value of the mosaic data of G, M, Y, and C. Of course, the CCD 26 is composed of a single plate having 1800 × 1200 pixels, and red (R), green ( G) and blue (B) color filters may be sequentially formed. In such a case, the simple luminance Ys may be calculated as the average value of the R, G, B color data.
[0055]
(4) Summary:
As described above, the second calculation method for calculating the simple luminance Ys by the first calculation method for averaging the mosaic color data of C, M, Y, G captured via the CCD 26 and executing the data interpolation process or the like. The brightness Ym is calculated by calculating the edge emphasizing brightness Y ′ based on the simple brightness Ys and the brightness Ym calculated by different calculation methods, and correcting the image data. It is possible to reflect the characteristics in edge enhancement.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which an edge enhancement processing apparatus according to the present invention is applied.
FIG. 2 is a flowchart showing a main flow of image processing executed by a digital still camera.
FIG. 3 is a configuration diagram showing a configuration of an edge enhancement module.
FIG. 4 is a diagram showing signal changes inside the edge enhancement module.
FIG. 5 is a diagram illustrating a configuration of a Laplacian filter.
FIG. 6 is a diagram showing an aspect of an edge.
FIG. 7 is a diagram illustrating an example of a nonlinear function.
FIG. 8 is a flowchart showing processing details of edge enhancement processing;
FIG. 9 is a diagram showing image data of mosaic data.
FIG. 10 is a diagram illustrating a simple luminance component.
FIG. 11 is a diagram showing luminance components of image data generated by a YUV conversion module.
FIG. 12 is a diagram showing edge-enhanced luminance components.
FIG. 13 is a flowchart showing other processing details of edge enhancement processing;
[Explanation of symbols]
10. Digital still camera
20 ... Optical part
21 ... Optical lens system
22 ... Autofocus mechanism
23. Ranging section
24 ... Autofocus controller
25 ... Controller
26 ... CCD
27 Strobe
28 ... Auto gain controller (AGC)
29 ... A / D converter
30 ... Control unit
31 ... Bus
32 ... CPU
33 ... ROM
34 ... RAM
34a ... Image area
34b ... Work area
34c ... Video RAM area
35 ... Control panel
36 ... LCD panel
37a ... I / O
37b ... Flash memory card

Claims

各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算手段と、
上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算手段と、
上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調するエッジ強調手段と、
を具備することを特徴とするエッジ強調処理装置。First calculation means for calculating the luminance of each pixel of image data composed of dot matrix pixels in which each element color is arranged in a mosaic pattern based on a predetermined calculation method in which the luminance is not a negative number ;
On SL luminance of each pixel, a second calculating means for calculating the tuned image processing so that the luminance can be a negative number,
Edge enhancement means for calculating an edge amount of each pixel based on the luminance calculated by the first calculation means, and enhancing an edge degree of each pixel calculated by the second calculation means based on the edge amount ; ,
An edge emphasis processing apparatus comprising:

上記第一演算手段は、上記第二演算手段が実行する画像処理に含まれるγ補正処理を上記算出した各画素の輝度に対して実行することを特徴とする上記請求項１に記載のエッジ強調処理装置。2. The edge enhancement according to claim 1 , wherein the first calculation means executes γ correction processing included in the image processing executed by the second calculation means for the calculated luminance of each pixel. Processing equipment.

上記エッジ強調手段は、上記算出したエッジ量に基づいて非線形関数値を算出し、同算出した非線形関数値を上記第二演算手段にて演算した輝度に加算することによって上記各画素のエッジ度合いを強調することを特徴とする上記請求項１または上記請求項２に記載のエッジ強調処理装置。The edge enhancement means calculates a nonlinear function value based on the calculated edge amount, and adds the calculated nonlinear function value to the luminance calculated by the second calculation means, thereby increasing the edge degree of each pixel. The edge emphasis processing apparatus according to claim 1 or 2 , wherein emphasis is performed.