JP4998009B2

JP4998009B2 - 画像処理装置及び撮像装置

Info

Publication number: JP4998009B2
Application number: JP2007045035A
Authority: JP
Inventors: 豊津田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-02-26
Filing date: 2007-02-26
Publication date: 2012-08-15
Anticipated expiration: 2027-02-26
Also published as: JP2008211426A

Description

本発明は、画像処理装置及び撮像装置に関する。

ディジタルカメラには、ノイズ除去機能が搭載されているものがある（特許文献１等を参照）。近年のノイズ除去処理は、空間ディジタルフィルタの使用により、個々の画素を周辺画素と比較しながらノイズを除去するので、撮影画像上のノイズではない部分を誤って除去する可能性は少ない。また、空間ディジタルフィルタの径を或る程度大きく設定すれば、より高いノイズ除去効果が得られる。

但し、このようなノイズ除去は演算量が多いので、ノイズ除去処理を撮影画像に施すに当たっては、その撮影画像の画像データをフレームメモリへ蓄積する必要がある。このため、ノイズ除去処理は、パイプライン処理である他の画像処理の後に実行されるのが一般的である。
特開平４−１１９７７０号公報

しかし、パイプライン処理の１ステップである輪郭強調処理は、撮影画像に与える印象がノイズ除去処理と反対なので、輪郭強調処理が原因でノイズ除去処理の効果が阻害されたり、ノイズ除去処理が原因で輪郭強調処理の効果が阻害されたりする可能性がある。
このため、特許文献１に記載の信号処理装置は、撮影画像に施される処理を輪郭強調処理とノイズ除去処理との何れか一方のみに制限している。

また、近年のディジタルカメラなどでは、ノイズ除去処理の効果が阻害されることを前提として、ノイズ除去処理の強度を予め高めに設定している。

請求項１に記載の画像処理装置は、画像データを入力する入力部と、前記入力部により入力された前記画像データを格納するメモリと、前記メモリに接続されるバスと、前記バスに接続され、画素補間処理及び色変換処理を画像データに施す補間色処理部と、前記バスに接続されるとともに、前記補間色処理部との間で前記バスを経由しないパイプライン接続が可能であり、輪郭強調処理を画像データに施す輪郭強調処理部と、前記バスに接続され、ノイズ除去処理を画像データに施すノイズ除去処理部と、前記バスに接続され、圧縮処理を画像データに施す圧縮処理部と、前記入力部により入力された前記画像データの撮影感度が第１撮影感度である場合は、前記メモリに格納されている前記画像データを前記バスを経由して前記補間色処理部へ送信し、前記補間色処理部による前記画素補間処理及び前記色変換処理を前記画像データに施すことで補間色処理済み画像データを生成し、前記補間色処理済み画像データを前記補間色処理部から前記バスを介して前記メモリへ送信し、前記メモリに格納されている前記補間色処理済み画像データを前記バスを経由して前記ノイズ除去処理部へ送信し、前記ノイズ除去処理部による前記ノイズ除去処理を前記補間色処理済み画像データに施すことでノイズ除去処理済み画像データを生成し、前記ノイズ除去処理済み画像データを前記ノイズ除去処理部から前記輪郭強調処理部へ送信し、前記輪郭強調処理部による前記輪郭強調処理を前記ノイズ除去処理済み画像データに施すことで前記輪郭強調処理済み画像データを生成し、前記輪郭強調処理済み画像データを前記輪郭強調処理部から前記バスを介して前記メモリへ送信し、前記メモリに格納されている前記輪郭強調処理済み画像データを前記バスを経由して前記圧縮処理部へ送信するよう制御し、前記入力部により入力された前記画像データの撮影感度が前記第１撮影感度よりも低い第２撮影感度である場合は、前記メモリに格納されている前記画像データを前記バスを経由して前記補間色処理部へ送信し、前記補間色処理部による前記画素補間処理及び前記色変換処理を前記画像データに施すことで補間色処理済み画像データを生成し、前記パイプライン接続することで前記バスを経由することなく前記補間色処理部から前記輪郭強調処理部へ前記補間色処理済み画像データを送信し、前記輪郭強調処理部による前記輪郭強調処理を前記補間色処理済み画像データに施すことで輪郭強調処理済み画像データを生成し、前記輪郭強調処理済み画像データを前記輪郭強調処理部から前記バスを経由して前記メモリへ送信し、前記メモリに格納されている前記輪郭強調処理済み画像データを前記バスを経由して前記圧縮処理部へ送信することで、前記入力部により入力された前記画像データに前記ノイズ除去処理部による前記ノイズ除去処理が施されないよう制御する制御部とを備えることを特徴とする。

請求項７に記載の撮像装置は、被写体を撮像して画像データを生成する撮像部と、請求項１から請求項６のいずれか一項に記載の画像処理装置とを備えることを特徴とする。

本発明によれば、ノイズ除去処理と輪郭強調処理を画像へ効果的に施すことが可能な画像処理装置及び撮像装置を提供することを目的とする。

［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態は、本発明に係るディジタルカメラの実施形態である。
図１は、ディジタルカメラの構成図である。図１に示すとおり、ディジタルカメラ１０には、撮影レンズ１１、撮像素子１２、アンプ１３Ａ、Ａ／Ｄ変換器（Ａ／Ｄ）１３Ｂ、信号処理回路１４、タイミングジェネレータ（ＴＧ）１５、フレームメモリ１６、ＣＰＵ１７、補間・色処理回路１８、輪郭強調処理回路１９、ノイズ除去処理回路２０、圧縮処理回路２１、表示回路２２、背面モニタ２３、カードインタフェース（カードＩ／Ｆ）２４、操作ボタン２５などが備えられ、カードインタフェース２２にはカードメモリ２４Ａが装着される。

このうち、フレームメモリ１６、補間・色処理回路１８、輪郭強調処理１９、ノイズ除去処理回路２０、圧縮処理回路２１、表示回路２２、カードインタフェース２４は、バスを介してＣＰＵ１７に接続されている。画像処理回路である補間・色処理回路１８、輪郭強調処理回路１９、ノイズ除去処理回路２０は、互いに異なるモジュールで構成されている。但し、補間・色処理回路１８と輪郭強調処理１９とは、必要に応じてパイプライン接続することが可能である。そのため、補間・色処理回路１８と輪郭強調処理回路１９との間には、両者の処理速度の差を補うバッファメモリ（不図示）が介設されている。

以上のディジタルカメラ１０のユーザは、操作釦２５を介して各種の指示をＣＰＵ１７へ入力することができる。指示の中には、ディジタルカメラ１０の撮影感度の切り替え指示や撮影指示などが含まれる。撮影感度の切り替え指示が入力されると、ＣＰＵ１７は、アンプ１３Ａのゲインを調節する。ここでは簡単のため、ユーザが指定できる撮影感度を「高」、「低」の２種類のみとする。ユーザが指定した撮影感度が「高」であったとき、アンプ１３Ａのゲインは大きな値に設定され、ユーザが指定した撮影感度が「低」であったとき、アンプ１３Ａのゲインは小さな値に設定される。この設定の内容（ゲインの値）は、ユーザが撮影感度を次に切り替えるときまで保存される。

図２は、撮影時におけるＣＰＵ１７の動作フローチャートである。図２に示すとおり、ユーザから撮影指示が入力されると（ステップＳ１０ＹＥＳ）、ＣＰＵ１７はタイミングジェネレータ１５を駆動して撮影を開始する（ステップＳ１１）。このときタイミングジェネレータ１５は、撮像素子１２、アンプ１３Ａ、Ａ／Ｄ変換器１３Ｂ、信号処理回路１４を同期駆動し、撮影画像の画像データを取得する。その画像データはフレームメモリ１６へ格納される。

続いて、ＣＰＵ１７は、フレームメモリ１６の画像データを補間・色処理回路１８へ送り、その補間・色処理回路１８に対し処理の開始指示を与えると共に（ステップＳ１２）、設定中の撮影感度が「高」であるか否かを判別する（ステップＳ１３）。
設定中の撮影感度が「低」であった場合（ステップＳ１３ＮＯ）、ＣＰＵ１７は、補間・色処理回路１８と輪郭強調処理回路１９とをパイプライン接続すると共に、補間・色処理回路１８だけでなく輪郭強調処理回路１９に対しても処理の開始指示を与える（ステップＳ１４）。

このとき、画像データには、補間・色処理回路１８において画素補間処理及び色変換処理とがこの順で施され、処理後の画像データ（ＹＵＶ形式の画像データ）には、輪郭強調処理回路１９において輪郭強調処理が施される。したがって、このときの画素補間処理、色変換処理、及び輪郭強調処理は、パイプライン処理となる。ＣＰＵ１７は、処理後の画像データを、フレームメモリ１６へ格納する（ステップＳ１５）。

続いてＣＰＵ１７は、輪郭強調処理が実行済みであるか否かを判別するが（ステップＳ１６）、この場合は実行済み（ステップＳ１６ＹＥＳ）と判別され、ＣＰＵ１７はフレームメモリ１６の画像データを圧縮処理回路２１へ送り、その圧縮処理回路２１へ処理の開始指示を与える（ステップＳ１８）。
このとき、画像データには、圧縮処理回路２１において圧縮処理が施され、処理後の画像データ（ＪＰＥＧ形式などの圧縮コードデータ）は、カードインタフェース２４を介してカードメモリ２４Ａへ書き込まれる（ステップＳ１９）。

一方、設定中の撮影感度が「高」であった場合（ステップＳ１３ＹＥＳ）、ＣＰＵ１７は、補間・色処理回路１８と輪郭強調処理１９との間の接続を解除したまま補間・色処理回路１８における処理を画像データへ施し、処理後の画像データ（ＹＵＶ形式の画像データ）を輪郭強調処理回路１９へ送ることなくフレームメモリ１６へ格納する（ステップＳ１５）。つまり、このときには輪郭強調処理がバイパスされる。

続いてＣＰＵ１７は、輪郭強調処理が実行済みであるか否かを判別するが（ステップＳ１６）、この場合は実行済みではない（ステップＳ１６ＮＯ）と判別され、ＣＰＵ１７はフレームメモリ１６の画像データをノイズ除去処理回路２０へ送り、そのノイズ除去処理回路２０へ開始指示を与える（ステップＳ１７）。
このとき、画像データには、ノイズ除去処理回路２０においてノイズ除去処理が施される。このノイズ除去処理は、一定以上の径を有した空間ディジタルフィルタ（イプシロンフィルタなど）による空間ディジタルフィルタ処理である。このようなノイズ除去処理は、ローパスフィルタ処理とは異なり、ノイズを絵柄とは区別して除去することができる。

さらに、ＣＰＵ１７は、ノイズ除去処理後の画像データを輪郭強調処理回路１９へ送り、その輪郭強調処理回路１９へ処理の開始指示を与える（ステップＳ１４）。ＣＰＵ１７は、輪郭強調処理後の画像データを、フレームメモリ１６へ格納する（ステップＳ１５）。
続いてＣＰＵ１７は、輪郭強調処理が実行済みであるか否かを判別するが（ステップＳ１６）、この場合は実行済み（ステップＳ１６ＹＥＳ）と判別され、ＣＰＵ１７はフレームメモリ１６の画像データを圧縮処理回路２１へ送り、その圧縮処理回路２１へ処理の開始指示を与える（ステップＳ１８）。圧縮処理後の画像データ（ＪＰＥＧ形式などの圧縮コードデータ）は、カードインタフェース２４を介してカードメモリ２４Ａへ書き込まれる（ステップＳ１９）。

図３は、以上の撮影時における画像データの経路を、設定中の撮影感度が「低」であった場合（ステップＳ１３ＮＯ）と、「高」であった場合（ステップＳ１３ＹＥＳ）との間で比較する図である。
撮影感度が「低」であった場合は、図３（Ａ）に示すとおり、画像データは、フレームメモリ１６、補間・色処理回路１８、輪郭強調処理回路１９、フレームメモリ１６、圧縮処理回路２１を順に経由する。このとき、補間・色処理回路１８による処理（補間・色処理）と、輪郭強調処理回路１９による輪郭強調処理とは、バイパス処理となる。

撮影感度が「低」であった場合は、画像データにノイズが重畳されていないとみなせるので（図３の符号ａ参照）、輪郭強調処理を経るだけで十分に良好な画像データが得られる（図３の符号ｂ参照）。良好な画像データとは、ノイズが抑えられ、かつ絵柄の輪郭が強調された画像データのことである。なお、図３中の符号ａ，ｂ，ｃ，ｄは、処理過程における画像データの状態（或る撮影画像上の或るラインのみ）を示しており、横方向が空間方向、縦方向が輝度方向である。

一方、撮影感度が「高」であった場合は、図３（Ｂ）に示すとおり、画像データは、フレームメモリ１６、補間・色処理回路１８、フレームメモリ１６、ノイズ除去処理回路２０、輪郭強調処理回路１９、フレームメモリ１６、圧縮処理回路２１を順に経由する。このとき、補間・色処理回路１８と輪郭強調処理回路１９との間の接続は解除され、両者の間の経路にフレームメモリ１６、ノイズ除去処理回路２０が順に挿入される。

撮影感度が「高」であった場合は、画像データにノイズが重畳されているので（図３符号ｃ参照）、ノイズ除去処理を経ることによりノイズが抑えられる（図３符号ｄ参照）。さらに輪郭強調処理を経ることにより、絵柄の輪郭が強調される（図３符号ｅ参照）。つまり、ノイズ除去処理の効果と輪郭強調処理の効果との双方が得られる。
このように、ノイズ除去処理の効果と輪郭強調処理の効果との双方が得られる理由は、ノイズ除去処理と輪郭強調処理との実行順序にある。比較のため、実行順序が本ディジタルカメラ１０におけるそれと反対であった場合の例を図４に示す。

図４に示す例では、輪郭強調処理の対象が、ノイズが重畳された状態の画像データ（図４符号ａ参照）なので、絵柄の輪郭だけでなくノイズの輪郭までもが強調されてしまう（図４符号ｂ参照）。さらにノイズ除去処理を経ると、画像データのノイズだけでなく絵柄の輪郭までもが抑えられるので（図４符号ｃ参照）、最終的な撮影画像は所謂「ねむい画像」となってしまう。

以上、本ディジタルカメラ１０によれば、撮影感度が「低」であったときには輪郭強調処理とノイズ除去処理とのうち前者のみが、撮影感度が「高」であったときには双方が画像データへ施される。そして、双方が施される場合の処理の順序は、ノイズ除去処理、輪郭強調処理の順序である（図３（Ｂ）参照）。
この順序によれば、ノイズ除去処理が輪郭強調処理の効果を阻害することはなく、また、輪郭強調処理がノイズ除去処理の効果を阻害することはない。したがって、ノイズ除去処理と輪郭強調処理の双方が効果的に画像データへ施される。

また、ノイズ除去処理の強度を高めたとしても、輪郭強調処理の効果が薄れることはなく、輪郭強調処理の強度を高めたとしても、ノイズ除去処理の効果が薄れることは無い。したがって、本ディジタルカメラ１０では、ノイズ除去処理の強度と輪郭強調処理の強度とをそれぞれ必要最小限の高さに設定すればよい。よって、ノイズ除去処理と輪郭強調処理とがそれぞれ効率的に画像データへ施される。

なお、本実施形態のＣＰＵ１７は、ディジタルカメラ１０のノイズ除去機能のオン／オフを設定中の撮影感度に応じて行ったが、ユーザによるノイズ除去機能のオン／オフ指示に応じて行ってもよい。
また、本実施形態のＣＰＵ１７は、ノイズ除去処理の強度を一定としたが、ノイズ除去処理の強度を設定中の撮影感度に応じて切り替えてもよい。その場合、設定中の撮影感度が高いほど強度を高く設定すればよい。また、ＣＰＵ１７は、ノイズ除去処理の強度を、ユーザからの強度切り替え指示に応じて切り替えてもよい。

また、本実施形態のＣＰＵ１７は、輪郭強調処理の強度を一定としたが、輪郭強調処理の強度を、ユーザからの指示に応じて切り替えてもよい。その場合であってもＣＰＵ１７は、輪郭強調処理の強度にノイズ除去処理の強度を連動させる必要は無く、両者を独立に設定すればよい。
また、本実施形態では、本発明が適用されたディジタルカメラを説明したが、本発明は、画像処理機能を搭載したプリンタや、画像処理機能を搭載した画像ストレージャなど、画像処理機能を搭載した他の機器へ適用することも可能である。

また、本実施形態の画像処理（特に図２ステップＳ１２〜Ｓ１７）の一部又は全部を、コンピュータに実行させてもよい。その場合、その画像処理の手順が書き込まれた画像処理プログラムがコンピュータへインストールされる。コンピュータに対する画像処理プログラムのインストールは、例えば、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどを介して行われる。

ディジタルカメラ１０の構成図である。撮影時におけるＣＰＵ１７の動作フローチャートである。撮影時における画像データの経路を、設定中の撮影感度が「低」であった場合と、「高」であった場合との間で比較する図である。ノイズ除去処理と輪郭強調処理との実行順序が本ディジタルカメラ１０におけるそれと反対であった場合の例を示す図である。

符号の説明

１０…ディジタルカメラ１０，１１…撮影レンズ，１２…撮像素子，１３Ａ…アンプ，１３Ｂ…Ａ／Ｄ変換器（Ａ／Ｄ），１４…信号処理回路，１５…タイミングジェネレータ（ＴＧ），１６…フレームメモリ，１７…ＣＰＵ，１８…補間・色処理回路，１９…輪郭強調処理回路，２０…ノイズ除去処理回路，２１…圧縮処理回路，２２…表示回路，２３…背面モニタ，２４…カードインタフェース（カードＩ／Ｆ）２４，２５…操作ボタン，２４Ａ…カードメモリ

Claims

画像データを入力する入力部と、
前記入力部により入力された前記画像データを格納するメモリと、
前記メモリに接続されるバスと、
前記バスに接続され、画素補間処理及び色変換処理を画像データに施す補間色処理部と、
前記バスに接続されるとともに、前記補間色処理部との間で前記バスを経由しないパイプライン接続が可能であり、輪郭強調処理を画像データに施す輪郭強調処理部と、
前記バスに接続され、ノイズ除去処理を画像データに施すノイズ除去処理部と、
前記バスに接続され、圧縮処理を画像データに施す圧縮処理部と、
前記入力部により入力された前記画像データの撮影感度が第１撮影感度である場合は、前記メモリに格納されている前記画像データを前記バスを経由して前記補間色処理部へ送信し、前記補間色処理部による前記画素補間処理及び前記色変換処理を前記画像データに施すことで補間色処理済み画像データを生成し、前記補間色処理済み画像データを前記補間色処理部から前記バスを介して前記メモリへ送信し、前記メモリに格納されている前記補間色処理済み画像データを前記バスを経由して前記ノイズ除去処理部へ送信し、前記ノイズ除去処理部による前記ノイズ除去処理を前記補間色処理済み画像データに施すことでノイズ除去処理済み画像データを生成し、前記ノイズ除去処理済み画像データを前記ノイズ除去処理部から前記輪郭強調処理部へ送信し、前記輪郭強調処理部による前記輪郭強調処理を前記ノイズ除去処理済み画像データに施すことで前記輪郭強調処理済み画像データを生成し、前記輪郭強調処理済み画像データを前記輪郭強調処理部から前記バスを介して前記メモリへ送信し、前記メモリに格納されている前記輪郭強調処理済み画像データを前記バスを経由して前記圧縮処理部へ送信するよう制御し、
前記入力部により入力された前記画像データの撮影感度が前記第１撮影感度よりも低い第２撮影感度である場合は、前記メモリに格納されている前記画像データを前記バスを経由して前記補間色処理部へ送信し、前記補間色処理部による前記画素補間処理及び前記色変換処理を前記画像データに施すことで補間色処理済み画像データを生成し、前記パイプライン接続することで前記バスを経由することなく前記補間色処理部から前記輪郭強調処理部へ前記補間色処理済み画像データを送信し、前記輪郭強調処理部による前記輪郭強調処理を前記補間色処理済み画像データに施すことで輪郭強調処理済み画像データを生成し、前記輪郭強調処理済み画像データを前記輪郭強調処理部から前記バスを経由して前記メモリへ送信し、前記メモリに格納されている前記輪郭強調処理済み画像データを前記バスを経由して前記圧縮処理部へ送信することで、前記入力部により入力された前記画像データに前記ノイズ除去処理部による前記ノイズ除去処理が施されないよう制御する制御部とを備えること
を特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記制御部は、前記圧縮処理部により前記圧縮処理が施された圧縮処理済み画像データを記録媒体に記録するよう制御すること
を特徴とする画像処理装置。
請求項１又は請求項２に記載の画像処理装置において、
前記制御部は、ユーザからの指示に応じて、前記ノイズ除去処理部による前記ノイズ除去処理を前記画像データに施すか否かを切り替えること
を特徴とする画像処理装置。
請求項１から請求項３のいずれか一項に記載の画像処理装置において、
前記制御部は、前記画像データの撮影感度に応じて、前記ノイズ除去処理部による前記ノイズ除去処理の強度を切り替えること
を特徴とする画像処理装置。
請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記制御部は、ユーザからの指示に応じて、前記ノイズ除去処理部による前記ノイズ除去処理の強度を切り替えること
を特徴とする画像処理装置。
請求項１から請求項５のいずれか一項に記載の画像処理装置において、
前記制御部は、前記入力部により入力された前記画像データに対し、前記ノイズ除去処理部による前記ノイズ除去処理の強度と前記輪郭強調処理部による前記輪郭強調処理の強度とは独立して設定すること
を特徴とする画像処理装置。
被写体を撮像して画像データを生成する撮像部と、
請求項１から請求項６のいずれか一項に記載の画像処理装置とを備えること
を特徴とする撮像装置。