WO2007077730A1

WO2007077730A1 - 撮像システム、画像処理プログラム

Info

Publication number: WO2007077730A1
Application number: PCT/JP2006/325276
Authority: WO
Inventors: Takao Tsuruoka
Original assignee: Olympus Corporation
Priority date: 2005-12-28
Filing date: 2006-12-19
Publication date: 2007-07-12
Also published as: US8310566B2; EP1976268A1; JP4979595B2; US20080266432A1; JPWO2007077730A1

Abstract

ＣＣＤ（１０２）からの信号を処理する撮像システムにおいて、ＣＣＤ（１０２）からの信号に対してノイズ低減処理を行うノイズ低減部（１１１）と、ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出部（１１３）と、エッジ方向に基づきＣＣＤ（１０２）からの信号に対してエッジ成分を抽出するエッジ抽出部（１１４）とを備えている。

Description

明細書

撮像システム、画像処理プログラム技術分野

[0001] 本発明は、撮像素子からの信号に対してエッジ成分を抽出する撮像システム、画像処理プログラムに関する。背景技術

[0002] 撮像素子からの信号に対しエッジ成分を抽出する処理には、ラプラシアンのような単一フィルタ処理によるものと、方向別の複数フィルタ処理によるものとに大別できる。後者の例としては、例えば特公平 6— 90724号公報に示されるように、 4方向の矩形領域中で平滑化信号との差が最大となる矩形領域を選択することで方向別のアンシャープマスク処理を行う手法が開示されている。これにより、ゴミなどの点状欠陥の影響を抑制し、より高精度なエッジ成分の抽出が可能となる。また、特許第 3289435 号公報ではステップエッジ、インパルス信号、ノイズなどカゝら重み係数を算出し、これ力エッジ信号を補正する手法が開示されている。これにより、エッジ信号を成形し、より高精度なエッジ成分の抽出が可能となる。さらに、特開 2000— 306089号公報では、信号をウェーブレットやラプラシアンピラミッドなどで周波数分解し、低周波成分のベクトル情報力高周波成分を補正する手法が開示されている。これにより、ェッジ信号を成形すると共にノイズ成分を抑制し、高精細な信号を得ることが可能となる

[0003] 特公平 6 - 90724号公報では、ゴミなどの輝度差が大き!/、点状のノイズに対しては識別することができる。しかし、撮像素子に起因するランダムノイズのように等方的に発生するノイズや輝度差の小さ、微弱なノイズを識別することには対応できず、多様なノイズに対して安定的にエッジ成分を抽出できないという課題がある。また、特許第 3289435号公報ではノイズが多、場合は小さ!/、重み係数を生成することでノイズの影響を抑制することができる。しかし、ノイズ成分自体は残留するために、強いエッジ強調を行うことには対応できず、絵作りに対する自由度が少ないという課題がある。さらに、特開 2000— 306089号公報では補正のためのベクトル情報を低周波の信号力も得て、る。ベクトル情報の解像度はウェーブレットやラプラシアンピラミッドの分解レベルに依存する力一回分解すると 1/2に、二回分解すると 1/4になる。このために、原信号の解像度でエッジ信号を成形することには対応できず、画素単位の高精細なエッジ成分を生成できな、と、う課題がある。

[0004] 本発明は上記事情に鑑みてなされたものであり、ノイズ低減処理とエッジ抽出処理を組み合わせることで、ノイズが混在する信号に対しても高精度なエッジ成分の抽出が可能な撮像システム、画像処理プログラムを提供することを目的とする。

発明の開示

課題を解決するための手段

[0005] (1)上記目的を達成するために、第 1の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおヽて、撮像素子力ゝらの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた信号カゝらエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

[0006] この発明の適用例は、図 1〜図 27に示される第 1の実施形態に記載されている。上記構成のノイズ処理手段は図 1,図 3,図 7,図 25に示される抽出部 109,ノイズ推定部 110,ノイズ低減部 111が、エッジ方向検出手段は図 1,図 8,図 9,図 25に示されるエッジ方向検出部 113が、エッジ抽出手段は図 1,図 25に示されるエッジ抽出部 1 14がそれぞれ該当する。

[0007] この発明の好ましい適用例は、抽出部 109,ノイズ推定部 110,ノイズ低減部 111 によってノイズ低減処理を行い、エッジ方向検出部 113によってノイズ低減処理後の信号力もエッジ方向を検出し、エッジ抽出部 114によって上記エッジ方向に基づきノィズ低減前の原信号力もエッジ成分を抽出する撮像システムである。

[0008] 第 1の発明による撮像システムは、ノイズ低減処理後の信号力エッジの概略的な方向を検出し、この方向に基づき原信号力もエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

[0009] (2)また、第 2の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにお、て、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

[0010] この発明の適用例は、図 28〜図 37に示される第 2の実施形態および図 38〜図 47 に示される第 3の実施形態に記載されている。上記構成のノイズ処理手段は図 28, 図 31,図 32に示される抽出部 700,ノイズ推定部 701,ノイズ低減部 111および図 3 8,図 41,図 42に示される抽出部 109, DCT変換部 1100,ノイズ推定部 1101,ノィズ低減部 1102,逆 DCT変換部 1103が、エッジ方向検出手段は図 28,図 33に示されるエッジ方向検出部 702および図 38,図 43に示されるエッジ方向検出部 1104が、エッジ抽出手段は図 28,図 38に示されるエッジ抽出部 114がそれぞれ該当する。

[0011] この発明の好ましい適用例は、抽出部 700,ノイズ推定部 701,ノイズ低減部 111 または抽出部 109, DCT変換部 1100,ノイズ推定部 1101,ノイズ低減部 1102,逆 DCT変換部 1103によってノイズ低減処理を行い、エッジ方向検出部 702またはエツジ方向検出部 1104によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部 114によって上記エッジ方向に基づきノイズ低減前の原信号力もエッジ成分を抽出する撮像システムである。

[0012] 第 2の発明による撮像システムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。さら〖こ、ノイズ低減処理の過程で得られた情報カゝらエッジの方向を検出するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0013] (3)また、第 3の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおヽて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離する YZC分離手段と、上記 YZC分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記 YZC分離手段により分離された輝度信号に対してエッジ成分を抽出するエツジ抽出手段とを有することを特徴とする。

[0014] この発明の適用例は、図 48〜図 51に示される第 4の実施形態および図 52〜図 72 に示される第 5の実施形態に記載されている。前記構成の YZC分離手段は図 48〖こ示される YZC分離部 1503および図 52に示される YZC分離部 1602力ノイズ処理手段は図 48,図 52に示される抽出部 109,ノイズ推定部 110,ノイズ低減部 111 力エッジ方向検出手段は図 48,図 52に示されるエッジ方向検出部 113が、エッジ抽出手段は図 48,図 52に示されるエッジ抽出部 114がそれぞれ該当する。

[0015] この発明の好ましい適用例は、 YZC分離部 1503または YZC分離部 1602によつて信号を輝度信号と色信号に分離し、抽出部 109,ノイズ推定部 110,ノイズ低減部 111によって輝度信号にノイズ低減処理を行ヽ、エッジ方向検出部 113によってノィズ低減処理後の輝度信号からエッジ方向を検出し、エッジ抽出部 114によって上記エッジ方向に基づきノイズ低減前の輝度信号カゝらエッジ成分を抽出する撮像システムである。

[0016] 第 3の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号力エッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号カゝらエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子力もの信号に対応するために、多様な撮像系に利用することができる。

[0017] (4)また、第 4の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおヽて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離する YZc分離手段と、上記 YZC分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段力ゝらの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記

YZC分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。

[0018] この発明の適用例は、図 73に示される第 6の実施形態に記載されている。上記構成の YZC分離手段は図 73に示される YZC分離部 1703が、ノイズ処理手段は図 7 3に示される抽出部 700,ノイズ推定部 701,ノイズ低減部 111が、エッジ方向検出手段は図 73に示されるエッジ方向検出部 702が、エッジ抽出手段は図 73に示されるエッジ抽出部 114がそれぞれ該当する。

[0019] この発明の好ましい適用例は、 YZC分離部 1703によって信号を輝度信号と色信号に分離し、抽出部 700,ノイズ推定部 701,ノイズ低減部 111によって輝度信号にノイズ低減処理を行ヽ、エッジ方向検出部 702によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部 114によって上記エッジ方向に基づきノイズ低減前の輝度信号カゝらエッジ成分を抽出する撮像システムである。

[0020] 第 4の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号力エッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子力もの信号に対応するために、多様な撮像系に利用することができる。さらにノイズ低減処理の過程で得られた情報力ゝらェッジの方向を検出するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0021] (5)また、第 5の発明による画像処理プログラムは、撮像素子力の信号に対してノィズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた信号カゝらエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。

[0022] この発明の適用例は、図 26、図 27に示される第 1の実施形態に記載されている。

前記構成のノイズ処理手順は図 26、図 27に示されるステップ S2からステップ S7までの手順力エッジ方向検出手順は図 26に示されるステップ S10の手順力エッジ抽出手順は図 26に示されるステップ S 11の手順がそれぞれ該当する。

[0023] 第 5の発明による画像処理プログラムは、ノイズ低減処理後の信号力エッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

[0024] (6)また、第 6の発明による画像処理プログラムは、撮像素子力もの信号に対してノィズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。

[0025] この発明の適用例は、図 36、図 37に示される第 2の実施形態および図 45、図 46、図 47に示される第 3の実施形態に記載されている。前記構成のノイズ処理手順は図 36、図 37に示されるステップ S2からステップ S7までの手順および図 45、図 46に示されるステップ S51からステップ S56までの手順力エッジ方向検出手順は図 36に示されるステップ S10の手順および図 45、図 47に示されるステップ S57力エッジ抽出手順は図 36に示されるステップ S33の手順および図 45に示されるステップ S11がそれぞれ該当する。

[0026] 第 6の発明による画像処理プログラムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

[0027] (7)また、第 7の発明による画像処理プログラムは、カラー撮像素子力もの信号に対して輝度信号および色信号を分離する YZC分離手順と、上記 YZC分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた輝度信号力エッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記 YZC分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。

[0028] この発明の適用例は、図 51に示される第 4の実施形態に記載されている。上記構成の YZC分離手順は図 51に示されるステップ S 911S ノイズ処理手順は図 51に示されるステップ S2からステップ S7までの手順力エッジ方向検出手順は図 51に示されるステップ S10の手順力エッジ抽出手順は図 51に示されるステップ Sl lの手順がそれぞれ該当する。

[0029] 第 7の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号力エッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号力エッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子力もの信号に対応するために、多様な撮像系に利用することができる。

[0030] (8)また、第 8の発明による画像処理プログラムは、カラー撮像素子力もの信号に対して輝度信号および色信号を分離する YZC分離手順と、上記 YZC分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記 YZC分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。

[0031] この発明の適用例は、図 36、図 37に示される第 2の実施形態を、カラー撮像素子力の信号を処理する手順を実行させるための画像処理プログラムに適用させたものが対応する。前記構成のノイズ処理手順は図 36、図 37に示されるステップ S2からステップ S7までの手順力エッジ方向検出手順は図 36に示されるステップ S10の手順力エッジ抽出手順は図 ₃6に示されるステップ S33の手順がそれぞれ該当する。

[0032] 第 8の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子力の信号に対応するために、多様な撮像系に利用することができる。

図面の簡単な説明

[0033] [図 1]第 1の実施形態の構成を示すブロック図。圆 2]注目画素および注目領域に関する説明図。

[図 3]ノイズ推定部の構成を示すブロック図。

[図 4]ノイズ量の推定に関する説明図であって、信号レベルに対する輝度ノイズ量の関係を示す図。

圆 5]ノイズ量の推定に関する説明図であって、ノイズモデルの簡略ィ匕を示す図。

[図 6]ノイズ量の推定に関する説明図であって、簡略ィ匕されたノイズモデル力ゝらの輝度ノイズ量の算出法を示す図。

[図 7]ノイズ低減部の構成を示すブロック図。

圆 8]エッジ方向検出部の構成を示すブロック図。

圆 9]エッジ方向検出部の別形態の構成を示すブロック図。

[図 10]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、注目画素およびその処理領域を示す図。

[図 11]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、エッジ抽出される画素位置を示す図。

[図 12]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 0° のエッジ抽出フィルタを示す図。

[図 13]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 45° のエッジ抽出フィルタを示す図。

[図 14]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 90° のエッジ抽出フィルタを示す図。

[図 15]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 135° のエッジ抽出フィルタを示す図。

[図 16]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 180° のエッジ抽出フィルタを示す図。

[図 17]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 225° のエッジ抽出フィルタを示す図。

[図 18]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 270° のエッジ抽出フィルタを示す図。 [図 19]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、 315° のエッジ抽出フィルタを示す図。

[図 20]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、等方性エッジ抽出フィルタを示す図。

[図 21]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、水平エッジ抽出フィルタの説明図。

[図 22]エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であつて、垂直エッジ抽出フィルタの説明図。

[図 23]エッジ補正部のエッジ補正に関する説明図であって、 8方向のエッジ整形による説明図。

[図 24]エッジ補正部のエッジ補正に関する説明図であって、 4方向のエッジ整形による説明図。

圆 25]第 1の実施形態の別形態の構成を示すブロック図。

[図 26]第 1の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。

[図 27]第 1の実施形態における信号処理の流れを示すフローチャートであって、ノィズ推定処理のフローチャート。

圆 28]第 2の実施形態の構成を示すブロック図。

[図 29]注目画素および注目領域に関する説明図であって、注目画素およびその近傍領域を示す図。

[図 30]注目画素および注目領域に関する説明図であって、注目画素および抽出された類似画素を示す図。

圆 31]抽出部の構成を示すブロック図。

[図 32]ノイズ推定部の構成を示すブロック図。

[図 33]エッジ方向検出部の構成を示すブロック図。

[図 34]エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタを示す図。

[図 35]エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタを示す図。

[図 36]第 2の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。

[図 37]第 2の実施形態における信号処理の流れを示すフローチャートであって、ノィズ推定処理のフローチャート。

圆 38]第 3の実施形態の構成を示すブロック図。

[図 39]DCT (Discrete Cosine Transform)変換に関する説明図であって、実空間を示す図。

[図 40]DCT (Discrete Cosine Transform)変換に関する説明図であって、周波数空間を示す図。

[図 41]ノイズ推定部の構成を示すブロック図。

[図 42]ノイズ低減部の構成を示すブロック図。

[図 43]エッジ方向検出部の構成を示すブロック図。

圆 44]エッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図。

[図 45]第 3の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。

[図 46]第 3の実施形態における信号処理の流れを示すフローチャートであって、ノィズ推定処理のフローチャート。

[図 47]第 3の実施形態における信号処理の流れを示すフローチャートであって、エツジ方向検出処理のフローチャート。

圆 48]第 4の実施形態の構成を示すブロック図。

[図 49]カラーフィルタに関する説明図であって、 Bayer型原色フィルタを示す図。圆 50]カラーフィルタに関する説明図であって、色差線順次型補色フィルタを示す図

[図 51]第 4の実施形態における信号処理の流れを示したフローチャート。

圆 52]第 5の実施形態の構成を示すブロック図。

圆 53]YZC分離に関する説明図であって、 Bayer型原色フィルタを示す図。

圆 54]YZC分離に関する説明図であって、輝度信号を示す図。圆 55]YZC分離に関する説明図であって、 R (赤)の色差信号を示す図。

圆 56]YZC分離に関する説明図であって、 B (青)の色差信号を示す図。

[図 57]エッジ方向抽出部の 0° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 58]エッジ方向抽出部の 0° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 59]エッジ方向抽出部の 45° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 60]エッジ方向抽出部の 45° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 61]エッジ方向抽出部の 90° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 62]エッジ方向抽出部の 90° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 63]エッジ方向抽出部の 135° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 64]エッジ方向抽出部の 135° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 65]エッジ方向抽出部の 180° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 66]エッジ方向抽出部の 180° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 67]エッジ方向抽出部の 225° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 68]エッジ方向抽出部の 225° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 69]エッジ方向抽出部の 270° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。 [図 70]エッジ方向抽出部の 270° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 71]エッジ方向抽出部の 315° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図。

[図 72]エッジ方向抽出部の 315° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図。

[図 73]第 6の実施形態の構成を示すブロック図。

発明を実施するための最良の形態

以下、図面を参照して本発明の実施の形態について説明する。図 1から図 27は本発明の第 1の実施形態を示したものであり、図 1は第 1の実施形態の構成を示すプロック図、図 2は注目画素および注目領域に関する説明図、図 3はノイズ推定部の構成を示すブロック図、図 4はノイズ量の推定に関する説明図であって信号レベルに対する輝度ノイズ量の関係を示す図、図 5はノイズ量の推定に関する説明図であってノィズモデルの簡略ィ匕を示す図、図 6はノイズ量の推定に関する説明図であって簡略ィ匕されたノイズモデル力ゝらの輝度ノイズ量の算出法を示す図、図 7はノイズ低減部の構成を示すブロック図、図 8はエッジ方向検出部の構成を示すブロック図、図 9はエッジ方向検出部の別形態の構成を示すブロック図、図 10〜図 22はエッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、図 10は注目画素およびその処理領域を示す図、図 11はエッジ抽出される画素位置を示す図、図 12は 0 。のエッジ抽出フィルタを示す図、図 13は 45° のエッジ抽出フィルタを示す図、図 1 4は 90° のエッジ抽出フィルタを示す図、図 15は 135° のエッジ抽出フィルタを示す図、図 16は 180° のエッジ抽出フィルタを示す図、図 17は 225° のエッジ抽出フィルタを示す図、図 18は 270° のエッジ抽出フィルタを示す図、図 19は 315° のエツジ抽出フィルタを示す図、図 20は等方性エッジ抽出フィルタを示す図、図 21は水平エッジ抽出フィルタの説明図、図 22は垂直エッジ抽出フィルタの説明図、図 23、図 2 4はエッジ補正部のエッジ補正に関する説明図であって、図 23は 8方向のエッジ整形による説明図、図 24は 4方向のエッジ整形による説明図、図 25は第 1の実施形態の別形態の構成を示すブロック図、図 26、図 27は第 1の実施形態における信号処理のフローチャートであって、図 26は全体処理のフローチャート、図 27はノイズ推定処理のフローチャートである。

[0035] 図 1により、第 1の実施形態の構成を説明する。図 1は、本発明の第 1実施形態に係る撮像システムの構成を示すブロック図である。レンズ系 100は被写体像を結像するためのものである。絞り 101はこのレンズ系 100内に配置されていて、該レンズ系 10 0における光束の通過範囲を規定するためのものである。 CCD102は、このレンズ系 100を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。増幅器 103は、この CCD102の出力を所定の増幅率（増幅量，ゲインともいう）に従って増幅するものである。 AZD変翻 104は、この CCD102から出力され増幅器 103で増幅されたアナログの映像信号をデジタル信号へ変換するものである。バッファ 105は、この AZD変翻 104から出力されたデジタルの映像信号を一時的に記憶するものである。 AZD変翻 104からの信号は、ノッファ 105を介して抽出部 109、エッジ抽出部 114へ転送される。バッファ 105は、測光評価部 10 6、合焦点検出部 107へも接続されている。測光評価部 106は、上記バッファ 105に記憶された映像信号に基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り 101と CCD102と増幅器 103との制御を行うものである。すなわち、該測光評価部 106は、絞り 101の絞り値と、 CCD102の電子シャツタ速度と、増幅器 103のゲインと、を調整することにより、露出制御を行うようになっている。合焦点検出部 107は、上記バッファ 105に記憶された映像信号に基づき合焦点検出を行い、検出結果に基づき後述する AFモータ 108を駆動するものである。 AFモータ 108は、この合焦点検出部 107により制御されて、上記レンズ系 100に含まれるフォーカスレンズ等の駆動を行、、上記 CCD102の撮像面上に被写体像が結像されるようにするものである。抽出部 109は、抽出手段であって、上記バッファ 105に記憶された映像信号力所定領域の映像信号を抽出して出力するものである。抽出部 109からの信号は、ノイズ推定部 110およびノイズ低減部 111へ接続されて!ヽる。

[0036] ノイズ推定部 110は、ノイズ推定手段であって、この抽出部 109により抽出された所定領域の映像信号カゝらノイズ量を推定するものである。推定されたノイズ量はノイズ低減部 111へ転送される。ノイズ低減部 111は、抽出部 109で抽出された所定領域の映像信号に関して、ノイズ推定部 110で推定されたノイズ量に基づきノイズ低減処理を行うものである。ノイズ低減処理後の映像信号はバッファ 112へ転送される。バッファ 112は、エッジ方向検出部 113およびエッジ強調部 116へ接続されている。エツジ方向検出部 113は、エッジ方向検出手段であって、ノッファ 112に記憶されたノィズ低減処理後の映像信号力もエッジの方向を検出するものである。検出されたエッジ方向は、エッジ抽出部 114およびエッジ補正部 115へ転送される。エッジ抽出部 114 は、エッジ抽出手段であって、上記エッジ方向検出部 113により検出されたエッジ方向に関する情報を基に上記バッファ 105に記憶された映像信号力もエッジ成分を抽出するものである。抽出されたエッジ成分は、エッジ補正部 115へ転送される。エッジ補正部 115は、エッジ補正手段であって、上記エッジ方向検出部 113により検出されたエッジ方向に関する情報を基に上記エッジ抽出部 114から抽出されたエッジ成分を補正するものである。補正されたエッジ成分は、エッジ強調部 116へ転送される。エッジ強調部 116は、エッジ強調手段であって、上記エッジ補正部 115で補正処理が施されたエッジ成分を用いて、上記バッファ 112に記憶されたノイズ低減処理後の映像信号のエッジ強調処理を行うものである。エッジ強調処理がなされた映像信号は、信号処理部 117へ転送される。信号処理部 117は、信号処理手段であって、上記エッジ強調部 116でエッジ強調処理が施された映像信号に対して、例えば公知の圧縮処理などの所望の信号処理を行うものである。信号処理がなされた映像信号は、出力部 118へ転送される。出力部 118は、出力手段であって、上記信号処理部 11 7からの映像信号を例えばメモリカード等に記録するために出力するものである。制御手段に含まれる情報取得手段たる外部 I/F部 120は、電源スィッチ，シャツタボタン，動画 Z静止画の切り換えや圧縮率，画像サイズ， ISO感度の設定などの撮影時の各種モードを設定するためのモードスィッチ等へのインターフェースを備えたものである。制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部 119は、上記増幅器 103、 AZD変換器 104、測光評価部 106、合焦点検出部 107、抽出部 1 09、ノイズ推定部 110、ノイズ低減部 111、エッジ方向検出部 113、エッジ抽出部 11 4、エッジ補正部 115、エッジ強調部 116、信号処理部 117、出力部 118、外部 iZF 部 120と双方向に接続されて!ヽて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。さらに、 CCD102 の近傍に配置された温度センサー 121からの信号も制御部 119へ接続されてヽる。

[0037] 次に、図 1において、信号の流れを説明する。外部 IZF部 120を介して ISO感度などの撮影条件を設定した後、不図示のシャッターボタンを半押しにすることでプリ撮像モードに入る。

[0038] レンズ系 100,絞り 101, CCD102を介して撮影された信号は、アナログ信号として出力される。

[0039] なお、本実施形態において CCD102は白黒用単板 CCDを、出力される信号は輝度信号 Yを想定する。上記アナログ信号は増幅器 103によって所定量増幅され、 A ZD変翻 104によってデジタル信号へ変換されてバッファ 105へ転送される。

[0040] なお、本実施形態において AZD変翻104は 12bit階調でデジタル信号へ変換するものと想定する。

[0041] バッファ 105内の映像信号は、測光評価部 106および合焦点検出部 107へ転送される。測光評価部 106では、設定された ISO感度，手ぶれ限界のシャッター速度などをカロ味し、信号中の輝度レベルを求めて適正露光となるように絞り 101や CCD102 の電子シャッター速度や増幅器 103のゲインなどを制御する。また、合焦点検出部 1 07では信号中のエッジ強度を検出し、これが最大となるように AFモータ 108を制御することで合焦信号を得る。

[0042] 次に、外部 I/F部 120を介してシャッターボタン力もの全押し情報が入力されることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ 105へ転送される。本撮影は、測光評価部 106によって求められた露光条件、合焦点検出部 107によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部 119へ転送される。バッファ 105内の映像信号は抽出部 109へ転送される。抽出部 109は、制御部 119の制御に基づき図 2に示されるような注目画素 P を包含する 3 X 3画素サイズ

22

の注目領域 P (i= l〜3, j = l〜3)を順次抽出し、ノイズ推定部 110およびノイズ低減部 111へ転送する。

[0043] なお、図 2においては 5 X 5画素サイズの領域を示している力これは後述するエツジ処理において 5 X 5画素サイズの領域を要するためで、説明の便宜上 5 X 5画素サィズを示している。

[0044] また、以後の説明では注目画素を P と想定するが、注目画素自体は全信号力順

22

次抽出され、その座標位置も順次移動して行く。

[0045] ノイズ推定部 110は、制御部 119の制御に基づき抽出部 109からの注目領域および撮影時の情報に基づき注目画素 P のノイズ量 N を推定し、これをノイズ低減部 1

22 22

11へ転送する。ノイズ低減部 111は、制御部 119の制御に基づき抽出部 109からの注目画素 P に関して、ノイズ推定部 110からのノイズ量 N に基づきノイズ低減処理

22 22

を行い、ノイズ低減処理後の注目画素 P' およびそのノイズ量 N をバッファ 112へ転

22 22

送する。上記抽出部 109、ノイズ推定部 110、ノイズ低減部 111における処理は、制御部 119の制御に基づき注目領域単位で同期して行われる。ノッファ 112には、ノィズ低減処理後の全信号およびそのノイズ量が記録されることになる。

[0046] エッジ方向検出部 113は、制御部 119の制御に基づきバッファ 112から図 10に示されるようなノイズ低減処理後の注目画素 P' およびこれを包含する 5 X 5画素サイズ

22

の処理領域 P' (k=0〜4, 1=0〜4)を順次抽出する。その後、注目画素 P' および kl 22 その周囲 8画素（P， 11， P， 21， P， 31， P， 12， P， 32， P， 13， P，ッジ

23， P，）のエ方向（D および 33 22

D ，D ，D ，D ，D ，D ，D ，D )を検出し、エッジ抽出部 114およびエッジ補

11 21 31 12 32 13 23 33

正部 115へ転送する。エッジ抽出部 114は、制御部 119の制御に基づき上記エッジ方向検出部 113で用ヽた処理領域と同一位置のノイズ低減処理前の原信号をバッファ 105から順次抽出する。その後、エッジ方向検出部 113からのエッジ方向に基づき、注目画素 P' およびその周囲 8画素（Ρ' , Ρ' , Ρ' , Ρ' , Ρ' , Ρ' , Ρ' , P' )

22 11 21 31 12 32 13 23 33 のエッジ成分（Ε および Ε , Ε , Ε , Ε , Ε , Ε , Ε , Ε )を抽出し、エッジ補正

22 11 21 31 12 32 13 23 33

部 115へ転送する。

[0047] エッジ補正部 115は、制御部 119の制御に基づき、注目画素 P' のエッジ成分 Ε

22 22 に関して、エッジ方向検出部 113からのエッジ方向 D およびエッジ抽出部 114から

22

の周囲 8画素のエッジ成分（Ε , Ε , Ε , Ε , Ε , Ε , Ε , Ε )に基づきこれを補

11 21 31 12 32 13 23 33

正したエッジ成分 E' を求め、エッジ強調部 116へ転送する。エッジ強調部 116は、

22

制御部 119の制御に基づきバッファ 112からノイズ低減処理後の注目画素 P' を順

22 次抽出する。その後、エッジ補正部 115からのエッジ成分 E' に基づき、数式 1に示

22 すように所定の係数 g

1を乗算した後に加算することでエッジ強調処理後の画素値 P"

2 を求め、信号処理部 117へ転送する。

2

[数 1]

P" =P, +g ·Ε'

22 22 1 22

[0048] 上記エッジ方向検出部 113,エッジ抽出部 114,エッジ補正部 115,エッジ強調部 116における処理は、制御部 119の制御に基づき処理領域単位で同期して行われる。信号処理部 117は、制御部 119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部 118へ転送する。出力部 118は、メモリー力ードなどへ信号を記録保存する。

[0049] 図 3はノイズ推定部 110の構成の一例を示すものである。ノイズ推定部 110は、平均算出部 200,ゲイン算出部 201,標準値付与部 202,パラメータ用 ROM203,パラメータ選択部 204,補間部 205,補正部 206を備えている。抽出部 109は、平均算出部 200へ接続している。平均算出部 200は、パラメータ選択部 204へ接続している。ゲイン算出部 201,標準値付与部 202,パラメータ用 ROM203は、パラメータ選択部 204へ接続している。パラメータ選択部 204は、補間部 205および補正部 206へ接続している。補間部 205は、補正部 206を介してノイズ低減部 111へ接続している。制御部 119は、平均算出部 200,ゲイン算出部 201,標準値付与部 202,パラメ一タ選択部 204,補間部 205,補正部 206へ双方向に接続されている。

[0050] 平均算出部 200は、制御部 119の制御に基づき、抽出部 109からノイズ低減処理を行う図 2に示される注目領域 (Ρ , i= l〜3, j = l〜3)の平均値 AV を数式 2に示

ij 22

すように算出して、パラメータ選択部 204へ転送する。

[数 2]

AV =∑P /9

22 ij

[0051] ゲイン算出部 201は、制御部 119から転送される ISO感度および露光条件に関する情報に基づき増幅器 103におけるゲインを求め、パラメータ選択部 204へ転送する。また、制御部 119は温度センサー 121から CCD102の温度情報を得て、これをパラメータ選択部 204へ転送する。

[0052] パラメータ選択部 204は、平均算出部 200からの注目領域の平均値，ゲイン算出部 201からのゲインの情報，制御部 119からの温度情報に基づき輝度ノイズ量を推定する。

[0053] 図 4〜図 6は、輝度ノイズ量の推定に関する説明図である。図 4は、輝度値を信号レベル Lとした場合のノイズ量 Nをプロットしたものであり、ノイズ量 Nは信号レベルしに対して 2次曲線的に増加している。図 4を 2次関数でモデルィ匕すると数式 3が得られる

[数 3]

ここで、 a , β , γは定数項である。しかしながら、ノイズ量は信号レベルだけではなぐ撮像素子の温度やゲインによっても変化する。

[0054] 図 4は、一例としてある温度下においてゲインに関連する 3種類の ISO感度 100, 2 00, 400に対するノイズ量をプロットしている。個々の曲線は数式 3に示される形態をしているが、その係数はゲインに関連する ISO感度により異なる。温度を t、ゲインを g とし、上記を考慮した形でモデルの定式化を行うと数式 4となる。

画

N = a L + β L + y

gt gt gt

ここで、 a , β , γ は定数項である。ただし、数式 4の関数を複数記録し、その都

gt gt gt

度演算によりノイズ量を算出することは処理的に煩雑である。このために、図 5に示すようなモデルの簡略化を行う。

[0055] 図 5においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベル Lとノイズ量 Nとを成分とする座標データ (L , N )で表す。ここで、 nは変曲点の数を示す。また、上記基準ノイズモデルカゝら他のノイズモデルを導出するための補正係数 kも用意され

gt

る。補正係数 kは、各ノイズモデルと基準ノイズモデルとの間に最小自乗法を適用す

gt

ること〖こより算出される。基準ノイズモデルからの他のノイズモデルの導出は、上記補正係数 kを乗算することにより行われる。

gt

[0056] 図 6は、図 5に示す簡易化されたノイズモデルカゝらノイズ量を算出する方法を示している。例えば、与えられた信号レベル 1、ゲイン g、温度 tに対応するノイズ量 Nを求めることを想定する。まず、信号レベル 1が基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベル 1が (L , N )と (L , N )間の区間に属するものとする

n n n+1 n+1

。基準ノイズモデルにおける基準ノイズ量 Nを線形補間によって求める。

1

[数 5]

次に、基準ノイズ量 Nに補正係数 kを乗算することで、ノイズ量 Nを求める。

1 gt

[数 6]

N = k ·Ν

gt 1

[0057] ノメータ選択部 204は、平均算出部 200からの注目領域の平均値 AV 力も信号

22 レベル 1を、ゲイン算出部 201からのゲインの情報カゝらゲイン gを、制御部 119からの温度情報から温度 tを設定する。次に、信号レベル 1が属する区間の座標データ (L , ? と(し , N )をパラメータ用 ROM203から探索し、信号レベル 1と共に補間部 20 n n+1 n+1

5へ転送する。さらに、補正係数 kをパラメータ用 ROM203から探索し、これを補正 gt

部 206へ転送する。

[0058] 補間部 205は、制御部 119の制御に基づきパラメータ選択部 204からの信号レべル 1および区間の座標データ (L , N )と (L , N )力数式 5に基づき基準ノイズモ

n n n+1 n+1

デルにおける基準ノイズ量 Nを算出し、補正部 206へ転送する。

1

[0059] 補正部 206は、制御部 119の制御に基づきパラメータ選択部 204からの補正係数 kおよび補間部 205からの基準ノイズ量 Nカゝら数式 6に基づきノイズ量 Nを算出し、 gt 1

注目画素 P のノイズ量 N とする。推定されたノイズ量 N および平均値 AV はノイズ

22 22 22 22 低減部 111へ転送される。

[0060] なお、上記ノイズ量算出の過程において、温度 t,ゲイン gなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部 202に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。

[0061] 図 7はノイズ低減部 111の構成の一例を示すものである。ノイズ低減部 111は、範囲設定咅 300,切り換え咅 301,第 1スムージング咅第 2スムージング咅 303を備えている。ノイズ推定部 110は範囲設定部 300へ、範囲設定部 300は切り換え部 3 01,第 1スムージング部 302,第 2スムージング部 303へ接続している。抽出部 109 は切り換え部 301へ、切り換え部 301は第 1スムージング部 302および第 2スムージング部 303へ接続している。第 1スムージング部 302および第 2スムージング部 303 は、ノッファ 112へ接続している。制御部 119は、範囲設定部 300,切り換え部 301 ,第 1スムージング部 302,第 2スムージング部 303と双方向に接続している。ノイズ推定部 110は、注目領域の平均値 AV およびノイズ量 N を範囲設定部 300へ転送

22 22

する。

[0062] 範囲設定部 300は、制御部 119の制御に基づきノイズ量に関する許容範囲として上限 Upおよび下限 Lowを数式 7のように設定する。

[数 7]

Up =AV +N /2

22 22

Low=AV — N /2

22 22

上記許容範囲 Up, Lowは、切り換え部 301へ転送される。また、範囲設定部 300 は平均値 AV およびノイズ量 N を第 1スムージング部 302および第 2スムージング

22 22

部 303へ転送する。

[0063] 切り換え部 301は、制御部 119の制御に基づき抽出部 109からの注目画素 P を読

22 み込み、上記許容範囲に属するカゝ否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部 301は、「ノイズ範囲に属している」場合は第 1スムージング部 302へ、それ以外は第 2スムージング部 303へ注目画素 P を転送する。第 1スムージング部 302

22

は、切り換え部 301からの注目画素 P に範囲設定部 300からの平均値 AV を代入

22 22 する処理を行う。

[数 8]

P, =AV

22 22

数式 8でのノイズ低減処理がなされた注目画素 P' およびノイズ量 N はバッファ 11

22 22

2へ転送される。

[0064] 第 2スムージング部 303は、切り換え部 301からの注目画素 P に範囲設定部 300 力の平均値 AV とノイズ量 N を用いて補正する処理を行う。まず、「ノイズ範囲を

22 22

上回って!/、る」場合は数式 9のように補正する。

[数 9]

P' =AV — N /2

22 22 22

また、「ノイズ範囲を下回って、る」場合は数式 10のように補正する。

[数 10]

P' =AV +N /2

22 22 22

数式 9または数式 10のノイズ低減処理がなされた注目画素 P' およびノイズ量 N

22 22 はバッファ 112へ転送される。

[0065] 図 8はエッジ方向検出部 113の構成の一例を示すものである。エッジ方向検出部 1 13i¾、 ¾fg^¾¾400, ノッフ: T401,フィノレ夕 § 402,フィノレ夕 ROM403, ノッファ 404,エッジ選択部 405,方向決定部 406を備えている。ノッファ 112は閾値設定部 400およびフィルタ処理部 402へ接続している。閾値設定部 400は、バッファ 401を介してエッジ選択部 405へ接続している。フィルタ処理部 402は、ノッファ 404 ,エッジ選択部 405,方向決定部 406を介してエッジ抽出部 114およびエッジ補正部 115へ接続している。フィルタ ROM403は、フィルタ処理部 402へ接続している。制御部 119は、閾値設定部 400,フィルタ処理部 402,エッジ選択部 405,方向決定部 406と双方向に接続して、る。

[0066] 閾値設定部 400は、制御部 119の制御に基づきバッファ 112からノイズ低減処理がなされた注目画素 P' に対応するノイズ量 Ν を読み込み、所定の係数 g、例えば g

22 22 2 2

= 2を乗算することでエッジ成分に対する閾値 T を数式 11に示すように算出する。

22

[数 11]

T =g ·Ν

22 2 22

[0067] なお、本実施形態では図 10に示される 5 X 5画素サイズの処理領域 P' (k=0〜4

kl

， 1=0〜4)を想定しており、図 11に示される注目画素 P' およびその周囲 8画素（Ρ'

22 1

， Ρ，， Ρ，， Ρ，， Ρ，， Ρ，， Ρ，， Ρ，）の 9画素に対して閾値（Τ および Τ ， Τ ， Τ

1 21 31 12 32 13 23 33 22 11 21

, Τ , Τ , Τ , Τ , Τ )は算出される。算出された閾値はバッファ 401へ転送され

31 12 32 13 23 33

る。 [0068] フィルタ処理部 402は、制御部 119の制御に基づきバッファ 112から図 10に示される 5 X 5画素サイズの処理領域 P'を読み込み、注目画素 P' およびその周囲 8画素 kl 22

の 9画素に対して 3 X 3サイズのフィルタ処理を行う。図 12〜図 19は、フィルタ処理に用いられる 8方向（0° , 45° , 90° , 135° , 180° , 225° , 270° , 315° ) (D フィルタ係数を示す。上記フィルタ係数は、フィルタ ROM403に記録されており、必要に応じてフィルタ処理部 402へ転送される。フィルタ処理部 402は、図 11に示される 9画素に対し 8方向のフィルタ処理を行い、これを絶対値ィ匕することで計 72のエツジ成分を算出し、バッファ 404へ転送する。

[0069] エッジ選択部 405は、制御部 119の制御に基づきバッファ 401から上記 9画素に対する閾値を、ノッファ 404から上記 9画素に対する 8方向のエッジ成分を読み込む。この後、エッジ選択部 405は、画素単位で上記閾値と 8方向のエッジ成分を比較し、閾値以下のエッジ成分を省略し、閾値以上のエッジ成分を方向決定部 406へ転送する。

[0070] 方向決定部 406は、制御部 119の制御に基づきエッジ選択部 405から転送されるエッジ成分を 9画素の画素単位で処理する。これは、転送されるエッジ成分をソートし、最大値と、最大値を与える方向と 180° ずれた対角方向を除く 2番目の最大値と、を検出し、両者の差が所定の閾値以上の場合には最大値を与える方向をエッジ方向（D および D , D , D , D , D , D , D , D )とする。一方、最大値と 2番目

22 11 21 31 12 32 13 23 33

の最大値の差が所定の閾値以下の場合には、有効なエッジ方向が複数あると判断し

、等方的なエッジ方向とする。また、エッジ選択部 405から転送される 8方向のエッジ成分がない場合、平坦な領域としてエッジ方向がないとする。上記「最大値を与える方向」が得られた場合は、この方向をエッジ抽出部 114およびエッジ補正部 115へ転送する。また、「等方的なエッジ方向」および「エッジ方向がない」の場合は、制御部 1 19へその情報を転送する。

[0071] 制御部 119は、エッジ抽出部 114を制御し、「最大値を与える方向」が得られた場合は、図 12〜図 19に示されるその方向に対応するフィルタ係数によりエッジ成分の抽出を行わせる。一方、「等方的なエッジ方向」の場合は、図 20に示される等方的なフィルタ係数によりエッジ成分の抽出を行わせる。さらに、「エッジ方向がない」の場合には、エッジ抽出部 114の処理を中止し、次の注目画素へ処理を移行させる。

[0072] なお、上記実施形態ではエッジ方向を決定する上で 8方向のフィルタ処理とノイズ量に基づく閾値を使用している力このような構成に限定される必要はない。例えば、図 9に示されるように、水平，垂直の 2方向フィルタ処理と固定的な閾値によるより簡略された構成も可能である。

[0073] 図 9は、図 8における閾値設定部 400, ノッファ 401を削除し、エッジ選択部 405を変動除去部 500へ置換したもので、基本構成は図 8に示すエッジ方向検出部 113と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0074] バッファ 404は変動除去部 500へ、変動除去部 500は方向決定部 406へ接続している。制御部 119は、変動除去部 500と双方向に接続している。

[0075] フィルタ処理部 402は、図 11に示される 9画素に対し水平，垂直の 2方向のフィルタ処理を行い、これを絶対値ィ匕することで計 18のエッジ成分を算出し、ノッファ 404へ転送する。図 21,図 22は、水平，垂直の 2方向のフィルタ係数を示す。上記フィルタ係数は、フィルタ ROM403に記録されており、必要に応じてフィルタ処理部 402へ転送される。

[0076] 変動除去部 500は、制御部 119の制御に基づきバッファ 404から上記 9画素に対する 2方向のエッジ成分を読み込む。この後、所定の下位ビット、本実施形態では A ZD変 l04を 12bit階調と想定しているため例えば下位 4bitを削除することで微小な変動成分を除去する。変動成分が除去された 2方向のエッジ成分は、方向決定部 406へ転送される。

[0077] 方向決定部 406は、制御部 119の制御に基づきエッジ選択部 405から転送されるエッジ成分を 9画素の画素単位で処理し、エッジ方向を算出する。数式 12は、注目画素 P' におけるエッジ方向の算出を示す。

22

[数 12]

D =tan^_1 (E90 /E0 )

22 22 22

上記数式 12において、 E0は水平方向の E90は垂直方向のエッジ成分を意味する。数式 12の演算は、図 11に示される 9画素に対し画素単位で行われる。 [0078] なお、変動成分が除去された結果、水平，垂直の 2方向ともエッジ成分が存在しない場合は「エッジ方向がない」として、制御部 119へその情報を転送する。 2方向の処理では、「等方的なエッジ方向」は検出されない。

[0079] 図 23、図 24は、エッジ補正部 115におけるエッジ成分の補正に用いる周囲画素を示す。図 23の例では、注目画素 P' のエッジ方向 D に基づき周囲 8方向にある画素

22 22

の一つを選択し、そのエッジ成分を Eとした場合に数式 13で算出する。

d

[数 13]

E' = (E +E ) /2

22 22 d

また、図 24の例では、注目画素 P' のエッジ方向 D に基づき周囲 8方向にある画

22 22

素の一つを選択し、そのエッジ成分を E、その対角方向にある画素のエッジ成分を E d

とした場合に数式 14で算出する。

do

[数 14]

E' = (2E +E +E ) /4

22 22 d do

[0080] 上記構成により、ノイズ低減処理後の信号力エッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出することで、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。

[0081] また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエツジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0082] さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われる力ノイズ推定にお、ては広、領域力推定を行うことで推定精度を高めるようにし、ノイズ低減にお!ヽては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

[0083] ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

[0084] さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高、エッジ方向が得られる。

[0085] また、エッジ方向が決定できな力つた場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。

[0086] さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。

[0087] なお、上記実施形態ではレンズ系 100,絞り 101, CCD102,増幅器 103, Α/Ό 変翻 104,測光評価部 106,合焦点検出部 107, AFモータ 108,温度センサー 1 21を含む撮像部と一体化した構成になつてヽたが、このような構成に限定される必要はない。

[0088] 例えば、図 25に示されるように、別体の撮像部で撮像された映像信号を未処理の Rawデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体力も処理をすることも可能である。

[0089] 図 25は、図 1に示す構成からレンズ系 100,絞り 101, CCD102,増幅器 103, A ZD変翻104,測光評価部 106,合焦点検出部 107, AFモータ 108,温度センサ一 121を省略し、入力部 600,ヘッダ情報解析部 601を追加した構成となっている。基本構成は図 1と同様であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。

[0090] 入力部 600は、ノッファ 105およびヘッダ情報解析部 601へ接続している。制御部 119は、入力部 600,ヘッダ情報解析部 601と双方向に接続している。マウス，キーボードなどの外部 IZF部 120を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部 600から読み込まれる。入力部 600からの信号はバッファ 105へ、ヘッダ情報はヘッダ情報解析部 601へ転送される。ヘッダ情報解析部 601は、ヘッダ情報力も撮影時の情報を抽出して制御部 1 19へ転送する。以後の処理は、図 1と同様である。

[0091] さらに、上記実施形態ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD102からの信号を未処理のままの Raw データとして、制御部 119からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。

[0092] 図 26、図 27に、信号処理のソフトウェア処理に関するフローチャートを示す。

[0093] 処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込む (ステツプ Sl)。

[0094] 次に、図 2に示されるような注目画素および 3 X 3画素サイズの注目領域を抽出する

(ステップ S 2)。

[0095] そして、別途説明するように、抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する (ステップ S3)。

[0096] 続、て、注目画素に数式 7に示される許容範囲を設定する (ステップ S4)。

[0097] 次に、注目画素が許容範囲内に属する力否かを判断し、属する場合は次のステツプ S6へ、属さない場合はステップ S 7へ分岐する (ステップ S5)。

[0098] ステップ S5において注目画素が許容範囲内に属すると判断されると、数式 8に示される処理を行う（ステップ S6)。

[0099] 一方、ステップ S5において注目画素が許容範囲内に属さないと判断されると、数式

9または数式 10に示される処理を行う（ステップ S 7)。

[0100] 上記ステップ S6またはステップ S7の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップ S2へ、完了した場合はステップ

S 9へ分岐する（ステップ S8)。

[0101] 上記ステップ S8で全注目領域の抽出が完了したと判断されると、次に図 10に示されるような注目画素および 5 X 5画素サイズの処理領域を抽出する (ステップ S9)。

[0102] 続いて、図 11に示される 9画素に関して図 12〜図 19に示される方向別の抽出フィルタを用 V、てエッジ方向を検出する (ステップ S 10)。

[0103] さらに、ステップ S 10からのエッジ方向に基づきノイズ低減処理前の原信号からエツジ成分を抽出する (ステップ Sl l)。

[0104] 次にステップ S 10で検出したエッジ方向に基づき図 23または図 24に示される近傍画素のエッジ成分により数式 13または数式 14に示される補正処理によってエッジ成分を補正する (ステップ S 12)。

[0105] 更に、ノイズ低減処理後の注目画素の信号に数式 1に示されるエッジ強調処理を行う（ステップ SI 3)。

[0106] そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップ

S9へ、完了した場合はステップ S 15へ分岐する（ステップ S 14)。

[0107] ステップ S14で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップ S 15)。

[0108] その後、処理後の信号が出力され終了する (ステップ S16)。

[0109] 図 27は、上記ステップ S3におけるノイズ量の推定に関するフローチャートである。

[0110] まず、数式 2に示される注目領域の平均値を算出する (ステップ S20)。

[0111] 次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する (ステップ S

21)。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

[0112] 更に、基準ノイズモデルの座標データおよび補正係数を読み込む (ステップ S22)。

[0113] 続いて、数式 5に示される補間処理によって基準ノイズ量を求める (ステップ S23)。

[0114] 次に、数式 6に示される補正処理によってノイズ量を求める（ステップ S24)。

[0115] 最後に、算出されたノイズ量を出力して終了する (ステップ S25)。

[0116] このように、ハードウェアによる実行を前提としていた上述したような処理も、上記第

1の実施形態と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することが可能となる。

[0117] 図 28から図 37は本発明の第 2の実施形態を示したものであり、図 28は第 2の実施形態の構成を示すブロック図、図 29、図 30は注目画素および注目領域に関する説明図であって、図 29は注目画素およびその近傍領域を示す図、図 30は注目画素および抽出された類似画素を示す図、図 31は抽出部の構成を示すブロック図、図 32 はノイズ推定部の構成を示すブロック図、図 33はエッジ方向検出部の構成を示すブロック図、図 34、図 35はエッジ方向検出部のエッジ抽出フィルタに関する説明図であって、図 34は水平エッジ抽出フィルタを示す図、図 35は垂直エッジ抽出フィルタを示す図、図 36、図 37は第 2の実施形態における信号処理のフローチャートであって、図 36は全体処理のフローチャート、図 37はノイズ推定処理のフローチャートである [0118] 図 28は、第 2の実施形態の構成を示すブロック図である。本実施形態は、図 1に示す第 1の実施形態における抽出部 109,ノイズ推定部 110,エッジ方向検出部 113 力抽出部 700,ノイズ推定部 701,エッジ方向検出部 702に置換され、バッファ 70 3が追加された構成になっている。基本構成は第 1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0119] バッファ 105は、測光評価部 106,合焦点検出部 107,抽出部 700,エッジ抽出部 114へ接続されている。抽出部 700は、ノイズ推定部 701およびノイズ低減部 111へ接続されている。ノイズ推定部 701は抽出部 700,ノイズ低減部 111,エッジ方向検出部 702へ接続されている。エッジ方向検出部 702は、ノッファ 703を介して、エッジ抽出部 114およびエッジ補正部 115へ接続されている。制御部 119は、抽出部 700 ,ノイズ推定部 701,エッジ方向検出部 702と双方向に接続されている。

[0120] 本実施形態は、基本的に第 1の実施形態と同様であり、異なる部分のみ説明する。

[0121] 図 28において、信号の流れを説明する。抽出部 700は、制御部 119の制御に基づき図 29に示される注目画素 P を包含する 5 X 5画素サイズの注目領域 P (i=0〜4,

22 ij

j = 0〜4)を順次抽出する。上記注目画素 P は、ノイズ推定部 701およびノイズ低減

22

部 111へ転送される。

[0122] ノイズ推定部 701は、制御部 119の制御に基づきノイズ低減処理を行う注目画素 P

2 に対する第 1のノイズ量 N1 を推定し、これを抽出部 700へ転送する。

2 22

[0123] 抽出部 700は、制御部 119の制御に基づき、注目画素 P および上記第 1のノイズ

22

量 N1 に基づき注目画素 P と類似する画素を抽出するための許容範囲を算出する

22 22

。算出された上記許容範囲に基づき、上記注目領域から類似する類似画素を抽出する。類似画素としては、例えば図 30に示されるような類似画素 P (k=0〜4のいず

kl

れか， 1=0〜4のいずれか)を想定する。抽出された類似画素 Pおよび注目画素 P

kl 22 は、ノイズ推定部 701へ転送される。

[0124] ノイズ推定部 701は、制御部 119の制御に基づき、ノイズ低減処理を行う注目画素 P および上記類似画素 Pに対する第 2のノイズ量 N2 を推定し、これをノイズ低減

22 kl 22

部 111へ転送する。また、注目画素 P および上記類似画素 Pの情報をエッジ方向検出部 702へ転送する。

[0125] ノイズ低減部 111は、第 1の実施形態と同様に注目画素 P に関して、ノイズ推定部

22

701からのノイズ量 N2 に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画

22

素 P' をバッファ 112へ転送する。

22

[0126] エッジ方向検出部 702は、ノイズ推定部 701からの注目画素 P および上記類似画

22

素 Pの情報に基づき、注目画素 P に対するエッジ方向 D を検出する。上記エッジ kl 22 22

方向 D は、バッファ 703へ転送される。

22

[0127] 上記抽出部 700,ノイズ推定部 701,ノイズ低減部 111,エッジ方向検出部 702〖こおける処理は、制御部 119の制御に基づき注目領域単位で同期して行われる。

[0128] ノッファ 112にはノイズ低減処理後の全信号が、バッファ 703にはエッジ方向が記録されること〖こなる。

[0129] エッジ抽出部 114は、第 1の実施形態と同様にバッファ 105から注目画素 P および

22 その周囲 8画素（P , Ρ , Ρ , Ρ , Ρ , Ρ , Ρ , Ρ )の 9画素を含む図 30に示され

11 21 31 12 32 13 23 33

る 5X5画素サイズの処理領域を、バッファ 703からエッジ方向（D および D , D ,

22 11 21

D , D , D , D , D , D )を読み込む。その後、上記 9画素に対してエッジ方向

31 12 32 13 23 33

に基づき図 12〜図 19に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いェッジ成分（Ε および Ε , Ε , Ε , Ε , Ε , Ε , Ε , Ε )を抽出し、エッジ補正部 11

22 11 21 31 12 32 13 23 33

5へ転る。

[0130] エッジ補正部 115は、第 1の実施形態と同様に、注目画素 Ρ のエッジ成分 Ε に関

22 22 して、バッファ 703からのエッジ方向 D およびエッジ抽出部 114からの周囲 8画素の

22

エッジ成分（Ε , Ε , Ε , Ε , Ε , Ε , Ε , Ε )に基づきこれを補正したエッジ成

11 21 31 12 32 13 23 33

分 E' を求め、エッジ強調部 116へ転送する。

22

[0131] エッジ強調部 116は、制御部 119の制御に基づきバッファ 112からノイズ低減処理後の注目画素 P' を順次抽出する。その後、エッジ補正部 115からのエッジ成分 E'

22 22 に基づき第 1の実施形態と同様にエッジ強調処理後の画素値 Ρ" を求め、信号処理

22

部 117へ転送する。

[0132] 上記エッジ抽出部 114,エッジ補正部 115,エッジ強調部 116における処理は、制御部 119の制御に基づき処理領域単位で同期して行われる。 [0133] 信号処理部 117は、制御部 119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部 118へ転送する。出力部 118は、メモリーカードなどへ信号を記録保存する。

[0134] 図 31は抽出部 700の構成の一例を示すものである。抽出部 700は、許容範囲設定部 800,近傍抽出部 801,類似性調査部 802, ノッファ 803を備えている。

[0135] ノイズ推定部 701は、許容範囲設定部 800へ接続している。ノッファ 105は、近傍抽出部 801,類似性調査部 802, ノッファ 803を介してノイズ推定部 701へ接続している。近傍抽出部 801は、ノイズ低減部 111およびノイズ推定部 701へ接続している。制御部 119は、許容範囲設定部 800,近傍抽出部 801,類似性調査部 802と双方向に接続されている。

[0136] 近傍抽出部 801は、制御部 119の制御に基づき、バッファ 105から注目画素 P を

22 抽出し、ノイズ推定部 701およびノイズ低減部 111および許容範囲設定部 800へ転送する。

[0137] 許容範囲設定部 800は、制御部 119の制御に基づき、ノイズ推定部 701から注目画素 P に対する第 1のノイズ量 N1 が転送された後、類似画素を探索するための許

22 22

容範囲として上限 App— Upおよび下限 App— Lowを数式 15のように設定する。

[数 15]

App Up =P +N1 /2

― 22 22

App Low=P Nl /2

― 22 22

上記許容範囲は、類似性調査部 802へ転送される。

[0138] 近傍抽出部 801は、制御部 119の制御に基づき、バッファ 105から図 29に示される注目領域 Pを抽出し、画素単位で順次類似性調査部 802へ転送する。

[0139] 類似性調査部 802は、許容範囲設定部 800からの許容範囲として上限 App— Up および下限 App— Lowに基づき、近傍抽出部 801からの画素を調査する。画素が数式 15の許容範囲内にある場合、これを類似画素 Pとしての有効を意味するフラグ、

kl

例えば 1を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば 0 を与える。上記フラグと画素値は組としてバッファ 803へ保存される。図 30は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。ノッファ 803上のフラグおよび画素値情報は、制御部 119の制御に基づき、必要に応じてノイズ推定部 701へ転送される。

[0140] 図 32はノイズ推定部 701の構成の一例を示すものである。ノイズ推定部 701は、第 1の実施形態の図 3に示されるノイズ推定部 110にノイズ LUT (ルックアップテーブル ) 900が追加され、パラメータ用 ROM203,パラメータ選択部 204,補間部 205,補正部 206が省略された構成になっている。基本構成は図 3に示すノイズ推定部 110と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0141] 抽出部 700は、平均算出部 200およびエッジ方向検出部 702へ接続している。平均算出部 200,ゲイン算出部 201,標準値付与部 202は、ノイズ LUT900へ接続している。ノイズ LUT900は、ノイズ低減部 111および抽出部 700へ接続している。制御部 119は、ノイズ LUT900へ双方向に接続されて!、る。

[0142] 平均算出部 200は、制御部 119の制御に基づき抽出部 700から注目画素 P 、また

22 は注目画素 P と類似画素 Pとを読み込み、平均値を算出する。上記平均値はノイズ

22 kl

LUT900へ転送される。

[0143] ゲイン算出部 201は、制御部 119から転送される ISO感度および露光条件に関する情報に基づき増幅器 103におけるゲインを求め、ノイズ LUT900へ転送する。

[0144] また、制御部 119は温度センサー 121から CCD102の温度情報を得て、これをノィズ LUT900へ転送する。

[0145] ノイズ LUT900は、平均算出部 200からの平均値，ゲイン算出部 201からのゲインの情報，制御部 119からの温度情報に基づきノイズ量を推定する。ノイズ LUT900 は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、第 1の実施形態と同様の手法により構築される。ノイズ LUT900で得られたノイズ量は抽出部 700へ転送される。また、抽出部 700で得られた類似画素を識別するためのフラグ情報および画素値はエッジ方向検出部 702へ転送される。

[0146] なお、標準値付与部 202は第 1の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。

[0147] 図 33はエッジ方向検出部 702の構成の一例を示すものである。エッジ方向検出部 702は、水平フィルタ処理部 1000,垂直フィルタ処理部 1001,方向決定部 1002を備えている。ノイズ推定部 701は、水平フィルタ処理部 1000および垂直フィルタ処理部 1001へ接続して!/、る。水平フィルタ処理部 1000および垂直フィルタ処理部 1001 は、方向決定部 1002へ接続している。方向決定部 1002は、バッファ 703へ接続している。制御部 119は、水平フィルタ処理部 1000,垂直フィルタ処理部 1001,方向決定部 1002と双方向に接続して、る。

[0148] 水平フィルタ処理部 1000および垂直フィルタ処理部 1001は、制御部 119の制御に基づき、図 30に示すように 5 X 5画素サイズの注目画素 P および類似画素 P に関

22 kl するフラグおよび画素値情報を読み込む。その後、図 34または図 35に示す 5 X 5画素サイズのフィルタ処理と絶対値ィ匕を行、、水平または垂直方向のエッジ成分を抽出する。なお、類似画素 P に関しては、そのフラグが 0である画素は画素値を 0に置

kl

換してフィルタ処理を行う。上記エッジ成分は、方向決定部 1002へ転送される。

[0149] 方向決定部 1002は、制御部 119の制御に基づき水平フィルタ処理部 1000からの水平エッジ成分 E0 および垂直フィルタ処理部 1001からの垂直エッジ成分 E90 に

22 22 基づき、数式 12に示されるようにエッジ方向 D を算出する。算出されたエッジ方向 D

22

はバッファ 703へ転送される。

22

[0150] 上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。

[0151] ノイズ低減処理の過程で得られた情報力もエッジの方向を検出するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0152] また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエツジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0153] さらに、ノイズ低減処理では注目画素力概略的な第 1のノイズ量を推定し、第 1のノイズ量力類似画素を抽出し、注目画素および類似画素力より精度の高い第 2のノイズ量を推定し、第 2のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

[0154] ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

[0155] なお、上記第 2の実施形態では撮像部と一体ィ匕した構成になって、たが、このような構成に限定される必要はない。第 1の実施形態と同様に、撮像部と分離した構成も可能である。

[0156] さらに、上記第 2の実施形態ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、 CCD102からの信号を未処理のままの Rawデータとして、制御部 119からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。

[0157] 図 36、図 37は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図 26、図 27に示す本発明の第 1の実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一なステップ符号を割り当てて、る。

[0158] 処理を開始すると、まず信号と温度，ゲインなどのヘッダ情報を読み込む (ステップ Sl)。

[0159] 次に図 29に示されるような注目画素および 5 X 5画素サイズの注目領域を抽出する

(ステップ S 2)。

[0160] そして、別途説明するように抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する (ステップ S3)。

[0161] 更に、類似画素を探索するための数式 15に示される許容範囲を設定する (ステツプ S30)。

[0162] その後、図 30に示されるような類似画素を抽出する (ステップ S31)。

[0163] そして、上述のステップ S3と同じ処理によって、注目画素および抽出した類似画素を用いてノイズ量を推定し、それを注目画素に対するノイズ量として算出する (ステツプ S32)。

[0164] 次に、注目画素に数式 7に示される許容範囲を設定する (ステップ S4)。

[0165] そして、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップ S6へ、属さな、場合はステップ S7へ分岐する (ステップ S5)。

[0166] ステップ S5において注目画素が許容範囲内に属すると判断されると、続けて数式 8 に示される処理を行う（ステップ S6)。

[0167] 一方、ステップ S5において注目画素が許容範囲内に属さないと判断されると、数式

9または数式 10に示される処理を行う（ステップ S 7)。

[0168] その後、図 30に示される注目画素および類似画素に関して図 34,図 35に示される水平，垂直用の抽出フィルタを用、てエッジ方向を検出する (ステップ S 10)。

[0169] そして、全注目領域の抽出が完了したかを判断し、完了していない場合はステップ

S2へ、完了した場合は次のステップ S 9へ分岐する (ステップ S8)。

[0170] 次に、図 30に示されるような注目画素および類似画素を含む 5 X 5画素サイズの処理領域を抽出する (ステップ S9)。

[0171] 更に、ステップ S 10からのエッジ方向情報に基づきノイズ低減処理前の原信号から注目領域のエッジ成分を抽出する (ステップ S33)。

[0172] 次に、ステップ S 10で検出したエッジ方向に基づき図 23または図 24に示される近傍画素のエッジ成分により数式 13または数式 14に示される補正処理によってエッジ成分を補正する (ステップ S 12)。

[0173] その後、ノイズ低減処理後の注目画素の信号に数式 1に示されるエッジ強調処理を行う（ステップ S 13)。

[0174] そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップ S9へ、完了した場合はステップ S 15へ分岐する（ステップ S 14)。

[0175] 全処理領域の抽出が完了した場合は、公知の圧縮処理などが行われ (ステップ S1 5)、処理後の信号が出力され終了する (ステップ S 16)。

[0176] 図 37は、上記ステップ S3およびステップ S32におけるノイズ量の推定に関するフロ一チャートである。

[0177] まず、注目領域または注目画素と類似画素の平均値を算出する (ステップ S 20)。

[0178] 次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する (ステップ S

21)。その際、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。 [0179] その後、ルックアップテーブルを用いてノイズ量を求め（ステップ S40)、算出されたノイズ量を出力して終了する (ステップ S25)。

[0180] この様に、 CCD102からの信号を未処理のままの Rawデータとし、制御部 119からの撮影時の温度，ゲインなどをヘッダ情報として付加された映像信号であれば、別途ソフトウェアによって処理する構成も可能である。

[0181] 図 38から図 47は本発明の第 3の実施形態を示したものであり、図 38は第 3の実施形態の構成を示すブロック図、図 39、図 40は DCT (Discrete Cosine Transform)変換に関する説明図であって、図 39は実空間を示す図、図 40は周波数空間を示す図、図 41はノイズ推定部の構成を示すブロック図、図 42はノイズ低減部の構成を示すブロック図、図 43はエッジ方向検出部の構成を示すブロック図、図 44はエッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図、図 45、図 46、図 47 は第 3の実施形態における信号処理のフローチャートであって、図 45は全体処理のフローチャート、図 46はノイズ推定処理のフローチャート、図 47はエッジ方向検出処理のフローチャートである。

[0182] 図 38は、本発明の第 3の実施形態の構成を示すブロック図である。本実施形態は、図 1に示す第 1の実施形態におけるノイズ推定部 110,ノイズ低減部 111,エッジ方向検出部 113がノイズ推定部 1101,ノイズ低減部 1102,エッジ方向検出部 1104に置換され、 DCT変換部 1100,逆 DCT変換部 1103, ノッファ 1105が追加された構成になっている。基本構成は第 1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0183] 抽出部 109は DCT変換部 1100へ、 DCT変換部 1100はノイズ推定部 1101およびノイズ低減部 1102へ接続されている。ノイズ低減部 1102は、逆 DCT変換部 110 3を介してバッファ 112へ接続されている。ノイズ推定部 1101は、ノイズ低減部 1102 およびエッジ方向検出部 1104へ接続されている。エッジ方向検出部 1104はバッファ 1105へ、バッファ 1105はエッジ抽出部 114およびエッジ補正部 115へ接続されている。制御部 119は、 DCT変換部 1100,ノイズ推定部 1101,ノイズ低減部 1102, 逆 DCT変換部 1103,エッジ方向検出部 1104と双方向に接続されて、る。

[0184] 本実施形態は、基本的に第 1の実施形態と同様であり、異なる部分のみ説明する。 [0185] 図 38において、信号の流れを説明する。抽出部 109は、制御部 119の制御に基づき、図 39に示されるような 4 X 4画素サイズの注目領域 (ブロック領域)を順次抽出し、 DCT変換部 1100へ転送する。

[0186] DCT変換部 1100は、制御部 119の制御に基づき上記注目領域に公知の DCT( Discrete Cosine Transform)変換を行い、図 40に示されるような周波数成分へ変換する。 DCT変換では、図 40に示されるように、左上を原点すなわち 0次成分として、 1 次以上の高周波成分は 0次成分を原点とする同心円上に配置されることになる。本実例では、 4 X 4画素サイズを想定するため次数として 5次の高周波成分まで存在すること〖こなる。変換後の周波数成分は、ノイズ推定部 1101およびノイズ低減部 1102 へ転送される。

[0187] ノイズ推定部 1101は、制御部 119の制御に基づき、周波数成分中の 0次成分および撮影時の情報に基づき、 0次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する。算出されたノイズ量はノイズ低減部 1102へ、周波数成分はエツジ方向検出部 1104へ転送される。

[0188] ノイズ低減部 1102は、制御部 119の制御に基づき、ノイズ推定部 1101からのノィズ量に基づき 0次成分以外の高周波数成分に対してノイズ低減処理を行ヽ、 0次成分と共に逆 DCT変換部 1103へ転送する。

[0189] 逆 DCT変換部 1103は、制御部 119の制御に基づき、 0次成分とノイズ低減処理後の 0次成分以外の高周波数成分に対して逆 DCT変換を行、、実空間の画素へ変換する。ノイズ低減がなされた上記画素は、バッファ 112へ転送される。

[0190] 一方、エッジ方向検出部 1104は、制御部 119の制御に基づき、ノイズ推定部 110

1からの周波数成分に基づき水平，垂直方向の周波数成分力もエッジ方向を検出する。検出されたエッジ方向は、バッファ 1105へ転送される。

[0191] 上記 DCT変換部 1100,ノイズ推定部 1101,ノイズ低減部 1102,逆 DCT変換部

1103,エッジ方向検出部 1104における処理は、制御部 119の制御に基づき注目領域単位で同期して行われる。

[0192] バッファ 112にはノイズ低減処理後の全信号力バッファ 1105には 4 X 4画素単位でエッジ方向が記録されることになる。 [0193] エッジ抽出部 114は、第 1の実施形態と同様にバッファ 105から注目画素 P および

22 その周囲 8画素（P , Ρ , Ρ , Ρ , Ρ , Ρ , Ρ , Ρ )の 9画素を、バッファ 1105から

11 21 31 12 32 13 23 33

各画素が属する 4X4画素単位を探索し、エッジ方向（D および D , D , D , D ,

22 11 21 31 12

D , D , D , D )を読み込む。その後、上記 9画素に対してエッジ方向に基づき図

32 13 23 33

12〜図 19に示されるエッジ抽出フィルタを選択し、フィルタ処理を行!/、エッジ成分（ Ε および Ε , Ε , Ε , Ε , Ε , Ε , Ε , Ε )を抽出し、エッジ補正部 115へ転送

22 11 21 31 12 32 13 23 33

する。

[0194] エッジ補正部 115は、第 1の実施形態と同様に、注目画素 Ρ のエッジ成分 Ε に関

22 22 して、バッファ 1105からのエッジ方向 D およびエッジ抽出部 114からの周囲 8画素

22

のエッジ成分（Ε , Ε , Ε , Ε , Ε , Ε , Ε , Ε )に基づきこれをネ ΐ正したエッジ

11 21 31 12 32 13 23 33

成分 E' を求め、エッジ強調部 116へ転送する。

22

[0195] エッジ強調部 116は、制御部 119の制御に基づき、ノッファ 112からノイズ低減処理後の注目画素 P' を順次抽出する。その後、エッジ補正部 115からのエッジ成分 Ε

22

' 22に基づき第 1の実施形態と同様にエッジ強調処理後の画素値 Ρ"

22を求め、信号処理部 117へ転送する。

[0196] 上記エッジ抽出部 114,エッジ補正部 115,エッジ強調部 116における処理は、制御部 119の制御に基づき注目画素単位で同期して行われる。

[0197] 信号処理部 117は、制御部 119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部 118へ転送する。出力部 118は、メモリーカードなどへ信号を記録保存する。

[0198] 図 41はノイズ推定部 1101の構成の一例を示すものである。ノイズ推定部 1101は、第 1の実施形態の図 3に示されるノイズ推定部 110に 0次成分抽出部 1200,ノイズ LUT1201が追加され、平均算出部 200,パラメータ用 ROM203,パラメータ選択部 204,補間部 205,補正部 206が省略された構成になっている。基本構成は図 3 に示すノイズ推定部 110と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0199] DCT変換部 1100は、 0次成分抽出部 1200およびエッジ方向検出部 1104へ接続している。 0次成分抽出部 1200,ゲイン算出部 201,標準値付与部 202は、ノイズ LUT1201へ接続している。ノイズ LUT1201は、ノイズ低減部 1102へ接続している。制御部 119は、 0次成分抽出部 1200,ノイズ LUT1201へ双方向に接続されている。

[0200] 0次成分抽出部 1200は、制御部 119の制御に基づき DCT変換部 1100から 4 X 4 画素サイズの注目領域 (ブロック領域）に対する周波数成分を読み込み、その 0次成分を抽出する。上記 0次成分はノイズ LUT1201へ転送される。

[0201] ゲイン算出部 201は、制御部 119から転送される ISO感度および露光条件に関する情報に基づき増幅器 103におけるゲインを求め、ノイズ LUT1201へ転送する。

[0202] また、制御部 119は温度センサー 121から CCD102の温度情報を得て、これをノィズ LUT1201へ転送する。

[0203] ノイズ LUT1201は、 0次成分抽出部 1200力らの 0次成分，ゲイン算出部 201からのゲインの情報，制御部 119からの温度情報に基づき 0次成分以外の高周波数成分に対するノイズ量を推定する。

[0204] ノイズ LUT1201は、温度，信号値レベル，ゲインと 0次成分以外の高周波数成分に対するノイズ量間の関係を記録したルックアップテーブルで、第 1の実施形態の手法を周波数空間に適用することにより構築される。ノイズ LUT1201で得られた 0次成分以外の高周波数成分に対するノイズ量はノイズ低減部 1102へ転送される。

[0205] なお、標準値付与部 202は第 1の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。

[0206] 図 42はノイズ低減部 1102の構成の一例を示すものである。ノイズ低減部 1102は、第 1の実施形態の図 7に示されるノイズ低減部 111に周波数分離部 1300,平均算出部 1301が追加された構成になっている。基本構成は図 7に示されるノイズ低減部 111と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0207] ノイズ推定部 1101は範囲設定部 300へ接続している。 DCT変換部 1100は周波数分離部 1300へ、周波数分離部 1300は平均算出部 1301および逆 DCT変換部 1 103へ接続している。平均算出部 1301は、範囲設定部 300および切り換え部 301 へ接続している。第 1スムージング部 302および第 2スムージング部 303は、逆 DCT 変換部 1103へ接続している。制御部 119は、周波数分離部 1300,平均算出部 13 01と双方向に接続している。

[0208] 周波数分離部 1300は、制御部 119の制御に基づき DCT変換部 1100から図 40 に示されるような周波数成分を読み込み、これを各周波数成分ごとに分離する。分離された 0次成分 Fは逆 DCT変換部 1103へ、 0次成分以外の高周波数成分 F (Lは

0 Le

1〜5の次数を、 eは各次数に含まれる要素を意味する）は平均算出部 1301へ転送される。

[0209] 平均算出部 1301は、制御部 119の制御に基づき次数ごとの高周波数成分の平均値 AV— Fを算出し、これを範囲設定部 300へ転送する。また、高周波数成分 F は

L Le 切り換え部 301へ転送される。

[0210] 範囲設定部 300は、制御部 119の制御に基づきノイズ推定部 1101から次数ごとのノイズ量 N— Fを読み込み、許容範囲として上限 F— Upおよび下限 F— Lowを次

― し ― し ― し数ごとに設定する。

[数 16]

F Up =AV F +N F /2

― L ― L ― L

F Low =AV F— N F /2

― L ― L ― L

上記許容範囲は、切り換え部 301へ転送される。また、範囲設定部 300は平均値 A V Fおよびノイズ量 N Fを第 1スムージング部 302および第 2スムージング部 30

― L ― L

3へ転送する。

[0211] 切り換え部 301は、制御部 119の制御に基づき平均算出部 1301からの高周波数成分 F を読み込み、上記許容範囲に属するカゝ否かの判断を行う。判断は、「ノイズ

Le

範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部 301は、「ノイズ範囲に属している」場合は第 1スムージング部 302へ、それ以外は第 2スムージング部 303へ高周波数成分 Fを転送する。

し

[0212] 第 1スムージング部 302は、切り換え部 301からの高周波数成分 F に範囲設定部

Le

300からの平均値 AV Fを代入する処理を行う。

し

[数 17]

F' =AV F 数式 17でのノイズ低減処理がなされた高周波数成分 F' は逆 DCT変換部 1103

Le

へ転送される。

[0213] 第 2スムージング部 303は、切り換え部 301からの高周波数成分 F に範囲設定部

Le

300からの平均値 AV Fおよびノイズ量 N Fを用いて補正する処理を行う。

しし

[0214] まず、「ノイズ範囲を上回っている」場合は下記の数式 18のように補正する。

[数 18]

F' =AV F— N F /2

Le ― L ― L

[0215] また、「ノイズ範囲を下回っている」場合は下記の数式 19のように補正する。

[数 19]

F' =AV F +N F /2

Le ― L ― L

数式 18または数式 19のノイズ低減処理がなされた高周波数成分 F' は逆 DCT変

Le

換部 1103へ転送される。

[0216] 図 43はエッジ方向検出部 1104の構成の一例を示すものである。エッジ方向検出部 1104は、水平高周波積算部 1400,垂直高周波積算部 1401,方向決定部 1402 を備えている。ノイズ推定部 1101は、水平高周波積算部 1400および垂直高周波積算部 1401へ接続している。水平高周波積算部 1400および垂直高周波積算部 140 1は、方向決定部 1402へ接続している。方向決定部 1402は、バッファ 1105へ接続している。制御部 119は、水平高周波積算部 1400,垂直高周波積算部 1401,方向決定部 1402と双方向に接続して、る。

[0217] 水平高周波積算部 1400および垂直高周波積算部 1401は、制御部 119の制御に基づき、図 44に示すように周波数成分力も水平方向または垂直方向の 0次成分を除く高周波成分を読み込む。上記高周波成分は絶対値化された後に積算され、水平または垂直のエッジ成分として、方向決定部 1402へ転送される。

[0218] 方向決定部 1402は、制御部 119の制御に基づき注目画素 P を含む 4 X 4画素サ

22

ィズの注目領域単位 (ブロック領域単位)で、水平高周波積算部 1400からの水平ェッジ成分 E0 および垂直高周波積算部 1401からの垂直エッジ成分 E90 に基づき

22 22 数式 12に示されるようにエッジ方向 D を算出する。算出されたエッジ方向はバッファ

22

1105へ転送される。 [0219] 上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。ノイズ低減処理の過程で得られた周波数情報力エッジの方向を検出するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0220] また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエツジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。

[0221] さらに、ノイズ低減処理では注目領域を周波数空間へ変換し、 0次成分力ノイズ量を推定しノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

[0222] ここで、上記の第 3の実施形態の信号処理をソフトウェアで処理する場合のフローチャートを説明する。なお、本フローチャートは、図 26、図 27に示した第 1の実施形態のソフトウェア処理に関するフローチャートにおいて、ステップ S2からステップ S8までの流れにおける具体的処理内容が異なり、他はほぼ同様の処理であるために、異なる部分にっ、てのみ説明する。

[0223] 図 45〜図 47に、信号処理のソフトウェア処理に関するフローチャートを示す。

[0224] 処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込み (ステツプ S1)、その後、図 39に示されるような 4 X 4画素サイズの注目領域を順次抽出する（ステップ S51)。

[0225] 次に上記順次抽出した注目領域に DCT変換を行い、図 40に示されるような周波数成分へ変換し (ステップ S52)、 0次成分とそれ以外の次数の高周波成分に分離する（ステップ S 53)。

[0226] その後、別途説明するように、 0次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する (ステップ S54)。 [0227] また、上記ステップ S53で分離した次数ごとの高周波数成分の平均値を算出する（ステップ S 55)。

[0228] 続いて、注目領域に数式 16に示される許容範囲を設定する (ステップ S56)。

[0229] 次に、注目画素が許容範囲内に属する力否かを判断し、属する場合は次のステツプ S58へ、属さない場合はステップ S59へ分岐する（ステップ S57)。

[0230] ステップ S57において注目画素が許容範囲内に属すると判断されると、数式 17に示される処理を行う（ステップ S58)。

[0231] 一方、ステップ S57において注目画素が許容範囲内に属さないと判断されると、数式 18または数式 19に示される処理を行う（ステップ S59)。

[0232] 次に、 0次成分とノイズ低減処理後の 0次成分以外の高周波数成分に対して逆 DC

T変換を行い、実空間の画素へ変換する (ステップ S60)。

[0233] 上記ステップ S60の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップ S52へ、完了した場合はステップ S9へ分岐する（ステップ S 8)。

[0234] 上記ステップ S8で全注目領域の抽出が完了したと判断されると、次に図 10に示されるような注目画素および 5 X 5画素サイズの処理領域を抽出する (ステップ S9)。

[0235] 続いて、別途説明するように、図 44に示される水平，垂直方向の周波数成分からエッジ方向を検出する (ステップ S61)。

[0236] さらに、ステップ S61からのエッジ方向に基づきノイズ低減処理前の原信号からエツジ成分を抽出する (ステップ Sl l)。

[0237] 次にステップ S 10で検出したエッジ方向に基づき図 23または図 24に示される近傍画素のエッジ成分により数式 13または数式 14に示される補正処理によってエッジ成分を補正する (ステップ S 12)。

[0238] 更に、ノイズ低減処理後の注目画素の信号に数式 1に示されるエッジ強調処理を行う（ステップ S 13)。

[0239] そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップ

[0240] ステップ S14で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップ SI 5)。

[0241] その後、処理後の信号が出力され終了する (ステップ S16)。

[0242] 図 46は、上記ステップ S54におけるノイズ量の推定に関するフローチャートである。

[0243] まず、上記ステップ S53で分離した 4 X 4画素サイズの注目領域に対する周波数成分の 0次成分を抽出する (ステップ S71)。

[0244] 一方、ヘッダー情報に基づきゲイン，温度などの情報を設定する (ステップ S 72)。

このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

[0245] 次にルックアップテーブルを用いてノイズ量を求め（ステップ S73)、算出されたノィズ量を出力して終了する (ステップ S74)。

[0246] 図 47は、上述したステップ S61のエッジ方向検出処理に関するフローチャートである。

[0247] 図 44に示されるように 0次成分を除く水平方向の高周波成分を絶対値ィ匕した後に積算して水平エッジ成分を求める (ステップ S81)。また、図 44に示されるように 0次成分を除く垂直方向の高周波成分を絶対値ィヒした後に積算して垂直エッジ成分を求める（ステップ S82)。

[0248] 次に、 4 X 4画素サイズの注目領域単位で、上記ステップ S81で求めた水平エッジ成分および上記ステップ S82で求めた垂直エッジ成分に基づき、上記数式 12に示されるようにエッジ方向を検出し (ステップ S83)、検出された方向を出力して終了する（ステップ S84)。

[0249] なお、上記第 3の実施形態においては周波数成分への変換を DCT変換により行い、変換の処理サイズを 4 X 4画素とする構成になっていた力このような構成に限定される必要はない。例えば、周波数成分への変換としては FFT (Fast Fourier Transf orm)や Wavelet変換などを使用することもできる。また、処理サイズとしては 2 X 2画素など、より小さくすることで方向検出の精度を向上することもできるし、 8 X 8画素など、より大きくすることで全体の処理を高速ィ匕することも可能である。

[0250] また、上記第 3の実施形態では撮像部と一体ィ匕した構成になって、たが、このような構成に限定される必要はない。第 1の実施形態と同様に、撮像部と分離した構成も可能である。

[0251] 図 48から図 51は本発明の第 4の実施形態を示したものであり、図 48は第 4の実施形態の構成を示すブロック図、図 49、図 50はカラーフィルタに関する説明図であつて、図 49は Bayer型原色フィルタを示す図、図 50は色差線順次型補色フィルタを示す図、図 51は第 4の実施形態における信号処理のフローチャートである。

[0252] 図 48は、第 4の実施形態の構成を示すブロック図である。本実施形態は、図 1に示す第 1の実施形態における CCD102がカラー CCD1500に置換され、 PreWB部 15 01,補間部 1502, YZC分離部 1503,バッファ 1504, YZC合成部 1505が追加された構成になっている。基本構成は第 1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0253] カラー CCD1500は、増幅器 103へ接続されている。また、カラー CCD1500の近傍には温度センサー 121が配置されている。バッファ 105は、 PreWB部 1501,測光評価部 106,合焦点検出部 107,補間部 1502へ接続されている。補間部 1502は、 YZC分離部 1503,ノッファ 1504を介して抽出部 109およびエッジ抽出部 114へ接続されている。エッジ強調部 116は YZC合成部 1505へ、 YZC合成部 1505は信号処理部 117へ接続されている。制御部 119は、 PreWB部 1501,補間部 1502 , YZC分離部 1503, YZC合成部 1505と双方向に接続されている。

[0254] 本実施形態は、基本的に第 1の実施形態と同様であり、異なる部分のみ説明する。

[0255] 図 48において、信号の流れを説明する。外部 IZF部 120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。

[0256] レンズ系 100,絞り 101,カラー CCD1500を介して撮影された信号は、増幅器 10 3, AZD変翻104を介してバッファ 105へ転送される。なお、本実施形態においてカラー CCD1500は Bayer型原色フィルタを前面に配置した単板 CCDを想定する。図 49は、 Bayer型の色フィルタの構成を示す。 Bayer型は 2 X 2画素を基本単位とし、赤 (R) ,青（B)フィルタが 1画素ずつ、緑 (G)フィルタが 2画素配置される。

[0257] バッファ 105内の信号は、 PerWB部 1501へ転送される。

[0258] PreWB部 1501は所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。 PreWB部 1501は、上記係数を増幅器 103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

[0259] 次に、外部 I/F部 120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ 105へ転送される。なお、 PreWB部 1 501によって求められたホワイトバランス係数は制御部 119へ転送される。ノッファ 1 05内の信号は補間部 1502へ転送される。

[0260] 補間部 1502は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号は YZC分離部 1503へ転送され輝度信号 Yおよび色差信号 Cb, Crに分離される。

[数 20]

Y = 0. 29900R+0. 58700G + 0. 11400B

Cb=— 0. 16874R-0. 33126G + 0. 50000B

Cr= 0. 50000R-0. 41869G— 0. 08131B

輝度信号 Yおよび色差信号 Cb, Crはバッファ 1504へ転送され保存される。

[0261] 第 1の実施形態と同様に抽出部 109,ノイズ推定部 110,ノイズ低減部 111により輝度信号 Yはノイズ低減処理がなされて輝度信号 Y'となる。

[0262] なお、図 3に示すノイズ推定部 110中のゲイン算出部 201は、制御部 119から転送される ISO感度および露光条件に関する情報および PreWB部 1501によって求められたホワイトバランス係数に基づき増幅器 103におけるゲインを求める。輝度信号 Y' と色差信号 Cb, Crはバッファ 112へ転送され保存される。

[0263] 第 1の実施形態と同様にエッジ方向検出部 113は、制御部 119の制御に基づきバッファ 112からノイズ低減処理後の輝度信号 Y'を読み込み、注目画素 P' およびこれ

22 を包含する 5 X 5画素サイズの処理領域を順次抽出する。その後、注目画素 P' およ

22 びその周囲 8画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第 1の実施形態と同様に後段の処理が選択される。

[0264] エッジ抽出部 114は、制御部 119の制御に基づき上記エッジ方向検出部 113で用いた処理領域と同一位置のノイズ低減処理前の輝度信号 Yをバッファ 1504力ゝら順次抽出する。その後、エッジ方向検出部 113からのエッジ方向に基づき、注目画素 P ' およびその周囲 8画素のエッジ成分を抽出し、エッジ補正部 115へ転送する。

22

[0265] エッジ補正部 115は、制御部 119の制御に基づき、注目画素 P' のエッジ成分 E

22

の周囲 8画素のエッジ成分に基づきこれを補正したエッジ成分 E' を求め、エッジ強

22

調部 116へ転送する。

[0266] エッジ強調部 116は、制御部 119の制御に基づきバッファ 112からノイズ低減処理後の輝度信号 Y'を読み込み、注目画素 P' を順次抽出する。その後、エッジ強調部

22

116は、エッジ補正部 115からのエッジ成分 E' に基づき、エッジ強調処理後の画素

22

値 P" を求め、エッジ強調処理後の輝度信号 Y"として YZC合成部 1505へ転送す

22

る。また、エッジ強調部 116はバッファ 112から色差信号 Cb, Crを読み込み、これを YZC合成部 1505へ転送する。

[0267] YZC合成部 1505は、制御部 119の制御に基づきエッジ強調部 116からのエッジ強調処理後の輝度信号 Y"と色差信号 Cb, Crから、数式 21に示すように R, G, B信号を合成する。

[数 21]

R=Y" + 1. 40200Cr

G=Y"-0. 34414Cb-0. 71414Cr

B=Y"+ 1. 77200Cb

R, G, B信号は信号処理部 112へ転送される。

[0268] 信号処理部 117は、制御部 119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部 118へ転送する。出力部 118は、メモリーカードなどへ信号を記録保存する。

[0269] 上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号力エッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。

[0270] また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエツジ成分を生成することができる。 [0271] さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われる力ノイズ推定にお、ては広、領域力推定を行うことで推定精度を高めるようにし、ノイズ低減にお!ヽては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

[0272] ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

[0273] さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できな力つた場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。

[0274] また、カラー撮像素子力もの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高ぐ多くの撮像システムへの適用が可能となる。

[0275] なお、上記実施形態ではカラー CCD1500は Bayer型原色フィルタを前面に配置した単板 CCDを想定した力このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板 CCDにも適用可能である。図 50は、色差線順次型補色フィルタの構成を示す。色差線順次型は 2 X 2画素を基本単位とし、シアン (Cy) ,マゼンタ（Mg) ,イェロー (Ye) ,緑 (G)が 1画素ずつ配置される。ただし、 Mg と Gの位置はラインごとに反転している。この場合、 2 X 2画素領域を 1行または 1列ずつ重複させながら順次抽出し、下記の数式 22に示す輝度信号 Yおよび色差信号 Cb , Crを領域単位に算出する構成も可能である。

[数 22]

Y =Cy+Ye + Mg + G

Cb= (Cv+Mg) (Ye + G) Cr= (Ye + Mg) (Cy + G)

[0276] また、上記第 4の実施形態では輝度信号のみにノイズ低減処理を行っていた力このような構成に限定される必要はなヽ。色差信号に対してもノイズ低減処理を行う構成も可能である。

[0277] さらに、上記第 4の実施形態では撮像部と一体ィ匕した構成になっていた力このような構成に限定される必要はない。第 1の実施形態と同様に、撮像部と別体となる構成も可能である。

[0278] また、上記第 4の実施形態ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。例えば、カラー CCD1500からの信号を未処理のままの Rawデータとして、制御部 119からの撮影時の温度，ゲイン，ホワイトバランス係数などをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。

[0279] 図 51は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図 26 に示す第 1の実施形態における信号処理の流れと同一な処理ステップに関しては、同一なステップ符号を割り当てて、る。

[0280] まず、信号と温度，ゲイン，ホワイトバランス係数などのヘッダ情報を読み込む (ステップ Sl)。

[0281] 次に、単板状態の信号を線形補間などで三板状態にする (ステップ S90)。

[0282] 更に、数式 20に示されるように、信号を輝度信号 Yおよび色差信号 Cb, Crに分離する（ステップ S 91)。

[0283] その後、図 2に示されるように輝度信号から注目画素および 3 X 3画素サイズの注目領域を抽出する (ステップ S2)。

[0284] 次に、図 27に示されるフローチャートに基づき抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する (ステップ S3)。

[0285] そして、注目画素に対して数式 7に示される許容範囲を設定する (ステップ S4)。

[0286] その後、注目画素が許容範囲内に属する力否かを判断し、属する場合はステップ S

6へ、属さない場合はステップ S7へ分岐する (ステップ S5)。

[0287] ステップ S5において注目画素が許容範囲内に属すると判断されると、数式 8に示される処理を行う（ステップ S6)。

[0288] 一方、ステップ S5において注目画素が許容範囲内に属さないと判断されると、数式

9または数式 10に示される処理を行う（ステップ S 7)。

[0289] 次に、全注目領域の抽出が完了したかを判断し、完了していない場合はステップ S

2へ、完了した場合はステップ S 9へ分岐する (ステップ S8)。

[0290] 全注目領域の抽出が完了した場合は、図 10に示されるようにノイズ低減後の輝度信号から注目画素を中心とした 5 X 5画素サイズの処理領域を抽出する (ステップ S9

) o

[0291] ステップ S9で抽出した処理領域の画素のうち、図 11に示される 9画素に対して図 1 2〜図 19に示される方向別の抽出フィルタを用いてエッジ方向を検出する (ステップ S10)。

[0292] その後、ステップ S10で検出したエッジ方向に基づきノイズ低減処理前の輝度信号力エッジ成分を抽出する (ステップ S 11)。

[0293] 更に、ステップ S 10からのエッジ方向に基づき図 23または図 24に示される近傍画素のエッジ成分により数式 13または数式 14に示される補正処理によってエッジ成分を補正する (ステップ S 12)。

[0294] 次に、ノイズ低減処理後の注目画素の信号に数式 1に示されるエッジ強調処理を行う（ステップ S 13)。

[0295] その後、全処理領域の抽出が完了したかを判断し、完了していない場合はステップ S9へ、完了した場合はステップ S92へ分岐する（ステップ S14)。

[0296] ステップ S14で全処理領域の抽出が完了したと判断されると、数式 21に示されるように R, G, B信号を合成する（ステップ S 92)。

[0297] 次に合成された信号に対して、公知の圧縮処理や色強調処理などが行われる (ステツプ S 15)。

[0298] そして、処理後の信号が出力され終了する (ステップ S16)。

[0299] 図 52から図 72は本発明の第 5の実施形態を示したものであり、図 52は第 5の実施形態の構成を示すブロック図、図 53〜図 56は YZC分離に関する説明図であって、図 53は Bayer型原色フィルタを示す図、図 54は輝度信号を示す図、図 55は R (赤）の色差信号を示す図、図 56は B (青）の色差信号を示す図、図 57はエッジ方向抽出部の 0° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図、図 58はエッジ方向抽出部の 0° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 59はエッジ方向抽出部の 45° のエッジ抽出フィルタに関する説明図であって、注目画素力 ¾または Bのときを示す図、図 60はエッジ方向抽出部の 45° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 61はエッジ方向抽出部の 90° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図、図 62はエッジ方向抽出部の 90° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 63はエッジ方向抽出部の 135° のエッジ抽出フィルタに関する説明図であつて、注目画素が Rまたは Bのときを示す図、図 64はエッジ方向抽出部の 135° のエツジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 65はエツジ方向抽出部の 180° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図、図 66はエッジ方向抽出部の 180° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 67はエッジ方向抽出部の 225° のエッジ抽出フィルタに関する説明図であって、注目画素力 ¾または Bのときを示す図、図 68はエッジ方向抽出部の 225° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 69はエッジ方向抽出部の 270° のェッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図、図 70はエッジ方向抽出部の 270° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図、図 71はエッジ方向抽出部の 315° のエッジ抽出フィルタに関する説明図であって、注目画素が Rまたは Bのときを示す図、図 72はエッジ方向抽出部の 315° のエッジ抽出フィルタに関する説明図であって、注目画素が Gのときを示す図である。

図 52は、本発明の第 5の実施形態の構成を示すブロック図である。本実施形態は、図 1に示す第 1の実施形態における CCD102がカラー CCD1600に置換され、 Pr eWB部 1601, YZC分離部 1602, ノッファ 1603,補間部 1604, YZC合成部 16 05が追加された構成になっている。基本構成は第 1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0301] カラー CCD1600は、増幅器 103へ接続されている。また、カラー CCD1600の近傍には温度センサー 121が配置されている。バッファ 105は、 PreWB部 1601,測光評価部 106,合焦点検出部 107, YZC分離部 1602へ接続されている。 YZC分離部 1602は、ノッファ 1603を介して抽出部 109およびエッジ抽出部 114へ接続されている。ノッファ 112は、補間部 1604を介してエッジ方向検出部 113およびエッジ強調部 116へ接続されている。エッジ強調部 116は YZC合成部 1605へ、 YZC合成部 1605は信号処理部 117へ接続されている。制御部 119は、 PreWB部 1601, Y ZC分離部 1602,補間部 1604, YZC合成部 1605と双方向に接続されている。

[0302] 本実施形態は、基本的に第 1の実施形態と同様であり、異なる部分のみ説明する。

[0303] 図 52において、信号の流れを説明する。まず外部 IZF部 120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。

[0304] レンズ系 100,絞り 101,カラー CCD1600を介して撮影された信号は、増幅器 10 3, AZD変翻104を介してバッファ 105へ転送される。なお、本実施形態においてカラー CCD 1600は図 53に示す Bayer型原色フィルタを前面に配置した単板 CC Dを想定する。

[0305] PreWB部 1601では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器 103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

[0306] 次に、外部 I/F部 120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ 105へ転送される。

[0307] なお、 PreWB部 1601によって求められたホワイトバランス係数は制御部 119へ転送される。バッファ 105内の信号は YZC分離部 1602へ転送される。

[0308] YZC分離部 1602は、図 54、図 55、図 56に示すように、輝度信号 Yとして G信号を、色差信号 Cbとして B信号を、色差信号 Crとして R信号を想定する。

[数 23]

Y =G Cb = B

Cr=R

上記輝度信号および色差信号は補間処理前の単板状態にあり、バッファ 1603へ転送される。

[0309] その後、第 1の実施形態と同様に抽出部 109,ノイズ推定部 110,ノイズ低減部 11 1により輝度信号 Yはノイズ低減処理がなされて輝度信号 Y'となる。

[0310] なお、図 3に示すノイズ推定部 110中のゲイン算出部 201は、制御部 119から転送される ISO感度および露光条件に関する情報および PreWB部 1601によって求められたホワイトバランス係数に基づき増幅器 103におけるゲインを求める。また、 3 X 3 画素サイズの注目領域中に輝度信号 Y、すなわち G信号は 5画素または 4画素しか存在しな!、ために、平均値の算出は上記 5画素または 4画素を用 V、て行われる。

[0311] ノイズ低減後の輝度信号 Y'と色差信号 Cb, Crはバッファ 112へ転送され保存される。

[0312] 補間部 1604は、ノッファ 112から輝度信号 Y'と色差信号 Cb, Crを読み込み、公知の線形補間などの手法を用いて単板状態力三板状態の信号を生成する。

[0313] 三板状態の信号はエッジ方向検出部 113およびエッジ強調部 116へ転送される。

[0314] 第 1の実施形態と同様にエッジ方向検出部 113は、制御部 119の制御に基づき補間部 1604からノイズ低減処理後の輝度信号 Y'を読み込み、注目画素 P' およびこ

22 れを包含する 5 X 5画素サイズの処理領域を順次抽出する。その後、注目画素 P' お

22 よびその周囲 8画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がな、」の三通りで、第 1の実施形態と同様に後段の処理が選択される。

[0315] エッジ抽出部 114は、制御部 119の制御に基づき上記エッジ方向検出部 113で用 V、た処理領域と同一位置のノイズ低減処理前の単板状態の輝度信号 Yをバッファ 1 603から順次抽出する。その後、エッジ方向検出部 113からのエッジ方向に基づき、注目画素 P' およびその周囲 8画素のエッジ成分を抽出し、エッジ補正部 115へ転

22

送する。なお、エッジ抽出フィルタは図 57〜図 72に示されるように、単板状態の輝度信号 Yに適用できる形態を使用する。 [0316] エッジ補正部 115は、制御部 119の制御に基づき、注目画素 P' のエッジ成分 E

22

調部 116へ転送する。

[0317] エッジ強調部 116は、制御部 119の制御に基づき補間部 1604からノイズ低減処理後の輝度信号 Y'を読み込み、注目画素 P'

22を順次抽出する。その後、エッジ補正部

115からのエッジ成分 E' に基づき、エッジ強調処理後の画素値 P〃を求め、エッジ

22 22

強調処理後の輝度信号 Y〃として YZC合成部 1605へ転送する。また、エッジ強調部 116は補間部 1604から色差信号 Cb, Crを読み込み、これを YZC合成部 1605 へ転送する。

[0318] YZC合成部 1605は、制御部 119の制御に基づきエッジ強調部 116からのエッジ強調処理後の輝度信号 Y"と色差信号 Cb, Crから R, G, B信号を求める。

[数 24]

R=Cr

G=Y"

B=Cb

R, G, B信号は信号処理部 117へ転送される。

[0319] 信号処理部 117は、制御部 119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行!、、出力部 118へ転送する。

[0320] 出力部 118は、メモリーカードなどへ信号を記録保存する。

[0321] 上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号力エッジの概略的な方向を検出し、この方向に基づき原信号力エッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。この場合に、エッジ成分の抽出を補間前の信号力も行うために、より高精細なエッジ成分の抽出が可能となる。

[0322] また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエツジ成分を生成することができる。

[0323] さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われる力ノイズ推定にお、ては広、領域力推定を行うことで推定精度を高めるようにし、ノイズ低減にお!ヽては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。

[0324] ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

[0325] さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できな力つた場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。

[0326] また、カラー撮像素子力もの信号に対応することができ、現状の撮影部との親和性が高ぐ多くの撮像システムへの適用が可能となる。

[0327] なお、上記実施形態では撮像部と一体化した構成になって!/ヽたが、このような構成に限定される必要はない。第 1の実施形態と同様に、撮像部と分離した構成も可能である。

[0328] さらに、上記第 5の実施形態ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。第 1の実施形態と同様に、ソフトウェアによって処理する構成も可能である。

[0329] 図 73は本発明の第 6の実施形態を示したものであり、第 6の実施形態の構成を示したブロック図である。本実施形態は、図 28に示す第 2の実施形態における CCD102 がカラー CCD 1700に置換され、 Pre WB部 1701,補間部 1702, YZC分離部 170 3, ノッファ 1704, YZC合成部 1705が追加された構成になっている。基本構成は第 2の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0330] カラー CCD1700は、増幅器 103へ接続されている。また、カラー CCD1700の近傍には温度センサー 121が配置されている。バッファ 105は、 PreWB部 1701,測光評価部 106,合焦点検出部 107,補間部 1702へ接続されている。補間部 1702は、 YZC分離部 1703,ノッファ 1704を介して抽出部 700およびエッジ抽出部 114へ接続されている。エッジ強調部 116は YZC合成部 1705へ、 YZC合成部 1705は信号処理部 117へ接続されている。制御部 119は、 PreWB部 1701,補間部 1702 , YZC分離部 1703, YZC合成部 1705と双方向に接続されている。

[0331] 本実施形態は、基本的に第 2の実施形態と同様であり、異なる部分のみ説明する。

[0332] 図 73において、信号の流れを説明する。外部 IZF部 120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。

[0333] レンズ系 100,絞り 101,カラー CCD1700を介して撮影された信号は、増幅器 10 3, AZD変翻104を介してバッファ 105へ転送される。なお、本実施形態においてカラー CCD1700は Bayer型原色フィルタを前面に配置した単板 CCDを想定する

[0334] バッファ 105内の信号は、 PreWB部 1701へ転送される。

[0335] PreWB部 1701では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして上記係数を増幅器 103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

[0336] 次に、外部 I/F部 120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ 105へ転送される。

[0337] なお、 PreWB部 1701によって求められたホワイトバランス係数は制御部 119へ転送される。バッファ 105内の信号は補間部 1702へ転送される。

[0338] 補間部 1702は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号は YZC分離部 1703へ転送され、数式 20に示されるように輝度信号 Yおよび色差信号 Cb, Crに分離される。輝度信号 Yおよび色差信号 Cb, Crはバッファ 1704へ転送され保存される。

[0339] 第 2の実施形態と同様に抽出部 700,ノイズ推定部 701,ノイズ低減部 111により輝度信号 Yはノイズ低減処理がなされて輝度信号 Y'となる。輝度信号 Y'と色差信号 Cb , Crはバッファ 112へ転送され保存される。 [0340] エッジ方向検出部 702は、ノイズ推定部 701からの注目画素および類似画素の情報に基づき、注目画素 P' に対するエッジ方向 D を検出する。上記エッジ方向は、

22 22

ノッファ 703へ転送される。ノッファ 112にはノイズ低減処理後の全信号力バッファ 703にはエッジ方向が記録されることになる。

[0341] エッジ抽出部 114は、ノッファ 1704からノイズ低減処理前の輝度信号 Yを読み込み、注目画素 P およびその周囲 8画素を抽出する。その後、バッファ 703からのエツ

22

ジ方向に基づき、注目画素 P' およびその周囲 8画素のエッジ成分を抽出し、エッジ

22

補正部 115へ転送する。

[0342] エッジ補正部 115は、制御部 119の制御に基づき、注目画素 P' のエッジ成分 E

22 22 に関して、バッファ 703からのエッジ方向 D およびエッジ抽出部 114からの周囲 8画

22

素のエッジ成分に基づきこれを補正したエッジ成分 E' を求め、エッジ強調部 116へ

22

転送する。

[0343] エッジ強調部 116は、制御部 119の制御に基づきバッファ 112からノイズ低減処理後の輝度信号 Y'を読み込み、注目画素 P'

22を順次抽出する。その後、エッジ補正部

22 22

強調処理後の輝度信号 Y〃として YZC合成部 1705へ転送する。また、エッジ強調部 116はバッファ 112から色差信号 Cb, Crを読み込み、これを YZC合成部 1705 へ転送する。

[0344] YZC合成部 1705は、制御部 119の制御に基づきエッジ強調部 116からのエッジ強調処理後の輝度信号 Y"と色差信号 Cb, Cr力も数式 21に示されるように R, G, B 信号を合成する。 R, G, B信号は信号処理部 117へ転送される。

[0345] 信号処理部 117は、制御部 119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部 118へ転送する。出力部 118は、メモリーカードなどへ信号を記録保存する。

[0346] 上記構成により、カラー撮像素子力の信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた輝度信号力エッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。 [0347] ノイズ低減処理の過程で得られた情報力エッジの方向を検出するために、システムの規模を縮小することができ低コストィ匕を図ることが可能となる。また、検出されたェッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。

[0348] さらに、ノイズ低減処理では注目画素力概略的な第 1のノイズ量を推定し、第 1のノイズ量力類似画素を抽出し、注目画素および類似画素力より精度の高い第 2のノイズ量を推定し、第 2のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。

[0349] また、カラー撮像素子力もの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高ぐ多くの撮像システムへの適用が可能となる。

[0350] なお、上記実施形態では撮像部と一体化した構成になって!/ヽたが、このような構成に限定される必要はない。第 1の実施形態と同様に、撮像部と分離した構成も可能である。

[0351] さらに、上記第 6の実施形態ではハードウェアによる処理を前提としていた力このような構成に限定される必要はない。第 2の実施形態と同様に、ソフトウェアによって処理する構成も可能である。

[0352] なお、本発明は上述した実施形態そのままに限定されるものではなぐ実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体ィ匕することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さら〖こ、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

[0353] 本出願は、 2005年 12月 28曰に曰本国に出願された特願 2005— 380346号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 撮像素子力もの信号を処理する撮像システムにお、て、

上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた信号力エッジ方向を検出するエッジ方向検出手段と、

上記エッジ方向に基づき上記撮像素子力の信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする撮像システム。

[2] 撮像素子力もの信号を処理する撮像システムにお、て、

上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ処理手段力の情報に基づきエッジ方向を検出するエッジ方向検出手段と、

[3] カラー撮像素子力もの信号を処理する撮像システムにお、て、

上記カラー撮像素子力の信号に対して輝度信号および色信号を分離する YZC 分離手段と、

上記 YZC分離手段により分離された輝度信号に対してノイズ低減処理を行うノィズ処理手段と、

上記ノイズ低減処理がなされた輝度信号カゝらエッジ方向を検出するエッジ方向検出手段と、

上記エッジ方向に基づき上記 YZC分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする撮像システム。

[4] カラー撮像素子力もの信号を処理する撮像システムにお、て、

上記ノイズ処理手段力の情報に基づきエッジ方向を検出するエッジ方向検出手段と、

[5] 上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた信号に対してエツジ強調を行うエッジ強調手段を更に有することを特徴とする請求項 1または 2に記載の撮像システム。

[6] 上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた輝度信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項 3または請求項 4に記載の撮像システム。

[7] 上記エッジ強調手段は、

上記検出されたエッジ方向に基づき上記エッジ成分を補正する補正手段を有することを特徴とする請求項 5または請求項 6に記載の撮像システム。

[8] 上記ノイズ処理手段は、

上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、

上記注目領域からノイズ量を推定するノイズ推定手段と、

上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項 1または請求項 2に記載の撮像システム。

[9] 上記ノイズ処理手段は、

上記 YZC分離手段により分離された輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、

上記注目領域からノイズ量を推定するノイズ推定手段と、

上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項 3または請求項 4に記載の撮像システム。

[10] 上記ノイズ処理手段は、

上記撮像素子からの信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、

上記注目画素から第 1のノイズ量を推定する第 1のノイズ推定手段と、上記注目画素および上記第 1のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、

上記注目画素および上記類似画素から第 2のノイズ量を推定する第 2のノイズ推定手段と、

上記第 2のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項 1または請求項 2に記載の撮像システム。

[11] 上記ノイズ処理手段は、

上記 YZC分離手段により分離された輝度信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、

上記注目画素から第 1のノイズ量を推定する第 1のノイズ推定手段と、

上記注目画素および上記第 1のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、

上記第 2のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項 3または請求項 4に記載の撮像システム。

[12] 上記ノイズ処理手段は、

上記撮像素子力の信号力所定サイズのブロック領域を抽出するブロック抽出手段と、

上記ブロック領域を周波数空間に変換する変換手段と、

上記周波数空間における 0次成分に基づき 0次成分以外の周波数成分に関するノィズ量を推定するノイズ推定手段と、

上記ノイズ量に基づき上記 0次成分以外の周波数成分に平滑ィヒを行うノイズ低減手段と、

上記 0次成分および上記ノイズ低減手段で処理された 0次成分以外の周波数成分を実空間へ変換する逆変換手段とを有することを特徴とする請求項 1または請求項 2 に記載の撮像システム。

[13] 上記ノイズ処理手段は、上記 YZC分離手段により分離された輝度信号カゝら所定サイズのブロック領域を抽出するブロック抽出手段と、

上記ブロック領域を周波数空間に変換する変換手段と、

上記 0次成分および上記ノイズ低減手段で処理された 0次成分以外の周波数成分を実空間へ変換する逆変換手段とを有することを特徴とする請求項 3または請求項 4 に記載の撮像システム。

[14] 上記ノイズ推定手段は、

上記撮像素子の温度値および上記撮像素子からの信号に対するゲインに関する情報を収集する収集手段と、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目領域から平均値を算出する平均算出手段と、

上記収集手段または上記付与手段からの情報および上記平均値に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 8に記載の撮像システム。

[15] 上記ノイズ推定手段は、

上記カラー撮像素子の温度値および上記輝度信号に対するゲインに関する情報を収集する収集手段と、

上記収集手段または上記付与手段からの情報および上記平均値に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 9に記載の撮像システム。

[16] 上記第 1のノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報および上記注目画素に基づき第 1 のノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 10に記載の撮像システム。

[17] 上記第 2のノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目画素および上記類似画素から平均値を算出する平均算出手段と、上記収集手段または上記付与手段力の情報および上記平均値に基づき第 2のノィズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 10に記載の撮像システム。

[18] 上記第 1のノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報および上記注目画素に基づき第 1 のノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 11に記載の撮像システム。

[19] 上記第 2のノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目画素および上記類似画素から平均値を算出する平均算出手段と、上記収集手段または上記付与手段力の情報および上記平均値に基づき第 2のノィズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 11に記載の撮像システム。

[20] 上記ノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報および上記 0次成分に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 12に記載の撮像システム。

[21] 上記ノイズ推定手段は、

上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報および上記 0次成分に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項 13に記載の撮像システム。

[22] 上記エッジ方向検出手段は、

上記ノイズ低減処理された信号力複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、

上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項 1に記載の撮像システム。

[23] 上記エッジ方向検出手段は、

上記ノイズ低減処理された輝度信号力複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、

上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項 3に記載の撮像システム。

[24] 上記エッジ強度選択手段は、

上記ノイズ処理手段からのノイズ量に基づき上記閾値を設定する閾値設定手段を有することを特徴とする請求項 22または請求項 23に記載の撮像システム。

[25] 上記エッジ方向検出手段は、

上記エッジ強度から所定の微小変動を除去するための除去手段と、

上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項 1に記載の撮像システム。

[26] 上記エッジ方向検出手段は、

上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項 3に記載の撮像システム。

[27] 上記エッジ方向検出手段は、

上記ノイズ低減処理された信号力水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、

上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項 1に記載の撮像システム。

[28] 上記エッジ方向検出手段は、

上記ノイズ低減処理された輝度信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、

上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項 3に記載の撮像システム。

[29] 上記ノイズ処理手段は、

上記注目領域からノイズ量を推定するノイズ推定手段と、

上記ノイズ量に基づき上記注目画素に平滑ィ匕を行うノイズ低減手段とを有し、上記エッジ方向検出手段は、

上記ノイズ推定手段にお!、てノイズ量の推定時に用いた画素情報に基づき、エツジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項 2に記載の撮像システム。

[30] 上記ノイズ処理手段は、

上記注目領域からノイズ量を推定するノイズ推定手段と、

上記ノイズ推定手段にお!、てノイズ量の推定時に用いた画素情報に基づき、エツジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項 4に記載の撮像システム。

[31] 上記ノイズ処理手段は、

上記ブロック領域を周波数空間に変換する変換手段と、

上記 0次成分および上記ノイズ低減手段で処理された 0次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、

上記エッジ方向検出手段は、

上記ノイズ処理手段にお!、てノイズ量の推定時に用いた周波数情報に基づき、ェッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項 2に記載の撮像システム。

[32] 上記ノイズ処理手段は、上記 YZC分離手段により分離された輝度信号カゝら所定サイズのブロック領域を抽出するブロック抽出手段と、

上記ブロック領域を周波数空間に変換する変換手段と、

上記エッジ方向検出手段は、

上記ノイズ処理手段にお!、てノイズ量の推定時に用いた周波数情報に基づき、ェッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項 4に記載の撮像システム。

[33] 上記エッジ方向決定手段は、

特定のエッジ方向が決定できな力つた場合に、上記エッジ抽出手段の処理を停止させる停止信号を発生させる、停止信号発生手段を有することを特徴とする請求項 2 2、請求項 23、請求項 25、請求項 26、請求項 27、請求項 28、請求項 29、請求項 3 0、請求項 31、請求項 32の何れか一に記載の撮像システム。

[34] 上記エッジ方向決定手段は、

複数のエッジ方向が検出された場合に、上記エッジ抽出手段に等方的なエッジ抽出処理を行わせる制御信号を発生させる、等方処理信号発生手段を有することを特徴とする請求項請求項 22、請求項 23、請求項 25、請求項 26、請求項 27、請求項 2 8、請求項 29、請求項 30、請求項 31、請求項 32の何れか一に記載の撮像システム

[35] 上記カラー撮像素子は、

R (赤）， G (緑) , B (青) Bayer型原色フィルタを前面に配置した単板撮像素子、または Cy (シアン） , Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする請求項 3または請求項 4に記載の撮像システム。

[36] 上記 YZC分離手段は、

輝度信号および色信号を分離する前に上記カラー撮像素子の信号を補間処理する補間手段を更に有することを特徴とする請求項 3または請求項 4に記載の撮像システム。

[37] 上記 YZC分離手段は、

輝度信号および色信号を分離した後に上記輝度信号および色信号を補間処理する補間手段を更に有することを特徴とする請求項 3または請求項 4に記載の撮像システム。

[38] コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、

上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた信号力エッジ方向を検出するエッジ方向検出手順と、

上記エッジ方向に基づき上記撮像素子力の信号に対してエッジ成分を抽出する手順と、を実行させるための画像処理プログラム。

[39] コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、

上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順力の情報に基づきエッジ方向を検出するエッジ方向検出手順と、

上記検出されたエッジ方向に基づき上記撮像素子力の信号に対してエッジ成分を抽出する手順と、

を実行させるための画像処理プログラム。

[40] コンピュータに、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、

上記カラー撮像素子からの信号に対して輝度信号および色信号を分離する YZC 分離手順と、上記 YZC分離手順により分離された輝度信号に対してノイズ低減処理を行うノィズ処理手順と、

上記ノイズ低減処理がなされた輝度信号カゝらエッジ方向を検出するエッジ方向検出手順と、

上記検出されたエッジ方向に基づき上記 YZC分離手順により分離された輝度信号に対してエッジ成分を抽出する手順と、

を実行させるための画像処理プログラム。

[41] コンピュータに、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、

上記カラー撮像素子からの信号に対して輝度信号および色信号を分離する YZC 分離手順と、

上記 YZC分離手順により分離された輝度信号に対してノイズ低減処理を行うノィズ処理手順と、

上記ノイズ処理手順力の情報に基づきエッジ方向を検出するエッジ方向検出手順と、

を実行させるための画像処理プログラム。

[42] 上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた信号に対してエツジ強調を行う手順を更に有することを特徴とする請求項 38または請求項 39に記載の画像処理プログラム。

[43] 上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた輝度信号に対してエッジ強調を行う手順を更に有することを特徴とする請求項 40または請求項 41に記載の画像処理プログラム。

[44] 上記エッジ強調を行う手順は、

上記検出されたエッジ方向に基づき、上記エッジ成分を補正する手順を有し、該ェッジ成分を補正する手順によって補正されたエッジ成分を用いて上記エッジ強調を行うことを特徴とする請求項 42または請求項 43に記載の画像処理プログラム。

[45] 上記エッジ方向検出手順は、

上記ノイズ低減処理された信号力複数の所定方向に関するエッジ強度を算出するエッジ強度算出手順と、

上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手順と、上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、を有することを特徴とする請求項 38に記載の画像処理プログラム。

[46] 上記エッジ方向検出手順は、

上記ノイズ低減処理された輝度信号力複数の所定方向に関するエッジ強度を算出するエッジ強度算出手順と、

上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手順と、上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、を有することを特徴とする請求項 40に記載の画像処理プログラム。

[47] 上記エッジ強度選択手順は、

上記ノイズ処理手順力ゝらのノイズ量に基づき上記閾値を設定する閾値設定手順を有することを特徴とする請求項 45または請求項 46に記載の画像処理プログラム。

[48] 上記エッジ方向検出手順は、

上記エッジ強度から所定の微小変動を除去するための除去手順と、

上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、

を有することを特徴とする請求項 38に記載の画像処理プログラム。

[49] 上記エッジ方向検出手順は、

上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、を有することを特徴とする請求項 40に記載の画像処理プログラム。

[50] 上記エッジ方向検出手順は、

上記ノイズ低減処理された信号力水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手順と、

上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、を有することを特徴とする請求項 38に記載の画像処理プログラム。

[51] 上記エッジ方向検出手順は、

上記ノイズ低減処理された輝度信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手順と、

上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、を有することを特徴とする請求項 40に記載の画像処理プログラム。

[52] 上記ノイズ処理手順は、

上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手順と、

上記注目領域カゝらノイズ量を推定するノイズ推定手順と、

上記ノイズ量に基づき上記注目画素に平滑ィ匕を行うノイズ低減手順とを有し、上記エッジ方向検出手順は、

上記ノイズ推定手順にお!、てノイズ量の推定時に用いた画素情報に基づき、エツジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項 39に記載の画像処理プログラム。

[53] 上記ノイズ処理手順は、

上記 YZC分離手順により分離された輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手順と、

上記ノイズ推定手順にお!、てノイズ量の推定時に用いた画素情報に基づき、エツジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項 41に記載の画像処理プログラム。

[54] 上記ノイズ処理手順は、

上記撮像素子力の信号力所定サイズのブロック領域を抽出するブロック抽出手順と、

上記ブロック領域を周波数空間に変換する変換手順と、

上記周波数空間における 0次成分に基づき 0次成分以外の周波数成分に関するノィズ量を推定するノイズ推定手順と、

上記ノイズ量に基づき上記 0次成分以外の周波数成分に平滑ィヒを行うノイズ低減手順と、

上記 0次成分および上記ノイズ低減手順で処理された 0次成分以外の周波数成分を実空間へ変換する逆変換手順とを有し、

上記エッジ方向検出手順は、

上記ノイズ処理手順にぉ、てノイズ量の推定時に用いた周波数情報に基づき、ェッジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項 39に記載の画像処理プログラム。

[55] 上記ノイズ処理手順は、

上記 YZC分離手順により分離された輝度信号から所定サイズのブロック領域を抽出するブロック抽出手順と、

上記ブロック領域を周波数空間に変換する変換手順と、

上記エッジ方向検出手順は、

上記ノイズ処理手順にぉ、てノイズ量の推定時に用いた周波数情報に基づき、ェッジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項 41に記載の画像処理プログラム。

[56] 上記エッジ方向決定手順は、

特定のエッジ方向が決定できな力つた場合に上記エッジ成分を抽出する手順の処理を停止させる停止信号を発生させる停止信号発生手順を有することを特徴とする請求項 45、請求項 46、請求項 48、請求項 49、請求項 50、請求項 51、請求項 52、請求項 53、請求項 54、請求項 55の何れか一に記載の画像処理プログラム。

[57] 上記エッジ方向決定手順は、

複数のエッジ方向が検出された場合に上記エッジ成分を抽出する手順に等方的なエッジ抽出処理を行わせる制御信号を発生させる等方処理信号発生手順を有することを特徴とする請求項 45、請求項 46、請求項 48、請求項 49、請求項 50、請求項 5 1、請求項 52、請求項 53、請求項 54、請求項 55の何れか一に記載の画像処理プログラム。