JP2004126797A - 画像信号処理装置 - Google Patents

画像信号処理装置 Download PDF

Info

Publication number
JP2004126797A
JP2004126797A JP2002287653A JP2002287653A JP2004126797A JP 2004126797 A JP2004126797 A JP 2004126797A JP 2002287653 A JP2002287653 A JP 2002287653A JP 2002287653 A JP2002287653 A JP 2002287653A JP 2004126797 A JP2004126797 A JP 2004126797A
Authority
JP
Japan
Prior art keywords
pixel
color difference
filter
value
lpf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002287653A
Other languages
English (en)
Other versions
JP4133179B2 (ja
Inventor
Kenkichi Hayashi
林 健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002287653A priority Critical patent/JP4133179B2/ja
Publication of JP2004126797A publication Critical patent/JP2004126797A/ja
Application granted granted Critical
Publication of JP4133179B2 publication Critical patent/JP4133179B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】演算規模を増加させることなく簡単な回路構成で帯域制限処理を効果的に行うことができる画像信号処理装置を提供する。
【解決手段】輝度フィルタリング処理部54では、LPF62が画素数5×5の領域分の輝度データYを水平方向に配列された1×5の画素列毎に処理して、各画素列の中央に位置する画素の輝度値を出力する。LPF62で得られた輝度値はラインメモリ64に順次記憶され、LPF66に同時に出力される。各画素列内の注目画素は垂直方向に配列されているので、LPF66は垂直方向に配列された5×1の画素列の各画素の輝度値を処理して、該画素列の中央に位置する画素の輝度値を出力する。LPF62とLPF66とで順次処理することにより、2次元のLPFで処理するのと同様の効果を得ることができる。
【選択図】図3

Description

【0001】
【発明の属する技術分野】
本発明は、画像信号処理装置に係り、特に、画像信号の輝度成分及び色差成分の帯域制限処理を行う画像信号処理装置に関する。
【0002】
【従来の技術】
従来、デジタルカメラ等に使用されているCCD(Charge Coupled Device)の信号処理では、各画素間を補間する際に発生する偽信号及び偽色の発生を低減するために、得られた輝度信号や色差信号に対して、高周波成分を除去するローパスフィルタ(LPF;Low Pass Filter)を用いて帯域制限処理を行っている。この場合、視覚的に影響の無い範囲で高周波成分を除去するために、CCDの水平方向及び垂直方向に2次元状に配列された正方形の画素ブロック毎に帯域制限処理を施す周波数特性を備えた2次元デジタルフィルタを用いるのが一般的である。なお、水平方向及び垂直方向に処理を行う信号処理方法が提案されてはいるが(例えば、特許文献1及び特許文献2参照)、この場合、一方の補正処理は他方の補正処理とは無関係に行われている。
【0003】
【特許文献1】
特開平6−296285号公報
【特許文献2】
特開平7−298273号公報
【0004】
【発明が解決しようとする課題】
しかしながら、2次元のデジタルLPFは演算モジュールが多く、回路構成が複雑である。例えば、図7(A)に示すように、従来の画像信号処理装置では、5行5列に配列された25画素分の輝度信号が、ラインメモリ1Yに順次記憶され、ラインメモリ1Yから2次元LPF2Yに同時に入力される。この場合、1つの2次元LPF2Yには25個の演算モジュールが必要になる。このため、コストアップを招くと共に処理時間が長くなる、という問題があった。
【0005】
特に、色差信号についてLPFを用いて帯域制限処理を行う場合には、R色差及びB色差の2つの信号に対する処理が必要になるため、更に演算規模が増大する。即ち、図7(B)に示すように、5行5列に配列された25画素分のR色差信号が、ラインメモリ1Crに順次記憶され、ラインメモリ1Crから2次元LPF2Crに同時に入力される。同様に、25画素分のB色差信号が、ラインメモリ1Cbから2次元LPF2Cbに同時に入力される。この場合、2次元LPF2Cr、2Cbの各々について25個、合計50個の演算モジュールが必要になる。
【0006】
また、デジタルカメラのフォーマットでは、画像データ量の削減のため、得られたR色差及びB色差の色差信号の各々は、間引き処理部3Crbで輝度信号に対して半分のデータサイズに間引かれ、間引かれた信号が多重化(合成)される。
【0007】
一方、R色差及びB色差の色差信号の各々を最終的には輝度信号に対して半分のデータサイズにすることを利用して、R色差及びB色差の2つの信号に対する処理を、各々1つのラインメモリと1つの2次元LPFとで行うこともできる。この場合、図8に示すように、間引き処理部3Cで予め半分の画素数に間引いた2つの信号を合成する。合成信号は、ラインメモリ1Cに順次入力されて記憶され、25画素分の合成信号が、ラインメモリ1Cから2次元LPF2Cに同時に入力される。このように、R色差及びB色差についてラインメモリと2次元LPFとを共用化することで、演算規模を小さくすることができる。
【0008】
しかしながら、画素数を間引くことにより、画像信号にエリアジング成分が発生し、画質が低下する、という問題がある。一方、エリアジング成分を低減するためには、間引き処理を行う前の色差信号に対して予め帯域制限処理を行わなければならず、結果的に演算規模が増加する。
【0009】
本発明は上記問題を解決すべく成されたものであり、本発明の目的は、演算規模を増加させることなく簡単な回路構成で帯域制限処理を効果的に行うことができる画像信号処理装置を提供することにある。本発明の他の目的は、演算規模を増加させることなく、エリアジング成分を低減することができる画像信号処理装置を提供することにある。
【0010】
【課題を解決するための手段】
上記目的を達成するために本発明の画像信号処理装置は、水平方向及び垂直方向から選択される第1の方向に複数画素配列された画素列が第1の方向と直交する第2の方向に複数行配列されたブロック毎に入力される画素値を、前記画素列毎に処理して該画素列内の注目画素の画素値として出力する第1のフィルタと、前記第1のフィルタで処理された画素列内の注目画素の画素値を処理して目的とする注目画素の画素値として出力する第2のフィルタと、を備えたことを特徴とする。
【0011】
本発明の画像信号処理装置では、第1のフィルタで第1の方向(例えば、水平方向)に複数画素配列された画素列が第2の方向(例えば、垂直方向)に複数行配列されたブロック毎に入力される画素値を前記画素列毎に処理して該画素列内の注目画素の画素値として出力した後、第1のフィルタで処理された画素列内の注目画素の画素値を、第2のフィルタで処理して目的とする注目画素の画素値として出力する。このように、画像信号の帯域制限処理機能を2つのフィルタに分割し、各画素列の注目画素の画素値を求めた後、これらの注目画素の画素値から目的とする注目画素の画素値を求めることで、第1のフィルタ及び第2のフィルタの回路構成を簡単にすることができ、同等の帯域制限処理をより小さい演算規模で実現することができる。即ち、簡単な回路構成で帯域制限処理を効果的に行うことができる。
【0012】
上記の画像信号処理装置において、第1のフィルタ及び第2のフィルタのうち垂直方向に配列された画素列を処理するフィルタの前に、入力された画素値を順次記憶して同時に出力するラインメモリを設けることができる。例えば、第1のフィルタで水平方向に複数画素配列された画素列が垂直方向に複数行配列されたブロック毎に入力される画素値を前記画素列毎に処理する場合、第1のフィルタと第2のフィルタとの間に、第1のフィルタから入力された画素値を順次記憶して第2のフィルタに同時に出力するラインメモリを設けることができる。
【0013】
また、ラインメモリの前に、第1のフィルタ又は第2のフィルタで処理された画素値から一部の画素値のみを取り出してラインメモリに入力する間引き手段を設けることが好ましい。例えば、第1のフィルタで水平方向に複数画素配列された画素列が垂直方向に複数行配列されたブロック毎に入力される画素値を前記画素列毎に処理する場合、第1のフィルタとラインメモリとの間に、第1のフィルタで処理された画素列内の注目画素の画素値から一部の画素値のみを取り出して前記ラインメモリに入力する間引き手段を設けることが好ましい。このように、画素数を間引く際に予めフィルタで処理した画像信号を間引くので、発生するエリアジング成分を低減することができる。
【0014】
カラーの画像信号の場合には、輝度値と2つの色差値とに分けて帯域制限処理を行う。この場合、画像信号処理装置は、水平方向及び垂直方向から選択される第1の方向に複数画素配列された画素列が第1の方向と直交する第2の方向に複数行配列されたブロック毎に入力される各画素の輝度値を、前記画素列毎に処理して該画素列内の注目画素の輝度値として出力する第1のローパスフィルタと、
前記第1のローパスフィルタで処理された画素列内の注目画素の輝度値を処理して目的とする注目画素の輝度値として出力する第2のローパスフィルタと、前記ブロック毎に入力される各画素の第1の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第1の色差値として出力する第3のローパスフィルタと、前記ブロック毎に入力される各画素の第2の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第2の色差値として出力する第4のローパスフィルタと、前記第3のローパスフィルタの出力値から一部の色差値を取り出すと共に前記第4のローパスフィルタの出力値から一部の色差値を取り出して、取り出した第1の色差値と第2の色差値とを多重化する多重化手段と、多重化された色差値を処理して目的とする注目画素の色差値として出力する第5のローパスフィルタと、で構成される。
【0015】
上記の画像信号処理装置では、第1のローパスフィルタで第1の方向に複数画素配列された画素列が第2の方向に複数行配列されたブロック毎に入力される各画素の輝度値を前記画素列毎に処理して該画素列内の注目画素の輝度値として出力した後、第1のローパスフィルタで処理された画素列内の注目画素の輝度値を、第2のローパスフィルタで処理して目的とする注目画素の輝度値として出力する。
【0016】
このように、輝度値の帯域制限処理機能を2つのフィルタに分割し、各画素列の注目画素の輝度値を求めた後、これらの注目画素の輝度値から目的とする注目画素の輝度値を求めることで、第1のローパスフィルタ及び第2のローパスフィルタの回路構成を簡単にすることができ、同等の帯域制限処理をより小さい演算規模で実現することができる。即ち、簡単な回路構成で帯域制限処理を効果的に行うことができる。
【0017】
また、上記の画像信号処理装置では、第3のローパスフィルタでブロック毎に入力される各画素の第1の色差値を水平方向配列された複数画素毎に処理して該複数画素内の注目画素の第1の色差値として出力し、第4のローパスフィルタで前記ブロック毎に入力される各画素の第2の色差値を水平方向に配列された画素列毎に処理して該画素列内の注目画素の第2の色差値として出力する。この後、多重化手段により第3のローパスフィルタの出力値から一部の色差値を取り出すと共に第4のローパスフィルタの出力値から一部の色差値を取り出して、取り出した第1の色差値と第2の色差値とを多重化する。そして、第5のローパスフィルタで多重化された色差値を処理して目的とする注目画素の色差値として出力する。
【0018】
この場合も同様に、2種類の色差値の帯域制限処理機能を2つのフィルタに分割し、水平方向に配列された画素列毎に処理して該画素列内の注目画素の色差値を求めた後、これらの注目画素の色差値から目的とする注目画素の色差値を求めることで、第3乃至第5のローパスフィルタの回路構成を簡単にすることができ、同等の帯域制限処理をより小さい演算規模で実現することができる。即ち、簡単な回路構成で帯域制限処理を効果的に行うことができる。
【0019】
また、人間の視覚は輝度には敏感であるが、色差にはそれほど敏感ではない。このため、視覚的に重要でない色差値を例えば半分に間引くことで、画質を低下させること無く画像データを圧縮することができる。
【0020】
更に、画素数が減少した第1の色差値と第2の色差値とを多重化して単一の信号として処理することにより、2種類の色差値について第5のフィルタを共用化することができ、回路構成が非常に簡単になる。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の画像信号処理装置をデジタルスチルカメラの信号処理部に適用した実施の形態を詳細に説明する。
【0022】
図1に示すように、本発明の実施の形態に係るデジタルスチルカメラ10は、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、絞り調節機構26、光学ローパスフィルタ28、色分解部(色フィルタ)CF、撮像部30、前処理部32、A/D変換部34、信号処理部(Digital Signal Processor:DSP)36、圧縮/伸張部38、記録再生部40、及びモニタ42が備えられている。これら各部を順次説明する。
【0023】
光学レンズ系12は、例えば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないこれら光学レンズを配置する位置を調節して画面の画角を操作部14からの操作信号14Aに応じて調節するズーム機構や被写体とデジタルスチルカメラ10との距離に応じてピント調節するAF(Automatic Focus:自動焦点)調節機構が含まれている。操作部14より出力される操作信号14Aは、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号発生部22、ドライバ部24を介してこれらの機構を動作させる駆動信号24Aが供給される。
【0024】
操作部14には、図示しないシャッタスイッチや例えばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでデジタルスチルカメラ10の操作を行なうようにシステムバス16を介して第1のモードと第2のモードの何れが選択されたかを操作信号14Aによりシステム制御部18に出力して報知する。
【0025】
システム制御部18は、例えばCPU(Central Processing Unit:中央演算処理装置)を備えている。システム制御部18には、デジタルスチルカメラ10の動作手順が書き込まれたROM(Read Only Memory:読み出し専用メモリ)が含まれる。システム制御部18は、例えば、ユーザの操作に伴って操作部14から供給される操作信号14AとこのROMに記憶された情報を用いて各部の動作を制御する制御信号18Aを生成する。システム制御部18は、生成した制御信号18Aを信号発生部20、前処理部32、A/D変換部34の他に、システムバス16を介してDSP36、圧縮/伸張部38、記録再生部40、及びモニタ42にも供給する。
【0026】
信号発生部20はシステム制御部18からの制御に応じてシステムクロック20Aを図示しない発振器により発生する。信号発生部20は、このシステムクロック20Aをタイミング信号発生部22及びDSP36に供給する。また、システムクロック20Aは、例えば、システムバス16を介してシステム制御部18の動作タイミングとしても供給される。
【0027】
タイミング信号発生部22は、供給されるシステムクロック20Aを制御信号18Aに基づいて各部を動作させるタイミング信号22Aを生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号22Aを図1に示すように各部に出力すると共に、ドライバ部24にも供給する。ドライバ部24は、上述した光学レンズ系12のズーム調節機構及びAF調節機構の他、絞り調節機構26及び撮像部30にも駆動信号24Aをそれぞれ供給する。
【0028】
絞り調節機構26は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積(すなわち、絞り開口面積)を調節する機構である。絞り調節機構26にもドライバ部24から駆動信号24Aが供給される。この駆動信号24Aは、上述したシステム制御部18からの制御に応じて行なう動作のための信号である。この場合、システム制御部18は、撮像部30で光電変換した信号電荷を基にAE(Automatic Exposure:自動露出)処理として絞り・露光時間を算出している。この算出した値に対応する制御信号24Aがタイミング信号発生部22に供給された後、絞り調節機構26には、このタイミング信号発生部22からのタイミング信号22Aに応じた駆動信号24Aがドライバ部24から供給される。
【0029】
撮像部30では光電変換する撮像素子(受光素子)を光学レンズ系12の光軸と直交する平面(撮像面)が形成されるように配置されている。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ28と一体的に色分解する色フィルタCFが一体的に配設されている。本実施の形態では、単板方式の色フィルタを用いて撮像する。色フィルタCFの配列等については後述する。
【0030】
撮像素子には、CCD(Charge Coupled Device:電荷結合素子)やMOS(Metal Oxide Semiconductor:金属酸化型半導体)タイプの固体撮像デバイスが適用される。撮像部30では、供給される駆動信号24Aに応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読み出し期間における電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流/電圧変換によってアナログ電圧信号30Aにされ、前処理部32に出力される。
【0031】
前処理部32には、図示しないCDS(Correlated Double Sampling:相関二重サンプリング:以下CDSという)部を含んで構成されている。CDS部は、例えば、CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22からのタイミング信号22Aによりクランプするクランプ回路と、タイミング信号22Aによりアナログ電圧信号30Aをホールドするサンプルホールド回路を有する。CDS部は、ノイズ成分を除去してアナログ出力信号32AをA/D変換部34に送る。A/D変換部34は、供給されるアナログ出力信号32Aの信号レベルを所定の量子化レベルにより量子化してデジタル信号34Aに変換するA/D変換器を有する。A/D変換部34は、タイミング信号発生部22から供給される変換クロック等のタイミング信号22Aにより変換したデジタル信号34AをDSP36に出力する。
【0032】
DSP36は、撮像部30の読み出しモードに応じて信号処理を行なうように構成されている。DSP36の構成については後述する。
【0033】
圧縮/伸張部38は、例えば、直交変換を用いたJPEG(Joint Photographic Experts Group)規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮/伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮/伸張部38は、後述する色差マトリクスで得られるデータをシステム制御部18の制御によりスルーさせ、システムバス16を介してモニタ42に供給することもできる。圧縮/伸張部38が伸張処理を行なう場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮/伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【0034】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む。記録媒体には、例えば、所謂スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部と共に、この画像データを書き込むヘッドがある。
【0035】
モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データ及び色差データ、又は3原色RGBのデータを、画面の大きさを考慮すると共に、タイミング調整して表示する機能を有する。
【0036】
DSP36は、図2に示すように、データ補正部44、Yh補間部46、及び加算器48を含んで構成されている。データ補正部44は、入力されるデジタルデータのゲインバランスを調整するゲイン補正、補色を原色に変換するマトリクス(3×3行の行列等を使用)、自動的にホワイトバランスの調整を行なうAWB(Automatic White Balance)や色の補正を行なうガンマ補正等を行なう。特にガンマ補正は、ROM(Read Only Memory)に供給されるデジタル信号とこのデジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部22からのタイミング信号22Aに応じて各補正を行なう。データ補正部44は、この処理した補正信号(補正データ)を補色から原色に色変換した色(R、G、B)毎に加算器48に出力する。
【0037】
また、Yh補間部46は、A/D変換部34より得られるデジタル信号を基にこの仮想画素での輝度データ(Yh信号)を生成すると共に仮想画素の補間を行なう機能を有する。Yh補間部46は、ハイパスフィルタ(HPF;High Pass Filter)50を介して生成したYh信号を加算器48に出力する。なお、HPF50は、供給されるプレーンなYh信号の高域成分だけを通過させるデジタルフィルタである。
【0038】
加算器48は、データ補正部44によって各補正が行なわれることによって得られるRGB画素データ(r、g、b)及びYh補間部46によって生成されたYh信号50Aを加算することにより、高域成分を有するプレーンな画素データを生成する。加算器48はプレーンな画素データを色差マトリクス52に出力する。
【0039】
色差マトリクス52は、供給されるプレーンな画素データ(R、G、B各色毎のデータ)に基づいて帯域の延びた輝度データY、色差データ(R−Y)、(B−Y)を生成する。これら3つの画素データは、各色に定めた混合割合で乗算演算することによって得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス52は、得られた輝度データYを輝度フィルタリング処理部54に出力し、色差データ(R−Y)、(B−Y)を色差フィルタリング処理部58に出力する。また、輝度フィルタリング処理部54で処理して得られた輝度データYは、輝度データ補正部56へ出力され、色差フィルタリング処理部58で処理して得られた色差データCは、色差ゲイン調整部60に出力される。
【0040】
輝度データ補正部56は、供給される輝度データYに対して高域でのレスポンスの低下を補うように、例えばトランスバーサルフィルタ等によって構成されている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、色差ゲイン調整部60は、色差データCのゲインを調整する。このように、輝度データ補正部56、色差ゲイン調整部60によってデータが処理されて色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度及び彩度の高いものにすることができる。輝度データ補正部56、色差ゲイン調整部60はそれぞれ、輝度データY、色差データCを図1に示す圧縮/伸張部38に出力する。
【0041】
輝度フィルタリング処理部54は、図3(A)に示すように、1ブロック分の輝度データYを画素列毎に処理して、該画素列中央に位置する画素を注目画素としてこの画素の輝度値を出力する1次元のローパスフィルタ(LPF)62と、LPF62から入力された画素列内での注目画素の輝度値を順次記憶して同時に出力するラインメモリ64と、ラインメモリ64から入力された複数の輝度値を処理して目的とする注目画素の輝度値を出力する1次元のLPF66と、を備えている。
【0042】
また、色差フィルタリング処理部58は、図3(B)に示すように、1ブロック分の色差データ(R−Y)を画素列毎に処理して、該画素列中央に位置する画素を注目画素としてこの画素のR色差値を出力する1次元のLPF68と、1ブロック分の色差データ(B−Y)を画素列毎に処理して、該画素列中央に位置する画素を注目画素としてこの画素のB色差値を出力する1次元のLPF70と、画素列内での注目画素のR色差値及びB色差値の各々から一部の色差値を取り出し多重化し、多重化した色差データCを出力する間引き処理部72と、間引き処理部72から入力された色差データCを順次記憶して同時に出力するラインメモリ74と、ラインメモリ74から入力された複数の色差値を処理して目的とする注目画素の色差値を出力する1次元のLPF76と、を備えている。
【0043】
1次元のLPF62、66、68、70、76は、図4に示すように、FIR(Finite Impulse Response)フィルタ等の1次元のディジタルフィルタで構成されている。このFIRフィルタは、遅延回路80〜80、乗算器82〜82、及び加算器84で構成されており、入力信号を遅延回路80〜80で遅延させて得られた(M+1)個の信号の各々に、乗算器82〜82で係数a(k=0〜Mの整数)を乗じ、加算器84で各乗算値の総和を演算するものである。ここで、{x(nT)}は入力信号系列、{y(nT)}は出力信号系列、Tは遅延時間、nは整数である。また、本実施の形態では、M=4である。
【0044】
LPF62、68、70のように、水平方向に配列された画素数1×5の画素列について処理を行うLPFは、図5(A)に示すように、各画素の画素値にローパスフィルタリング処理するための係数a〜aを乗算して総和を演算し、この総和を画素列の中央に位置する画素(斜線部分)の画素値として出力する。また、LPF66、76のように、垂直方向に配列された画素数5×1の画素列について処理を行うLPFは、図5(B)に示すように、各画素の画素値にローパスフィルタリング処理するための係数b〜bを乗算して総和を演算し、この総和を画素列の中央に位置する画素(斜線部分)の画素値として出力する。
【0045】
次に、上記のデジタルスチルカメラ10の動作について説明する。デジタルスチルカメラ10に電源を投入すると、システム制御部18によって各種の初期設定が行なわれ、操作可能状態になる。一般的に、モニタ42に撮像画像を表示させるモードにしてモニタ表示させたり、レリーズボタンが押される等のユーザによる各種操作が行なわれる。
【0046】
ドライバ部24から供給される駆動信号に応じて撮像部30からの撮像信号の読出しが行なわれ、読み出された信号に対して、前処理部32でCDS処理等の前処理が行なわれる。CDS処理により撮像部30からの信号に含まれるノイズ成分が除去される。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積2ライン混合読出しである。次に、前処理部32からのアナログ出力信号32AをA/D変換部34でデジタル信号34Aに変換する。この変換により各受光素子PDからの信号電荷が画素データに変換され、以後の信号処理をデジタル処理で行なうことができる。
【0047】
次に、DSP36で画素データ変換処理が行なわれる。A/D変換部34からデジタルデータが入力されると、データ補正部44で入力されたデータについてゲイン補正、ガンマ補正等の処理を行い、処理した補正信号(補正データ)を補色から原色に色変換した色(R、G、B)毎に加算器48に出力する。加算器48は、RGB画素データ(r、g、b)及びYh補間部46によって生成されたYh信号50Aを加算することにより、高域成分を有するプレーンな画素データを生成し、色差マトリクス52に出力する。
【0048】
色差マトリクス52は、供給される画素データに基づいて輝度データY、色差データ(R−Y)、(B−Y)を生成し、得られた輝度データYを輝度フィルタリング処理部54に出力し、色差データ(R−Y)、(B−Y)を色差フィルタリング処理部58に出力する。輝度データY、色差データ(R−Y)、(B−Y)の各々は、水平方向に複数画素配列された画素列が垂直方向に複数行配列された正方形の画素ブロック(ウインドウ)毎に処理される。
【0049】
輝度フィルタリング処理部54では、LPF62が、画素数5×5の領域分の輝度データYを水平方向に配列された1×5の画素列毎に処理して、各画素列の中央に位置する画素の輝度値を出力する。LPF62で得られた各画素列内の中央に位置する画素の輝度値は、ラインメモリ64に順次記憶され、LPF66に同時に出力される。各画素列内の注目画素は垂直方向に配列されているので、LPF66は、垂直方向に配列された5×1の画素列の各画素の輝度値を処理して、該画素列の中央に位置する画素の輝度値を出力する。
【0050】
上述した通り、LPF62は、図5(A)に示すように、要素がa〜aの1行行列で表されるフィルタ特性を備え、LPF66は、図5(B)に示すように、要素がb〜bの1列行列で表されるフィルタ特性を備えている。従って、LPF62とLPF66とで順次処理することにより、図5(C)に示すように、上記1行行列と上記1列行列を乗算して得られる5行5列のマトリックスで表されるフィルタ特性を備えた2次元のLPFで処理するのと同様の効果を得ることができる。即ち、画素数5×5の領域の各画素の画素値に係数a〜aを乗算して総和を演算し、この総和を領域中央に位置する画素(斜線部分)の画素値として出力するフィルタ特性を備えた2次元のLPFで処理する場合と同様の画素値が、LPF66から出力される。これが目的とする注目画素の画素値である。
【0051】
この通り、1次元のデジタルフィルタであるLPF62とLPF66とで順次処理することにより、簡単な回路構成で2次元のデジタルフィルタで処理したのと同じレベルのフィルタリング処理を行うことができ、輝度信号から高周波成分を除去して偽信号及び偽色の発生を低減することができる。このようにして高周波成分が除去された輝度データYが輝度データ補正部56へ出力される。
【0052】
また、色差フィルタリング処理部58では、LPF68が画素数5×5の領域分の色差データ(R−Y)を水平方向に配列された1×5の画素列毎に処理して、各画素列の中央に位置する画素のR色差値を出力し、LPF70が同じ領域分の色差データ(B−Y)を水平方向に配列された1×5の画素列毎に処理して、各画素列の中央に位置する画素のB色差値を出力する。
【0053】
LPF68、LPF70で得られた各画素列内の中央に位置する画素のR色差値、B色差値は、間引き処理部72に順次入力される。LPF68、LPF70で予め処理された画素値について間引き処理を行うので、間引き処理によるエリアジング成分の発生が低減される。
【0054】
間引き処理部72では、例えば、図6(A)に示すように、入力順に配列されたR色差値(Cr1〜Cr4)、B色差値(Cb1〜Cb4)の各々から、図6(B)に示すように、奇数番目の色差値だけを選択的に取り出して、図6(C)に示すように、選択されたR色差値及びB色差値を交互に再配列して出力する。この結果、R色差データ及びB色データの各々は元の画素数に対して半分の画素数に間引かれ、間引かれたデータが多重化されて、輝度データと同じ大きさの色差データCが出力される。
【0055】
多重化された色差値は、ラインメモリ74に順次記憶され、LPF76に同時に出力される。各画素列内の中央に位置する画素は垂直方向に配列されているので、LPF76は、垂直方向に配列された5×1の画素列の各画素の色差値を処理して、該画素列の中央に位置する画素の色差値を出力する。R色差とB色差のデータを多重化することで、色差データを単一のラインメモリ74と単一のLPF76で処理することができる。
【0056】
輝度値の場合と同様に、1次元のデジタルフィルタであるLPF68,70及びLPF76で順次処理することにより、簡単な回路構成で2次元のデジタルフィルタで処理したのと同じレベルのフィルタリング処理を行うことができ、色差信号から高周波成分を除去して偽信号及び偽色の発生を低減することができる。このようにして高周波成分が除去された色差データCが色差ゲイン調整部60へ出力される。
【0057】
輝度データYは、輝度データ補正部56で処理された後、システムバス16を介してモニタ42に供給され、色差データCは、色差ゲイン調整部60で処理された後、システムバス16を介してモニタ42に供給される。モニタ42にデータ(輝度データ、色差データ)が供給されると、画像がモニタ42に表示される。
【0058】
また、システム制御部18において、自動的に適正な露出制御を行なわせるための自動制御演算処理が行なわれる。自動制御演算処理は、画素変換処理の途中過程で得られる3原色の画素データRGBを用いて行なわれる。さらに、ここで得られた値に応じて制御信号18Aが上述した各部に供給され絞り調節機構26やAF(Automatic Focus:自動焦点)調整機構が調節される。
【0059】
一方、ユーザによりレリーズボタンが全押しされた場合、撮像部30にはこのモードに応じた駆動信号24Aが供給される。この場合、撮像部30では、全画素読出しが行なわれ、読み出された信号に対して順次前処理、A/D変換処理が行なわれる。全画素読出しされた信号(補色の画素データ)は、DSP36に供給される。
【0060】
DSP36のデータ補正部44では、上述と同様に、供給された画素データに対して各種の補正が施され、Yh補間部46では、供給された補色の画素データを基にこの仮想画素での輝度データ(Yh信号)が生成され、加算器48では、データ補正部44によって各種補正がなされることによって得られた3原色RGBの画素データr、g、bと、Yh補間部46で生成されたYh信号50Aと、が加算されて高解像度広帯域信号の3原色画素データが生成される。周波数領域で見た場合、この信号処理を施すことによって、より画素データの帯域を広域化している。この広域化した画素データの各データから輝度データY、色差データ(R−Y)、(B−Y)へと信号出力形式の変換がなされると共に、画像として表示した際の品質をより高くする信号処理がなされる。
【0061】
次に、これらの信号処理によって得られた輝度データY、色差データCが、圧縮/伸張部38、システムバス16を介して記録再生部40やモニタ42にそれぞれ供給される。
【0062】
以上説明した通り、本実施の形態では、輝度フィルタリング処理部54において、1次元のデジタルフィルタであるLPF62で1ブロック分の輝度データYを画素列毎に処理して画素列内で中央に位置する画素の輝度値を求め、同じく1次元のデジタルフィルタであるLPF66で、LPF62で得られた輝度値を処理して目的とする注目画素の輝度値を求めることにより、より小さい演算規模で2次元のデジタルフィルタと同等のフィルタリング処理を実施することができる。
【0063】
また、色差フィルタリング処理部58においても同様に、1次元のデジタルフィルタであるLPF68、70で1ブロック分の色差データR−Y、B−Yを画素列毎に処理して画素列内で中央に位置する画素の色差値を求め、同じく1次元のデジタルフィルタであるLPF76でLPF68、70で得られた色差値を処理して目的とする注目画素の色差値を求めることにより、より小さい演算規模で2次元のデジタルフィルタと同等のフィルタリング処理を実施することができる。
【0064】
また、色差フィルタリング処理部58では、間引き処理部72で、LPF68、70で処理して得られたR色差値及びB色差値の各々から一部の色差値を取り出し多重化することで、多重化された色差データCを、単一のラインメモリ74と単一のLPF76で処理することができるので、R色差とB色差の各々について処理を行う場合と比較して、色差フィルタリング処理部58の回路構成が一層簡素化される。
【0065】
更に、予めLPF68、70で処理した後に間引き処理を行うので、間引き処理により発生するエリアジング成分を低減することができる。
【0066】
なお、本実施の形態では、画素数5×5の領域毎に処理する場合について説明したが、画素数は5×5には限定されない。また、本実施の形態では、1ブロック分の輝度データYを第1のLPFで水平方向に配列された画素列毎に処理した後、画素列内での注目画素の輝度値として得られた複数の輝度値を第2のLPFで処理しているが、順序を入れ替えて、第1のLPFで垂直方向に配列された画素列毎に処理した後、得られた複数の輝度値を第2のLPFで処理するようにしてもよい。
【0067】
【発明の効果】
本発明の画像信号処理装置によれば、演算規模を増加させることなく簡単な回路構成で帯域制限処理を効果的に行うことができる、という効果を得ることができる。
【0068】
また、予め第1のフィルタで処理した画素値について間引き処理を行う場合には、演算規模を増加させることなく、エリアジング成分を低減することができる、という効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るデジタルスチルカメラの概略的な構成を示すブロック図である。
【図2】本発明の実施の形態に係るデジタルスチルカメラにおけるDSPの概略的な構成を示すブロック図である。
【図3】(A)は図2に示すDSPの輝度フィルタリング処理部の概略的な構成を示すブロック図であり、(B)は図2に示すDSPの色差フィルタリング処理部の概略的な構成を示すブロック図である。
【図4】(A)〜(C)は、本実施の形態で使用するローパスフィルタ(LPF)のフィルタ特性を説明するための説明図である。
【図5】FIRフィルタの回路図である。
【図6】(A)〜(C)は、画素の間引き処理及び多重化を説明するための模式図である。
【図7】(A)及び(B)は,従来のフィルタリング処理部の構成を示すブロック図である。
【図8】従来のフィルタリング処理部の他の構成を示すブロック図である。
【符号の説明】
10  デジタルスチルカメラ
30  撮像部
34  A/D変換部
36  DSP
46  Yh補間部
54  輝度フィルタリング処理部
62、66、68、70、76  ローパスフィルタ(LPF)
64、74  ラインメモリ
58  色差フィルタリング処理部
72  間引き処理部

Claims (4)

  1. 水平方向及び垂直方向から選択される第1の方向に複数画素配列された画素列が第1の方向と直交する第2の方向に複数行配列されたブロック毎に入力される画素値を、前記画素列毎に処理して該画素列内の注目画素の画素値として出力する第1のフィルタと、
    前記第1のフィルタで処理された画素列内の注目画素の画素値を処理して目的とする注目画素の画素値として出力する第2のフィルタと、
    を備えた画像信号処理装置。
  2. 前記第1のフィルタ及び前記第2のフィルタのうち垂直方向に配列された画素列を処理するフィルタの前に、入力された画素値を順次記憶して同時に出力するラインメモリを設けた請求項1に記載の画像信号処理装置。
  3. 前記ラインメモリの前に、前記第1のフィルタ又は前記第2のフィルタで処理された画素値から一部の画素値のみを取り出して前記ラインメモリに入力する間引き手段を設けた請求項2に記載の画像信号処理装置。
  4. 水平方向及び垂直方向から選択される第1の方向に複数画素配列された画素列が第1の方向と直交する第2の方向に複数行配列されたブロック毎に入力される各画素の輝度値を、前記画素列毎に処理して該画素列内の注目画素の輝度値として出力する第1のローパスフィルタと、
    前記第1のローパスフィルタで処理された画素列内の注目画素の輝度値を処理して目的とする注目画素の輝度値として出力する第2のローパスフィルタと、
    前記ブロック毎に入力される各画素の第1の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第1の色差値として出力する第3のローパスフィルタと、
    前記ブロック毎に入力される各画素の第2の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第2の色差値として出力する第4のローパスフィルタと、
    前記第3のローパスフィルタの出力値から一部の色差値を取り出すと共に前記第4のローパスフィルタの出力値から一部の色差値を取り出して、取り出した第1の色差値と第2の色差値とを多重化する多重化手段と、
    多重化された色差値を処理して目的とする注目画素の色差値として出力する第5のフィルタと、
    を備えた画像信号処理装置。
JP2002287653A 2002-09-30 2002-09-30 画像信号処理装置 Expired - Fee Related JP4133179B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002287653A JP4133179B2 (ja) 2002-09-30 2002-09-30 画像信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002287653A JP4133179B2 (ja) 2002-09-30 2002-09-30 画像信号処理装置

Publications (2)

Publication Number Publication Date
JP2004126797A true JP2004126797A (ja) 2004-04-22
JP4133179B2 JP4133179B2 (ja) 2008-08-13

Family

ID=32280368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002287653A Expired - Fee Related JP4133179B2 (ja) 2002-09-30 2002-09-30 画像信号処理装置

Country Status (1)

Country Link
JP (1) JP4133179B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148931A (ja) * 2004-11-24 2006-06-08 Magnachip Semiconductor Ltd 補色カラーフィルタを採用したSoCカメラシステム
JP2009159601A (ja) * 2007-12-06 2009-07-16 Seiko Epson Corp 画像処理装置及びその制御方法
US8995765B2 (en) 2011-12-13 2015-03-31 SK Hynix Inc. Digital image processing apparatus and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148931A (ja) * 2004-11-24 2006-06-08 Magnachip Semiconductor Ltd 補色カラーフィルタを採用したSoCカメラシステム
JP2009159601A (ja) * 2007-12-06 2009-07-16 Seiko Epson Corp 画像処理装置及びその制御方法
US8995765B2 (en) 2011-12-13 2015-03-31 SK Hynix Inc. Digital image processing apparatus and method

Also Published As

Publication number Publication date
JP4133179B2 (ja) 2008-08-13

Similar Documents

Publication Publication Date Title
JP4195169B2 (ja) 固体撮像装置および信号処理方法
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP3965402B2 (ja) ノイズ低減装置および方法ならびにノイズ低減プログラム
JP2004241991A (ja) 撮像装置、画像処理装置及び画像処理プログラム
WO2012169140A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP2003032695A (ja) 画像信号処理装置
JP2008258932A (ja) 画像処理装置
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
JP3546853B2 (ja) 撮像装置及び画像再生システム
JP4317117B2 (ja) 固体撮像装置および撮像方法
US6690418B1 (en) Image sensing apparatus image signal controller and method
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
JP5948167B2 (ja) 撮像装置
JP2001078210A (ja) 固体撮像装置および信号読出し方法
JP4687454B2 (ja) 画像処理装置および撮像装置
JP4133179B2 (ja) 画像信号処理装置
JP4581633B2 (ja) 色信号補正方法、装置及びプログラム
JP2003101815A (ja) 信号処理装置及び信号処理方法
JP5633518B2 (ja) データ処理装置
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP4243412B2 (ja) 固体撮像装置および信号処理方法
JP4934183B2 (ja) 画像信号処理方法
JP2005051393A (ja) 撮像装置
JP3905342B2 (ja) 固体撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050221

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4133179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees