JP2004266323A - 撮像システム、画像処理プログラム - Google Patents
撮像システム、画像処理プログラム Download PDFInfo
- Publication number
- JP2004266323A JP2004266323A JP2003013863A JP2003013863A JP2004266323A JP 2004266323 A JP2004266323 A JP 2004266323A JP 2003013863 A JP2003013863 A JP 2003013863A JP 2003013863 A JP2003013863 A JP 2003013863A JP 2004266323 A JP2004266323 A JP 2004266323A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- video signal
- signal
- unit
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】映像信号中の欠落する色信号をより高精度に補間することができる撮像システム等を提供する。
【解決手段】各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、上記欠落する色信号をエッジ検出に基づく第１の補間方法により上記映像信号から補間する第１補間部１０と、上記映像信号と上記第１補間部１０により補間された色信号とに基づいて補間精度を検証する検証部１２と、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第１の補間方法とは異なる色相関に基づく第２の補間方法により上記映像信号から補間する第２補間部１３と、を備えた撮像システム。
【選択図】 図１
【解決手段】各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、上記欠落する色信号をエッジ検出に基づく第１の補間方法により上記映像信号から補間する第１補間部１０と、上記映像信号と上記第１補間部１０により補間された色信号とに基づいて補間精度を検証する検証部１２と、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第１の補間方法とは異なる色相関に基づく第２の補間方法により上記映像信号から補間する第２補間部１３と、を備えた撮像システム。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の補間方法を適応的に組み合わせて欠落する色信号を補間し高品位な映像信号を得る撮像システム、画像処理プログラムに関する。
【０００２】
【従来の技術】
現在、一般向けに市販されているデジタルスチルカメラやビデオカメラなどは、撮像系として単板ＣＣＤを用いたものが主流となっている。この単板ＣＣＤは、前面にカラーフィルタを配置して構成されており、該カラーフィルタの種類によって補色系と原色系とに大別される。
【０００３】
このような構成の単板カラーＣＣＤでは、カラーフィルタの種類が補色系と原色系との何れであっても、１つの画素に１つの色信号を割り当てている点は何れも同様である。従って、１つの画素に対して全ての色信号を得るためには、各画素において欠落している色信号を補間する処理を行うことが必要となる。
【０００４】
このような単板系に限らず、二板式の撮像系や、三板式であっても画素ずらしを行った撮像系においては、同様に、補間処理を行うことが必要になる。
【０００５】
上述したような補間処理としては、例えば特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に、相関またはエッジを検出して、相関の高い方向またはエッジ強度の低い平坦な方向に補間処理を行う技術が記載されている。
【０００６】
また、上記補間処理の他の例としては、特開２０００−２２４６０１号公報に、局所領域における色相関を用いる技術が記載されている。
【０００７】
さらに、特開２０００−１５１９８９号公報には、拡大処理を行う際に、Ｒ信号およびＧ信号に関してはキュービック補間を用い、Ｂ信号に関してはニアレストネイバー補間を用いるなどの、異なる補間方法を組み合わせる技術が記載されている。
【０００８】
一方、上述した特開２０００−２２４６０１号公報には、色相関による補間と線形補間とを適応的に切り換える技術が記載されている。
【０００９】
【特許文献１】
特開平７−２３６１４７号公報
【００１０】
【特許文献２】
特開平８−２９８６７０号公報
【００１１】
【特許文献３】
特開２０００−２２４６０１号公報
【００１２】
【特許文献４】
特開２０００−１５１９８９号公報
【００１３】
【発明が解決しようとする課題】
上記特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に記載されたような方向を選択して補間する手段は、映像信号が単一のエッジ構造で構成される場合には良好に機能するが、テクスチャ画像のように複数のエッジ構造がある場合には方向の選択に失敗して補間精度が低下することがある。
【００１４】
また、上記特開２０００−２２４６０１号公報に記載されたような色相関に基づく補間は、テクスチャのように複数のエッジ構造がある場合でも、それが単一の色相である場合には高精度な補間が可能である。しかし、異なる色相での境界領域では色相関の推定に失敗して、アーティファクトが発生することがある。
【００１５】
そして、上記特開２０００−１５１９８９号公報に記載されたような異なる補間方法を組み合わせる手段は、それぞれが得意とする領域で補間処理を行わせることで、全体としてより高精度な補間が可能となる利点がある一方で、補間処理を如何にうまく切り換え制御するかが課題となる。しかし、この特開２０００−１５１９８９号公報に記載された切換方法は固定的であるために、例えばＢ（青）信号に複雑なエッジ構造がある場合には精度が低下してしまい、各々の補間方法が有するメリットを生かしきれないことがあった。
【００１６】
また、上記特開２０００−２２４６０１号公報に記載のものでは、１つ以上の色信号が欠落する原信号に基づいて補間方法の切り換え制御を行っているために、制御方法が複雑になって、処理時間が長くなるという課題があった。
【００１７】
本発明は上記事情に鑑みてなされたものであり、映像信号中の欠落する色信号をより高精度に補間することができる撮像システム、画像処理プログラムを提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段と、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段と、を具備したものである。
【００１９】
また、第２の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号に係る所定の特性に基づいて該映像信号を第１の映像信号と第２の映像信号とに分離する分離手段と、上記第１の映像信号から上記欠落する色信号を第１の補間方法により補間する第１の補間手段と、上記第２の映像信号から上記欠落する色信号を上記第１の補間手段とは異なる第２の補間方法により補間する第２の補間手段と、上記第１の映像信号の領域については該第１の映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証し上記第２の映像信号の領域については該第２の映像信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記補間精度が充分でないと判断された場合に充分でない補間が上記第１の補間手段により行われたときには上記欠落する色信号を上記第２の補間手段により上記映像信号から再度補間処理させ充分でない補間が上記第２の補間手段により行われたときには上記欠落する色信号を上記第１の補間手段により上記映像信号から再度補間処理させる調整手段と、を具備したものである。
【００２０】
さらに、第３の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段と、上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段と、上記映像信号と上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号との内のより補間精度が高い方の色信号を選択する選択手段と、を具備したものである。
【００２１】
第４の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記第１の補間手段または第２の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内で注目画素から所定方向に関する複数のエッジ強度を抽出するエッジ抽出手段と、上記エッジ強度から正規化された重み係数を算出する重み算出手段と、上記領域内で注目画素から所定方向に関する複数の補間信号を算出する補間信号算出手段と、上記所定方向に関する複数の重み係数と上記所定方向に関する複数の補間信号とに基づいて注目画素における欠落する色信号を算出する演算手段と、を有して構成されたものである。
【００２２】
第５の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記第１の補間手段または第２の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内で注目画素における欠落する色信号を線形補間またはキュービック補間によって算出する演算手段と、を有して構成されたものである。
【００２３】
第６の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記第１の補間手段または第２の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内における各色信号間の相関関係を線形式として求める相関算出手段と、上記映像信号と上記相関関係とに基づいて欠落する色信号を算出する演算手段と、を有して構成されたものである。
【００２４】
第７の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて所定領域毎に各色信号間の相関情報を求める相関算出手段と、上記相関情報に基づいて補間精度を検証する相関検証手段と、を有して構成されたものである。
【００２５】
第８の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて画素毎に色相情報を求める色相算出手段と、上記色相情報に基づいて補間精度を検証する色相検証手段と、を有して構成されたものである。
【００２６】
第９の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて所定領域毎にエッジ情報を求めるエッジ算出手段と、上記エッジ情報に基づいて補間精度を検証するエッジ検証手段と、を有して構成されたものである。
【００２７】
第１０の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記分離手段が、上記映像信号から所定領域毎にエッジ情報を求めるエッジ算出手段と、上記エッジ情報に基づいて上記映像信号の分離を行う映像信号分離手段と、を有して構成されたものである。
【００２８】
第１１の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記分離手段が、上記映像信号から所定領域毎に各色信号間の相関情報を求める相関算出手段と、上記相関情報に基づいて上記映像信号の分離を行う映像信号分離手段と、を有して構成されたものである。
【００２９】
第１２の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記精度検証手段の動作と上記第２の補間手段の動作とを停止させるように制御し得る制御手段をさらに具備したものである。
【００３０】
第１３の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記精度検証手段の動作と上記調整手段の動作とを停止させるように制御し得る制御手段をさらに具備したものである。
【００３１】
第１４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記第２の補間手段の動作と上記精度検証手段の動作とを停止させるように制御し得るとともにこれらの動作を停止させるときには上記選択手段に対して上記第１の補間手段により補間された色信号のみを選択させるように制御する制御手段をさらに具備したものである。
【００３２】
第１５の発明による撮像システムは、上記第１２から第１４の発明による撮像システムにおいて、上記制御手段が、上記映像信号の画質に係る画質情報と当該撮像システムに設定されている撮影モード情報と手動により設定され得る補間処理の切り換え情報との内の少なくとも１つの情報を取得する情報取得手段と、上記画質情報と撮影モード情報と補間処理の切り換え情報との内の少なくとも１つの情報に基づいて上記動作を停止させるか否かを判断する判断手段と、を有して構成されたものである。
【００３３】
第１６の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段、として機能させるための画像処理プログラムである。
【００３４】
第１７の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記映像信号に係る所定の特性に基づいて該映像信号を第１の映像信号と第２の映像信号とに分離する分離手段、上記第１の映像信号から上記欠落する色信号を第１の補間方法により補間する第１の補間手段、上記第２の映像信号から上記欠落する色信号を上記第１の補間手段とは異なる第２の補間方法により補間する第２の補間手段、上記第１の映像信号の領域については該第１の映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証し上記第２の映像信号の領域については該第２の映像信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記補間精度が充分でないと判断された場合に充分でない補間が上記第１の補間手段により行われたときには上記欠落する色信号を上記第２の補間手段により上記映像信号から再度補間処理させ充分でない補間が上記第２の補間手段により行われたときには上記欠落する色信号を上記第１の補間手段により上記映像信号から再度補間処理させる調整手段、として機能させるための画像処理プログラムである。
【００３５】
第１８の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段、上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段、上記映像信号と上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号との内のより補間精度が高い方の色信号を選択する選択手段、として機能させるための画像処理プログラムである。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図８は本発明の第１の実施形態を示したものであり、図１は撮像システムの構成を示すブロック図、図２はカラーフィルタの色配置を示す図、図３は第１補間部の構成を示すブロック図、図４はエッジ方向に基づく補間方法を説明するための図、図５は検証部の構成を示すブロック図、図６は色相関関係の線形式への回帰を説明するための図、図７は第２補間部の構成を示すブロック図、図８は画像処理プログラムによる補間処理を示すフローチャートである。
【００３７】
この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たるＣＣＤ４と、このＣＣＤ４から出力されるアナログの映像信号をデジタル信号へ変換するＡ／Ｄ変換器５と、このＡ／Ｄ変換器５から出力されたデジタルの画像データを一時的に記憶する画像用バッファ６と、この画像用バッファ６に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り２とＣＣＤ４の制御を行う測光評価部７と、上記画像用バッファ６に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するＡＦモータ９を駆動する合焦点検出部８と、この合焦点検出部８により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ９と、上記画像用バッファ６に記憶された画像データに後で詳しく説明するようなエッジ方向に基づく欠落色信号の補間処理を行う第１の補間手段たる第１補間部１０と、この第１補間部１０を介して上記画像用バッファ６から転送される元の画像データと該第１補間部１０により処理された欠落色に係る補間データとを一時的に記憶するとともに後述する第２補間部１３により処理された欠落色に係る補間データを該第１補間部１０により処理された欠落色に係る補間データに上書きして一時的に記憶する作業用バッファ１１と、この作業用バッファ１１に記憶された元の画像データおよび第１補間部１０による補間データに基づいて単一の色相関関係が成立する領域を検証する精度検証手段たる検証部１２と、この検証部１２により単一の色相関関係が成立すると判断された領域について上記画像用バッファ６から元の画像データを読み込んで後で詳しく説明するような色相関に基づく欠落色信号の補間処理を行う第２の補間手段たる第２補間部１３と、この第２補間部１３による処理が終了した後に上記作業用バッファ１１から出力される補間済みの画像データに公知の強調処理や圧縮処理などを行う信号処理部１４と、この信号処理部１４からの画像データを例えばメモリカード等に記録するために出力する出力部１５と、電源スイッチ，シャッタボタン，各種の撮影モードや画質モードを切り替えるためモードスイッチ，補間処理を切り換えるための切換スイッチ等へのインターフェースを備えた情報取得手段たる外部Ｉ／Ｆ部１７と、上記測光評価部７と合焦点検出部８とからデータを取得するとともに上記第１補間部１０，検証部１２，第２補間部１３，信号処理部１４，出力部１５，外部Ｉ／Ｆ部１７と双方向に接続されてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であって情報取得手段と判断手段とを兼ねた制御部１６と、を有して構成されている。
【００３８】
次に、図２を参照して、ＣＣＤ４の前面に配置されているカラーフィルタの色配置について説明する。
【００３９】
本実施形態においては、単板原色系のカラーフィルタを備えた撮像系を想定しており、例えば図２に示すような原色ベイヤー（Ｂａｙｅｒ）型のカラーフィルタが、上記ＣＣＤ４の前面に配置されている。
【００４０】
この原色ベイヤー（Ｂａｙｅｒ）型のカラーフィルタは、図２（Ａ）に示すような、対角方向にＧ（緑）の画素が２つ配置され、それ以外の２画素にＲ（赤）とＢ（青）が各配置されている２×２画素の基本配置を備えており、この基本配置を上下方向および左右方向に２次元的に繰り返してＣＣＤ４上の各画素を覆うことにより、図２（Ｂ）に示すようなフィルタ配置にしたものとなっている。
【００４１】
このように、単板原色系のカラーフィルタを備えた撮像系から得られる映像信号は、各画素の映像信号を構成するべき３色の色信号が、画素位置に応じて２つ欠落（すなわち、配置されるカラーフィルタ以外の色成分の２つが欠落）したものとなっている。
【００４２】
続いて、上記図１に示したような撮像システムにおける信号の流れについて説明する。
【００４３】
この撮像システムは、外部Ｉ／Ｆ部１７を介して、圧縮率や画像サイズなどの画質モード、文字画像撮影や動画撮影などの撮影モード、補間処理の切り換えなどを使用者が設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮影モードに入る。
【００４４】
上記レンズ系１，絞り２，ローパスフィルタ３を介してＣＣＤ４により撮影され出力された映像信号は、Ａ／Ｄ変換器５によりデジタル信号へ変換され、画像用バッファ６へ転送される。
【００４５】
この画像用バッファ６内の映像信号は、その後に、測光評価部７と合焦点検出部８とへ転送される。
【００４６】
測光評価部７は、画像中の輝度レベルを求めて、適正露光となるように絞り２による絞り値やＣＣＤ４の電子シャッタ速度などを制御する。
【００４７】
また、合焦点検出部８は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ９を制御し合焦画像を得る。
【００４８】
このようなプリ撮影モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部１７を介して検出すると、本撮影が行われる。
【００４９】
この本撮影は、測光評価部７により求められた露光条件と合焦点検出部８により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は制御部１６へ転送される。
【００５０】
こうして本撮影が行われると、映像信号が、プリ撮影のときと同様にして、画像用バッファ６へ転送され記憶される。
【００５１】
第１補間部１０は、制御部１６の制御に基づいて、この画像用バッファ６内に記憶された本撮影に係る映像信号を読み出し、エッジ方向に基づく補間処理を行う。上述したように、本実施形態ではＣＣＤ４の前面に原色系のカラーフィルタが配置された単板式の撮像系を想定しているために、１つの画素について２つの色信号が欠落している。従って、この補間処理では、欠落した２つの色信号が生成されて、補間信号として出力されることになる。
【００５２】
そして、第１補間部１０は、この補間処理により得られた補間信号と、上記画像用バッファ６から読み出した原信号とを、作業用バッファ１１へ転送する。こうして、作業用バッファ１１に補間信号と原信号とが記憶されると、１つの画素についてＲＧＢの三信号が揃った三板信号となる。
【００５３】
次に、検証部１２は、制御部１６の制御に基づいて、この作業用バッファ１１内に記憶された三板信号を、所定の局所領域（例えば５×５画素）を単位として順次読み込む。そして、検証部１２は、局所領域における相関関係を線形式として回帰し、単一の色相関関係が成立するか否かを検証して、検証結果を第２補間部１３へ転送する。
【００５４】
第２補間部１３は、制御部１６の制御に基づいて、検証部１２で単一の色相関が成立すると判断された局所領域に対応する原信号を画像用バッファ６から読み込み、色相関に基づく補間処理を行う。
【００５５】
この第２補間部１３による補間信号は、作業用バッファ１１へ転送されて、上記第１補間部１０による補間結果に上書きされるように記録される。これにより、検証部１２によって単一の色相関が成立すると判断された局所領域については、第２補間部１３による補間信号に置き換えられることになる。
【００５６】
制御部１６は、検証部１２による検証と、この検証結果に応じて必要なときにのみ行われる第２補間部１３による補間と、が作業用バッファ１１内の全信号に対して完了した後に、該作業用バッファ１１内の三板信号を信号処理部１４へ転送するように制御する。
【００５７】
信号処理部１４は、制御部１６の制御に基づいて、補間処理後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部１５へ転送する。
【００５８】
出力部１５は、この信号処理部１４からの画像データを例えばメモリカード等に記録するために出力する。
【００５９】
次に図３を参照して、上記第１補間部１０の構成の一例について説明する。
【００６０】
この第１補間部１０は、上記画像用バッファ６に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部２１と、この抽出部２１により抽出された領域の画像データを記憶する領域バッファ２２と、この領域バッファ２２に記憶された領域のエッジ成分を算出するエッジ抽出手段たるエッジ抽出部２３と、このエッジ抽出部２３により算出されたエッジ成分を正規化して重み係数を算出する重み算出手段たる重み算出部２４と、この重み算出部２４により算出された重み係数を記憶する重みバッファ２５と、上記領域バッファ２２に記憶された領域の着目画素に対して補間信号としての色差成分を算出する補間信号算出手段たる補間部２６と、この補間部２６により算出された色差成分を記憶する補間値バッファ２７と、この補間値バッファ２７に記憶された色差成分と上記重みバッファ２５に記憶された重み係数とから着目画素位置における欠落色成分を算出して上記領域バッファ２２と作業用バッファ１１とへ出力する演算手段たる演算部２８と、を有して構成されている。
【００６１】
なお、演算部２８により１つの色に係る欠落成分が算出されると、この算出された欠落色成分を用いて他の色に係る欠落成分の補間を行うために、該演算部２８による算出結果は上記領域バッファ２２にも記憶されるようになっている。
【００６２】
また、上記制御部１６は、上記抽出部２１、エッジ抽出部２３、重み算出部２４、補間部２６、演算部２８に対して双方向に接続されており、これらを制御するようになっている。
【００６３】
このような第１補間部１０の作用について、図４を参照しながら説明する。
【００６４】
抽出部２１は、制御部１６の制御に基づいて、画像用バッファ６から所定サイズ（例えば６×６画素サイズ）の領域を順次抽出し、領域バッファ２２へ転送する。
【００６５】
図４（Ａ）は、この抽出部２１により抽出された６×６画素サイズの領域と、各画素位置における色信号Ｓｉｊ（Ｓ＝Ｒ，Ｇ，Ｂ、Ｘ方向（横方向）の座標ｉ＝０〜５、Ｙ方向（縦方向）の座標ｊ＝０〜５）と、を示している。
【００６６】
第１補間部１０は、このような６×６画素サイズの領域を用いて、中央部の２×２画素位置の補間処理を行うようになっており、この図４に示す例では、Ｒ２２位置の欠落成分Ｇ２２，Ｂ２２と、Ｇ３２位置の欠落成分Ｒ３２，Ｂ３２と、Ｇ２３位置の欠落成分Ｒ２３，Ｂ２３と、Ｂ３３位置の欠落成分Ｒ３３，Ｇ３３と、を算出する。
【００６７】
補間処理が中央部の２×２画素位置で行われるために、抽出部２１が６×６画素サイズの領域を抽出する際には、Ｘ方向位置またはＹ方向位置を２画素ずつずらして、Ｘ方向またはＹ方向にそれぞれ４画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【００６８】
エッジ抽出部２３と補間部２６とは、制御部１６の制御に基づいて、Ｒ２２位置の欠落成分Ｇ２２と、Ｂ３３位置の欠落成分Ｇ３３と、に関する補間処理を先行して行う。
【００６９】
エッジ抽出部２３は、まずＲ２２画素に対して、図４（Ｂ）に示すような周辺画素の値を用い、その上下左右の４方向のエッジ成分を次の数式１に示すように算出して、重み算出部２４へ転送する。
【数１】
Ｅ上＝｜Ｒ２２−Ｒ２０｜＋｜Ｇ２１−Ｇ２３｜
Ｅ下＝｜Ｒ２２−Ｒ２４｜＋｜Ｇ２１−Ｇ２３｜
Ｅ左＝｜Ｒ２２−Ｒ０２｜＋｜Ｇ１２−Ｇ３２｜
Ｅ右＝｜Ｒ２２−Ｒ４２｜＋｜Ｇ１２−Ｇ３２｜
【００７０】
重み算出部２４は、これら４方向のエッジ成分の総和ｔｏｔａｌを次の数式２に示すように求めて、
【数２】
ｔｏｔａｌ＝Ｅ上＋Ｅ下＋Ｅ左＋Ｅ右
上記エッジ抽出部２３により算出された４方向のエッジ成分を、次の数式３に示すように、この総和ｔｏｔａｌで除算して正規化された重み係数を算出し、重みバッファ２５へ転送して記憶させる。
【数３】
Ｗ上＝Ｅ上／ｔｏｔａｌ
Ｗ下＝Ｅ下／ｔｏｔａｌ
Ｗ左＝Ｅ左／ｔｏｔａｌ
Ｗ右＝Ｅ右／ｔｏｔａｌ
【００７１】
一方、補間部２６は、Ｒ２２画素に対して、その上下左右の４方向の色差成分を次の数式４に示すように補間し、補間値バッファ２７へ転送して記憶させる。
【数４】
Ｃｒ上＝Ｇ２１−（Ｒ２２＋Ｒ２０）／２
Ｃｒ下＝Ｇ２３−（Ｒ２２＋Ｒ２４）／２
Ｃｒ左＝Ｇ１２−（Ｒ２２＋Ｒ０２）／２
Ｃｒ右＝Ｇ３２−（Ｒ２２＋Ｒ４２）／２
【００７２】
演算部２８は、制御部１６の制御に基づいて、重みバッファ２５に記憶された重み係数と、補間値バッファ２７に記憶された補間値（色差成分）とを用いて、Ｒ２２位置において欠落する緑成分Ｇ２２を次の数式５に示すように算出し、領域バッファ２２と作業用バッファ１１とへ転送して記憶させる。
【数５】
Ｇ２２＝Ｒ２２＋ΣＣｒｋ ・Ｗｋ （ｋ ＝上，下，左，右）
【００７３】
次に、このＲ２２位置のＧ２２を求めるのと同様にして、Ｂ３３位置のＧ３３を、図４（Ｃ）に示すような周辺画素の値を用いて算出し、領域バッファ２２と作業用バッファ１１とへ転送して記憶させる。
【００７４】
このＧ３３を算出する際の上記数式１〜数式５に各相当する数式６〜数式１０は、次のようになっている。
【数６】
Ｅ上＝｜Ｂ３３−Ｂ３１｜＋｜Ｇ３２−Ｇ３４｜
Ｅ下＝｜Ｂ３３−Ｂ３５｜＋｜Ｇ３２−Ｇ３４｜
Ｅ左＝｜Ｂ３３−Ｂ１３｜＋｜Ｇ２３−Ｇ４３｜
Ｅ右＝｜Ｂ３３−Ｂ５３｜＋｜Ｇ２３−Ｇ４３｜
【数７】
ｔｏｔａｌ＝Ｅ上＋Ｅ下＋Ｅ左＋Ｅ右
【数８】
Ｗ上＝Ｅ上／ｔｏｔａｌ
Ｗ下＝Ｅ下／ｔｏｔａｌ
Ｗ左＝Ｅ左／ｔｏｔａｌ
Ｗ右＝Ｅ右／ｔｏｔａｌ
【数９】
Ｃｂ上＝Ｇ３２−（Ｂ３３＋Ｂ３１）／２
Ｃｂ下＝Ｇ３４−（Ｂ３３＋Ｂ３５）／２
Ｃｂ左＝Ｇ２３−（Ｂ３３＋Ｂ１３）／２
Ｃｂ右＝Ｇ４３−（Ｂ３３＋Ｂ５３）／２
【数１０】
Ｇ３３＝Ｂ３３＋ΣＣｂｋ ・Ｗｋ （ｋ ＝上，下，左，右）
【００７５】
このＧ３３を算出する際の上記Ｇ２２との差異は、上記Ｇ２２の場合は４方向の色差成分がＣｒ成分（Ｇ−Ｒ）となっているのに対して、該Ｇ３３の場合はＣｂ成分（Ｇ−Ｂ）となっている点である。
【００７６】
上述したようなＧ信号に対する補間処理が、６×６画素サイズの領域を順次抽出することによって、画像用バッファ６上の全信号に対して行われ、領域バッファ２２と作業用バッファ１１とには、補間された全Ｇ信号が記憶される。
【００７７】
次に、制御部１６は、再度６×６画素サイズの領域を順次抽出して、エッジ抽出部２３と補間部２６とに対して、Ｇ３２位置の欠落成分Ｒ３２，Ｂ３２と、Ｇ２３位置の欠落成分Ｒ２３，Ｂ２３と、Ｒ２２位置の残りの欠落成分Ｂ２２と、Ｂ３３位置の残りの欠落成分Ｒ３３と、の補間処理を図４（Ｄ）〜図４（Ｇ）に示すように行わせる。これらの補間処理を行う際には、上述したように算出したＧ信号も用いて、処理が行われる。
【００７８】
図４（Ｄ）は、Ｇ２３位置のＲ２３，Ｂ２３を補間する際に用いる周辺画素の様子を示す図である。
【００７９】
まず、Ｒ２３を算出する際の上記数式１〜数式５に各相当する数式１１〜数式１５は、次のようになっている。
【数１１】
Ｅ上左＝｜Ｇ２３−Ｇ０２｜
Ｅ上中＝｜Ｇ２３−Ｇ２２｜
Ｅ上右＝｜Ｇ２３−Ｇ４２｜
Ｅ下左＝｜Ｇ２３−Ｇ０４｜
Ｅ下中＝｜Ｇ２３−Ｇ２４｜
Ｅ下右＝｜Ｇ２３−Ｇ４４｜
【数１２】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
【数１３】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上中＝Ｅ上中／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下中＝Ｅ下中／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数１４】
Ｃｒ上左＝Ｇ０２−Ｒ０２
Ｃｒ上中＝Ｇ２２−Ｒ２２
Ｃｒ上右＝Ｇ４２−Ｒ４２
Ｃｒ下左＝Ｇ０４−Ｒ０４
Ｃｒ下中＝Ｇ２４−Ｒ２４
Ｃｒ下右＝Ｇ４４−Ｒ４４
【数１５】
Ｒ２３＝Ｇ２３−ΣＣｒｋ ・Ｗｋ
（ｋ ＝上左，上中，上右，下左，下中，下右）
【００８０】
また、Ｂ２３を算出する際の上記数式１〜数式５に各相当する数式１６〜数式２０は、次のようになっている。
【数１６】
Ｅ上左＝｜Ｇ２３−Ｇ１１｜
Ｅ上右＝｜Ｇ２３−Ｇ３１｜
Ｅ中左＝｜Ｇ２３−Ｇ１３｜
Ｅ中右＝｜Ｇ２３−Ｇ３３｜
Ｅ下左＝｜Ｇ２３−Ｇ１５｜
Ｅ下右＝｜Ｇ２３−Ｇ３５｜
【数１７】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
【数１８】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ中左＝Ｅ中左／ｔｏｔａｌ
Ｗ中右＝Ｅ中右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数１９】
Ｃｂ上左＝Ｇ１１−Ｂ１１
Ｃｂ上右＝Ｇ３１−Ｂ３１
Ｃｂ中左＝Ｇ１３−Ｂ１３
Ｃｂ中右＝Ｇ３３−Ｂ３３
Ｃｂ下左＝Ｇ１５−Ｂ１５
Ｃｂ下右＝Ｇ３５−Ｂ３５
【数２０】
Ｂ２３＝Ｇ２３−ΣＣｂｋ ・Ｗｋ
（ｋ ＝上左，上右，中左，中右，下左，下右）
【００８１】
次に、図４（Ｅ）は、Ｇ３２位置のＲ３２，Ｂ３２を補間する際に用いる周辺画素の様子を示す図である。
【００８２】
Ｒ３２を算出する際の上記数式１〜数式５に各相当する数式２１〜数式２５は、次のようになっている。
【数２１】
Ｅ上左＝｜Ｇ３２−Ｇ２０｜
Ｅ上右＝｜Ｇ３２−Ｇ４０｜
Ｅ中左＝｜Ｇ３２−Ｇ２２｜
Ｅ中右＝｜Ｇ３２−Ｇ４２｜
Ｅ下左＝｜Ｇ３２−Ｇ２４｜
Ｅ下右＝｜Ｇ３２−Ｇ４４｜
【数２２】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
【数２３】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ中左＝Ｅ中左／ｔｏｔａｌ
Ｗ中右＝Ｅ中右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数２４】
Ｃｒ上左＝Ｇ２０−Ｒ２０
Ｃｒ上右＝Ｇ４０−Ｒ４０
Ｃｒ中左＝Ｇ２２−Ｒ２２
Ｃｒ中右＝Ｇ４２−Ｒ４２
Ｃｒ下左＝Ｇ２４−Ｒ２４
Ｃｒ下右＝Ｇ４４−Ｒ４４
【数２５】
Ｒ３２＝Ｇ３２−ΣＣｒｋ ・Ｗｋ
（ｋ ＝上左，上右，中左，中右，下左，下右）
【００８３】
また、Ｂ３２を算出する際の上記数式１〜数式５に各相当する数式２６〜数式３０は、次のようになっている。
【数２６】
Ｅ上左＝｜Ｇ３２−Ｇ１１｜
Ｅ上中＝｜Ｇ３２−Ｇ３１｜
Ｅ上右＝｜Ｇ３２−Ｇ５１｜
Ｅ下左＝｜Ｇ３２−Ｇ１３｜
Ｅ下中＝｜Ｇ３２−Ｇ３３｜
Ｅ下右＝｜Ｇ３２−Ｇ５３｜
【数２７】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
【数２８】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上中＝Ｅ上中／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下中＝Ｅ下中／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数２９】
Ｃｂ上左＝Ｇ１１−Ｂ１１
Ｃｂ上中＝Ｇ３１−Ｂ３１
Ｃｂ上右＝Ｇ５１−Ｂ５１
Ｃｂ下左＝Ｇ１３−Ｂ１３
Ｃｂ下中＝Ｇ３３−Ｂ３３
Ｃｂ下右＝Ｇ５３−Ｂ５３
【数３０】
Ｂ３２＝Ｇ３２−ΣＣｂｋ ・Ｗｋ
（ｋ ＝上左，上中，上右，下左，下中，下右）
【００８４】
このように、Ｇ２３位置の欠落成分Ｒ２３，Ｂ２３と、Ｇ３２位置の欠落成分Ｒ３２，Ｂ３２と、を補間する際には、６方向の重み係数と補間値（色差成分）とを用いている。
【００８５】
次に、図４（Ｆ）は、Ｒ２２位置のＢ２２を補間する際に用いる周辺画素の様子を示す図である。
【００８６】
Ｂ２２を算出する際の上記数式１〜数式５に各相当する数式３１〜数式３５は、次のようになっている。
【数３１】
Ｅ上左＝｜Ｇ２２−Ｇ１１｜
Ｅ上右＝｜Ｇ２２−Ｇ３１｜
Ｅ下左＝｜Ｇ２２−Ｇ１３｜
Ｅ下右＝｜Ｇ２２−Ｇ３３｜
【数３２】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
【数３３】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数３４】
Ｃｂ上左＝Ｇ１１−Ｂ１１
Ｃｂ上右＝Ｇ３１−Ｂ３１
Ｃｂ下左＝Ｇ１３−Ｂ１３
Ｃｂ下右＝Ｇ３３−Ｂ３３
【数３５】
Ｂ２２＝Ｇ２２−ΣＣｂｋ ・Ｗｋ （ｋ ＝上左，上右，下左，下右）
【００８７】
次に、図４（Ｇ）は、Ｂ３３位置のＲ３３を補間する際に用いる周辺画素の様子を示す図である。
【００８８】
Ｒ３３を算出する際の上記数式１〜数式５に各相当する数式３６〜数式４０は、次のようになっている。
【数３６】
Ｅ上左＝｜Ｇ３３−Ｇ２２｜
Ｅ上右＝｜Ｇ３３−Ｇ４２｜
Ｅ下左＝｜Ｇ３３−Ｇ２４｜
Ｅ下右＝｜Ｇ３３−Ｇ４４｜
【数３７】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
【数３８】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数３９】
Ｃｒ上左＝Ｇ２２−Ｒ２２
Ｃｒ上右＝Ｇ４２−Ｒ４２
Ｃｒ下左＝Ｇ２４−Ｒ２４
Ｃｒ下右＝Ｇ４４−Ｒ４４
【数４０】
Ｒ３３＝Ｇ３３−ΣＣｒｋ ・Ｗｋ （ｋ ＝上左，上右，下左，下右）
【００８９】
次に、図５を参照して、検証部１２の構成の一例について説明する。
【００９０】
この検証部１２は、上記作業用バッファ１１に記憶された三板状態の画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部３１と、この抽出部３１により抽出された領域の画像データを記憶する領域バッファ３２と、この領域バッファ３２に記憶された領域の色相関を示す線形式を算出する相関算出手段たる相関算出部３３と、この相関算出部３３により算出された線形式における、単一の色相領域であるか否かを判別するためのバイアス項を記憶する係数用バッファ３４と、この係数用バッファ３４に記憶されたバイアス項の絶対値を所定の閾値と比較して閾値以下である場合に対応する領域の位置情報を第２補間部１３へ転送する相関検証手段たる相関検証部３５と、を有して構成されている。
【００９１】
上記制御部１６は、上記抽出部３１、相関算出部３３、相関検証部３５に対して双方向に接続されており、これらを制御するようになっている。
【００９２】
このような検証部１２の作用について、図６を参照しながら説明する。
【００９３】
抽出部３１は、制御部１６の制御に基づいて、作業用バッファ１１から所定サイズの領域（例えば５×５画素サイズの領域）を順次抽出し、領域バッファ３２へ転送する。
【００９４】
相関算出部３３は、制御部１６の制御に基づいて、領域バッファ３２に記憶された領域に対し、ＲＧＢ信号間の相関関係を公知の最小自乗近似に基づいて線形式に回帰する。
【００９５】
すなわち、ＲＧＢの３信号をＳ（Ｓ＝Ｒ，Ｇ，Ｂ）により表記したときに、２つの色信号ＳとＳ’（Ｓ≠Ｓ’）の間に線形な色相関が成立する場合には、次の数式４１に示すような線形式、
【数４１】
Ｓ’＝αＳ＋β
に回帰される。
【００９６】
図６（Ａ）は単一の色相で構成される入力画像を示し、図６（Ｂ）はこの単一の色相で構成される入力画像に対するＲ−Ｇ信号間での色相関関係の線形式への回帰を示している。また、Ｇ−Ｂ信号間での色相関関係の線形式への回帰と、Ｒ−Ｂの信号間での色相関関係の線形式への回帰と、の何れの場合も、この図６（Ｂ）に示したのと同様に行われる。
【００９７】
図６（Ｂ）に示すように、入力画像が単一の色相で構成される場合には、数式４１のバイアス項βは０近傍の値をとる。
【００９８】
これに対して、入力画像が例えば図６（Ｃ）に示すような複数の色相（図示の例では第１の色相の領域Ａと第２の色相の領域Ｂとの２つ）で構成される場合には、図６（Ｄ）に示すように、色相関関係を示す線形式も複数必要となり、これを一つの線形式に回帰すると、バイアス項βは０近傍の値から外れることになる。
【００９９】
従って、入力画像を一つの線形式に回帰した後に、そのバイアス項βを調べることにより、該入力画像（ここでは入力した領域）が単一の色相で構成されるか否かを判別することができる。
【０１００】
このような原理に基づいて、上記相関算出部３３は、数式４１に示したバイアス項βを求め、求めたバイアス項βを係数用バッファ３４へ転送する。
【０１０１】
相関検証部３５は、係数用バッファ３４に記憶されているバイアス項βの絶対値と所定の閾値とを比較して、バイアス項βの絶対値が閾値以下となる場合には、対応する領域の位置情報を第２補間部１３へ転送する。その後に、相関検証部３５が、第２補間部１３での補間処理が完了した旨の情報を制御部１６から受けると、次の領域へ移行して上述したような処理を行う。
【０１０２】
一方、バイアス項βの絶対値が閾値以上である場合には、相関検証部３５は、第２補間部１３へ何も転送をすることなく、次の領域へ移行して上述したような処理を行う。
【０１０３】
検証部１２は、このような処理を、領域を順次移行させながら、作業用バッファ１１上の全信号に対して行う。
【０１０４】
続いて、図７を参照して、第２補間部１３の構成の一例について説明する。
【０１０５】
この第２補間部１３は、上記画像用バッファ６に記憶された画像データの内の上記検証部１２により単一の色相領域と判断された所定サイズの領域を順次抽出する抽出手段たる抽出部４１と、この抽出部４１により抽出された領域の画像データを記憶する領域バッファ４２と、この領域バッファ４２に記憶された領域の色相関を示す線形式を算出する相関算出部４３と、この相関算出部４３により算出された線形式を用いて上記領域バッファ４２に記憶されている原信号から欠落する色信号を算出し上記作業用バッファ１１に出力する演算部４４と、を有して構成されている。
【０１０６】
上記制御部１６は、上記抽出部４１、相関算出部４３、演算部４４に対して双方向に接続されており、これらを制御するようになっている。
【０１０７】
次に、このような第２補間部１３の作用について説明する。
【０１０８】
抽出部４１は、制御部１６の制御に基づいて検証部１２から単一の色相領域と判断される領域の位置情報が転送された場合に、画像用バッファ６からその領域を抽出して領域バッファ４２へ転送する。
【０１０９】
相関算出部４３は、制御部１６の制御に基づいて、領域バッファ４２上の単板状態の原信号から相関関係を線形式として回帰する。
【０１１０】
すなわち、ＲＧＢの３信号をＳ（Ｓ＝Ｒ，Ｇ，Ｂ）により表記し、対象とする領域におけるＳ信号の平均をＡＶ＿Ｓ、分散をＶａｒ＿Ｓとする。２つの色信号ＳとＳ’（Ｓ≠Ｓ’）の間に線形な色相関が成立する場合には、次の数式４２に示すような線形式、
【数４２】
Ｓ’＝（Ｖａｒ＿Ｓ’／Ｖａｒ＿Ｓ）×（Ｓ−ＡＶ＿Ｓ）＋ＡＶ＿Ｓ’
に回帰される。
【０１１１】
相関算出部４３は、この数式４２に示すような線形式を、Ｒ−Ｇ，Ｇ−Ｂ，Ｒ−Ｂの各信号間において求めて、その結果を演算部４４へ転送する。
【０１１２】
演算部４４は、数式４２に示したような線形式と、領域バッファ４２上の原信号とに基づいて、欠落する色信号を算出して作業用バッファ１１へ転送する。
【０１１３】
このとき、上述したように第１補間部１０によって得られて作業用バッファ１１に記憶されている補間値は、この第２補間部１３によって得られた補間値により上書きされることになる。
【０１１４】
演算部４４は、領域内における欠落した色信号を全て算出した後に、処理が完了した旨を制御部１６へ通知する。
【０１１５】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【０１１６】
図８を参照して、画像処理プログラムによる補間処理について説明する。
【０１１７】
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ１）、原信号を所定サイズのブロック領域を単位として抽出する（ステップＳ２）。
【０１１８】
そして、抽出された領域について、上記数式１等に示したようにして各方向別のエッジ成分を算出し（ステップＳ３）、上記数式２、数式３等に示したように各方向別の重み係数を算出する（ステップＳ４）。
【０１１９】
その一方で、抽出された領域について、上記数式４等に示したように各方向別の色差信号の補間値を求める（ステップＳ５）。
【０１２０】
続いて、上記ステップＳ４において求めた重み係数と上記ステップＳ５において求めた補間値とに基づいて、上記数式５等に示したようにＧ信号を算出して出力する（ステップＳ６）。
【０１２１】
このような処理が全信号に対応して抽出される全てのブロック領域で完了したか否かを判断し（ステップＳ７）、完了していない場合は上記ステップＳ２へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【０１２２】
一方、全信号に対応するブロック領域についての処理が完了している場合には、原信号と上記ステップＳ６において出力されたＧ信号とを、所定サイズのブロック領域を単位として抽出する（ステップＳ８）。
【０１２３】
そして、抽出された領域について、各方向別のエッジ成分を算出し（ステップＳ９）、各方向別の重み係数を算出する（ステップＳ１０）。
【０１２４】
その一方で、上記ステップＳ８において抽出された領域について、各方向別の色差信号の補間値を求める（ステップＳ１１）。
【０１２５】
続いて、上記ステップＳ１０において求めた重み係数と、上記ステップＳ１１において求めた補間値とに基づいて、欠落しているＲ信号およびＢ信号を上述と同様に算出し出力する（ステップＳ１２）。
【０１２６】
このような処理が全信号に対応して抽出される全てのブロック領域で完了したか否かを判断し（ステップＳ１３）、完了していない場合には上記ステップＳ８へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【０１２７】
一方、全信号に対応するブロック領域についての処理が完了している場合には、上記ステップＳ６および上記ステップＳ１２において出力された第１補間信号を所定サイズのブロック領域単位で抽出して（ステップＳ１４）、色信号間の相関関係を示す線形式を、上記数式４１に示したように求める（ステップＳ１５）。
【０１２８】
このステップＳ１５により得られた線形式のバイアス項の絶対値と所定の閾値Ｔｈとを比較して（ステップＳ１６）、バイアス項が閾値Ｔｈ以下である場合には、原信号を所定サイズのブロック領域単位で抽出し（ステップＳ１７）、色信号間の相関関係を示す線形式を、上記数式４２に示したように求めて（ステップＳ１８）、この線形式に基づいて欠落する色信号を算出して出力する（ステップＳ１９）。この出力は、上記ステップＳ６で出力されたＧ信号と上記ステップＳ１２で出力されたＲ，Ｂ信号とを上書きすることになる。
【０１２９】
一方、上記ステップＳ１６において、バイアス項が閾値Ｔｈよりも大きい場合、または、上記ステップＳ１９の処理が終了した場合には、全信号に対して抽出される全てのブロック領域での処理が完了したか否かを判断して（ステップＳ２０）、完了していない場合は上記ステップＳ１４へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【０１３０】
また、全てのブロック領域での処理が完了している場合には、補間信号を出力してから（ステップＳ２１）、この処理を終了する。
【０１３１】
なお、上述では第１補間処理と第２補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部Ｉ／Ｆ部１７を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、あるいは高速処理が必要とされる動画撮影などの撮影モードが選択された場合には、第２補間処理を行うことなく第１補間処理のみを行うようにすることも可能である。この場合には、検証部１２の動作を停止させて、第２補間部１３へ信号が転送されないように、制御部１６が制御すればよい。制御部１６が第２補間処理を行うか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得して、これらの情報の何れか１以上に基づいて判断を行う。
【０１３２】
また、上述では原色ベイヤー（Ｂａｙｅｒ）型の単板ＣＣＤを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板ＣＣＤについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【０１３３】
このとき、映像信号を構成するべき色信号の数として３色を例に挙げているが、これに限らず、より高精度な色再現を行うシステムに採用されるような例えば６色であっても構わないし、広くは２色以上の所定数であれば良い。ただし、メタメリズムによって通常のカラー画像として認識される画像を得るためには、複数である所定数が３、またはそれ以上となる必要があることは公知の通りである。
【０１３４】
このような第１の実施形態によれば、エッジ方向に基づいて補間処理を行う第１補間処理と、色相関に基づいて補間処理を行う第２補間処理と、を適応的に切り換えることができるために、高精度な補間処理を行うことが可能となる。
【０１３５】
また、補間処理の切り換えを、原信号と第１補間信号との両方を用いた欠落する色信号のない三板状態の信号で行っているために、高精度かつ高速な切り換え処理を行うことが可能となる。
【０１３６】
そして、エッジ方向に基づいて補間処理を行うことにより、単一なエッジ構造からなる領域で高精度な補間処理を行うことが可能となる。また、色相関に基づいて補間処理を行うことにより、単一な色相からなる領域で高精度な補間処理を行うことが可能となる。
【０１３７】
さらに、三板状態の信号から相関関係を求めているために、高精度な精度検証を行うことが可能となる。この相関関係は、色相関を使用する補間方法との親和性が高く、色相関を使用する補間方法とそれ以外の補間方法とを切り換え制御するのに適している。
【０１３８】
また、必要に応じて第２の補間処理および精度検証処理を停止させて、第１の補間処理のみ行うことにより、処理時間を短縮し、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【０１３９】
こうして、このような撮像システムによれば、複数の補間手段を適応的に組み合わせているために、高精度な補間処理が可能となる。また、複数の補間手段の切り換え制御に原信号と補間された色信号との両方を組み合わせて使用しているために、高精度かつ高速な切り換えが可能となる。
【０１４０】
図９から図１５は本発明の第２の実施形態を示したものであり、図９は撮像システムの構成を示すブロック図、図１０は分離部の一構成例と他の構成例とを示すブロック図、図１１はエッジ抽出を説明するための図、図１２は第１補間部の構成を示すブロック図、図１３は検証部の構成を示すブロック図、図１４は色相クラスを説明するための表図、図１５は画像処理プログラムによる補間処理を示すフローチャートである。
【０１４１】
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１４２】
この第２の実施形態における撮像システムは、図９に示すように、上述した第１の実施形態の構成に、分離手段たる分離部５１と調整手段たる調整部５２とを追加した構成となっている。
【０１４３】
分離部５１は、上記画像用バッファ６から所定の局所領域の映像信号（原信号）を読み込んで、映像信号に係る所定の特性として、平坦領域であるかエッジ領域であるかを判断し、平坦領域である場合には該局所領域の映像信号を上記第１補間部１０へ、エッジ領域である場合には該局所領域の映像信号を第２補間部１３へ、それぞれ出力するものである。この分離部５１は、平坦領域であるかエッジ領域であるかの領域情報を、さらに調整部５２にも出力するようになっている。
【０１４４】
調整部５２は、分離部５１からの領域情報と、検証部１２からの該局所領域が単一色相であるかまたは複数色相領域であるかの色相情報と、に基づいて、作業用バッファ１１に既に記憶されている補間信号を、第１補間部１０または第２補間部１３に再度補間させて得られる補間信号により置き換えるか否かを調整するものである。
【０１４５】
従って、検証部１２は、この第２の実施形態においては、検証した色相情報を第２補間部１３ではなく調整部５２へ出力するものとなっている。
【０１４６】
また、作業用バッファ１１は、補間信号を検証部１２へ出力するだけでなく、調整部５２へも出力するものとなっている。
【０１４７】
そして、第１補間部１０は、後で図１２を参照して説明するように、Ｒ信号とＢ信号については線形補間を行い、Ｇ信号についてはキュービック補間を行うものとなっており、また、検証部１２は、抽出した領域において画素単位で色相クラスに分類し、その分布状況に基づいて、単一の色相領域であるかまたは複数の色相領域であるかを判断するものとなっている。
【０１４８】
なお、制御部１６は、この第２の実施形態において追加された分離部５１と調整部５２とに対しても双方向に接続されており、これらを制御するようになっている。
【０１４９】
その他の部分の基本的な構成については、上述した第１の実施形態とほぼ同様である。
【０１５０】
このような撮像システムの作用は、基本的に第１の実施形態と同様であるために、主として異なる部分についてのみ、図９を参照して信号の流れに沿って説明する。
【０１５１】
画像用バッファ６に記憶されている映像信号は、制御部１６の制御に基づいて、所定の局所領域（例えば８×８画素）を単位として分離部５１へ順次転送される。
【０１５２】
分離部５１は、転送された８×８画素の領域中における中心の２×２画素に関して、複数の所定方向に関するエッジ成分を算出する。そして、分離部５１は、算出したエッジ成分を所定の閾値と比較して、閾値以上の有効なエッジ成分の総数をカウントし、この総数に基づいて平坦領域であるかまたはエッジ領域であるかを判断する。そして、分離部５１は、平坦領域であると判断した場合には、８×８画素の局所領域を第１補間部１０へ転送し、一方、エッジ領域であると判断した場合には、８×８画素の局所領域を第２補間部１３へ転送する。
【０１５３】
さらに、分離部５１は、平坦領域であるかまたはエッジ領域であるかを示す領域情報を、８×８画素領域における中心の２×２画素単位で全ての領域に関して取得し、調整部５２へ転送する。
【０１５４】
第１補間部１０は、中心の２×２画素に関し、上述したように、Ｒ，Ｂ信号に対しては公知の線形補間処理を、Ｇ信号に対しては公知のキュービック補間処理を、それぞれ行って、欠落する色信号を算出する。そして、第１補間部１０は、算出した補間信号と原信号とを作業用バッファ１１へ出力する。
【０１５５】
一方、第２補間部１３は、上述した第１の実施形態と同様に、中心の２×２画素に対して色相関に基づく補間処理を行い、算出した補間信号と原信号とを作業用バッファ１１へ出力する。
【０１５６】
このような補間処理が全信号に対して完了した後に、制御部１６は、作業用バッファ１１に記憶された三板信号を、所定の局所領域（例えば８×８画素）を単位として検証部１２へ順次転送させる。
【０１５７】
検証部１２は、局所領域内の画素毎に色相を選択して、１３種類の色相クラス（図１４参照）の何れかへ分類する。そして、検証部１２は、画素単位で求められた色相クラスの分布状況に基づいて、該局所領域が単一の色相領域であるかまたは複数の色相領域であるかを判断し、求めた色相情報を調整部５２へ転送する。
【０１５８】
調整部５２は、分離部５１からの平坦領域であるかまたはエッジ領域であるかを示す領域情報と、検証部１２からの局所領域が単一色相であるかまたは複数色相領域であるかを示す色相情報と、に基づいて、再度補間処理を行うか否かを調整する。
【０１５９】
すなわち、調整部５２は、「平坦領域かつ複数色相領域」である場合と、「エッジ領域かつ単一色相領域」である場合と、については再度の補間処理を行うことなくそのままとし、一方、「平坦領域かつ単一色相領域」である場合と、「エッジ領域かつ複数色相領域」である場合と、については再度の補間処理を行うように調整する。
【０１６０】
再度の補間処理を行う場合における「平坦領域かつ単一色相領域」は、最初の補間処理において第１補間部１０による補間が行われた領域である。このときには、調整部５２は、作業用バッファ１１から該当する領域の原信号を抽出して、これを第２補間部１３へ転送し、色相関に基づいて補間処理を行なわせる。
【０１６１】
一方、再度の補間処理を行う場合における「エッジ領域かつ複数色相領域」は、最初の補間処理において第２補間部１３による補間が行われた領域である。このときには、調整部５２は、作業用バッファ１１から該当する領域の原信号を抽出して、これを第１補間部１０へ転送し、線形補間処理またはキュービック補間処理により補間を行わせる。
【０１６２】
これらの２回目の補間処理により生成された補間信号は、作業用バッファ１１へ出力されて、該当する領域の１回目の補間処理により生成された補間信号に対し、上書きされる。
【０１６３】
制御部１６は、検証部１２における検証と、調整部５２における調整作業と、が作業用バッファ１１内の全信号に対して完了した後に、信号処理部１４へ三板信号を転送するように制御する。
【０１６４】
次に図１０（Ａ）を参照して、分離部５１の構成の一例について説明する。
【０１６５】
この例に示す分離部５１は、上記画像用バッファ６に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部６１と、この抽出部６１により抽出された領域の画像データを記憶する領域バッファ６２と、この領域バッファ６２に記憶された領域のエッジ成分を算出するエッジ算出手段たるエッジ抽出部６３と、このエッジ抽出部６３により算出されたエッジ成分を所定の閾値と比較して該閾値以上となる有効エッジ成分の総数をカウントし該総数が領域全体の数の半数以上である場合にはエッジ領域であると判断し半数未満の場合には平坦領域であると判断して判断結果を上記調整部５２に出力するとともに後述する転送部６５へ出力する映像信号分離手段たる映像信号分離部６４と、この映像信号分離部６４による判断が平坦領域である場合には上記第１補間部１０へまたエッジ領域である場合には上記第２の補間部１３へ上記領域バッファ６２からの原信号を転送する映像信号分離手段たる転送部６５と、を有して構成されている。
【０１６６】
また、制御部１６は、上記抽出部６１、エッジ抽出部６３、映像信号分離部６４、転送部６５に対して双方向に接続されており、これらを制御するようになっている。
【０１６７】
次に、このような分離部５１の作用について説明する。
【０１６８】
抽出部６１は、制御部１６の制御に基づいて、画像用バッファ６から所定サイズ（例えば８×８画素）のブロック領域を単位として順次抽出し、領域バッファ６２へ転送する。
【０１６９】
後段におけるエッジ抽出処理が各領域の中央部の２×２画素位置で行われるために、抽出部６１が８×８画素サイズの領域を抽出する際には、Ｘ方向位置またはＹ方向位置を２画素ずつずらして、Ｘ方向またはＹ方向にそれぞれ６画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【０１７０】
エッジ抽出部６３は、制御部１６の制御に基づいて、領域バッファ６２に記憶されている原信号でなる領域の中央部の２×２画素について、ＲＧＢの各信号別にエッジ成分を算出する。
【０１７１】
図１１を参照して、エッジ抽出部６３によるエッジ成分の算出方法について説明する。
【０１７２】
Ｒ信号とＢ信号に関しては上下左右の４方向、Ｇ信号に関しては斜め４５度の４方向、について差分の絶対値をとることにより、エッジ成分の算出を行う。
【０１７３】
まず、Ｒ信号については、図１１（Ａ）に示すように、着目画素に対して１画素間をおいて上下左右に離れた各信号Ｒ０ ，Ｒ３ ，Ｒ１ ，Ｒ２ との差分の絶対値を、次の数式４３に示すようにとる。
【数４３】
Ｅ０ ＝｜Ｒ−Ｒ０ ｜
Ｅ１ ＝｜Ｒ−Ｒ１ ｜
Ｅ２ ＝｜Ｒ−Ｒ２ ｜
Ｅ３ ＝｜Ｒ−Ｒ３ ｜
【０１７４】
また、Ｇ信号については、図１１（Ｂ）に示すように、着目画素に対して左上、右上、左下、右下に位置する各信号Ｇ０ ，Ｇ１ ，Ｇ２ ，Ｇ３ との差分の絶対値を次の数式４４に示すようにとる。
【数４４】
Ｅ０ ＝｜Ｇ−Ｇ０ ｜
Ｅ１ ＝｜Ｇ−Ｇ１ ｜
Ｅ２ ＝｜Ｇ−Ｇ２ ｜
Ｅ３ ＝｜Ｇ−Ｇ３ ｜
【０１７５】
さらに、Ｂ信号については、図１１（Ｃ）に示すように、着目画素に対して１画素間をおいて上下左右に離れた各信号Ｂ０ ，Ｂ３ ，Ｂ１ ，Ｂ２ との差分の絶対値を次の数式４５に示すようにとる。
【数４５】
Ｅ０ ＝｜Ｂ−Ｂ０ ｜
Ｅ１ ＝｜Ｂ−Ｂ１ ｜
Ｅ２ ＝｜Ｂ−Ｂ２ ｜
Ｅ３ ＝｜Ｂ−Ｂ３ ｜
【０１７６】
このようにして、中央部の２×２画素、つまり４画素に対して、各々４方向のエッジ成分の算出を行っているために、求められるエッジ成分は合計１６種類となる。
【０１７７】
こうしてエッジ抽出部６３により求められたエッジ成分は、映像信号分離部６４へ転送される。
【０１７８】
映像信号分離部６４は、受け取ったエッジ成分を所定の閾値、例えば上記Ａ／Ｄ変換器５の出力幅が１２ｂｉｔである場合には２５６、と比較して、この閾値以上となるエッジ成分を有効エッジ成分であるとする。
【０１７９】
この有効エッジ成分の数の合計が全体の過半数である場合、つまり上述したような例においてはエッジ成分の総数が１６であるために有効エッジ成分の数の合計が８以上である場合に、該領域がエッジ領域であると判断する。これに対して、有効エッジ成分の数の合計が全体の過半数に満たない場合（つまり７以下である場合）には、平坦領域であると判断する。
【０１８０】
この映像信号分離部６４による判断結果は、調整部５２へ転送されるとともに、転送部６５へ転送される。
【０１８１】
転送部６５は、映像信号分離部６４から送られてきた判断結果が平坦領域であることを示すものである場合には、上記領域バッファ６２からの原信号を第１補間部１０へ転送し、一方、エッジ領域であることを示すものである場合には、第２補間部１３へ転送する。
【０１８２】
制御部１６は、上述したような処理を画像用バッファ６上の全ての原信号に対して行うように分離部５１を制御する。
【０１８３】
次に、図１２を参照して、第１補間部１０の構成の一例について説明する。
【０１８４】
この第１補間部１０は、上記分離部５１からの映像信号における所定サイズの領域を順次抽出する抽出手段たる抽出部７１と、この抽出部７１により抽出された領域の画像データを記憶する領域バッファ７２と、この領域バッファ７２に記憶された領域について欠落するＲ信号とＢ信号とを公知の線形補間により補間し上記作業用バッファ１１に出力する演算手段たるＲＢ線形補間部７３と、上記領域バッファ７２に記憶された領域について欠落するＧ信号を公知のキュービック補間により補間し上記作業用バッファ１１に出力する演算手段たるＧキュービック補間部７４と、を有して構成されている。
【０１８５】
また、制御部１６は、上記抽出部７１、ＲＢ線形補間部７３、Ｇキュービック補間部７４に対して双方向に接続されており、これらを制御するようになっている。
【０１８６】
次に、このような第１補間部１０の作用について説明する。
【０１８７】
抽出部７１は、制御部１６の制御に基づいて、分離部５１から所定サイズ（例えば８×８画素）のブロック領域を単位として抽出し、領域バッファ７２へ転送する。
【０１８８】
ＲＢ線形補間部７３は、領域バッファ７２に記憶された８×８画素領域の中央部の２×２画素に対して、欠落するＲ信号とＢ信号とを公知の線形補間処理により算出し、作業用バッファ１１へ出力する。
【０１８９】
一方、Ｇキュービック補間部７４は、領域バッファ７２に記憶された８×８画素領域の中央部２×２画素に対して、欠落するＧ信号を公知のキュービック補間処理により算出し、作業用バッファ１１へ出力する。
【０１９０】
続いて、図１３を参照して、検証部１２の構成の一例について説明する。
【０１９１】
この検証部１２は、上記作業用バッファ１１に記憶された三板状態の画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部８１と、この抽出部８１により抽出された領域の画像データを記憶する領域バッファ８２と、この領域バッファ８２に記憶された領域の色相クラスをＲＧＢ値の大小関係に基づき算出する色相算出手段たる色相算出部８３と、この色相算出部８３により算出された色相クラスを示す係数を記憶する係数用バッファ８４と、この係数用バッファ８４に記憶された係数に基づき色相クラスの分布状況を調べて領域が単一の色相領域であるかまたは複数の色相領域であるかを判断しその検証結果を上記調整部５２に出力する色相検証手段たる色相検証部８５と、を有して構成されている。
【０１９２】
また、制御部１６は、上記抽出部８１、色相算出部８３、色相検証部８５に対して双方向に接続されており、これらを制御するようになっている。
【０１９３】
次に、このような検証部１２の作用について説明する。
【０１９４】
抽出部８１は、制御部１６の制御に基づいて、作業用バッファ１１から所定サイズ（例えば８×８画素サイズ）の領域を順次抽出し、領域バッファ８２へ転送する。
【０１９５】
色相算出部８３は、制御部１６の制御に基づいて、この領域バッファ８２に記憶された領域の各画素に関して、ＲＧＢ値の大小関係に基づき色相クラスを算出する。
【０１９６】
図１４を参照して、ＲＧＢ値の大小関係に応じて１３に分類される色相クラスについて説明する。
【０１９７】
図示のように、クラス０はＲ＝Ｇ＝Ｂ、クラス１はＢ＞Ｒ＞Ｇ、クラス２はＲ＝Ｂ＞Ｇ、クラス３はＲ＞Ｂ＞Ｇ、クラス４はＲ＞Ｇ＝Ｂ、クラス５はＲ＞Ｇ＞Ｂ、クラス６はＲ＝Ｇ＞Ｂ、クラス７はＧ＞Ｒ＞Ｂ、クラス８はＧ＞Ｒ＝Ｂ、クラス９はＧ＞Ｂ＞Ｒ、クラス１０はＧ＝Ｂ＞Ｒ、クラス１１はＢ＞Ｇ＞Ｒ、クラス１２はＢ＞Ｒ＝Ｇ、のそれぞれの大小関係が成り立つときに対応している。
【０１９８】
なお、色相算出部８３は、ＲＧＢ値の大小関係を算出するに当たって、微小変化の影響を取り除くための所定の係数、例えばＡ／Ｄ変換器５の出力幅が１２ｂｉｔである場合には３２、で除算した後に、図１２に示すようなＲＧＢ値の大小関係を各画素単位で調査して色相クラスを求めるようになっている。このような３２による除算は、１２ｂｉｔのデータにおける下位５ｂｉｔを取り除くことに当たるために、色相クラスを上位７ｂｉｔのデータに基づいて求めることに相当している。
【０１９９】
このようにして求められた色相クラスによる分類結果は、係数用バッファ８４へ転送されて保存される。
【０２００】
色相検証部８５は、制御部１６の制御に基づいて、係数用バッファ８４に記憶された色相クラスの分布状況を調べ、領域が単一の色相領域であるかまたは複数の色相領域であるかを判断する。この判断は、領域サイズに対して所定の割合（例えば７０％）以上が一つの色相クラスで構成されている場合に、単一の色相であるとする、などにより行われる。
【０２０１】
具体的には、上述した例では８×８画素サイズの領域を想定しているために、色相クラスに分類される画素は６４存在し、その７０％である４５画素以上が同一の色相クラスで構成されている場合に単一の色相領域であると判断し、４５画素未満の場合には複数の色相領域であると判断するようになっている。
【０２０２】
この色相検証部８５による判断結果は、上記調整部５２へ転送される。
【０２０３】
なお、上述では、分離部５１が、エッジ情報に基づいて原信号の分離を行うものとなっていたが、このような構成に限定される必要はなく、例えば、図１０（Ｂ）に示すような相関情報を用いるタイプのものであっても良い。
【０２０４】
図１０（Ｂ）を参照して、分離部５１の構成の他の例について説明する。この図１０（Ｂ）に示す分離部５１の基本的な構成は、上記図１０（Ａ）に示した分離部５１とほぼ同様であるために、同一の構成要件については同一の符号と名称とを付して説明を省略する。
【０２０５】
この図１０（Ｂ）に示す分離部５１は、上記図１０（Ａ）に示した分離部５１におけるエッジ抽出部６３を、相関算出手段たる相関算出部６６に置き換えたものとなっていて、これが差異の要部となっている。
【０２０６】
上記相関算出部６６は、領域バッファ６２から読み込んだ領域における各色信号間の相関関係を、上記第１の実施形態の数式４２に示したような線形式に回帰する。そして、該相関算出部６６は、この線形式における定数項を、上記映像信号分離部６４へ転送する。
【０２０７】
映像信号分離部６４は、上記定数項の絶対値を所定の閾値と比較して、閾値未満となる場合には単一の色相領域であると判断し、閾値以上となる場合には複数の色相領域であると判断する。そして、映像信号分離部６４は、この判断結果を上記調整部５２へ転送するとともに転送部６５へ転送する。
【０２０８】
転送部６５は、映像信号分離部６４から送られてきた判断結果が複数の色相領域であることを示すものである場合には、上記領域バッファ６２からの原信号を第１補間部１０へ転送し、一方、単一の色相領域であることを示すものである場合には、第２補間部１３へ転送する。
【０２０９】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【０２１０】
図１５を参照して、画像処理プログラムによる補間処理について説明する。
【０２１１】
図１５（Ａ）に示すように、処理を開始すると、まず、Ｒａｗデータでなる原信号とヘッダ情報とを読み込む（ステップＳ３１）。
【０２１２】
そして、原信号を所定サイズのブロック領域を単位として抽出し（ステップＳ３２）、図１１に示したように、複数方向のエッジ成分を抽出する（ステップＳ３３）。
【０２１３】
次に、領域が平坦領域であるかまたはエッジ領域であるかを判断するための分離情報として、上記エッジ成分の総数を出力して保存する（ステップＳ３４）。
【０２１４】
その後、所定の閾値Ｔｈとエッジ成分の総数とを比較することにより、領域が平坦領域であるかまたはエッジ領域であるかを判断する（ステップＳ３５）。
【０２１５】
ここで、エッジ成分の総数が閾値Ｔｈ未満であって平坦領域であると判断される場合には、後述するステップＳ４２（図１５（Ｂ）参照）へ移行して、後述するステップＳ４５までの処理を行った後に、次のステップＳ３６へ移行する。
【０２１６】
また、エッジ成分の総数が閾値Ｔｈ以上であってエッジ領域であると判断される場合には、後述するステップＳ４６（図１５（Ｃ）参照）へ移行して、後述するステップＳ４８までの処理を行った後に、次のステップＳ３６へ移行する。
【０２１７】
そして、全信号に対応する全てのブロック領域で抽出が完了したか否かを判断し（ステップＳ３６）、完了していない場合には上記ステップＳ３２へ戻って次のブロック領域の抽出を行う。
【０２１８】
また、全ブロックの抽出が完了している場合には、補間処理後の信号を所定サイズのブロック領域を単位として抽出し（ステップＳ３７）、図１４に示したような１３の色相クラスへ分類することにより色相マップを算出して、該ブロック領域が単一色相領域であるかまたは複数色相領域であるかを定める（ステップＳ３８）。
【０２１９】
ここで、上記ステップＳ３５において出力された平坦領域またはエッジ領域に関する分離情報を入力して、次のステップＳ４０の処理へ転送する（ステップＳ３９）。
【０２２０】
そして、上記ステップＳ３８において算出した色相情報と、このステップＳ３９において転送された分離情報と、に基づいて、再度の補間処理を行うか行わないか、行う場合には図１５（Ｂ）に示す補間処理と、図１５（Ｃ）に示す補間処理との何れを行うか、を選択する（ステップＳ４０）。
【０２２１】
すなわち、再度の補間処理が必要でない「平坦領域かつ複数色相領域」である場合と、「エッジ領域かつ単一色相領域」である場合と、については次のステップＳ４１へ移行し、「エッジ領域かつ複数色相領域」である場合については後述するステップＳ４２（図１５（Ｂ）参照）へ行ってステップＳ４５までの処理を行った後に次のステップＳ４１へ移行し、「平坦領域かつ単一色相領域」である場合については後述するステップＳ４６（図１５（Ｃ）参照）へ行ってステップＳ４８までの処理を行った後に次のステップＳ４１へ移行する。
【０２２２】
そして、全信号に対する全てのブロック領域についての抽出が完了したか否かを判断し（ステップＳ４１）、完了していない場合は上記ステップＳ３７へ戻って次のブロックの抽出を行い、一方、完了した場合にはこの処理を終了する。
【０２２３】
次に、図１５（Ｂ）に示すようなステップＳ４２〜Ｓ４５の補間処理について説明する。
【０２２４】
この補間処理を開始すると、まず、原信号から所定サイズのブロック領域を抽出する（ステップＳ４２）。
【０２２５】
そして、欠落するＲ信号とＢ信号とを線形補間処理により算出するとともに（ステップＳ４３）、欠落するＧ信号をキュービック補間処理により算出する（ステップＳ４４）。
【０２２６】
その後、原信号と補間信号とを合わせて出力し（ステップＳ４５）、上記図１５（Ａ）の処理に戻る。
【０２２７】
続いて、図１５（Ｃ）に示すようなステップＳ４６〜Ｓ４８の補間処理について説明する。
【０２２８】
この補間処理を開始すると、まず、原信号から所定サイズのブロック領域を抽出する（ステップＳ４６）。
【０２２９】
そして、上述した第１の実施形態の数式４２に基づいて、相関関係を線形式として求め、求めた線形式に基づいて欠落する色信号を算出する（ステップＳ４７）。
【０２３０】
その後、原信号と補間信号とを合わせて出力し（ステップＳ４８）、上記図１５（Ａ）の処理に戻る。
【０２３１】
なお、上述では第１補間処理と第２補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部Ｉ／Ｆ部１７を介して、原信号からの分離結果に基づく２つの補間処理だけを行って、再度の補間処理を行わないようにすることも可能である。この場合には、検証部１２の動作と調整部５２の動作とを停止させるように制御部１６が制御すればよい。制御部１６がこれらの動作を停止させるか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得して、これらの情報の何れか１以上に基づいて判断を行う。
【０２３２】
また、上述では、第１補間処理として線形補間またはキュービック補間処理を行う構成を説明しているが、これに限定されるものでもない。例えば、上述した第１の実施形態における第１補間処理と同様に、エッジ方向に基づく補間処理などを行う構成であっても良いし、これに限らず第２補間処理とは異なる特性となるような任意の特性を備えた第１補間処理であれば良い。つまり、第１補間処理と第２補間処理とが異なる特性同士の組み合わせとなれば良いのである。
【０２３３】
さらに、上述では原色ベイヤー（Ｂａｙｅｒ）型の単板ＣＣＤを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板ＣＣＤについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【０２３４】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、互いに異なる特性の第１補間処理と第２補間処理とを適応的に組み合わせて補間を行っているために、全体として高精度な補間信号を得ることができる。
【０２３５】
また、原信号に基づいて第１の補間処理と第２の補間処理とを概略的に選択し、その後に、原信号と補間信号とに基づいて精密な精度検証を行い補間処理をやり直すようにしているために、補間処理をやり直す領域が減少して、処理速度の向上を図ることが可能となる。
【０２３６】
さらに、視覚特性に整合するように、輝度信号に近いＧ信号はキュービック補間によって、その他の色信号であるＲ信号およびＢ信号とは線形補間によって、それぞれ処理しているために、全体としての画質の低下を抑えつつ、高速な補間処理を行うことが可能となる。
【０２３７】
そして、原信号と補間信号とを合わせた欠落する色信号のない三板状態の信号で色相情報を求めているために、高精度な精度検証を行うことが可能となる。また、この色相情報の算出は、計算量が少ないために、高速な処理を行うことが可能となる。
【０２３８】
加えて、原信号の分離を、エッジ情報または相関情報に基づき行っているために、適切な処理を高速に行うことが可能となる。エッジ情報は、エッジ方向を使用する補間方法との親和性が高いために、エッジ方向を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。一方、相関情報は、色相関を使用する補間方法との親和性が高いために、色相関を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。
【０２３９】
また、必要に応じて、原信号からの分離結果に基づく２つの補間処理だけを行って再度の補間処理を行わないようにすることにより、処理時間を短縮して、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【０２４０】
図１６から図１８は本発明の第３の実施形態を示したものであり、図１６は撮像システムの構成を示すブロック図、図１７は検証部の構成を示すブロック図、図１８は画像処理プログラムによる補間処理を示すフローチャートである。
【０２４１】
この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２４２】
この第３の実施形態における撮像システムは、図１６に示すように、上述した第１の実施形態の構成に、選択手段たる選択部９０を追加した構成となっている。
【０２４３】
この選択部９０は、上記検証部１２による検証結果に基づいて、上記作業用バッファ１１に記憶されている第１補間部１０による補間信号と第２補間部１３による補間信号との何れか一方の選択を行い、信号処理部１４へ出力するものである。
【０２４４】
従って、検証部１２は、この第３の実施形態においては、検証結果を第２補間部１３ではなく選択部９０へ出力するものとなっている。
【０２４５】
また、作業用バッファ１１は、補間信号を検証部１２へ出力するとともに、信号処理部１４に代えて選択部９０へ出力するものとなっている。
【０２４６】
その他の部分の基本的な構成については、上述した第１の実施形態とほぼ同様である。
【０２４７】
なお、制御部１６は、この第３の実施形態において追加された選択部９０に対しても双方向に接続されており、これを制御するようになっている。
【０２４８】
このような撮像システムの作用は、基本的に第１の実施形態と同様であるために、主として異なる部分についてのみ、図１６を参照して信号の流れに沿って説明する。
【０２４９】
画像用バッファ６に記憶されている映像信号は、制御部１６の制御に基づいて、第１補間部１０と第２補間部１３とによって各々独立に補間処理が行われる。このときの各補間処理は、上述した第１の実施形態と同様に、第１補間部１０がエッジ方向に基づく補間処理であり、第２補間部１３が色相関に基づく補間処理となっている。
【０２５０】
第１補間部１０による補間信号と第２補間部１３による補間信号とは、作業用バッファ１１へそれぞれ転送されて、上書きされることなく各独立に保存される。
【０２５１】
このような補間処理が全信号に対して完了した後に、制御部１６は、作業用バッファ１１に記憶されている三板信号を、所定の局所領域（例えば８×８画素）を単位として、検証部１２へ順次転送させる。このときの三板信号は、原信号および第１補間部１０による補間信号でなる三板信号と、原信号および第２補間部１３による補間信号でなる三板信号と、の一対である。
【０２５２】
検証部１２は、ＲＧＢの三板信号から輝度信号を求めて、公知のラプラシアン処理などによりエッジ成分を画素単位で算出する。そして、該検証部１２は、所定の閾値以上のエッジ成分を有効なエッジ成分として、局所領域内における有効なエッジ成分の総数を求める。このとき、第１補間部１０による補間信号と第２補間部１３による補間信号とで上記総数が異なる場合には、該検証部１２は、多い方を選択する。こうして検証部１２は、有効なエッジ成分の総数を、選択情報として選択部９０へ転送する。
【０２５３】
選択部９０は、制御部１６の制御に基づいて、検証部１２からの有効なエッジ成分の総数を用いて、第１補間部１０による補間信号と第２補間部１３による補間信号との何れか一方を選択する。すなわち、選択部９０は、有効なエッジ成分の総数が所定の閾値以上である場合にはエッジ領域であるとして第１補間部１０による補間信号を選択し、所定の閾値未満である場合には平坦領域であるとして第２補間部１３による補間信号を選択する。
【０２５４】
制御部１６は、検証部１２による検証と、選択部９０による選択作業と、を作業用バッファ１１内の全信号に対して行わせるように制御し、選択された信号を信号処理部１４へ順次転送する。
【０２５５】
次に、図１７を参照して、検証部１２の構成の一例について説明する。
【０２５６】
この検証部１２は、上記作業用バッファ１１に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部９１と、この抽出部９１により抽出された領域の画像データを記憶する領域バッファ９２と、この領域バッファ９２に記憶された領域のエッジ成分を抽出するエッジ算出手段たるエッジ算出部９３と、このエッジ算出部９３により算出されたエッジ成分を記憶する係数用バッファ９４と、この係数用バッファ９４に記憶されているエッジ成分を所定の閾値と比較して閾値以上となる有効エッジ成分の総数を求め第１補間部１０による補間信号に基づく総数と第２補間部１３による補間信号に基づく総数との内の大きい方の総数を選択情報として選択部９０へ出力するエッジ検証手段たるエッジ検証部９５と、を有して構成されている。
【０２５７】
また、制御部１６は、上記抽出部９１、エッジ算出部９３、エッジ検証部９５に対して双方向に接続されており、これらを制御するようになっている。
【０２５８】
次に、このような検証部１２の作用について説明する。
【０２５９】
抽出部９１は、制御部１６の制御に基づいて、作業用バッファ１１から所定サイズ（例えば８×８画素サイズ）の領域を順次抽出し、領域バッファ９２へ転送する。
【０２６０】
エッジ算出部９３は、制御部１６の制御に基づいて、この領域バッファ９２に記憶された領域の各画素に対して、ＲＧＢ信号値から輝度信号Ｙを次の数式４６に示すように算出する。
【数４６】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【０２６１】
さらに、エッジ算出部９３は、算出した輝度信号Ｙに対して、公知のラプラシアン処理を行うことによりエッジ成分を求める。このときのラプラシアン処理は、３×３フィルタにより行うために、エッジ成分は８×８画素の領域における中央部の６×６画素で得られることになる。従って、抽出部９１が８×８画素サイズの領域を抽出する際には、Ｘ方向位置またはＹ方向位置を６画素ずつずらして、Ｘ方向またはＹ方向にそれぞれ２画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【０２６２】
こうして得られた６×６画素でのエッジ成分は、エッジ算出部９３から係数用バッファ９４に転送される。
【０２６３】
エッジ検証部９５は、制御部１６の制御に基づいて、係数用バッファ９４に記憶されたエッジ成分を順次読み込み、これを所定の閾値、例えば上記Ａ／Ｄ変換器５の出力幅が１２ｂｉｔである場合には２５６、と比較して、この閾値以上となるエッジ成分を有効エッジ成分であるとする。エッジ検証部９５は、こうして有効エッジ成分であると判定されたものの総数を求める。
【０２６４】
このようなエッジ検証部９５における処理は、制御部１６の制御に基づいて、作業用バッファ１１に記憶されている、原信号および第１補間部１０による補間信号と、原信号および第２補間部１３による補間信号と、の一対に対してそれぞれ行われる。
【０２６５】
エッジ検証部９５は、こうして得られた有効エッジ成分の総数の内の、何れか大きい方の総数を、選択情報として選択部９０に転送する。
【０２６６】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【０２６７】
図１８を参照して、画像処理プログラムによる補間処理について説明する。
【０２６８】
処理を開始すると、まず、Ｒａｗデータでなる原信号とヘッダ情報とを読み込む（ステップＳ５１）。
【０２６９】
そして、原信号を所定サイズのブロック領域を単位として抽出し（ステップＳ５２）、上述した第１の実施形態の図４に示したように、複数方向のエッジ成分を抽出して（ステップＳ５３）、各方向別の重み係数を算出する（ステップＳ５４）。
【０２７０】
また、上記ステップＳ５２において抽出したブロック領域について、各方向別の色差信号の補間値を求める（ステップＳ５５）。
【０２７１】
こうして、上記ステップＳ５４において求めた重み係数と、上記ステップＳ５５において求めた補間値と、に基づき、最終的な補間信号を算出して出力する（ステップＳ５６）。
【０２７２】
次に、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断し（ステップＳ５７）、完了していない場合には上記ステップＳ５２へ戻って次のブロック領域の抽出を行い、完了している場合には後述するステップＳ６２へ移行する。
【０２７３】
一方、上記ステップＳ５１で読み込んだ原信号を、所定サイズのブロック領域を単位として抽出し（ステップＳ５８）、上述した第１の実施形態の数式４２に示したように、色信号間の相関関係を線形式として求めて（ステップＳ５９）、求めた線形式に基づいて補間信号を算出し出力する（ステップＳ６０）。
【０２７４】
その後、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断し（ステップＳ６１）、完了していない場合には上記ステップＳ５８へ戻って次のブロック領域の抽出を行い、完了している場合には後述するステップＳ６２へ移行する。
【０２７５】
そして、原信号と、上記ステップＳ５６において出力された補間信号と、上記ステップＳ６０において出力された補間信号と、を所定サイズのブロック領域を単位として抽出し（ステップＳ６２）、有効なエッジ成分の総数を算出する（ステップＳ６３）。
【０２７６】
次に、算出した総数に基づいて、上記ステップＳ５６において出力された補間信号と上記ステップＳ６０において出力された補間信号との何れか一方を選択するための選択情報を求めて、求めた選択情報に基づき補間信号の選択を行う（ステップＳ６４）。
【０２７７】
こうして選択された補間信号を出力し（ステップＳ６５）、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断して（ステップＳ６６）、完了していない場合には上記ステップＳ６２へ戻って次のブロック領域の抽出を行い、完了している場合にはこの処理を終了する。
【０２７８】
なお、上述では第１補間処理と第２補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部Ｉ／Ｆ部１７を介して、何れか一方の補間処理のみを選択することも可能である。この場合には、検証部１２の動作と第２補間部１３の動作とを停止させるとともに選択部９０に対して第１補間部１０による補間信号のみを選択させるように制御部１６が制御すればよい。制御部１６がこれらの動作を停止させるか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得して、これらの情報の何れか１以上に基づいて判断を行う。
【０２７９】
また、上述では原色ベイヤー（Ｂａｙｅｒ）型の単板ＣＣＤを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板ＣＣＤについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【０２８０】
このような第３の実施形態によれば、上述した第１，第２の実施形態とほぼ同様の効果を奏するとともに、エッジ方向に基づく第１の補間処理と色相関に基づく第２の補間処理との両方により補間をそれぞれ行って、精度を検証して何れか一方を適応的に選択しているために、全体として高精度な補間信号を得ることができる。
【０２８１】
また、原信号と第１の補間信号と第２の補間信号との３つを用いて精度を検証し、該検証結果に基づき選択を行っているために、高精度な適応制御を行って、高品位な補間信号を得ることが可能となる。このとき、検証をエッジ情報に基づき行っているために、精度を向上することができる。このエッジ情報は、エッジ方向を使用する補間方法との親和性が高いために、エッジ方向を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。
【０２８２】
さらに、必要に応じて、第２の補間処理１３の動作と検証部１２の動作とを停止させるように制御するとともに、第１の補間処理の信号のみを選択するように選択部９０を制御することにより、処理時間を短縮して、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【０２８３】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０２８４】
【発明の効果】
以上説明したように本発明の撮像システム、画像処理プログラムによれば、映像信号中の欠落する色信号をより高精度に補間することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像システムの構成を示すブロック図。
【図２】上記第１の実施形態におけるカラーフィルタの色配置を示す図。
【図３】上記第１の実施形態における第１補間部の構成を示すブロック図。
【図４】上記第１の実施形態において、エッジ方向に基づく補間方法を説明するための図。
【図５】上記第１の実施形態における検証部の構成を示すブロック図。
【図６】上記第１の実施形態において、色相関関係の線形式への回帰を説明するための図。
【図７】上記第１の実施形態における第２補間部の構成を示すブロック図。
【図８】上記第１の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【図９】本発明の第２の実施形態における撮像システムの構成を示すブロック図。
【図１０】上記第２の実施形態における分離部の一構成例と他の構成例とを示すブロック図。
【図１１】上記第２の実施形態において、エッジ抽出を説明するための図。
【図１２】上記第２の実施形態における第１補間部の構成を示すブロック図。
【図１３】上記第２の実施形態における検証部の構成を示すブロック図。
【図１４】上記第２の実施形態において、色相クラスを説明するための表図。
【図１５】上記第２の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【図１６】本発明の第３の実施形態における撮像システムの構成を示すブロック図。
【図１７】上記第３の実施形態における検証部の構成を示すブロック図。
【図１８】上記第３の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【符号の説明】
１…レンズ系
４…ＣＣＤ（撮像素子）
５…Ａ／Ｄ変換器
６…画像用バッファ
７…測光評価部
８…合焦点検出部
１０…第１補間部（第１の補間手段）
１１…作業用バッファ
１２…検証部（精度検証手段）
１３…第２補間部（第２の補間手段）
１４…信号処理部
１５…出力部
１６…制御部（制御手段、情報取得手段、判断手段）
１７…外部Ｉ／Ｆ部（情報取得手段）
２１…抽出部（抽出手段）
２３…エッジ抽出部（エッジ抽出手段）
２４…重み算出部（重み算出手段）
２６…補間部（補間信号算出手段）
２８…演算部（演算手段）
３１…抽出部（抽出手段）
３３…相関算出部（相関算出手段）
３５…相関検証部（相関検証手段）
４１…抽出部（抽出手段）
４３…相関算出部
４４…演算部
５１…分離部（分離手段）
５２…調整部（調整手段）
６１…抽出部（抽出手段）
６３…エッジ抽出部（エッジ算出手段）
６４…映像信号分離部（映像信号分離手段）
６５…転送部（映像信号分離手段）
６６…相関算出部（相関算出手段）
７１…抽出部（抽出手段）
７３…ＲＢ線形補間部（演算手段）
７４…Ｇキュービック補間部（演算手段）
８１…抽出部（抽出手段）
８３…色相算出部（色相算出手段）
８５…色相検証部（色相検証手段）
９０…選択部（選択手段）
９１…抽出部（抽出手段）
９３…エッジ算出部（エッジ算出手段）
９５…エッジ検証部（エッジ検証手段）
【発明の属する技術分野】
本発明は、複数の補間方法を適応的に組み合わせて欠落する色信号を補間し高品位な映像信号を得る撮像システム、画像処理プログラムに関する。
【０００２】
【従来の技術】
現在、一般向けに市販されているデジタルスチルカメラやビデオカメラなどは、撮像系として単板ＣＣＤを用いたものが主流となっている。この単板ＣＣＤは、前面にカラーフィルタを配置して構成されており、該カラーフィルタの種類によって補色系と原色系とに大別される。
【０００３】
このような構成の単板カラーＣＣＤでは、カラーフィルタの種類が補色系と原色系との何れであっても、１つの画素に１つの色信号を割り当てている点は何れも同様である。従って、１つの画素に対して全ての色信号を得るためには、各画素において欠落している色信号を補間する処理を行うことが必要となる。
【０００４】
このような単板系に限らず、二板式の撮像系や、三板式であっても画素ずらしを行った撮像系においては、同様に、補間処理を行うことが必要になる。
【０００５】
上述したような補間処理としては、例えば特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に、相関またはエッジを検出して、相関の高い方向またはエッジ強度の低い平坦な方向に補間処理を行う技術が記載されている。
【０００６】
また、上記補間処理の他の例としては、特開２０００−２２４６０１号公報に、局所領域における色相関を用いる技術が記載されている。
【０００７】
さらに、特開２０００−１５１９８９号公報には、拡大処理を行う際に、Ｒ信号およびＧ信号に関してはキュービック補間を用い、Ｂ信号に関してはニアレストネイバー補間を用いるなどの、異なる補間方法を組み合わせる技術が記載されている。
【０００８】
一方、上述した特開２０００−２２４６０１号公報には、色相関による補間と線形補間とを適応的に切り換える技術が記載されている。
【０００９】
【特許文献１】
特開平７−２３６１４７号公報
【００１０】
【特許文献２】
特開平８−２９８６７０号公報
【００１１】
【特許文献３】
特開２０００−２２４６０１号公報
【００１２】
【特許文献４】
特開２０００−１５１９８９号公報
【００１３】
【発明が解決しようとする課題】
上記特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に記載されたような方向を選択して補間する手段は、映像信号が単一のエッジ構造で構成される場合には良好に機能するが、テクスチャ画像のように複数のエッジ構造がある場合には方向の選択に失敗して補間精度が低下することがある。
【００１４】
また、上記特開２０００−２２４６０１号公報に記載されたような色相関に基づく補間は、テクスチャのように複数のエッジ構造がある場合でも、それが単一の色相である場合には高精度な補間が可能である。しかし、異なる色相での境界領域では色相関の推定に失敗して、アーティファクトが発生することがある。
【００１５】
そして、上記特開２０００−１５１９８９号公報に記載されたような異なる補間方法を組み合わせる手段は、それぞれが得意とする領域で補間処理を行わせることで、全体としてより高精度な補間が可能となる利点がある一方で、補間処理を如何にうまく切り換え制御するかが課題となる。しかし、この特開２０００−１５１９８９号公報に記載された切換方法は固定的であるために、例えばＢ（青）信号に複雑なエッジ構造がある場合には精度が低下してしまい、各々の補間方法が有するメリットを生かしきれないことがあった。
【００１６】
また、上記特開２０００−２２４６０１号公報に記載のものでは、１つ以上の色信号が欠落する原信号に基づいて補間方法の切り換え制御を行っているために、制御方法が複雑になって、処理時間が長くなるという課題があった。
【００１７】
本発明は上記事情に鑑みてなされたものであり、映像信号中の欠落する色信号をより高精度に補間することができる撮像システム、画像処理プログラムを提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段と、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段と、を具備したものである。
【００１９】
また、第２の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号に係る所定の特性に基づいて該映像信号を第１の映像信号と第２の映像信号とに分離する分離手段と、上記第１の映像信号から上記欠落する色信号を第１の補間方法により補間する第１の補間手段と、上記第２の映像信号から上記欠落する色信号を上記第１の補間手段とは異なる第２の補間方法により補間する第２の補間手段と、上記第１の映像信号の領域については該第１の映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証し上記第２の映像信号の領域については該第２の映像信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記補間精度が充分でないと判断された場合に充分でない補間が上記第１の補間手段により行われたときには上記欠落する色信号を上記第２の補間手段により上記映像信号から再度補間処理させ充分でない補間が上記第２の補間手段により行われたときには上記欠落する色信号を上記第１の補間手段により上記映像信号から再度補間処理させる調整手段と、を具備したものである。
【００２０】
さらに、第３の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段と、上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段と、上記映像信号と上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号との内のより補間精度が高い方の色信号を選択する選択手段と、を具備したものである。
【００２１】
第４の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記第１の補間手段または第２の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内で注目画素から所定方向に関する複数のエッジ強度を抽出するエッジ抽出手段と、上記エッジ強度から正規化された重み係数を算出する重み算出手段と、上記領域内で注目画素から所定方向に関する複数の補間信号を算出する補間信号算出手段と、上記所定方向に関する複数の重み係数と上記所定方向に関する複数の補間信号とに基づいて注目画素における欠落する色信号を算出する演算手段と、を有して構成されたものである。
【００２２】
第５の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記第１の補間手段または第２の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内で注目画素における欠落する色信号を線形補間またはキュービック補間によって算出する演算手段と、を有して構成されたものである。
【００２３】
第６の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記第１の補間手段または第２の補間手段が、上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、上記領域内における各色信号間の相関関係を線形式として求める相関算出手段と、上記映像信号と上記相関関係とに基づいて欠落する色信号を算出する演算手段と、を有して構成されたものである。
【００２４】
第７の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて所定領域毎に各色信号間の相関情報を求める相関算出手段と、上記相関情報に基づいて補間精度を検証する相関検証手段と、を有して構成されたものである。
【００２５】
第８の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて画素毎に色相情報を求める色相算出手段と、上記色相情報に基づいて補間精度を検証する色相検証手段と、を有して構成されたものである。
【００２６】
第９の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記精度検証手段が、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて所定領域毎にエッジ情報を求めるエッジ算出手段と、上記エッジ情報に基づいて補間精度を検証するエッジ検証手段と、を有して構成されたものである。
【００２７】
第１０の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記分離手段が、上記映像信号から所定領域毎にエッジ情報を求めるエッジ算出手段と、上記エッジ情報に基づいて上記映像信号の分離を行う映像信号分離手段と、を有して構成されたものである。
【００２８】
第１１の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記分離手段が、上記映像信号から所定領域毎に各色信号間の相関情報を求める相関算出手段と、上記相関情報に基づいて上記映像信号の分離を行う映像信号分離手段と、を有して構成されたものである。
【００２９】
第１２の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記精度検証手段の動作と上記第２の補間手段の動作とを停止させるように制御し得る制御手段をさらに具備したものである。
【００３０】
第１３の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記精度検証手段の動作と上記調整手段の動作とを停止させるように制御し得る制御手段をさらに具備したものである。
【００３１】
第１４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記第２の補間手段の動作と上記精度検証手段の動作とを停止させるように制御し得るとともにこれらの動作を停止させるときには上記選択手段に対して上記第１の補間手段により補間された色信号のみを選択させるように制御する制御手段をさらに具備したものである。
【００３２】
第１５の発明による撮像システムは、上記第１２から第１４の発明による撮像システムにおいて、上記制御手段が、上記映像信号の画質に係る画質情報と当該撮像システムに設定されている撮影モード情報と手動により設定され得る補間処理の切り換え情報との内の少なくとも１つの情報を取得する情報取得手段と、上記画質情報と撮影モード情報と補間処理の切り換え情報との内の少なくとも１つの情報に基づいて上記動作を停止させるか否かを判断する判断手段と、を有して構成されたものである。
【００３３】
第１６の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段、上記映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段、として機能させるための画像処理プログラムである。
【００３４】
第１７の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記映像信号に係る所定の特性に基づいて該映像信号を第１の映像信号と第２の映像信号とに分離する分離手段、上記第１の映像信号から上記欠落する色信号を第１の補間方法により補間する第１の補間手段、上記第２の映像信号から上記欠落する色信号を上記第１の補間手段とは異なる第２の補間方法により補間する第２の補間手段、上記第１の映像信号の領域については該第１の映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証し上記第２の映像信号の領域については該第２の映像信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記補間精度が充分でないと判断された場合に充分でない補間が上記第１の補間手段により行われたときには上記欠落する色信号を上記第２の補間手段により上記映像信号から再度補間処理させ充分でない補間が上記第２の補間手段により行われたときには上記欠落する色信号を上記第１の補間手段により上記映像信号から再度補間処理させる調整手段、として機能させるための画像処理プログラムである。
【００３５】
第１８の発明による画像処理プログラムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段、上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段、上記映像信号と上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号との内のより補間精度が高い方の色信号を選択する選択手段、として機能させるための画像処理プログラムである。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図８は本発明の第１の実施形態を示したものであり、図１は撮像システムの構成を示すブロック図、図２はカラーフィルタの色配置を示す図、図３は第１補間部の構成を示すブロック図、図４はエッジ方向に基づく補間方法を説明するための図、図５は検証部の構成を示すブロック図、図６は色相関関係の線形式への回帰を説明するための図、図７は第２補間部の構成を示すブロック図、図８は画像処理プログラムによる補間処理を示すフローチャートである。
【００３７】
この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たるＣＣＤ４と、このＣＣＤ４から出力されるアナログの映像信号をデジタル信号へ変換するＡ／Ｄ変換器５と、このＡ／Ｄ変換器５から出力されたデジタルの画像データを一時的に記憶する画像用バッファ６と、この画像用バッファ６に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り２とＣＣＤ４の制御を行う測光評価部７と、上記画像用バッファ６に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するＡＦモータ９を駆動する合焦点検出部８と、この合焦点検出部８により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ９と、上記画像用バッファ６に記憶された画像データに後で詳しく説明するようなエッジ方向に基づく欠落色信号の補間処理を行う第１の補間手段たる第１補間部１０と、この第１補間部１０を介して上記画像用バッファ６から転送される元の画像データと該第１補間部１０により処理された欠落色に係る補間データとを一時的に記憶するとともに後述する第２補間部１３により処理された欠落色に係る補間データを該第１補間部１０により処理された欠落色に係る補間データに上書きして一時的に記憶する作業用バッファ１１と、この作業用バッファ１１に記憶された元の画像データおよび第１補間部１０による補間データに基づいて単一の色相関関係が成立する領域を検証する精度検証手段たる検証部１２と、この検証部１２により単一の色相関関係が成立すると判断された領域について上記画像用バッファ６から元の画像データを読み込んで後で詳しく説明するような色相関に基づく欠落色信号の補間処理を行う第２の補間手段たる第２補間部１３と、この第２補間部１３による処理が終了した後に上記作業用バッファ１１から出力される補間済みの画像データに公知の強調処理や圧縮処理などを行う信号処理部１４と、この信号処理部１４からの画像データを例えばメモリカード等に記録するために出力する出力部１５と、電源スイッチ，シャッタボタン，各種の撮影モードや画質モードを切り替えるためモードスイッチ，補間処理を切り換えるための切換スイッチ等へのインターフェースを備えた情報取得手段たる外部Ｉ／Ｆ部１７と、上記測光評価部７と合焦点検出部８とからデータを取得するとともに上記第１補間部１０，検証部１２，第２補間部１３，信号処理部１４，出力部１５，外部Ｉ／Ｆ部１７と双方向に接続されてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であって情報取得手段と判断手段とを兼ねた制御部１６と、を有して構成されている。
【００３８】
次に、図２を参照して、ＣＣＤ４の前面に配置されているカラーフィルタの色配置について説明する。
【００３９】
本実施形態においては、単板原色系のカラーフィルタを備えた撮像系を想定しており、例えば図２に示すような原色ベイヤー（Ｂａｙｅｒ）型のカラーフィルタが、上記ＣＣＤ４の前面に配置されている。
【００４０】
この原色ベイヤー（Ｂａｙｅｒ）型のカラーフィルタは、図２（Ａ）に示すような、対角方向にＧ（緑）の画素が２つ配置され、それ以外の２画素にＲ（赤）とＢ（青）が各配置されている２×２画素の基本配置を備えており、この基本配置を上下方向および左右方向に２次元的に繰り返してＣＣＤ４上の各画素を覆うことにより、図２（Ｂ）に示すようなフィルタ配置にしたものとなっている。
【００４１】
このように、単板原色系のカラーフィルタを備えた撮像系から得られる映像信号は、各画素の映像信号を構成するべき３色の色信号が、画素位置に応じて２つ欠落（すなわち、配置されるカラーフィルタ以外の色成分の２つが欠落）したものとなっている。
【００４２】
続いて、上記図１に示したような撮像システムにおける信号の流れについて説明する。
【００４３】
この撮像システムは、外部Ｉ／Ｆ部１７を介して、圧縮率や画像サイズなどの画質モード、文字画像撮影や動画撮影などの撮影モード、補間処理の切り換えなどを使用者が設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮影モードに入る。
【００４４】
上記レンズ系１，絞り２，ローパスフィルタ３を介してＣＣＤ４により撮影され出力された映像信号は、Ａ／Ｄ変換器５によりデジタル信号へ変換され、画像用バッファ６へ転送される。
【００４５】
この画像用バッファ６内の映像信号は、その後に、測光評価部７と合焦点検出部８とへ転送される。
【００４６】
測光評価部７は、画像中の輝度レベルを求めて、適正露光となるように絞り２による絞り値やＣＣＤ４の電子シャッタ速度などを制御する。
【００４７】
また、合焦点検出部８は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ９を制御し合焦画像を得る。
【００４８】
このようなプリ撮影モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部１７を介して検出すると、本撮影が行われる。
【００４９】
この本撮影は、測光評価部７により求められた露光条件と合焦点検出部８により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は制御部１６へ転送される。
【００５０】
こうして本撮影が行われると、映像信号が、プリ撮影のときと同様にして、画像用バッファ６へ転送され記憶される。
【００５１】
第１補間部１０は、制御部１６の制御に基づいて、この画像用バッファ６内に記憶された本撮影に係る映像信号を読み出し、エッジ方向に基づく補間処理を行う。上述したように、本実施形態ではＣＣＤ４の前面に原色系のカラーフィルタが配置された単板式の撮像系を想定しているために、１つの画素について２つの色信号が欠落している。従って、この補間処理では、欠落した２つの色信号が生成されて、補間信号として出力されることになる。
【００５２】
そして、第１補間部１０は、この補間処理により得られた補間信号と、上記画像用バッファ６から読み出した原信号とを、作業用バッファ１１へ転送する。こうして、作業用バッファ１１に補間信号と原信号とが記憶されると、１つの画素についてＲＧＢの三信号が揃った三板信号となる。
【００５３】
次に、検証部１２は、制御部１６の制御に基づいて、この作業用バッファ１１内に記憶された三板信号を、所定の局所領域（例えば５×５画素）を単位として順次読み込む。そして、検証部１２は、局所領域における相関関係を線形式として回帰し、単一の色相関関係が成立するか否かを検証して、検証結果を第２補間部１３へ転送する。
【００５４】
第２補間部１３は、制御部１６の制御に基づいて、検証部１２で単一の色相関が成立すると判断された局所領域に対応する原信号を画像用バッファ６から読み込み、色相関に基づく補間処理を行う。
【００５５】
この第２補間部１３による補間信号は、作業用バッファ１１へ転送されて、上記第１補間部１０による補間結果に上書きされるように記録される。これにより、検証部１２によって単一の色相関が成立すると判断された局所領域については、第２補間部１３による補間信号に置き換えられることになる。
【００５６】
制御部１６は、検証部１２による検証と、この検証結果に応じて必要なときにのみ行われる第２補間部１３による補間と、が作業用バッファ１１内の全信号に対して完了した後に、該作業用バッファ１１内の三板信号を信号処理部１４へ転送するように制御する。
【００５７】
信号処理部１４は、制御部１６の制御に基づいて、補間処理後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部１５へ転送する。
【００５８】
出力部１５は、この信号処理部１４からの画像データを例えばメモリカード等に記録するために出力する。
【００５９】
次に図３を参照して、上記第１補間部１０の構成の一例について説明する。
【００６０】
この第１補間部１０は、上記画像用バッファ６に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部２１と、この抽出部２１により抽出された領域の画像データを記憶する領域バッファ２２と、この領域バッファ２２に記憶された領域のエッジ成分を算出するエッジ抽出手段たるエッジ抽出部２３と、このエッジ抽出部２３により算出されたエッジ成分を正規化して重み係数を算出する重み算出手段たる重み算出部２４と、この重み算出部２４により算出された重み係数を記憶する重みバッファ２５と、上記領域バッファ２２に記憶された領域の着目画素に対して補間信号としての色差成分を算出する補間信号算出手段たる補間部２６と、この補間部２６により算出された色差成分を記憶する補間値バッファ２７と、この補間値バッファ２７に記憶された色差成分と上記重みバッファ２５に記憶された重み係数とから着目画素位置における欠落色成分を算出して上記領域バッファ２２と作業用バッファ１１とへ出力する演算手段たる演算部２８と、を有して構成されている。
【００６１】
なお、演算部２８により１つの色に係る欠落成分が算出されると、この算出された欠落色成分を用いて他の色に係る欠落成分の補間を行うために、該演算部２８による算出結果は上記領域バッファ２２にも記憶されるようになっている。
【００６２】
また、上記制御部１６は、上記抽出部２１、エッジ抽出部２３、重み算出部２４、補間部２６、演算部２８に対して双方向に接続されており、これらを制御するようになっている。
【００６３】
このような第１補間部１０の作用について、図４を参照しながら説明する。
【００６４】
抽出部２１は、制御部１６の制御に基づいて、画像用バッファ６から所定サイズ（例えば６×６画素サイズ）の領域を順次抽出し、領域バッファ２２へ転送する。
【００６５】
図４（Ａ）は、この抽出部２１により抽出された６×６画素サイズの領域と、各画素位置における色信号Ｓｉｊ（Ｓ＝Ｒ，Ｇ，Ｂ、Ｘ方向（横方向）の座標ｉ＝０〜５、Ｙ方向（縦方向）の座標ｊ＝０〜５）と、を示している。
【００６６】
第１補間部１０は、このような６×６画素サイズの領域を用いて、中央部の２×２画素位置の補間処理を行うようになっており、この図４に示す例では、Ｒ２２位置の欠落成分Ｇ２２，Ｂ２２と、Ｇ３２位置の欠落成分Ｒ３２，Ｂ３２と、Ｇ２３位置の欠落成分Ｒ２３，Ｂ２３と、Ｂ３３位置の欠落成分Ｒ３３，Ｇ３３と、を算出する。
【００６７】
補間処理が中央部の２×２画素位置で行われるために、抽出部２１が６×６画素サイズの領域を抽出する際には、Ｘ方向位置またはＹ方向位置を２画素ずつずらして、Ｘ方向またはＹ方向にそれぞれ４画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【００６８】
エッジ抽出部２３と補間部２６とは、制御部１６の制御に基づいて、Ｒ２２位置の欠落成分Ｇ２２と、Ｂ３３位置の欠落成分Ｇ３３と、に関する補間処理を先行して行う。
【００６９】
エッジ抽出部２３は、まずＲ２２画素に対して、図４（Ｂ）に示すような周辺画素の値を用い、その上下左右の４方向のエッジ成分を次の数式１に示すように算出して、重み算出部２４へ転送する。
【数１】
Ｅ上＝｜Ｒ２２−Ｒ２０｜＋｜Ｇ２１−Ｇ２３｜
Ｅ下＝｜Ｒ２２−Ｒ２４｜＋｜Ｇ２１−Ｇ２３｜
Ｅ左＝｜Ｒ２２−Ｒ０２｜＋｜Ｇ１２−Ｇ３２｜
Ｅ右＝｜Ｒ２２−Ｒ４２｜＋｜Ｇ１２−Ｇ３２｜
【００７０】
重み算出部２４は、これら４方向のエッジ成分の総和ｔｏｔａｌを次の数式２に示すように求めて、
【数２】
ｔｏｔａｌ＝Ｅ上＋Ｅ下＋Ｅ左＋Ｅ右
上記エッジ抽出部２３により算出された４方向のエッジ成分を、次の数式３に示すように、この総和ｔｏｔａｌで除算して正規化された重み係数を算出し、重みバッファ２５へ転送して記憶させる。
【数３】
Ｗ上＝Ｅ上／ｔｏｔａｌ
Ｗ下＝Ｅ下／ｔｏｔａｌ
Ｗ左＝Ｅ左／ｔｏｔａｌ
Ｗ右＝Ｅ右／ｔｏｔａｌ
【００７１】
一方、補間部２６は、Ｒ２２画素に対して、その上下左右の４方向の色差成分を次の数式４に示すように補間し、補間値バッファ２７へ転送して記憶させる。
【数４】
Ｃｒ上＝Ｇ２１−（Ｒ２２＋Ｒ２０）／２
Ｃｒ下＝Ｇ２３−（Ｒ２２＋Ｒ２４）／２
Ｃｒ左＝Ｇ１２−（Ｒ２２＋Ｒ０２）／２
Ｃｒ右＝Ｇ３２−（Ｒ２２＋Ｒ４２）／２
【００７２】
演算部２８は、制御部１６の制御に基づいて、重みバッファ２５に記憶された重み係数と、補間値バッファ２７に記憶された補間値（色差成分）とを用いて、Ｒ２２位置において欠落する緑成分Ｇ２２を次の数式５に示すように算出し、領域バッファ２２と作業用バッファ１１とへ転送して記憶させる。
【数５】
Ｇ２２＝Ｒ２２＋ΣＣｒｋ ・Ｗｋ （ｋ ＝上，下，左，右）
【００７３】
次に、このＲ２２位置のＧ２２を求めるのと同様にして、Ｂ３３位置のＧ３３を、図４（Ｃ）に示すような周辺画素の値を用いて算出し、領域バッファ２２と作業用バッファ１１とへ転送して記憶させる。
【００７４】
このＧ３３を算出する際の上記数式１〜数式５に各相当する数式６〜数式１０は、次のようになっている。
【数６】
Ｅ上＝｜Ｂ３３−Ｂ３１｜＋｜Ｇ３２−Ｇ３４｜
Ｅ下＝｜Ｂ３３−Ｂ３５｜＋｜Ｇ３２−Ｇ３４｜
Ｅ左＝｜Ｂ３３−Ｂ１３｜＋｜Ｇ２３−Ｇ４３｜
Ｅ右＝｜Ｂ３３−Ｂ５３｜＋｜Ｇ２３−Ｇ４３｜
【数７】
ｔｏｔａｌ＝Ｅ上＋Ｅ下＋Ｅ左＋Ｅ右
【数８】
Ｗ上＝Ｅ上／ｔｏｔａｌ
Ｗ下＝Ｅ下／ｔｏｔａｌ
Ｗ左＝Ｅ左／ｔｏｔａｌ
Ｗ右＝Ｅ右／ｔｏｔａｌ
【数９】
Ｃｂ上＝Ｇ３２−（Ｂ３３＋Ｂ３１）／２
Ｃｂ下＝Ｇ３４−（Ｂ３３＋Ｂ３５）／２
Ｃｂ左＝Ｇ２３−（Ｂ３３＋Ｂ１３）／２
Ｃｂ右＝Ｇ４３−（Ｂ３３＋Ｂ５３）／２
【数１０】
Ｇ３３＝Ｂ３３＋ΣＣｂｋ ・Ｗｋ （ｋ ＝上，下，左，右）
【００７５】
このＧ３３を算出する際の上記Ｇ２２との差異は、上記Ｇ２２の場合は４方向の色差成分がＣｒ成分（Ｇ−Ｒ）となっているのに対して、該Ｇ３３の場合はＣｂ成分（Ｇ−Ｂ）となっている点である。
【００７６】
上述したようなＧ信号に対する補間処理が、６×６画素サイズの領域を順次抽出することによって、画像用バッファ６上の全信号に対して行われ、領域バッファ２２と作業用バッファ１１とには、補間された全Ｇ信号が記憶される。
【００７７】
次に、制御部１６は、再度６×６画素サイズの領域を順次抽出して、エッジ抽出部２３と補間部２６とに対して、Ｇ３２位置の欠落成分Ｒ３２，Ｂ３２と、Ｇ２３位置の欠落成分Ｒ２３，Ｂ２３と、Ｒ２２位置の残りの欠落成分Ｂ２２と、Ｂ３３位置の残りの欠落成分Ｒ３３と、の補間処理を図４（Ｄ）〜図４（Ｇ）に示すように行わせる。これらの補間処理を行う際には、上述したように算出したＧ信号も用いて、処理が行われる。
【００７８】
図４（Ｄ）は、Ｇ２３位置のＲ２３，Ｂ２３を補間する際に用いる周辺画素の様子を示す図である。
【００７９】
まず、Ｒ２３を算出する際の上記数式１〜数式５に各相当する数式１１〜数式１５は、次のようになっている。
【数１１】
Ｅ上左＝｜Ｇ２３−Ｇ０２｜
Ｅ上中＝｜Ｇ２３−Ｇ２２｜
Ｅ上右＝｜Ｇ２３−Ｇ４２｜
Ｅ下左＝｜Ｇ２３−Ｇ０４｜
Ｅ下中＝｜Ｇ２３−Ｇ２４｜
Ｅ下右＝｜Ｇ２３−Ｇ４４｜
【数１２】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
【数１３】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上中＝Ｅ上中／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下中＝Ｅ下中／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数１４】
Ｃｒ上左＝Ｇ０２−Ｒ０２
Ｃｒ上中＝Ｇ２２−Ｒ２２
Ｃｒ上右＝Ｇ４２−Ｒ４２
Ｃｒ下左＝Ｇ０４−Ｒ０４
Ｃｒ下中＝Ｇ２４−Ｒ２４
Ｃｒ下右＝Ｇ４４−Ｒ４４
【数１５】
Ｒ２３＝Ｇ２３−ΣＣｒｋ ・Ｗｋ
（ｋ ＝上左，上中，上右，下左，下中，下右）
【００８０】
また、Ｂ２３を算出する際の上記数式１〜数式５に各相当する数式１６〜数式２０は、次のようになっている。
【数１６】
Ｅ上左＝｜Ｇ２３−Ｇ１１｜
Ｅ上右＝｜Ｇ２３−Ｇ３１｜
Ｅ中左＝｜Ｇ２３−Ｇ１３｜
Ｅ中右＝｜Ｇ２３−Ｇ３３｜
Ｅ下左＝｜Ｇ２３−Ｇ１５｜
Ｅ下右＝｜Ｇ２３−Ｇ３５｜
【数１７】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
【数１８】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ中左＝Ｅ中左／ｔｏｔａｌ
Ｗ中右＝Ｅ中右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数１９】
Ｃｂ上左＝Ｇ１１−Ｂ１１
Ｃｂ上右＝Ｇ３１−Ｂ３１
Ｃｂ中左＝Ｇ１３−Ｂ１３
Ｃｂ中右＝Ｇ３３−Ｂ３３
Ｃｂ下左＝Ｇ１５−Ｂ１５
Ｃｂ下右＝Ｇ３５−Ｂ３５
【数２０】
Ｂ２３＝Ｇ２３−ΣＣｂｋ ・Ｗｋ
（ｋ ＝上左，上右，中左，中右，下左，下右）
【００８１】
次に、図４（Ｅ）は、Ｇ３２位置のＲ３２，Ｂ３２を補間する際に用いる周辺画素の様子を示す図である。
【００８２】
Ｒ３２を算出する際の上記数式１〜数式５に各相当する数式２１〜数式２５は、次のようになっている。
【数２１】
Ｅ上左＝｜Ｇ３２−Ｇ２０｜
Ｅ上右＝｜Ｇ３２−Ｇ４０｜
Ｅ中左＝｜Ｇ３２−Ｇ２２｜
Ｅ中右＝｜Ｇ３２−Ｇ４２｜
Ｅ下左＝｜Ｇ３２−Ｇ２４｜
Ｅ下右＝｜Ｇ３２−Ｇ４４｜
【数２２】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
【数２３】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ中左＝Ｅ中左／ｔｏｔａｌ
Ｗ中右＝Ｅ中右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数２４】
Ｃｒ上左＝Ｇ２０−Ｒ２０
Ｃｒ上右＝Ｇ４０−Ｒ４０
Ｃｒ中左＝Ｇ２２−Ｒ２２
Ｃｒ中右＝Ｇ４２−Ｒ４２
Ｃｒ下左＝Ｇ２４−Ｒ２４
Ｃｒ下右＝Ｇ４４−Ｒ４４
【数２５】
Ｒ３２＝Ｇ３２−ΣＣｒｋ ・Ｗｋ
（ｋ ＝上左，上右，中左，中右，下左，下右）
【００８３】
また、Ｂ３２を算出する際の上記数式１〜数式５に各相当する数式２６〜数式３０は、次のようになっている。
【数２６】
Ｅ上左＝｜Ｇ３２−Ｇ１１｜
Ｅ上中＝｜Ｇ３２−Ｇ３１｜
Ｅ上右＝｜Ｇ３２−Ｇ５１｜
Ｅ下左＝｜Ｇ３２−Ｇ１３｜
Ｅ下中＝｜Ｇ３２−Ｇ３３｜
Ｅ下右＝｜Ｇ３２−Ｇ５３｜
【数２７】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
【数２８】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上中＝Ｅ上中／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下中＝Ｅ下中／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数２９】
Ｃｂ上左＝Ｇ１１−Ｂ１１
Ｃｂ上中＝Ｇ３１−Ｂ３１
Ｃｂ上右＝Ｇ５１−Ｂ５１
Ｃｂ下左＝Ｇ１３−Ｂ１３
Ｃｂ下中＝Ｇ３３−Ｂ３３
Ｃｂ下右＝Ｇ５３−Ｂ５３
【数３０】
Ｂ３２＝Ｇ３２−ΣＣｂｋ ・Ｗｋ
（ｋ ＝上左，上中，上右，下左，下中，下右）
【００８４】
このように、Ｇ２３位置の欠落成分Ｒ２３，Ｂ２３と、Ｇ３２位置の欠落成分Ｒ３２，Ｂ３２と、を補間する際には、６方向の重み係数と補間値（色差成分）とを用いている。
【００８５】
次に、図４（Ｆ）は、Ｒ２２位置のＢ２２を補間する際に用いる周辺画素の様子を示す図である。
【００８６】
Ｂ２２を算出する際の上記数式１〜数式５に各相当する数式３１〜数式３５は、次のようになっている。
【数３１】
Ｅ上左＝｜Ｇ２２−Ｇ１１｜
Ｅ上右＝｜Ｇ２２−Ｇ３１｜
Ｅ下左＝｜Ｇ２２−Ｇ１３｜
Ｅ下右＝｜Ｇ２２−Ｇ３３｜
【数３２】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
【数３３】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数３４】
Ｃｂ上左＝Ｇ１１−Ｂ１１
Ｃｂ上右＝Ｇ３１−Ｂ３１
Ｃｂ下左＝Ｇ１３−Ｂ１３
Ｃｂ下右＝Ｇ３３−Ｂ３３
【数３５】
Ｂ２２＝Ｇ２２−ΣＣｂｋ ・Ｗｋ （ｋ ＝上左，上右，下左，下右）
【００８７】
次に、図４（Ｇ）は、Ｂ３３位置のＲ３３を補間する際に用いる周辺画素の様子を示す図である。
【００８８】
Ｒ３３を算出する際の上記数式１〜数式５に各相当する数式３６〜数式４０は、次のようになっている。
【数３６】
Ｅ上左＝｜Ｇ３３−Ｇ２２｜
Ｅ上右＝｜Ｇ３３−Ｇ４２｜
Ｅ下左＝｜Ｇ３３−Ｇ２４｜
Ｅ下右＝｜Ｇ３３−Ｇ４４｜
【数３７】
ｔｏｔａｌ＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
【数３８】
Ｗ上左＝Ｅ上左／ｔｏｔａｌ
Ｗ上右＝Ｅ上右／ｔｏｔａｌ
Ｗ下左＝Ｅ下左／ｔｏｔａｌ
Ｗ下右＝Ｅ下右／ｔｏｔａｌ
【数３９】
Ｃｒ上左＝Ｇ２２−Ｒ２２
Ｃｒ上右＝Ｇ４２−Ｒ４２
Ｃｒ下左＝Ｇ２４−Ｒ２４
Ｃｒ下右＝Ｇ４４−Ｒ４４
【数４０】
Ｒ３３＝Ｇ３３−ΣＣｒｋ ・Ｗｋ （ｋ ＝上左，上右，下左，下右）
【００８９】
次に、図５を参照して、検証部１２の構成の一例について説明する。
【００９０】
この検証部１２は、上記作業用バッファ１１に記憶された三板状態の画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部３１と、この抽出部３１により抽出された領域の画像データを記憶する領域バッファ３２と、この領域バッファ３２に記憶された領域の色相関を示す線形式を算出する相関算出手段たる相関算出部３３と、この相関算出部３３により算出された線形式における、単一の色相領域であるか否かを判別するためのバイアス項を記憶する係数用バッファ３４と、この係数用バッファ３４に記憶されたバイアス項の絶対値を所定の閾値と比較して閾値以下である場合に対応する領域の位置情報を第２補間部１３へ転送する相関検証手段たる相関検証部３５と、を有して構成されている。
【００９１】
上記制御部１６は、上記抽出部３１、相関算出部３３、相関検証部３５に対して双方向に接続されており、これらを制御するようになっている。
【００９２】
このような検証部１２の作用について、図６を参照しながら説明する。
【００９３】
抽出部３１は、制御部１６の制御に基づいて、作業用バッファ１１から所定サイズの領域（例えば５×５画素サイズの領域）を順次抽出し、領域バッファ３２へ転送する。
【００９４】
相関算出部３３は、制御部１６の制御に基づいて、領域バッファ３２に記憶された領域に対し、ＲＧＢ信号間の相関関係を公知の最小自乗近似に基づいて線形式に回帰する。
【００９５】
すなわち、ＲＧＢの３信号をＳ（Ｓ＝Ｒ，Ｇ，Ｂ）により表記したときに、２つの色信号ＳとＳ’（Ｓ≠Ｓ’）の間に線形な色相関が成立する場合には、次の数式４１に示すような線形式、
【数４１】
Ｓ’＝αＳ＋β
に回帰される。
【００９６】
図６（Ａ）は単一の色相で構成される入力画像を示し、図６（Ｂ）はこの単一の色相で構成される入力画像に対するＲ−Ｇ信号間での色相関関係の線形式への回帰を示している。また、Ｇ−Ｂ信号間での色相関関係の線形式への回帰と、Ｒ−Ｂの信号間での色相関関係の線形式への回帰と、の何れの場合も、この図６（Ｂ）に示したのと同様に行われる。
【００９７】
図６（Ｂ）に示すように、入力画像が単一の色相で構成される場合には、数式４１のバイアス項βは０近傍の値をとる。
【００９８】
これに対して、入力画像が例えば図６（Ｃ）に示すような複数の色相（図示の例では第１の色相の領域Ａと第２の色相の領域Ｂとの２つ）で構成される場合には、図６（Ｄ）に示すように、色相関関係を示す線形式も複数必要となり、これを一つの線形式に回帰すると、バイアス項βは０近傍の値から外れることになる。
【００９９】
従って、入力画像を一つの線形式に回帰した後に、そのバイアス項βを調べることにより、該入力画像（ここでは入力した領域）が単一の色相で構成されるか否かを判別することができる。
【０１００】
このような原理に基づいて、上記相関算出部３３は、数式４１に示したバイアス項βを求め、求めたバイアス項βを係数用バッファ３４へ転送する。
【０１０１】
相関検証部３５は、係数用バッファ３４に記憶されているバイアス項βの絶対値と所定の閾値とを比較して、バイアス項βの絶対値が閾値以下となる場合には、対応する領域の位置情報を第２補間部１３へ転送する。その後に、相関検証部３５が、第２補間部１３での補間処理が完了した旨の情報を制御部１６から受けると、次の領域へ移行して上述したような処理を行う。
【０１０２】
一方、バイアス項βの絶対値が閾値以上である場合には、相関検証部３５は、第２補間部１３へ何も転送をすることなく、次の領域へ移行して上述したような処理を行う。
【０１０３】
検証部１２は、このような処理を、領域を順次移行させながら、作業用バッファ１１上の全信号に対して行う。
【０１０４】
続いて、図７を参照して、第２補間部１３の構成の一例について説明する。
【０１０５】
この第２補間部１３は、上記画像用バッファ６に記憶された画像データの内の上記検証部１２により単一の色相領域と判断された所定サイズの領域を順次抽出する抽出手段たる抽出部４１と、この抽出部４１により抽出された領域の画像データを記憶する領域バッファ４２と、この領域バッファ４２に記憶された領域の色相関を示す線形式を算出する相関算出部４３と、この相関算出部４３により算出された線形式を用いて上記領域バッファ４２に記憶されている原信号から欠落する色信号を算出し上記作業用バッファ１１に出力する演算部４４と、を有して構成されている。
【０１０６】
上記制御部１６は、上記抽出部４１、相関算出部４３、演算部４４に対して双方向に接続されており、これらを制御するようになっている。
【０１０７】
次に、このような第２補間部１３の作用について説明する。
【０１０８】
抽出部４１は、制御部１６の制御に基づいて検証部１２から単一の色相領域と判断される領域の位置情報が転送された場合に、画像用バッファ６からその領域を抽出して領域バッファ４２へ転送する。
【０１０９】
相関算出部４３は、制御部１６の制御に基づいて、領域バッファ４２上の単板状態の原信号から相関関係を線形式として回帰する。
【０１１０】
すなわち、ＲＧＢの３信号をＳ（Ｓ＝Ｒ，Ｇ，Ｂ）により表記し、対象とする領域におけるＳ信号の平均をＡＶ＿Ｓ、分散をＶａｒ＿Ｓとする。２つの色信号ＳとＳ’（Ｓ≠Ｓ’）の間に線形な色相関が成立する場合には、次の数式４２に示すような線形式、
【数４２】
Ｓ’＝（Ｖａｒ＿Ｓ’／Ｖａｒ＿Ｓ）×（Ｓ−ＡＶ＿Ｓ）＋ＡＶ＿Ｓ’
に回帰される。
【０１１１】
相関算出部４３は、この数式４２に示すような線形式を、Ｒ−Ｇ，Ｇ−Ｂ，Ｒ−Ｂの各信号間において求めて、その結果を演算部４４へ転送する。
【０１１２】
演算部４４は、数式４２に示したような線形式と、領域バッファ４２上の原信号とに基づいて、欠落する色信号を算出して作業用バッファ１１へ転送する。
【０１１３】
このとき、上述したように第１補間部１０によって得られて作業用バッファ１１に記憶されている補間値は、この第２補間部１３によって得られた補間値により上書きされることになる。
【０１１４】
演算部４４は、領域内における欠落した色信号を全て算出した後に、処理が完了した旨を制御部１６へ通知する。
【０１１５】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【０１１６】
図８を参照して、画像処理プログラムによる補間処理について説明する。
【０１１７】
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ１）、原信号を所定サイズのブロック領域を単位として抽出する（ステップＳ２）。
【０１１８】
そして、抽出された領域について、上記数式１等に示したようにして各方向別のエッジ成分を算出し（ステップＳ３）、上記数式２、数式３等に示したように各方向別の重み係数を算出する（ステップＳ４）。
【０１１９】
その一方で、抽出された領域について、上記数式４等に示したように各方向別の色差信号の補間値を求める（ステップＳ５）。
【０１２０】
続いて、上記ステップＳ４において求めた重み係数と上記ステップＳ５において求めた補間値とに基づいて、上記数式５等に示したようにＧ信号を算出して出力する（ステップＳ６）。
【０１２１】
このような処理が全信号に対応して抽出される全てのブロック領域で完了したか否かを判断し（ステップＳ７）、完了していない場合は上記ステップＳ２へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【０１２２】
一方、全信号に対応するブロック領域についての処理が完了している場合には、原信号と上記ステップＳ６において出力されたＧ信号とを、所定サイズのブロック領域を単位として抽出する（ステップＳ８）。
【０１２３】
そして、抽出された領域について、各方向別のエッジ成分を算出し（ステップＳ９）、各方向別の重み係数を算出する（ステップＳ１０）。
【０１２４】
その一方で、上記ステップＳ８において抽出された領域について、各方向別の色差信号の補間値を求める（ステップＳ１１）。
【０１２５】
続いて、上記ステップＳ１０において求めた重み係数と、上記ステップＳ１１において求めた補間値とに基づいて、欠落しているＲ信号およびＢ信号を上述と同様に算出し出力する（ステップＳ１２）。
【０１２６】
このような処理が全信号に対応して抽出される全てのブロック領域で完了したか否かを判断し（ステップＳ１３）、完了していない場合には上記ステップＳ８へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【０１２７】
一方、全信号に対応するブロック領域についての処理が完了している場合には、上記ステップＳ６および上記ステップＳ１２において出力された第１補間信号を所定サイズのブロック領域単位で抽出して（ステップＳ１４）、色信号間の相関関係を示す線形式を、上記数式４１に示したように求める（ステップＳ１５）。
【０１２８】
このステップＳ１５により得られた線形式のバイアス項の絶対値と所定の閾値Ｔｈとを比較して（ステップＳ１６）、バイアス項が閾値Ｔｈ以下である場合には、原信号を所定サイズのブロック領域単位で抽出し（ステップＳ１７）、色信号間の相関関係を示す線形式を、上記数式４２に示したように求めて（ステップＳ１８）、この線形式に基づいて欠落する色信号を算出して出力する（ステップＳ１９）。この出力は、上記ステップＳ６で出力されたＧ信号と上記ステップＳ１２で出力されたＲ，Ｂ信号とを上書きすることになる。
【０１２９】
一方、上記ステップＳ１６において、バイアス項が閾値Ｔｈよりも大きい場合、または、上記ステップＳ１９の処理が終了した場合には、全信号に対して抽出される全てのブロック領域での処理が完了したか否かを判断して（ステップＳ２０）、完了していない場合は上記ステップＳ１４へ戻って、次のブロック領域について上述したような処理を繰り返して行う。
【０１３０】
また、全てのブロック領域での処理が完了している場合には、補間信号を出力してから（ステップＳ２１）、この処理を終了する。
【０１３１】
なお、上述では第１補間処理と第２補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部Ｉ／Ｆ部１７を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、あるいは高速処理が必要とされる動画撮影などの撮影モードが選択された場合には、第２補間処理を行うことなく第１補間処理のみを行うようにすることも可能である。この場合には、検証部１２の動作を停止させて、第２補間部１３へ信号が転送されないように、制御部１６が制御すればよい。制御部１６が第２補間処理を行うか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得して、これらの情報の何れか１以上に基づいて判断を行う。
【０１３２】
また、上述では原色ベイヤー（Ｂａｙｅｒ）型の単板ＣＣＤを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板ＣＣＤについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【０１３３】
このとき、映像信号を構成するべき色信号の数として３色を例に挙げているが、これに限らず、より高精度な色再現を行うシステムに採用されるような例えば６色であっても構わないし、広くは２色以上の所定数であれば良い。ただし、メタメリズムによって通常のカラー画像として認識される画像を得るためには、複数である所定数が３、またはそれ以上となる必要があることは公知の通りである。
【０１３４】
このような第１の実施形態によれば、エッジ方向に基づいて補間処理を行う第１補間処理と、色相関に基づいて補間処理を行う第２補間処理と、を適応的に切り換えることができるために、高精度な補間処理を行うことが可能となる。
【０１３５】
また、補間処理の切り換えを、原信号と第１補間信号との両方を用いた欠落する色信号のない三板状態の信号で行っているために、高精度かつ高速な切り換え処理を行うことが可能となる。
【０１３６】
そして、エッジ方向に基づいて補間処理を行うことにより、単一なエッジ構造からなる領域で高精度な補間処理を行うことが可能となる。また、色相関に基づいて補間処理を行うことにより、単一な色相からなる領域で高精度な補間処理を行うことが可能となる。
【０１３７】
さらに、三板状態の信号から相関関係を求めているために、高精度な精度検証を行うことが可能となる。この相関関係は、色相関を使用する補間方法との親和性が高く、色相関を使用する補間方法とそれ以外の補間方法とを切り換え制御するのに適している。
【０１３８】
また、必要に応じて第２の補間処理および精度検証処理を停止させて、第１の補間処理のみ行うことにより、処理時間を短縮し、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【０１３９】
こうして、このような撮像システムによれば、複数の補間手段を適応的に組み合わせているために、高精度な補間処理が可能となる。また、複数の補間手段の切り換え制御に原信号と補間された色信号との両方を組み合わせて使用しているために、高精度かつ高速な切り換えが可能となる。
【０１４０】
図９から図１５は本発明の第２の実施形態を示したものであり、図９は撮像システムの構成を示すブロック図、図１０は分離部の一構成例と他の構成例とを示すブロック図、図１１はエッジ抽出を説明するための図、図１２は第１補間部の構成を示すブロック図、図１３は検証部の構成を示すブロック図、図１４は色相クラスを説明するための表図、図１５は画像処理プログラムによる補間処理を示すフローチャートである。
【０１４１】
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１４２】
この第２の実施形態における撮像システムは、図９に示すように、上述した第１の実施形態の構成に、分離手段たる分離部５１と調整手段たる調整部５２とを追加した構成となっている。
【０１４３】
分離部５１は、上記画像用バッファ６から所定の局所領域の映像信号（原信号）を読み込んで、映像信号に係る所定の特性として、平坦領域であるかエッジ領域であるかを判断し、平坦領域である場合には該局所領域の映像信号を上記第１補間部１０へ、エッジ領域である場合には該局所領域の映像信号を第２補間部１３へ、それぞれ出力するものである。この分離部５１は、平坦領域であるかエッジ領域であるかの領域情報を、さらに調整部５２にも出力するようになっている。
【０１４４】
調整部５２は、分離部５１からの領域情報と、検証部１２からの該局所領域が単一色相であるかまたは複数色相領域であるかの色相情報と、に基づいて、作業用バッファ１１に既に記憶されている補間信号を、第１補間部１０または第２補間部１３に再度補間させて得られる補間信号により置き換えるか否かを調整するものである。
【０１４５】
従って、検証部１２は、この第２の実施形態においては、検証した色相情報を第２補間部１３ではなく調整部５２へ出力するものとなっている。
【０１４６】
また、作業用バッファ１１は、補間信号を検証部１２へ出力するだけでなく、調整部５２へも出力するものとなっている。
【０１４７】
そして、第１補間部１０は、後で図１２を参照して説明するように、Ｒ信号とＢ信号については線形補間を行い、Ｇ信号についてはキュービック補間を行うものとなっており、また、検証部１２は、抽出した領域において画素単位で色相クラスに分類し、その分布状況に基づいて、単一の色相領域であるかまたは複数の色相領域であるかを判断するものとなっている。
【０１４８】
なお、制御部１６は、この第２の実施形態において追加された分離部５１と調整部５２とに対しても双方向に接続されており、これらを制御するようになっている。
【０１４９】
その他の部分の基本的な構成については、上述した第１の実施形態とほぼ同様である。
【０１５０】
このような撮像システムの作用は、基本的に第１の実施形態と同様であるために、主として異なる部分についてのみ、図９を参照して信号の流れに沿って説明する。
【０１５１】
画像用バッファ６に記憶されている映像信号は、制御部１６の制御に基づいて、所定の局所領域（例えば８×８画素）を単位として分離部５１へ順次転送される。
【０１５２】
分離部５１は、転送された８×８画素の領域中における中心の２×２画素に関して、複数の所定方向に関するエッジ成分を算出する。そして、分離部５１は、算出したエッジ成分を所定の閾値と比較して、閾値以上の有効なエッジ成分の総数をカウントし、この総数に基づいて平坦領域であるかまたはエッジ領域であるかを判断する。そして、分離部５１は、平坦領域であると判断した場合には、８×８画素の局所領域を第１補間部１０へ転送し、一方、エッジ領域であると判断した場合には、８×８画素の局所領域を第２補間部１３へ転送する。
【０１５３】
さらに、分離部５１は、平坦領域であるかまたはエッジ領域であるかを示す領域情報を、８×８画素領域における中心の２×２画素単位で全ての領域に関して取得し、調整部５２へ転送する。
【０１５４】
第１補間部１０は、中心の２×２画素に関し、上述したように、Ｒ，Ｂ信号に対しては公知の線形補間処理を、Ｇ信号に対しては公知のキュービック補間処理を、それぞれ行って、欠落する色信号を算出する。そして、第１補間部１０は、算出した補間信号と原信号とを作業用バッファ１１へ出力する。
【０１５５】
一方、第２補間部１３は、上述した第１の実施形態と同様に、中心の２×２画素に対して色相関に基づく補間処理を行い、算出した補間信号と原信号とを作業用バッファ１１へ出力する。
【０１５６】
このような補間処理が全信号に対して完了した後に、制御部１６は、作業用バッファ１１に記憶された三板信号を、所定の局所領域（例えば８×８画素）を単位として検証部１２へ順次転送させる。
【０１５７】
検証部１２は、局所領域内の画素毎に色相を選択して、１３種類の色相クラス（図１４参照）の何れかへ分類する。そして、検証部１２は、画素単位で求められた色相クラスの分布状況に基づいて、該局所領域が単一の色相領域であるかまたは複数の色相領域であるかを判断し、求めた色相情報を調整部５２へ転送する。
【０１５８】
調整部５２は、分離部５１からの平坦領域であるかまたはエッジ領域であるかを示す領域情報と、検証部１２からの局所領域が単一色相であるかまたは複数色相領域であるかを示す色相情報と、に基づいて、再度補間処理を行うか否かを調整する。
【０１５９】
すなわち、調整部５２は、「平坦領域かつ複数色相領域」である場合と、「エッジ領域かつ単一色相領域」である場合と、については再度の補間処理を行うことなくそのままとし、一方、「平坦領域かつ単一色相領域」である場合と、「エッジ領域かつ複数色相領域」である場合と、については再度の補間処理を行うように調整する。
【０１６０】
再度の補間処理を行う場合における「平坦領域かつ単一色相領域」は、最初の補間処理において第１補間部１０による補間が行われた領域である。このときには、調整部５２は、作業用バッファ１１から該当する領域の原信号を抽出して、これを第２補間部１３へ転送し、色相関に基づいて補間処理を行なわせる。
【０１６１】
一方、再度の補間処理を行う場合における「エッジ領域かつ複数色相領域」は、最初の補間処理において第２補間部１３による補間が行われた領域である。このときには、調整部５２は、作業用バッファ１１から該当する領域の原信号を抽出して、これを第１補間部１０へ転送し、線形補間処理またはキュービック補間処理により補間を行わせる。
【０１６２】
これらの２回目の補間処理により生成された補間信号は、作業用バッファ１１へ出力されて、該当する領域の１回目の補間処理により生成された補間信号に対し、上書きされる。
【０１６３】
制御部１６は、検証部１２における検証と、調整部５２における調整作業と、が作業用バッファ１１内の全信号に対して完了した後に、信号処理部１４へ三板信号を転送するように制御する。
【０１６４】
次に図１０（Ａ）を参照して、分離部５１の構成の一例について説明する。
【０１６５】
この例に示す分離部５１は、上記画像用バッファ６に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部６１と、この抽出部６１により抽出された領域の画像データを記憶する領域バッファ６２と、この領域バッファ６２に記憶された領域のエッジ成分を算出するエッジ算出手段たるエッジ抽出部６３と、このエッジ抽出部６３により算出されたエッジ成分を所定の閾値と比較して該閾値以上となる有効エッジ成分の総数をカウントし該総数が領域全体の数の半数以上である場合にはエッジ領域であると判断し半数未満の場合には平坦領域であると判断して判断結果を上記調整部５２に出力するとともに後述する転送部６５へ出力する映像信号分離手段たる映像信号分離部６４と、この映像信号分離部６４による判断が平坦領域である場合には上記第１補間部１０へまたエッジ領域である場合には上記第２の補間部１３へ上記領域バッファ６２からの原信号を転送する映像信号分離手段たる転送部６５と、を有して構成されている。
【０１６６】
また、制御部１６は、上記抽出部６１、エッジ抽出部６３、映像信号分離部６４、転送部６５に対して双方向に接続されており、これらを制御するようになっている。
【０１６７】
次に、このような分離部５１の作用について説明する。
【０１６８】
抽出部６１は、制御部１６の制御に基づいて、画像用バッファ６から所定サイズ（例えば８×８画素）のブロック領域を単位として順次抽出し、領域バッファ６２へ転送する。
【０１６９】
後段におけるエッジ抽出処理が各領域の中央部の２×２画素位置で行われるために、抽出部６１が８×８画素サイズの領域を抽出する際には、Ｘ方向位置またはＹ方向位置を２画素ずつずらして、Ｘ方向またはＹ方向にそれぞれ６画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【０１７０】
エッジ抽出部６３は、制御部１６の制御に基づいて、領域バッファ６２に記憶されている原信号でなる領域の中央部の２×２画素について、ＲＧＢの各信号別にエッジ成分を算出する。
【０１７１】
図１１を参照して、エッジ抽出部６３によるエッジ成分の算出方法について説明する。
【０１７２】
Ｒ信号とＢ信号に関しては上下左右の４方向、Ｇ信号に関しては斜め４５度の４方向、について差分の絶対値をとることにより、エッジ成分の算出を行う。
【０１７３】
まず、Ｒ信号については、図１１（Ａ）に示すように、着目画素に対して１画素間をおいて上下左右に離れた各信号Ｒ０ ，Ｒ３ ，Ｒ１ ，Ｒ２ との差分の絶対値を、次の数式４３に示すようにとる。
【数４３】
Ｅ０ ＝｜Ｒ−Ｒ０ ｜
Ｅ１ ＝｜Ｒ−Ｒ１ ｜
Ｅ２ ＝｜Ｒ−Ｒ２ ｜
Ｅ３ ＝｜Ｒ−Ｒ３ ｜
【０１７４】
また、Ｇ信号については、図１１（Ｂ）に示すように、着目画素に対して左上、右上、左下、右下に位置する各信号Ｇ０ ，Ｇ１ ，Ｇ２ ，Ｇ３ との差分の絶対値を次の数式４４に示すようにとる。
【数４４】
Ｅ０ ＝｜Ｇ−Ｇ０ ｜
Ｅ１ ＝｜Ｇ−Ｇ１ ｜
Ｅ２ ＝｜Ｇ−Ｇ２ ｜
Ｅ３ ＝｜Ｇ−Ｇ３ ｜
【０１７５】
さらに、Ｂ信号については、図１１（Ｃ）に示すように、着目画素に対して１画素間をおいて上下左右に離れた各信号Ｂ０ ，Ｂ３ ，Ｂ１ ，Ｂ２ との差分の絶対値を次の数式４５に示すようにとる。
【数４５】
Ｅ０ ＝｜Ｂ−Ｂ０ ｜
Ｅ１ ＝｜Ｂ−Ｂ１ ｜
Ｅ２ ＝｜Ｂ−Ｂ２ ｜
Ｅ３ ＝｜Ｂ−Ｂ３ ｜
【０１７６】
このようにして、中央部の２×２画素、つまり４画素に対して、各々４方向のエッジ成分の算出を行っているために、求められるエッジ成分は合計１６種類となる。
【０１７７】
こうしてエッジ抽出部６３により求められたエッジ成分は、映像信号分離部６４へ転送される。
【０１７８】
映像信号分離部６４は、受け取ったエッジ成分を所定の閾値、例えば上記Ａ／Ｄ変換器５の出力幅が１２ｂｉｔである場合には２５６、と比較して、この閾値以上となるエッジ成分を有効エッジ成分であるとする。
【０１７９】
この有効エッジ成分の数の合計が全体の過半数である場合、つまり上述したような例においてはエッジ成分の総数が１６であるために有効エッジ成分の数の合計が８以上である場合に、該領域がエッジ領域であると判断する。これに対して、有効エッジ成分の数の合計が全体の過半数に満たない場合（つまり７以下である場合）には、平坦領域であると判断する。
【０１８０】
この映像信号分離部６４による判断結果は、調整部５２へ転送されるとともに、転送部６５へ転送される。
【０１８１】
転送部６５は、映像信号分離部６４から送られてきた判断結果が平坦領域であることを示すものである場合には、上記領域バッファ６２からの原信号を第１補間部１０へ転送し、一方、エッジ領域であることを示すものである場合には、第２補間部１３へ転送する。
【０１８２】
制御部１６は、上述したような処理を画像用バッファ６上の全ての原信号に対して行うように分離部５１を制御する。
【０１８３】
次に、図１２を参照して、第１補間部１０の構成の一例について説明する。
【０１８４】
この第１補間部１０は、上記分離部５１からの映像信号における所定サイズの領域を順次抽出する抽出手段たる抽出部７１と、この抽出部７１により抽出された領域の画像データを記憶する領域バッファ７２と、この領域バッファ７２に記憶された領域について欠落するＲ信号とＢ信号とを公知の線形補間により補間し上記作業用バッファ１１に出力する演算手段たるＲＢ線形補間部７３と、上記領域バッファ７２に記憶された領域について欠落するＧ信号を公知のキュービック補間により補間し上記作業用バッファ１１に出力する演算手段たるＧキュービック補間部７４と、を有して構成されている。
【０１８５】
また、制御部１６は、上記抽出部７１、ＲＢ線形補間部７３、Ｇキュービック補間部７４に対して双方向に接続されており、これらを制御するようになっている。
【０１８６】
次に、このような第１補間部１０の作用について説明する。
【０１８７】
抽出部７１は、制御部１６の制御に基づいて、分離部５１から所定サイズ（例えば８×８画素）のブロック領域を単位として抽出し、領域バッファ７２へ転送する。
【０１８８】
ＲＢ線形補間部７３は、領域バッファ７２に記憶された８×８画素領域の中央部の２×２画素に対して、欠落するＲ信号とＢ信号とを公知の線形補間処理により算出し、作業用バッファ１１へ出力する。
【０１８９】
一方、Ｇキュービック補間部７４は、領域バッファ７２に記憶された８×８画素領域の中央部２×２画素に対して、欠落するＧ信号を公知のキュービック補間処理により算出し、作業用バッファ１１へ出力する。
【０１９０】
続いて、図１３を参照して、検証部１２の構成の一例について説明する。
【０１９１】
この検証部１２は、上記作業用バッファ１１に記憶された三板状態の画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部８１と、この抽出部８１により抽出された領域の画像データを記憶する領域バッファ８２と、この領域バッファ８２に記憶された領域の色相クラスをＲＧＢ値の大小関係に基づき算出する色相算出手段たる色相算出部８３と、この色相算出部８３により算出された色相クラスを示す係数を記憶する係数用バッファ８４と、この係数用バッファ８４に記憶された係数に基づき色相クラスの分布状況を調べて領域が単一の色相領域であるかまたは複数の色相領域であるかを判断しその検証結果を上記調整部５２に出力する色相検証手段たる色相検証部８５と、を有して構成されている。
【０１９２】
また、制御部１６は、上記抽出部８１、色相算出部８３、色相検証部８５に対して双方向に接続されており、これらを制御するようになっている。
【０１９３】
次に、このような検証部１２の作用について説明する。
【０１９４】
抽出部８１は、制御部１６の制御に基づいて、作業用バッファ１１から所定サイズ（例えば８×８画素サイズ）の領域を順次抽出し、領域バッファ８２へ転送する。
【０１９５】
色相算出部８３は、制御部１６の制御に基づいて、この領域バッファ８２に記憶された領域の各画素に関して、ＲＧＢ値の大小関係に基づき色相クラスを算出する。
【０１９６】
図１４を参照して、ＲＧＢ値の大小関係に応じて１３に分類される色相クラスについて説明する。
【０１９７】
図示のように、クラス０はＲ＝Ｇ＝Ｂ、クラス１はＢ＞Ｒ＞Ｇ、クラス２はＲ＝Ｂ＞Ｇ、クラス３はＲ＞Ｂ＞Ｇ、クラス４はＲ＞Ｇ＝Ｂ、クラス５はＲ＞Ｇ＞Ｂ、クラス６はＲ＝Ｇ＞Ｂ、クラス７はＧ＞Ｒ＞Ｂ、クラス８はＧ＞Ｒ＝Ｂ、クラス９はＧ＞Ｂ＞Ｒ、クラス１０はＧ＝Ｂ＞Ｒ、クラス１１はＢ＞Ｇ＞Ｒ、クラス１２はＢ＞Ｒ＝Ｇ、のそれぞれの大小関係が成り立つときに対応している。
【０１９８】
なお、色相算出部８３は、ＲＧＢ値の大小関係を算出するに当たって、微小変化の影響を取り除くための所定の係数、例えばＡ／Ｄ変換器５の出力幅が１２ｂｉｔである場合には３２、で除算した後に、図１２に示すようなＲＧＢ値の大小関係を各画素単位で調査して色相クラスを求めるようになっている。このような３２による除算は、１２ｂｉｔのデータにおける下位５ｂｉｔを取り除くことに当たるために、色相クラスを上位７ｂｉｔのデータに基づいて求めることに相当している。
【０１９９】
このようにして求められた色相クラスによる分類結果は、係数用バッファ８４へ転送されて保存される。
【０２００】
色相検証部８５は、制御部１６の制御に基づいて、係数用バッファ８４に記憶された色相クラスの分布状況を調べ、領域が単一の色相領域であるかまたは複数の色相領域であるかを判断する。この判断は、領域サイズに対して所定の割合（例えば７０％）以上が一つの色相クラスで構成されている場合に、単一の色相であるとする、などにより行われる。
【０２０１】
具体的には、上述した例では８×８画素サイズの領域を想定しているために、色相クラスに分類される画素は６４存在し、その７０％である４５画素以上が同一の色相クラスで構成されている場合に単一の色相領域であると判断し、４５画素未満の場合には複数の色相領域であると判断するようになっている。
【０２０２】
この色相検証部８５による判断結果は、上記調整部５２へ転送される。
【０２０３】
なお、上述では、分離部５１が、エッジ情報に基づいて原信号の分離を行うものとなっていたが、このような構成に限定される必要はなく、例えば、図１０（Ｂ）に示すような相関情報を用いるタイプのものであっても良い。
【０２０４】
図１０（Ｂ）を参照して、分離部５１の構成の他の例について説明する。この図１０（Ｂ）に示す分離部５１の基本的な構成は、上記図１０（Ａ）に示した分離部５１とほぼ同様であるために、同一の構成要件については同一の符号と名称とを付して説明を省略する。
【０２０５】
この図１０（Ｂ）に示す分離部５１は、上記図１０（Ａ）に示した分離部５１におけるエッジ抽出部６３を、相関算出手段たる相関算出部６６に置き換えたものとなっていて、これが差異の要部となっている。
【０２０６】
上記相関算出部６６は、領域バッファ６２から読み込んだ領域における各色信号間の相関関係を、上記第１の実施形態の数式４２に示したような線形式に回帰する。そして、該相関算出部６６は、この線形式における定数項を、上記映像信号分離部６４へ転送する。
【０２０７】
映像信号分離部６４は、上記定数項の絶対値を所定の閾値と比較して、閾値未満となる場合には単一の色相領域であると判断し、閾値以上となる場合には複数の色相領域であると判断する。そして、映像信号分離部６４は、この判断結果を上記調整部５２へ転送するとともに転送部６５へ転送する。
【０２０８】
転送部６５は、映像信号分離部６４から送られてきた判断結果が複数の色相領域であることを示すものである場合には、上記領域バッファ６２からの原信号を第１補間部１０へ転送し、一方、単一の色相領域であることを示すものである場合には、第２補間部１３へ転送する。
【０２０９】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【０２１０】
図１５を参照して、画像処理プログラムによる補間処理について説明する。
【０２１１】
図１５（Ａ）に示すように、処理を開始すると、まず、Ｒａｗデータでなる原信号とヘッダ情報とを読み込む（ステップＳ３１）。
【０２１２】
そして、原信号を所定サイズのブロック領域を単位として抽出し（ステップＳ３２）、図１１に示したように、複数方向のエッジ成分を抽出する（ステップＳ３３）。
【０２１３】
次に、領域が平坦領域であるかまたはエッジ領域であるかを判断するための分離情報として、上記エッジ成分の総数を出力して保存する（ステップＳ３４）。
【０２１４】
その後、所定の閾値Ｔｈとエッジ成分の総数とを比較することにより、領域が平坦領域であるかまたはエッジ領域であるかを判断する（ステップＳ３５）。
【０２１５】
ここで、エッジ成分の総数が閾値Ｔｈ未満であって平坦領域であると判断される場合には、後述するステップＳ４２（図１５（Ｂ）参照）へ移行して、後述するステップＳ４５までの処理を行った後に、次のステップＳ３６へ移行する。
【０２１６】
また、エッジ成分の総数が閾値Ｔｈ以上であってエッジ領域であると判断される場合には、後述するステップＳ４６（図１５（Ｃ）参照）へ移行して、後述するステップＳ４８までの処理を行った後に、次のステップＳ３６へ移行する。
【０２１７】
そして、全信号に対応する全てのブロック領域で抽出が完了したか否かを判断し（ステップＳ３６）、完了していない場合には上記ステップＳ３２へ戻って次のブロック領域の抽出を行う。
【０２１８】
また、全ブロックの抽出が完了している場合には、補間処理後の信号を所定サイズのブロック領域を単位として抽出し（ステップＳ３７）、図１４に示したような１３の色相クラスへ分類することにより色相マップを算出して、該ブロック領域が単一色相領域であるかまたは複数色相領域であるかを定める（ステップＳ３８）。
【０２１９】
ここで、上記ステップＳ３５において出力された平坦領域またはエッジ領域に関する分離情報を入力して、次のステップＳ４０の処理へ転送する（ステップＳ３９）。
【０２２０】
そして、上記ステップＳ３８において算出した色相情報と、このステップＳ３９において転送された分離情報と、に基づいて、再度の補間処理を行うか行わないか、行う場合には図１５（Ｂ）に示す補間処理と、図１５（Ｃ）に示す補間処理との何れを行うか、を選択する（ステップＳ４０）。
【０２２１】
すなわち、再度の補間処理が必要でない「平坦領域かつ複数色相領域」である場合と、「エッジ領域かつ単一色相領域」である場合と、については次のステップＳ４１へ移行し、「エッジ領域かつ複数色相領域」である場合については後述するステップＳ４２（図１５（Ｂ）参照）へ行ってステップＳ４５までの処理を行った後に次のステップＳ４１へ移行し、「平坦領域かつ単一色相領域」である場合については後述するステップＳ４６（図１５（Ｃ）参照）へ行ってステップＳ４８までの処理を行った後に次のステップＳ４１へ移行する。
【０２２２】
そして、全信号に対する全てのブロック領域についての抽出が完了したか否かを判断し（ステップＳ４１）、完了していない場合は上記ステップＳ３７へ戻って次のブロックの抽出を行い、一方、完了した場合にはこの処理を終了する。
【０２２３】
次に、図１５（Ｂ）に示すようなステップＳ４２〜Ｓ４５の補間処理について説明する。
【０２２４】
この補間処理を開始すると、まず、原信号から所定サイズのブロック領域を抽出する（ステップＳ４２）。
【０２２５】
そして、欠落するＲ信号とＢ信号とを線形補間処理により算出するとともに（ステップＳ４３）、欠落するＧ信号をキュービック補間処理により算出する（ステップＳ４４）。
【０２２６】
その後、原信号と補間信号とを合わせて出力し（ステップＳ４５）、上記図１５（Ａ）の処理に戻る。
【０２２７】
続いて、図１５（Ｃ）に示すようなステップＳ４６〜Ｓ４８の補間処理について説明する。
【０２２８】
この補間処理を開始すると、まず、原信号から所定サイズのブロック領域を抽出する（ステップＳ４６）。
【０２２９】
そして、上述した第１の実施形態の数式４２に基づいて、相関関係を線形式として求め、求めた線形式に基づいて欠落する色信号を算出する（ステップＳ４７）。
【０２３０】
その後、原信号と補間信号とを合わせて出力し（ステップＳ４８）、上記図１５（Ａ）の処理に戻る。
【０２３１】
なお、上述では第１補間処理と第２補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部Ｉ／Ｆ部１７を介して、原信号からの分離結果に基づく２つの補間処理だけを行って、再度の補間処理を行わないようにすることも可能である。この場合には、検証部１２の動作と調整部５２の動作とを停止させるように制御部１６が制御すればよい。制御部１６がこれらの動作を停止させるか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得して、これらの情報の何れか１以上に基づいて判断を行う。
【０２３２】
また、上述では、第１補間処理として線形補間またはキュービック補間処理を行う構成を説明しているが、これに限定されるものでもない。例えば、上述した第１の実施形態における第１補間処理と同様に、エッジ方向に基づく補間処理などを行う構成であっても良いし、これに限らず第２補間処理とは異なる特性となるような任意の特性を備えた第１補間処理であれば良い。つまり、第１補間処理と第２補間処理とが異なる特性同士の組み合わせとなれば良いのである。
【０２３３】
さらに、上述では原色ベイヤー（Ｂａｙｅｒ）型の単板ＣＣＤを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板ＣＣＤについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【０２３４】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、互いに異なる特性の第１補間処理と第２補間処理とを適応的に組み合わせて補間を行っているために、全体として高精度な補間信号を得ることができる。
【０２３５】
また、原信号に基づいて第１の補間処理と第２の補間処理とを概略的に選択し、その後に、原信号と補間信号とに基づいて精密な精度検証を行い補間処理をやり直すようにしているために、補間処理をやり直す領域が減少して、処理速度の向上を図ることが可能となる。
【０２３６】
さらに、視覚特性に整合するように、輝度信号に近いＧ信号はキュービック補間によって、その他の色信号であるＲ信号およびＢ信号とは線形補間によって、それぞれ処理しているために、全体としての画質の低下を抑えつつ、高速な補間処理を行うことが可能となる。
【０２３７】
そして、原信号と補間信号とを合わせた欠落する色信号のない三板状態の信号で色相情報を求めているために、高精度な精度検証を行うことが可能となる。また、この色相情報の算出は、計算量が少ないために、高速な処理を行うことが可能となる。
【０２３８】
加えて、原信号の分離を、エッジ情報または相関情報に基づき行っているために、適切な処理を高速に行うことが可能となる。エッジ情報は、エッジ方向を使用する補間方法との親和性が高いために、エッジ方向を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。一方、相関情報は、色相関を使用する補間方法との親和性が高いために、色相関を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。
【０２３９】
また、必要に応じて、原信号からの分離結果に基づく２つの補間処理だけを行って再度の補間処理を行わないようにすることにより、処理時間を短縮して、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【０２４０】
図１６から図１８は本発明の第３の実施形態を示したものであり、図１６は撮像システムの構成を示すブロック図、図１７は検証部の構成を示すブロック図、図１８は画像処理プログラムによる補間処理を示すフローチャートである。
【０２４１】
この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２４２】
この第３の実施形態における撮像システムは、図１６に示すように、上述した第１の実施形態の構成に、選択手段たる選択部９０を追加した構成となっている。
【０２４３】
この選択部９０は、上記検証部１２による検証結果に基づいて、上記作業用バッファ１１に記憶されている第１補間部１０による補間信号と第２補間部１３による補間信号との何れか一方の選択を行い、信号処理部１４へ出力するものである。
【０２４４】
従って、検証部１２は、この第３の実施形態においては、検証結果を第２補間部１３ではなく選択部９０へ出力するものとなっている。
【０２４５】
また、作業用バッファ１１は、補間信号を検証部１２へ出力するとともに、信号処理部１４に代えて選択部９０へ出力するものとなっている。
【０２４６】
その他の部分の基本的な構成については、上述した第１の実施形態とほぼ同様である。
【０２４７】
なお、制御部１６は、この第３の実施形態において追加された選択部９０に対しても双方向に接続されており、これを制御するようになっている。
【０２４８】
このような撮像システムの作用は、基本的に第１の実施形態と同様であるために、主として異なる部分についてのみ、図１６を参照して信号の流れに沿って説明する。
【０２４９】
画像用バッファ６に記憶されている映像信号は、制御部１６の制御に基づいて、第１補間部１０と第２補間部１３とによって各々独立に補間処理が行われる。このときの各補間処理は、上述した第１の実施形態と同様に、第１補間部１０がエッジ方向に基づく補間処理であり、第２補間部１３が色相関に基づく補間処理となっている。
【０２５０】
第１補間部１０による補間信号と第２補間部１３による補間信号とは、作業用バッファ１１へそれぞれ転送されて、上書きされることなく各独立に保存される。
【０２５１】
このような補間処理が全信号に対して完了した後に、制御部１６は、作業用バッファ１１に記憶されている三板信号を、所定の局所領域（例えば８×８画素）を単位として、検証部１２へ順次転送させる。このときの三板信号は、原信号および第１補間部１０による補間信号でなる三板信号と、原信号および第２補間部１３による補間信号でなる三板信号と、の一対である。
【０２５２】
検証部１２は、ＲＧＢの三板信号から輝度信号を求めて、公知のラプラシアン処理などによりエッジ成分を画素単位で算出する。そして、該検証部１２は、所定の閾値以上のエッジ成分を有効なエッジ成分として、局所領域内における有効なエッジ成分の総数を求める。このとき、第１補間部１０による補間信号と第２補間部１３による補間信号とで上記総数が異なる場合には、該検証部１２は、多い方を選択する。こうして検証部１２は、有効なエッジ成分の総数を、選択情報として選択部９０へ転送する。
【０２５３】
選択部９０は、制御部１６の制御に基づいて、検証部１２からの有効なエッジ成分の総数を用いて、第１補間部１０による補間信号と第２補間部１３による補間信号との何れか一方を選択する。すなわち、選択部９０は、有効なエッジ成分の総数が所定の閾値以上である場合にはエッジ領域であるとして第１補間部１０による補間信号を選択し、所定の閾値未満である場合には平坦領域であるとして第２補間部１３による補間信号を選択する。
【０２５４】
制御部１６は、検証部１２による検証と、選択部９０による選択作業と、を作業用バッファ１１内の全信号に対して行わせるように制御し、選択された信号を信号処理部１４へ順次転送する。
【０２５５】
次に、図１７を参照して、検証部１２の構成の一例について説明する。
【０２５６】
この検証部１２は、上記作業用バッファ１１に記憶された画像データから所定サイズの領域を順次抽出する抽出手段たる抽出部９１と、この抽出部９１により抽出された領域の画像データを記憶する領域バッファ９２と、この領域バッファ９２に記憶された領域のエッジ成分を抽出するエッジ算出手段たるエッジ算出部９３と、このエッジ算出部９３により算出されたエッジ成分を記憶する係数用バッファ９４と、この係数用バッファ９４に記憶されているエッジ成分を所定の閾値と比較して閾値以上となる有効エッジ成分の総数を求め第１補間部１０による補間信号に基づく総数と第２補間部１３による補間信号に基づく総数との内の大きい方の総数を選択情報として選択部９０へ出力するエッジ検証手段たるエッジ検証部９５と、を有して構成されている。
【０２５７】
また、制御部１６は、上記抽出部９１、エッジ算出部９３、エッジ検証部９５に対して双方向に接続されており、これらを制御するようになっている。
【０２５８】
次に、このような検証部１２の作用について説明する。
【０２５９】
抽出部９１は、制御部１６の制御に基づいて、作業用バッファ１１から所定サイズ（例えば８×８画素サイズ）の領域を順次抽出し、領域バッファ９２へ転送する。
【０２６０】
エッジ算出部９３は、制御部１６の制御に基づいて、この領域バッファ９２に記憶された領域の各画素に対して、ＲＧＢ信号値から輝度信号Ｙを次の数式４６に示すように算出する。
【数４６】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【０２６１】
さらに、エッジ算出部９３は、算出した輝度信号Ｙに対して、公知のラプラシアン処理を行うことによりエッジ成分を求める。このときのラプラシアン処理は、３×３フィルタにより行うために、エッジ成分は８×８画素の領域における中央部の６×６画素で得られることになる。従って、抽出部９１が８×８画素サイズの領域を抽出する際には、Ｘ方向位置またはＹ方向位置を６画素ずつずらして、Ｘ方向またはＹ方向にそれぞれ２画素ずつ重複するようにしながら、順次抽出を行っていくことになる。
【０２６２】
こうして得られた６×６画素でのエッジ成分は、エッジ算出部９３から係数用バッファ９４に転送される。
【０２６３】
エッジ検証部９５は、制御部１６の制御に基づいて、係数用バッファ９４に記憶されたエッジ成分を順次読み込み、これを所定の閾値、例えば上記Ａ／Ｄ変換器５の出力幅が１２ｂｉｔである場合には２５６、と比較して、この閾値以上となるエッジ成分を有効エッジ成分であるとする。エッジ検証部９５は、こうして有効エッジ成分であると判定されたものの総数を求める。
【０２６４】
このようなエッジ検証部９５における処理は、制御部１６の制御に基づいて、作業用バッファ１１に記憶されている、原信号および第１補間部１０による補間信号と、原信号および第２補間部１３による補間信号と、の一対に対してそれぞれ行われる。
【０２６５】
エッジ検証部９５は、こうして得られた有効エッジ成分の総数の内の、何れか大きい方の総数を、選択情報として選択部９０に転送する。
【０２６６】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、フィルタ情報や画像サイズなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
【０２６７】
図１８を参照して、画像処理プログラムによる補間処理について説明する。
【０２６８】
処理を開始すると、まず、Ｒａｗデータでなる原信号とヘッダ情報とを読み込む（ステップＳ５１）。
【０２６９】
そして、原信号を所定サイズのブロック領域を単位として抽出し（ステップＳ５２）、上述した第１の実施形態の図４に示したように、複数方向のエッジ成分を抽出して（ステップＳ５３）、各方向別の重み係数を算出する（ステップＳ５４）。
【０２７０】
また、上記ステップＳ５２において抽出したブロック領域について、各方向別の色差信号の補間値を求める（ステップＳ５５）。
【０２７１】
こうして、上記ステップＳ５４において求めた重み係数と、上記ステップＳ５５において求めた補間値と、に基づき、最終的な補間信号を算出して出力する（ステップＳ５６）。
【０２７２】
次に、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断し（ステップＳ５７）、完了していない場合には上記ステップＳ５２へ戻って次のブロック領域の抽出を行い、完了している場合には後述するステップＳ６２へ移行する。
【０２７３】
一方、上記ステップＳ５１で読み込んだ原信号を、所定サイズのブロック領域を単位として抽出し（ステップＳ５８）、上述した第１の実施形態の数式４２に示したように、色信号間の相関関係を線形式として求めて（ステップＳ５９）、求めた線形式に基づいて補間信号を算出し出力する（ステップＳ６０）。
【０２７４】
その後、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断し（ステップＳ６１）、完了していない場合には上記ステップＳ５８へ戻って次のブロック領域の抽出を行い、完了している場合には後述するステップＳ６２へ移行する。
【０２７５】
そして、原信号と、上記ステップＳ５６において出力された補間信号と、上記ステップＳ６０において出力された補間信号と、を所定サイズのブロック領域を単位として抽出し（ステップＳ６２）、有効なエッジ成分の総数を算出する（ステップＳ６３）。
【０２７６】
次に、算出した総数に基づいて、上記ステップＳ５６において出力された補間信号と上記ステップＳ６０において出力された補間信号との何れか一方を選択するための選択情報を求めて、求めた選択情報に基づき補間信号の選択を行う（ステップＳ６４）。
【０２７７】
こうして選択された補間信号を出力し（ステップＳ６５）、全信号に対応する全てのブロック領域について抽出が完了したか否かを判断して（ステップＳ６６）、完了していない場合には上記ステップＳ６２へ戻って次のブロック領域の抽出を行い、完了している場合にはこの処理を終了する。
【０２７８】
なお、上述では第１補間処理と第２補間処理とを必ず組み合わせて処理を行っているが、これに限定されるものではない。例えば、外部Ｉ／Ｆ部１７を介して、何れか一方の補間処理のみを選択することも可能である。この場合には、検証部１２の動作と第２補間部１３の動作とを停止させるとともに選択部９０に対して第１補間部１０による補間信号のみを選択させるように制御部１６が制御すればよい。制御部１６がこれらの動作を停止させるか否かを判断する際には、圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、文字画像撮影や動画撮影などのこの撮像システムに設定されている撮影モード情報と、使用者により手動で設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得して、これらの情報の何れか１以上に基づいて判断を行う。
【０２７９】
また、上述では原色ベイヤー（Ｂａｙｅｒ）型の単板ＣＣＤを例にとって説明したが、これに限定されるものでもない。例えば、補色フィルタを備えた単板ＣＣＤについても同様に適用可能であるし、二板式の撮像系や、画素ずらしが行われた三板式の撮像系についても適用可能である。
【０２８０】
このような第３の実施形態によれば、上述した第１，第２の実施形態とほぼ同様の効果を奏するとともに、エッジ方向に基づく第１の補間処理と色相関に基づく第２の補間処理との両方により補間をそれぞれ行って、精度を検証して何れか一方を適応的に選択しているために、全体として高精度な補間信号を得ることができる。
【０２８１】
また、原信号と第１の補間信号と第２の補間信号との３つを用いて精度を検証し、該検証結果に基づき選択を行っているために、高精度な適応制御を行って、高品位な補間信号を得ることが可能となる。このとき、検証をエッジ情報に基づき行っているために、精度を向上することができる。このエッジ情報は、エッジ方向を使用する補間方法との親和性が高いために、エッジ方向を使用する補間方法とそれ以外の補間方法との切り換え制御に適する利点がある。
【０２８２】
さらに、必要に応じて、第２の補間処理１３の動作と検証部１２の動作とを停止させるように制御するとともに、第１の補間処理の信号のみを選択するように選択部９０を制御することにより、処理時間を短縮して、消費電力を低減することが可能となる。このとき、高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などの情報を得るようにしたために、再度の補間処理を行うか否かの制御を自動化することができ、操作性が向上する。また、使用者の意図に基づいて手動により補間処理を切り換えることが可能となるために、処理に関する自由度が向上する。
【０２８３】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０２８４】
【発明の効果】
以上説明したように本発明の撮像システム、画像処理プログラムによれば、映像信号中の欠落する色信号をより高精度に補間することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像システムの構成を示すブロック図。
【図２】上記第１の実施形態におけるカラーフィルタの色配置を示す図。
【図３】上記第１の実施形態における第１補間部の構成を示すブロック図。
【図４】上記第１の実施形態において、エッジ方向に基づく補間方法を説明するための図。
【図５】上記第１の実施形態における検証部の構成を示すブロック図。
【図６】上記第１の実施形態において、色相関関係の線形式への回帰を説明するための図。
【図７】上記第１の実施形態における第２補間部の構成を示すブロック図。
【図８】上記第１の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【図９】本発明の第２の実施形態における撮像システムの構成を示すブロック図。
【図１０】上記第２の実施形態における分離部の一構成例と他の構成例とを示すブロック図。
【図１１】上記第２の実施形態において、エッジ抽出を説明するための図。
【図１２】上記第２の実施形態における第１補間部の構成を示すブロック図。
【図１３】上記第２の実施形態における検証部の構成を示すブロック図。
【図１４】上記第２の実施形態において、色相クラスを説明するための表図。
【図１５】上記第２の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【図１６】本発明の第３の実施形態における撮像システムの構成を示すブロック図。
【図１７】上記第３の実施形態における検証部の構成を示すブロック図。
【図１８】上記第３の実施形態における画像処理プログラムによる補間処理を示すフローチャート。
【符号の説明】
１…レンズ系
４…ＣＣＤ（撮像素子）
５…Ａ／Ｄ変換器
６…画像用バッファ
７…測光評価部
８…合焦点検出部
１０…第１補間部（第１の補間手段）
１１…作業用バッファ
１２…検証部（精度検証手段）
１３…第２補間部（第２の補間手段）
１４…信号処理部
１５…出力部
１６…制御部（制御手段、情報取得手段、判断手段）
１７…外部Ｉ／Ｆ部（情報取得手段）
２１…抽出部（抽出手段）
２３…エッジ抽出部（エッジ抽出手段）
２４…重み算出部（重み算出手段）
２６…補間部（補間信号算出手段）
２８…演算部（演算手段）
３１…抽出部（抽出手段）
３３…相関算出部（相関算出手段）
３５…相関検証部（相関検証手段）
４１…抽出部（抽出手段）
４３…相関算出部
４４…演算部
５１…分離部（分離手段）
５２…調整部（調整手段）
６１…抽出部（抽出手段）
６３…エッジ抽出部（エッジ算出手段）
６４…映像信号分離部（映像信号分離手段）
６５…転送部（映像信号分離手段）
６６…相関算出部（相関算出手段）
７１…抽出部（抽出手段）
７３…ＲＢ線形補間部（演算手段）
７４…Ｇキュービック補間部（演算手段）
８１…抽出部（抽出手段）
８３…色相算出部（色相算出手段）
８５…色相検証部（色相検証手段）
９０…選択部（選択手段）
９１…抽出部（抽出手段）
９３…エッジ算出部（エッジ算出手段）
９５…エッジ検証部（エッジ検証手段）
Claims (18)
- 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段と、
上記映像信号と上記第１の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段と、
上記補間精度が充分でないと判断された場合に、上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段と、
を具備したことを特徴とする撮像システム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
上記映像信号に係る所定の特性に基づいて、該映像信号を第１の映像信号と第２の映像信号とに分離する分離手段と、
上記第１の映像信号から上記欠落する色信号を第１の補間方法により補間する第１の補間手段と、
上記第２の映像信号から上記欠落する色信号を上記第１の補間手段とは異なる第２の補間方法により補間する第２の補間手段と、
上記第１の映像信号の領域については該第１の映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証し、上記第２の映像信号の領域については該第２の映像信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段と、
上記補間精度が充分でないと判断された場合に、充分でない補間が上記第１の補間手段により行われたときには上記欠落する色信号を上記第２の補間手段により上記映像信号から再度補間処理させ、充分でない補間が上記第２の補間手段により行われたときには上記欠落する色信号を上記第１の補間手段により上記映像信号から再度補間処理させる調整手段と、
を具備したことを特徴とする撮像システム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段と、
上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段と、
上記映像信号と上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段と、
上記第１の補間手段により補間された色信号と、上記第２の補間手段により補間された色信号と、の内の、より補間精度が高い方の色信号を選択する選択手段と、
を具備したことを特徴とする撮像システム。 - 上記第１の補間手段または第２の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、
上記領域内で注目画素から所定方向に関する複数のエッジ強度を抽出するエッジ抽出手段と、
上記エッジ強度から正規化された重み係数を算出する重み算出手段と、
上記領域内で注目画素から所定方向に関する複数の補間信号を算出する補間信号算出手段と、
上記所定方向に関する複数の重み係数と、上記所定方向に関する複数の補間信号と、に基づいて、注目画素における欠落する色信号を算出する演算手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。 - 上記第１の補間手段または第２の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、
上記領域内で注目画素における欠落する色信号を線形補間またはキュービック補間によって算出する演算手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。 - 上記第１の補間手段または第２の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽出する抽出手段と、
上記領域内における各色信号間の相関関係を線形式として求める相関算出手段と、
上記映像信号と上記相関関係とに基づいて、欠落する色信号を算出する演算手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。 - 上記精度検証手段は、
上記映像信号と、上記第１の補間手段により補間された色信号と、に基づいて、所定領域毎に各色信号間の相関情報を求める相関算出手段と、
上記相関情報に基づいて補間精度を検証する相関検証手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。 - 上記精度検証手段は、
上記映像信号と、上記第１の補間手段により補間された色信号と、に基づいて、画素毎に色相情報を求める色相算出手段と、
上記色相情報に基づいて補間精度を検証する色相検証手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。 - 上記精度検証手段は、
上記映像信号と、上記第１の補間手段により補間された色信号と、に基づいて、所定領域毎にエッジ情報を求めるエッジ算出手段と、
上記エッジ情報に基づいて補間精度を検証するエッジ検証手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。 - 上記分離手段は、
上記映像信号から所定領域毎にエッジ情報を求めるエッジ算出手段と、
上記エッジ情報に基づいて上記映像信号の分離を行う映像信号分離手段と、
を有して構成されたものであることを特徴とする請求項２に記載の撮像システム。 - 上記分離手段は、
上記映像信号から所定領域毎に各色信号間の相関情報を求める相関算出手段と、
上記相関情報に基づいて上記映像信号の分離を行う映像信号分離手段と、
を有して構成されたものであることを特徴とする請求項２に記載の撮像システム。 - 上記精度検証手段の動作と、上記第２の補間手段の動作と、を停止させるように制御し得る制御手段をさらに具備したことを特徴とする請求項１に記載の撮像システム。
- 上記精度検証手段の動作と、上記調整手段の動作と、を停止させるように制御し得る制御手段をさらに具備したことを特徴とする請求項２に記載の撮像システム。
- 上記第２の補間手段の動作と、上記精度検証手段の動作と、を停止させるように制御し得るとともに、これらの動作を停止させるときには、上記選択手段に対して上記第１の補間手段により補間された色信号のみを選択させるように制御する制御手段をさらに具備したことを特徴とする請求項３に記載の撮像システム。
- 上記制御手段は、
上記映像信号の画質に係る画質情報と、当該撮像システムに設定されている撮影モード情報と、手動により設定され得る補間処理の切り換え情報と、の内の少なくとも１つの情報を取得する情報取得手段と、
上記画質情報と撮影モード情報と補間処理の切り換え情報との内の少なくとも１つの情報に基づいて、上記動作を停止させるか否かを判断する判断手段と、
を有して構成されたものであることを特徴とする請求項１２、請求項１３、または請求項１４に記載の撮像システム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、
上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段、
上記映像信号と上記第１の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段、
上記補間精度が充分でないと判断された場合に、上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段、
として機能させるための画像処理プログラム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、
上記映像信号に係る所定の特性に基づいて、該映像信号を第１の映像信号と第２の映像信号とに分離する分離手段、
上記第１の映像信号から上記欠落する色信号を第１の補間方法により補間する第１の補間手段、
上記第２の映像信号から上記欠落する色信号を上記第１の補間手段とは異なる第２の補間方法により補間する第２の補間手段、
上記第１の映像信号の領域については該第１の映像信号と上記第１の補間手段により補間された色信号とに基づいて補間精度を検証し、上記第２の映像信号の領域については該第２の映像信号と上記第２の補間手段により補間された色信号とに基づいて補間精度を検証する精度検証手段、
上記補間精度が充分でないと判断された場合に、充分でない補間が上記第１の補間手段により行われたときには上記欠落する色信号を上記第２の補間手段により上記映像信号から再度補間処理させ、充分でない補間が上記第２の補間手段により行われたときには上記欠落する色信号を上記第１の補間手段により上記映像信号から再度補間処理させる調整手段、
として機能させるための画像処理プログラム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、をコンピュータにより処理するための画像処理プログラムであって、コンピュータを、
上記欠落する色信号を第１の補間方法により上記映像信号から補間する第１の補間手段、
上記欠落する色信号を上記第１の補間方法とは異なる第２の補間方法により上記映像信号から補間する第２の補間手段、
上記映像信号と上記第１の補間手段により補間された色信号と上記第２の補間手段により補間された色信号とに基づいて、補間精度を検証する精度検証手段、上記第１の補間手段により補間された色信号と、上記第２の補間手段により補間された色信号と、の内の、より補間精度が高い方の色信号を選択する選択手段、
として機能させるための画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003013863A JP4225795B2 (ja) | 2003-01-22 | 2003-01-22 | 撮像システム、画像処理プログラム |
| US10/543,079 US7570291B2 (en) | 2003-01-22 | 2004-01-20 | Imaging system and image processing program |
| PCT/JP2004/000395 WO2004066637A1 (ja) | 2003-01-22 | 2004-01-20 | 撮像システムおよび画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003013863A JP4225795B2 (ja) | 2003-01-22 | 2003-01-22 | 撮像システム、画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004266323A true JP2004266323A (ja) | 2004-09-24 |
| JP4225795B2 JP4225795B2 (ja) | 2009-02-18 |
Family
ID=32767371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003013863A Expired - Fee Related JP4225795B2 (ja) | 2003-01-22 | 2003-01-22 | 撮像システム、画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7570291B2 (ja) |
| JP (1) | JP4225795B2 (ja) |
| WO (1) | WO2004066637A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8115834B2 (en) | 2006-10-23 | 2012-02-14 | Olympus Corporation | Image processing device, image processing program and image processing method |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596273B2 (en) * | 2004-04-19 | 2009-09-29 | Fujifilm Corporation | Image processing method, image processing apparatus, and image processing program |
| JP5391635B2 (ja) * | 2008-10-06 | 2014-01-15 | 富士通株式会社 | 解析装置、データ保存方法およびデータ保存プログラム |
| JP2011041210A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 信号処理装置、撮像装置及び信号処理方法 |
| JP2014123787A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、画像処理方法、および、プログラム |
| US9715735B2 (en) * | 2014-01-30 | 2017-07-25 | Flipboard, Inc. | Identifying regions of free space within an image |
| US10416576B2 (en) * | 2016-09-14 | 2019-09-17 | Canon Kabushiki Kaisha | Optical system for use in stage control |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| US5506619A (en) * | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JP4016470B2 (ja) * | 1997-12-09 | 2007-12-05 | カシオ計算機株式会社 | カラー撮像装置及びカラー画像補正方法 |
| JP4032200B2 (ja) | 1998-11-06 | 2008-01-16 | セイコーエプソン株式会社 | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP4371469B2 (ja) * | 1999-06-07 | 2009-11-25 | 株式会社ルネサステクノロジ | 画素データ処理装置および画素データ処理方法 |
| US7053944B1 (en) * | 1999-10-01 | 2006-05-30 | Intel Corporation | Method of using hue to interpolate color pixel signals |
| JP4308473B2 (ja) * | 2000-04-12 | 2009-08-05 | 株式会社リコー | 画像信号処理方法及び画像信号処理装置、並びに画像信号処理システム |
| JP4055927B2 (ja) * | 2000-08-25 | 2008-03-05 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
| JP3862506B2 (ja) * | 2001-02-06 | 2006-12-27 | キヤノン株式会社 | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 |
| JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
| US7015961B2 (en) * | 2002-08-16 | 2006-03-21 | Ramakrishna Kakarala | Digital image system and method for combining demosaicing and bad pixel correction |
-
2003
- 2003-01-22 JP JP2003013863A patent/JP4225795B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-20 US US10/543,079 patent/US7570291B2/en active Active
- 2004-01-20 WO PCT/JP2004/000395 patent/WO2004066637A1/ja active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8115834B2 (en) | 2006-10-23 | 2012-02-14 | Olympus Corporation | Image processing device, image processing program and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| US20060132629A1 (en) | 2006-06-22 |
| WO2004066637A1 (ja) | 2004-08-05 |
| JP4225795B2 (ja) | 2009-02-18 |
| US7570291B2 (en) | 2009-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
| JP3899118B2 (ja) | 撮像システム、画像処理プログラム | |
| JP4628937B2 (ja) | カメラシステム | |
| US7253836B1 (en) | Digital camera, storage medium for image signal processing, carrier wave and electronic camera | |
| JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP3934597B2 (ja) | 撮像システムおよび画像処理プログラム | |
| JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
| US20030174230A1 (en) | Digital camera | |
| JP2004128985A (ja) | 撮像システム、再生システム、撮像プログラム、再生プログラム | |
| JP2006121612A (ja) | 撮像装置 | |
| WO2006004151A1 (ja) | 信号処理システム及び信号処理プログラム | |
| JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
| JPWO2007049418A1 (ja) | 画像処理システム、画像処理プログラム | |
| JP2001169160A (ja) | デジタルカメラおよびデジタルカメラにおける画像表示方法 | |
| WO2007043325A1 (ja) | 画像処理システム、画像処理プログラム | |
| WO2008150017A1 (ja) | 信号処理方法および信号処理装置 | |
| JPH10248068A (ja) | 撮像装置及び画像処理装置 | |
| JP4959237B2 (ja) | 撮像システム及び撮像プログラム | |
| JP4225795B2 (ja) | 撮像システム、画像処理プログラム | |
| JP2006180210A (ja) | 撮像装置および方法、並びにプログラム | |
| JP2007027943A (ja) | 撮像装置、プログラムおよびシェーディング処理方法 | |
| KR101612853B1 (ko) | 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
| JP2004221650A (ja) | 電子カメラ | |
| JP4243412B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP2005051393A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4225795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |