JP2006187004A - 画像信号処理装置 - Google Patents

Abstract

【課題】画像信号処理装置における機能ブロックを単純化し、データバスの数を削減するために、データバスを併合した柔軟で集約されたデータバスハードウェアを有する高機能の画像信号処理装置を提供する。
【解決手段】画像信号処理装置は、生の画像信号を処理し、非線形フィルタリング部、色空間変換部、幾何学的変換部、線形フィルタリング部及び利得調整部によって、併合して集約するデータパス部と、生の画像信号及びデータパス部からの処理信号が供給され、データパス部の非線形フィルタリング部、色空間変換部、幾何学的変換部、線形フィルタリング部、利得調整部のための複数の調整信号を生成する制御及び判定部とを備える。
【選択図】図１

Description

本発明は、画像信号処理装置に関し、特に、自動ホワイトバランス、自動露出、傷補正、ガンマ補正等の複数のデジタル画像処理をサポートする柔軟なデータパスを備え、カメラのためのデジタルシグナルプロセッサとして実現するのに適した画像信号処理装置に関する。

カメラ装置は、様々な構成によって実現されている。これらの構成は、処理の選択、処理のシーケンス、色空間、処理する成分、他のオプション機能によって異なる。更に、カメラ装置は、様々な方法で実現することができる。図４は、従来のカメラ装置の構成を示すブロック図である。図４に示す構成は、従来の画像処理を説明するための、処理機能及びシーケンスの単なる一例である。

図４において、カメラ装置の信号の流れは、通常、信号処理のためのデータパスと、制御のための非データパスとの２つの種類に分類される。従来のカメラ処理装置のデータパスは、通常、制御機能と組み合わされ、あるいは一体とされている。各データパスは、局所的な制御ブロックによってそれぞれ制御され、カメラ装置全体は、複数の局所的な制御ブロックの接続によって構成されている。これらの局所的な制御ブロック間には、強い関係又は連携は存在しない。これは、従来のカメラ装置が、アナログバイポーラ集積回路（以下、ＩＣという。）によって構成された前世代のカメラに基づいて設計されているためである。これらのカメラＩＣは、アナログの局所的な制御ブロック（analog local control blocks）の接続によって設計されている。更に、これらの局所的な制御ブロックにより、各機能ブロックの処理の理解及び独立した各機能ブロックの設計を容易にしている。

図４に示すカメラ装置は、撮像素子（図示せず）からの元のデータに対し、欠陥位置データ６２によって傷補正を実行する傷補正ブロック６１と、傷補正ブロック６１からのデータに対し、シェーディングテーブルデータ６４によってシェーディング補正を実行するシェーディング補正ブロック６３と、シェーディング補正ブロック６３からのデータを赤緑青（ＲＧＢ）データ、あるいは色差信号（ＣｂとＣｒ）及び輝度信号（Ｙ）の色データに変換する変換ブロック６５とを備える。後続の処理は、これらの色空間上で行われる。

カメラ装置は、更に、撮像素子又はアナログ／デジタル変換器（以下、Ａ／Ｄ変換器という。）等によって生じる雑音を、線形又は非線形フィルタ、例えばメジアンフィルタを用いて抑圧する雑音除去ブロック６６と、輪郭強調（又はアパーチャ補正）を実行する輪郭強調ブロック６７と、各色成分の利得を、明るさを調整するように制御する自動露出（以下、ＡＥという。）ブロック６８と、輪郭強調ブロック６７の出力信号がライン６９を介して供給され、出力信号をライン７２を介してＡＥブロック６８に出力する露出測定ブロック７０とを備える。露出測定ブロック７０の出力信号は、更に、絞り／シャッタ制御ブロック７１に供給され、絞り／シャッタ制御ブロック７１は、絞りアクチュエータ及びシャッタ速度制御のための信号７３をセンサモジュール（図示せず）に出力する。

図４において、自動ホワイトバランス（以下、ＡＷＢという。）ブロック７４が設けられられており、ＡＷＢブロック７４は、ＡＥブロック６８の出力信号が供給され、現在の画像の色特性の測定結果に基づいて、ホワイトバランスを調整する。ＡＷＢブロック７４は、色特性の推定を行う色推定ブロック８６を備えている。このＡＷＢブロック７４は、色推定ブロック８６からの結果に基づいて、適切な色温度を選択する。ＡＷＢブロック７４に、様々なシーンに対する適応性を向上させるために、判定部を組み込むことができるが、複雑になってしまう。

ＡＥブロック６８の出力信号は、更に、ライン７５を介してオートフォーカス（以下、ＡＦという。）抽出ブロック７６に供給され、ＡＦ抽出ブロック７６は、フォーカスをし制御するために、高い周波数成分をハイパスフィルタ又はフーリエ変換部によって解析する。ＡＦ抽出ブロック７６は、信号をＡＦ制御ブロック７７に出力し、ＡＦ制御ブロック７７は、制御信号７８を生成してレンズモジュール（図示せず）に供給する。

ＡＷＢブロック７４は、信号をガンマ補正ブロック７９に出力し、ガンマ補正ブロック７９は、この信号に対し、ガンマ補償の特性を決定するガンマテーブル８０を用いてガンマ補正を行う。オプションとして、特殊効果ブロック８１は、ある特殊効果をかける。そして、特殊効果ブロック８１は、信号を利得補正ブロック８２に出力し、利得補正ブロック８２は、信号８３をカメラ装置から出力される結果として、次段に出力する。

カメラ装置は、更に、中央処理装置／デジタルシグナルプロセッサ（以下、ＣＰＵ／ＤＳＰという。）によって実現されたシステムコントローラ８４を備え、システムコントローラ８４は、初期設定及び遷移モードを含むカメラ装置全体の制御を実行する。一部の測定及び判定は、このシステムコントローラ８４で行ってもよい。

あるいは、上述したカメラ処理の全てを、より柔軟性のある構成を実現するために、ソフトウェアプログラムによって行ってもよい。しかしながら、ソフトウェアプログラムにおける各処理は、従来のカメラ装置において実現されている処理にそれぞれ対応し、より小さな処理ブロックの接続として実現されている従来のハードウェアのカメラ装置と略同様である。

しかしながら、上述の先行技術には、以下の問題点がある。

（１）これらの機能ブロックのそれぞれは、局所的な制御機能を有する独立したブロックによって実行され、このようなカメラ装置は、これらの独立したブロックの接続を必要とする。したがって、必要とされるハードウェアのリソースが大きくなり、カメラ装置の構成は、全体としてむしろ複雑になる。

（２）従来のアーキテクチャは、局所的な制御機能で構成されているので、より高性能なＣＰＵ／ＤＳＰを用いて、シーケンスを制御することは困難である。局所的な制御機能のそれぞれは、システム開発中に予め決定された専用のハードウェアによって実現されるため、その後、新しい高性能のアルゴリズムを用いて、カメラ装置をアップデートすることは不可能である。

（３）フォーカス調整、露出調整、ホワイトバランスの調整等を自動的に行う機能ブロックは、システムコントローラ８４によって密に結合されているので、より高性能なＣＰＵをバックエンドのアプリケーションプロセッサとして、カメラ装置の内部又は外部に用いることは不可能である。したがって、従来のカメラ装置は、各カメラ装置の個々のニーズに対応した柔軟な設計を行うには、余りにも融通性がない。

本発明は、上述した問題を解決するためになされたものである。本発明の第１の目的は、画像信号処理装置における機能ブロックを単純にし、データパスの数を削減するためにデータパスを併合した柔軟で集約されたデータパスハードウェアを有する高機能の画像信号処理装置を提供することであり、これにより、コントローラの構造が単純化され、画像信号処理装置の信頼性が向上する。

更に、制御ブロックを画像信号処理装置の外側に移すことにより、画像信号処理装置のハードウェアの規模を小さくする。これにより、画像信号処理装置は、より高性能のＣＰＵを用いることによって、ハイレベルの制御に適応することができる。高性能のＣＰＵを用いることにより、この画像信号処理装置は、画像処理の動作を制御するより高性能のアルゴリズムを実現することが可能になる。

上記の目的を達成するために、本発明の好ましい実施の形態では、画像信号処理装置は、生の画像信号を処理し、非線形フィルタリング部、色空間変換部、幾何学的変換部、線形フィルタリング部及び利得調整部によって、併合して集約するデータパス部と、生の画像信号及びデータパス部からの処理信号が供給され、データパス部の非線形フィルタリング部、色空間変換部、幾何学的変換部、線形フィルタリング部及び利得調整部のための複数の調整信号を生成する制御及び判定部とを備える。

本発明は、カメラ処理に関する。カメラ処理の主要な機能を、下記に挙げるが、本発明は、このカメラ装置において用いられる処理に限定されるものではない。本発明は、全ての種類のカメラ処理に適用することができる。

カメラ処理の主な機能は、
・傷補正（欠陥補正）
・モザイク変換（生のデータのＲＧＢ／ＹＣｒＣｂへの変換）
・自動露出
・自動ホワイトバランス
・オートフォーカス
・輪郭強調
・ガンマ補正
・シェーディング補正
・デジタルズーム
・手振れ補正
・雑音除去を含む局所的なフィルタリング
・歪み補正
・ダイナミックレンジ拡大
・特殊効果
これらの各機能は、それぞれ独立した機能ブロックによって実行されている。そして、これらの全ての機能ブロックが一緒に動作することにより、完全なカメラ装置として機能する。各機能ブロックは、それ自身のデータパス及びローカルコントローラを備えていることもある。通常、これらの機能は、各機能に対応した特定の色空間において実行され、ある機能は、生のデータ空間（raw data space）において処理され、一方、他の機能は、ＲＧＢ色空間において実行される。また、ＹＣｒＣｂ（ＹＵＶ）を、データ処理の色空間として用いることもできる。

これらの各機能ブロックを分析してから、幾つかの機能ブロックを併合又は合体することができ、例えば集約的な機能ブロックとして開発することができる。特に、機能ブロックのデータパスは、共通のハードウェアとして併合することができ、一方、制御及び判定部は、プロセッサのハイブリッドソフトウェアとして実現することができる。

「処理の分析」
カメラ装置の機能ブロックについて、下記に説明する。これらの機能ブロックは、単に例示的なものではあり、本発明のカメラ装置を実現するには、様々な方法及びアルゴリズムを用いることができる。

傷補正
撮像素子、例えば電荷結合（ＣＣＤ）撮像素子又は相補型金属酸化膜半導体（ＣＭＯＳ）撮像素子の傷（欠陥）画素は、この機能ブロックで補正される。傷は、通常、画像の内容にかかわらず、白の値又は黒の値となる固定された位置の欠陥である。傷補正ブロックは、撮像素子からの生のデータを処理する。局所フィルタは、傷画素データを置換又は抑圧するために用いられ、傷／欠陥を隠す。近年、幾つかのカメラ装置は、予め求められた位置データによって、位置が固定された欠陥を補正するだけではなく、傷の位置データがなくても、直ちに欠陥を検出して、補正する。

モザイク変換
モザイク変換は、生のデータから赤（Ｒ）、緑（Ｇ）、青（Ｂ）、又は色差信号（Ｃｂ及びＣｒ）及び輝度信号（Ｙ）への色空間変換に関する。ある色成分の画素データがないとき、その画素データを、局所的なデータからの新しいデータによって補間して、３つの成分の色空間、例えばＲＧＢ色空間を形成する。この機能ブロックによって、データ量は、生のデータの３倍となる。生のデータは、３原色（Ｒ、Ｇ、Ｂ）又は補色（Ｇ、Ｃｙ、Ｍｇ）とすることができる。モザイク変換後の色成分は、ＲＧＢ又はＹＣｒＣｂとすることができる。

自動露出
自動露出により、増幅器ブロックの利得、絞り、シャッタ速度を、電気的な方法又は機械的な方法で制御することによって、画像の露出を調整する。この機能ブロックでは、デジタル値は、輝度信号の強さに基づいて測定され、そして、各色成分の利得が、画像全体に対して調整される。この機能は、画素毎に実行される。

自動ホワイトバランス
自動ホワイトバランスは、様々な照明状態における画像の色の調整に関する。色温度を調べることによって画像の色を解析した後、カメラ装置は、各色成分の利得を調整することによって色を調整する。自動ホワイトバランスは、ＲＧＢ色空間又はＹＣｒＣｂ色空間のいずれでも画素毎に実行することができる。

オートフォーカス
オートフォーカスは、フォーカスレンズの位置を変えることによって、画像のシャープネス又はコントラストを検出する動作である。画像の周波数に関連した特定のパラメータを用いて、レンズのアクチュエータを制御し、焦点の移動方向を判定することができる。この機能は、単にレンズモジュールに対するものであり、信号処理は含まない。

輪郭強調
輪郭強調は、実際よりもシャープに見せるために用いられるデジタル画像処理フィルタである。この機能は、ＲＧＢ色空間又はＹＣｒＣｂ色空間において実行することができる。

ガンマ補正
この機能は、ＲＧＢ色空間又はＹＣｒＣｂ色空間のいずれかにおいて、画素毎の各色成分に対する非線形変換である。

シェーディング補正
画像の輪郭は、レンズの特性のために影になってしまうことがある。この機能は、画像の暗い輪郭の明るさを明るくするために、画像内の画素の位置に基づき、増幅器の利得を変えることによって、影になっている輪郭を補正するものである。このシェーディング補正機能は、画素毎に実行される。

デジタルズーム
この機能は、画像の大きさを変更する水平フィルタ及び垂直フィルタによって、拡大縮小を行うことに関する。

手振れ補正
この機能は、データのシフト及び補間のフィルタリングを画素毎に行うことにより、カメラの動きに応じてピクチャーデータをシフトさせることに関する。

雑音除去
この機能は、メジアンフィルタによる非線形フィルタリングを含む局所的なフィルタリングである。この機能は、色成分ベースで実行され、フィルタリングは、選択されたウィンドウサイズ、例えば３×３、５×５画素で実行される。

歪み補正
この機能は、レンズの特性によって生じる歪みを調整する幾何学的変換に関するものである。この機能は、各色成分に対し、補間フィルタリングによって実行される。

ダイナミックレンジ拡大
各画素の値は、対応する画素データの値によって変化する。ダイナミックレンジ拡大は、各画素データの利得を、データ依存又は領域依存ベースで変えることができる。画像の視覚的な画質を向上させるために、明るい領域は利得を下げ、一方、暗い領域は利得を上げる。これは、画像のダイナミックレンジの拡大と同じ効果に対応する。

特殊効果
特殊効果には、幾つかの種類の特殊効果、例えばモノトーン、セピア色等がある。後述の実施例において、特殊効果は、色の変化を含む画素の処理として想定されている。

これらの機能は、各機能の共通特性を、色空間、各機能の動作のカテゴリ、処理されるデータ単位の項目で示すことにより、表１に要約される。

色空間は、各機能において用いられる色成分のことである。理論上は、各機能は、あらゆる色成分、すなわち生の、ＲＧＢ、ＹＣｒＣｂで処理することができ、また、他の色成分でも処理することができる。動作は、計算のカテゴリを表す。フィルタリング部は、ウィンドウ内の局所的なフィルタリングであり、利得部は、利得係数を掛けることにより、値を変更する。幾何学的変換は、特定の領域から画素データを生成することである。幾何学的変換の後、フィルタリングが行われる。データ単位は、処理されるデータのサイズである。フィルタリングの動作において、データ単位は、ウィンドウ内に設定されることが必要であり、一方、利得調整の動作において、個々の画素データが必要とされる。

これらの要素によって、カメラ装置の処理を、幾つかのカテゴリに分類することができる。このカテゴリは、同じカテゴリの動作を共通の動作に併合し、集約的な共通のハードウェアの実現することによって、本発明のカメラ装置を実現する後述の実施例１において用いられる。

更に、２つの要素を以下の表２示す。１つの要素は、領域依存の処理であり、他の要素は、シーン依存の処理である。領域依存の処理は、バックエンド処理での画像解析によって特定される領域に依存した処理によって、性能を向上させることができる処理のことである。シーン依存の処理は、撮影されたシーンに従って動作が実行される処理のことである。これらの２つの要素は、カメラ処理に用いられる。シーン依存の処理のシーン解析及び分割を処理することは難しいので、これらの２つの要素は、従来のカメラ装置では用いられていない。本発明は、高性能のバックエンドプロセッサを用いて、これらのハイレベルで複雑な処理を用いる可能性を提供する。以下、シーン依存の処理及び領域依存の処理に関する実施例を説明する。

上述の分析に基づいて、本発明の例示的なカメラ装置について説明する。図１は、上述の機能が併合された本発明のカメラ装置の構成を示すブロック図である。図１において、カメラ処理の流れを示す。図１の上部に示す機能は、カメラプロセッサで処理されるべき機能である。これらの機能は、４つのグループ１〜４に分類される。グループ１は、非線形フィルタリングを行うグループを示し、例えば雑音除去及び傷補正を含む。グループ２は、幾何学的変換及びその後のフィルタリングの共通の動作を有するデジタルズーム、手振れ補正及び歪み補正を含むグループである。グループ３は、局所的なフィルタリングを必要とする輪郭強調を含むグループである。グループ４は、自動露出、自動ホワイトバランス、ガンマ補正、ダイナミックレンジ拡大、シェーディング補正、特殊効果等を含むグループである。これらの機能は、通常、画素毎のベースで実行され、時には、成分ベースで実行されることもある。代わりに、これらの機能を色ベクトル上で実行してもよいが、この操作は、フィルタリングを伴わない、各画素データに関するものである。グループ１は、図１の下部における非線形フィルタリングブロック９に直接マッピングされる。

これらの機能は、表１の各機能の分析に基づき、図１の中央部に示すように、幾つかのカテゴリに分類される。これらのカテゴリは、幾何学的変換カテゴリ５、ウィンドウのフィルタリングカテゴリ６、画素の利得調整カテゴリ７である。幾何学的変換カテゴリ５は、グループ２の動作から幾何学的変換の動作の部分を抽出したものである。グループ２のフィルタリングの動作は、抽出され、ウィンドウのフィルタリングカテゴリ６に併合される。グループ３のフィルタリングの動作も、抽出され、ウィンドウのフィルタリングカテゴリ６に併合される。画素の利得調整カテゴリ７は、各画素データに対する画素毎の操作に関するものであり、画素値を演算、例えば乗算することによって調整する。

図１の下部１４は、ハードウェアとして実現される実際の機能ブロックである。生のデジタルデータ８は、撮像素子（図示せず）から出力される。そして、生のデジタルデータ８は、非線形フィルタリングブロック９に供給され、処理される。変換ブロック１０は、非線形フィルタリングブロック９から供給される生のデジタルデータを、色信号の成分ＲＧＢ、あるいはＲＧＢ信号を更に色差信号（ＣｂとＣｒ）及び輝度信号（Ｙ）に変換する。変換ブロック１０は、更に、撮像素子で欠落している画素データを補間して、後続の処理のために、ＲＧＢ又はＹＣｒＣｂのビットマップを生成する。幾何学的変換ブロック１１は、変換ブロック１０から供給されるＲＧＢ又はＹＣｒＣｂデータを、適切なデータをアクセス及び取得し、幾何学的変換において生成されるデータを補間することによって、幾何学的に変換する。最後のブロック１２は、フィルタリングカテゴリ６で得られたデータと利得調整カテゴリ７で得られたデータを組み合わせて、最終的な結果２３を出力する。

本発明の要点は、各カメラ処理を幾つかのグループに分類し、これらの分類された機能を、共通の動作及びハードウェアに併合することである。この併合によって、本発明では、より柔軟な動作有し、より少ないデータパスのハードウェアで、高性能のカメラ装置を実現することができる。データパスと、制御及び判定機能との明確な分離について、以下説明する。本発明のカメラ装置における効果は、高性能のプロセッサによって実現される制御及び判定部によって、達成される。

図２は、本発明のカメラ装置の具体的な実施の形態を示す図である。図２の上部は、データパスであり、図２の下部は、制御及び判定部であり、この実施の形態では、例えばソフトウェアによって実現されている。データパスの構成は、図１と同じである。入力される生のデータ１５は、非線形フィルタリングブロック１６に供給され、非線形フィルタリングブロック１６は、生のデータの傷を補正し、雑音を除去する。非線形フィルタリングブロック１６の出力データは、変換ブロック１８に入力され、変換ブロック１８は、ＲＧＢビットマップデータを生成する。生成されたＲＧＢビットマップデータは、幾何学的変換ブロック２０に供給され、幾何学的変換ブロック２０は、全ての幾何学的な動作を集約的に実行する。幾何学的変換ブロック２０は、領域メモリ２３として示すメモリを必要とし、変換処理のために、画素データを領域メモリ２３に記憶する。幾何学的変換ブロック２０は、更に、画素データにアクセスするための、領域メモリ２３のアドレスを発生するアドレス発生器２１と、変換する位置に対応した画素データを生成する補間フィルタとを備える。幾何学的変換ブロック２０の出力テータは、局所的なフィルタリングと利得調整とのハイブリッド機能を有するフィルタリングブロック２５に供給される。フィルタリングブロック２５の出力データ２６は、このカメラ処理装置における最終的な信号として、出力される。

図２の下部は、ＣＰＵ又はＤＳＰ上で、通常、ソフトウェアプログラムとして実行される制御及び判定部２７である。制御及び判定部２７は、シーン解析機能と、シーン解析の結果に従って、データパス用のパラメータ及び制御信号の生成機能とを備えるシーン解析ブロック３０を備える。解析されるシーンは、生のデータの入力信号２８又は出力処理ビデオ信号２９である。両方の信号は、シーン解析のために、同時に利用することができる。シーン解析を行った後、シーン解析ブロック３０は、手振れ補正のためのパラメータ３１、３２を生成して、歪み補正の機能を有する幾何学的変換構成器３３に供給する。歪み補正用の歪み情報は、データベース３４内に記憶されており、要求されたときに、ライン３５を介して幾何学的変換構成器３３に供給される。そして、幾何学的変換構成器３３は最終的なパラメータ及び制御信号３６を生成して、幾何学的変換ブロック２０に供給し、幾何学的変換ブロック２０は、組み合わされた幾何学的変換を行う。

シーン解析ブロック３０は、更に、自動ホワイトバランス、自動露出及び他の機能のためのシーン解析を行う。利得調整に関する信号は、組み合わされ、ライン３７を介して利得調整器３８に供給され、一方、フィルタリングに関する信号は、組み合わされ、ライン３９を介して局所フィルタ併合器４０に供給される。利得調整器３８の出力信号４１及び局所フィルタ併合器４０の出力信号４２は、フィルタ構成ブロック４３に供給され、フィルタ構成ブロック４３はこれらの信号を組み合わせて、集約的なフィルタリング動作出力信号４４を生成して、フィルタリングブロック２５に供給する。この実施の形態では、フィルタリング及び利得調整のためのシーン依存及び領域依存の動作をサポートしているので、シーン解析ブロック３０からのシーン情報４５は、シーン情報データベース４６に格納され、シーン解析ブロック３０によって分割されたシーン自体又は領域自体に応じて、動作を適応的に変化させる。

時には、生のデータに対する動作は、シーン情報を必要とすることもある。例えば、雑音除去動作は、領域情報、例えば暗い領域の情報を必要とすることもある。暗い領域の情報４７は、シーン解析ブロック３０から領域ストレージ４８に供給され、領域ストレージ４８は、生のデータを処理する、例えば適応的な雑音除去等を行うのに用いられる情報４９を出力する。傷補正のためには、傷の位置に関する情報５１が必要とされ、この情報５１は、ストレージ５０に記憶されている。傷の位置情報５１は、要求されたときに、傷補正のための非線形フィルタリングブロック１６に供給される。シーン解析ブロック３０は、更に、レンズモジュール（図示せず）の絞り、フォーカスレンズ及びシャッタ速度を制御する制御信号５２を生成する。

制御及び判定部２７は、高性能のプロセッサを用いて実現されている。このプロセッサは、データパスの同じチップ上に集積化することができる。あるいは、このプロセッサを、高性能のプロセッサ、例えば主にアプリケーションプログラムに用いられるバックエンドプロセッサに組み込んでもよい。このプロセッサをバックエンドプロセッサに組み込むときは、残りのチップは、ハードウェアによって、高速の信号処理のみを行えばよく、したがって、柔軟性を有するハードウェアデータパスを単純化することができる。更に、高速のデータパスを実現することにより、消費電力は、純粋にソフトウェアのみで実現する場合に比してより低くなる。このデータパスは、複雑な制御及び判定機能を必要としないので、このデータパスを撮像素子チップ上に集積化することは、簡単である。

図３は、本発明の画像処理装置の他の実施の形態を示す図である。図２に示すカメラ処理の初期の段階で、生のデータからＲＧＢへの色成分の変換を行う代わりに、この実施の形態においては、生のデータからＲＧＢへの変換を、カメラ処理の最終段階で行う。図３において、幾何学的変換ブロック２０及びフィルタリングブロック２５は、ＲＧＢではなく、生のデータを処理する。非線形フィルタリングブロック１６の出力信号１７は、直接幾何学的変換ブロック２０に供給され、変換ブロック１８は、出力信号５２を、この画像処理装置の出力信号として出力する。これらの全ての動作は、撮像素子から出力された生のデータに対して行われる。この実施の形態における他のブロック及び接続は、シーン解析ブロック３０内のパラメータ及び制御信号の変換、幾何学的変換ブロック２０及びフィルタリングブロック２５を除いて、図２と略同じである。通常、このような変換は、フィルタリングブロック２５内に追加されたソフトウェアサブルーチンによって行われる。

生のデータをＲＧＢデータに変換すると、データ量が、例えば元の生のデータの３倍に増える。生のデータを処理する場合は、処理するデータ量を大幅に減らすことができ、処理に必要とされる処理能力も減らすことができる。

本発明は、柔軟な構成、共通の動作を１つのブロックに併合した集約的なデータパス、及びデータパスの外側に分離された制御及び判定部を採用することによって、カメラ装置の高性能なアーキテクチャを提供する。この柔軟な構成によって、カメラ処理装置の設計者は、カメラ処理装置を製造した後も、アルゴリズムをアップデートし、変更することができる。このデータパスは、様々な動作に適応できる。更に、外部のプロセッサにより、多様な制御及び判定アルゴリズムを実現することができる。高性能のプロセッサによって、複雑なシーン解析及ぶ分類アルゴリズムを、システム要求通りに実現することができる。

更に、データパスは、ハードウェアブロックによって、高い周波数で動作するので、純粋なソフトウェアのみで実現した場合に比して、データパスによって消費される電力を減らすことができる。なお、本発明の画像処理装置は、純粋なソフトウェアのみで実現した場合と略同じ柔軟性を有する。

本発明は、将来の視覚的なアプリケーション、例えばロボットビジョンに用いられる高機能の画像修理装置を提供する。

本発明の実施の形態を適用したカメラ処理の機能的分類を示す図である。 本発明の実施の形態を適用したデータパス部及び制御及び判定部を示す図である。 本発明の他の実施の形態を適用したデータパス部及び制御及び判定部を示す図である。 従来のカメラ装置を示すブロック図である。

Claims (7)

1. 生の画像信号を処理し、非線形フィルタリング部、色空間変換部、幾何学的変換部、線形フィルタリング部及び利得調整部によって、併合して集約するデータパス部と、
   上記生の画像信号及び上記データパス部からの処理信号が供給され、該データパス部の非線形フィルタリング部、色空間変換部、幾何学的変換部、線形フィルタリング部及び利得調整部のための複数の調整信号を生成する制御及び判定部とを備える画像信号処理装置。
2. 上記非線形フィルタリング部は、雑音除去及び傷補正の機能を実行し、
   上記色空間変換部は、上記非線形フィルタリング部から信号が供給されて、画像信号データを色空間データに変換し、
   上記幾何学的変換部は、歪み補正及び画像のシフトの機能を実行し、
   上記線形フィルタリング部は、輪郭強調の機能を実行し、
   上記利得調整部は、自動露出制御、自動ホワイトバランス制御及びガンマ補正の機能を実行することを特徴とする請求項１記載の画像信号処理装置。
3. 上記色空間データは、赤、緑、青（ＲＧＢ）の色空間データであることを特徴とする請求項２記載の画像信号処理装置。
4. 上記色空間データは、輝度信号及び色差信号（ＹＣｒＣｂ）の色空間データであることを特徴とする請求項２記載の画像信号処理装置。
5. 上記制御及び判定部は、シーン解析及びデータパス構成のための制御ルーチンを有し、
   シーンの特徴及びパラメータを抽出し、絞り、フォーカスレンズ及びシャッタ速度を制御する制御信号を、レンズモジュールに出力するシーン解析部と、
   データパスを構成するパラメータ及び信号を計算するデータパス構成部と、
   上記データパス部において、上記幾何学的変換部を構成する上記幾何学的変換部のための上記調整信号のうち１つの調整信号を生成する幾何学的変換構成部とを有し、
   上記利得調整部及び局所フィルタリング部は、該局所フィルタリング部及び利得調整部のための上記複数の調整信号のうち１つの調整信号を生成するフィルタ構成部に接続されていることを特徴とする請求項１記載の画像信号処理装置。
6. 上記制御ルーチンは、
   暗い領域の情報調整信号を上記非線形フィルタリング部に提供する暗い領域情報ストレージと、
   傷の位置調整信号を上記非線形フィルタリング部に提供する傷の位置ストレージ部を更に有することを特徴とする請求項５記載の画像信号処理装置。
7. 上記データパス部及び制御及び判定部は、共通の半導体チップ上に集積化されていることを特徴とする請求項１記載の画像信号処理装置。

Images