JPS62503068A - カラー・ビデオ装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 単−センサ式カラー・ビデオ・カメラ （技術分野） 本発明は、カラー・ビデオ像形成技術分野に関し、特に単一のセンサから輝度と カラーの画情報を取得する信号処理システムを使用する形式のカラー・ビデオ・ カメラに関する。

（従来技術〕 カラーの情景の正確なビデオ信号の再現には、情景の各領域の輝度と色量の評価 を必要とする。このための１つの方法は、個別のセンサによる各領域の輝度およ び色量を測定することである。輝度は原色から計算することができるため、３つ の個別のセンサを用いて赤、緑および青の情報を検出することにより最大の積度 が得られる。

しかし、小型で軽量かつ安価なカメラでは唯１つのセンサを用いてこれを切抜け ようと試みている。輝度は強い縁への偏りを持ったカラー情報の組合せであるた め、通常はセンサにより与えられる緑の情報のみに基いている。色量は、通常輝 度（即ち、緑の情報）と他の原色（即ち、赤および青の情報）との間の差に基〈 ものである。各単色は、情景の光がセンサに当る前に、これをカラー・フィルタ に通すことにより単離される。第１因に部分的に示される公知のフィルタの如き ストライブ・フィルタは、単一センサ・カメラにおいて使用される形式のフィル タの典型例である。緑の情報（輝度）は、これが像の解像度に比較的大きな影響 を及ぼす故に、赤および青の情報の２倍の頻度でサンプルが取られる。

第１図のフィルタ・パターンを調べて判るように、３つの全ての原色、赤、緑、 青と対応する情報は情景の各離散領域毎に測定されない。情景の各離散領域毎の 輝度および色差を生じるため、隣接する離散領域からの情報を用いなければなら ない。その結果生じる情景の各離散領域からの色情報の欠如は、単一センサ・カ メラにおいて最も厳しい問題の１つをもたらすことになる。この問題は、像の解 像度に最も大きな寄与をもたらすため、輝度（緑の情報）に特に著しい。更に、 色差は、緑の情報（赤と緑、および青と緑）を含み、一致する赤（または）青と 縁の色に関して計算されねばならない。もし緑の情報がその差を生じる色と一致 しなければ、色の人為的結果が通常生じる。

このように、緑の情報のサンプルは、正確な再現のためには重要であるが、離散 する絵の領域のあるものからしか得られない。通常、最も近い緑のサンプルを借 りて、縁の情報のない検出された画素（ピクセル）に対して使用されるが１、第 ２（ａ）図は色の一致の問題を示す際有効な緑の情景の事例の領域を示している 。

第２（ｂ）図は、第１図により示されたストライブ・フィルタの部分的ライン断 面を示す。赤または青のフィルタ素子は、緑のフィルタ素子間に混在されている 。

第２（Ｃ）図は、第２（ｂ）図のフィルタにより覆われたセンサによる緑の信号 のピクセル単位のサンプリングにより生じる緑の信号の波形を示している。予測 されるように、緑でないフィルタ素子上に並置された緑の情景−情報は対応する ピクセルに対して一致しない。

第２（ｄ）図に示される如き緑の信号を引伸ばす１つの方法は、隣接するピクセ ルの存続する間各緑のサンプルを保持することである（この手法は、しばしば「 ボックス・カー（ｂｏｘ−ｃａｒ）処理法」として記述されるが、例えば、米国 特許第４．１４８．０５９号においてこの目的のため使用すｉ　タサンプルおよ び保持回路を参照されたい。）。

「ボックス・カー」処理法は多くの事例において不充分な手法であって、例えば 、この処理法はフィルタ素子Ｒ２上に並置された縁の情景情報を完全に欠くこと に注意されたい。別の、またしばしばこれより優れた手法が第２（ｅ）図により 示される。赤および青のフィルタ素子に重なる緑の情景情報は、２つの隣接する 緑のサンプルから補間することにより評価される（例えば、米国特許第４，０６ ５，７８５号に示される補間法を参照されたい）。

単純な平均値が欠如する緑の情報の評価を提供する（例えば、Ｒ，フィルタ素子 上に並置された緑の情報は、％（Ｇ、＋０２）として評価される）。しかし、こ のような補間法はピクセル単位で緑の情報における規則性をｎｒｆ　ｍとしてい る。これは常に正しくなく、例えば、単純な補間法がフィルタ素子Ｂ、上に重な る（緑でない）情景の領域に対し緑の情報を不当に割当てることに注意さ才ｔた し）。

単純な補間法も［ボックス・カーＪ’Ａ理法も、緑の情景情報がいす打ち欠如し た緑の情報を正確に表わずかあるいは赤または青の情景情報と一致することを前 提としない。不都合ながら、緑の情報か得られない領域に対しては真の緑を割当 てることができないという理由は否定し難いように思われる。

（発明の開示） 欠如した緑の光を近傍のビクセルに対応する近傍のフィルタ素子に分散すること により１つの情景の欠如した緑の情報の更に良好な評価法を提供することが可能 である。情景と色フィルタとの間に配置されたぼけを生じる光学的フィルタがこ れを兄事にやってのけよう。しかし、それ自体では充分ではない。欠如した緑の 光が近傍の情景領域からの緑の光に滲みこむと混合されるため、欠如した緑の光 によるこの緑の寄与度のみを（簡単な補間法により）抽出することは非常に難し い。

木発明は、既知のレスポンス関数を有する公知のぼかしフィルタと、ぼかし光を 受ける画像センサから生じた電気的信号を処理するための特殊な電気作用フィル タとの組合せを含むものである。既知のレスポンス関数に対し電気作用フィルタ を整合させることにより、得られた信号は欠如した緑の光を表わす。その結果、 情景は改善された色の一致を以て再現される。

ぼかしフィルタの既知のレスポンス関数は、周波数の条件および空間的な条件の いずれにおいても特徴を有する。空間的な条件においては、この関数は一般にひ ろがり関数として知られる。電気作用フィルタをぼかしフィルタのひろがり関数 に列し整合するため、この電気作用フィルタは一連の画像サンプルに対して作用 するディジタル・フィルタ（例えば、有限インパルス応答（Ｆ　Ｉ　Ｒ）フィル タ）として構成される。これらサンプルは、ビクセルの欠如した緑の光のいずれ の側にも少なくとも２つのビクセルについて取られ、望ましくはいずれの側の３ つのビクセルから取られる（合計で６つのサンプル）。ディジタル・フィルタの 加重係数は、もしこれら係数がぼかしフィルタのひろがり関数で畳み込み（コン ボリューション）がなされるならば、その結果は値となる。この畳み込み効果は 、ディジタル・フィルタに対するある特定の係数範囲を規定することである。こ れらの係数を緑のサンプルに適用すると、センサから出た画像信号に対するディ ジタル・フィルタの影響は、情景に対するぼかしフィルタの影響に類似する。従 って、ディジタル・フィルタから拠って来たるものは、ぼかしフィルタから生じ るものの接近した近似となる。即ち、重要なことは、欠如した緑の光に関する情 報が両方の場合に存在することである。

加重係数に対する選択の基準もまた、周波数の条件を特徴とし得る。加重係数は 、ディジタル・フィルタに対するある周波数応答を定義する。こねら係数は、も しディジタル・フィルタの周波数応答がぼかしフィルタの周波数応答で乗ぜられ るならば、その結果はぼかしフィルタの周波数応答の接近した近似となるように 選択される。

本発明ならびに従来技術については図面に関して記述することにする。

（図面の簡単な説明） 第１図は、単一センサ式ビデオ・カメラに使用されるフィルタのカラー・フィル タ素子を構成する部分の公知の構成の一事例てあり、 第２図は、第１図により示されるフィルタのライン部分、および前記フィルタを 用いることにより、また公知のいくつかの処理法を用いることにより生じる緑の 信号の波形を示す図、 第３図は、木発明によるぼけを生じるフィルタおよびディジタル・フィルタを使 用する単一センサ式カラー・カメラを示すブロック図、 第４図は、本発明により有効なカラー・フィルタ・パターンのいくつかの図、 ′ｆＳ５図は、第３図の一部として示されるぼけフィルタとして使用するのに適 する複屈折フィルタの図、第６図は、第３図の一部として示されるディジタル・ フィルタとして使用するのに適する有限インパルス応答（Ｆ　Ｉ　Ｒ）フィルタ の概略図、および第７図は、本発明による有用な二連センサ・システムのための カラー・フィルタの図である。

〔発明を実ｈ’ｔｓするための最良の形態〕ビデオ・カメラ、画像センサ、光学 的およびディジタル・フィルタ等は公知であるため、本文の記述は特に木発明に よる装置の一部をなしあるいはこの装置と更に直接的に共働する素子に限定する ものとする。特に示されあるいは記述しない素子は当技術において公知のものと する。

次に第３図においては、単一センサ式ビデオ・カメラの関連する構成素子が示さ れる。こわらの構成素子の関係は、情景の対象物１２の領域ａ０から出た緑の光 １０の特定の光線に記述を絞ることにより単純化される。この緑の光は、以下本 文においては計度として取扱われ、緑対輝度の整合は、実際において、緑に加え ていくらかの赤および青の光を通ず広帯域の緑フィルタを用いることにより正確 に行なうことができる。光線１０の緑の光量は、その値が正確な輝度情報、従フ て光線１０と空間的に一致する赤と青のサンプルと一致する色の一致を得るため 必要であるところから特に関心の的である。（しかし、木発明の実施はある多次 元の対象物の色々な離散領域から出る複数の光線を含むことを理解すべきである 。）緑の光線１０は、集光レンズ１４を通過し、ぼかしフィルタ１６に当る。（ レンズ目は、その光に対する効果が本文においては詳細に考察されないため、破 線により示される。）ぼかしフィルタは、１つの色フィルタ１８の３つのフィル タ素子に入射する各光線を分散する形式のもの（以下に記述する）である。

１本の光線ＩＯの場合、この光は緑でない（例えば、赤または青の）フィルタ素 子１８ａに当る反射されない緑の光線１０ａと、緑でない素子＋８ａのどちらか の側の緑フイルタ素子１８ｂおよび１８ｃに当る反射光線１０ｂおよび１０ｃと に分散される。４つの別のフィルタ素子１８ｄ１１．１８ｇはここで述べた３つ の素子の外方に配置され、これらの別の素子もまた本発明によるある役割を演じ るが、これらについては後で記述することにする。色フィルタ１８は全体のフィ ルタの小さな１つの部分を表わすことを理解すべきである。縁でない素子のいず れかの側における３つの緑の素子のパターンは、（例えば、第４（ｄ）図に示さ れる如く）ライン毎に何回も反復される。

色フィルタ１８に当る光の明るさの分布は、空間関数ｏ　（ｘ）で特性化される 情景の光の明るさの分布に依存し、またフィルタのひろがり関数ｈ　（ｘ）で特 性化される情景光に対するぼかしフィルタ１６の効果に依存する。

色フィルタ１８に対するｉ　（ｘ）で特性化される光の明るさの分布が、フィル タ関数による情景関数の畳み込みとして述べることができる。即ち、 ｉ　（ｘ）　＝ｏ　（ｘ）　★ｈ　（ｘ）（但し、記号★は畳み込みのプロセス を表わし、通常レンズ１４の伝達関数の如く考えられる他の因数はこの説明を簡 素化するため無視されている） 色フィルタ素子１８ｂおよび１８ｃを通過する光は、画像センサ２０の１セグメ ント（電荷結合素子（ＣＣＤ）または他の種類の従来のセンサの如き逢かに大き な一次元または二次元のアレイの一部である）の感光領域２０ｂおよび２０ｃに 当る。上記の単純畳み込みはフィルタ１８の面上の明るさの分布について述べて いるが、感光領域における明るさの分布については全く述べていない。これは、 緑でないフィルタ素子１８ａが中心の光線１０ａがセンサ２０の対応する感光領 域２０ａに達することを阻止する故である。以降の処理の目的は、光線ｌＯがフ ィルタ１８に当る時この光線の緑の明るさの分布をできるだけ近くシミュレート させること、特に光線１０ａ％ｌＯｂおよび１０ｃによフて表わされる分布をシ ミュレートさせることである。もしこれら光線の明るさの測定あるいは評価が可 能あるならば、その結果は、領域２０ａにおける欠如した緑の情報を含む光線１ ０の緑の情景の内容に対して用いることができる。従って、情景領域ａ０からの 赤（または青）の情報に関する色の一致が得られる。

次に外側の緑フイルタ素子１８ｄ　、１８ｅおよび１８ｆ。

１８ｇについて考察すれば、このような素子を通過する縁の光はセンサ２０の感 光領域２０ｄ　、　２０ｅおよび２０ｆ１２０ｇに当ることが判るであろう。こ のような光は、領域ａｌ　ｔ　８２　＊　８３　＊　ａ４および領域ａ−Ｉｎ　 ａ　−２ｓ　ａ　−３％ａ−４の如き情景１２の他の領域から生じる。この光も また、３つの隣接するフィルタ素子にわたってぼかしフィルタ１６によって分散 される。例えば、領域ａ、からの光はフィルタ素子＋８ａ、　＋８ｃおよび１８ ｅにわたり分散され、領域ａ２からの光はフィルタ素子１８ｃ、　１８ｅおよび １８ｇにわたって分散される１１、等である。従って、センサ２０から復元され る信号ｉ’（ｘ）は画像サンプルの連続するストリームであり、各サンプルはい くつかの情景領域によって影響を受ける（例えば、感光領域２０ｃからの信号は 領域ａ。％　ａｌおよびａ２から出た光によって影響を受ける）。

センサ２０から復元された信号ｉ’（ｘ）は、前置増幅器２２によって増幅され 、次いてサンプル保持回路２４およびマルチプレクサ２８に対して送られる。ド ライバ３０はセンサ２０をクロックして、画像信号を前置増幅器２２に対しシフ トする。ドライバ３０、サンプル保持回路２４およびマルチプレクサ２８の動作 は関連付けられ、制御回路３２（通常はマイクロプロセッサの如きプログラムさ れたプロセッサである）によって指令される。画像信号の各サンプルはディジタ ル・フィルタ３４に対して送られるが、これは一連の遅延回路３６と一連の係数 乗算回路３８からなっている。（フィルタ３４は、これが離散量を取扱うため計 数的なものとして述べ・、横断性フィルタとも呼ばれる有限インパルス応答フィ ルタは望ましい実施態様において使用される形式のフィルタである。）乗算回路 ３８からの出力は加算回路４０に送られ、この回路はその出力をマルチプレクサ ２８に対して送る。ディジタル・フィルタ３４およびマルチプレクサ２８の作動 シーケンスは関連付けられ、制御回路３２によって指令される。

マルチプレクサ２８は２つの相互に排他的なモードで作５ｈ−ｉｒる。即ち、１ つのモードにおいては、マルチプレクサは、丁度感光領域２０ａから得たサンプ ルがマルチプレクサ２８に対する入力に達する時、４つのサンプル毎に１回出力 の和を加算回路４０から信号ストリームへ切換え、他のモードにおいては、信号 ｉ’（ｘ）を直接後続段に切換える。マルチプレクサ２８に対する信号が時間的 に感光類ｔ１２ｏａ（緑でないフィルタ素子１８ａの下にある）から得たサンプ ルの発生に対応する時、マルチプレクサ２８の入力Ａが開かれ入力Ｂが閉じられ る。加算回路４０からのされる。マルチプレクサ２８はこの時その前の条件と逆 となり、次の緑でないフィルタ素子と対応するサンプルが到着するまで入力Ｂが 開かれ入力Ａが閉じられる。このｍ域から生じた信号から形成され、一部はディ ジタル・フィルタ３４から得た信号から形成される連続する緑の信号が生じ、緑 でないフィルタ素子の下方の感光領域から生じた信号の代りに挿入されるのであ る。

ディジタル・フィルタ３４は、９つの情景領域ａ４．、ａ　Ｑ　＊　＊　ａ−４ からの明るさの寄与度（ぼかし後）を表わす７つの画像サンプルのストリームに ついて作動する。

この画像サンプルは、一連の遅延回路３６による同時の処理のため並べられる。

（制御回路３２により決定される）適当な時点において、列をなすサンプルが一 連の乗算係数に：ｌ　、　Ｋ２　、　Ｋ＋　、　Ｋｏ　、　Ｋ−＋、Ｋ−２、Ｋ −３により乗ぜられ、加算回路４０において加算される。この係数は、色フィル タ１８の特定の素子を通過するサンプルに対応し、即ちフィルタ素子１８ｇを通 過する光から生じたサンプルに対する係数に３、フィルタ素子１８ｅに対する係 数に２，１．等に対応している。係数Ｋ。は、この係数が緑を欠くビクセル即ち フィルタ素子１８ａを通って感光領ｋＡ　２０　ａに当る光から得ら九るサンプ ルと対応するため通常率となる。

本発明の主な特質は、下記の条件による乗算係数の選択である。即ち、ぼかしフ ィルタ１６のひろがり関数による係数に、、、、、に−、の畳み込みは（ぼかし フィルタ１６の）この同じひろがり関数の近似を生じねばならない。即ち、 ［Ｋ３　Ｋ　２　Ｋ　Ｉ　ＫＯＫ−ＩＫ−２に一３１★ｈ　（ｘ）　＝　ｈ　’ （ｘ）但し、ｈ’（ｘ）は略々ｈ　（ｘ）に等しい。こわは、最適化プログラム によって選択された係数によるひろがり関数を表わす１組の数の畳み込みによフ て非常に簡単に行なわれる。用いられた最適化プログラムは、ＥＮＮＩＰＥＩ） Ｅ最適化ルーチンと呼ばわる。Ｄｉｇｉｔａｌ　Ｅｑｕｉｐｍｅｎｔ社のＶＡＸ 　ＩＩ／７５０コニ／ピユータ上で走うｔ！−ルタメノＥＮＮＩＰＥＤＥ最適化 ルーチンに対するプログラム文は、本明細書の付属書に示される。このＥＮＮＩ Ｉ）ＥＤＥルーチンは、同様に最適化係数を提供１−ることができる５ＰＩＤＥ Ｒルーチンと呼ばれる類似のブロクラムの改定版である（Ｍｉｌｌｅｒ、　ＩＡ ａｔｈｅｗ　Ｊ−著ｒ　５ＰＩＤＥＲ−最適化ブロクラム」（１９７９年Ｍａｓ ｔｅｒｓＴｈｅｓｉｓ、　Ｂｕｃｋｎｅｌ１人学、米国ペンシルバニア州１７８ ３フルイスブルグ；　Ｂｕｃｋｎｅｌｌ大学図書館から人手できる）。使用が可 能な別のブロクラムは、文献（例えば、Ｇ、　Ｂ。

ＤａｎＬｚｉｇ著「線形プログラミングおよび拡張」（プリンストン大学出版部 、１９６３年刊）およびり、　Ｊ、　Ｗｉｌｄｅおよびｃ、　ｓ、　Ｂｅｉｇｈ ｔ、Ｉｅｒ著「最適化の基礎」（Ｐｒｅｎｔｉｃｅｌｌａｌｌ　１９６７年［す ）に記載される公知のＳｊｍｐｌｅｘルーチンであり、米国テキサス州７７０３ ６ヒユーストン市Ｂｅ１ｌａｉｒｅＢｏｕｌｅｖａｒｄ　７５００の　Ｉｎｔ、 ｅｒｎａＬｉｏｎａｌ　Ｍａｔｈｅｍａｔｉｃａｌａｎｄ　５ｔａｔｉｓｔｉｃ ａｌ　Ｌｉｂｒａｒｉａｎｓ社から（ＩＭＳＬ　ＬｉｂｒａｒｙＣｏｎＬｅｎＬ ｓ　Ｄｏｄｕｍｅｎｔ第８版の一部として）市販されている。このようなプログ ラムは、ひろがり関数ｈ　（ｘ）と上記の畳み込み操作から計算される近似ひろ がり関数ｈ’（ｘ）との間の差の絶対値を最小に抑えることになる。この最適化 に達する際、プログラムは最適の結果が得られるまで連続的に新しい乗算係数を 置換する。こわらの係数は、プログラムの出力として生成され、ディジタル・フ ィルタ３４の設計のため使用される。

係数の選択を調べる１つの方法は下記の如くである。

ディジタル・フィルタ３４の出力（加算回路４０における）は画像信号の加重し た組合せである。係数に−３１、Ｋｏｌ、Ｋ３はこれらの加重値からなる。画像 信号の加取組合せは、情景を構成する光の明るさの分布０（ｘ）に類推すること がてきる。この類推の追跡においては、ぼかしフィルタ１８のひろがり関数ｈ　 （ｘ）により畳み込みを行なった光の明るさ分布０（×）が色フィルタ１８の面 上に現われる（ぼかし）分布であることが想起されよう。この分布は、情景の分 布と正比例し、ある単位となる情景値においては、そわ自体ひろがり関数である （即ち、ｃａｏ＝＝ｔｌ★ｈ　（ｘ）　＝ｈ　（ｘ）　）、同様に、もしぼかし フィルタ１８のひろがり関数により畳み込みを行なった画像信号の加重組合せが ひろがり関数自体に略々比例′１−るものを生しるならば、ディジタル・フィル タ３４からの画像信号の加重組合せはぼかしフィルタＩ８に当る光の再現、即ち 情景の対象の緑色量を含む再現を表わす。ある単位信号値については、この畳み 込み操作がひろがり関数自体の近似を再現する。このことは、緑でないフィルタ 素子１８ａに重なる情景の部分の織縁色量が正確に評価されたことを意味する。

その結果色の一致が更に良好となる。

画像信号の加重組合せが外側の感光領域２０ｄ１１．２０ｇからの緑のサンプル を含み、そのいずれも近似化されつつある他ならぬ光線ｌＯからの緑色光を受取 らないことは奇異に思ねわよう。しかし、これら画像信号の存在は、画像信号の ストリームによるぼかしフィルタのひろがり関数の畳み込みを最適化するために 必要である。換言すれば、ぼかしフィルタのひろがり関数は、縁を欠く感光領域 ２０ａの周囲の感光領域２０ｂ、２０ｃからのサンプルのみを用いることによフ ては正確に評価することはできない。もしひろがり関数による加重係数の畳み込 みがひろがり関数を再生することであるならば、別のサンプルが必要であること が判った。

マルチプレクサ２８からの緑の信号は信号処理回路４２へ加えられ、その輝度出 力を形成する。赤および青の信号もまた、別の信号経路から信号処理回路４２へ 送られる。

赤くまたは青）の各信号値は、緑でないフィルタ素子１８ａを通過する赤（また は青）の光から感光領域２０ａによって生成される信号に対応する。実際におい ては、緑の信号の形成においてマルチプレクサ２８によりブロックされる信号ｉ “（ｘ）の部分は（図示しない手段により）回路４２と結合される赤（または青 ）の信号からなる。同期パルスが加えられ、色差信号が信号処理回路４２内で生 じる。この色差信号は、赤（または青）の色がこの時同じ情景領域からの緑の色 の正確な評価値を以て差を見出すことができるため、色の一致に関して改善され る。この改善された色差信号は、介在する緑のフィルタ素子と対応するビクセル を覆うため従来周知の「ボックス・カー」処理法により、あるいは単純な補間法 によって拡張される。この色差信号（Ｒ−Ｙ、Ｂ−Ｙ）および輝度（緑）の信号 （Ｙ）は、エンコーダ４４によって所要の信号に組込まれてビデオ出力ポートへ 送られる。この出力の目的は本発明の一部をなすものではなく、例えばテープま たはディスクにおける記録あるいはモニター上での表示のため関連付けることが できる。例えば、このエンコーダは、コンポーネント記録のための個々のキャリ アにおける信号差を表示するかあるいは変調するためビデオ信号をＮＴＳＣフ、 オーマットに符号化することができる。

第３図に示される色フィルタ１８は、より大きな望ましくは二次元のフィルタか らのセグメントと考えられる。

第４図は、色フィルタに対するいくつかの形態（これもまた比較的大きなフィル タからのセグメントと考えられる）を示し、どんな形態においても、赤または青 の要素のいずれの側でも少なくとも２つの緑のフィルタ素子を有することが必要 である。２つの緑要素間および３つの緑の要素間に混在した赤と青のストライブ を有する色のストライブ・フィルタは、第４（ａ）図および第４（ｂ）図により それぞれ示される。第４（ｃ）図および第４（ｄ）図により示されるフィルタ形 態は、交互に垂直方向に置かれかつ３つの緑の要素により水平方向に分離された 赤と青の要素を有する（第４（ｄ）図は望ましい形態である）。第４（ｅ）図は 、１つのテレビジョン・フレームの両フィールドを検出するため有効な第４（ｄ ）図のフィルタの変更例を示している。

第４（ｆ）図および第４（ｇ）図は、赤または青のフィルタ要素のいすねかの側 に水平方向および垂直方向に配列された３つの緑のフィルタ素子を含むフィルタ 形態を示している。これらフィルタの各々は単一センサ式カメラにおいて有効で ある。

前置ぼかしフィルタは、既知のひろがり関数を有するどんな形式の低域フィルタ でもよい。しかし、望ましいフィルタとしては、複屈折材料の板材から作られた 従来周知の光学的フィルタである。この形式のフィルター従来複屈折フィルタと して公知のもの−は、画像を２つ以上の僅かに位置がずれた画像に分解する。こ のようなすわの効果は入力画像をぼかすことである。第５図に示されるように、 複屈折フィルタ５０は複屈折材料５２．５４および５６の３つの要素を含む。（ 実施においては、これら３つの要素は一体のフィルタを形成するよう一緒に挾持 することができる。）第１の要素５２は、偏光されない光線ωが要素を直進する 常光線０と、距Ｒｄだけ要素でずれを生じて常光線と平行な要素から出てくる異 常光線ｅとに分割されるように、光軸５８を有する。周知の通り、この２つの光 線は、２つの異なる偏光状態を有する光を表わす。光線０に対する偏光面は、図 （第５図）の面に対して直角をなすかい光線ｅに対する偏光面は図の面と一致し ている。

第２の要素５４は　１７４波長板で、これを通過する光の偏光状態を直線偏波か ら円偏波の状態に変化させる。しかし、この板は光線を偏向しない。第３の要素 ５６は第１の要素５２と類似するが、その光軸６０は異常光線を反対方向にずれ を生じるように配向されている。図面の面内で偏波される成分と図面の面と直角 に偏波される成分が等しい円偏波された入力光は、第３の要素５６によって光線 ｅおよび０に分けられる。第３の要素５６から出た４つの光線はその原点を示す ラベルが付され、即ち光線ｅＯは要素５２から出たそれまで異常光線であった光 線の常光線部分であり、光線ｏｅは要素５２から出たそれまで常光線であった異 常光線部分１１、となる。２つの光線即ちｏ。

およびｅｅは一致し、これにより外側の光線に対する中心部の光線の強さを増大 させる。この相対的強さは、要素の構成、および１７４波長板の厚さ即ち遅れ量 によって制御される。点のひろがり関数を決定するのはこの相対的強さの分布で ある。本発明による一実施態様においては、複屈折フィルタは下記のひろがり関 数を特徴としている。即ち、 ０．２５６　０．４８８　０．２５６　、　（１）これらの数の和は１であり、 光の４８．８％が中心部に分散され２５．６％がいずれかの側に分散されること を示している。

異常光線の偏り量は複屈折材料の屈折率、材料の表面に対する直角方向と光軸が なす角度および要素の厚さに依存している。これらのパラメータは、複屈折光学 フィルタ５０から出た光線間のずれｄがセンサ２ｏにおける個々の感光領域２０ ａ１．．２０ｇ間の距離と等しくなるように選択される。本発明はまた、１９８ ４年４月　６日出願のＪ。

Ｅ、　Ｇｒｅｉｖｅｎｋａｍｐの米国特許出願第５９７，２９０号（名称「空間 周波数光学フィルタ」、本願と同じ譲受人に譲渡）において開示された形式の色 に依存する複屈折フィルタの使用と関連して実施することができる。このような フィルタにおいては、赤および青の光は緑の光（例えば、２つの要素）よりも多 くの要素（例えば、４つの要素）にわたって分散される。従って、ディジタル・ フィルタを、輝度（緑の）信号に対する１つの緑の値に適合させ、また色差信号 に対する別の緑の値に適合させることが可能である。

点のひろがり関数（１）を特徴とする３つの数および加重係数の初めのセットは ＥＮＮＩＰＥＤＥプログラムにおいて処理される（このプログラムは、これをし である可能な加重係数のセットと最適に整合する１組のひろがり関数を拾わせる ことによりやや逆に用いることもでき、従って選択されたひろがり関数と整合す るように適当なぼかしフィルタを設計することもできる。）。最適値が得られた 後、このプログラムは下記の係数を与える。即ち、に、　＝　０．２２４ に２　＝　−（Ｌ５１２ に、　＝　０．７８８ Ｋｏ　＝　０　（２） Ｋ−、＝　０．７８８ 点のひろがり関数によるこれら係数（２）の畳み込み操作て下記の結果（最初の 行）を得る。即ち、０．０５７−０．０２２０．００９０．２５３０．４０３０ ．２５３０．ＯＱ９−０．０２２０．０５７０　０　０　０．２５６０．４８８ ０．２５６　０　０　０こわらは２番目の行により示された元の点のひろがり関 数（１）と近似する。

第３図に示されるディジタル・フィルタ３４の図は本発明の理解に有効である。

しかし、画像信号の連続するストリームの取扱いは、第６図に示される如きフィ ルタ要素の構成を含む。この異なる構成とした主な理由は、このフィルタが画像 信号を間欠的に変更すること、即ちこれがそのメモリー内の他の全てのサンプル を与えて置換値を計算するが４つの画像サンプル（緑でないサンプル）毎に置換 することである。この操作に含まれる係数に３１．−　Ｋ−３（第３図参照）は 、変更されたサンプルに対するその「場所」に依存する値を有する。変更される べきものに最も近いサンプルに対して与えられた係数に１およびに一、は、２回 または３回取出される係数（Ｋ２．に−２およびに３　、Ｋ−３）とは異なる値 を有する。従って、次に対する緑でない１つのサンプルからの係数の順序は逆で なければならない。（これは、順序を逆にしても中心部の係数は変化しないまま であるので、単に係数に、とに３、およびに−、とに−３に影響を与えに過ぎな い。） 次に第６図においては、人力画像信号ｉ’（ｘ）は４サンプルの遅延線７０ど１ 組の６つのサンプリング／保持回路７２．７３．７４．７５．７６および７７に 対して同時に与えられる。各サンプリング／保持回路は７つのピクセルの持続期 間に１つの緑のサンプルを保持する。これらサンプリング／保持回路は、３つの 緑のサンプルを順次サンプルし、次いで次の３つの緑のサンプルを順次サンプル する前に、１つのピクセルの持続期間（縁でないサンプルが通過する間）を待機 するように、制御回路３２（第３図）によって順次トリガーされる（第６図の上 部から下部へ）。換言すわば、サンプリング／保持回路は、サンプリング／保持 回路７４とサンプリング／保持回路７５間、およびサンプリング／保持回路７７ とサンプリング／保持回路７２間に１つのピクセルの待機期間があるように、順 次反復される。

サンプルされた各画像信号は、次いで各フィルタの係数だけ加重される。、中心 の係数Ｋ。が０であるため落され、また緑てないサンプルが単にこれを無視する ことによりゼロ化されることに注意されたい。また、緑でないサンプルのいすね かの側におけるサンプルに対して加えられた係数が（望ましい実ｈ＆態様によれ ば）同じ場所の関係にあり、従って「−」の符号は省かれ、係数の値かに、、に ２．に３で示される場合もある。加重操作は、乗算素子の回路８０によって生じ る（抵抗回路はこれを行なう１つの従来の方法である）。サンプリング／保持回 路７２．７４．７５および７７の出力線における２つの加重値の存在は、本文に おいて前に説明したように、周期的な逆の係数の順序を反映する。これは制御回 路３２（第３図）により行なわれ、例えば適当な抵抗についてトランジスタのス イッチング動作の使用を含む。

加重された画像信号のサンプルが１対の加算回路８２．８４（その各々は例えば 多重人力加算増幅器として構成された演算増幅器でよい）に対して与えられる。

加算された値は１対のサンプリング／保持回路８６．８８によって格納され、こ れらの値は緑てないサンプルを置換する最終和を生じる加算回路９０に結合され ている。この最終和はマルチプレクサ２８に対して与えられる。

人力する画像信号ｉ’（ｘ）は遅延線７０において４つのピクセルの期間（４つ のサンプルと対応する）だけ遅らされ、発生と同時に、マルチプレクサ２８に対 して送られる。マルチプレクサ２８の機能は、遅延線７０から出てきた緑の各画 像サンプルを通して、加算回路９０からのこの和の信号を遅延線７０からの緑て ない画像サンプルに代替することである。これは、制御回路３２からの命令に従 って行なわれる（第３図）。

本発明により記述されるディジタル・フィルタは、有限数の項に基〈非循環即ち 行限インパルス応答（Ｆ　Ｉ　Ｒ）フィルタである。評価値Ｘｌのいずれかの側 の２つの項、即ち ＧＧＸ、ＧＧ は有効なり１価のために必要な最小値と思われる。しかし、項数は所要のとんな 数も包含するように拡張できることは明らかである。例えば、望ましい色フィル タにおいて、評価される項のいずれかの側の３つの項が用いら才する。同じ色フ ィルタにおいて、評価値Ｘ、のいずれかＧＧＧＸＧＧＧＸＩ　ＧＧＧＸＧＧＧ 別の縁てないサンプルの発生は、この分析に対して有害てはない（こわらは無視 される）。第４（ａ）図り示される如きフィルタを用いる評価値Ｘ、のいずれか の側の４つの項もまた使用できる。即ち、 ＧＧＸＧＧＸ、ＧＧＸＧＧ しかし、明らかにこのような付加される複雑さからほとんど利益は得られない。

ディジタル・フィルタにおける係数は、空間領域（ひろがり関数）の最適化法に よって取得された。これら係数は、別の周波数領域の最適化法によっても得るこ とができる。後者のプロセスによれば、（１，０−ディジタル・フィルタ３４の 周波数応答）で乗じた前置光学フィルタ１６（第３図）の周波数応答の絶対値を 最小に抑える係数が選択される。この最適化措置はまた、ＥＮＮＩＰＥＤＥ　（ またはＳｉｍｐｌｃｘ）ルーチンによっても行なわれる。この周波数領域の最適 化の利益は、これが別の自由度即ち周波数を加えることにある。最適化措置にお いて用いられる周波数範囲を制限すると共に空間的領域を最適化する（ひろがり 関数の最適化措置が行なう）ことが可能である。

もし通常の如くビデオ・システム（ディジタル・フィルタを含む）か固有の周波 数の上限を有するならば、ある空間の係数のセットを得ることができ、これがこ の周波数の上限まての改善さｉｌだひろがり関数の最適化を提供１−る。これは 、これまで得られたものとは異なる数のセットであり、こわらは前記周波数まで 最適であるに過ぎない。しかし、比較的高い周波数応答がシステム全体に灯し不 要であるため、これらの周波数において失うものはない。この形式の最適化は望 ましい方法であり、こ第１から得られる係数が望ましい係数を構成している。

第５図の望ましい複屈折フィルタは、下記のディスクリートなフィルタ周波数応 答を有する。即ち、但し、Ｂｏ、Ｂ＋はひろがり関数の係数（即ち、Ｂ、、Ｂｏ 、Ｂ１）であり、Ｆは空間的サンプリング周波数で、Ｏから　１７２サイクル／ ピクセルまで変動する（ナイキスト周波数）。（特に、これは有限インパルス応 答（ＦＩＲ）フィルタとして３つの点の複屈折フィルタを取扱うことを含む。） ディジタル・フィルタのディスクソートなフィルタ周波数応答は下記の如くであ る。即ち、 Ａｏ＋２Ａ、ｃｏｓ　２πＦ＋２Ａ２ｃｏｓ４πＦ＋２Ａ３　ｃｏｓ　６ｚＦ　 （４） 但し、Ａｏｌ、、Ａ、はフィルタの係数である。その目的は、ディジタル・フィ ルタの周波数応答（４）で複屈折フィルタの周波数応答（３）を乗じること、お よび複屈折フィルタの周波数応答（３）の近似値を得ることにある。周波数領域 の最適化法により得られる係数は下記の如くである。即ち、 Ａｌｌ　（＝に３　）　＝　０．１４９Ａ２　（＝　Ｋ２　）　＝　−０，４８ ３Ａ＋　（＝に１　）　＝　０．８３４ Ａｏ（−Ｋ。’）　＝　Ｏ（５） Ａ　＋　（＝　Ｋ−＋）　＝　０．８３４Ａ２　（＝に一、）　＝　−０，４８ ３Ａ３　（＝に−３）　＝　０．１４９ これらの数は、システムにおけるレンズを考慮することなく計算され、また０、 ６ナイキスト周波数の最大周波数を餌提とした。（Ｆ　＝　０．３は０．６×ナ イキスト周波数と対応する。）複屈折フィルタおよびディジタル・フィルタの周 波数応答は１．最適化ルーチンにおけるレンズの周波数応答で乗じて異なる「最 適の」数のセットを得ることができる。周波数領域の最適化法は、下記の如く（ 最初の行）複屈折フィルタのひろがり関数（１）の近似値、を生しる。即ち。

０．０３８−０．０５１０．０！６０．２８３０．４２７０．２８３０．０１６ −０．０５１０．０３８０　０　０　０．２５６０．４８８０．２５６　０　０ 　０これは２番目の行により示される元の点のひろがり関数（１）を近似化する 。これは、少なくとも本例において規定された周波数制限内で空間領域の最適化 法のみで得られるものより優れた近似である。また、これら最適化法は、もしナ イキスト周波数の約匂以上で用いられるならばうまく行かないことに注意された い（赤、緑および青のサンプルの全数に基いて）。この理由から、前置光学フィ ルタ手法は必要である。

１１；ｒ　；ξ光学フィルタ手法は必要であるが、これは色々な方法で行なうこ とができる。従来の光学的フィルタ以外に、既知のレベルの収差を有するレンズ 自体のみで必要な前置フィルタ操作を提供し得る。また、光学的な補助フィルタ 装置を用いずに前置フィルタ効果を提供するため複式センサ装置を構成すること ができる。第７図においては、１つのセンサ！００があるパターンの緑のみのレ セプタ（センサに重なる縁のみのフィルタ）を有し、他のセンサ１０２は垂直方 向に交互に位置する赤と青のレセプタを分離する緑のレセプタを有する。各レセ プタを定義する感光領域は１．１つの感光領域の巾（Ｗ）の半分で分離されてい る。例えば、両方のセンサの最初のラインから取出されて時間に関してインター ソープされた信号分離されている。例えば、両方のセンサの最初のラインから取 出されて時間に関してインターリーブされた信号は下記の形態を存することにな る。即ち、Ｇ　＋　Ｇ　”＋　Ｇ　２　ＲＩＧ　ａ　Ｇ″２　Ｇ４Ｒｘ　１．１ 、本発明の実施において有効な形態の他に、赤のレセプタＲ３と一致する緑の光 は緑のレセプタＧ２およびＧ３の両方にわたって分散（即ち、フィルタ）された 。この形式の二連センサの場合は、高解像度の単一センサの利点が２つの比較的 粗い解像度のセンサを用いて得ることができる。

本文の各項において示したように、ある特に選択されたフィルタ係数のセットに より定義されるディジタル・フィルタ３４が、ぼかしフィルタ１６に当る光の再 現を表わす画像信号を生しる。この効果は、このような再現が色フィルタ１８の 緑でない部分に重なる情景の部分の緑の量を正確に評価する故に技術的に有利と なる。その結果が遥かに改善された色の一致を有する単一センサ式カラー・ビデ オ・カメラとなるのである。

浄ＩＦ（内容に変更なし） ｃｏｃｏ　ωωω口 ｃｏ　ローロのの　９ ｏｃｐｃｐｃ、ｔｏｃｚ ＩＣｅａ：ｅｅｌ：ｌ：ＣＩ： ０００口０Ｑ ＧＧＲＧＧＢＧＧＲＧＧＢ （ａ）　ＧＧ　ＲＧＧ　ＢＧＧ　ＲＧＧ　ＢＧＧＲＧＧＢＧＧＲＧＧＢ ＧＧＧＲＧＧＧＢＧＧＧＲＧＧＧＢ （ｂ）　ＧＧＧＲＧＧＧＢＧＧＧＲＧＧＧＢＧＧＧＲＧＧＧＢＧＧＧＲＧＧＧＢ ＧＧＧＲＧＧＧＢＧＧＧＲＧＧＧＢ ＧＧＧＢＧＧＧＲＧＧＧＢＧＧＧＲ ＧＧＧＲＧＧＧＲＧＧＧＲＧＧＧＲ ＧＧＧＢＧＧＧＢＧＧＧＢＧＧＧＢ ＧＧＧＲＧＧＧＲＧＧＧＲＧＧＧＲ ＧＧＧＲＧＧＧＲＧＧＧＲＧＧＧＲ ＧＧＧＢＧＧＧＢＧＧＧＢＧＧＧＢ （ａ）　ＧＧＧＢＧＧＧＢＧＧＧＢＧＧＧＢＧＧＧＲＧＧＧＲＧＧＧＲＧＧＧＲ ＧＧＧＲＧＧＧＲＧＧＧＲＧＧＧＲ ＧＧＧＢＧＧＧＢＧＧＧＢＧＧＧＢ ＧＧＧＢＧＧＧＢＧＧＧＢＧＧＧＢ ＦＩＧ、　４ ＦＩＧ、４ ＦＩＧ、５ 浄書（内容に変更なし） す侃畑圧百す〜 国際調査報告 Ａｈ”ＡＥＸ　τＯＴＨＥ　ＩＮＴ工Ｒ：ＩＡＴ工０ＮＡＬ　５ＥＡＲＣＥ（Ｒ Ｅ：’ＯＲＴ　ＯＮ

Claims (16)

【特許請求の範囲】
1. １．光を画像から電気的信号へ変換し、結果の信号を処理するためのビデオ装置 において、 画像の光のぼかし写像と対応する、光で誘起された信号を生じる検出装置と、 ある特定の色の光に対し前記検出装置を選択的に付勢する色フィルタ装置であっ て、この選択度が前記の特定の色の光が前記検出装置を付勢することを阻止する 素子を有するフィルタ・パターンにより定義される前記色フィルタ装置と、 前記色フィルタにより阻止される前記の特定の色の前記光の明るさを表わすフィ ルタされた信号を生じるように選択される１組の加重係数に従って、光で誘起し た信号を処理する電気的フィルタ装置と、を設けることを特徴とするビデオ装置 。
2. ２．前記検出センサ装置が、 センサに当る画像の光の明るさと対応する、光で誘起された信号を生じるセンサ と、 該センサに向けられた光をぼかす光学的フィルタと、からなることを特徴とする 請求の範囲第１項記載の装置。
3. ３．前記色フィルタ装置が、前記光学的フィルタと前記センサとの間に挿置され た色フィルタを含むことを特徴とする請求の範囲第２項記載の装置。
4. ４．前記検出装置が、 感光領域に当る画像の光の明るさと対応する１対の光で誘起した信号を生じる感 光領域からなる１対のセンサを含み、１つのセンサがある感光領域の巾の半分だ け他のセンサから偏在し、 前記対の光で誘起した信号をインターリーブして前記センサの感光領域から生じ る信号セグメントが順次の時間関係にあって前記画像の光のぼかし写像を表わす 単一の光で誘起した信号を形成する装置を含むことを特徴とする請求の範囲第１ 項記載の装置。
5. ５．前記色フィルタ装置が、 前記の特定の色の光を選択的に通過させるように前記センサに当る光の経路に配 置された各色フィルタを含み、１つの色フィルタは前記センサの１つに対し前記 の特定の色の光のみを通過させ、他の色フィルタは前記の特定の色の光が前記の 他のセンサに達することを周期的に阻止するパターンを有することを特徴とする 請求の範囲第４項記載の装置。
6. ６．前記光学的フィルタが既知のレスポンス関数に従って前記センサに向けられ た光をぼかすことを特徴とする請求の範囲第２項記載の装置。
7. ７．前記色フィルタ装置が、 前記光学的フィルタと前記センサとの間に挿置された色フィルタを含み、該色フ ィルタはある色は通し他の色は遮断する複数のフィルタ素子を含み、該フィルタ 素子は、１つの次元に沿って前記の特定の色を遮断する素子がその両側に２つず つ前記の特定の色を通す少なくとも４つの素子により包囲されるように配置され ることを特徴とする請求の範囲第６項記載の装置。
8. ８．前記電気的フィルタ装置が、前記特定の色を遮断する前記フィルタ素子を包 囲する前記の少なくとも４つの素子と対応するその一連のものから信号サンプル の線形組合せを処理し、前記サンプルはこれらを前記光学的フィルタのレスポン ス関数と実質的に等しくするプロセスにおいて選択される１組の係数に従って加 重されることを特徴とする請求の範囲第７項記載の装置。
9. ９．前記の特定の色を遮断するフィルタ素子と対応する、光で誘起した信号の該 当部分の代りにフィルタされた信号を使用する装置を更に設けることを特徴とす る請求の範囲第８項記載の装置。
10. １０．前記光学的フィルタの既知のレスポンス関数が空間関数であり、前記電気 的フィルタ装置が、前記光学的フィルタの空間関数による係数の畳み込みが同じ 空間関数、即ち前記光学的フィルタの接近した近似値を生じるように選択された １組の係数により構成されることを特徴とする請求の範囲第６項記載の装置。
11. １１．前記光学的フィルタの既知の応答が周波数応答であり、前記電気的フィル タ装置が、前記光学的フィルタの周波数応答により乗じたフィルタの周波数応答 が後者の周波数応答即ち前記光学的フィルタの接近した近似値を生じるように選 択された周波数応答を有することを特徴とする請求の範囲第６項記載の装置。
12. １２．情景の領域から受取られた色彩光と対応する信号を生じる形式のカラー・ ビデオ・カメラにおいて、前記情景の領域と空間的に対応する複数の感光領域を 有する画像センサと、 既知のレスポンス関数に従っていくつかの感光領域により占められたセンサ領域 上の各情景領域から受取る光を分散する光学的フィルタと、 前記画像センサと前記光学的フィルタとの間に挿置され、ある選択された色の光 を遮断する１つの形式のフィルタ素子と、前記の選択された色彩光を通す別の形 式のフィルタ素子とを有する色選択フィルタと、前記画像センサに当る色彩光と 対応する画像信号であって、前記色彩フィルタが選択された色の光を遮断する感 光領域を含む光の当る離散的な感光領域と対応する一連のサンプルからなる前記 画像信号を生じる装置と、 画像サンプルの線形組合せからフィルタされた信号を生じ、また前記情景に対す る光学的フィルタのレスポンス関数の効果に近似する関数に従って各サンプルを 加重することにより、前記画像信号をフィルタする装置と、 前記の選択された色の光を前記色フィルタが遮断するサンプル期間において、前 記画像信号の代りにフィルタされた信号を使用する装置と、を設けることを特徴 とするカメラ。
13. １３．前記光学的フィルタが、各情景領域からの光を、既知の空間および周波数 のレスポンス関数に従っていくつかの感光領域により占められるセンサ領域にわ たって分散することを特徴とする請求の範囲第１２項記載のカメラ。
14. １４．前記フィルタ装置が、 畳み込み操作が行なわれる時は前記光学的フィルタの空間的レスポンス関数を、 また乗算が行なわれる時は前記周波数応答を近似的に再現することができる１組 の加重係数で構成されるディジタル・フィルタからなることを特徴とする請求の 範囲第１３項記載のカメラ。
15. １５．ある情景における緑の情報から輝度信号を、また前記情景における緑の情 報と他の色の情報との組合せから色信号を、生じる形式の単一センサ式カラー・ ビデオ・カメラにおいて、 既知の空間および周波数特性に従って前記情景のぼけた画像を生じる光学的フィ ルタと、 緑でないフィルタ素子の少なくとも２倍の数の緑のフィルタ素子を有する色フィ ルタであって、該色フィルタ素子は、実質的に全ての緑でないフィルタ素子が少 なくとも２つの緑のフィルタ素子により分離される線のパターンを形成すること 、 空間的に前記フィルタ素子と対応する感光画像領域を有する画像センサと、 ある縁でないフィルタ素子と空間的に対応する緑の光がぼかされて、そのいずれ かの側に緑でないフィルタ素子と緑の素子を含むいくつかのフィルタ素子にわた り分散されるように、前記光学的フィルタと前記画像センサとの間に前記色フィ ルタを配置する装置と、 前記画像センサから画像信号を回収する装置と、前記画像信号を処理する電気的 フィルタであって、前記画像信号の加重されたサンプルの線形組合せを組立てる 装置を含む電気的フィルタと、を設け、該線形組合せは、前記電気的フィルタの 空間的（または周波数）特性による前記光学的フィルタの空間的（または周波数 の乗算）特性の畳み込みが前記光学的フィルタの対応する特性を近似的に再現す るように選択された１組の係数に従って加重されることを特徴とするカメラ。
16. １６．前記光学的フィルタの既知の空間的特性がひろがり関数であり、前記電気 的フィルタの前記の加重係数は、前記の選択された係数が前記ひろがり関数によ り畳み込み操作される時に前記ひろがり関数が実質的に反復されるように選択さ れることを特徴とする請求の範囲第１５項記載のカメラ。