JP3759655B2 - マルチメディア対応可能なｃｃｄカメラシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はマルチメディア対応可能なＣＣＤカメラシステムに関し、より詳細に言うと、ディジタル信号処理とのインタフェース時必要な周波数変換作業なしでもシステム構成ができるようにＣＣＤの縦横比を国際規格に合わせて定め、補色のストライプパターンの２個のＣＣＤに換えて構成することにより輝度信号の水平解像度及び色信号の垂直解像度を向上させたマルチメディア対応可能なＣＣＤカメラシステムに関する。
【０００２】
【従来の技術】
以下、添付された図面を参照して従来のＣＣＤカメラシステムに対して説明する。
【０００３】
図１は従来ＣＣＤカメラシステムのプロック図である。
【０００４】
図１に図示されているように従来のＣＣＤカメラシステムの構成は、被写体の光学信号を集光するレンズ部（１０）と、前記レンズから集光された光学信号が結像されれば結像された光学信号を電気的な信号に変換させるＣＣＤ（１１）と、前記ＣＣＤ（１１）から出力された映像信号からノイズなど不必要な信号を除去するためのサンプリング及びホールディング機能を遂行するサンプリング／ホールディング器（１２）と、前記サンプリング／ホールディング器（１２）から出力されるアナログ映像信号をディジタル信号処理のためのディジタル映像信号に変換させるアナログ／ディジタル変換器（１３）と、前記アナログ−ディジタル変換器（１３）の出力信号の一周期（１Ｈ）遅延された信号を貯蔵する第１ラインメモリ（１４）と、前記第１ラインメモリ（１４）に貯蔵された信号の一周期（１Ｈ）遅延された信号を貯蔵する第２ラインメモリ（１５）と、前記第１ラインメモリ（１４）に貯蔵された信号を利用して輝度信号（Ｙ）を生成する輝度信号生成器（１６）と、前記アナログ−ディジタル変換器（１３）の出力信号、第１ラインメモリ（１４）及び第２ラインメモリ（１５）に貯蔵された信号が入力され、内部の色差信号マトリクスを利用して色信号（Ｃｒ，Ｃｂ）を生成する色信号生成器（１７）とからなっている。
【０００５】
前記のように構成されている従来のＣＣＤカメラシステムの動作は次の通りである。
【０００６】
単板式ＣＣＤ利用した色信号処理において色を復元するためには一つの画素だけでなく互いに独立した色成分を含む画素を持たなければならず、最近ではこの中でも分光感度特性が一番良い補色フィルタ方式（マジェンタ（Ｍｇ），シアン（Ｃｙ），イエロー（Ｙｅ），グリーン（Ｇ））の色成分を利用したフィルタ方式）を使用している。
【０００７】
ここで単板式ＣＣＤのカラーフィルタアレイパターンを見ると、水平的には‘マジェンタ＋シアン’、‘グリーン＋シアン’成分を持つライン（Ｓ１）と、‘グリーン＋イエロー’、‘マジェンタ＋イエロー’成分を持つライン（Ｓ２）が反復されている。
【０００８】
ここで垂直的に前記‘マジェンタ＋シアン’、‘グリーン＋イエロー’成分がＮ番目のライン画素とすれば‘グリーン＋シアン’、‘マジェンタ＋イエロー’成分は（Ｎ−１）番目または（Ｎ＋１）番目のライン画素と言える。
【０００９】
また、垂直的に奇数フィールドと偶数フィールドに区分されていて各フィールドによりライン（Ｓ１，Ｓ２）の画素成分が変わるようになる。
【００１０】
前記のようにＣＣＤのカラーフィルタアレイは水平垂直的に一つの画素あるいは一つのラインごとに順次的な構造を持っているので、レッド（Ｒ），グリーン（Ｇ），ブルー（Ｂ）の色信号を生成するためには前記カラーフィールドアレイにある互いに隣接した画素を利用して水平垂直的補間処理が必要となり、特に垂直的な補間処理のためには図１に図示された二つのラインメモリ（１４，１５）を使用して現在入力される映像信号の一周期（１Ｈ）遅延された信号と二周期（２Ｈ）遅延された信号を各々保持し、一周期（１Ｈ）遅延された信号を中心に現在入力される映像信号と二周期（２Ｈ）遅延された信号とにより補間処理をするようになる。
【００１１】
言い換えると、図１に図示されているようにＣＣＤ（１１）の出力信号はサンプリング／ホールディング器（１２）を経てアナログ／ディジタル変換器（１３）を通じて量子化される。量子化されたＣＣＤ（１１）信号は二つのラインメモリ（１４，１５）を通じて３ラインが同時化されて水平及び垂直補間による色信号生成が可能になる。
【００１２】
【発明が解決しようとする課題】
しかしながら、前記のような単板式ＣＣＤの信号処理方式は経済的にコストダウン効果は上げられるが、単板式を使っても輝度及び色信号の情報を全て含んでいるためには一つの画素独立ではいかなる情報にもならず周囲の隣接した互いに違う色の情報を持っている画素の情報を水平、垂直的に補間することにより得られるので、輝度信号の解像度の低下はもちろん、色信号の画質劣化などの問題点がある。前述したように現在のカメラシステムでは補色パターンの単板式ＣＣＤを利用して信号処理をしているが、これは解像度側面で国際規格で定められたＣＣＩＲ６０１フォーマット（横×縦：７２０×４８０）の解像度を満足させることができなくなる。
【００１３】
また、これまでのＣＣＤカメラシステムは既存のアナログ信号処理システムに適用できるように設計されたので、ＣＣＤの縦横比をノーマル用あるいはハイバンド用（ＨＩ８）に使用してきた。ここで前記ノーマル用は有効画素数が２５万個、サンプリング周波数（ｆｓ）が９．５４５ＭＨｚであり、ハイバンド用は有効画素数が３８万個、サンプリング周波数（ｆｓ）が１４．３ＭＨｚであるＣＣＤを指す。
【００１４】
前記サンプリング周波数（ｆｓ）はアナログシステムでは別に重要な意味を持たないが、最近の映像信号処理技術がディジタル信号処理に代わることにより全ての映像信号処理に関連した映像の横、縦の大きさが国際規格（横：縦＝４：３）で定められた時点で、映像信号のサンプリング周波数の決定は大変重要な意味を持つ。すなわち、従来のＣＣＤの周波数が現在既に確定されているディジタル映像信号の国際標準規格（ｆｓ：１３．５ＭＨｚ）に不適合なので、ディジタル信号処理とのインタフェース時、必ず周波数変換作業が必要となる不便がある。
【００１５】
【課題を解決するための手段】
したがって、本発明では前記のように不便を解決するためのもので信号処理国際規格に合う縦横比、すなわち有効画素領域が定められたＣＣＤを利用して構成することによりディジタル信号処理とのインタフェース時、必ず必要な周波数の変換作業なしでも映像処理ができるようにしたマルチメディア対応可能なＣＣＤカメラシステムを提供することに一番目の目的がある。
【００１６】
また本発明は従来補色パターンの単板式ＣＣＤを使用することにより生じる輝度信号の解像度低下及び色信号の画質劣化などの問題点を解決するためのもので、ストライプパターンのＣＣＤ、すなわち互いに異なる色情報をもっているので互いに隣接した画素を利用した水平、垂直補間処理が要らない二つのＣＣＤに換えて構成することにより二つのラインメモリを使用しなくても信号処理ができるようにし、輝度信号の水平解像度を国際規格（ＣＣＩＲ６０１フォーマット）水準に上げ色信号の垂直解像度及び色再現性を向上させたマルチメディア対応可能なＣＣＤカメラシステムを提供することに二番目の目的がある。
【００１７】
前記目的を達成するための本発明の構成は、被写体の光学信号を集光するレンズ部と、前記レンズ部により集光された光学信号を周波数により分散させて出力する分光手段と、前記分光手段を通じて分散された各光学信号が結像されると、結像された光学信号を電気的な信号に変換させる機能を持ち国際標準規格に合う有効画素数と補色パターンの互いに違うカラーフィルタアレイを持つ第１及び第２ＣＣＤと、前記第１，第２ＣＣＤから出力された各映像信号からノイズなど不必要な信号を除去するためのサンプリング及びホールディング機能を遂行する第１及び第２サンプリング／ホールディング手段と、前記第１及び第２サンプリング／ホールディング手段から出力される各アナログ映像信号をディジタル信号処理のためのディジタル映像信号に変換させる第１及び第２アナログ／ディジタル変換手段と、前記第１及び第２アナログ／ディジタル変換手段の各出力信号が入力され、入力された両信号の合と差を算出して輝度信号と色信号を生成させて出力するＣＣＤ映像信号処理手段とからなっている。
【００１８】
前記ＣＣＤ映像信号処理手段は、前記第１及び第２アナログ／ディジタル変換手段の各出力信号を加算して出力する第１演算手段と、前記第１及び第２アナログ／ディジタル変換手段の各出力信号を減算して出力する第２演算手段と、前記第１演算手段から出力される信号が入力されて輝度信号を生成する輝度信号生成手段と、前記第１及び第２演算手段から出力される信号が入力されて内部の色差信号マトリクスを利用して色信号を生成する色信号生成手段とからなっている。
【００１９】
前記第１ＣＣＤ及び第２ＣＣＤの有効画素の規格は、国際規格（ＣＣＩＲ６０１）で定められたフォーマット（横×縦：７２０×４８０）で構成されている。
【００２０】
前記第１ＣＣＤのカラーフィルタアレイ（ＣＦＡ）パターンの構成は、水平的には‘マジェンタ＋シアン’成分の画素を持つライン（Ｓ１）と、‘グリーン＋シアン’成分の画素を持つライン（Ｓ２）が反復されている。
【００２１】
前記第２ＣＣＤのカラーフィルタアレイパターンの構成は、水平 的には‘グリーン＋イエロー’成分の画素を持つライン（Ｓ１）と、‘マジェンタ＋イエロー’成分の画素を持つライン（Ｓ２）が反復されている。
【００２２】
【発明の実施の形態】
以下、本発明が属する技術分野で通常の知識を持っている者が本発明を容易に実施できる程度詳細に説明するために本発明の一番好ましい実施の形態を添付された図面を参照して説明する。
【００２３】
図２は本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムのブロック図である。
【００２４】
図３は本発明によるＣＣＤ有効画素の規格例示図である。
図４は（ａ），（ｂ）は本発明によるＣＣＤカラーフィルタアレイを表した例示図である。
【００２５】
図２に例示されているように、本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムの構成は、被写体の光学信号を集光するレンズ部（１０）と、前記レンズ部（１０）により集光された光学信号を周波数により分散させて出力する両方向プリズム（２０）と、前記両方向プリズム（２０）を通じて分散された各光学信号が結像されれば、結像された光学信号を電気的な信号に変換させる機能を持ち国際標準規格に合う有効画素数と補色ストライプパターンの互いに異なるカラーフィルタアレイを持つ第１ＣＣＤであるＣＣＤ１（３０），第２ＣＣＤであるＣＣＤ２（３１）と、前記ＣＣＤ１（３０），ＣＣＤ２（３１）から出力された各映像信号からノイズなど不必要な信号を除去するためのサンプリング及びホールディング機能を遂行するサンプリング／ホールディング器（４０，４１）と、前記サンプリング／ホールディング器（４０，４１）から出力される各アナログ映像信号をディジタル信号処理のためのディジタル映像信号に変換させるアナログ／ディジタル変換器（５０，５１）と、前記アナログ／ディジタル変換器（５０，５１）の各出力信号が入力され、入力された両信号の和と差を算出して輝度信号と色信号を生成させて出力するＣＣＤ映像信号処理器（６０）とからなっている。
【００２６】
前記ＣＣＤ映像信号処理器（６０）の構成は、前記アナログ／ディジタル変換器（５０，５１）の各出力信号を加算して出力する加算器（６１）と、前記アナログ／ディジタル変換器（５０，５１）の各出力信号を減算して出力する減算器（６２）と、前記加算器（６１）から出力される信号が入力され、輝度信号を生成する輝度信号生成器（６３）と、前記加算器及び減算器（６１，６２）から出力される信号が入力され、内部の色差信号マトリクスを利用して色信号を生成する色信号生成器（６４）とからなっている。
【００２７】
前記第１ＣＣＤであるＣＣＤ１（３０），第２ＣＣＤであるＣＣＤ２（３１）の有効画素の規格は、国際規格（ＣＣＩＲ６０１）に定められたフォーマット（横×縦：７２０×４８０）で構成されている。
【００２８】
前記ＣＣＤ１（３０）のカラーフィルタアレイパターンの構成は、水平的にはマジェンタ＋シアン'成分の画素を持つライン（Ｓ１）と、グリーン＋シアン成分の画素を持つライン（Ｓ２）が反復されている。
【００２９】
前記ＣＣＤ２（３１）のカラーフィルタアレイパターンの構成は、水平的には‘グリーン＋イエロー’成分の画素を持つライン（Ｓ１）と、‘マジェンタ＋イエロー’成分の画素を持つライン（Ｓ２）が反復されている。
【００３０】
前記のように成り立っている本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムの動作は次の通りである。
【００３１】
図２に図示されているようにレンズ部（１０）を通じて入力される被写体の光は両方向プリズム（２０）を通じて屈折されて互いに異なるカラーフィルタアレイを持つ二つのＣＣＤ１（３０），ＣＣＤ２（３１）に投影される。前記二つのＣＣＤ１（３０），ＣＣＤ２（３１）のカラーフィルタアレイパターンが図４の（ａ），（ｂ）に各々図示されている。図４の（ａ），（ｂ）に図示されているように、二つのＣＣＤ１（３０），ＣＣＤ２（３１）のカラーフィルタアレイパターンは同じ位置にある二つ画素、例を挙げると（Ｍｇ＋Ｃｙ）成分の画素と（Ｇ＋Ｙｅ）成分の画素の和が輝度信号になるように構成され、前記二つ画素の和と差を利用して色信号（Ｒ，Ｇ，Ｂ）を生成できるように構成されている。
【００３２】
次に、本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムでの輝度信号と色信号の生成原理に対して詳細に説明する。
【００３３】
まず、一番目の画素の和はＣＣＤ１（３０），ＣＣＤ２（３１）の（Ｍｇ＋Ｃｙ）とＣＣＤ２（３１）の（Ｇ＋Ｙｅ）の和なのでこれを計算して見ると、（２Ｒ＋３Ｇ＋２Ｂ）で輝度信号に使用できる成分になる。同じ方法で、水平的に二番目画素の和も（Ｇ＋Ｃｙ）と（Ｍｇ＋Ｙｅ）の合なので、計算して見ると（２Ｒ＋３Ｇ＋２Ｂ）になって前記のような結果になることがわかる。ここでもわかるように、従来の信号処理でも輝度信号生成のために、水平的に隣接した画素の平均値を使用するものとは違って各画素別に独立的に輝度信号の生成ができることがわかる。
【００３４】
次に、一番目の画素の差成分を見ると、（Ｇ＋Ｙｅ）−（Ｍｇ＋Ｃｙ）＝（２Ｒ−Ｇ）となり、同じ方法で水平二番目画素の差を計算して見ると、（Ｍｇ＋Ｙｅ）−（Ｇ＋Ｃｙ）＝（Ｇ−２Ｂ）となる。したがって、こうした各画素の和、差成分を利用した適切な色差信号マトリクスを通じて色の３原色であるレッド、グリーン、ブルーの信号が生成できる。また次のラインの画素も同じ成分の画素なので差成分は同一の結果が出る。
【００３５】
かかる過程は単板式ＣＣＤ使用時色信号を生成するために必ず要した３ライン補間処理をせずに各ライン別にレッド、ブルーの情報を同時に得られるということを意味する。
【００３６】
ここでＣＣＤ信号処理方式の理解を手伝うためにレッド（ＲＥＤ）、グリーン（ＧＲＥＥＮ）、ブルー（ＢＬＵＥ）を生成するマトリクスの一つの例を上げて説明する。
ＧＲＥＥＮ＝（２Ｒ＋３Ｇ＋２Ｂ）−｛（２Ｒ−Ｇ）−（Ｇ−２Ｂ）｝＝５Ｇ
ＲＥＤ＝（２Ｒ−Ｇ）＋０．２×ＧＲＥＥＮ＝２Ｒ
ＢＬＵＥ＝（Ｇ−２Ｂ）＋０．２×ＧＲＥＥＮ＝２Ｂ
【００３７】
また、図３は本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムで使用されるＣＣＤ有効画素の規格を見せている。
【００３８】
図３に図示されているようにＣＣＤの画面の横、縦の大きさは国際標準規格に合う有効画素７２０×４８０の大きさ( ＣＣＩＲ６０１国際標準規格）になるように横縦比を定めて異なるディジタル信号処理機器及び色々な応用分野のインタフェースを容易にする。この時、ＣＣＤのサンプリング周波数または水平駆動信号の周波数は１３．５ＭＨｚとなる。
【００３９】
このように、１３．５ＭＨｚのサンプリング周波数を通じて出力される二つのＣＣＤ１（３０），ＣＣＤ２（３１）の出力信号は互いに異なる二つのサンプリング／ホールディング器（４０，４１）を経てアナログ／ディジタル変換器（５０，５１）を通じてＣＣＤ映像信号処理器（６０）に入力される。そして前で言及したように輝度信号と色信号の生成のためにＣＣＤ映像信号処理器（６０）に入力された二つの量子化された信号の和と差を算出して輝度信号生成器（６３）に入力される。
【００４０】
その後の信号処理は従来の信号処理と同一であるが信号処理に使用されるシステム周波数は国際標準規格に合う１３．５ＭＨｚを使用するという差がある。
【００４１】
ここで本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムを輝度信号生成器及び色信号生成器だけを置いて見た時には単純に周波数だけを変更したものと考えられるが、このためＣＣＤの規格を変更して今後展開されるマルチメディア用、特にＣＣＩＲ６０１ポーメットの対応側面で考えるとすると、大変大きな意味を持つと言える。
【００４２】
次に図５は本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムの応用例を見せている。
【００４３】
図５に図示されているように本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムの出力は輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）になり、この信号は後段の映像圧縮／復元システムを通じた映像圧縮過程を経て色７な記憶装置または伝送チャンネルに記録または伝送され、前記記憶装置または伝送チャンネルに記録または伝送される信号は再び映像圧縮／復元システムを通じた映像復元過程を経てＣＣＩＲ６０１ ４：２：２（＝Ｙ：Ｃｒ：Ｃｂ）ポーメットに変換されエンコーディング過程を通じて映像信号規格に相応する複合映像信号に変換された後、画面にディスプレイされる。このような応用例は今後展開されるマルチメディア時代のＣＣＤカメラを利用した全てのシステムに適用されると予想される。
【００４４】
【発明の効果】
従って、前記のように動作する本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムの効果は、ディジタル信号処理とのインタフェース時、必要な周波数作業なしにもシステムの構成ができるようにするためＣＣＤの縦横比（Ａｓｐｅｃｔ Ｒａｔｉｏ）を国際規格に合わせて定め、補色のパターンの二つのＣＣＤに換えて構成することにより輝度信号の水平解像度および色信号の垂直解像度を向上させたマルチメディアに対応できるようにしたものである。
【図面の簡単な説明】
【図１】従来のＣＣＤ（Charge Coupled Device ）カメラシステムのブロック図である。
【図２】本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムブロック図である。
【図３】本発明で提案するＣＣＤ有効画素の規格例示図である。
【図４】（ａ），（ｂ）は、本発明で提案するＣＣＤカラーフィルタアレイを表した例示図である。
【図５】本発明の実施の形態によるマルチメディア対応可能なＣＣＤカメラシステムの応用例を表した図である。
【符号の説明】
１０ レンズ部
２０ プリズム
３０ ＣＣＤ１
３１ ＣＣＤ２
４０，４１ サンプリング／ホールディング器
５０，５１ アナログ／ディジタル変換器
６０ 映像信号処理器
６１，６２ 加算器／減算器
６３ 輝度信号生成器
６４ 色信号生成器

Claims (5)

1. 被写体の光学信号を集光するレンズ部と、
   前記レンズ部により集光された光学信号を周波数により分散させて出力する分光手段と、
   前記分光手段を通じて分散された各光学信号が結像されると、結像された光学信号を電気的な信号に変換させる機能を持ち国際標準規格に合う有効画素数と補色パターンの互いに違うカラーフィルタアレイを持つ第１及び第２ＣＣＤと、
   前記第１及び第２ＣＣＤから出力された各映像信号からノイズなど不必要な信号を除去するためのサンプリング及びホールディング機能を遂行する第１及び第２サンプリング／ホールディング手段と、
   前記第１及び第２サンプリング／ホールディング手段から出力される各アナログ映像信号をディジタル信号処理のためのディジタル映像信号に変換させる第１及び第２アナログ／ディジタル変換手段と、
   前記第１及び第２アナログ／ディジタル変換手段の各出力信号が入力され、入力された両信号の和と差を算出して輝度信号と色信号を生成させて出力するＣＣＤ映像信号処理手段とからなり、
   前記第１及び第２ＣＣＤのカラーフィルタアレイパターンは同一位置にある２個の画素の和が輝度信号になるように構成され、前記２個の画素の和と差を利用して色信号（Ｒ，Ｇ，Ｂ）を生成できるように構成され、
   前記第１ＣＣＤのカラーフィルタアレイパターンは水平的にはマジェンタ＋シアン成分の画素を持つラインと、グリーン＋シアン成分の画素を持つラインが反復され、
   前記第２ＣＣＤのカラーフィルタアレイパターンは水平的にはグリーン＋イエロー成分の画素を持つラインと、マジェンタ＋イエロー成分の画素を持つラインが反復されていることを特徴とするマルチメディア対応可能なＣＣＤカメラシステム。
2. 前記ＣＣＤ映像信号処理手段は、
   前記第１及び第２アナログ／ディジタル変換手段の各出力信号を加算して出力する第１演算手段と、
   前記第１及び第２アナログ／ディジタル変換手段の各出力信号を減算して出力する第２演算手段と、
   前記第１演算手段から出力される信号が入力されて輝度信号を生成する輝度信号生成手段と、
   前記第１及び第２演算手段から出力される信号が入力されて内部の色差信号マトリクスを利用して色信号を生成する色信号生成手段とからなることを特徴とする請求項１に記載のマルチメディア対応可能なＣＣＤカメラシステム。
3. 前記第１及び第２ＣＣＤの有効画素の規格は国際規格（ＣＣＩＲ６０１）で定められたフォーマット（横：縦＝４：３）で構成されていることを特徴とする請求項１に記載のマルチメディア対応可能なＣＣＤカメラシステム。
4. 前記第１及び第２ＣＣＤサンプリング周波数は国際標準規格に合う１３．５ＭＨｚであることを特徴とする請求項１に記載のマルチメディア対応可能なＣＣＤカメラシステム。
5. 前記分光手段は両方向プリズムからなることを特徴とする請求項１に記載のマルチメディア対応可能なＣＣＤカメラシステム。

Images