JPH0350984A - 画像記録再生装置および画像再生装置および画像記録装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ｒａ業上の利用分野］ 本発明は、色分離フィルターと組み合わされた固体撮像
素子を用いた画像記録装置に関するものである。

［従来の技術］ 固体撮像素子の信号を、ディジタルに変換し、それを、
ディジタル信号処理を行って映像として、記録、再生す
る装置が注目されている。この代表例としては、映像情
報をディジタル値に変換し、半導体メモリ等に、記録す
る全固体カメラがある。上記システムにおいては、撮像
素子から、出力される信号は、その撮像素子（以下セン
サーと略す、）に貼られている色分離フィルターの配置
によって、各種、様々の信号処理を施す必要があるため
、あらかじめ、カメラ側で、色分離フィルターの配列に
よらない、標準信号形態、（例えば、輝度信号十色差信
号）に変換を行い、半導体メモリ等に記録される。

このときセンサーの信号は、−度標準的形態（例えばＲ
，Ｇ、Ｂ信号）に変換されてから記録される。

［発明が解決しようとしている問題点］しかしながら、
上記従来例では、本来、記録すべき情報量を、増加させ
て記憶メモリーに、記録してしまうことになる欠点があ
る０例えば、第１図に示すようなモザイクフィルターを
もつセンサーの出力を、メモリーに取り込む場合、輝度
信号用のメモリー容量は、サンプリング周波数を低下さ
せられないため、事実上、センサー上の画素数と同じだ
け必要になり、更に、もともと、線順次で得られる色差
信号も同時化して、記憶する必要があるため、もともと
のセンサーの情報量に比して、数倍の容量が必要になる
。もちろん、色差信号の方は、サンプリング周波数を下
げることは、可能である。しかし、その場合は、サンプ
リング周波数を下げるための、ディジタルフィルターが
必要になり、更に、サンプリング周波数を下げることに
は、限界があるため、本来のセンサーの情報より大幅な
増加は、避けられない。このことは、第４図に示すよう
な、ストライブフィルターを持つセンサーにおいても同
様である。情報量を増加させずに、メモリーに記憶させ
るには、センサーの情報を、そのまま、記録させればよ
いが、その際は、各種色フィルターの配列により信号処
理の相違により、互換性に、大きな問題を残すことにな
る欠点がある。

［問題点を解決する為の手段］ 本発明は上記従来例の問題点を解決することを目的とし
たものであり、固体撮像素子からの色信号を色変換せず
メモリに記憶し、該メモリから任意の大きさのブロック
データを選択する選択手段を有し、その選択された信号
から所定の色信号又は輝度信号に変換するマトリクス演
算手段を有することを特徴とする。

具体的実施例としては、再生装置にセンサーの信号を夫
々ＲＧＢと輝度信号に変換するｎ×ｍのマトリクス信号
処理手段を持たせ、記録装置でメモリーに記憶する時に
は、センサーの信号をなるべく直接記憶させると共に、
上記、マトリクス信号処理の変換マトリクス定数及びそ
のセンサーの格子配列情報及び変換マトリクスのセンサ
ー上の縦、横方向の移動ステップ数等をメモリー上に記
録させることにより、任意の色配列に対して、同一形態
の信号出力を得ることを可能にするものである。

［作用］ 本発明によれば、センサーの信号をほぼ直接メモリーに
書き込んでも、互換性を損うことはないため、大幅な、
メモリーの節約が可能となる。

〔実施例］ まず、本発明のポイントとなるマトリクス信号処理の原
理について、説明を行う。単板式や２板式カメラの使う
、色分離フィルターの種類は補色及び純色の限られた種
類しかなく、１２号処理においても、ホワイトバランス
をとるためには、−度Ｒ，Ｇ、Ｂ系に戻し、その後、必
要な信号形態に変換を行なっている。

例えば、第１図に示すような補色モザイクフィルターで
は、第２図のような、信号処理回路で、このような変換
を行なう。つまり色信号処理については、撮像素子１の
出力は、ｒｇｂに変換するマトリクス回路Ａを経て、Ｂ
のホワイトバランス調整機能を備えたマトリクス回路、
γ補正回路２、色差マトリクス回路３を介してＮＴＳＣ
（ＰＡＬ、ＳＥＣＡＭ、ＨＤ等）の標準テレビジョン信
号処理エンコーダー４に入る。一方、輝度信号処理系に
ついては、撮像素子１の出力を、輝度信号に変換するマ
トリクス回路りを通りγ補正回路５、デジタルフィルタ
ー６を介して高域成分が抜きとられ、マトリクス回路３
からの低域輝度信号と加算器７で合成され、輝度信号Ｙ
に変換される。つまり、撮像素子から見て、必要な色侶
号を得るにらは、色信号マトリクスＧ＝ＡＸＢのマトリ
クスの情報があれば良く、また、輝度信号を得るには、
マトリクスＤが存在すればよい。実際の信号処理におい
ては、更に、垂直、水平のサンプリングステップが必要
である。つまり、ｌ×ｍのマトリクスを、撮像素子１の
画素上に、はめこむようにして、計算してゆくので、マ
、トリクスを、次にどの画素位置に移動させるかの情報
が必要である、このマトリクスの計算上の動きを第１図
を使って説明する。まず、撮像素子１の各画素の信号が
メモリＲＡＭ上でｘｘｙに配置され、ランダムにアクセ
スできるように為されている（あるいは、遅延線等を使
い、マトリクス演算に必要なデーターを、適切に抽出で
きるようになっている。）ものとする。このとき第２図
に示すウィンドーマトリクスＧｃを用い、このＧｃをｘ
ｘｙ上の座標（１，１）に最初セットし、第１図中のマ
トリクス演算により、ｒ、ｇ、ｂ及びＹが計算される。

次に、このウィンドーマトリクスをあらかじめ用意され
た、サンプリングステップに従つて、移動する。例えば
、第１図の例では、最初、ウィンドーマトリクスが（１
，１）にあったものは、２サイクル後次には、（３，１
）に移動し、この動ぎは、あらかじめ、セットされた、
サンプリングステップ＝２により、行うことができる。

また、センサーの）（ｘｙの大きさをあらかじめ、セッ
トしておけば、その座標を超えた時点で、ウィンドーマ
トリクスを停止させることもでき、ＩＨに相当するサイ
クル後は、再び、Ｘ座標を、初期位置に戻し、ｙに対し
てあらかじめ、セットされた、縦方向のサンプリングス
テップで、ウィンドーマトリクスを動かし、それによっ
て、次のラインの信号処理を行なう。

輝度信号についても、同様であり、ウィンドーマトリク
スに対し、あらかじめ用意された信号処理マトリクスＤ
を演算することで、輝度信号が得られ、このウィンドー
マトリクスをサンプリングステップで移動させることで
、色と同様の信号処理ができる。このように、ウィンド
ーマトリクスと、信号処理マトリクスを用意することに
より従来、全く異なる信号処理形態であった、モザイク
フィルタとストライブフィルタ、純色と補色の信号処理
を、同一のハードウェア形態で単にマトリクスを変更す
るだけで処理することができるようになる。第３図に、
ウィンドーマトリクスを含めた本発明の信号処理ブロッ
ク図を示す。第２図と同じ符番のものは同じ要素を示す
。尚、ＲＡＭは固定又は着脱可能なランダムアクセスメ
モリである。第４図は、純色ストライブフィルター配列
例と、このときのマトリクスを示したものであり、第３
図のハード構成において第４図の場合の適応を述べる。

純色フィルターの場合、第４図中のマトリクスＡの部分
は第４図に示す通り、３×３の単位行列となり、輝度信
号も３×１の行列で示される。このことは、ムービー等
でセンサーの感度増強を狙いとして、ライン信号を混合
させてＹ　（２号を得る場合にも適用で忽る。尚この場
合、第５図のようにウィンドーマトリクスＧｃを、Ｙ方
向に広げ、その結果、Ｄの配列要素も長くしてやればよ
いことになり、１フイールドごとにＹ、ｏｒＹ２をセレ
クトして出せばよい。

むろん、この場合、新たに、情報として、ウィンドーマ
スクのフィールドごとの初期座標を用意しておけば、こ
のマトリクスを縮小できる。Ｙ系の場合このウィンドー
マトリクスを大きくとっておけば、垂直エンハンサ−用
信号としても出力が可能であり、この動作を、輝度マト
リクスの中に入れることが可能であることは、言うまで
もない。

第６図は、以上の本発明の原理を利用した全固体カメラ
の例であり、以下、その動作について、説明を行う。７
１は、光学系レンズ群、７２は、絞り、７３は、赤外カ
ットフィルター　７４は光学ローパスフィルター　７５
は、オンチップ色分離フィルターであり、７１〜７５の
系を通った画像は、７６の固体撮像素子に結像し、固体
撮像素子７６にて電荷に変換される。変換された電荷は
、９７のシステムシグナルジェネレーター（以下５ＳＧ
）からの信号に同期して読み出され、７７のゲイン可変
アンプに入る。７７のゲイン可変アンプは、７２の絞り
でも、調整し切れなかった時の感度補正用であり、この
アンプでは、同時にＫＮＥＥ補正処理も行なう。７８は
、センサーの黒レベルを固定するためのオプティカル・
ブラック・クランプ回路であり、ここで直流的にレベル
を固定された信号は、７９のＡ／Ｄコンバーターでディ
ジタル値に変換され、９８のメモリコントローラーの示
すアドレスのメモリー８０に順次記憶される。尚メモリ
ー８０は着脱可能であっても固定であっても良い。９６
は撮像素子出力を用いて露出制御をするための平均レベ
ル検出回路であり、この値を読みとることで、絞り７２
とゲイン可変アンプ７７をコントロールし露光レベルを
調整する。尚木実施例では、撮像素子７６の駆動タイミ
ングコントロールすることにより電子シャッター動作を
行なわせている。また、メモリーへの書き込みの時のフ
ォーマットは、この実施例においては、第７図のような
形で記録される。即ち第７図の如くヘッダーファイルに
は、現在、記録されている画像の枚数、及びそのタイト
ルや、また、画像以外のものが記録されている場合、そ
の属性等が数値化され記録される。又、各画像４８号記
録領域の頭にはＩＤファイル部が設けられている。ＩＤ
ファイル部には、信号処理マトリクス８１．８２のマト
リクス情報及びセンサーの格子形状、サンプリングステ
ップ等のウィンドーマスクに必要な情報が記録される。

その後続けて、画像データーが記録される。再生時は、
まず、メモリコントローラー９８を通し、このうちから
、ＩＤをシスコンが読みとり、マトリクス定数や、ディ
ジタルフィルタ一定数を、８１．８２のマトリクス演算
号処理回路や、９５のディジタルフィルターに転送し、
更に、ウィンドマスク情報やサンプリングステップを９
８のメモリコントローラーに転送し、これで、再生状態
が整う。再生時は、９８のメモリーコントローラーが、
ウィンドーマスクを形成し、ウィンドーの位置にあたる
情報をサンプリングステップにあわせ、色信号処理マト
リクス回路８１及び輝度信号処理マトリクス回路８２に
転送し、ここで、あらかじめ、ＩＤファイルより転送さ
れたマトリクス情報に基づき、マトリクス演算信号処理
が行なわれ、輝度信号及び色差信号が形成される。形成
された輝度信号は、次に９５のディジタルフィルターに
入り、ここで、高域成分だけが抜き出され、加算器９４
で、色信号処理マトリクス８１で計算される補正回路１
０４、マトリクス回路１０５を介して得られた低域輝度
信号ＹＬと合成され、その後、再生時のシステムシグナ
ルコントローラー１００からの信号により、ブランキン
グ回路８５でブランキング処理をうけ、その後、加算器
９３で同期信号を付加され、Ｄ／Ａコンバーター８８で
アナログ信号に変換された後、ローパスフィルター９０
でサンプリングキャリアを落とされ、アンプ９２を介し
て輝度信号とて出力される。

方、マトリクス回路１０５の出力の色差信号は、まず、
８３．８４のブランキング回路で、ブランキングパルス
を加算されその後ＮＴＳＣエンコーダー８６で、クロマ
信号に変換され、その後、Ｄ／Ａコンバーター８７でア
ナログ信号に変換され、バンドパスフィルター８９、ア
ンプ９１を経て色信号Ｃとして出力される。なお、色信
号処理マトリクス回路８１後にディジタルフィルターを
入れても良い。

第８図は、本発明におけるｎ×ｍのウィンドーマトリク
スのうち、３Ｘ４の７１−リクスの例を示す図であり、
このウィンドーマトリクスにより、ランダムアクセスメ
モリー上から必要なデーターが得られ、これにより、信
号処理マトリクスのｄ＋−ｄ＋ｚに対応づけが行なわれ
る。具体的な信号形態は、第８図に示すような、１ビッ
ト信号でありこれで関与するデーターを選択する他、こ
の他に、このウィンドーマスクを制御する１３号として
、スタート座標設定のための情報やサンプリングステッ
プ等の情報が必要となる。

このようにして得られた信号は、第９図に示すような３
×１２の信号処理回路に人力され第１０図の如きマトリ
クス演算を行い、「、ｇ、ｂｆａ号として出力される。

この時８１〜ａ２４の値は、センサー固有の値となり、
しかもこの定数は、ホワイトバランス情報、信号処理方
法、色フィルターの特性等も含めた値となる。

なお、ウィンドーマトリクスは、ｎ×ｍと話してきたが
、これは、長方形に限るものではなく、ウィンドーマト
リクスの形状は、１個の要素をもつ、任意の形のウィン
ドーになってもよい。輝度信号処理のマトリクスについ
ても、同様なことが言える。

第１）図は、輝度信号処理のマトリクス回路の例を示す
図であり、この例では２ｘ１２のマトリクスの例を示し
た。）’＋　、　ｙ２は第１フイールド、第２フイール
ドのそれぞれの信号処理後の結果を示している。これら
の結果は、マルチプレクサ−ＭＰＸで、フィルード毎に
切り換えられて出力される。またこの時の定数ｂｌＮｂ
２４は具体的には、Ｙ系のホワイトバランス、輝度段差
補正情報、更には垂直エンハンサ−等の情報を示す定数
となる。

この輝度信号マトリクスもやはりｋ×ｊ　（ｋ、ｊは夫
々自然数）で構成でき、本発明はこの実施例のように２
×１２に限るものではない。また、１（ｘｊとｍｘｎを
同一とした場合は、信号処理回路前のラッチを共通化で
きる他、信号処理回路が充分に高速で動作すれば、同一
化して時分割で動かすこともできる。

尚、実施例ではメモリＲＡＭに直に記憶をさせているが
圧縮して記憶させ、再生時に伸長させても良いことは言
うまでもない。

し発明の効果］ 本発明によれば、従来、撮像素子の色分離フィルターの
配列により、様々であった信号処理回路を、共通の回路
で構成することができ、ＩＣ化した場合量産化効果が期
待できる。また、本発明を用いた、固体カメラを製造す
れば、センサーの信号を直接、メモリー上にとり込んで
も、互換性が損なわれないため、記録形態として、セン
サーの信号を直接メモリーに記録することができ、メモ
リーの利用効率を、あげることができる。

【図面の簡単な説明】

第１図は補色モザイクフィルタの配置例とマトリクス式
の例を示す図、 第２図は本発明の詳細な説明する為の図、第３図は本発
明の構成例を示す図、 第４図は純色ストライプフィルタの配置例とマトリクス
式の例を示す図、 第５図は純色ストライブフィルタに対する輝度用マトリ
クス式の他の例を示す図、 第６図は本発明の画像記録装置の具体的構成例を示す図
、 第７図はメモリー空間の構成を示す図、第８図はウィン
ドーマトリクスの他の例を示す図、 第９図は色信号処理マトリクス回路の例を示す図、 第１Ｏ図は第９図の色信号マトリクスの式の例を示す図
、 第１）図は輝度信号処理マトリクス回路の例を示す図で
ある。 ｌ ？ °°→Ｘ （１７ｃ　＝　（ｃｌ　ｔ　、　ｔｉ　Ｚ　、〆３ン第
７７ メモリー冬聞 第８叱 第９図 ３Ｘ／Ｚ イ含選り有理ントソノス ＸＩ２ ４号処理マトリクス

Claims (3)

【特許請求の範囲】
1. （１）固体撮像素子からの色信号を、色変換せずにメモ
   リーに記憶し、該メモリーから、任意の大きさのブロッ
   クデーターを選択する選択手段を有し、その選択された
   信号から所定の色信号又は輝度信号に変換するマトリク
   ス演算手段を有することを特徴とする画像記録装置。
2. （２）前記画像記録装置において、前記マトリクス演算
   手段はｎ×ｍの輝度信号処理マトリクス演算処理手段と
   ｋ×ｊの色信号処理マトリクス演算処理手段を有するこ
   とを特徴とする特許請求の範囲第（１）項の画像記録装
   置。
3. （３）前記メモリー中に、画像信号の他に、マトリクス
   演算に使用するブロックデーターの大きさに関する情報
   、マトリクス演算定数、固体撮像素子の画素の形状に関
   するデーター、画素の配列に関するデーター、その配列
   から生じる位相差を補正するためのデジタルフィルター
   の定数、再生時に使用する非線形処理手段のテーブル、
   色差マトリクスの定数、輝度、色差信号の帯域制限のた
   めのデジタルフィルターの定数の内の少なくとも１つを
   記録する手段を有することを特徴とする特許請求の範囲
   第（１）項記載の画像記録装置。