JP3083143B6 - 画像信号記録装置 - Google Patents
画像信号記録装置 Download PDFInfo
- Publication number
- JP3083143B6 JP3083143B6 JP1990163127A JP16312790A JP3083143B6 JP 3083143 B6 JP3083143 B6 JP 3083143B6 JP 1990163127 A JP1990163127 A JP 1990163127A JP 16312790 A JP16312790 A JP 16312790A JP 3083143 B6 JP3083143 B6 JP 3083143B6
- Authority
- JP
- Japan
- Prior art keywords
- color
- line
- pixel
- signal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000000926 separation method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Description
【0001】
【産業上の利用分野】
本発明は、撮像素子からの画像信号を符号化して転送制御する画像信号記録装置に関する。
【0002】
【従来の技術】
光学像を撮像素子によって画像信号に変換し、これをデジタルデータとして記憶装置に記憶させるものとして、たとえばデジタル式の電子スチルカメラがある。この電子スチルカメラでは、膨大な量のデジタル画像データを限られた容量の記憶装置内に記憶させるため、情報圧縮が不可欠となる。この情報圧縮の手法はこれまで種々の方法が提案されており、隣接画素間の相関性を利用したDPCM方式が知られている。
【0003】
図11はDPCM方式を用いた電子スチルカメラの信号処理例を表すブロック図であり、以下これについて説明する。
【0004】
撮像素子としてのCCD11から出力された画像信号はアンプなどの増幅器12で増幅され、色分離回路13によりたとえば赤、緑、青(R,G,B)の3色の色成分にそれぞれ分離される。この後、各色信号R,G,Bはそれぞれガンマ回路14およびホワイトバランス回路15によって処理され、さらにA/D変換回路16でデジタル信号に変換され、フィールドメモリ17に記憶される。このフィールドメモリ17は、DPCM符号化回路18のためのバッファメモリとして用いられる。
【0005】
また、DPCM符号化回路18は、A/D変換回路16でデジタル信号に変換されてフィールドメモリ17から色面順次あるいは色線順次に読み出された画像データをそれぞれ符号化するもので、図12のように構成されている。すなわち、このDPCM符号化回路18は、入力信号である現時点のサンプル値x0から、減算器81により予測値
(現時点の値をそれ以前の標本点から予測した値)を差し引き、その結果得られる予測誤差信号ε0を非線形変換器82により非線形変換して出力する。このような予測値としては、たとえば現時点における注目する画素(予測対象の画素)近傍の複数の画素の標本値を用いる方法(以下2次元多点予測方法という)などがある。
【0006】
図において、83は局部復号器で、この局部復号器83は復号時に発生する誤差の累積を防ぐために設けられ、非線形変換器82の出力を逆変換する非線形逆変換器84を有し、その出力である予測誤差信号と予測値とを加算器85によって加算し、予測器86に入力させる。
【0007】
また、DPCM符号化回路18で符号化された画像データは、バッファメモリ19を介してメモリカードなどの画像データ記憶装置20に書き込まれ、バッファメモリ19を用いたのは、DPCM符号化回路18と画像データ記憶装置20との間のデータ転送スピードをコントロールして最終的に画像データを記憶媒体20aに書き込むためである。
【0008】
なお、図11において、21はCCD駆動回路で、このCCD駆動回路21はCCD11を動作させる。また、22はタイミング発生回路で、このタイミング発生回路22はシステムコントロール回路23により制御され、色分離回路13、ガンマ回路14、ホワイトバランス回路15、A/D変換回路16、フィールドメモリ17、DPCM符号化回路18、バッファメモリ19、画像データ記憶装置20および色信号出力制御手段として機能するCCD駆動回路21に対し、所定のタイミングで信号を発し、これを動作させる。
【0009】
このような装置では、R,G,Bの各色信号毎に、ガンマ回路14、ホワイトバランス回路15、A/D変換回路16がそれぞれ必要となる。また、色分離回路13からは、この色分離回路13によって分離されたR,G,Bの各色信号が全て同時に出力されるので、フィールドメモリ17を持たない場合は、DPCM符号化回路18がR,G,Bの各色信号毎に必要となる。
【0010】
また、データ圧縮のために符号化する場合、予測データを得る手段として、前述のように、注目する画素近傍の複数の画素データを用いて予測する2次元多点予測方法がある。この予測方法は、高精度の予測値を得ることができるが、後述するように、1ライン前の画素データを保持する必要があり、回路要素が必要となる。このため、上述のように、フィールドメモリ17を持たない場合は、1ライン前の画素データを保持するための回路要素を必要とする符号化回路がR,G,Bの各信号ごとに必要となるため、装置構成は大幅に大型・複雑化してしまう。
【0011】
したがって、カメラ内には必ずフィールドメモリ17や、フレームメモリなどの大容量なバッファメモリが必要となる。
【0012】
【発明が解決しようとする課題】
このように、画像信号用の各ガンマ回路14、ホワイトバランス回路15、A/D変換回路16が各R,G,B分の3組分必要であるフィールドメモリなどの大容量なバッファメモリが必要であるなど、回路規模やコストの小形化および低廉化を妨げている。
【0013】
本発明は、上記問題点に鑑みなされたもので、回路構成を簡素化することにより、全体の小形化、およびコストの大幅な低廉化を可能とし、しかもデータ圧縮のための符号化に、2次元多点予測方法を採用した画像信号記録装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明は、撮像素子により画像信号として得られた色成分の色信号を各色ごとに1ライン分づつ順次出力させる色信号出力制御手段と、この色信号出力制御手段で出力された各色を合計した1ライン分の色信号を記憶する容量で前記色信号出力制御手段で各色ごとに1ライン分づつ出力された各色ごとの色信号を各色ごとに順次記憶するラインメモリ、1画素遅延器、前記ラインメモリを通して得られる1ライン前の近傍の画素データのサンプル値および上記1画素遅延器により得られる同一ラインの近傍の画素データの値を所定の割合で合算して予測値を演算する演算手段を備え、データを圧縮する符号化回路と、この圧縮されたデータを記憶する記憶装置とを具備したものである。
【0015】
【作用】
本発明は、色信号出力制御手段は画像信号として得られた各色信号を各色毎の1ラインづつ順次出力させ、ラインメモリには各色ごとの色信号に各色ごとに1ライン分づつまとめて順次記憶するため、1ライン分の色信号を記憶する容量の少ない容量でよいのみならず、色分離回路のように同時に色成分ごとの色信号が出力されないので、後続する各種の回路は1系統分だけ設ければよく、回路規模が小形化し、コストが低廉化し、データ圧縮のために符号化する場合、予測値を得る手法として、より高精度の値が得られる2次元多点予測方法ができる。
【0016】
【実施例】
以下、本発明の画像信号記録装置の一実施例を図面を参照して説明する。
【0017】
まず、図2により全体構成を従来例と対応する部分には同一の符号を付して説明する。図2で示す画像信号記録装置も、図11で示した従来例と同様に、撮像素子としてCCD11を有し、このCCD11から出力された画像信号はアンプなどの増幅器12で増幅されるが、図11における色分離回路13は用いずに、1系統分のガンマ回路14およびホワイトバランス回路15によって処理され、A/D変換回路16でデジタル信号に変換される。デジタル信号に変換された画像データは、図11で示したフィールドメモリ17に介することなく、直接DPCM符号化回路18に入力され、ここで符号化された後、図11で示したバッファメモリ19を介することなく、画像データ記憶装置20のメモリカードなどの記憶媒体20aに書き込まれる。
【0018】
DPCM符号化回路18は、2次元多点予測方法を用いたもので、図1で示すように構成されている。
【0019】
ここで、まず2次元多点予測方法を図8(図の例では2次元3点予測方法)により説明する。図において、注目する画素(予測しようとする画素)をx0、その左の画素データをx1、真上の画素データをx2、右上の画素データをx3とし
たとき、予測値
は次式から得られる。
したがって、DPCM符号化回路18は、従来と同様に、現時点のサンプル値(注目する画素の値)x0から予測値
を差し引く減算器81、この減算器81によって得られる予測誤差信号ε0を、たとえば8ビットデータから4ビットデータに非線形変換する非線形変換器82、この非線形変換器82の出力を4ビットデータから8ビットデータに逆変換する非線形逆変換器84および加算器85を有する。
【0020】
図1で示す予測器86は、前述のように式(1)を満足するものであり、図8の左の画素データx1を得るべく、入力信号を1画素遅延させるための1画素遅延器86aを有する。また、図8の右上の画素データx3を得るべくラインメモリ86bを設ける。このラインメモリ86bは、水平1ライン分の画素数に対応した容量(1ライン画素数−1画素数)を有しており、このラインメモリ86bを通すことにより、1ライン前より1画素後の、図示右上の画素データx3が得られる。さらに、図8における真上の画素データx2を得るべく、ラインメモリ86bの出力側に1画素遅延器86cを設けている。すなわち、この1画素遅延器86cを通すことにより、ラインメモリ86bの出力より1画素前の画素データである真上の画素データx2が得られる。
【0021】
上記各画素データx1,x2,x3に対し、それぞれ式(1)で示した割合1/2,1/4,1/4をかけるべく2/1乗算器86d、1/4乗算器86e,86fを設ける。そして、それらの出力を加算器86gで合算し、アナログスイッチ86hの端子b側を経た後、予測値
として出力させる。
ここで、アナログスイッチ86hを設けたのは、最初の1ライン目の予測に当たっては1ライン前の画素データが存在しないためである。したがって、この場合のみアナログスイッチ86hを端子a側に切換え、1画素前の画素データx1をそのまま予測値
として用い、2ライン目以降は端子b側に切換える。このアナログスイッチ86hの切換えは、図2で示したタイミング発生回路22により制御する。
【0022】
このように予測器86は、注目画素x0に対して、同一ラインの近傍の画素データ、たとえばx1を得るための1画素遅延器86aと、1ライン前の近傍の画素データ、たとえばx2,x3を得るためのラインメモリ86bとを基本構成として有する。
【0023】
なお、CCD駆動回路21、タイミング発生回路22およびシステムコントロール回路23も、図11で示した従来例と同様に設けられており、従来と同様の機能を果たす。
【0024】
ここで、図2で示したCCD11の一例として、フレームトランスファ型CCDを用いている。このCCD11は、図3で示すように、図示しない被写体像が入射される受光部111と、この受光部111に生じる信号電荷を蓄積するための蓄積部112とを有する。また、この蓄積部112の図示下側には、トランスファゲート113および水平レジスタCCD114が色成分である3原色R,G,B分(3組)設けられている。
【0025】
また、受光部111および蓄積部112には、それぞれ信号電荷を垂直転送するためのクロックφPIおよびクロックφPSが印加される。また、CCD11のカラーフィルタには、図4で示すように、R,G,B縦ストライプフィルタが用いられており、トランスファゲート113には、R,G,B各色毎の信号電荷を蓄積部112から対応する水平レジスタCCD114に転送するためのクロックφTが印加される。さらに、R,G,B用の各水平レジスタCCD114には、信号電荷を図示左方に向かって水平転送するためのクロックφS1,φS2,φS3が印加される。これらの各クロックφPI,φPS,φT,φS1,φS2,φS3は、図2で示したシステムコントロール回路23によって制御されるタイミング発生回路22からのタイミング信号に基づき、CCD駆動回路21から出力される。
【0026】
次に、上記実施例の動作説明に先立って、CCD11の一般的な転送動作を図5を参照して説明する。
【0027】
通常のテレビレートにおいて、受光部111により1/60sec間、光電変換された信号電荷はテレビ信号の垂直ブランキング期間にクロックφPIおよびクロックφPSによって蓄積部112に高速で転送される(図5のT期間)。この後、各水平ブランキング期間に、水平1ライン分の信号電荷を蓄積部112から水平レジスタCCD114に転送する。この場合、トランスファゲート113には各水平ブランキング期間毎にクロックφTが3パルス印加されるので、図4に示すように、3本の水平レジスタCCD114には3色R,G,Bの信号電荷が分離されてこの順番で転送される。すなわち、Rの信号電荷は、第1パルスでB用水平レジスタCCD114、第2パルスでG用水平レジスタCCD114、第3パルスでR用水平レジスタCCD114に、Gの信号電荷は、第2パルスでB用水平レジスタCCD114、第3パルスでG用水平レジスタCCD114に、Bの信号電荷は、第3パルスでB用水平レジスタCCD114に各々順次転送される。そうして、第3パルス印加後では、1ライン分の信号電荷R,R,R……がR信号用の水平レジスタCCD114に転送され、1ライン分の信号電荷G,G,G……はG信号用の水平レジスタCCD114に転送され、1ライン分の信号電荷B,B,B……はB信号用の水平レジスタCCD114に転送される。このようにして、1回の水平ブランキング期間に、水平1ライン分の各信号電荷R,R,R……,G,G,G……,B,B,B……が、対応する水平レジスタCCD114に転送される。
【0028】
その後、各水平レジスタCCD114に水平転送用のクロックφS1,φS2,φS3が印加されることにより信号電荷は転送され、図示左端に設けたアンプにはR,G,B信号が同時に出力される。
【0029】
上記説明は、一般的な転送動作についてであるが、上記実施例ではCCD駆動回路21により、各クロックを図7で示すタイミングで与えている。ここで、テレビ信号の垂直ブランキング期間に、光電変換された信号電荷をクロックφPIおよびクロックφPSによって受光部111から蓄積部112に高速で転送することは同じである。
【0030】
また、水平ブランキング期間に1ライン分の信号電荷を蓄積部112から水平レジスタCCD114に転送するに際し、トランスファゲート113にクロックφTを1パルスだけ印加している。すなわち、図7で示す水平ブランキング期間内の時刻t1にクロックφTが1パルス印加されると、図6(a)で示すように、1ライン分の同一色Rを一連とした、Rのストライプフィルタに対応する信号電荷である一連の色信号R,R,R……が蓄積部112から水平レジスタCCD114に転送される。そして、この後に続く水平転送用のクロックφS3により水平方向に転送され、出力される。
【0031】
また、次の水平ブランキング期間においても、その時刻t2にクロックφTが1パルス印加されると、図6(b)で示すように、1ライン分の次の同一色Gを一連とした、Gのストライプフィルタに対応する信号電荷である一連の色信号G,G,G……が、蓄積部112から水平レジスタCCD114に転送される。そして、この後は、同様に水平転送用のクロックφS3により水平方向に転送され、出力される。
【0032】
以下、同様にして、次の水平ブランキング期間には、一連の色信号B,B,B……が水平レジスタCCD114に転送され、クロックφS3により水平方向に転送出力される。
【0033】
上記動作により、1水平走査期間の信号電荷全てが、水平走査期間毎に、R,R,R……,G,G,G……,B,B,B……の各色順で、同一色がまとまって順次転送出力されたこととなる(これを線内色順次信号と呼ぶ)。そして、この動作を繰り返すことにより、1画面全ての信号電荷が線内色順次信号として転送出力される。したがって、図2で示したように、CCD11からA/D変換回路16までの信号処理は図11で示した従来装置が3系統必要であったのに対し、上記実施例では1系統のみで実現できる。
【0034】
このように、CCD11により画像信号として得られた3原色の色信号を、各色ごとに1ライン分づつ順次シリーズに出力させており、この動作は、CCD駆動回路21が各クロックを上述のようにコントロールするので、このCCD駆動回路21は色信号出力制御手段として機能する。
【0035】
また、図7で示したクロックφPS,φTおよびφS3の各パルス周期を調整することにより、線内順次信号を任意のレートで読み出すことが可能である。
【0036】
たとえばDPCM符号化回路18の処理速度が1画素当り100nsecであり、また、記憶媒体20aへの書き込み速度は250nsec/8bitとする。DPCM符号化によって1画素1色8bitデータを4bitに非線形変換した場合、2画素の処理後に8bitデータとして記憶媒体20aに書き込むものとすると、1回の書き込みに対してDPCM符号化回路18の処理速度は2画素分、すなわち200nsecとなる。この場合、符号化のための処理速度(200nsec)よりも記憶媒体20aへの書き込み速度(250nsec)の方が遅いので、上述したクロックφPS,φTおよびφS3の各パルス周波数(パルス周期)を、1画素の水平転送時間が250/2nsec=125nsec以内(ただし、符号化処理時間が100nsec/画素のため100nsec以上)となるように設定する。
【0037】
このようにすると、CCD11から出力された2画素分のデータは符号化され、記憶媒体20aに記録された後、次の画素のデータが出力されることとなる。したがって、図11の従来例にあるような大容量のフィールドメモリ17やバッファメモリ19は不要となる。
【0038】
また、処理速度の遅いほうに合わせて電荷転送速度を設定しているので、記録速度の異なる記憶媒体や、処理速度の異なる符号化処理に対しても容易に適用できる。
【0039】
次に、図1で示した予測器86による予測動作を説明する。まず、ラインメモリ86bを通り、1画素遅延器86c、1/4乗算器86fを通って加算器86gに入力されるデータは、トータルとして(1ライン画素数−1画素+1画素)=1ライン画素数分の時間、遅延されている。すなわち、ちょうど1ライン分遅れて、レベルが1/4となったデータとなり、これは図8における現時点の画素x0の1ライン前である真上の画素データx2の1/4である。また、ラインメモリ86b、1/4乗算器86eを通過するデータは、(1ライン画素数−1画素)分遅延している。すなわち、1ライン分の遅延に対して1画素分だけ遅延時間が短く、これは第8図における右上の画素データx3の1/4である。さらに、1画素遅延器86a、1/2乗算器86dを通過するデータは、現時点の画素x0に対し、1画素手前である図8の左の画素データx1の1/2となる。そして、これらのデータは加算器86gで合算されるので、合算後における予測器86の出力は、式(1)で説明
した2次元3点予測値
となる。すなわち、あるラインでの色信号R,R,R……,G,G,G……,B,B,B……と、次のラインでの色信号R,R,R……,G,G,G……,B,B,B……とは対応するので、必ず同一色の間で予測できる。
【0040】
なお、1画素遅延器86a,86cは、1画素分の時間のみデータを保持すればよいので、Dフリップ・フロップなどを用いたラッチ回路で容易に構成できる。また、ラインメモリ86bとしては、(1ライン画素数−1画素)分データを遅延させるので、たとえばFIFOメモリなどを用いればよい。
【0041】
上記実施例では、予測器86による2次元多点予測方法として、図8で示した2次元3点予測方法を示したが、図10で示すように2次元4点予測方法を用いてもよい。この2次元4点予測方法は、図8で示した2次元3点予測方法における近傍画素データx1,x2,x3に対し、注目画素x0の左上の画素データx4を加
え、式(2)により予測値
を求める。
上記予測を実行する予測器86の回路構成を図9により説明する。この図9の回路は、図1で説明したものに対し、画素データx4を得るために、2画素遅延器86iをラインメモリ86bの出力側に新たに設けている。この画素データx4は式(2)から1/8の割合がかけられるので、2画素遅延器86iの出力側には1/8乗算器86jを設けており、その出力は加算器86kにより1/4乗算器86fの出力に加算され、さらに加算器86gに入力される。
【0042】
また、式(2)で示すように、画素データx3には1/8の割合がかけられるので、図1の回路における1/4乗算器86eに代って1/8乗算器86lを設け、その出力は加算器86gに入力させる。加算器86gは、それぞれの割合がかけられた各画素データx1,x2,x3,x4を合算するので、その出力は、式(2)における予測値x0となる。
【0043】
上記実施例では、注目画素周辺の3画素あるいは4画素データにより予測値を算出しているが、もちろんより多くの画素データを用いて予測値を算出してもよい。すなわち、基本的構成として、1ライン前の近傍の画素データを得るラインメモリ86bと、同一ラインの近傍画素データを得る1画素遅延器86aを持っていれば、さらに1画素遅延器や2画素遅延器、これら近傍画素データに所定の割合をかけて合算する演算手段を必要に応じて設けることにより同様に構成できる。
【0044】
予測式(1)、(2)における係数は、1/2,1/4,1/8に限らず、任意の係数を用いればよい。
【0045】
【発明の効果】
本発明の画像信号記録装置によれば、色信号出力制御手段は画像信号として得られた各色信号を各色毎に1ラインづつ順次出力させ、ラインメモリには各色ごとの色信号を各色ごとに1ライン分づつまとめて順次記憶するため、1ライン分の色信号を記憶する容量の少ない容量でよいのみならず、色分離回路のように同時に色成分ごとに色信号が出力されないので、ガンマ回路、ホワイトバランス回路などの信号プロセス回路およびA/D変換回路は1系統のみでよく、また、符号化のために大容量のフィールドメモリやバッファメモリも不要となるので、データ圧縮のための符号化に、2次元多点予測方法を用いても、装置全体が著しく大型化することはなく、全体的にみて装置の小形化およびコストを低廉化できる。
【図面の簡単な説明】
【図1】本発明による画像信号記録装置の一実施例における要部構成を示すブロック図である。
【図2】同上画像信号記録装置の全体構成を示すブロック図である。
【図3】図2で示した撮像素子の構成を説明する正面図である。
【図4】図3で説明した撮像素子の一般的な信号電荷の転送動作を説明する正面図である。
【図5】図4の転送動作時に印加される各クロックのタイミングを説明するタイムチャートである。
【図6】(a)、(b)は図3で説明した撮像素子の信号電荷の転送動作を説明する正面図である。
【図7】図6の転送動作のために印加される各クロックのタイミングを説明するタイムチャートである。
【図8】2次元多点予測方法を説明するための図である。
【図9】同上他の実施例における要部を示すブロック図である。
【図10】図9で示した装置による2次元多点予測方法を説明するための図である。
【図11】従来例を説明するためのブロック図である。
【図12】図11で示した符号化回路を示すブロック図である。
【符号の説明】
11……撮像素子としてのCCD、
18……符号化回路、20……記憶装置、
21……色信号出力制御手段として機能するCCD駆動回路、
86……予測器、
86a……1画素遅延器、
86b……ラインメモリ、
86d,86e,86f,86j,86g,86h……演算手段となる乗算器および加算器
【産業上の利用分野】
本発明は、撮像素子からの画像信号を符号化して転送制御する画像信号記録装置に関する。
【0002】
【従来の技術】
光学像を撮像素子によって画像信号に変換し、これをデジタルデータとして記憶装置に記憶させるものとして、たとえばデジタル式の電子スチルカメラがある。この電子スチルカメラでは、膨大な量のデジタル画像データを限られた容量の記憶装置内に記憶させるため、情報圧縮が不可欠となる。この情報圧縮の手法はこれまで種々の方法が提案されており、隣接画素間の相関性を利用したDPCM方式が知られている。
【0003】
図11はDPCM方式を用いた電子スチルカメラの信号処理例を表すブロック図であり、以下これについて説明する。
【0004】
撮像素子としてのCCD11から出力された画像信号はアンプなどの増幅器12で増幅され、色分離回路13によりたとえば赤、緑、青(R,G,B)の3色の色成分にそれぞれ分離される。この後、各色信号R,G,Bはそれぞれガンマ回路14およびホワイトバランス回路15によって処理され、さらにA/D変換回路16でデジタル信号に変換され、フィールドメモリ17に記憶される。このフィールドメモリ17は、DPCM符号化回路18のためのバッファメモリとして用いられる。
【0005】
また、DPCM符号化回路18は、A/D変換回路16でデジタル信号に変換されてフィールドメモリ17から色面順次あるいは色線順次に読み出された画像データをそれぞれ符号化するもので、図12のように構成されている。すなわち、このDPCM符号化回路18は、入力信号である現時点のサンプル値x0から、減算器81により予測値
(現時点の値をそれ以前の標本点から予測した値)を差し引き、その結果得られる予測誤差信号ε0を非線形変換器82により非線形変換して出力する。このような予測値としては、たとえば現時点における注目する画素(予測対象の画素)近傍の複数の画素の標本値を用いる方法(以下2次元多点予測方法という)などがある。
【0006】
図において、83は局部復号器で、この局部復号器83は復号時に発生する誤差の累積を防ぐために設けられ、非線形変換器82の出力を逆変換する非線形逆変換器84を有し、その出力である予測誤差信号と予測値とを加算器85によって加算し、予測器86に入力させる。
【0007】
また、DPCM符号化回路18で符号化された画像データは、バッファメモリ19を介してメモリカードなどの画像データ記憶装置20に書き込まれ、バッファメモリ19を用いたのは、DPCM符号化回路18と画像データ記憶装置20との間のデータ転送スピードをコントロールして最終的に画像データを記憶媒体20aに書き込むためである。
【0008】
なお、図11において、21はCCD駆動回路で、このCCD駆動回路21はCCD11を動作させる。また、22はタイミング発生回路で、このタイミング発生回路22はシステムコントロール回路23により制御され、色分離回路13、ガンマ回路14、ホワイトバランス回路15、A/D変換回路16、フィールドメモリ17、DPCM符号化回路18、バッファメモリ19、画像データ記憶装置20および色信号出力制御手段として機能するCCD駆動回路21に対し、所定のタイミングで信号を発し、これを動作させる。
【0009】
このような装置では、R,G,Bの各色信号毎に、ガンマ回路14、ホワイトバランス回路15、A/D変換回路16がそれぞれ必要となる。また、色分離回路13からは、この色分離回路13によって分離されたR,G,Bの各色信号が全て同時に出力されるので、フィールドメモリ17を持たない場合は、DPCM符号化回路18がR,G,Bの各色信号毎に必要となる。
【0010】
また、データ圧縮のために符号化する場合、予測データを得る手段として、前述のように、注目する画素近傍の複数の画素データを用いて予測する2次元多点予測方法がある。この予測方法は、高精度の予測値を得ることができるが、後述するように、1ライン前の画素データを保持する必要があり、回路要素が必要となる。このため、上述のように、フィールドメモリ17を持たない場合は、1ライン前の画素データを保持するための回路要素を必要とする符号化回路がR,G,Bの各信号ごとに必要となるため、装置構成は大幅に大型・複雑化してしまう。
【0011】
したがって、カメラ内には必ずフィールドメモリ17や、フレームメモリなどの大容量なバッファメモリが必要となる。
【0012】
【発明が解決しようとする課題】
このように、画像信号用の各ガンマ回路14、ホワイトバランス回路15、A/D変換回路16が各R,G,B分の3組分必要であるフィールドメモリなどの大容量なバッファメモリが必要であるなど、回路規模やコストの小形化および低廉化を妨げている。
【0013】
本発明は、上記問題点に鑑みなされたもので、回路構成を簡素化することにより、全体の小形化、およびコストの大幅な低廉化を可能とし、しかもデータ圧縮のための符号化に、2次元多点予測方法を採用した画像信号記録装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明は、撮像素子により画像信号として得られた色成分の色信号を各色ごとに1ライン分づつ順次出力させる色信号出力制御手段と、この色信号出力制御手段で出力された各色を合計した1ライン分の色信号を記憶する容量で前記色信号出力制御手段で各色ごとに1ライン分づつ出力された各色ごとの色信号を各色ごとに順次記憶するラインメモリ、1画素遅延器、前記ラインメモリを通して得られる1ライン前の近傍の画素データのサンプル値および上記1画素遅延器により得られる同一ラインの近傍の画素データの値を所定の割合で合算して予測値を演算する演算手段を備え、データを圧縮する符号化回路と、この圧縮されたデータを記憶する記憶装置とを具備したものである。
【0015】
【作用】
本発明は、色信号出力制御手段は画像信号として得られた各色信号を各色毎の1ラインづつ順次出力させ、ラインメモリには各色ごとの色信号に各色ごとに1ライン分づつまとめて順次記憶するため、1ライン分の色信号を記憶する容量の少ない容量でよいのみならず、色分離回路のように同時に色成分ごとの色信号が出力されないので、後続する各種の回路は1系統分だけ設ければよく、回路規模が小形化し、コストが低廉化し、データ圧縮のために符号化する場合、予測値を得る手法として、より高精度の値が得られる2次元多点予測方法ができる。
【0016】
【実施例】
以下、本発明の画像信号記録装置の一実施例を図面を参照して説明する。
【0017】
まず、図2により全体構成を従来例と対応する部分には同一の符号を付して説明する。図2で示す画像信号記録装置も、図11で示した従来例と同様に、撮像素子としてCCD11を有し、このCCD11から出力された画像信号はアンプなどの増幅器12で増幅されるが、図11における色分離回路13は用いずに、1系統分のガンマ回路14およびホワイトバランス回路15によって処理され、A/D変換回路16でデジタル信号に変換される。デジタル信号に変換された画像データは、図11で示したフィールドメモリ17に介することなく、直接DPCM符号化回路18に入力され、ここで符号化された後、図11で示したバッファメモリ19を介することなく、画像データ記憶装置20のメモリカードなどの記憶媒体20aに書き込まれる。
【0018】
DPCM符号化回路18は、2次元多点予測方法を用いたもので、図1で示すように構成されている。
【0019】
ここで、まず2次元多点予測方法を図8(図の例では2次元3点予測方法)により説明する。図において、注目する画素(予測しようとする画素)をx0、その左の画素データをx1、真上の画素データをx2、右上の画素データをx3とし
たとき、予測値
は次式から得られる。
したがって、DPCM符号化回路18は、従来と同様に、現時点のサンプル値(注目する画素の値)x0から予測値
を差し引く減算器81、この減算器81によって得られる予測誤差信号ε0を、たとえば8ビットデータから4ビットデータに非線形変換する非線形変換器82、この非線形変換器82の出力を4ビットデータから8ビットデータに逆変換する非線形逆変換器84および加算器85を有する。
【0020】
図1で示す予測器86は、前述のように式(1)を満足するものであり、図8の左の画素データx1を得るべく、入力信号を1画素遅延させるための1画素遅延器86aを有する。また、図8の右上の画素データx3を得るべくラインメモリ86bを設ける。このラインメモリ86bは、水平1ライン分の画素数に対応した容量(1ライン画素数−1画素数)を有しており、このラインメモリ86bを通すことにより、1ライン前より1画素後の、図示右上の画素データx3が得られる。さらに、図8における真上の画素データx2を得るべく、ラインメモリ86bの出力側に1画素遅延器86cを設けている。すなわち、この1画素遅延器86cを通すことにより、ラインメモリ86bの出力より1画素前の画素データである真上の画素データx2が得られる。
【0021】
上記各画素データx1,x2,x3に対し、それぞれ式(1)で示した割合1/2,1/4,1/4をかけるべく2/1乗算器86d、1/4乗算器86e,86fを設ける。そして、それらの出力を加算器86gで合算し、アナログスイッチ86hの端子b側を経た後、予測値
として出力させる。
ここで、アナログスイッチ86hを設けたのは、最初の1ライン目の予測に当たっては1ライン前の画素データが存在しないためである。したがって、この場合のみアナログスイッチ86hを端子a側に切換え、1画素前の画素データx1をそのまま予測値
として用い、2ライン目以降は端子b側に切換える。このアナログスイッチ86hの切換えは、図2で示したタイミング発生回路22により制御する。
【0022】
このように予測器86は、注目画素x0に対して、同一ラインの近傍の画素データ、たとえばx1を得るための1画素遅延器86aと、1ライン前の近傍の画素データ、たとえばx2,x3を得るためのラインメモリ86bとを基本構成として有する。
【0023】
なお、CCD駆動回路21、タイミング発生回路22およびシステムコントロール回路23も、図11で示した従来例と同様に設けられており、従来と同様の機能を果たす。
【0024】
ここで、図2で示したCCD11の一例として、フレームトランスファ型CCDを用いている。このCCD11は、図3で示すように、図示しない被写体像が入射される受光部111と、この受光部111に生じる信号電荷を蓄積するための蓄積部112とを有する。また、この蓄積部112の図示下側には、トランスファゲート113および水平レジスタCCD114が色成分である3原色R,G,B分(3組)設けられている。
【0025】
また、受光部111および蓄積部112には、それぞれ信号電荷を垂直転送するためのクロックφPIおよびクロックφPSが印加される。また、CCD11のカラーフィルタには、図4で示すように、R,G,B縦ストライプフィルタが用いられており、トランスファゲート113には、R,G,B各色毎の信号電荷を蓄積部112から対応する水平レジスタCCD114に転送するためのクロックφTが印加される。さらに、R,G,B用の各水平レジスタCCD114には、信号電荷を図示左方に向かって水平転送するためのクロックφS1,φS2,φS3が印加される。これらの各クロックφPI,φPS,φT,φS1,φS2,φS3は、図2で示したシステムコントロール回路23によって制御されるタイミング発生回路22からのタイミング信号に基づき、CCD駆動回路21から出力される。
【0026】
次に、上記実施例の動作説明に先立って、CCD11の一般的な転送動作を図5を参照して説明する。
【0027】
通常のテレビレートにおいて、受光部111により1/60sec間、光電変換された信号電荷はテレビ信号の垂直ブランキング期間にクロックφPIおよびクロックφPSによって蓄積部112に高速で転送される(図5のT期間)。この後、各水平ブランキング期間に、水平1ライン分の信号電荷を蓄積部112から水平レジスタCCD114に転送する。この場合、トランスファゲート113には各水平ブランキング期間毎にクロックφTが3パルス印加されるので、図4に示すように、3本の水平レジスタCCD114には3色R,G,Bの信号電荷が分離されてこの順番で転送される。すなわち、Rの信号電荷は、第1パルスでB用水平レジスタCCD114、第2パルスでG用水平レジスタCCD114、第3パルスでR用水平レジスタCCD114に、Gの信号電荷は、第2パルスでB用水平レジスタCCD114、第3パルスでG用水平レジスタCCD114に、Bの信号電荷は、第3パルスでB用水平レジスタCCD114に各々順次転送される。そうして、第3パルス印加後では、1ライン分の信号電荷R,R,R……がR信号用の水平レジスタCCD114に転送され、1ライン分の信号電荷G,G,G……はG信号用の水平レジスタCCD114に転送され、1ライン分の信号電荷B,B,B……はB信号用の水平レジスタCCD114に転送される。このようにして、1回の水平ブランキング期間に、水平1ライン分の各信号電荷R,R,R……,G,G,G……,B,B,B……が、対応する水平レジスタCCD114に転送される。
【0028】
その後、各水平レジスタCCD114に水平転送用のクロックφS1,φS2,φS3が印加されることにより信号電荷は転送され、図示左端に設けたアンプにはR,G,B信号が同時に出力される。
【0029】
上記説明は、一般的な転送動作についてであるが、上記実施例ではCCD駆動回路21により、各クロックを図7で示すタイミングで与えている。ここで、テレビ信号の垂直ブランキング期間に、光電変換された信号電荷をクロックφPIおよびクロックφPSによって受光部111から蓄積部112に高速で転送することは同じである。
【0030】
また、水平ブランキング期間に1ライン分の信号電荷を蓄積部112から水平レジスタCCD114に転送するに際し、トランスファゲート113にクロックφTを1パルスだけ印加している。すなわち、図7で示す水平ブランキング期間内の時刻t1にクロックφTが1パルス印加されると、図6(a)で示すように、1ライン分の同一色Rを一連とした、Rのストライプフィルタに対応する信号電荷である一連の色信号R,R,R……が蓄積部112から水平レジスタCCD114に転送される。そして、この後に続く水平転送用のクロックφS3により水平方向に転送され、出力される。
【0031】
また、次の水平ブランキング期間においても、その時刻t2にクロックφTが1パルス印加されると、図6(b)で示すように、1ライン分の次の同一色Gを一連とした、Gのストライプフィルタに対応する信号電荷である一連の色信号G,G,G……が、蓄積部112から水平レジスタCCD114に転送される。そして、この後は、同様に水平転送用のクロックφS3により水平方向に転送され、出力される。
【0032】
以下、同様にして、次の水平ブランキング期間には、一連の色信号B,B,B……が水平レジスタCCD114に転送され、クロックφS3により水平方向に転送出力される。
【0033】
上記動作により、1水平走査期間の信号電荷全てが、水平走査期間毎に、R,R,R……,G,G,G……,B,B,B……の各色順で、同一色がまとまって順次転送出力されたこととなる(これを線内色順次信号と呼ぶ)。そして、この動作を繰り返すことにより、1画面全ての信号電荷が線内色順次信号として転送出力される。したがって、図2で示したように、CCD11からA/D変換回路16までの信号処理は図11で示した従来装置が3系統必要であったのに対し、上記実施例では1系統のみで実現できる。
【0034】
このように、CCD11により画像信号として得られた3原色の色信号を、各色ごとに1ライン分づつ順次シリーズに出力させており、この動作は、CCD駆動回路21が各クロックを上述のようにコントロールするので、このCCD駆動回路21は色信号出力制御手段として機能する。
【0035】
また、図7で示したクロックφPS,φTおよびφS3の各パルス周期を調整することにより、線内順次信号を任意のレートで読み出すことが可能である。
【0036】
たとえばDPCM符号化回路18の処理速度が1画素当り100nsecであり、また、記憶媒体20aへの書き込み速度は250nsec/8bitとする。DPCM符号化によって1画素1色8bitデータを4bitに非線形変換した場合、2画素の処理後に8bitデータとして記憶媒体20aに書き込むものとすると、1回の書き込みに対してDPCM符号化回路18の処理速度は2画素分、すなわち200nsecとなる。この場合、符号化のための処理速度(200nsec)よりも記憶媒体20aへの書き込み速度(250nsec)の方が遅いので、上述したクロックφPS,φTおよびφS3の各パルス周波数(パルス周期)を、1画素の水平転送時間が250/2nsec=125nsec以内(ただし、符号化処理時間が100nsec/画素のため100nsec以上)となるように設定する。
【0037】
このようにすると、CCD11から出力された2画素分のデータは符号化され、記憶媒体20aに記録された後、次の画素のデータが出力されることとなる。したがって、図11の従来例にあるような大容量のフィールドメモリ17やバッファメモリ19は不要となる。
【0038】
また、処理速度の遅いほうに合わせて電荷転送速度を設定しているので、記録速度の異なる記憶媒体や、処理速度の異なる符号化処理に対しても容易に適用できる。
【0039】
次に、図1で示した予測器86による予測動作を説明する。まず、ラインメモリ86bを通り、1画素遅延器86c、1/4乗算器86fを通って加算器86gに入力されるデータは、トータルとして(1ライン画素数−1画素+1画素)=1ライン画素数分の時間、遅延されている。すなわち、ちょうど1ライン分遅れて、レベルが1/4となったデータとなり、これは図8における現時点の画素x0の1ライン前である真上の画素データx2の1/4である。また、ラインメモリ86b、1/4乗算器86eを通過するデータは、(1ライン画素数−1画素)分遅延している。すなわち、1ライン分の遅延に対して1画素分だけ遅延時間が短く、これは第8図における右上の画素データx3の1/4である。さらに、1画素遅延器86a、1/2乗算器86dを通過するデータは、現時点の画素x0に対し、1画素手前である図8の左の画素データx1の1/2となる。そして、これらのデータは加算器86gで合算されるので、合算後における予測器86の出力は、式(1)で説明
した2次元3点予測値
となる。すなわち、あるラインでの色信号R,R,R……,G,G,G……,B,B,B……と、次のラインでの色信号R,R,R……,G,G,G……,B,B,B……とは対応するので、必ず同一色の間で予測できる。
【0040】
なお、1画素遅延器86a,86cは、1画素分の時間のみデータを保持すればよいので、Dフリップ・フロップなどを用いたラッチ回路で容易に構成できる。また、ラインメモリ86bとしては、(1ライン画素数−1画素)分データを遅延させるので、たとえばFIFOメモリなどを用いればよい。
【0041】
上記実施例では、予測器86による2次元多点予測方法として、図8で示した2次元3点予測方法を示したが、図10で示すように2次元4点予測方法を用いてもよい。この2次元4点予測方法は、図8で示した2次元3点予測方法における近傍画素データx1,x2,x3に対し、注目画素x0の左上の画素データx4を加
え、式(2)により予測値
を求める。
上記予測を実行する予測器86の回路構成を図9により説明する。この図9の回路は、図1で説明したものに対し、画素データx4を得るために、2画素遅延器86iをラインメモリ86bの出力側に新たに設けている。この画素データx4は式(2)から1/8の割合がかけられるので、2画素遅延器86iの出力側には1/8乗算器86jを設けており、その出力は加算器86kにより1/4乗算器86fの出力に加算され、さらに加算器86gに入力される。
【0042】
また、式(2)で示すように、画素データx3には1/8の割合がかけられるので、図1の回路における1/4乗算器86eに代って1/8乗算器86lを設け、その出力は加算器86gに入力させる。加算器86gは、それぞれの割合がかけられた各画素データx1,x2,x3,x4を合算するので、その出力は、式(2)における予測値x0となる。
【0043】
上記実施例では、注目画素周辺の3画素あるいは4画素データにより予測値を算出しているが、もちろんより多くの画素データを用いて予測値を算出してもよい。すなわち、基本的構成として、1ライン前の近傍の画素データを得るラインメモリ86bと、同一ラインの近傍画素データを得る1画素遅延器86aを持っていれば、さらに1画素遅延器や2画素遅延器、これら近傍画素データに所定の割合をかけて合算する演算手段を必要に応じて設けることにより同様に構成できる。
【0044】
予測式(1)、(2)における係数は、1/2,1/4,1/8に限らず、任意の係数を用いればよい。
【0045】
【発明の効果】
本発明の画像信号記録装置によれば、色信号出力制御手段は画像信号として得られた各色信号を各色毎に1ラインづつ順次出力させ、ラインメモリには各色ごとの色信号を各色ごとに1ライン分づつまとめて順次記憶するため、1ライン分の色信号を記憶する容量の少ない容量でよいのみならず、色分離回路のように同時に色成分ごとに色信号が出力されないので、ガンマ回路、ホワイトバランス回路などの信号プロセス回路およびA/D変換回路は1系統のみでよく、また、符号化のために大容量のフィールドメモリやバッファメモリも不要となるので、データ圧縮のための符号化に、2次元多点予測方法を用いても、装置全体が著しく大型化することはなく、全体的にみて装置の小形化およびコストを低廉化できる。
【図面の簡単な説明】
【図1】本発明による画像信号記録装置の一実施例における要部構成を示すブロック図である。
【図2】同上画像信号記録装置の全体構成を示すブロック図である。
【図3】図2で示した撮像素子の構成を説明する正面図である。
【図4】図3で説明した撮像素子の一般的な信号電荷の転送動作を説明する正面図である。
【図5】図4の転送動作時に印加される各クロックのタイミングを説明するタイムチャートである。
【図6】(a)、(b)は図3で説明した撮像素子の信号電荷の転送動作を説明する正面図である。
【図7】図6の転送動作のために印加される各クロックのタイミングを説明するタイムチャートである。
【図8】2次元多点予測方法を説明するための図である。
【図9】同上他の実施例における要部を示すブロック図である。
【図10】図9で示した装置による2次元多点予測方法を説明するための図である。
【図11】従来例を説明するためのブロック図である。
【図12】図11で示した符号化回路を示すブロック図である。
【符号の説明】
11……撮像素子としてのCCD、
18……符号化回路、20……記憶装置、
21……色信号出力制御手段として機能するCCD駆動回路、
86……予測器、
86a……1画素遅延器、
86b……ラインメモリ、
86d,86e,86f,86j,86g,86h……演算手段となる乗算器および加算器
Claims (1)
- 撮像素子により画像信号として得られた色成分の色信号を各色ごとに1ライン分づつ順次出力させる色信号出力制御手段と、
この色信号出力制御手段で出力された各色を合計した1ライン分の色信号を記憶する容量で前記色信号出力制御手段で各色ごとに1ライン分づつ出力された各色ごとの色信号を各色ごとに順次記憶するラインメモリ、1画素遅延器、前記ラインメモリを通して得られる1ライン前の近傍の画素データのサンプル値および上記1画素遅延器により得られる同一ラインの近傍の画素データの値を所定の割合で合算して予測値を演算する演算手段を備え、データを圧縮する符号化回路と、
この圧縮されたデータを記憶する記憶装置と
を具備したことを特徴とする画像信号記録装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1990163127A JP3083143B6 (ja) | 1990-06-21 | 画像信号記録装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1990163127A JP3083143B6 (ja) | 1990-06-21 | 画像信号記録装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPH0453359A JPH0453359A (ja) | 1992-02-20 |
JP3083143B2 JP3083143B2 (ja) | 2000-09-04 |
JP3083143B6 true JP3083143B6 (ja) | 2008-10-08 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9621842B2 (en) | Camera system, video processing apparatus, and camera apparatus | |
JP3438205B2 (ja) | デジタル電子カメラ装置 | |
US4614966A (en) | Electronic still camera for generating long time exposure by adding results of multiple short time exposures | |
US5343243A (en) | Digital video camera | |
US6452632B1 (en) | Solid state image sensor and video system using the same | |
KR0125108B1 (ko) | 정지화상기록 디지탈 카메라 | |
EP0469836B1 (en) | Image signal processing apparatus | |
US5194944A (en) | Image signal processing apparatus for successively transferring a series of color signals obtained as image signals | |
JPS6038988A (ja) | 固体撮像素子を用いた静止画像撮像装置 | |
JP2009253667A (ja) | 動画処理装置及び動画処理方法、動画処理プログラム | |
US5309183A (en) | Image pickup apparatus having difference encoding and non-linear processing of image signals | |
US6631216B2 (en) | Image interpolation apparatus | |
JP2825482B2 (ja) | ディジタル画像信号の補間装置 | |
JP3083143B6 (ja) | 画像信号記録装置 | |
JP2797393B2 (ja) | 記録再生装置 | |
US7295765B1 (en) | Digital image recording and reproducing apparatus having formats corresponding to pixel configurations | |
JP3083143B2 (ja) | 画像信号記録装置 | |
KR100719988B1 (ko) | 화상 신호 처리 장치 | |
US5910818A (en) | Image restoration system for a single charge coupled device video camera | |
JP2666260B2 (ja) | 電子スチルカメラ | |
JPH05191770A (ja) | 撮像装置 | |
JP3754803B2 (ja) | 撮像装置 | |
JPH05252522A (ja) | デジタルビデオカメラ | |
JP2531236B2 (ja) | 画像信号処理回路 | |
KR0137232B1 (ko) | 정지화상기록 디지탈 카메라 |