JP4508132B2 - 撮像装置、撮像回路、および撮像方法 - Google Patents

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、撮像回路、および撮像方法に関し、特に、撮像により得られた画像信号を一旦メモリに格納して処理する構成の撮像装置、およびそのような構成に適した撮像回路、撮像方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存することができる撮像装置が広く普及している。このような撮像装置では、撮像素子の多画素化や、装置の高機能化・高性能化が進んでいる。特に、撮像素子の多画素化が進むと、撮像信号の処理負荷が増大するが、そのような撮像装置であっても、操作にストレスがないように高速で処理できることが求められている。

図１１は、従来の撮像装置の構成例を示すブロック図である。
図１１に示す従来の撮像装置は、撮像素子８１、アナログフロントエンド（ＡＦＥ）回路８２、デジタル画像処理回路８３、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）８４、ＲＯＭ（Read Only Memory）８５、およびストレージデバイス８６を備えている。また、デジタル画像処理回路８３は、カメラ信号前処理部９１、カメラ信号処理部９２、解像度変換部９３、ＪＰＥＧ（Joint Photographic Experts Group）エンジン９４、ＣＰＵ（Central Processing Unit）９５、ビデオ出力エンコーダ９６、およびＳＤＲＡＭコントローラ９７を備え、これらが内部バス９８により相互に接続された構成となっている。

このような撮像装置において、撮像素子８１による撮像信号は、順次ＡＦＥ回路８２に供給され、ＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Auto Gain Control）処理が施された後、デジタル信号に変換されて、デジタル画像処理回路８３に供給される。カメラ信号前処理部９１は、入力された画像信号に対して、欠陥画素補正やシェーディング補正などを施し、ＲＡＷ（生）データとして、ＳＤＲＡＭコントローラ９７を介してＳＤＲＡＭ８４に書き込む。

カメラ信号処理部９２は、そのＲＡＷデータをＳＤＲＡＭコントローラ９７を介してＳＤＲＡＭ８４から読み出し、各種検波や画質補正処理（カメラ信号処理）を実行した後、輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換して出力する。解像度変換部９３は、カメラ信号処理部９２からの出力画像データに対して、必要に応じて、解像度変換処理を施す。

ビデオ出力エンコーダ９６は、解像度変換部９３により表示に適する解像度に変換された画像データを、モニタ表示用の画像信号に変換して、図示しないモニタ、あるいはビデオ出力端子９６ａに対して出力する。これにより、カメラスルー画像を表示させることができる。ＪＰＥＧエンジン９４は、カメラ信号処理部９２または解像度変換部９３からの画像データを、ＪＰＥＧ規格に従って圧縮符号化し、一旦ＳＤＲＡＭ８４に格納する。ＣＰＵ９５は、ＳＤＲＡＭ８４に格納されたＪＰＥＧ符号化データを、ストレージデバイス８６に記録する。

なお、ＣＰＵ９５は、この撮像装置全体の処理を、統括的に制御し、ＲＯＭ８５には、ＣＰＵ９５が実行するプログラムや、処理に必要なデータが記録されている。
また、上記では、撮像画像をＪＰＥＧデータとして記録する構成の撮像装置について示したが、カメラ信号処理などが施されていないＲＡＷデータをそのまま記録媒体に記録する機能を備えた撮像装置も実現されている。例えば、ＲＡＷデータをハフマンテーブルを利用した可逆的圧縮手法により圧縮して記録する機能を備え、そのハフマンテーブルを色チャネルごとに最適化するようにしたものがあった（例えば、特許文献１参照）。また、ＲＡＷデータを圧縮して記録するＲＡＷ圧縮モードに設定した際には、通常圧縮モードで使用するＲＡＷデータの補間処理部をバイパスするようにしたものもあった（例えば、特許文献２参照）。
特開２００４−４０３００号公報（段落番号〔００１９〕〜〔００２８〕、図２） 特開２００３−１２５２０９号公報（段落番号〔００２７〕〜〔００３７〕、図１）

ところで、上記の図１１のように、一般的な撮像装置では、撮像素子から得られたＲＡＷデータを、一旦ＳＤＲＡＭなどの画像メモリに格納した後、読み出してカメラ信号処理などを施す構成となっている。例えば、インタレース読み出し方式の撮像素子を用いた場合など、複数フィールドで１フレームのキャプチャが終了するタイプの装置では、各フィールドのデータをメモリに格納してから、フレームのデータを生成することが必須である。また、カメラ信号処理部のラインメモリの規模を抑制するために、１Ｈ（水平同期期間）の長さの数分の一程度のディレイラインのみを用いて、全画面を部分的に（例えば、縦方向に数本の短冊状に）処理していくような処理系を持つ場合にも、少なくともその処理の前に全画面のデータをメモリに格納しておく必要がある。

ここで、ＲＡＷデータのメモリへの書き込みおよび読み出しの際には、全画面分のデータが内部バス上を流れるため、この伝送に必要なバス帯域は、撮像時の全体のバス帯域の多くを占める。特に、撮像素子の画素数が増加し、ＲＡＷデータの容量が大きくなるほど、データ転送の負荷が高まり、メモリの書き込み／読み出しに要する時間も長くなる。従って、記録処理に要する時間を短縮しようとすると、伝送周波数を高くするなどしてバス帯域を拡大することが必要となり、装置コストが増大するという問題があった。また、画素数が多いほど、ＲＡＷデータを格納するメモリの容量も大きくなるという問題もあった。

これに対して、内部バスの伝送時にＲＡＷデータを圧縮して伝送することも考えられているが、この圧縮方式として可変長符号化方式を用いると、伝送に必要なバス帯域を一定にできなくなり、処理が複雑になる、バス帯域の削減効果を常時得られないなどの問題も生じる。

なお、上記の特許文献１は、ＲＡＷデータを可変長符号化方式で圧縮するものであり、また、特許文献１および２の双方とも、内部バスの帯域を削減するためにＲＡＷデータを圧縮するものではない。

本発明はこのような点に鑑みてなされたものであり、内部メモリにおける画像データの読み書きに要する時間を短縮して、高速な撮像動作を可能にした撮像装置を提供することを目的とする。

また、本発明の他の目的は、内部メモリにおける画像データの読み書きに要する時間を短縮して、高速な撮像動作を可能にした撮像回路を提供することである。
さらに、本発明の他の目的は、内部メモリにおける画像データの読み書きに要する時間を短縮して、高速な撮像動作を可能にした撮像方法を提供することである。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子により撮像され、デジタル変換された画像データを圧縮する圧縮部と、前記圧縮部により圧縮された圧縮画像データを一時的に保持するメモリと、前記メモリから読み出した前記圧縮画像データを伸張する伸張部と、前記伸張部により伸張された画像データに対して画質補正処理を施す信号処理部とを有し、前記圧縮部は、所定数の画素データからなるブロック内の前記画素データの最大値および最小値と、それらの当該ブロック内での位置情報と、前記最大値および前記最小値を除く当該ブロック内の前記画素データから、前記最小値を減算した減算値を量子化した量子化データとからなる前記圧縮画像データを生成し、前記量子化データのビット数より前記位置情報のビット数の方が小さくされたことを特徴とする撮像装置が提供される。

このような撮像装置では、固体撮像素子により撮像され、デジタル変換された画像データが、圧縮部により圧縮され、その圧縮画像データが一時的にメモリに格納される。そして、メモリから読み出された圧縮画像データが伸張部により伸張され、伸張された画像データに対して、信号処理部により画質補正処理が施される。ここで、圧縮部により生成される圧縮画像データは、所定数の画素データからなるブロック内の画素データの最大値および最小値と、それらのブロック内での位置情報と、最大値および最小値を除くブロック内の画素データから、最小値を減算した減算値を量子化した量子化データとからなる。

本発明の撮像装置では、画像データが圧縮部に入力されてから信号処理部で画質補正処理されるまでの手順において、メモリで読み書きされる画像データが圧縮されるので、メモリにおける画像データの読み書きに要する時間が短縮される。また、メモリに一時的に格納される圧縮画像データは、ブロック内の画素データの最大値および最小値と、それらのブロック内での位置を検出し、さらにブロック内の画素データから最小値を減算した減算値を量子化することで得られるので、入力画像データを一次元的に処理するという簡便な処理で圧縮できる。さらに、量子化データの量子化語長を一定にすることで固定長の圧縮符号化が可能であるので、その圧縮画像データのメモリにおける読み書きの制御も簡単になる。従って、全体の処理負荷やデータ伝送負荷が軽減され、高速な撮像動作が可能になる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。

図１に示す撮像装置は、撮像素子１１、ＡＦＥ回路１２、デジタル画像処理回路１３、ＳＤＲＡＭ１４、ＲＯＭ１５、およびストレージデバイス１６を備えている。また、デジタル画像処理回路１３は、カメラ信号前処理部２１、カメラ信号処理部２２、解像度変換部２３、ＪＰＥＧエンジン２４、ＣＰＵ２５、ビデオ出力エンコーダ２６、およびＳＤＲＡＭコントローラ２７を備え、これらが内部バス２８により相互に接続された構成となっている。さらに、このような従来からの構成に加えて、本実施の形態のデジタル画像処理回路１３は、ＲＡＷ圧縮部３１およびＲＡＷ伸張部３２を備えている。

撮像素子１１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの固体撮像素子であり、図示しないレンズブロックを通じて被写体から入射された光を、電気信号に変換する。

ＡＦＥ回路１２は、撮像素子１１から出力された画像信号に対して、ＣＤＳ処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ処理により利得を制御し、Ａ／Ｄ（Analog／Digital）変換を行ってデジタル画像信号を出力する。

デジタル画像処理回路１３は、例えば、ＳｏＣ（System On a Chip）回路などとして形成される。このデジタル画像処理回路１３において、カメラ信号前処理部２１は、ＡＦＥ回路１２から供給された画像信号に対して、撮像素子１１における欠陥画素の信号補正処理、レンズの周辺光量落ちを補正するシェーディング処理などを施し、処理後の信号をＲＡＷデータとして出力する。

ＲＡＷ圧縮部３１は、カメラ信号前処理部２１からのＲＡＷデータを、後述する圧縮手法により圧縮し、ＳＤＲＡＭコントローラ２７を介して、ＳＤＲＡＭ１４に供給する。
ＲＡＷ伸張部３２は、ＳＤＲＡＭ１４からＳＤＲＡＭコントローラ２７を介して読み出した、圧縮されたＲＡＷデータを、後述する手法により伸張して、カメラ信号処理部２２に出力する。

カメラ信号処理部２２は、ＲＡＷ伸張部３２からＲＡＷデータにデモザイク処理を施した後、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス制御などのための信号検波処理や、ホワイトバランス調整に代表される信号補正処理など、いわゆるカメラ信号処理、またはその処理の一部を実行する。さらに、信号補正後の画像データを、例えば４：２：２などの所定フォーマットの輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換する。

解像度変換部２３は、カメラ信号処理部２２で処理された画像データ、あるいはＪＰＥＧエンジン２４で伸張復号化された画像データの入力を受けて、所定の解像度に変換する。

ＪＰＥＧエンジン２４は、解像度変換部２３で処理された画像データを圧縮符号化し、ＪＰＥＧ方式の符号化データを生成する。また、ストレージデバイス１６から読み出されたＪＰＥＧ画像データを伸張復号化する。なお、デジタル画像処理回路１３には、このＪＰＥＧエンジン２４以外の他の静止画圧縮方式、あるいは動画圧縮方式のエンコード／デコードエンジンが設けられてもよい。

ＣＰＵ２５は、ＲＯＭ１５に格納されたプログラムを実行することにより、このデジタル画像処理回路１３、および撮像装置全体を統括的に制御し、また、その制御のための各種演算を実行する。

ビデオ出力エンコーダ２６は、例えばＮＴＳＣ（National Television Standards Committee）エンコーダなどとして構成され、解像度変換部２３などから出力された画像データを基に、モニタ表示用の画像信号を生成し、図示しないモニタ、あるいはビデオ出力端子２６ａに出力する。

ＳＤＲＡＭコントローラ２７は、ＳＤＲＡＭ１４に対するインタフェースブロックであり、アドレスデコーダなどを備えて、ＣＰＵ２５からの制御信号に従って、ＳＤＲＡＭ１４の書き込みおよび読み出し動作を制御する。

ＳＤＲＡＭ１４は、デジタル画像処理回路１３におけるデータ処理のためのワークエリアとして用意された揮発性のメモリであり、撮像素子１１からキャプチャされたデータ、すなわち、ＲＡＷ圧縮部３１で圧縮されたＲＡＷデータを一時的に格納するためのキャプチャデータエリア１４ａ、ＪＰＥＧエンジン２４により符号化された画像データや、その符号化・復号化処理で利用されるデータなどを一時的に格納するためのＪＰＥＧ符号エリア１４ｂ、ＣＰＵ２５の処理で利用されるデータを一時的に格納するためのＣＰＵワークエリア１４ｃなどを含んでいる。

ＲＯＭ１５は、ＣＰＵ２５が実行するプログラムや各種データを保持する。このＲＯＭ１５としては、例えば、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられてもよい。

ストレージデバイス１６は、符号化された画像データのファイルを記録するためのデバイスであり、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体、およびそれらの記録／再生ドライブなどからなる。

このような撮像装置において、撮像素子１１による撮像信号は、順次ＡＦＥ回路１２に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換されて、デジタル画像処理回路１３のカメラ信号前処理部２１に供給される。カメラ信号前処理部２１では、入力された画像信号に対して、欠陥画素補正やシェーディング補正などを施したＲＡＷデータが生成され、このＲＡＷデータは、ＲＡＷ圧縮部３１により圧縮された後、ＳＤＲＡＭ１４に一旦書き込まれる。

このＲＡＷデータは、ＳＤＲＡＭ１４から読み出されると、ＲＡＷ伸張部３２により伸張された後、カメラ信号処理部２２により各種画質補正処理が施される。処理後の画像データは、例えばＳＤＲＡＭ１４に一旦格納された後、解像度変換部２３により、表示に適した解像度のデータに変換され、さらに例えばＳＤＲＡＭ１４に格納された後、ビデオ出力エンコーダ２６に供給される。これにより、カメラスルー画像がモニタに表示される。

また、図示しない入力部などを通じて画像の記録が要求されると、解像度変換部２３は、カメラ信号処理部２２で処理された画像データを、必要に応じて記録用に設定された解像度のデータに変換して、例えばＳＤＲＡＭ１４に一旦格納し、ＪＰＥＧエンジン２４は、この画像データを圧縮符号化して、符号化データを生成する。符号化データは、例えばＳＤＲＡＭ１４に一旦記録された後、ストレージデバイス１６に記録される。

また、ストレージデバイス１６に記録された画像データ（符号化データ）は、ＪＰＥＧエンジン２４で伸張復号化され、解像度変換部２３で解像度変換された後、ビデオ出力エンコーダ２６に出力されることで、モニタに表示させることができる。

このようなデジタル画像処理回路１３では、カメラ信号前処理部２１から内部バス２８に対する画像データの入力位置に、ＲＡＷデータを圧縮するＲＡＷ圧縮部３１を設けたことにより、内部バス２８を通じてＳＤＲＡＭ１４に伝送されるＲＡＷデータのデータ量を低減することができる。また、内部バス２８からカメラ信号処理部２２に対する画像データの入力位置に、ＲＡＷデータを伸張するＲＡＷ伸張部３２を設けたことにより、同様に、ＳＤＲＡＭ１４からカメラ信号処理部２２に伝送されるＲＡＷデータのデータ量を低減することができる。

これにより、撮像動作中の内部バス２８の伝送負荷を軽減し、ＳＤＲＡＭ１４に対する書き込み／読み出し処理に要する時間を短縮することが可能となる。特に、圧縮／伸張の処理をできるだけ簡単にすることで、処理時間の短縮効果を上げることができる。また、バス上の伝送周波数を低減して、消費電力を抑制することもできる。

また、ＳＤＲＡＭ１４の容量も小さくすることができる。あるいは、ＳＤＲＡＭ１４の領域を他の処理に利用する、複数フレーム分のＲＡＷデータを格納して、連写できる枚数を増やす、あるいは連写速度を向上させるなど、高画質化・高機能化に寄与することもできる。従って、撮像やデータ記録に必要な時間が短くされた、高性能かつ小型、低コストの撮像装置を実現できる。

また、ＲＡＷ圧縮部３１によるＲＡＷデータの圧縮処理では、可逆圧縮手法を用いることで、ＲＡＷデータの品質を完全に保持できるが、非可逆圧縮であっても、圧縮歪みの発生量が、輝度／色差信号に変換された時点で、肉眼では感知できない程度となるならば、画質としては許容できる。一般に、輝度／色差信号に変換された時点のＰＳＮＲ（Peak Signal to Noise Ratio）が５０ｄＢ〜４０ｄＢ程度であれば、圧縮歪みは許容されるレベルになる。

さらに、ＲＡＷデータを圧縮する場合に、固定長で符号化できれば、ＳＤＲＡＭ１４に対して読み書きするＲＡＷデータの帯域を一定に保つことができ、内部バス２８における伝送負荷を安定的に低減できる。また、カメラ信号処理部２２におけるＲＡＷデータの取り扱い（例えばＳＤＲＡＭ１４からの読み出し制御処理）や、内部バス２８を通じたＲＡＷデータの伝送制御処理を、単純化することもできる。

例えば、可変長で符号化した場合には、圧縮されたＲＡＷデータをＳＤＲＡＭ１４から読み出す際に、バースト状にアクセスしなければならない場合が多い。また、カメラ信号処理部２２の機能として、１Ｈの数分の一程度のディレイラインしか持たずに、全画面を部分的に（例えば、縦方向の短冊状に）処理していくような機能があった場合に、固定長で符号化することにより、任意の位置のＲＡＷデータのＳＤＲＡＭ１４上のアドレスを簡単に計算し、読み出すことが可能になる。デジタル画像処理回路１３内のＤＭＡ（Direct Memory Access）コントローラによりアクセスすることも可能となる。

そこで、本実施の形態では、以下で説明するように、固定長の符号化が可能で、かつ、画像品質を良好に保つことができ、しかも比較的簡単な処理で実現できる非可逆圧縮／伸張手法を採用する。

なお、以下の例では、ＲＡＷデータ信号を１画素当たり１４ビット、量子化語長を７ビット固定とし、同一色成分を持つ水平方向の１６画素分を、１ブロックの符号化データに変換する。なお、例えば、１４ビットのデータは、ＳＤＲＡＭ１４において１６ビット分の領域を占有する。上記のように１６画素を１ブロックとすると、１ブロックに対応するＲＡＷデータを圧縮せずにＳＤＲＡＭ１４に記録した場合、２５６ビット分の領域を占有するが、本実施の形態では、このような記録領域を１２８ビット分に圧縮でき、１／２の圧縮率を達成できることになる。

図２は、ＲＡＷ圧縮部の内部構成を示すブロック図である。
図２に示すように、ＲＡＷ圧縮部３１は、折れ線圧縮部１０１、ブロック化部１０２、最大／最小検出部１０３、最小値ラッチ部１０４、最大値ラッチ部１０５、最小値アドレスラッチ部１０６、最大値アドレスラッチ部１０７、減算器１０８および１０９、量子化器１１０、量子化データバッファ１１１、およびパッキング部１１２を備えている。

折れ線圧縮部１０１は、入力された１４ビットのＲＡＷデータを、折れ線を用いた近似により１１ビットのデータに非線形で圧縮する。この折れ線圧縮部１０１は、この後の圧縮手順の前に、できるだけ階調を下げておくことで、全体的な圧縮効率を向上させることを目的として設けられている。このため、目的とする圧縮率によっては、省略されてもよい。なお、この場合には、後の図４で説明するＲＡＷ伸張部３２の出力段に設けられる逆折れ線変換部についても、省略する必要がある。

ここで、図３は、折れ線圧縮部で用いられる折れ線の例を示す図である。
図３では、４つの点で分割された５通りの傾きを持つ直線により、入力データの階調を変換する例を示している。この例では、人間の視覚特性に合わせて、入力データが小さいほど、すなわち暗いほど（または色がうすいほど）、高い階調を割り当てるようにしている。このような折れ線は、例えば色成分ごとに用意し、入力画素の色成分ごとに切り換えて利用してもよい。

折れ線圧縮部１０１では、例えば、このような折れ線を用いて、入力データの階調を変換した後、変換後のデータを８で除算（すなわち３ビット分下位にシフト）して、１１ビットデータに圧縮する。このとき、捨てられる下位ビットは、例えば四捨五入する。あるいは、折れ線圧縮部１０１では、以上のような演算に基づく、入力データと圧縮後の出力データとを対応付けて記憶したＲＯＭテーブルを用意し、このＲＯＭテーブルに従って入出力データの変換が行われてもよい。

以下、図２に戻って説明する。
ブロック化部１０２は、折れ線圧縮部１０１から出力されたデータを、水平方向に隣接する１６画素分の同色成分画素からなるブロックに分離し、分離したブロックごとに出力する。これにより、ブロック内のデータの相関が強くなり、この後の量子化処理による画質劣化を抑制することができる。

例えば、ベイヤ配列の撮像素子１１が用いられた場合、出力データには、Ｒ成分とＧｒ成分の繰り返しと、Ｂ成分とＧｂ成分の繰り返しとが、１ラインごとに出現する。例として、ブロック化部１０２への入力データに、Ｒ０，Ｇｒ０，Ｒ１，Ｇｒ１，……，Ｒ１５，Ｇｒ１５のように、Ｒ成分とＧｒ成分が繰り返し現れる場合には、Ｒ０，Ｒ１，Ｒ２，……，Ｒ１５，Ｇｒ０，Ｇｒ１，……，Ｇｒ１５のように、同色成分の画素が１６個連続して現れるように、出力順序を変換して、ブロック化する。

最大／最小検出部１０３は、１ブロック内における最大値および最小値を検出する。具体的には、１ブロック内における最大値および最小値と、最大値および最小値をとった画素が１ブロックの先頭からそれぞれ何番目かを示すアドレス（以下、最大値アドレスおよび最小値アドレスと呼ぶ）を検出する。最大値アドレスおよび最小値アドレスは、それぞれ０〜１５のアドレス値として検出される。

ただし、同一の値を持つ画素がブロック内に複数存在し、かつその値が最大値または最小値であった場合を考慮して、最大値および最小値の判定には、以下のような判定ルールを設けることで、圧縮・伸張処理上の混乱を避けるようにする。まず、最大値の判定にあたっては、初期化動作として、０番目の画素の値をテンポラリな最大値（テンポラリ最大値）として取り込む。次に、１〜１５番目の画素については、テンポラリ最大値以上の値であれば、その画素の値でテンポラリ最大値を更新する。これにより、１５番目の画素の判定後のテンポラリ最大値が、ブロック内の最大値と判定される。

また、最小値の判定にあたっては、同様に、初期化動作として、０番目の画素の値をテンポラリな最小値（テンポラリ最小値）として取り込む。次に、１〜１５番目の画素については、テンポラリ最小値未満の値であれば、その画素の値でテンポラリ最小値を更新する。これにより、１５番目の画素の判定後のテンポラリ最小値が、ブロック内の最小値と判定される。

例えば、１６画素のうち、先頭の２画素（０番目，１番目）が、同一の最大値をとる場合には、最大値アドレスは“１”となる。また、１６画素がすべて同じ値の場合には、最小値アドレスは“０”、最大値アドレスは“１５”となる。

なお、最大／最小検出部１０３は、検出した最小値および最大値を、それぞれ最小値ラッチ部１０４および最大値ラッチ部１０５に出力し、最小値アドレスおよび最大値アドレスを、それぞれ最小値アドレスラッチ部１０６および最大値アドレスラッチ部１０７に出力する。また、入力された１ブロック分のデータを、そのブロックの最大および最小判定の終了後に、減算器１０８に順次出力する。

最小値ラッチ部１０４および最大値ラッチ部１０５は、最大／最小検出部１０３からの最小値および最大値を、それぞれラッチする。また、最小値アドレスラッチ部１０６および最大値アドレスラッチ部１０７は、最大／最小検出部１０３からの最小値アドレスおよび最大値アドレスを、それぞれラッチする。これらの最小値ラッチ部１０４、最大値ラッチ部１０５、最小値アドレスラッチ部１０６、および最大値アドレスラッチ部１０７は、入力データに対応するブロックがパッキング部１１２において符号化されるまでの間、その入力データをラッチする。

減算器１０８は、最大／最小検出部１０３から出力される画素のデータから、最小値ラッチ部１０４が出力する対応するブロックの最小値を減算する。この減算は、１ブロック内の画素に共通するＤＣオフセット分を、各画素のデータから差し引くことと等価である。

減算器１０９は、最大値ラッチ部１０５が出力する最大値から、最小値ラッチ部１０４が出力する対応するブロックの最小値を減算する。この減算結果は、量子化時におけるダイナミックレンジ（ＤＲ）を示す。

量子化器１１０は、減算器１０８の出力データを、減算器１０９から出力されるダイナミックレンジの大きさに従って量子化する。本実施の形態では、例として、７ビットの固定長で量子化する。

この量子化器１１０としては、例えば、整数型の除算器を利用して、減算器１０８の出力データをダイナミックレンジで除算する構成を適用できる。また、量子化ステップを２のべき乗に限定した場合には、以下のように動作するビットシフタを適用でき、これにより回路規模を削減することができる。なお、圧縮処理側でこのようなビットシフタを利用すると、伸張処理側の逆量子化においても同様に回路規模を削減できる。

減算器１０８からの１１ビットの入力データを７ビットデータに量子化する場合、例えば以下のようなシフト動作を行えばよい。
［０≦ＤＲ≦１２７のとき］入力データをそのまま出力する。

［１２８≦ＤＲ≦２５５のとき］入力データを１ビット分下位にシフトする。
［２５６≦ＤＲ≦５１１のとき］入力データを２ビット分下位にシフトする。
［５１２≦ＤＲ≦１０２３のとき］入力データを３ビット分下位にシフトする。

［１０２４≦ＤＲ≦２０４７のとき］入力データを４ビット分下位にシフトする。
量子化データバッファ１１１は、量子化器１１０から出力される１６画素分の量子化データを一時的に保持する。

パッキング部１１２は、量子化データバッファ１１１、最小値ラッチ部１０４、最大値ラッチ部１０５、最小値アドレスラッチ部１０６、および最大値アドレスラッチ部１０７からの出力データを利用して、１ブロック当たり１２８ビットの圧縮データにパッキングする。このパッキング部１１２は、量子化データバッファ１１１から各画素に対応する量子化データを読み出す際に、最小値アドレスラッチ部１０６および最大値アドレスラッチ部１０７の出力データに基づいて、最大値および最小値に対応する量子化データを破棄し、次の図４に示すように、ブロック内の残りの１４画素分の量子化データのみパッキングする。

図４は、パッキングにより生成される１ブロック分の圧縮データの構成を示す図である。
この図４に示すように、圧縮データは、ブロック内の最大値および最小値（ともに１１ビット）と、それらの値に対応する最大値アドレスおよび最小値アドレス（ともに４ビット）と、最大値および最小値をとる画素を除く１４画素分の量子化データ（９８ビット）とから構成される。

ここで、ブロック内の最大値および最小値がパッキングされているので、これらに対応する量子化データを省略し、代わりに、これらの画素の位置を示す最大値アドレスおよび最小値アドレスをパッキングしておくことで、伸張時に元のデータを復元可能にしている。量子化データが７ビットなのに対して、アドレスは１６番地分のため４ビットであるので、これらの差分から、１ブロック当たり、最大値および最小値をあわせて６ビットの削減効果が得られる。以上より、２５６ビット分のメモリ領域を占める１６画素分のＲＡＷデータを、１／２に圧縮した１２８ビットのデータが得られる。

次に、図５は、ＲＡＷ伸張部の内部構成を示すブロック図である。
図５に示すように、ＲＡＷ伸張部３２は、データラッチ部２０１、セレクタ２０２、減算器２０３、逆量子化器２０４、加算器２０５、アドレスカウンタ２０６、アドレス比較部２０７、セレクタ２０８、逆折れ線変換部２０９、および点順次処理部２１０を備えている。

データラッチ部２０１は、ＳＤＲＡＭ１４から読み出された１２８ビットの圧縮データをラッチする。なお、このデータラッチ部２０１は、入力データに対応するブロックがセレクタ２０８においてすべて処理されるまでの間、その入力データをラッチする。

セレクタ２０２は、データラッチ部２０１でラッチされたデータのうち、量子化データ（９８ビット）を受け取り、そのデータから１画素分に相当する７ビット分のデータをシーケンシャルに選択して、逆量子化器２０４に供給する。

減算器２０３は、データラッチ部２０１でラッチされたデータのうち、最大値（１１ビット）および最小値（１１ビット）を受け取り、最大値から最小値を減算して、ダイナミックレンジを出力する。

逆量子化器２０４は、セレクタ２０２からの画素ごとの量子化データを、ダイナミックレンジの大きさに従って逆量子化する。本実施の形態では、７ビットの固定長符号を逆量子化して、１１ビットのデータを出力する。

この逆量子化器２０４としては、例えば、整数型の乗算器を利用して、量子化データとダイナミックレンジを乗算する構成を適用できる。また、上記の量子化器１１０の説明で述べた通り、量子化ステップを２のべき乗に限定して量子化した場合には、ビットシフタで構成することができ、これにより回路規模を削減することができる。このビットシフタは、例えば以下のように動作する。

［０≦ＤＲ≦１２７のとき］入力データ（量子化データ）をそのまま出力する。
［１２８≦ＤＲ≦２５５のとき］入力データを１ビット分上位にシフトする。
［２５６≦ＤＲ≦５１１のとき］入力データを２ビット分上位にシフトする。

［５１２≦ＤＲ≦１０２３のとき］入力データを３ビット分上位にシフトする。
［１０２４≦ＤＲ≦２０４７のとき］入力データを４ビット分上位にシフトする。
加算器２０５は、逆量子化器２０４の出力データと、データラッチ部２０１でラッチされた最小値とを加算する。これにより、逆量子化されたデータに、ブロック内の共通のＤＣオフセット値が加算される。

アドレスカウンタ２０６は、画素の出力タイミングにあわせてカウントアップ動作を行い、ブロック内の画素順に対応したカウント値（０〜１５）を生成する。
アドレス比較部２０７は、データラッチ部２０１でラッチされたデータのうち、最大値アドレスおよび最小値アドレスを受け取り、アドレスカウンタ２０６からのカウント値と比較し、各アドレスの値と一致した場合に、セレクタ２０８に対して選択信号を出力する。

セレクタ２０８は、加算器２０５からのデータ、データラッチ部２０１からの最大値および最小値を選択して出力する。具体的には、アドレス比較部２０７から、最大値アドレスに対応する選択信号を受信したときは、データラッチ部２０１からの最大値を選択出力し、最小値アドレスに対応する選択信号を受信したときは、データラッチ部２０１からの最小値を選択出力し、それ以外では、加算器２０５からのデータを選択出力する。これにより、１１ビットに圧縮されている同色画素のデータが、画素順に伸張される。

逆折れ線変換部２０９は、セレクタ２０８からのデータを、ＲＡＷ圧縮部３１の折れ線圧縮部１０１と逆の特性により、１１ビットから１４ビットのデータに伸張する。
ここで、図６は、逆折れ線変換部で用いられる折れ線の例を示す図である。

この図６の折れ線は、図３で示した折れ線圧縮部１０１における折れ線と、逆の特性により階調を変換するようになっている。逆折れ線変換部２０９は、まず、入力データに８を乗算（すなわち３ビット分上位にシフト）して１４ビット化した後、図６の折れ線を用いて階調変換し、１４ビットの画素のデータを伸張する。なお、入力データと伸張後の出力データとを対応付けて記憶したＲＯＭテーブルを用意し、このＲＯＭテーブルに従って入出力データの変換が行われてもよい。

なお、圧縮時に、折れ線圧縮部１０１による圧縮が適用されなかった場合には、伸張時には、この逆折れ線変換部２０９でのデータ変換もバイパスされる。
以下、図５に戻って説明する。

点順次処理部２１０は、ＲＡＷ圧縮部３１のブロック化部１０２で実行されたブロック化と逆のプロセスで、伸張されたデータを元のＲＡＷデータの画素順に変換して出力する。例えば、Ｒ０，Ｒ１，Ｒ２，……，Ｒ１５，Ｇｒ０，Ｇｒ１，……，Ｇｒ１５のように、同色成分の画素が１６個連続するようにブロック化されて圧縮されていた場合には、このようなデータを、Ｒ０，Ｇｒ０，Ｒ１，Ｇｒ１，……，Ｒ１５，Ｇｒ１５のように、Ｒ成分とＧｒ成分が繰り返し現れるように並び替える。このような並び替えを行うために、点順次処理部２１０は、伸張された２ブロック分のデータを保持するためのバッファメモリを備え、２ブロック分のデータがバッファメモリに蓄積された時点で、各色成分のデータを交互に出力する。

以上の構成のＲＡＷ圧縮部３１およびＲＡＷ伸張部３２によれば、圧縮時の１画素当たりの量子化語長を固定長とすることで、固定長の符号化を行って圧縮することができる。従って、内部バス２８を通じてＳＤＲＡＭ１４に読み書きされるデータの帯域を、一定のレベルに低減することができ、ＳＤＲＡＭ１４に対するアドレス管理を簡易にすることもできる。

また、圧縮する１ブロックの画素数と量子化語長との組み合わせで圧縮率が決まるので、必要とする画質（すなわち、許容できる圧縮ひずみの量）や、伝送されるバスでの伝送帯域の割り当て、ＳＤＲＡＭ１４の読み書きの性能などにあわせて、柔軟に対応することができる。例えば、上記の実施の形態のように、１６画素分のＲＡＷデータを、量子化語長７ビットで量子化することで、圧縮率を１／２としながらも、通常の自然画であれば、圧縮／伸張後に輝度／色差信号に変換した時点でのＰＳＮＲを、５０ｄＢ程度に維持できる。従って、圧縮歪みが肉眼では検知できない程度に抑えられ、画質劣化をほぼなくすことができる。

また、基本的に一次元処理により圧縮／伸張処理が実行されるので、例えば、上下ラインの画素のデータを参照するためのラインメモリが不要になり、処理も比較的簡単になる。このため、圧縮／伸張のための回路規模や、製造コストを抑制でき、処理の高速化、および処理時間の短縮の効果を高められる。

従って、撮像時の動作が高速で、高画質の画像を記録／表示でき、かつ、小型で製造コストの比較的低い撮像装置を実現できる。
なお、上記構成のＲＡＷ圧縮部３１およびＲＡＷ伸張部３２では、量子化語長の設定により、可変長の符号化を行うようにすることもできる。例えば、圧縮時において、ダイナミックレンジを基に適応的に量子化語長を変化させることで、可変長の符号化を行い、圧縮効率をさらに高めることができる。さらに、同様の手法で可逆圧縮として、画質劣化を完全に防止することもできる。ただし、この場合には折れ線による圧縮／伸張は行わない。

また、ＣＰＵ２５により、ＲＡＷ圧縮部３１およびＲＡＷ伸張部３２の設定を適応的に制御してもよい。例えば、量子化語長や１ブロックの画素数を変化させる、折れ線圧縮／伸張機能をオン／オフするなどの制御により、圧縮率を変化させることができる。また、ＲＡＷ圧縮部３１およびＲＡＷ伸張部３２の機能をオン／オフできるようにしてもよい。例えば、連写時のみ圧縮／伸張機能をオンにする、ＲＡＷデータをストレージデバイス１６に記録するモードでは圧縮／伸張機能をオフにするなどの制御を適用できる。

また、ＲＡＷ圧縮部３１およびＲＡＷ伸張部３２の機能を、上記の位置の代わりに、例えばＳＤＲＡＭコントローラ２７と内部バス２８との間に設けた場合でも、ＳＤＲＡＭ１４に対するＲＡＷデータの書き込み／読み出しに要する時間を短縮し、ＳＤＲＡＭ１４の容量を小さくする効果が得られる。

次に、上記の第１の実施の形態の変形例について説明する。
〔第２の実施の形態〕
図７は、本発明の第２の実施の形態に係る撮像装置において、ＲＡＷ圧縮部により出力される圧縮データの構成を示す図である。

上述した圧縮手法において、量子化ステップを２のべき乗とした場合には、量子化器はビットシフタにより構成できる。この場合、シフト量が、ブロック内のダイナミックレンジを示唆することになる。ここで、ブロック内の最大値を量子化した場合は、その全ビットが１となるのは自明であるため、伸張側では、最大値の絶対量の代わりに、シフト量から、最大値の量子化データを求め、伸張できる。

従って、図７に示すように、圧縮データ中に、最大値（１１ビット）の代わりに量子化器でのシフト量（上記動作例では少なくとも３ビット）を格納することで、圧縮データに格納すべきデータのビット数を減らすことができる。このため、圧縮率をさらに高める、あるいは量子化語長を拡張して画質を向上させることが可能となる。

なお、図７の例では、内部バス２８のバス幅を６４ビットと想定して、圧縮データをこのバス幅に合わせるため、８ビット分の空き領域を設けている。
〔第３の実施の形態〕
図８は、本発明の第３の実施の形態に係る撮像装置において、ＲＡＷ圧縮部により出力される圧縮データの構成を示す図である。

上記の各実施の形態では、ＲＡＷデータをラインごとにブロック化して圧縮する例を示したが、上記の圧縮／伸張手法を応用して、複数ラインに亘る矩形領域ごとにブロック化することも可能である。例えば、ＣＭＯＳセンサのように全画素読み出し（プログレッシブ読み出し）が可能な撮像素子を用いた場合には、シーケンシャルに画素のデータが読み出されるため、垂直方向に対する画素のデータの相関が強くなる。従って、矩形領域内の画素をブロック化しても、画質を劣化させることなく圧縮を行うことができる。

図８では、例として、８画素×８画素の領域の同色画素のデータをブロック化した場合の圧縮データの例を示している。１ブロックは６４画素分に対応するので、最大値アドレスおよび最小値アドレスを、ともに６ビットにしている。また、この例では、画素間の相関を考慮して、量子化語長を５ビットとしている。また、６４ビットのバス幅を想定して、このバス幅に合わせて４０ビットの空き領域を設定し、圧縮データを３８４ビットとしている。

ここで、例えば６４画素分のＲＡＷデータをＳＤＲＡＭ１４に格納する場合、ＳＤＲＡＭ１４上では１０２４ビット分の領域が占有される。これに対して、図８の例では、必要な領域が３８４ビットとなり、圧縮率が１／２．６となり、例えば非圧縮のＲＡＷデータを４フレーム分だけ格納できる領域に、圧縮したＲＡＷデータを１０フレーム分格納できることになる。

なお、複数ラインの画素をブロック化するためには、ＲＡＷ圧縮部３１、ＲＡＷ伸張部３２とも、内部に複数ラインの画素のデータを蓄積するためのラインメモリなどが必要となる。しかし、例えば、複数ライン分の同色成分の画素信号を同時に出力可能なマルチチャネル仕様の撮像素子を利用した場合には、１ブロック分など、水平方向の画素数が１ラインよりずっと少ない数のラインセンサを用いればよくなり、好適である。

また、矩形領域ごとにブロック化する場合には、特に、ＲＡＷ圧縮部３１とカメラ信号前処理部２１とを一体化した構成とすることもできる。例えば、カメラ信号前処理部２１が備える欠陥画素補正機能は、対象の画素が欠陥である場合に、その画素のデータを周囲の画素のデータを用いて補間する。また、カメラ信号前処理部２１には、周囲画素からの推測値と比較して著しくレベルの異なる画素の信号を補正する孤立点除去処理機能を備える場合もある。このような欠陥画素補正機能や孤立点除去処理機能は、周囲画素のデータを利用するためにラインメモリを用いるため、ＲＡＷ圧縮部３１において最大値／最小値を検出する機能と親和性が高い。従って、ラインメモリを共通化するなどして、ＲＡＷ圧縮部３１の機能またはその一部をカメラ信号前処理部２１内に形成することができる。

〔第４の実施の形態〕
図９は、本発明の第４の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。なお、図９では、図１に対応する機能については同じ符号を付して示し、その説明を省略する。

図９に示す撮像装置では、撮像素子１１と、サンプルホールド機能やＡ／Ｄ変換機能を含むＡＦＥ回路１２とを、１つのセンサＬＳＩ（Large Scale Integration）３０１上に形成している。そして、このセンサＬＳＩ３０１上に、ＲＡＷ圧縮部３１も一体に形成している。なお、この図９のカメラ信号処理部２２ａは、図１のカメラ信号処理部２２の機能とともにカメラ信号前処理部２１の機能も備える。

このような構成により、上述したような、ＳＤＲＡＭ１４に対するＲＡＷデータの書き込み／読み出しの処理負荷を軽減し、デジタル画像処理回路１３ａの内部バス２８におけるＲＡＷデータの伝送帯域を低減する効果の他に、センサＬＳＩ３０１からデジタル画像処理回路１３ａに対するデータ転送周波数を低減し、消費電力を抑制する効果も得ることができる。また、センサＬＳＩ３０１からデジタル画像処理回路１３ａに対するバスからの輻射も低減でき、センサＬＳＩ３０１の内部の信号などに与える影響が抑制される。また、輻射防止のためのシート部材などを薄くしたり、あるいは省略することができ、装置を薄型化・小型化する効果も得られる。

さらに、この図９の例では、デジタル画像処理回路１３ａ内のＣＰＵ２５から、センサＬＳＩ３０１内のＲＡＷ圧縮部３１の機能のオン／オフを制御できるようになっている。この場合、ＲＡＷ伸張部３２のオン／オフは、ＣＰＵ２５から内部バス２８を通じて制御すればよい。このような構成により、例えば、連写時のみ圧縮／伸張機能をオンにする、ＲＡＷデータをストレージデバイス１６に記録するモードでは圧縮／伸張機能をオフにするなど、設定に応じた動作を実現できる。

また、オン／オフだけでなく、ＲＡＷ圧縮部３１の設定をＣＰＵ２５から適宜制御できるようにしてもよい。
〔第５の実施の形態〕
図１０は、本発明の第５の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。なお、図１０では、図１に対応する機能については同じ符号を付して示し、その説明を省略する。

図１０に示す撮像装置では、ＡＦＥ回路１２ａの内部に、ＣＤＳによるサンプルホールド部１２ｂと、Ａ／Ｄ変換部１２ｃとともに、ＲＡＷ圧縮部３１も、１つのチップとして一体に形成されている。なお、この図１０のカメラ信号処理部（図示せず）も、図９の場合と同様に、図１のカメラ信号処理部２２の機能とともにカメラ信号前処理部２１の機能も備える。

このような構成により、上記の図９の場合と同様に、ＳＤＲＡＭ１４に対するＲＡＷデータの書き込み／読み出しの処理負荷を軽減し、デジタル画像処理回路１３ｂの内部バス２８におけるＲＡＷデータの伝送帯域を低減する効果の他に、ＡＦＥ回路１２ａからデジタル画像処理回路１３ｂに対するデータ転送周波数を低減し、消費電力を抑制する効果や、輻射防止効果も得ることができる。

なお、本実施の形態でも、図９と同様に、デジタル画像処理回路１３ｂ内のＣＰＵ（図示せず）から、ＲＡＷ圧縮部３１の機能のオン／オフを制御できるようにしてもよい。また、ＣＰＵから、ＲＡＷ圧縮部３１の設定を適用的に制御できるようにしてもよい。

本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。 ＲＡＷ圧縮部の内部構成を示すブロック図である。 折れ線圧縮部で用いられる折れ線の例を示す図である。 パッキングにより生成される１ブロック分の圧縮データの構成を示す図である。 ＲＡＷ伸張部の内部構成を示すブロック図である。 逆折れ線変換部で用いられる折れ線の例を示す図である。 本発明の第２の実施の形態に係る撮像装置において、ＲＡＷ圧縮部により出力される圧縮データの構成を示す図である。 本発明の第３の実施の形態に係る撮像装置において、ＲＡＷ圧縮部により出力される圧縮データの構成を示す図である。 本発明の第４の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。 本発明の第５の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。 従来の撮像装置の構成例を示すブロック図である。

符号の説明

１１……撮像素子、１２……アナログフロントエンド（ＡＦＥ）回路、１３……デジタル画像処理回路、１４……ＳＤＲＡＭ、１４ａ……キャプチャデータエリア、１４ｂ……ＪＰＥＧ符号エリア、１４ｃ……ＣＰＵワークエリア、１５……ＲＯＭ、１６……ストレージデバイス、２１……カメラ信号前処理部、２２……カメラ信号処理部、２３……解像度変換部、２４……ＪＰＥＧエンジン、２５……ＣＰＵ、２６……ビデオ出力エンコーダ、２６ａ……ビデオ出力端子、２７……ＳＤＲＡＭコントローラ、２８……内部バス、３１……ＲＡＷ圧縮部、３２……ＲＡＷ伸張部

Claims (18)

1. 固体撮像素子を用いて画像を撮像する撮像装置において、
   前記固体撮像素子により撮像され、デジタル変換された画像データを圧縮する圧縮部と、
   前記圧縮部により圧縮された圧縮画像データを一時的に保持するメモリと、
   前記メモリから読み出した前記圧縮画像データを伸張する伸張部と、
   前記伸張部により伸張された画像データに対して画質補正処理を施す信号処理部と、
   を有し、
   前記圧縮部は、所定数の画素データからなるブロック内の前記画素データの最大値および最小値と、それらの当該ブロック内での位置情報と、前記最大値および前記最小値を除く当該ブロック内の前記画素データから、前記最小値を減算した減算値を量子化した量子化データとからなる前記圧縮画像データを生成し、前記量子化データのビット数より前記位置情報のビット数の方が小さくされたことを特徴とする撮像装置。
2. 前記圧縮部は、
   前記ブロックごとに、前記画素データの前記最大値および前記最小値と、それらの当該ブロック内での前記位置情報とを検出する最大／最小検出部と、
   前記画素データから、対応する前記ブロックにおける前記最小値を減算した前記減算値を、当該ブロック内の前記最大値と前記最小値との差分値として算出したダイナミックレンジに応じて量子化する量子化部と、
   前記ブロックごとに、当該ブロックにおける前記最大値、前記最小値、およびそれらの前記位置情報と、前記量子化部で量子化された量子化データのうち、前記最大値および前記最小値に対応するものを除く前記量子化データとをパッキングして前記圧縮画像データを生成するパッキング部と、
   を有することを特徴とする請求項１記載の撮像装置。
3. 前記伸張部は、
   前記ブロックごとの前記圧縮画像データから抽出した前記量子化データを、当該圧縮画像データから抽出した前記最大値と前記最小値との差分値として算出した前記ダイナミックレンジに応じて逆量子化する逆量子化部と、
   前記逆量子化部により逆量子化されたデータに前記最小値を加算する加算部と、
   前記ブロックごとの前記圧縮画像データから抽出した前記最小値および前記最大値の前記各位置情報に基づき、前記最大値と、前記最小値と、前記加算部からの出力値とを、前記圧縮部に入力された元の前記画素データの順に出力する出力制御部と、
   を有することを特徴とする請求項２記載の撮像装置。
4. 固体撮像素子を用いて画像を撮像する撮像装置において、
   前記固体撮像素子により撮像され、デジタル変換された画像データを圧縮する圧縮部と、
   前記圧縮部により圧縮された圧縮画像データを一時的に保持するメモリと、
   前記メモリから読み出した前記圧縮画像データを伸張する伸張部と、
   前記伸張部により伸張された画像データに対して画質補正処理を施す信号処理部と、
   を有し、
   前記圧縮部は、
   所定数の画素データからなるブロックごとに、前記ブロック内の前記画素データの最大値および最小値と、それらの当該ブロック内での位置情報とを検出する最大／最小検出部と、
   量子化ステップを２のべき乗とし、前記画素データから、対応する前記ブロックにおける前記最小値を減算した減算値を、当該ブロック内の前記最大値と前記最小値との差分値として算出したダイナミックレンジに応じた数だけビットシフタにより下位にシフトし、シフトされた前記減算値を量子化データとして出力する量子化部と、
   前記ブロックごとに、当該ブロックにおける前記最小値と、前記最大値および前記最小値の当該ブロックにおける前記位置情報と、前記ビットシフタによるシフト量と、前記量子化部で量子化された前記量子化データのうち、前記最大値および前記最小値に対応するものを除く前記量子化データとをパッキングして前記圧縮画像データを生成するパッキング部と、
   を備えたことを特徴とする撮像装置。
5. 前記伸張部は、
   前記ブロックごとの前記圧縮画像データから抽出した前記量子化データを、当該圧縮画像データから抽出した前記シフト量だけ上位にシフトすることで逆量子化するとともに、前記量子化データと同じビット数を持ち全ビットが１であるデータを前記シフト量だけ上位にシフトすることで、前記ブロック内の前記最大値を逆量子化する逆量子化部と、
   前記逆量子化部により逆量子化されたデータに前記最小値を加算する加算部と、
   前記ブロックごとの前記圧縮画像データから抽出した前記最小値および前記最大値の前記各位置情報に基づき、前記最大値と、前記最小値と、前記加算部からの出力値とを、前記圧縮部に入力された元の前記画素データの順に出力する出力制御部と、
   を有することを特徴とする請求項４記載の撮像装置。
6. 前記圧縮部は、前記デジタル変換された画像データに対して、人間の視感度特性に応じて階調を変換した後、そのビット数を削減して前記圧縮部に供給する前圧縮部をさらに有することを特徴とする請求項１，２，４のいずれか１項に記載の撮像装置。
7. 前記ブロックは、同色成分の前記画素データからなることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記ブロックは、撮像画像上の矩形領域に含まれる前記画素データからなることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記伸張部および前記信号処理部は、共通のバスを通じて前記メモリに接続され、前記伸張部により伸張された画像データは、前記バスを介さずに直接、前記信号処理部に入力されることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記圧縮部は、前記圧縮画像データを前記バスを通じて前記メモリに書き込むことを特徴とする請求項９記載の撮像装置。
11. 前記圧縮部は、前記デジタル変換を行う回路と同一のチップ上に形成されることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記圧縮部は、前記デジタル変換を行う回路に加えて、前記固体撮像素子と同一のチップ上に形成されることを特徴とする請求項１１記載の撮像装置。
13. 前記圧縮部の機能は、外部の制御回路からの制御によりオン／オフされることを特徴とする請求項１１記載の撮像装置。
14. 前記圧縮部は、前記デジタル変換された画像データに対して、人間の視感度特性に応じて階調を変換した後、そのビット数を削減して前記圧縮部に供給する前圧縮部をさらに有し、
    前記伸張部は、前記出力制御部から出力された画像データを、前記前圧縮部と逆の手順で伸張する後伸張部をさらに有する、
    ことを特徴とする請求項３または５記載の撮像装置。
15. 画像を撮像するための撮像回路において、
    入射光を電気信号に変換する固体撮像素子と、
    前記固体撮像素子による撮像信号をデジタル変換するデジタル変換回路と、
    前記デジタル変換回路からの画像信号を圧縮する圧縮回路と、
    が同一のチップ上に形成された構造を有し、
    前記圧縮回路は、
    所定数の画素データからなるブロックごとに、前記画素データの最大値および最小値と、それらの前記ブロック内での位置情報とを検出する最大／最小検出回路と、
    前記画素データから、対応する前記ブロックにおける前記最小値を減算した減算値を、対応する前記ブロック内の前記最大値と前記最小値との差分値として算出したダイナミックレンジに応じて量子化する量子化回路と、
    前記ブロックごとに、当該ブロックにおける前記最大値、前記最小値、およびそれらの前記位置情報と、前記量子化回路で量子化された量子化データのうち、前記最大値および前記最小値に対応するものを除く前記量子化データとをパッキングして、圧縮画像データを生成するパッキング回路と、
    を備え、前記量子化データのビット数より前記位置情報のビット数の方が小さくされたことを特徴とする撮像回路。
16. 画像を撮像するための撮像回路において、
    入射光を電気信号に変換する固体撮像素子と、
    前記固体撮像素子による撮像信号をデジタル変換するデジタル変換回路と、
    前記デジタル変換回路からの画像信号を圧縮する圧縮回路と、
    が同一のチップ上に形成された構造を有し、
    前記圧縮回路は、
    所定数の画素データからなるブロックごとに、前記画素データの最大値および最小値と、それらの前記ブロック内での位置情報とを検出する最大／最小検出回路と、
    量子化ステップを２のべき乗とし、前記画素データから、対応する前記ブロックにおける前記最小値を減算した減算値を、対応する前記ブロック内の前記最大値と前記最小値との差分値として算出したダイナミックレンジに応じた数だけビットシフタにより下位にシフトし、シフトされた前記減算値を量子化データとして出力する量子化回路と、
    前記ブロックごとに、当該ブロックにおける前記最小値と、前記最大値および前記最小値の当該ブロックにおける前記位置情報と、前記ビットシフタによるシフト量と、前記量子化回路で量子化された量子化データのうち、前記最大値および前記最小値に対応するものを除く前記量子化データとをパッキングして、圧縮画像データを生成するパッキング回路と、
    を備えたことを特徴とする撮像回路。
17. 固体撮像素子を用いて画像を撮像する撮像方法において、
    圧縮部が、前記固体撮像素子により撮像され、デジタル変換された画像データを基に、所定数の画素データからなるブロック内の前記画素データの最大値および最小値と、それらの当該ブロック内での位置情報と、前記最大値および前記最小値を除く当該ブロック内の前記画素データから、前記最小値を減算した減算値を量子化した量子化データとからなる圧縮画像データを生成して、一時的にメモリに格納するステップと、
    伸張部が、前記メモリに格納された前記圧縮画像データを読み出して伸張するステップと、
    信号処理部が、前記伸張部により伸張された画像データに対して画質補正処理を施すステップと、
    を含み、前記量子化データのビット数より前記位置情報のビット数の方が小さくされたことを特徴とする撮像方法。
18. 固体撮像素子を用いて画像を撮像する撮像方法において、
    圧縮部が、前記固体撮像素子により撮像され、デジタル変換された画像データを圧縮して圧縮画像データを生成し、前記圧縮画像データを一時的にメモリに格納するステップと、
    伸張部が、前記メモリに格納された前記圧縮画像データを読み出して伸張するステップと、
    信号処理部が、前記伸張部により伸張された画像データに対して画質補正処理を施すステップと、
    を含み、
    前記圧縮画像データを生成する際に、前記圧縮部は、
    所定数の画素データからなるブロックごとに、前記ブロック内の前記画素データの最大値および最小値と、それらの当該ブロック内での位置情報とを検出し、
    量子化ステップを２のべき乗とし、前記画素データから、対応する前記ブロックにおける前記最小値を減算した減算値を、当該ブロック内の前記最大値と前記最小値との差分値として算出したダイナミックレンジに応じた数だけビットシフタにより下位にシフトし、シフトされた前記減算値を量子化データとして出力し、
    前記ブロックごとに、当該ブロックにおける前記最小値と、前記最大値および前記最小値の当該ブロックにおける前記位置情報と、前記ビットシフタによるシフト量と、前記量子化部で量子化された前記量子化データのうち、前記最大値および前記最小値に対応するものを除く前記量子化データとをパッキングして前記圧縮画像データを生成する、
    ことを特徴とする撮像方法。

Images