JPH0955884A - Image pickup device - Google Patents
Image pickup deviceInfo
- Publication number
- JPH0955884A JPH0955884A JP7204606A JP20460695A JPH0955884A JP H0955884 A JPH0955884 A JP H0955884A JP 7204606 A JP7204606 A JP 7204606A JP 20460695 A JP20460695 A JP 20460695A JP H0955884 A JPH0955884 A JP H0955884A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- image
- signal processing
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32358—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Input (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、CCDイメージセ
ンサ等の撮像素子を用い、デジタル化された画像データ
を得られるようにした撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device using an image pickup device such as a CCD image sensor to obtain digitized image data.
【0002】[0002]
【従来の技術】パーソナルコンピュータやワードプロセ
ッサ等のコンピュータ機器に画像情報を取り込む場合、
従来より、被写体原稿を走査して読み取るイメージスキ
ャナが用いられている。また、近年では、立体的な被写
体にも対応できるようにするため、電子スチルカメラに
より画像情報を得てコンピュータ機器に取り込むように
することも考えられている。このような電子スチルカメ
ラの場合、画像情報を最終的にはデジタルデータとして
コンピュータ機器に入力する必要があることから、撮像
素子から得られる画像信号に対する信号処理プロセスの
多くがデジタル化される傾向にある。2. Description of the Related Art When image information is taken into a computer device such as a personal computer or a word processor,
2. Description of the Related Art Conventionally, an image scanner that scans and reads a subject document has been used. Further, in recent years, in order to deal with a three-dimensional object, it has been considered to obtain image information with an electronic still camera and import it into a computer device. In the case of such an electronic still camera, since it is necessary to finally input the image information as digital data to the computer device, most of the signal processing processes for the image signal obtained from the image sensor tend to be digitized. is there.
【0003】図6は、1画面分の画像情報をデジタルデ
ータ(画像データ)として出力するようにした撮像装置
(電子スチルカメラ)の構成を示すブロック図である。
CCDイメージセンサ1は、受光面に複数の受光画素が
行方向及び列方向に配列され、照射される光に応答して
発生する情報電荷を各受光画素に蓄積する。また、受光
面にはモザイク状のカラーフィルタが装着され、各受光
画素がそれぞれ特定の色成分に対応付けられる。駆動回
路2は、タイミング制御回路3から供給される水平及び
垂直の走査タイミング信号に応答して多相のクロックパ
ルスを発生し、CCDイメージセンサ1の各受光画素に
蓄積される情報電荷を1行単位で順次転送出力する。転
送出力される情報電荷は、CCDイメージセンサ1の出
力部分で電圧値に変換され、各受光画素に蓄積される情
報電荷の量に対応した画像信号として出力される。アナ
ログ信号処理部4は、CCDイメージセンサ1から入力
される画像信号に対して、サンプルホールド、利得調整
等の信号処理を施し、所定のフォーマットに従う画像信
号として出力する。例えば、サンプルホールドでは、基
準レベルと信号レベルとが交互に繰り返されるCCDイ
メージセンサ1の出力から、各レベルの差のみが取り出
され、利得調整では、1画面内の平均レベルを所定の適
正な範囲に納めるように画像信号に対する利得が調整さ
れる。が増幅される。アナログ/デジタル(A/D)変
換回路5は、アナログ信号処理部4から入力される画像
信号をCCDイメージセンサ1の出力動作に同期してA
/D変換し、CCDイメージセンサ1の各受光画素に対
応する画像データを生成する。そして、デジタル信号処
理部6は、A/D変換回路5から入力される画像データ
に対して色成分の分離や色バランスの調整、さらには、
輪郭補正等の処理を施し、輝度情報と色差情報とを含む
画像データとして出力する。通常、カラー映像を表す画
像データを取り扱う場合、輝度を表す輝度データY、輝
度成分に対する赤色成分及び青色成分の差を表す2種類
の色差データU、Vが用いられる。このような3種類の
成分からなる画像データは、CCDイメージセンサ1の
走査に対応する順序で出力され、コンピュータ機器に取
り込まれることになる。FIG. 6 is a block diagram showing the arrangement of an image pickup apparatus (electronic still camera) which outputs image information for one screen as digital data (image data).
In the CCD image sensor 1, a plurality of light receiving pixels are arranged in a row direction and a column direction on a light receiving surface, and information charges generated in response to the irradiated light are accumulated in each light receiving pixel. Further, a mosaic color filter is attached to the light receiving surface, and each light receiving pixel is associated with a specific color component. The drive circuit 2 generates multi-phase clock pulses in response to the horizontal and vertical scanning timing signals supplied from the timing control circuit 3, and outputs information charges accumulated in each light receiving pixel of the CCD image sensor 1 in one row. Sequentially transfer and output in units. The information charge transferred and output is converted into a voltage value at the output portion of the CCD image sensor 1 and output as an image signal corresponding to the amount of information charge accumulated in each light receiving pixel. The analog signal processing unit 4 subjects the image signal input from the CCD image sensor 1 to signal processing such as sample hold and gain adjustment, and outputs the image signal according to a predetermined format. For example, in the sample hold, only the difference between the levels is extracted from the output of the CCD image sensor 1 in which the reference level and the signal level are alternately repeated, and in the gain adjustment, the average level in one screen is set to a predetermined appropriate range. The gain for the image signal is adjusted so that Is amplified. The analog / digital (A / D) conversion circuit 5 synchronizes the image signal input from the analog signal processing unit 4 with the output operation of the CCD image sensor 1 to A
/ D conversion is performed to generate image data corresponding to each light receiving pixel of the CCD image sensor 1. Then, the digital signal processing unit 6 separates the color components from the image data input from the A / D conversion circuit 5, adjusts the color balance, and further,
Processing such as contour correction is performed and output as image data including luminance information and color difference information. Usually, when handling image data representing a color image, brightness data Y representing brightness and two types of color difference data U and V representing the difference between the red component and the blue component with respect to the brightness component are used. The image data composed of such three kinds of components is output in the order corresponding to the scanning of the CCD image sensor 1 and is taken into the computer device.
【0004】このような電子スチルカメラでは、得られ
る画像データを不揮発性のメモリや磁気ディスク等の記
録媒体に一旦記録し、必要な画像データのみを選択して
コンピュータ機器に取り込むようにすることも考えられ
ている。このような場合、より多くの画像データを記録
できるようにするため、画像データを圧縮処理した後に
記録媒体に記録させるようにしている。In such an electronic still camera, the obtained image data may be temporarily recorded in a recording medium such as a non-volatile memory or a magnetic disk, and only necessary image data may be selected and loaded into a computer device. It is considered. In such a case, in order to record more image data, the image data is compressed and then recorded on the recording medium.
【0005】図7は、電子スチルカメラで得られる画像
データを記録する記録装置の構成を示すブロック図であ
る。ラスタブロック変換回路7は、上述の電子スチルカ
メラのデジタル信号処理部6から出力される画像データ
の順序を圧縮/伸長回路8において要求される順序に変
換する。このラスタブロック変換回路7は、通常、数行
分の画像データを記憶するメモリで構成され、画像デー
タの書き込み順序と読み出し順序とを変えることによっ
て画像データの配列順序の変換を行うようにしている。
即ち、画像データが、CCDイメージセンサ1の走査順
序に合わせてデジタル信号処理部6から1行単位で出力
されるのに対して、圧縮/伸長回路8では一定数の行及
び列を1単位とするブロック毎に圧縮処理が行われるた
め、数行分の画像データをまとめて記憶し、1ブロック
毎に画像データを出力するように構成される。圧縮/伸
長回路8は、ラスタブロック変換回路7から1ブロック
単位で入力される画像データに対して、所定の方式に従
う圧縮処理を施し、圧縮画像データを生成する。また、
圧縮画像データに対しては、圧縮処理とは逆の伸長処理
を施し、元の画像データを再生する。この画像データの
圧縮/伸長処理については、例えば、JPEG(Joint P
hotogrphic Expert Group)によって標準化されたJPE
Gアルゴリズム等があげられる。この圧縮/伸長回路8
で生成される圧縮画像データは、そのままデータ記録部
9に送られて記録される。一方、圧縮画像データから再
生される画像データは、1ブロック単位でコンピュータ
機器へ転送出力されるか、あるいは、ラスタブロック変
換回路7で配列順序が変換された後に1行単位で表示装
置へ供給される。そして、データ記録部9は、例えば、
不揮発性の半導体メモリで構成され、圧縮/伸長回路8
で生成される圧縮画像データを複数画面分記録する。FIG. 7 is a block diagram showing the arrangement of a recording device for recording image data obtained by an electronic still camera. The raster block conversion circuit 7 converts the order of the image data output from the digital signal processing unit 6 of the electronic still camera described above into the order required by the compression / expansion circuit 8. The raster block conversion circuit 7 is usually composed of a memory for storing image data of several lines, and is arranged to change the arrangement order of the image data by changing the writing order and the reading order of the image data. .
That is, the image data is output from the digital signal processing unit 6 in units of one row in accordance with the scanning order of the CCD image sensor 1, whereas the compression / expansion circuit 8 defines a certain number of rows and columns as one unit. Since the compression process is performed for each block, the image data for several lines are collectively stored and the image data is output for each block. The compression / expansion circuit 8 performs compression processing according to a predetermined method on the image data input from the raster block conversion circuit 7 in block units, and generates compressed image data. Also,
The compressed image data is subjected to decompression processing that is the reverse of the compression processing, and the original image data is reproduced. For the compression / decompression processing of this image data, for example, JPEG (Joint P
JPE standardized by hotogrphic Expert Group)
G algorithm etc. are mentioned. This compression / expansion circuit 8
The compressed image data generated in step 3 is sent to the data recording unit 9 as it is and recorded. On the other hand, the image data reproduced from the compressed image data is transferred to and output to the computer device in 1-block units, or is supplied to the display device in 1-line units after the arrangement order is converted by the raster block conversion circuit 7. It Then, the data recording unit 9 is, for example,
The compression / expansion circuit 8 is composed of a non-volatile semiconductor memory.
The compressed image data generated in step 2 is recorded for multiple screens.
【0006】[0006]
【発明が解決しようとする課題】以上のような撮像装置
では、小型軽量化と共に低コスト化が望まれており、装
置を構成する部品点数の削減が重要な課題となってい
る。このため、一般的にはアナログ信号処理部4、デジ
タル信号処理部6等の各部をそれぞれ集積回路素子とし
て構成し、CCDイメージセンサ1と共に共通の基板上
に配置するようにしている。In the image pickup apparatus as described above, reduction in size and weight as well as cost reduction are desired, and reduction of the number of parts constituting the apparatus is an important issue. For this reason, generally, the analog signal processing unit 4, the digital signal processing unit 6, and the like are each configured as an integrated circuit element and are arranged together with the CCD image sensor 1 on a common substrate.
【0007】ところで、デジタル信号処理部6において
は、数行分の画像データを一時的に記憶する必要がある
ため、所定容量の記憶手段が必要となる。例えば、1行
が640画素で8行分の画像データを記憶させる場合、
画像データが8ビットで表されるとすれば、約40k
(640×8×8)ビットの容量のメモリが必要であ
る。このようなメモリは、デジタル信号処理部6と共に
1チップ化することも可能であるが、チップ面積の大型
化によるコストアップを招くため、通常は、デジタル信
号処理部6とメモリとがそれぞれ個別のチップに集積化
され、回路基板上で互いに接続されることになる。この
とき、デジタル信号処理部6とメモリとの間では、多量
の画像データの受け渡しを高速で行わなければならない
ため、多数の入出力端子が必要となる。例えば、8ビッ
トの画像データを8画素分パラレルに受け渡すために
は、64本の入出力端子が必要になる。従って、回路基
板上の配線が複雑になると共に、入出力端子を駆動する
入出力バッファの動作に伴う消費電力が多くなる。従っ
て、回路基板の製造コストが増大するという問題が生じ
る。また、バッテリを電力源とすることの多いスチルカ
メラにおいては、消費電力の増加も無視することはでき
ない。By the way, in the digital signal processing section 6, since it is necessary to temporarily store image data for several lines, a storage means of a predetermined capacity is required. For example, if one row stores 640 pixels and image data for eight rows is stored,
If the image data is represented by 8 bits, about 40k
A memory having a capacity of (640 × 8 × 8) bits is required. Although such a memory can be made into one chip together with the digital signal processing unit 6, the digital signal processing unit 6 and the memory are usually separated from each other because the cost is increased by increasing the chip area. It will be integrated on a chip and connected together on a circuit board. At this time, since a large amount of image data must be transferred at high speed between the digital signal processing unit 6 and the memory, a large number of input / output terminals are required. For example, in order to transfer 8-bit image data for 8 pixels in parallel, 64 input / output terminals are required. Therefore, the wiring on the circuit board becomes complicated, and the power consumption associated with the operation of the input / output buffer that drives the input / output terminals increases. Therefore, there arises a problem that the manufacturing cost of the circuit board increases. In still cameras, which often use a battery as a power source, an increase in power consumption cannot be ignored.
【0008】デジタル信号処理部6とメモリとの間で画
像データをシリアルに受け渡すようにすることも考えら
れる。しかしながら、受け渡す画像データの数が多くな
ると、画像データの受け渡しに要する時間が長くなるた
め、デジタル信号処理部6での演算処理が画像データの
受け渡し動作の速度に制限されることになり、結果的
に、処理速度が遅くなるという問題が生じる。It may be considered that the image data is serially transferred between the digital signal processing unit 6 and the memory. However, when the number of image data to be transferred becomes large, the time required to transfer the image data becomes long, so that the arithmetic processing in the digital signal processing unit 6 is limited to the speed of the image data transfer operation. Therefore, there arises a problem that the processing speed becomes slow.
【0009】そこで本発明は、コストアップを招くこと
なく高速でデータの処理を行い、所定の画像データを得
られる撮像装置の提供を目的とする。Therefore, an object of the present invention is to provide an image pickup apparatus which can process data at high speed without increasing cost and can obtain predetermined image data.
【0010】[0010]
【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、その特徴とするところ
は、被写体画像を1画面毎に撮像し、1画面を構成する
画像信号を1行単位で順次出力する撮像手段と、この撮
像手段の出力動作に従うタイミングで上記画像信号に対
して第1の信号処理を施し、上記画像信号に対応した第
1の画像データを1行単位で連続して生成する第1の信
号処理部と、連続する上記第1の画像データを複数行分
記憶する記憶手段と、この記憶手段から上記第1の画像
データを所定の行数及び列数単位で取り込み、そのデー
タに基づいて第2の画像データを1画素分生成する第2
の信号処理部と、を備え、上記記憶手段に記憶された複
数行分の上記第1の画像データを任意の順序で上記第2
の信号処理部に取り込み可能としたことにある。The present invention has been made to solve the above problems, and is characterized in that a subject image is picked up for each screen and an image forming one screen is taken. An image pickup unit that sequentially outputs signals line by line, and a first signal processing is performed on the image signal at a timing according to the output operation of the image pickup unit, and one line of first image data corresponding to the image signal is generated. A first signal processing unit that continuously generates in units, a storage unit that stores the continuous first image data for a plurality of lines, and a predetermined number of rows and columns of the first image data from the storage unit. A second image data capturing unit that generates a second image data for one pixel based on the data
And a plurality of lines of the first image data stored in the storage means in the arbitrary order.
It can be taken into the signal processing unit of.
【0011】これにより、第2の信号処理部から得られ
る第2の画像データの配列順序を、第1の信号処理部か
ら出力される第1の画像信号の配列順序に関係なく自由
に変更することができ、第2の画像データを受ける側の
要求に柔軟に対応することができる。また、ある1画素
を表す第2の画像データを得るのに必要な所定行数及び
列数分の第1の画像データがバッファメモリによって第
2の信号処理部内で保持されるため、次の画素を表す第
2の画像データを得る演算処理では第2の信号処理部に
第1の画像データを繰り返し取り込む必要がなくなる。
従って、第2の画像データを記憶する記憶手段から第2
の信号処理部にシリアルに第1の画像データを受け渡し
たとしても、最初に第2の信号処理部に取り込んだ第1
の画像データに追加するようにして一部の第1の画像デ
ータを取り込めばよいため、第1の画像データに対する
演算処理を短時間で完了させることができる。さらに、
バッファメモリから第2の信号処理部に取り込まれる第
1の画像データのデータ量がバッファメモリに記憶され
る第1の画像データのデータ量よりも十分に少ないた
め、第2の信号処理部に大きな容量のメモリ回路を設け
る必要はなく、集積回路化が容易である。As a result, the arrangement order of the second image data obtained from the second signal processing section is freely changed regardless of the arrangement order of the first image signals output from the first signal processing section. Therefore, it is possible to flexibly meet the request from the side receiving the second image data. In addition, the first image data for a predetermined number of rows and columns required to obtain the second image data representing a certain pixel is held in the second signal processing unit by the buffer memory, so that the next pixel In the arithmetic processing for obtaining the second image data representing the above, it is not necessary to repeatedly load the first image data into the second signal processing unit.
Therefore, from the storage means for storing the second image data to the second
Even if the first image data is serially transferred to the second signal processing unit, the first image data first captured by the second signal processing unit
Since only a part of the first image data needs to be fetched by adding to the image data of 1, the calculation process for the first image data can be completed in a short time. further,
Since the data amount of the first image data fetched from the buffer memory to the second signal processing unit is sufficiently smaller than the data amount of the first image data stored in the buffer memory, the second signal processing unit has a large amount. It is not necessary to provide a memory circuit having a capacity, and it is easy to form an integrated circuit.
【0012】[0012]
【発明の実施の形態】図1は、本発明の撮像装置の構成
を示すブロック図である。CCDイメージセンサ11
は、カラーフィルタの装着によってそれぞれ特定の色成
分に対応付けられた複数の受光画素が行方向及び列方向
に配列された受光面を有し、この受光面に照射される光
に応答して発生する情報電荷を各受光画素に蓄積する。
駆動回路12は、タイミング制御回路13から供給され
る水平走査及び垂直走査の各タイミング信号に応答して
多相のクロックパルスを発生し、CCDイメージセンサ
11をパルス駆動する。このCCDイメージセンサ11
及び駆動回路12は、図6と同一であり、CCDイメー
ジセンサ11の各受光画素に蓄積される情報電荷の量に
対応する画像信号を得られるように構成される。タイミ
ング発生回路13は、一定周期の基準クロックに基づい
て、CCDイメージセンサ11の水平走査及び垂直走査
の各周期に同期したタイミング信号を発生し、駆動回路
12に供給する。これにより、CCDイメージセンサ1
1が所定のタイミングで駆動され、行列配置される複数
の受光画素から、それぞれ特定の色成分に対応付けられ
た情報電荷が順次転送出力されるようになる。1 is a block diagram showing the structure of an image pickup apparatus according to the present invention. CCD image sensor 11
Has a light-receiving surface in which a plurality of light-receiving pixels, each of which is associated with a specific color component by mounting a color filter, are arranged in a row direction and a column direction, and is generated in response to light emitted to the light-receiving surface. The information charges to be stored are accumulated in each light receiving pixel.
The drive circuit 12 generates a multi-phase clock pulse in response to the horizontal scanning and vertical scanning timing signals supplied from the timing control circuit 13, and pulse-drives the CCD image sensor 11. This CCD image sensor 11
The drive circuit 12 is the same as that in FIG. 6, and is configured to obtain an image signal corresponding to the amount of information charges accumulated in each light receiving pixel of the CCD image sensor 11. The timing generation circuit 13 generates a timing signal synchronized with each cycle of horizontal scanning and vertical scanning of the CCD image sensor 11 based on a reference clock having a constant cycle, and supplies the timing signal to the drive circuit 12. As a result, the CCD image sensor 1
1 is driven at a predetermined timing, and the information charges respectively associated with specific color components are sequentially transferred and output from the plurality of light receiving pixels arranged in a matrix.
【0013】アナログ信号処理部14は、相関二重サン
プリング(CDS)回路14a、自動利得制御(AG
C)回路14b及びアナログ/デジタル(A/D)変換
回路14cより構成され、それぞれタイミング発生回路
13から供給されるCCDイメージセンサ11の駆動タ
イミングに同期したタイミング信号に同期して動作す
る。CDS回路14aは、所定のクロック周期で基準レ
ベルと信号レベルとを繰り返すCCDイメージセンサ1
1の出力を受け、基準レベル部分と信号レベル部分とを
それぞれ取り込み、それらの差を映像信号として出力す
る。これにより、CCDイメージセンサ11の各画素に
蓄積される情報電荷の量に対応したレベルが1クロック
期間維持される映像信号を得ている。AGC回路14b
は、CDS回路14aから出力される映像信号に対し、
1垂直走査期間の平均レベルに応じたゲインを与え、各
垂直走査期間毎の平均レベルが略均一になるように制御
する。即ち、CDS回路14aから出力される映像信号
の1垂直走査期間毎の積分値に対応する制御データに基
づいてゲインを可変設定し、積分値を所定の範囲に収め
るようなフィードバック制御を行うようにしている。こ
こで制御データは、例えば、ホストコンピュータ20に
より与えられるものである。そして、A/D変換回路1
4cは、AGC回路14bから出力される映像信号をデ
ジタルデータに変換し、映像データとしてバスライン1
0へ送出する。The analog signal processing section 14 includes a correlated double sampling (CDS) circuit 14a and an automatic gain control (AG).
C) It is composed of a circuit 14b and an analog / digital (A / D) conversion circuit 14c, and operates in synchronization with a timing signal which is supplied from the timing generation circuit 13 and which is synchronized with the drive timing of the CCD image sensor 11. The CDS circuit 14a is a CCD image sensor 1 that repeats a reference level and a signal level at a predetermined clock cycle.
In response to the output of 1, the reference level portion and the signal level portion are respectively captured, and the difference between them is output as a video signal. As a result, a video signal in which the level corresponding to the amount of information charges accumulated in each pixel of the CCD image sensor 11 is maintained for one clock period is obtained. AGC circuit 14b
Is for the video signal output from the CDS circuit 14a,
A gain corresponding to the average level of one vertical scanning period is given to control so that the average level of each vertical scanning period becomes substantially uniform. That is, the gain is variably set based on the control data corresponding to the integrated value of the video signal output from the CDS circuit 14a for each vertical scanning period, and feedback control is performed so that the integrated value falls within a predetermined range. ing. Here, the control data is, for example, given by the host computer 20. Then, the A / D conversion circuit 1
4c converts the video signal output from the AGC circuit 14b into digital data, and uses the bus line 1 as video data.
Send to 0.
【0014】デジタル信号処理部15は、バッファメモ
リ15a、輝度データ処理回路15b及び色データ処理
回路15cより構成される。バッファメモリ15aは、
所定の容量を有し、輝度データ処理回路15b及び色デ
ータ処理回路15cにおける1画素分の信号処理で必要
とされるn行×m列分の分の画像データをバスライン1
0から取り込んで記憶する。例えば、輝度データ処理回
路15bで上下2行、左右2列の画素に対してデジタル
フィルタを構成する場合、8ビットの画像データを5行
×5列分記憶できるように、200ビットの容量が与え
られる。輝度データ処理回路15bは、バッファメモリ
15aからn行×m列分の画像データを取り込み、各色
成分を所定の割合で合成することにより輝度データYを
生成する。さらに、1つの画素の上下及び左右の数画素
に対してデジタルフィルタを構成し、特定の周波数成分
を選択的に取り出すようにしている。例えば、5行×5
列分の画像データを取り込み、中心の画素の画像データ
を上下2列、左右2列の移動平均とすることで、高周波
ノイズを除去すると共に、輪郭強調を行うようにしてい
る。このようにして生成される輝度データYは、再びバ
スライン10へ送出される。色データ処理回路15c
は、各色成分に対応する画像データに対してマトリクス
演算を施し、輝度と赤色成分との差を表す色差信号R−
Yに対応する色差データU及び輝度と青色成分との差を
表す色差信号B−Yに対応する色差データVを生成す
る。例えば、CCDイメージセンサ11に装着されるカ
ラーフィルタがイエローYe、グリーンG及びシアンC
yで構成される場合、Ye−Gから赤色成分Rを生成
し、Cy−Gから青色成分Bを生成した後、これらの各
成分R、Bから輝度データYを差し引くことで色差デー
タU、Vを生成している。このように生成される色差デ
ータU、Vは、輝度データYと共にバスライン10へ送
出される。The digital signal processor 15 comprises a buffer memory 15a, a luminance data processing circuit 15b and a color data processing circuit 15c. The buffer memory 15a is
Image data for n rows × m columns, which has a predetermined capacity and is required for signal processing for one pixel in the luminance data processing circuit 15b and the color data processing circuit 15c, is stored in the bus line 1.
Capture from 0 and memorize. For example, when the brightness data processing circuit 15b configures a digital filter for pixels in two rows above and below and two columns left and right, a capacity of 200 bits is provided so that 8-bit image data can be stored for 5 rows × 5 columns. To be The luminance data processing circuit 15b takes in image data of n rows × m columns from the buffer memory 15a and synthesizes the respective color components at a predetermined ratio to generate luminance data Y. Further, a digital filter is constructed for several pixels above and below and to the left and right of one pixel so as to selectively extract a specific frequency component. For example, 5 rows x 5
High-frequency noise is removed and edge enhancement is performed by taking in image data for columns and making the moving image average of the upper and lower two columns and the two left and right columns the image data of the central pixel. The brightness data Y thus generated is sent to the bus line 10 again. Color data processing circuit 15c
Performs a matrix operation on the image data corresponding to each color component to obtain a color difference signal R− representing the difference between the luminance and the red component.
The color difference data U corresponding to Y and the color difference data V corresponding to the color difference signal BY representing the difference between the luminance and the blue component are generated. For example, the color filters mounted on the CCD image sensor 11 are yellow Ye, green G and cyan C.
In the case of y, the red component R is generated from Ye-G, the blue component B is generated from Cy-G, and the luminance data Y is subtracted from these components R and B to obtain the color difference data U and V. Is being generated. The color difference data U and V thus generated are sent to the bus line 10 together with the luminance data Y.
【0015】バッファメモリ16は、バスライン10に
接続され、アナログ信号処理部14から1行単位で出力
される画像データをn行分取り込んで記憶する。このバ
ッファメモリ16は、デジタル信号処理部15のバッフ
ァメモリ15aに対応し、バッファメモリ15aに記憶
される行数と同一(またはそれ以上)の行数分の画像デ
ータを記憶できる容量が与えられる。例えば、1行が6
40画素のとき8ビットの画像データを5行分記憶させ
る場合には、25600(640×8×5)ビット以上
の容量が与えられる。圧縮/伸長回路17は、デジタル
信号処理部15からバスライン10へ送出される輝度デ
ータY及び色差データU、Vを所定数の行及び列を1単
位とするブロック毎に取り込んで圧縮処理し、圧縮デー
タとしてデータ記録部18に格納する。また、圧縮デー
タに対しては、データ記録部18から読み出して伸長処
理し、元の輝度データY及び色差データU、Vを再生し
てバスライン10へ送出する。この圧縮/伸長回路17
における圧縮処理及び伸長処理は、例えば、JPEGア
ルゴリズムが採用される。データ記録部18は、不揮発
性の半導体メモリや磁気ディスク等の周知の記録媒体で
構成され、複数画面の圧縮データを記録する。例えば、
1画面の画素数が400行×640列であるとき、1画
面分の輝度データY及び色差データU、Vは、8ビット
構成の場合で約6M(400×640×24)となるた
め、圧縮/伸長回路17でデータ量が1/20程度に圧
縮できるとすれば、4Mビットの記憶容量で約13画面
分の画像データを記録することができる。出力インタフ
ェース回路19は、データ記録部18から読み出されて
圧縮/伸長回路17で伸長処理された輝度データY及び
色差データU、Vを取り込み、コンピュータ機器等へ出
力する。The buffer memory 16 is connected to the bus line 10 and fetches and stores n lines of image data output from the analog signal processing unit 14 in units of one line. The buffer memory 16 corresponds to the buffer memory 15a of the digital signal processing unit 15, and is provided with a capacity capable of storing the same number (or more) of image data as the number of rows stored in the buffer memory 15a. For example, one line is 6
When storing 8 rows of image data for 5 rows of 40 pixels, a capacity of 25600 (640 × 8 × 5) bits or more is provided. The compression / expansion circuit 17 fetches the luminance data Y and the color difference data U and V sent from the digital signal processing unit 15 to the bus line 10 for each block having a predetermined number of rows and columns as one unit, and compresses the blocks. It is stored in the data recording unit 18 as compressed data. Further, the compressed data is read from the data recording unit 18 and subjected to decompression processing to reproduce the original luminance data Y and the color difference data U and V and send them to the bus line 10. This compression / expansion circuit 17
For example, the JPEG algorithm is adopted for the compression process and the decompression process. The data recording unit 18 is composed of a known recording medium such as a non-volatile semiconductor memory or a magnetic disk, and records compressed data of a plurality of screens. For example,
When the number of pixels on one screen is 400 rows × 640 columns, the luminance data Y and the color difference data U and V for one screen are about 6M (400 × 640 × 24) in the case of an 8-bit configuration, and therefore compressed. If the data amount can be compressed to about 1/20 by the / expansion circuit 17, image data for about 13 screens can be recorded with a storage capacity of 4 Mbits. The output interface circuit 19 takes in the luminance data Y and the color difference data U and V read from the data recording section 18 and expanded by the compression / expansion circuit 17, and outputs them to a computer device or the like.
【0016】続いて、輝度データ処理回路15b及び色
データ処理回路15cが5行×5列単位で演算処理を行
う場合について、バッファメモリ16の動作を説明す
る。ここで、CCDイメージセンサ11は、1画面の静
止画像を得るものあり、所定の露光期間に蓄積された情
報電荷を1行単位で間欠的に出力できるものとする。
尚、以下の動作は、全てホストコンピュータ20の指示
によって制御される。Next, the operation of the buffer memory 16 will be described in the case where the luminance data processing circuit 15b and the color data processing circuit 15c perform arithmetic processing in units of 5 rows × 5 columns. Here, it is assumed that the CCD image sensor 11 obtains one screen of a still image and can intermittently output the information charges accumulated in a predetermined exposure period in units of one row.
Note that the following operations are all controlled by the instructions of the host computer 20.
【0017】最初に、図2に示すように、CCDイメー
ジセンサ11の1〜5行目までの5行分の受光画素に対
応する画像信号が連続して出力され、この画像信号に対
応する5行分の画像データがアナログ信号処理部14か
ら連続して出力されてバッファメモリ16に記憶され
る。バッファメモリ16に記憶された5行分の画像デー
タは、1〜5列目まで順に読み出され、図2の太線枠で
示すように、順次デジタル信号処理部15のバッファメ
モリ15aに書き込まれる。輝度データ処理回路15b
及び色データ処理回路15cは、このバッファメモリ1
5aに記憶された5×5個の画像データに対して各種の
演算処理を施し、第1行の1列目の画素を表す輝度デー
タY及び色差データU、Vを生成する。この演算処理が
完了すると、バッファメモリ16から6列目の画素に対
応する画像データが読み出されてバッファメモリ15a
に書き込まれる。バッファメモリ15aは、5×5画素
分の画像データを格納するものであるため、1列目の画
像データが新たに入力される6列目の画像データと書き
換えられることになる。従って、図2の破線枠で示すよ
うに、バッファメモリ15aには2〜6列目までの5×
5画素分の画像データが記憶される。そして、その5×
5画素分の画像データに対して輝度データ処理回路15
b及び色データ処理回路15cによる演算処理が繰り返
され、第1行の2列目の画素を表す輝度データY及び色
差データU、Vが生成される。以後同様にして、7列目
から最終列まで画像データが1列ずつバッファメモリ1
6から読み出されてバッファメモリ15aに書き込ま
れ、その都度、輝度データ処理回路15b及び色データ
処理回路15cによる演算処理が繰り返されて第1行目
の1列目から最終列までの1行分の輝度データY及び色
差データU、Vが生成される。このように1行分の輝度
データY及び色差データU、Vを生成するための演算処
理が行われている間は、CCDイメージセンサ11の駆
動が停止されており、アナログ信号処理部14は待機状
態となっている。First, as shown in FIG. 2, image signals corresponding to the light receiving pixels of the first to fifth rows of the CCD image sensor 11 are continuously output, and the image signals corresponding to the image signals 5 are output. Image data for a row is continuously output from the analog signal processing unit 14 and stored in the buffer memory 16. The image data for five rows stored in the buffer memory 16 is sequentially read out from the first column to the fifth column, and is sequentially written in the buffer memory 15a of the digital signal processing unit 15, as shown by the bold frame in FIG. Luminance data processing circuit 15b
And the color data processing circuit 15c uses the buffer memory 1
Various calculation processes are performed on the 5 × 5 image data stored in 5a to generate luminance data Y and color difference data U and V representing the pixels in the first row, first column. When this arithmetic processing is completed, the image data corresponding to the pixels in the sixth column is read from the buffer memory 16 and the buffer memory 15a
Is written to. Since the buffer memory 15a stores the image data of 5 × 5 pixels, the image data of the first column is rewritten with the image data of the sixth column which is newly input. Therefore, as shown by the broken line frame in FIG. 2, the buffer memory 15a has 5 × 5th to 2nd to 6th columns.
Image data for 5 pixels is stored. And that 5x
The luminance data processing circuit 15 for the image data of 5 pixels
The calculation process by b and the color data processing circuit 15c is repeated to generate the luminance data Y and the color difference data U and V representing the pixel in the second column of the first row. Similarly, the image data from the seventh column to the last column is stored in the buffer memory 1 column by column.
6 and is written in the buffer memory 15a, and the calculation processing by the luminance data processing circuit 15b and the color data processing circuit 15c is repeated each time, and one row from the first column to the last column of the first row. Luminance data Y and color difference data U and V are generated. While the arithmetic processing for generating the luminance data Y and the color difference data U and V for one row is being performed in this manner, the driving of the CCD image sensor 11 is stopped and the analog signal processing unit 14 is on standby. It is in a state.
【0018】1行分の輝度データY及び色差データU、
Vを得る演算処理が完了すると、CCDイメージセンサ
11が駆動されて6行目の受光画素に対応する画像信号
が出力される。これに応答して、アナログ信号処理部1
4から6行目の画像データが出力され、バッファメモリ
16に新たに書き込まれる。ここで、バッファメモリ1
6は、1〜5行目までの画像データを記憶しているが、
新たに画像データが取り込まれたときには、1行目の画
像データを6行目の画像データに書き換えるようにして
いる。この時点で、デジタル信号処理部15のバッファ
メモリ15aには、1〜6行目の最終列側の5列の画像
データが記憶されている。バッファメモリ16の画像デ
ータが書き換えられると、バッファメモリ16から画像
データの読み出しが再開され、読み出された画像データ
がバッファメモリ15aに書き込まれる。このとき、バ
ッファメモリ15aに格納されている最終列側の5列分
の画像データの内、1行目の5個の画像データが6行目
の最終列側の5個の画像データに書き換えられる。ここ
で、バッファメモリ15aに記憶されている5×5画素
分の画像データに対して輝度データ処理回路15b及び
色データ処理回路15cが信号処理を施し、第2列の最
終列の画素を表す輝度データY及び色差データU、Vを
生成する。続いて、最終列側から6列目の画像データが
バッファメモリ16から読み出されてバッファメモリ1
5aに書き込まれる。これにより、バッファメモリ15
aには、最終列側の2〜5列目の画像データが記憶され
る。この5×5画素分の画像データに対し、輝度データ
処理回路15b及び色データ処理回路15cが信号処理
を施すことにより、第2行の最終列側から2列目の画素
を表す輝度データY及び色差データU、Vを生成する。
以後同様にして、1列目まで1列ずつバッファメモリ1
6から画像データが読み出されてバッファメモリ15a
に書き込まれ、その都度、輝度データ処理回路15b及
び色データ処理回路15cによる演算処理が繰り返され
て第2行目の最終列から1列目までの1行分の輝度デー
タY及び色差データU、Vが生成される。このように、
第2列の画素を表す輝度データY及び色差データU、V
を得るための演算は最終列側から1列目に戻るようにし
て行われる。3行目以降の画素を表す輝度データY及び
色差データU、Vを得るための演算処理については、奇
数行で第1行と同一となり、偶数行で第2行と同一とな
る。Luminance data Y and color difference data U for one line,
When the calculation process for obtaining V is completed, the CCD image sensor 11 is driven and the image signal corresponding to the light receiving pixel in the sixth row is output. In response to this, the analog signal processing unit 1
The image data of the 4th to 6th lines is output and newly written in the buffer memory 16. Where buffer memory 1
6 stores the image data of the 1st to 5th lines,
When new image data is captured, the image data on the first line is rewritten to the image data on the sixth line. At this point, the buffer memory 15a of the digital signal processing unit 15 stores the image data of five columns on the final column side of the first to sixth rows. When the image data in the buffer memory 16 is rewritten, the reading of the image data from the buffer memory 16 is restarted, and the read image data is written in the buffer memory 15a. At this time, out of the image data for the five columns on the final column side stored in the buffer memory 15a, the five image data on the first row are rewritten to the five image data on the final column side on the sixth line. . Here, the luminance data processing circuit 15b and the color data processing circuit 15c perform signal processing on the image data of 5 × 5 pixels stored in the buffer memory 15a, and the luminance representing the pixel of the last column of the second column is displayed. Data Y and color difference data U and V are generated. Then, the image data of the sixth column from the last column side is read from the buffer memory 16 and
5a is written. As a result, the buffer memory 15
Image data of the second to fifth columns on the final column side is stored in a. The luminance data processing circuit 15b and the color data processing circuit 15c perform signal processing on the image data of 5 × 5 pixels, so that the luminance data Y representing the pixels in the second column from the last column side of the second row and Color difference data U and V are generated.
In the same manner thereafter, the buffer memory 1 for each column up to the first column
The image data is read out from the buffer memory 15a
, And each time, the calculation processing by the luminance data processing circuit 15b and the color data processing circuit 15c is repeated, and the luminance data Y and the color difference data U for one row from the last column to the first column of the second row, V is generated. in this way,
Luminance data Y and color difference data U and V representing the pixels in the second column
The calculation for obtaining is performed by returning to the first column from the last column side. The arithmetic processing for obtaining the luminance data Y and the color difference data U, V representing the pixels on the third and subsequent rows is the same as that of the first row for odd rows and the same as that of the second row for even rows.
【0019】このような順序で演算処理を行うようにす
れば、行をシフトする際に、バッファメモリ15aに記
憶されている画像データの書き換えを簡略化することが
できる。図3及び図4は、圧縮/伸長回路17の一例で
あり、図3は、JPEGアルゴリズムに従って画像デー
タを圧縮する符号化器(JPEGエンコーダ)の構成を
示すブロック図、図4は、JPEGアルゴリズムに従っ
て画像データを伸長する復号化器(JPEGデコーダ)
の構成を示すブロック図である。By performing the arithmetic processing in such an order, rewriting of the image data stored in the buffer memory 15a can be simplified when the rows are shifted. 3 and 4 are examples of the compression / expansion circuit 17, FIG. 3 is a block diagram showing the configuration of an encoder (JPEG encoder) that compresses image data according to the JPEG algorithm, and FIG. 4 is according to the JPEG algorithm. Decoder for decompressing image data (JPEG decoder)
FIG. 3 is a block diagram showing the configuration of FIG.
【0020】JPEGアルゴリズムに従う符号化方式で
は、図5に示すように、1つの画面を8×8画素単位で
複数のブロックB11〜Bijに分割し、各ブロック毎に符
号化処理が行われる。即ち、各ブロックB11〜Bijを構
成する8行×8列分の画素a1〜h8を表す64個のデ
ータを1単位として符号化することにより、データ量の
圧縮が行われる。In the encoding method according to the JPEG algorithm, as shown in FIG. 5, one screen is divided into a plurality of blocks B11 to Bij in units of 8 × 8 pixels, and the encoding process is performed for each block. That is, the data amount is compressed by encoding 64 pieces of data representing the pixels a1 to h8 of 8 rows × 8 columns forming each block B11 to Bij as one unit.
【0021】JPEGエンコーダは、図3に示すよう
に、DCT回路21、量子化回路22及び符号化回路2
3より構成され、さらに、しきい値テーブル24及びハ
フマンテーブル25を有する。DCT回路21は、1ブ
ロック(64画素)分の画像データを取り込み、2次元
の離散的コサイン変換(DCT:Discrete Cosine Transfor
m)を行って64個のDCT係数を生成する。量子化回路
22は、DCT回路21から供給されるDCT係数をし
きい値テーブル24に格納されたしきい値を参照して量
子化する。この量子化の際のしきい値は、画像データの
圧縮率や再生画像の画質を決定するものであり、装置の
使用目的に合わせて任意に設定される。符号化回路23
は、量子化されたDCT係数をハフマンテーブル25に
格納されたハフマン符号に基づいて可変長符号化し、圧
縮画像データを生成する。ハフマン符号は、量子化され
たDCT係数に対して予め予想される出現頻度に応じて
割り当てられる可変長の符号であり、出現頻度の高いも
のに対して短く割り当てられる。従って、JPEGエン
コーダによれば、画像データのデータ量が1/5から1
/40程度にまで圧縮される。As shown in FIG. 3, the JPEG encoder includes a DCT circuit 21, a quantizing circuit 22, and an encoding circuit 2.
3 and further has a threshold table 24 and a Huffman table 25. The DCT circuit 21 takes in one block (64 pixels) of image data, and performs two-dimensional discrete cosine transform (DCT).
m) is performed to generate 64 DCT coefficients. The quantization circuit 22 quantizes the DCT coefficient supplied from the DCT circuit 21 with reference to the threshold values stored in the threshold table 24. The threshold value at the time of quantization determines the compression ratio of image data and the image quality of a reproduced image, and is arbitrarily set according to the purpose of use of the apparatus. Encoding circuit 23
Performs variable length coding on the quantized DCT coefficient based on the Huffman code stored in the Huffman table 25 to generate compressed image data. The Huffman code is a variable-length code that is assigned to a quantized DCT coefficient in accordance with an appearance frequency that is predicted in advance, and is assigned a shorter code to a code with a higher appearance frequency. Therefore, according to the JPEG encoder, the data amount of the image data is 1/5 to 1
It is compressed to about / 40.
【0022】JPEGデコーダは、図4に示すように、
復号化回路26、逆量子化回路27及びIDCT回路2
8より構成され、さらに、ハフマンテーブル29及びし
きい値テーブル30を有する。復号化回路26は、1ブ
ロック(8×8画素)分の圧縮画像データを取り込み、
ハフマンテーブル29に格納されたハフマン符号に基づ
いて、符号化回路23とは逆に、圧縮画像データを可変
長復号する。この可変長復号処理によって得られる係数
は、JPEGエンコーダでDCT係数を量子化したもの
に対応する。また、ハフマンテーブル29に格納される
ハフマン符号は、JPEGエンコーダ側のハフマンテー
ブル25に格納されるハフマン符号に対応する。逆量子
化回路27は、量子化回路22とは逆に、しきい値テー
ブル30に格納されたしきい値を参照して復号化回路2
7から供給される係数を逆量子化し、DCT係数を再生
する。このしきい値テーブル30に格納されるしきい値
についても、JPEGエンコーダ側のしきい値テーブル
25に格納されるしきい値に対応する。そして、IDC
T回路28は、逆量子化回路27から供給されるDCT
係数に対して、離散的逆コサイン変換(IDCT:Inverse Di
screte Cosine Transform)を行い、伸長した画像データ
を再生する。このIDCT回路28においては、1ブロ
ック(8×8画素)分のデータが同時に変換処理され、
1画素毎に所定の順序で連続的に出力される。The JPEG decoder, as shown in FIG.
Decoding circuit 26, inverse quantization circuit 27 and IDCT circuit 2
8 and further has a Huffman table 29 and a threshold table 30. The decoding circuit 26 takes in compressed image data for one block (8 × 8 pixels),
On the basis of the Huffman code stored in the Huffman table 29, contrary to the encoding circuit 23, the compressed image data is variable-length decoded. The coefficient obtained by this variable length decoding process corresponds to the DCT coefficient quantized by the JPEG encoder. The Huffman code stored in the Huffman table 29 corresponds to the Huffman code stored in the Huffman table 25 on the JPEG encoder side. Inversely to the quantizing circuit 22, the inverse quantizing circuit 27 refers to the threshold values stored in the threshold value table 30 to decode the decoding circuit 2
The coefficient supplied from 7 is dequantized to reproduce the DCT coefficient. The threshold value stored in the threshold value table 30 also corresponds to the threshold value stored in the threshold value table 25 on the JPEG encoder side. And IDC
The T circuit 28 is a DCT supplied from the inverse quantization circuit 27.
Discrete inverse cosine transform (IDCT)
screte cosine transform) to reproduce the decompressed image data. In this IDCT circuit 28, data for one block (8 × 8 pixels) is simultaneously converted,
Each pixel is continuously output in a predetermined order.
【0023】これらのJPEGエンコーダ及びJPEG
デコーダについては、一般に、デジタル信号処理装置(D
SP:Digital Signal Processor)等の高機能演算器で構成
できるものであり、各部の回路が共通化されて圧縮/伸
長回路17が構成される。ところで、アナログ信号処理
部14から画像データが1行単位で出力されるのに対
し、圧縮/伸長回路17では画像データがブロック単位
で処理されるため、アナログ信号処理部14の出力から
圧縮/伸長回路17の入力までの過程で画像データの配
列順序の変換、いわゆるラスタブロック変換が必要であ
る。そこで、バッファメモリ16の容量を圧縮/伸長回
路17で処理される画像データの1ブロック分の行数に
対応して設定し、このバッファメモリ16を用いてラス
タブロック変換を行うことが可能である。即ち、圧縮/
伸長回路17で処理される画像データの1ブロック分の
行数より多い行数分の画像データをバッファメモリ16
に記憶させ、デジタル信号処理部15での画像データの
処理順序を圧縮/伸長回路17での処理順序に一致させ
ればよい。例えば、画像データに対してデジタル信号処
理部15で5行単位の処理が行われ、圧縮/伸長回路1
7で8行単位の処理が行われる場合には、12行分の画
像データをバッファメモリ16に記憶し、デジタル信号
処理部15において8列毎に8行分の画像データを生成
するように構成する。このように、バッファメモリ16
を用いてラスタブロック変換を行うようにすれば、圧縮
/伸長回路17の入力段階でラスタブロック変換のため
のメモリが必要なくなる。These JPEG encoder and JPEG
Decoders are generally digital signal processors (D
It can be configured by a high-performance arithmetic unit such as SP (Digital Signal Processor), and the circuits of the respective parts are shared to configure the compression / expansion circuit 17. By the way, while the analog signal processing unit 14 outputs the image data in units of one line, the compression / expansion circuit 17 processes the image data in units of blocks, so that the output of the analog signal processing unit 14 is compressed / expanded. In the process up to the input of the circuit 17, conversion of the arrangement order of image data, so-called raster block conversion is necessary. Therefore, it is possible to set the capacity of the buffer memory 16 in correspondence with the number of lines of one block of the image data processed by the compression / expansion circuit 17 and perform raster block conversion using this buffer memory 16. . That is, compression /
The buffer memory 16 stores the image data for the number of lines larger than the number of lines for one block of the image data processed by the decompression circuit 17.
The processing order of the image data in the digital signal processing unit 15 may be matched with the processing order in the compression / expansion circuit 17. For example, the digital signal processing unit 15 processes the image data in units of five rows, and the compression / expansion circuit 1
When processing is performed in units of 8 rows in 7, the image data for 12 rows is stored in the buffer memory 16, and the digital signal processing unit 15 generates image data for 8 rows for every 8 columns. To do. In this way, the buffer memory 16
If the raster block conversion is performed by using, the memory for raster block conversion becomes unnecessary at the input stage of the compression / expansion circuit 17.
【0024】以上の実施の形態においては、画像データ
を圧縮処理してデータ記憶部18に記憶させる場合を例
示したが、デジタル信号処理部15で生成される画像デ
ータを直接出力インタフェース回路19から出力させる
ことも可能である。In the above embodiment, the case where the image data is compressed and stored in the data storage unit 18 is illustrated, but the image data generated by the digital signal processing unit 15 is directly output from the output interface circuit 19. It is also possible to let.
【0025】[0025]
【発明の効果】本発明によれば、デジタル信号処理部に
n行×m列分の画像データを記憶するバッファメモリを
内蔵し、n行分の画像データを記憶するバッファメモリ
をデジタル信号処理部に対して外付けしたことにより、
デジタル信号処理部の処理速度を損なうことなく、デジ
タル信号処理部とバッファメモリとの接続を容易にする
ことができる。また、外付けされるバッファメモリの容
量を大きく設定し、このバッファメモリからデジタル信
号処理部に画像データを取り込む段階でラスタブロック
変換を行うようにすれば、デジタル信号処理部から出力
される画像データをそのまま圧縮/伸長回路に入力でき
るようになる。このため、各部を集積回路素子で構成す
る場合には、各回路素子の入出力端子数の削減及びメモ
リ容量の削減が可能となり、撮像装置のコストの低減に
有効である。According to the present invention, the digital signal processing unit has a built-in buffer memory for storing image data of n rows × m columns, and the buffer memory for storing image data of n rows is provided in the digital signal processing unit. By attaching externally to
The connection between the digital signal processing unit and the buffer memory can be facilitated without impairing the processing speed of the digital signal processing unit. Also, if the capacity of the external buffer memory is set large and raster block conversion is performed at the stage of loading image data from this buffer memory to the digital signal processing unit, image data output from the digital signal processing unit Can be directly input to the compression / expansion circuit. Therefore, when each unit is configured by an integrated circuit element, the number of input / output terminals of each circuit element and the memory capacity can be reduced, which is effective in reducing the cost of the imaging device.
【図1】本発明の撮像装置の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing a configuration of an image pickup apparatus of the present invention.
【図2】バッファメモリに対する画像データの記憶順序
を説明する図である。FIG. 2 is a diagram illustrating a storage order of image data in a buffer memory.
【図3】JPEGエンコーダの構成を示すブロック図で
ある。FIG. 3 is a block diagram showing a configuration of a JPEG encoder.
【図4】JPEGデコーダの構成を示すブロック図であ
る。FIG. 4 is a block diagram showing a configuration of a JPEG decoder.
【図5】JPEGアルゴリズムで処理される1ブロック
の構成を説明する図である。FIG. 5 is a diagram illustrating a configuration of one block processed by a JPEG algorithm.
【図6】従来の撮像装置の構成を示すブロック図であ
る。FIG. 6 is a block diagram illustrating a configuration of a conventional imaging device.
【図7】画像データの記憶装置の構成を示すブロック図
である。FIG. 7 is a block diagram showing a configuration of an image data storage device.
1、11 CCDイメージセンサ 2、12 駆動回路 3、13 タイミング発生回路 4、14 アナログ信号処理部 5 アナログ/デジタル変換回路 6、15 デジタル信号処理部 7 ラスタブロック変換回路 8、17 圧縮/伸長回路 9、18 データ記録部 14a 相関二重サンプリング回路(CDS) 14b 自動利得制御回路(AGC) 14c アナログ/デジタル変換回路(A/D) 15a バッファメモリ 15b 輝度データ処理回路 15c 色データ処理回路 16 バッファメモリ 19 出力インタフェース回路 20 ホストコンピュータ 21 DCT回路 22 量子化回路 23 符号化回路 24、30 しきい値テーブル 25、29 ハフマンテーブル 26 復号化回路 27 逆量子化回路 28 IDCT回路 1, 11 CCD image sensor 2, 12 Drive circuit 3, 13 Timing generation circuit 4, 14 Analog signal processing unit 5 Analog / digital conversion circuit 6, 15 Digital signal processing unit 7 Raster block conversion circuit 8, 17 Compression / expansion circuit 9 , 18 data recording unit 14a correlated double sampling circuit (CDS) 14b automatic gain control circuit (AGC) 14c analog / digital conversion circuit (A / D) 15a buffer memory 15b luminance data processing circuit 15c color data processing circuit 16 buffer memory 19 Output interface circuit 20 Host computer 21 DCT circuit 22 Quantization circuit 23 Encoding circuit 24, 30 Threshold table 25, 29 Huffman table 26 Decoding circuit 27 Inverse quantization circuit 28 IDCT circuit
Claims (3)
を構成する画像信号を1行単位で順次出力する撮像手段
と、この撮像手段の出力動作に従うタイミングで上記画
像信号に対して第1の信号処理を施し、上記画像信号に
対応した第1の画像データを1行単位で連続して生成す
る第1の信号処理部と、連続する上記第1の画像データ
を複数行分記憶する記憶手段と、この記憶手段から上記
第1の画像データを所定の行数及び列数単位で取り込
み、そのデータに基づいて第2の画像データを1画素分
生成する第2の信号処理部と、を備え、上記記憶手段に
記憶された複数行分の上記第1の画像データを任意の順
序で上記第2の信号処理部に取り込み可能としたことを
特徴とする撮像装置。1. An image pickup means for picking up an image of a subject for each screen and sequentially outputting image signals forming one screen row by row, and a first image signal for the image signal at a timing according to the output operation of the image pickup means. A first signal processing unit that performs the first signal processing to continuously generate the first image data corresponding to the image signal on a row-by-row basis, and stores the continuous first image data for a plurality of rows. Storage means, and a second signal processing section for taking in the first image data from the storage means in units of a predetermined number of rows and columns and generating second image data for one pixel based on the data. An image pickup apparatus, comprising: a plurality of rows of the first image data stored in the storage means, which can be taken into the second signal processing unit in an arbitrary order.
像データを所定の行数及び列数分保持するバッファメモ
リを含み、上記記憶手段から上記第1の画像データを1
行または1列の内の所定数単位で順次取り込むことを特
徴とする請求項1に記載の撮像装置。2. The second signal processing unit includes a buffer memory that holds the first image data for a predetermined number of rows and columns, and stores the first image data from the storage unit as 1
The image pickup apparatus according to claim 1, wherein the image data is sequentially captured in a predetermined number of units in rows or columns.
分割し、各ブロック毎に上記第2の画像データを圧縮処
理して圧縮画像データを生成する圧縮回路を備え、上記
記憶手段から上記第2の信号処理部への上記第1の画像
データの取り込み順序を上記圧縮回路の圧縮処理順序に
対応させたことを特徴とする請求項1に記載の撮像装
置。3. A one-screen subject image is divided into a plurality of blocks, and a compression circuit is provided for compressing the second image data for each block to generate compressed image data. The image pickup apparatus according to claim 1, wherein an order of capturing the first image data into the second signal processing unit corresponds to a compression processing order of the compression circuit.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07204606A JP3096618B2 (en) | 1995-08-10 | 1995-08-10 | Imaging device |
KR1019960033151A KR100347508B1 (en) | 1995-08-10 | 1996-08-09 | Photo Image Pick-Up Device |
US08/696,033 US5920343A (en) | 1995-08-10 | 1996-08-09 | Imaging system with image processing for re-writing a portion of a pixel block |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07204606A JP3096618B2 (en) | 1995-08-10 | 1995-08-10 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0955884A true JPH0955884A (en) | 1997-02-25 |
JP3096618B2 JP3096618B2 (en) | 2000-10-10 |
Family
ID=16493254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07204606A Expired - Fee Related JP3096618B2 (en) | 1995-08-10 | 1995-08-10 | Imaging device |
Country Status (3)
Country | Link |
---|---|
US (1) | US5920343A (en) |
JP (1) | JP3096618B2 (en) |
KR (1) | KR100347508B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0969674A2 (en) | 1998-07-03 | 2000-01-05 | Canon Kabushiki Kaisha | Image sensing device processing image signals in blocks |
JP2007150644A (en) * | 2005-11-28 | 2007-06-14 | Mitsubishi Electric Corp | Infrared imaging device |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0448512U (en) * | 1990-08-30 | 1992-04-24 | ||
JP3561596B2 (en) * | 1996-11-27 | 2004-09-02 | 三洋電機株式会社 | Imaging device |
US6356306B1 (en) * | 1997-02-28 | 2002-03-12 | Sanyo Electric Co., Ltd. | Digital camera capable of converting a progressive scan signal into an interlace scan signal |
JPH10304230A (en) * | 1997-05-01 | 1998-11-13 | Canon Inc | Image pickup system and storage medium |
JP3239087B2 (en) * | 1997-07-15 | 2001-12-17 | 三洋電機株式会社 | Imaging device |
US6288743B1 (en) * | 1997-10-20 | 2001-09-11 | Eastman Kodak Company | Electronic camera for processing image segments |
US6597394B1 (en) * | 1997-11-16 | 2003-07-22 | Pictos Technologies, Inc. | Programmable image transform processor for digital image processing |
JPH11196427A (en) * | 1997-12-26 | 1999-07-21 | Canon Inc | Single plate color image pickup device |
US6897895B1 (en) * | 1998-05-28 | 2005-05-24 | Sanyo Electric Co., Ltd. | Digital camera |
US7253836B1 (en) | 1998-06-30 | 2007-08-07 | Nikon Corporation | Digital camera, storage medium for image signal processing, carrier wave and electronic camera |
JP3416536B2 (en) * | 1998-10-14 | 2003-06-16 | 三洋電機株式会社 | Digital camera |
FR2788873B1 (en) * | 1999-01-22 | 2001-03-09 | Intermec Scanner Technology Ct | METHOD AND DEVICE FOR DETECTING RIGHT SEGMENTS IN A DIGITAL DATA FLOW REPRESENTATIVE OF AN IMAGE, IN WHICH THE POINTS CONTOURED OF SAID IMAGE ARE IDENTIFIED |
US8212893B2 (en) * | 1999-06-08 | 2012-07-03 | Verisign, Inc. | Digital camera device and methodology for distributed processing and wireless transmission of digital images |
US6995794B2 (en) * | 1999-06-30 | 2006-02-07 | Logitech Europe S.A. | Video camera with major functions implemented in host software |
US7009644B1 (en) | 1999-12-15 | 2006-03-07 | Logitech Europe S.A. | Dynamic anomalous pixel detection and correction |
US6961084B1 (en) * | 1999-10-07 | 2005-11-01 | Ess Technology, Inc. | Programmable image transform processor |
CA2329287A1 (en) * | 2000-01-21 | 2001-07-21 | Symagery Microsystems Inc. | Host interface for imaging arrays |
US6873334B2 (en) * | 2000-07-12 | 2005-03-29 | Vanguard International Semiconductor Corp. | Method of buffer management and task scheduling for two-dimensional data transforming |
US7064784B2 (en) * | 2000-10-19 | 2006-06-20 | Canon Kabushiki Kaisha | Image pickup apparatus adapted to carry out parallel operations in a continuous image pickup mode, and a control method |
JP2002142149A (en) * | 2000-11-06 | 2002-05-17 | Mega Chips Corp | Picture processing circuit |
US6680748B1 (en) * | 2001-09-27 | 2004-01-20 | Pixim, Inc., | Multi-mode camera and method therefor |
US7266254B2 (en) * | 2002-02-13 | 2007-09-04 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
JP3768182B2 (en) * | 2002-10-23 | 2006-04-19 | 三洋電機株式会社 | Electronic camera |
US7755669B2 (en) * | 2003-11-28 | 2010-07-13 | Canon Kabushiki Kaisha | Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices |
JP2005217734A (en) * | 2004-01-29 | 2005-08-11 | Sanyo Electric Co Ltd | Image signal processor and image signal processing method |
JP2006101462A (en) * | 2004-09-30 | 2006-04-13 | Sanyo Electric Co Ltd | Image signal processing device |
KR100745837B1 (en) * | 2005-11-30 | 2007-08-02 | 엠텍비젼 주식회사 | Method and apparatus for outputting pixel data with appended data |
US8510481B2 (en) * | 2007-01-03 | 2013-08-13 | Apple Inc. | Memory access without internal microprocessor intervention |
JP5844263B2 (en) * | 2009-10-05 | 2016-01-13 | ビーマル イメージング リミテッドBeamr Imaging Ltd. | Apparatus and method for recompressing digital images |
KR20210052095A (en) * | 2019-10-31 | 2021-05-10 | 삼성전자주식회사 | Image encoder, image decoder, and method for image encoding and image decoding |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR920010042B1 (en) * | 1989-12-29 | 1992-11-13 | 삼성전자 주식회사 | Digital still video recoder and scene recoding method |
US5428389A (en) * | 1990-06-14 | 1995-06-27 | Fuji Photo Film Co., Ltd. | Image data storage/processing apparatus |
US5343243A (en) * | 1992-01-07 | 1994-08-30 | Ricoh Company, Ltd. | Digital video camera |
JP3513165B2 (en) * | 1992-06-30 | 2004-03-31 | キヤノン株式会社 | Image processing device |
JP3438205B2 (en) * | 1993-02-25 | 2003-08-18 | 株式会社リコー | Digital electronic camera device |
CA2134277C (en) * | 1993-10-27 | 2000-04-18 | Mitsuyoshi Nakaya | Video format conversions systems -- |
US5581310A (en) * | 1995-01-26 | 1996-12-03 | Hitachi America, Ltd. | Architecture for a high definition video frame memory and an accompanying data organization for use therewith and efficient access therefrom |
-
1995
- 1995-08-10 JP JP07204606A patent/JP3096618B2/en not_active Expired - Fee Related
-
1996
- 1996-08-09 US US08/696,033 patent/US5920343A/en not_active Expired - Lifetime
- 1996-08-09 KR KR1019960033151A patent/KR100347508B1/en not_active IP Right Cessation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0969674A2 (en) | 1998-07-03 | 2000-01-05 | Canon Kabushiki Kaisha | Image sensing device processing image signals in blocks |
EP0969674A3 (en) * | 1998-07-03 | 2004-01-02 | Canon Kabushiki Kaisha | Image sensing device processing image signals in blocks |
US6684000B1 (en) | 1998-07-03 | 2004-01-27 | Canon Kabushiki Kaisha | Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks |
JP2007150644A (en) * | 2005-11-28 | 2007-06-14 | Mitsubishi Electric Corp | Infrared imaging device |
JP4726616B2 (en) * | 2005-11-28 | 2011-07-20 | 三菱電機株式会社 | Infrared imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP3096618B2 (en) | 2000-10-10 |
US5920343A (en) | 1999-07-06 |
KR970014162A (en) | 1997-03-29 |
KR100347508B1 (en) | 2003-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3096618B2 (en) | Imaging device | |
US8120671B2 (en) | Digital camera for recording a still image while shooting a moving image | |
JP4138056B2 (en) | Multi-standard decompression and / or compression device | |
JPH06189285A (en) | Quantization/inverse quantization circuit for picture data compression/expansion device | |
CN101536491A (en) | Imaging device and imaging method | |
US7139020B2 (en) | Digital camera including the compression of size-reduced images after picture taking is completed | |
JP5793716B2 (en) | Imaging device | |
JP2000244922A (en) | Method for compressing picture data | |
KR100664550B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
JP4302661B2 (en) | Image processing system | |
JP2009515411A (en) | Imaging apparatus and encoded data transmission method | |
KR100788983B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
JPH02105679A (en) | Reproducing device and recorder for digital image | |
JP3406924B2 (en) | Image processing apparatus and method | |
JP2000244744A (en) | Image data compression method and image data management method | |
JP3152258B2 (en) | Image processing apparatus and method | |
JP3076081B2 (en) | Image signal processing device | |
JP4522640B2 (en) | Data transfer system and data transfer method | |
JP3194757B2 (en) | Electronic camera device | |
JPH04298170A (en) | Digital still video camera | |
JP2824255B2 (en) | Image signal orthogonal transform coding device | |
JP2006166144A (en) | Image processing apparatus and method, program and recording medium | |
JPH10341407A (en) | Compression rate setting device for electronic still camera | |
JPH10126813A (en) | Image pickup device, recording medium and image processing method | |
JPH06319153A (en) | Electronic still camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070804 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080804 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |