JPH0955884A - Image pickup device - Google Patents

Image pickup device

Info

Publication number
JPH0955884A
JPH0955884A JP7204606A JP20460695A JPH0955884A JP H0955884 A JPH0955884 A JP H0955884A JP 7204606 A JP7204606 A JP 7204606A JP 20460695 A JP20460695 A JP 20460695A JP H0955884 A JPH0955884 A JP H0955884A
Authority
JP
Japan
Prior art keywords
image data
data
image
signal processing
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7204606A
Other languages
Japanese (ja)
Other versions
JP3096618B2 (en
Inventor
Toshiaki Nakakuki
俊朗 中莖
Toru Watanabe
透 渡辺
Toshihiro Furusawa
俊洋 古沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP07204606A priority Critical patent/JP3096618B2/en
Priority to KR1019960033151A priority patent/KR100347508B1/en
Priority to US08/696,033 priority patent/US5920343A/en
Publication of JPH0955884A publication Critical patent/JPH0955884A/en
Application granted granted Critical
Publication of JP3096618B2 publication Critical patent/JP3096618B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Input (AREA)

Abstract

PROBLEM TO BE SOLVED: To simplify the constitution of an image pickup device which subjects a picture signal to digital signal processing. SOLUTION: A buffer memory 15a where picture data of (n rows) ×(m columns) is stored is incorporated in a digital signal processing part 15, and a buffer memory 16 where picture data of n rows is stored is externally attached. Every n rows of picture data which is outputted from an analog signal processing part 14 with one row as the unit are temporarily stored in a buffer memory 16, and every (n rows) × (m columns) of picture data are taken into the buffer memory 15a of the digital signal processing part 15 from the buffer memory 16. With picture data of (n rows) × (m columns) in the buffer memory 15a, a luminance data processing circuit 15b and a color data processing circuit 15c execute prescribed operation processings to generate luminance data Y and color difference data U and V.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、ＣＣＤイメージセ
ンサ等の撮像素子を用い、デジタル化された画像データ
を得られるようにした撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device using an image pickup device such as a CCD image sensor to obtain digitized image data.

【０００２】[0002]

【従来の技術】パーソナルコンピュータやワードプロセ
ッサ等のコンピュータ機器に画像情報を取り込む場合、
従来より、被写体原稿を走査して読み取るイメージスキ
ャナが用いられている。また、近年では、立体的な被写
体にも対応できるようにするため、電子スチルカメラに
より画像情報を得てコンピュータ機器に取り込むように
することも考えられている。このような電子スチルカメ
ラの場合、画像情報を最終的にはデジタルデータとして
コンピュータ機器に入力する必要があることから、撮像
素子から得られる画像信号に対する信号処理プロセスの
多くがデジタル化される傾向にある。2. Description of the Related Art When image information is taken into a computer device such as a personal computer or a word processor,
2. Description of the Related Art Conventionally, an image scanner that scans and reads a subject document has been used. Further, in recent years, in order to deal with a three-dimensional object, it has been considered to obtain image information with an electronic still camera and import it into a computer device. In the case of such an electronic still camera, since it is necessary to finally input the image information as digital data to the computer device, most of the signal processing processes for the image signal obtained from the image sensor tend to be digitized. is there.

【０００３】図６は、１画面分の画像情報をデジタルデ
ータ（画像データ）として出力するようにした撮像装置
（電子スチルカメラ）の構成を示すブロック図である。
ＣＣＤイメージセンサ１は、受光面に複数の受光画素が
行方向及び列方向に配列され、照射される光に応答して
発生する情報電荷を各受光画素に蓄積する。また、受光
面にはモザイク状のカラーフィルタが装着され、各受光
画素がそれぞれ特定の色成分に対応付けられる。駆動回
路２は、タイミング制御回路３から供給される水平及び
垂直の走査タイミング信号に応答して多相のクロックパ
ルスを発生し、ＣＣＤイメージセンサ１の各受光画素に
蓄積される情報電荷を１行単位で順次転送出力する。転
送出力される情報電荷は、ＣＣＤイメージセンサ１の出
力部分で電圧値に変換され、各受光画素に蓄積される情
報電荷の量に対応した画像信号として出力される。アナ
ログ信号処理部４は、ＣＣＤイメージセンサ１から入力
される画像信号に対して、サンプルホールド、利得調整
等の信号処理を施し、所定のフォーマットに従う画像信
号として出力する。例えば、サンプルホールドでは、基
準レベルと信号レベルとが交互に繰り返されるＣＣＤイ
メージセンサ１の出力から、各レベルの差のみが取り出
され、利得調整では、１画面内の平均レベルを所定の適
正な範囲に納めるように画像信号に対する利得が調整さ
れる。が増幅される。アナログ／デジタル（Ａ／Ｄ）変
換回路５は、アナログ信号処理部４から入力される画像
信号をＣＣＤイメージセンサ１の出力動作に同期してＡ
／Ｄ変換し、ＣＣＤイメージセンサ１の各受光画素に対
応する画像データを生成する。そして、デジタル信号処
理部６は、Ａ／Ｄ変換回路５から入力される画像データ
に対して色成分の分離や色バランスの調整、さらには、
輪郭補正等の処理を施し、輝度情報と色差情報とを含む
画像データとして出力する。通常、カラー映像を表す画
像データを取り扱う場合、輝度を表す輝度データＹ、輝
度成分に対する赤色成分及び青色成分の差を表す２種類
の色差データＵ、Ｖが用いられる。このような３種類の
成分からなる画像データは、ＣＣＤイメージセンサ１の
走査に対応する順序で出力され、コンピュータ機器に取
り込まれることになる。FIG. 6 is a block diagram showing the arrangement of an image pickup apparatus (electronic still camera) which outputs image information for one screen as digital data (image data).
In the CCD image sensor 1, a plurality of light receiving pixels are arranged in a row direction and a column direction on a light receiving surface, and information charges generated in response to the irradiated light are accumulated in each light receiving pixel. Further, a mosaic color filter is attached to the light receiving surface, and each light receiving pixel is associated with a specific color component. The drive circuit 2 generates multi-phase clock pulses in response to the horizontal and vertical scanning timing signals supplied from the timing control circuit 3, and outputs information charges accumulated in each light receiving pixel of the CCD image sensor 1 in one row. Sequentially transfer and output in units. The information charge transferred and output is converted into a voltage value at the output portion of the CCD image sensor 1 and output as an image signal corresponding to the amount of information charge accumulated in each light receiving pixel. The analog signal processing unit 4 subjects the image signal input from the CCD image sensor 1 to signal processing such as sample hold and gain adjustment, and outputs the image signal according to a predetermined format. For example, in the sample hold, only the difference between the levels is extracted from the output of the CCD image sensor 1 in which the reference level and the signal level are alternately repeated, and in the gain adjustment, the average level in one screen is set to a predetermined appropriate range. The gain for the image signal is adjusted so that Is amplified. The analog / digital (A / D) conversion circuit 5 synchronizes the image signal input from the analog signal processing unit 4 with the output operation of the CCD image sensor 1 to A
/ D conversion is performed to generate image data corresponding to each light receiving pixel of the CCD image sensor 1. Then, the digital signal processing unit 6 separates the color components from the image data input from the A / D conversion circuit 5, adjusts the color balance, and further,
Processing such as contour correction is performed and output as image data including luminance information and color difference information. Usually, when handling image data representing a color image, brightness data Y representing brightness and two types of color difference data U and V representing the difference between the red component and the blue component with respect to the brightness component are used. The image data composed of such three kinds of components is output in the order corresponding to the scanning of the CCD image sensor 1 and is taken into the computer device.

【０００４】このような電子スチルカメラでは、得られ
る画像データを不揮発性のメモリや磁気ディスク等の記
録媒体に一旦記録し、必要な画像データのみを選択して
コンピュータ機器に取り込むようにすることも考えられ
ている。このような場合、より多くの画像データを記録
できるようにするため、画像データを圧縮処理した後に
記録媒体に記録させるようにしている。In such an electronic still camera, the obtained image data may be temporarily recorded in a recording medium such as a non-volatile memory or a magnetic disk, and only necessary image data may be selected and loaded into a computer device. It is considered. In such a case, in order to record more image data, the image data is compressed and then recorded on the recording medium.

【０００５】図７は、電子スチルカメラで得られる画像
データを記録する記録装置の構成を示すブロック図であ
る。ラスタブロック変換回路７は、上述の電子スチルカ
メラのデジタル信号処理部６から出力される画像データ
の順序を圧縮／伸長回路８において要求される順序に変
換する。このラスタブロック変換回路７は、通常、数行
分の画像データを記憶するメモリで構成され、画像デー
タの書き込み順序と読み出し順序とを変えることによっ
て画像データの配列順序の変換を行うようにしている。
即ち、画像データが、ＣＣＤイメージセンサ１の走査順
序に合わせてデジタル信号処理部６から１行単位で出力
されるのに対して、圧縮／伸長回路８では一定数の行及
び列を１単位とするブロック毎に圧縮処理が行われるた
め、数行分の画像データをまとめて記憶し、１ブロック
毎に画像データを出力するように構成される。圧縮／伸
長回路８は、ラスタブロック変換回路７から１ブロック
単位で入力される画像データに対して、所定の方式に従
う圧縮処理を施し、圧縮画像データを生成する。また、
圧縮画像データに対しては、圧縮処理とは逆の伸長処理
を施し、元の画像データを再生する。この画像データの
圧縮／伸長処理については、例えば、ＪＰＥＧ(Joint P
hotogrphic Expert Group)によって標準化されたＪＰＥ
Ｇアルゴリズム等があげられる。この圧縮／伸長回路８
で生成される圧縮画像データは、そのままデータ記録部
９に送られて記録される。一方、圧縮画像データから再
生される画像データは、１ブロック単位でコンピュータ
機器へ転送出力されるか、あるいは、ラスタブロック変
換回路７で配列順序が変換された後に１行単位で表示装
置へ供給される。そして、データ記録部９は、例えば、
不揮発性の半導体メモリで構成され、圧縮／伸長回路８
で生成される圧縮画像データを複数画面分記録する。FIG. 7 is a block diagram showing the arrangement of a recording device for recording image data obtained by an electronic still camera. The raster block conversion circuit 7 converts the order of the image data output from the digital signal processing unit 6 of the electronic still camera described above into the order required by the compression / expansion circuit 8. The raster block conversion circuit 7 is usually composed of a memory for storing image data of several lines, and is arranged to change the arrangement order of the image data by changing the writing order and the reading order of the image data. .
That is, the image data is output from the digital signal processing unit 6 in units of one row in accordance with the scanning order of the CCD image sensor 1, whereas the compression / expansion circuit 8 defines a certain number of rows and columns as one unit. Since the compression process is performed for each block, the image data for several lines are collectively stored and the image data is output for each block. The compression / expansion circuit 8 performs compression processing according to a predetermined method on the image data input from the raster block conversion circuit 7 in block units, and generates compressed image data. Also,
The compressed image data is subjected to decompression processing that is the reverse of the compression processing, and the original image data is reproduced. For the compression / decompression processing of this image data, for example, JPEG (Joint P
JPE standardized by hotogrphic Expert Group)
G algorithm etc. are mentioned. This compression / expansion circuit 8
The compressed image data generated in step 3 is sent to the data recording unit 9 as it is and recorded. On the other hand, the image data reproduced from the compressed image data is transferred to and output to the computer device in 1-block units, or is supplied to the display device in 1-line units after the arrangement order is converted by the raster block conversion circuit 7. It Then, the data recording unit 9 is, for example,
The compression / expansion circuit 8 is composed of a non-volatile semiconductor memory.
The compressed image data generated in step 2 is recorded for multiple screens.

【０００６】[0006]

【発明が解決しようとする課題】以上のような撮像装置
では、小型軽量化と共に低コスト化が望まれており、装
置を構成する部品点数の削減が重要な課題となってい
る。このため、一般的にはアナログ信号処理部４、デジ
タル信号処理部６等の各部をそれぞれ集積回路素子とし
て構成し、ＣＣＤイメージセンサ１と共に共通の基板上
に配置するようにしている。In the image pickup apparatus as described above, reduction in size and weight as well as cost reduction are desired, and reduction of the number of parts constituting the apparatus is an important issue. For this reason, generally, the analog signal processing unit 4, the digital signal processing unit 6, and the like are each configured as an integrated circuit element and are arranged together with the CCD image sensor 1 on a common substrate.

【０００７】ところで、デジタル信号処理部６において
は、数行分の画像データを一時的に記憶する必要がある
ため、所定容量の記憶手段が必要となる。例えば、１行
が６４０画素で８行分の画像データを記憶させる場合、
画像データが８ビットで表されるとすれば、約４０ｋ
（６４０×８×８）ビットの容量のメモリが必要であ
る。このようなメモリは、デジタル信号処理部６と共に
１チップ化することも可能であるが、チップ面積の大型
化によるコストアップを招くため、通常は、デジタル信
号処理部６とメモリとがそれぞれ個別のチップに集積化
され、回路基板上で互いに接続されることになる。この
とき、デジタル信号処理部６とメモリとの間では、多量
の画像データの受け渡しを高速で行わなければならない
ため、多数の入出力端子が必要となる。例えば、８ビッ
トの画像データを８画素分パラレルに受け渡すために
は、６４本の入出力端子が必要になる。従って、回路基
板上の配線が複雑になると共に、入出力端子を駆動する
入出力バッファの動作に伴う消費電力が多くなる。従っ
て、回路基板の製造コストが増大するという問題が生じ
る。また、バッテリを電力源とすることの多いスチルカ
メラにおいては、消費電力の増加も無視することはでき
ない。By the way, in the digital signal processing section 6, since it is necessary to temporarily store image data for several lines, a storage means of a predetermined capacity is required. For example, if one row stores 640 pixels and image data for eight rows is stored,
If the image data is represented by 8 bits, about 40k
A memory having a capacity of (640 × 8 × 8) bits is required. Although such a memory can be made into one chip together with the digital signal processing unit 6, the digital signal processing unit 6 and the memory are usually separated from each other because the cost is increased by increasing the chip area. It will be integrated on a chip and connected together on a circuit board. At this time, since a large amount of image data must be transferred at high speed between the digital signal processing unit 6 and the memory, a large number of input / output terminals are required. For example, in order to transfer 8-bit image data for 8 pixels in parallel, 64 input / output terminals are required. Therefore, the wiring on the circuit board becomes complicated, and the power consumption associated with the operation of the input / output buffer that drives the input / output terminals increases. Therefore, there arises a problem that the manufacturing cost of the circuit board increases. In still cameras, which often use a battery as a power source, an increase in power consumption cannot be ignored.

【０００８】デジタル信号処理部６とメモリとの間で画
像データをシリアルに受け渡すようにすることも考えら
れる。しかしながら、受け渡す画像データの数が多くな
ると、画像データの受け渡しに要する時間が長くなるた
め、デジタル信号処理部６での演算処理が画像データの
受け渡し動作の速度に制限されることになり、結果的
に、処理速度が遅くなるという問題が生じる。It may be considered that the image data is serially transferred between the digital signal processing unit 6 and the memory. However, when the number of image data to be transferred becomes large, the time required to transfer the image data becomes long, so that the arithmetic processing in the digital signal processing unit 6 is limited to the speed of the image data transfer operation. Therefore, there arises a problem that the processing speed becomes slow.

【０００９】そこで本発明は、コストアップを招くこと
なく高速でデータの処理を行い、所定の画像データを得
られる撮像装置の提供を目的とする。Therefore, an object of the present invention is to provide an image pickup apparatus which can process data at high speed without increasing cost and can obtain predetermined image data.

【００１０】[0010]

【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、その特徴とするところ
は、被写体画像を１画面毎に撮像し、１画面を構成する
画像信号を１行単位で順次出力する撮像手段と、この撮
像手段の出力動作に従うタイミングで上記画像信号に対
して第１の信号処理を施し、上記画像信号に対応した第
１の画像データを１行単位で連続して生成する第１の信
号処理部と、連続する上記第１の画像データを複数行分
記憶する記憶手段と、この記憶手段から上記第１の画像
データを所定の行数及び列数単位で取り込み、そのデー
タに基づいて第２の画像データを１画素分生成する第２
の信号処理部と、を備え、上記記憶手段に記憶された複
数行分の上記第１の画像データを任意の順序で上記第２
の信号処理部に取り込み可能としたことにある。The present invention has been made to solve the above problems, and is characterized in that a subject image is picked up for each screen and an image forming one screen is taken. An image pickup unit that sequentially outputs signals line by line, and a first signal processing is performed on the image signal at a timing according to the output operation of the image pickup unit, and one line of first image data corresponding to the image signal is generated. A first signal processing unit that continuously generates in units, a storage unit that stores the continuous first image data for a plurality of lines, and a predetermined number of rows and columns of the first image data from the storage unit. A second image data capturing unit that generates a second image data for one pixel based on the data
And a plurality of lines of the first image data stored in the storage means in the arbitrary order.
It can be taken into the signal processing unit of.

【００１１】これにより、第２の信号処理部から得られ
る第２の画像データの配列順序を、第１の信号処理部か
ら出力される第１の画像信号の配列順序に関係なく自由
に変更することができ、第２の画像データを受ける側の
要求に柔軟に対応することができる。また、ある１画素
を表す第２の画像データを得るのに必要な所定行数及び
列数分の第１の画像データがバッファメモリによって第
２の信号処理部内で保持されるため、次の画素を表す第
２の画像データを得る演算処理では第２の信号処理部に
第１の画像データを繰り返し取り込む必要がなくなる。
従って、第２の画像データを記憶する記憶手段から第２
の信号処理部にシリアルに第１の画像データを受け渡し
たとしても、最初に第２の信号処理部に取り込んだ第１
の画像データに追加するようにして一部の第１の画像デ
ータを取り込めばよいため、第１の画像データに対する
演算処理を短時間で完了させることができる。さらに、
バッファメモリから第２の信号処理部に取り込まれる第
１の画像データのデータ量がバッファメモリに記憶され
る第１の画像データのデータ量よりも十分に少ないた
め、第２の信号処理部に大きな容量のメモリ回路を設け
る必要はなく、集積回路化が容易である。As a result, the arrangement order of the second image data obtained from the second signal processing section is freely changed regardless of the arrangement order of the first image signals output from the first signal processing section. Therefore, it is possible to flexibly meet the request from the side receiving the second image data. In addition, the first image data for a predetermined number of rows and columns required to obtain the second image data representing a certain pixel is held in the second signal processing unit by the buffer memory, so that the next pixel In the arithmetic processing for obtaining the second image data representing the above, it is not necessary to repeatedly load the first image data into the second signal processing unit.
Therefore, from the storage means for storing the second image data to the second
Even if the first image data is serially transferred to the second signal processing unit, the first image data first captured by the second signal processing unit
Since only a part of the first image data needs to be fetched by adding to the image data of 1, the calculation process for the first image data can be completed in a short time. further,
Since the data amount of the first image data fetched from the buffer memory to the second signal processing unit is sufficiently smaller than the data amount of the first image data stored in the buffer memory, the second signal processing unit has a large amount. It is not necessary to provide a memory circuit having a capacity, and it is easy to form an integrated circuit.

【００１２】[0012]

【発明の実施の形態】図１は、本発明の撮像装置の構成
を示すブロック図である。ＣＣＤイメージセンサ１１
は、カラーフィルタの装着によってそれぞれ特定の色成
分に対応付けられた複数の受光画素が行方向及び列方向
に配列された受光面を有し、この受光面に照射される光
に応答して発生する情報電荷を各受光画素に蓄積する。
駆動回路１２は、タイミング制御回路１３から供給され
る水平走査及び垂直走査の各タイミング信号に応答して
多相のクロックパルスを発生し、ＣＣＤイメージセンサ
１１をパルス駆動する。このＣＣＤイメージセンサ１１
及び駆動回路１２は、図６と同一であり、ＣＣＤイメー
ジセンサ１１の各受光画素に蓄積される情報電荷の量に
対応する画像信号を得られるように構成される。タイミ
ング発生回路１３は、一定周期の基準クロックに基づい
て、ＣＣＤイメージセンサ１１の水平走査及び垂直走査
の各周期に同期したタイミング信号を発生し、駆動回路
１２に供給する。これにより、ＣＣＤイメージセンサ１
１が所定のタイミングで駆動され、行列配置される複数
の受光画素から、それぞれ特定の色成分に対応付けられ
た情報電荷が順次転送出力されるようになる。1 is a block diagram showing the structure of an image pickup apparatus according to the present invention. CCD image sensor 11
Has a light-receiving surface in which a plurality of light-receiving pixels, each of which is associated with a specific color component by mounting a color filter, are arranged in a row direction and a column direction, and is generated in response to light emitted to the light-receiving surface. The information charges to be stored are accumulated in each light receiving pixel.
The drive circuit 12 generates a multi-phase clock pulse in response to the horizontal scanning and vertical scanning timing signals supplied from the timing control circuit 13, and pulse-drives the CCD image sensor 11. This CCD image sensor 11
The drive circuit 12 is the same as that in FIG. 6, and is configured to obtain an image signal corresponding to the amount of information charges accumulated in each light receiving pixel of the CCD image sensor 11. The timing generation circuit 13 generates a timing signal synchronized with each cycle of horizontal scanning and vertical scanning of the CCD image sensor 11 based on a reference clock having a constant cycle, and supplies the timing signal to the drive circuit 12. As a result, the CCD image sensor 1
1 is driven at a predetermined timing, and the information charges respectively associated with specific color components are sequentially transferred and output from the plurality of light receiving pixels arranged in a matrix.

【００１３】アナログ信号処理部１４は、相関二重サン
プリング（ＣＤＳ）回路１４ａ、自動利得制御（ＡＧ
Ｃ）回路１４ｂ及びアナログ／デジタル（Ａ／Ｄ）変換
回路１４ｃより構成され、それぞれタイミング発生回路
１３から供給されるＣＣＤイメージセンサ１１の駆動タ
イミングに同期したタイミング信号に同期して動作す
る。ＣＤＳ回路１４ａは、所定のクロック周期で基準レ
ベルと信号レベルとを繰り返すＣＣＤイメージセンサ１
１の出力を受け、基準レベル部分と信号レベル部分とを
それぞれ取り込み、それらの差を映像信号として出力す
る。これにより、ＣＣＤイメージセンサ１１の各画素に
蓄積される情報電荷の量に対応したレベルが１クロック
期間維持される映像信号を得ている。ＡＧＣ回路１４ｂ
は、ＣＤＳ回路１４ａから出力される映像信号に対し、
１垂直走査期間の平均レベルに応じたゲインを与え、各
垂直走査期間毎の平均レベルが略均一になるように制御
する。即ち、ＣＤＳ回路１４ａから出力される映像信号
の１垂直走査期間毎の積分値に対応する制御データに基
づいてゲインを可変設定し、積分値を所定の範囲に収め
るようなフィードバック制御を行うようにしている。こ
こで制御データは、例えば、ホストコンピュータ２０に
より与えられるものである。そして、Ａ／Ｄ変換回路１
４ｃは、ＡＧＣ回路１４ｂから出力される映像信号をデ
ジタルデータに変換し、映像データとしてバスライン１
０へ送出する。The analog signal processing section 14 includes a correlated double sampling (CDS) circuit 14a and an automatic gain control (AG).
C) It is composed of a circuit 14b and an analog / digital (A / D) conversion circuit 14c, and operates in synchronization with a timing signal which is supplied from the timing generation circuit 13 and which is synchronized with the drive timing of the CCD image sensor 11. The CDS circuit 14a is a CCD image sensor 1 that repeats a reference level and a signal level at a predetermined clock cycle.
In response to the output of 1, the reference level portion and the signal level portion are respectively captured, and the difference between them is output as a video signal. As a result, a video signal in which the level corresponding to the amount of information charges accumulated in each pixel of the CCD image sensor 11 is maintained for one clock period is obtained. AGC circuit 14b
Is for the video signal output from the CDS circuit 14a,
A gain corresponding to the average level of one vertical scanning period is given to control so that the average level of each vertical scanning period becomes substantially uniform. That is, the gain is variably set based on the control data corresponding to the integrated value of the video signal output from the CDS circuit 14a for each vertical scanning period, and feedback control is performed so that the integrated value falls within a predetermined range. ing. Here, the control data is, for example, given by the host computer 20. Then, the A / D conversion circuit 1
4c converts the video signal output from the AGC circuit 14b into digital data, and uses the bus line 1 as video data.
Send to 0.

【００１４】デジタル信号処理部１５は、バッファメモ
リ１５ａ、輝度データ処理回路１５ｂ及び色データ処理
回路１５ｃより構成される。バッファメモリ１５ａは、
所定の容量を有し、輝度データ処理回路１５ｂ及び色デ
ータ処理回路１５ｃにおける１画素分の信号処理で必要
とされるｎ行×ｍ列分の分の画像データをバスライン１
０から取り込んで記憶する。例えば、輝度データ処理回
路１５ｂで上下２行、左右２列の画素に対してデジタル
フィルタを構成する場合、８ビットの画像データを５行
×５列分記憶できるように、２００ビットの容量が与え
られる。輝度データ処理回路１５ｂは、バッファメモリ
１５ａからｎ行×ｍ列分の画像データを取り込み、各色
成分を所定の割合で合成することにより輝度データＹを
生成する。さらに、１つの画素の上下及び左右の数画素
に対してデジタルフィルタを構成し、特定の周波数成分
を選択的に取り出すようにしている。例えば、５行×５
列分の画像データを取り込み、中心の画素の画像データ
を上下２列、左右２列の移動平均とすることで、高周波
ノイズを除去すると共に、輪郭強調を行うようにしてい
る。このようにして生成される輝度データＹは、再びバ
スライン１０へ送出される。色データ処理回路１５ｃ
は、各色成分に対応する画像データに対してマトリクス
演算を施し、輝度と赤色成分との差を表す色差信号Ｒ−
Ｙに対応する色差データＵ及び輝度と青色成分との差を
表す色差信号Ｂ−Ｙに対応する色差データＶを生成す
る。例えば、ＣＣＤイメージセンサ１１に装着されるカ
ラーフィルタがイエローＹｅ、グリーンＧ及びシアンＣ
ｙで構成される場合、Ｙｅ−Ｇから赤色成分Ｒを生成
し、Ｃｙ−Ｇから青色成分Ｂを生成した後、これらの各
成分Ｒ、Ｂから輝度データＹを差し引くことで色差デー
タＵ、Ｖを生成している。このように生成される色差デ
ータＵ、Ｖは、輝度データＹと共にバスライン１０へ送
出される。The digital signal processor 15 comprises a buffer memory 15a, a luminance data processing circuit 15b and a color data processing circuit 15c. The buffer memory 15a is
Image data for n rows × m columns, which has a predetermined capacity and is required for signal processing for one pixel in the luminance data processing circuit 15b and the color data processing circuit 15c, is stored in the bus line 1.
Capture from 0 and memorize. For example, when the brightness data processing circuit 15b configures a digital filter for pixels in two rows above and below and two columns left and right, a capacity of 200 bits is provided so that 8-bit image data can be stored for 5 rows × 5 columns. To be The luminance data processing circuit 15b takes in image data of n rows × m columns from the buffer memory 15a and synthesizes the respective color components at a predetermined ratio to generate luminance data Y. Further, a digital filter is constructed for several pixels above and below and to the left and right of one pixel so as to selectively extract a specific frequency component. For example, 5 rows x 5
High-frequency noise is removed and edge enhancement is performed by taking in image data for columns and making the moving image average of the upper and lower two columns and the two left and right columns the image data of the central pixel. The brightness data Y thus generated is sent to the bus line 10 again. Color data processing circuit 15c
Performs a matrix operation on the image data corresponding to each color component to obtain a color difference signal R− representing the difference between the luminance and the red component.
The color difference data U corresponding to Y and the color difference data V corresponding to the color difference signal BY representing the difference between the luminance and the blue component are generated. For example, the color filters mounted on the CCD image sensor 11 are yellow Ye, green G and cyan C.
In the case of y, the red component R is generated from Ye-G, the blue component B is generated from Cy-G, and the luminance data Y is subtracted from these components R and B to obtain the color difference data U and V. Is being generated. The color difference data U and V thus generated are sent to the bus line 10 together with the luminance data Y.

【００１５】バッファメモリ１６は、バスライン１０に
接続され、アナログ信号処理部１４から１行単位で出力
される画像データをｎ行分取り込んで記憶する。このバ
ッファメモリ１６は、デジタル信号処理部１５のバッフ
ァメモリ１５ａに対応し、バッファメモリ１５ａに記憶
される行数と同一（またはそれ以上）の行数分の画像デ
ータを記憶できる容量が与えられる。例えば、１行が６
４０画素のとき８ビットの画像データを５行分記憶させ
る場合には、２５６００（６４０×８×５）ビット以上
の容量が与えられる。圧縮／伸長回路１７は、デジタル
信号処理部１５からバスライン１０へ送出される輝度デ
ータＹ及び色差データＵ、Ｖを所定数の行及び列を１単
位とするブロック毎に取り込んで圧縮処理し、圧縮デー
タとしてデータ記録部１８に格納する。また、圧縮デー
タに対しては、データ記録部１８から読み出して伸長処
理し、元の輝度データＹ及び色差データＵ、Ｖを再生し
てバスライン１０へ送出する。この圧縮／伸長回路１７
における圧縮処理及び伸長処理は、例えば、ＪＰＥＧア
ルゴリズムが採用される。データ記録部１８は、不揮発
性の半導体メモリや磁気ディスク等の周知の記録媒体で
構成され、複数画面の圧縮データを記録する。例えば、
１画面の画素数が４００行×６４０列であるとき、１画
面分の輝度データＹ及び色差データＵ、Ｖは、８ビット
構成の場合で約６Ｍ（４００×６４０×２４）となるた
め、圧縮／伸長回路１７でデータ量が１／２０程度に圧
縮できるとすれば、４Ｍビットの記憶容量で約１３画面
分の画像データを記録することができる。出力インタフ
ェース回路１９は、データ記録部１８から読み出されて
圧縮／伸長回路１７で伸長処理された輝度データＹ及び
色差データＵ、Ｖを取り込み、コンピュータ機器等へ出
力する。The buffer memory 16 is connected to the bus line 10 and fetches and stores n lines of image data output from the analog signal processing unit 14 in units of one line. The buffer memory 16 corresponds to the buffer memory 15a of the digital signal processing unit 15, and is provided with a capacity capable of storing the same number (or more) of image data as the number of rows stored in the buffer memory 15a. For example, one line is 6
When storing 8 rows of image data for 5 rows of 40 pixels, a capacity of 25600 (640 × 8 × 5) bits or more is provided. The compression / expansion circuit 17 fetches the luminance data Y and the color difference data U and V sent from the digital signal processing unit 15 to the bus line 10 for each block having a predetermined number of rows and columns as one unit, and compresses the blocks. It is stored in the data recording unit 18 as compressed data. Further, the compressed data is read from the data recording unit 18 and subjected to decompression processing to reproduce the original luminance data Y and the color difference data U and V and send them to the bus line 10. This compression / expansion circuit 17
For example, the JPEG algorithm is adopted for the compression process and the decompression process. The data recording unit 18 is composed of a known recording medium such as a non-volatile semiconductor memory or a magnetic disk, and records compressed data of a plurality of screens. For example,
When the number of pixels on one screen is 400 rows × 640 columns, the luminance data Y and the color difference data U and V for one screen are about 6M (400 × 640 × 24) in the case of an 8-bit configuration, and therefore compressed. If the data amount can be compressed to about 1/20 by the / expansion circuit 17, image data for about 13 screens can be recorded with a storage capacity of 4 Mbits. The output interface circuit 19 takes in the luminance data Y and the color difference data U and V read from the data recording section 18 and expanded by the compression / expansion circuit 17, and outputs them to a computer device or the like.

【００１６】続いて、輝度データ処理回路１５ｂ及び色
データ処理回路１５ｃが５行×５列単位で演算処理を行
う場合について、バッファメモリ１６の動作を説明す
る。ここで、ＣＣＤイメージセンサ１１は、１画面の静
止画像を得るものあり、所定の露光期間に蓄積された情
報電荷を１行単位で間欠的に出力できるものとする。
尚、以下の動作は、全てホストコンピュータ２０の指示
によって制御される。Next, the operation of the buffer memory 16 will be described in the case where the luminance data processing circuit 15b and the color data processing circuit 15c perform arithmetic processing in units of 5 rows × 5 columns. Here, it is assumed that the CCD image sensor 11 obtains one screen of a still image and can intermittently output the information charges accumulated in a predetermined exposure period in units of one row.
Note that the following operations are all controlled by the instructions of the host computer 20.

【００１７】最初に、図２に示すように、ＣＣＤイメー
ジセンサ１１の１〜５行目までの５行分の受光画素に対
応する画像信号が連続して出力され、この画像信号に対
応する５行分の画像データがアナログ信号処理部１４か
ら連続して出力されてバッファメモリ１６に記憶され
る。バッファメモリ１６に記憶された５行分の画像デー
タは、１〜５列目まで順に読み出され、図２の太線枠で
示すように、順次デジタル信号処理部１５のバッファメ
モリ１５ａに書き込まれる。輝度データ処理回路１５ｂ
及び色データ処理回路１５ｃは、このバッファメモリ１
５ａに記憶された５×５個の画像データに対して各種の
演算処理を施し、第１行の１列目の画素を表す輝度デー
タＹ及び色差データＵ、Ｖを生成する。この演算処理が
完了すると、バッファメモリ１６から６列目の画素に対
応する画像データが読み出されてバッファメモリ１５ａ
に書き込まれる。バッファメモリ１５ａは、５×５画素
分の画像データを格納するものであるため、１列目の画
像データが新たに入力される６列目の画像データと書き
換えられることになる。従って、図２の破線枠で示すよ
うに、バッファメモリ１５ａには２〜６列目までの５×
５画素分の画像データが記憶される。そして、その５×
５画素分の画像データに対して輝度データ処理回路１５
ｂ及び色データ処理回路１５ｃによる演算処理が繰り返
され、第１行の２列目の画素を表す輝度データＹ及び色
差データＵ、Ｖが生成される。以後同様にして、７列目
から最終列まで画像データが１列ずつバッファメモリ１
６から読み出されてバッファメモリ１５ａに書き込ま
れ、その都度、輝度データ処理回路１５ｂ及び色データ
処理回路１５ｃによる演算処理が繰り返されて第１行目
の１列目から最終列までの１行分の輝度データＹ及び色
差データＵ、Ｖが生成される。このように１行分の輝度
データＹ及び色差データＵ、Ｖを生成するための演算処
理が行われている間は、ＣＣＤイメージセンサ１１の駆
動が停止されており、アナログ信号処理部１４は待機状
態となっている。First, as shown in FIG. 2, image signals corresponding to the light receiving pixels of the first to fifth rows of the CCD image sensor 11 are continuously output, and the image signals corresponding to the image signals 5 are output. Image data for a row is continuously output from the analog signal processing unit 14 and stored in the buffer memory 16. The image data for five rows stored in the buffer memory 16 is sequentially read out from the first column to the fifth column, and is sequentially written in the buffer memory 15a of the digital signal processing unit 15, as shown by the bold frame in FIG. Luminance data processing circuit 15b
And the color data processing circuit 15c uses the buffer memory 1
Various calculation processes are performed on the 5 × 5 image data stored in 5a to generate luminance data Y and color difference data U and V representing the pixels in the first row, first column. When this arithmetic processing is completed, the image data corresponding to the pixels in the sixth column is read from the buffer memory 16 and the buffer memory 15a
Is written to. Since the buffer memory 15a stores the image data of 5 × 5 pixels, the image data of the first column is rewritten with the image data of the sixth column which is newly input. Therefore, as shown by the broken line frame in FIG. 2, the buffer memory 15a has 5 × 5th to 2nd to 6th columns.
Image data for 5 pixels is stored. And that 5x
The luminance data processing circuit 15 for the image data of 5 pixels
The calculation process by b and the color data processing circuit 15c is repeated to generate the luminance data Y and the color difference data U and V representing the pixel in the second column of the first row. Similarly, the image data from the seventh column to the last column is stored in the buffer memory 1 column by column.
6 and is written in the buffer memory 15a, and the calculation processing by the luminance data processing circuit 15b and the color data processing circuit 15c is repeated each time, and one row from the first column to the last column of the first row. Luminance data Y and color difference data U and V are generated. While the arithmetic processing for generating the luminance data Y and the color difference data U and V for one row is being performed in this manner, the driving of the CCD image sensor 11 is stopped and the analog signal processing unit 14 is on standby. It is in a state.

【００１８】１行分の輝度データＹ及び色差データＵ、
Ｖを得る演算処理が完了すると、ＣＣＤイメージセンサ
１１が駆動されて６行目の受光画素に対応する画像信号
が出力される。これに応答して、アナログ信号処理部１
４から６行目の画像データが出力され、バッファメモリ
１６に新たに書き込まれる。ここで、バッファメモリ１
６は、１〜５行目までの画像データを記憶しているが、
新たに画像データが取り込まれたときには、１行目の画
像データを６行目の画像データに書き換えるようにして
いる。この時点で、デジタル信号処理部１５のバッファ
メモリ１５ａには、１〜６行目の最終列側の５列の画像
データが記憶されている。バッファメモリ１６の画像デ
ータが書き換えられると、バッファメモリ１６から画像
データの読み出しが再開され、読み出された画像データ
がバッファメモリ１５ａに書き込まれる。このとき、バ
ッファメモリ１５ａに格納されている最終列側の５列分
の画像データの内、１行目の５個の画像データが６行目
の最終列側の５個の画像データに書き換えられる。ここ
で、バッファメモリ１５ａに記憶されている５×５画素
分の画像データに対して輝度データ処理回路１５ｂ及び
色データ処理回路１５ｃが信号処理を施し、第２列の最
終列の画素を表す輝度データＹ及び色差データＵ、Ｖを
生成する。続いて、最終列側から６列目の画像データが
バッファメモリ１６から読み出されてバッファメモリ１
５ａに書き込まれる。これにより、バッファメモリ１５
ａには、最終列側の２〜５列目の画像データが記憶され
る。この５×５画素分の画像データに対し、輝度データ
処理回路１５ｂ及び色データ処理回路１５ｃが信号処理
を施すことにより、第２行の最終列側から２列目の画素
を表す輝度データＹ及び色差データＵ、Ｖを生成する。
以後同様にして、１列目まで１列ずつバッファメモリ１
６から画像データが読み出されてバッファメモリ１５ａ
に書き込まれ、その都度、輝度データ処理回路１５ｂ及
び色データ処理回路１５ｃによる演算処理が繰り返され
て第２行目の最終列から１列目までの１行分の輝度デー
タＹ及び色差データＵ、Ｖが生成される。このように、
第２列の画素を表す輝度データＹ及び色差データＵ、Ｖ
を得るための演算は最終列側から１列目に戻るようにし
て行われる。３行目以降の画素を表す輝度データＹ及び
色差データＵ、Ｖを得るための演算処理については、奇
数行で第１行と同一となり、偶数行で第２行と同一とな
る。Luminance data Y and color difference data U for one line,
When the calculation process for obtaining V is completed, the CCD image sensor 11 is driven and the image signal corresponding to the light receiving pixel in the sixth row is output. In response to this, the analog signal processing unit 1
The image data of the 4th to 6th lines is output and newly written in the buffer memory 16. Where buffer memory 1
6 stores the image data of the 1st to 5th lines,
When new image data is captured, the image data on the first line is rewritten to the image data on the sixth line. At this point, the buffer memory 15a of the digital signal processing unit 15 stores the image data of five columns on the final column side of the first to sixth rows. When the image data in the buffer memory 16 is rewritten, the reading of the image data from the buffer memory 16 is restarted, and the read image data is written in the buffer memory 15a. At this time, out of the image data for the five columns on the final column side stored in the buffer memory 15a, the five image data on the first row are rewritten to the five image data on the final column side on the sixth line. . Here, the luminance data processing circuit 15b and the color data processing circuit 15c perform signal processing on the image data of 5 × 5 pixels stored in the buffer memory 15a, and the luminance representing the pixel of the last column of the second column is displayed. Data Y and color difference data U and V are generated. Then, the image data of the sixth column from the last column side is read from the buffer memory 16 and
5a is written. As a result, the buffer memory 15
Image data of the second to fifth columns on the final column side is stored in a. The luminance data processing circuit 15b and the color data processing circuit 15c perform signal processing on the image data of 5 × 5 pixels, so that the luminance data Y representing the pixels in the second column from the last column side of the second row and Color difference data U and V are generated.
In the same manner thereafter, the buffer memory 1 for each column up to the first column
The image data is read out from the buffer memory 15a
, And each time, the calculation processing by the luminance data processing circuit 15b and the color data processing circuit 15c is repeated, and the luminance data Y and the color difference data U for one row from the last column to the first column of the second row, V is generated. in this way,
Luminance data Y and color difference data U and V representing the pixels in the second column
The calculation for obtaining is performed by returning to the first column from the last column side. The arithmetic processing for obtaining the luminance data Y and the color difference data U, V representing the pixels on the third and subsequent rows is the same as that of the first row for odd rows and the same as that of the second row for even rows.

【００１９】このような順序で演算処理を行うようにす
れば、行をシフトする際に、バッファメモリ１５ａに記
憶されている画像データの書き換えを簡略化することが
できる。図３及び図４は、圧縮／伸長回路１７の一例で
あり、図３は、ＪＰＥＧアルゴリズムに従って画像デー
タを圧縮する符号化器（ＪＰＥＧエンコーダ）の構成を
示すブロック図、図４は、ＪＰＥＧアルゴリズムに従っ
て画像データを伸長する復号化器（ＪＰＥＧデコーダ）
の構成を示すブロック図である。By performing the arithmetic processing in such an order, rewriting of the image data stored in the buffer memory 15a can be simplified when the rows are shifted. 3 and 4 are examples of the compression / expansion circuit 17, FIG. 3 is a block diagram showing the configuration of an encoder (JPEG encoder) that compresses image data according to the JPEG algorithm, and FIG. 4 is according to the JPEG algorithm. Decoder for decompressing image data (JPEG decoder)
FIG. 3 is a block diagram showing the configuration of FIG.

【００２０】ＪＰＥＧアルゴリズムに従う符号化方式で
は、図５に示すように、１つの画面を８×８画素単位で
複数のブロックＢ11〜Ｂijに分割し、各ブロック毎に符
号化処理が行われる。即ち、各ブロックＢ11〜Ｂijを構
成する８行×８列分の画素ａ１〜ｈ８を表す６４個のデ
ータを１単位として符号化することにより、データ量の
圧縮が行われる。In the encoding method according to the JPEG algorithm, as shown in FIG. 5, one screen is divided into a plurality of blocks B11 to Bij in units of 8 × 8 pixels, and the encoding process is performed for each block. That is, the data amount is compressed by encoding 64 pieces of data representing the pixels a1 to h8 of 8 rows × 8 columns forming each block B11 to Bij as one unit.

【００２１】ＪＰＥＧエンコーダは、図３に示すよう
に、ＤＣＴ回路２１、量子化回路２２及び符号化回路２
３より構成され、さらに、しきい値テーブル２４及びハ
フマンテーブル２５を有する。ＤＣＴ回路２１は、１ブ
ロック（６４画素）分の画像データを取り込み、２次元
の離散的コサイン変換(DCT:Discrete Cosine Transfor
m)を行って６４個のＤＣＴ係数を生成する。量子化回路
２２は、ＤＣＴ回路２１から供給されるＤＣＴ係数をし
きい値テーブル２４に格納されたしきい値を参照して量
子化する。この量子化の際のしきい値は、画像データの
圧縮率や再生画像の画質を決定するものであり、装置の
使用目的に合わせて任意に設定される。符号化回路２３
は、量子化されたＤＣＴ係数をハフマンテーブル２５に
格納されたハフマン符号に基づいて可変長符号化し、圧
縮画像データを生成する。ハフマン符号は、量子化され
たＤＣＴ係数に対して予め予想される出現頻度に応じて
割り当てられる可変長の符号であり、出現頻度の高いも
のに対して短く割り当てられる。従って、ＪＰＥＧエン
コーダによれば、画像データのデータ量が１／５から１
／４０程度にまで圧縮される。As shown in FIG. 3, the JPEG encoder includes a DCT circuit 21, a quantizing circuit 22, and an encoding circuit 2.
3 and further has a threshold table 24 and a Huffman table 25. The DCT circuit 21 takes in one block (64 pixels) of image data, and performs two-dimensional discrete cosine transform (DCT).
m) is performed to generate 64 DCT coefficients. The quantization circuit 22 quantizes the DCT coefficient supplied from the DCT circuit 21 with reference to the threshold values stored in the threshold table 24. The threshold value at the time of quantization determines the compression ratio of image data and the image quality of a reproduced image, and is arbitrarily set according to the purpose of use of the apparatus. Encoding circuit 23
Performs variable length coding on the quantized DCT coefficient based on the Huffman code stored in the Huffman table 25 to generate compressed image data. The Huffman code is a variable-length code that is assigned to a quantized DCT coefficient in accordance with an appearance frequency that is predicted in advance, and is assigned a shorter code to a code with a higher appearance frequency. Therefore, according to the JPEG encoder, the data amount of the image data is 1/5 to 1
It is compressed to about / 40.

【００２２】ＪＰＥＧデコーダは、図４に示すように、
復号化回路２６、逆量子化回路２７及びＩＤＣＴ回路２
８より構成され、さらに、ハフマンテーブル２９及びし
きい値テーブル３０を有する。復号化回路２６は、１ブ
ロック（８×８画素）分の圧縮画像データを取り込み、
ハフマンテーブル２９に格納されたハフマン符号に基づ
いて、符号化回路２３とは逆に、圧縮画像データを可変
長復号する。この可変長復号処理によって得られる係数
は、ＪＰＥＧエンコーダでＤＣＴ係数を量子化したもの
に対応する。また、ハフマンテーブル２９に格納される
ハフマン符号は、ＪＰＥＧエンコーダ側のハフマンテー
ブル２５に格納されるハフマン符号に対応する。逆量子
化回路２７は、量子化回路２２とは逆に、しきい値テー
ブル３０に格納されたしきい値を参照して復号化回路２
７から供給される係数を逆量子化し、ＤＣＴ係数を再生
する。このしきい値テーブル３０に格納されるしきい値
についても、ＪＰＥＧエンコーダ側のしきい値テーブル
２５に格納されるしきい値に対応する。そして、ＩＤＣ
Ｔ回路２８は、逆量子化回路２７から供給されるＤＣＴ
係数に対して、離散的逆コサイン変換(IDCT:Inverse Di
screte Cosine Transform)を行い、伸長した画像データ
を再生する。このＩＤＣＴ回路２８においては、１ブロ
ック（８×８画素）分のデータが同時に変換処理され、
１画素毎に所定の順序で連続的に出力される。The JPEG decoder, as shown in FIG.
Decoding circuit 26, inverse quantization circuit 27 and IDCT circuit 2
8 and further has a Huffman table 29 and a threshold table 30. The decoding circuit 26 takes in compressed image data for one block (8 × 8 pixels),
On the basis of the Huffman code stored in the Huffman table 29, contrary to the encoding circuit 23, the compressed image data is variable-length decoded. The coefficient obtained by this variable length decoding process corresponds to the DCT coefficient quantized by the JPEG encoder. The Huffman code stored in the Huffman table 29 corresponds to the Huffman code stored in the Huffman table 25 on the JPEG encoder side. Inversely to the quantizing circuit 22, the inverse quantizing circuit 27 refers to the threshold values stored in the threshold value table 30 to decode the decoding circuit 2
The coefficient supplied from 7 is dequantized to reproduce the DCT coefficient. The threshold value stored in the threshold value table 30 also corresponds to the threshold value stored in the threshold value table 25 on the JPEG encoder side. And IDC
The T circuit 28 is a DCT supplied from the inverse quantization circuit 27.
Discrete inverse cosine transform (IDCT)
screte cosine transform) to reproduce the decompressed image data. In this IDCT circuit 28, data for one block (8 × 8 pixels) is simultaneously converted,
Each pixel is continuously output in a predetermined order.

【００２３】これらのＪＰＥＧエンコーダ及びＪＰＥＧ
デコーダについては、一般に、デジタル信号処理装置(D
SP:Digital Signal Processor)等の高機能演算器で構成
できるものであり、各部の回路が共通化されて圧縮／伸
長回路１７が構成される。ところで、アナログ信号処理
部１４から画像データが１行単位で出力されるのに対
し、圧縮／伸長回路１７では画像データがブロック単位
で処理されるため、アナログ信号処理部１４の出力から
圧縮／伸長回路１７の入力までの過程で画像データの配
列順序の変換、いわゆるラスタブロック変換が必要であ
る。そこで、バッファメモリ１６の容量を圧縮／伸長回
路１７で処理される画像データの１ブロック分の行数に
対応して設定し、このバッファメモリ１６を用いてラス
タブロック変換を行うことが可能である。即ち、圧縮／
伸長回路１７で処理される画像データの１ブロック分の
行数より多い行数分の画像データをバッファメモリ１６
に記憶させ、デジタル信号処理部１５での画像データの
処理順序を圧縮／伸長回路１７での処理順序に一致させ
ればよい。例えば、画像データに対してデジタル信号処
理部１５で５行単位の処理が行われ、圧縮／伸長回路１
７で８行単位の処理が行われる場合には、１２行分の画
像データをバッファメモリ１６に記憶し、デジタル信号
処理部１５において８列毎に８行分の画像データを生成
するように構成する。このように、バッファメモリ１６
を用いてラスタブロック変換を行うようにすれば、圧縮
／伸長回路１７の入力段階でラスタブロック変換のため
のメモリが必要なくなる。These JPEG encoder and JPEG
Decoders are generally digital signal processors (D
It can be configured by a high-performance arithmetic unit such as SP (Digital Signal Processor), and the circuits of the respective parts are shared to configure the compression / expansion circuit 17. By the way, while the analog signal processing unit 14 outputs the image data in units of one line, the compression / expansion circuit 17 processes the image data in units of blocks, so that the output of the analog signal processing unit 14 is compressed / expanded. In the process up to the input of the circuit 17, conversion of the arrangement order of image data, so-called raster block conversion is necessary. Therefore, it is possible to set the capacity of the buffer memory 16 in correspondence with the number of lines of one block of the image data processed by the compression / expansion circuit 17 and perform raster block conversion using this buffer memory 16. . That is, compression /
The buffer memory 16 stores the image data for the number of lines larger than the number of lines for one block of the image data processed by the decompression circuit 17.
The processing order of the image data in the digital signal processing unit 15 may be matched with the processing order in the compression / expansion circuit 17. For example, the digital signal processing unit 15 processes the image data in units of five rows, and the compression / expansion circuit 1
When processing is performed in units of 8 rows in 7, the image data for 12 rows is stored in the buffer memory 16, and the digital signal processing unit 15 generates image data for 8 rows for every 8 columns. To do. In this way, the buffer memory 16
If the raster block conversion is performed by using, the memory for raster block conversion becomes unnecessary at the input stage of the compression / expansion circuit 17.

【００２４】以上の実施の形態においては、画像データ
を圧縮処理してデータ記憶部１８に記憶させる場合を例
示したが、デジタル信号処理部１５で生成される画像デ
ータを直接出力インタフェース回路１９から出力させる
ことも可能である。In the above embodiment, the case where the image data is compressed and stored in the data storage unit 18 is illustrated, but the image data generated by the digital signal processing unit 15 is directly output from the output interface circuit 19. It is also possible to let.

【００２５】[0025]

【発明の効果】本発明によれば、デジタル信号処理部に
ｎ行×ｍ列分の画像データを記憶するバッファメモリを
内蔵し、ｎ行分の画像データを記憶するバッファメモリ
をデジタル信号処理部に対して外付けしたことにより、
デジタル信号処理部の処理速度を損なうことなく、デジ
タル信号処理部とバッファメモリとの接続を容易にする
ことができる。また、外付けされるバッファメモリの容
量を大きく設定し、このバッファメモリからデジタル信
号処理部に画像データを取り込む段階でラスタブロック
変換を行うようにすれば、デジタル信号処理部から出力
される画像データをそのまま圧縮／伸長回路に入力でき
るようになる。このため、各部を集積回路素子で構成す
る場合には、各回路素子の入出力端子数の削減及びメモ
リ容量の削減が可能となり、撮像装置のコストの低減に
有効である。According to the present invention, the digital signal processing unit has a built-in buffer memory for storing image data of n rows × m columns, and the buffer memory for storing image data of n rows is provided in the digital signal processing unit. By attaching externally to
The connection between the digital signal processing unit and the buffer memory can be facilitated without impairing the processing speed of the digital signal processing unit. Also, if the capacity of the external buffer memory is set large and raster block conversion is performed at the stage of loading image data from this buffer memory to the digital signal processing unit, image data output from the digital signal processing unit Can be directly input to the compression / expansion circuit. Therefore, when each unit is configured by an integrated circuit element, the number of input / output terminals of each circuit element and the memory capacity can be reduced, which is effective in reducing the cost of the imaging device.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の撮像装置の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing a configuration of an image pickup apparatus of the present invention.

【図２】バッファメモリに対する画像データの記憶順序
を説明する図である。FIG. 2 is a diagram illustrating a storage order of image data in a buffer memory.

【図３】ＪＰＥＧエンコーダの構成を示すブロック図で
ある。FIG. 3 is a block diagram showing a configuration of a JPEG encoder.

【図４】ＪＰＥＧデコーダの構成を示すブロック図であ
る。FIG. 4 is a block diagram showing a configuration of a JPEG decoder.

【図５】ＪＰＥＧアルゴリズムで処理される１ブロック
の構成を説明する図である。FIG. 5 is a diagram illustrating a configuration of one block processed by a JPEG algorithm.

【図６】従来の撮像装置の構成を示すブロック図であ
る。FIG. 6 is a block diagram illustrating a configuration of a conventional imaging device.

【図７】画像データの記憶装置の構成を示すブロック図
である。FIG. 7 is a block diagram showing a configuration of an image data storage device.

【符号の説明】[Explanation of symbols]

１、１１ ＣＣＤイメージセンサ ２、１２ 駆動回路 ３、１３ タイミング発生回路 ４、１４ アナログ信号処理部 ５ アナログ／デジタル変換回路 ６、１５ デジタル信号処理部 ７ ラスタブロック変換回路 ８、１７ 圧縮／伸長回路 ９、１８ データ記録部 １４ａ 相関二重サンプリング回路（ＣＤＳ） １４ｂ 自動利得制御回路（ＡＧＣ） １４ｃ アナログ／デジタル変換回路（Ａ／Ｄ） １５ａ バッファメモリ １５ｂ 輝度データ処理回路 １５ｃ 色データ処理回路 １６ バッファメモリ １９ 出力インタフェース回路 ２０ ホストコンピュータ ２１ ＤＣＴ回路 ２２ 量子化回路 ２３ 符号化回路 ２４、３０ しきい値テーブル ２５、２９ ハフマンテーブル ２６ 復号化回路 ２７ 逆量子化回路 ２８ ＩＤＣＴ回路 1, 11 CCD image sensor 2, 12 Drive circuit 3, 13 Timing generation circuit 4, 14 Analog signal processing unit 5 Analog / digital conversion circuit 6, 15 Digital signal processing unit 7 Raster block conversion circuit 8, 17 Compression / expansion circuit 9 , 18 data recording unit 14a correlated double sampling circuit (CDS) 14b automatic gain control circuit (AGC) 14c analog / digital conversion circuit (A / D) 15a buffer memory 15b luminance data processing circuit 15c color data processing circuit 16 buffer memory 19 Output interface circuit 20 Host computer 21 DCT circuit 22 Quantization circuit 23 Encoding circuit 24, 30 Threshold table 25, 29 Huffman table 26 Decoding circuit 27 Inverse quantization circuit 28 IDCT circuit

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】 被写体画像を１画面毎に撮像し、１画面
を構成する画像信号を１行単位で順次出力する撮像手段
と、この撮像手段の出力動作に従うタイミングで上記画
像信号に対して第１の信号処理を施し、上記画像信号に
対応した第１の画像データを１行単位で連続して生成す
る第１の信号処理部と、連続する上記第１の画像データ
を複数行分記憶する記憶手段と、この記憶手段から上記
第１の画像データを所定の行数及び列数単位で取り込
み、そのデータに基づいて第２の画像データを１画素分
生成する第２の信号処理部と、を備え、上記記憶手段に
記憶された複数行分の上記第１の画像データを任意の順
序で上記第２の信号処理部に取り込み可能としたことを
特徴とする撮像装置。1. An image pickup means for picking up an image of a subject for each screen and sequentially outputting image signals forming one screen row by row, and a first image signal for the image signal at a timing according to the output operation of the image pickup means. A first signal processing unit that performs the first signal processing to continuously generate the first image data corresponding to the image signal on a row-by-row basis, and stores the continuous first image data for a plurality of rows. Storage means, and a second signal processing section for taking in the first image data from the storage means in units of a predetermined number of rows and columns and generating second image data for one pixel based on the data. An image pickup apparatus, comprising: a plurality of rows of the first image data stored in the storage means, which can be taken into the second signal processing unit in an arbitrary order. 【請求項２】 上記第２の信号処理部は、上記第１の画
像データを所定の行数及び列数分保持するバッファメモ
リを含み、上記記憶手段から上記第１の画像データを１
行または１列の内の所定数単位で順次取り込むことを特
徴とする請求項１に記載の撮像装置。2. The second signal processing unit includes a buffer memory that holds the first image data for a predetermined number of rows and columns, and stores the first image data from the storage unit as 1
The image pickup apparatus according to claim 1, wherein the image data is sequentially captured in a predetermined number of units in rows or columns. 【請求項３】 １画面の被写体画像を複数のブロックに
分割し、各ブロック毎に上記第２の画像データを圧縮処
理して圧縮画像データを生成する圧縮回路を備え、上記
記憶手段から上記第２の信号処理部への上記第１の画像
データの取り込み順序を上記圧縮回路の圧縮処理順序に
対応させたことを特徴とする請求項１に記載の撮像装
置。3. A one-screen subject image is divided into a plurality of blocks, and a compression circuit is provided for compressing the second image data for each block to generate compressed image data. The image pickup apparatus according to claim 1, wherein an order of capturing the first image data into the second signal processing unit corresponds to a compression processing order of the compression circuit.
JP07204606A 1995-08-10 1995-08-10 Imaging device Expired - Fee Related JP3096618B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP07204606A JP3096618B2 (en) 1995-08-10 1995-08-10 Imaging device
KR1019960033151A KR100347508B1 (en) 1995-08-10 1996-08-09 Photo Image Pick-Up Device
US08/696,033 US5920343A (en) 1995-08-10 1996-08-09 Imaging system with image processing for re-writing a portion of a pixel block

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07204606A JP3096618B2 (en) 1995-08-10 1995-08-10 Imaging device

Publications (2)

Publication Number Publication Date
JPH0955884A true JPH0955884A (en) 1997-02-25
JP3096618B2 JP3096618B2 (en) 2000-10-10

Family

ID=16493254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07204606A Expired - Fee Related JP3096618B2 (en) 1995-08-10 1995-08-10 Imaging device

Country Status (3)

Country Link
US (1) US5920343A (en)
JP (1) JP3096618B2 (en)
KR (1) KR100347508B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0969674A2 (en) 1998-07-03 2000-01-05 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
JP2007150644A (en) * 2005-11-28 2007-06-14 Mitsubishi Electric Corp Infrared imaging device

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0448512U (en) * 1990-08-30 1992-04-24
JP3561596B2 (en) * 1996-11-27 2004-09-02 三洋電機株式会社 Imaging device
US6356306B1 (en) * 1997-02-28 2002-03-12 Sanyo Electric Co., Ltd. Digital camera capable of converting a progressive scan signal into an interlace scan signal
JPH10304230A (en) * 1997-05-01 1998-11-13 Canon Inc Image pickup system and storage medium
JP3239087B2 (en) * 1997-07-15 2001-12-17 三洋電機株式会社 Imaging device
US6288743B1 (en) * 1997-10-20 2001-09-11 Eastman Kodak Company Electronic camera for processing image segments
US6597394B1 (en) * 1997-11-16 2003-07-22 Pictos Technologies, Inc. Programmable image transform processor for digital image processing
JPH11196427A (en) * 1997-12-26 1999-07-21 Canon Inc Single plate color image pickup device
US6897895B1 (en) * 1998-05-28 2005-05-24 Sanyo Electric Co., Ltd. Digital camera
US7253836B1 (en) 1998-06-30 2007-08-07 Nikon Corporation Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP3416536B2 (en) * 1998-10-14 2003-06-16 三洋電機株式会社 Digital camera
FR2788873B1 (en) * 1999-01-22 2001-03-09 Intermec Scanner Technology Ct METHOD AND DEVICE FOR DETECTING RIGHT SEGMENTS IN A DIGITAL DATA FLOW REPRESENTATIVE OF AN IMAGE, IN WHICH THE POINTS CONTOURED OF SAID IMAGE ARE IDENTIFIED
US8212893B2 (en) * 1999-06-08 2012-07-03 Verisign, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
US6995794B2 (en) * 1999-06-30 2006-02-07 Logitech Europe S.A. Video camera with major functions implemented in host software
US7009644B1 (en) 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
US6961084B1 (en) * 1999-10-07 2005-11-01 Ess Technology, Inc. Programmable image transform processor
CA2329287A1 (en) * 2000-01-21 2001-07-21 Symagery Microsystems Inc. Host interface for imaging arrays
US6873334B2 (en) * 2000-07-12 2005-03-29 Vanguard International Semiconductor Corp. Method of buffer management and task scheduling for two-dimensional data transforming
US7064784B2 (en) * 2000-10-19 2006-06-20 Canon Kabushiki Kaisha Image pickup apparatus adapted to carry out parallel operations in a continuous image pickup mode, and a control method
JP2002142149A (en) * 2000-11-06 2002-05-17 Mega Chips Corp Picture processing circuit
US6680748B1 (en) * 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US7266254B2 (en) * 2002-02-13 2007-09-04 Canon Kabushiki Kaisha Data processing apparatus, image processing apparatus, and method therefor
JP3768182B2 (en) * 2002-10-23 2006-04-19 三洋電機株式会社 Electronic camera
US7755669B2 (en) * 2003-11-28 2010-07-13 Canon Kabushiki Kaisha Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
JP2005217734A (en) * 2004-01-29 2005-08-11 Sanyo Electric Co Ltd Image signal processor and image signal processing method
JP2006101462A (en) * 2004-09-30 2006-04-13 Sanyo Electric Co Ltd Image signal processing device
KR100745837B1 (en) * 2005-11-30 2007-08-02 엠텍비젼 주식회사 Method and apparatus for outputting pixel data with appended data
US8510481B2 (en) * 2007-01-03 2013-08-13 Apple Inc. Memory access without internal microprocessor intervention
JP5844263B2 (en) * 2009-10-05 2016-01-13 ビーマル イメージング リミテッドＢｅａｍｒ Ｉｍａｇｉｎｇ Ｌｔｄ． Apparatus and method for recompressing digital images
KR20210052095A (en) * 2019-10-31 2021-05-10 삼성전자주식회사 Image encoder, image decoder, and method for image encoding and image decoding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920010042B1 (en) * 1989-12-29 1992-11-13 삼성전자 주식회사 Digital still video recoder and scene recoding method
US5428389A (en) * 1990-06-14 1995-06-27 Fuji Photo Film Co., Ltd. Image data storage/processing apparatus
US5343243A (en) * 1992-01-07 1994-08-30 Ricoh Company, Ltd. Digital video camera
JP3513165B2 (en) * 1992-06-30 2004-03-31 キヤノン株式会社 Image processing device
JP3438205B2 (en) * 1993-02-25 2003-08-18 株式会社リコー Digital electronic camera device
CA2134277C (en) * 1993-10-27 2000-04-18 Mitsuyoshi Nakaya Video format conversions systems --
US5581310A (en) * 1995-01-26 1996-12-03 Hitachi America, Ltd. Architecture for a high definition video frame memory and an accompanying data organization for use therewith and efficient access therefrom

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0969674A2 (en) 1998-07-03 2000-01-05 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
EP0969674A3 (en) * 1998-07-03 2004-01-02 Canon Kabushiki Kaisha Image sensing device processing image signals in blocks
US6684000B1 (en) 1998-07-03 2004-01-27 Canon Kabushiki Kaisha Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks
JP2007150644A (en) * 2005-11-28 2007-06-14 Mitsubishi Electric Corp Infrared imaging device
JP4726616B2 (en) * 2005-11-28 2011-07-20 三菱電機株式会社 Infrared imaging device

Also Published As

Publication number Publication date
JP3096618B2 (en) 2000-10-10
US5920343A (en) 1999-07-06
KR970014162A (en) 1997-03-29
KR100347508B1 (en) 2003-01-14

Similar Documents

Publication Publication Date Title
JP3096618B2 (en) Imaging device
US8120671B2 (en) Digital camera for recording a still image while shooting a moving image
JP4138056B2 (en) Multi-standard decompression and / or compression device
JPH06189285A (en) Quantization/inverse quantization circuit for picture data compression/expansion device
CN101536491A (en) Imaging device and imaging method
US7139020B2 (en) Digital camera including the compression of size-reduced images after picture taking is completed
JP5793716B2 (en) Imaging device
JP2000244922A (en) Method for compressing picture data
KR100664550B1 (en) Method for transferring encoded data and image pickup device performing the method
JP4302661B2 (en) Image processing system
JP2009515411A (en) Imaging apparatus and encoded data transmission method
KR100788983B1 (en) Method for transferring encoded data and image pickup device performing the method
JPH02105679A (en) Reproducing device and recorder for digital image
JP3406924B2 (en) Image processing apparatus and method
JP2000244744A (en) Image data compression method and image data management method
JP3152258B2 (en) Image processing apparatus and method
JP3076081B2 (en) Image signal processing device
JP4522640B2 (en) Data transfer system and data transfer method
JP3194757B2 (en) Electronic camera device
JPH04298170A (en) Digital still video camera
JP2824255B2 (en) Image signal orthogonal transform coding device
JP2006166144A (en) Image processing apparatus and method, program and recording medium
JPH10341407A (en) Compression rate setting device for electronic still camera
JPH10126813A (en) Image pickup device, recording medium and image processing method
JPH06319153A (en) Electronic still camera

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070804

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080804

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100804

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120804

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130804

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees