JPH11261949A - Image processor, image processing method and computer readable storage medium - Google Patents
Image processor, image processing method and computer readable storage mediumInfo
- Publication number
- JPH11261949A JPH11261949A JP10059486A JP5948698A JPH11261949A JP H11261949 A JPH11261949 A JP H11261949A JP 10059486 A JP10059486 A JP 10059486A JP 5948698 A JP5948698 A JP 5948698A JP H11261949 A JPH11261949 A JP H11261949A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- switching
- storage
- image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ＣＣＤにより撮像
された画像をデジタル処理して表示・記録する機能を有
するデジタルカメラに用いて好適な画像処理装置、画像
処理方法及びコンピュータ読み取り可能な記憶媒体に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, an image processing method, and a computer-readable storage medium suitable for use in a digital camera having a function of digitally processing an image picked up by a CCD to display and record the image. About.
【０００２】[0002]
【従来の技術】図４に従来のデジタルカメラの構成を示
す。図４において、レンズ１によって集光・結像させら
れた光束は、絞り・シャッタ２で適切な露光量とされ、
ＣＣＤ３上に光学像を結像させる。このＣＣＤ３は、図
５に示すように画素毎にカラーフィルタが貼られてお
り、ＲＧＢの色情報を含む画像情報を電気信号へ変換す
る。ＣＣＤ３によって電気信号に変換された画像信号
は、ＣＤＳ／アンプ４により雑音が除去され、次段のＡ
／Ｄ変換のために適切な信号レベルに増幅される。2. Description of the Related Art FIG. 4 shows the configuration of a conventional digital camera. In FIG. 4, a light beam condensed and imaged by a lens 1 is adjusted to an appropriate exposure amount by an aperture / shutter 2.
An optical image is formed on the CCD 3. The CCD 3 has a color filter attached to each pixel as shown in FIG. 5, and converts image information including RGB color information into an electric signal. The image signal converted into the electric signal by the CCD 3 is subjected to noise removal by the CDS / amplifier 4 and the A
Amplified to an appropriate signal level for / D conversion.
【０００３】Ａ／Ｄコンバータ５により量子化された画
像信号は、メモリ１８に書き込まれると同時に、切り替
えスイッチ２４のａ側を経てクランプ回路６によってさ
らに雑音が除去され、ホワイトバランス（以下ＷＢ）回
路７を通るが、この時はこの回路内部のホワイトバラン
ス係数レジスタが初期値になっているため、ホワイトバ
ランス処理は行われず、機能的にはバイパスされる。次
に遅延線制御部８に入れられて、メモリ９〜１２を使用
して垂直方向に５ライン分のデータを同時化する処理を
行う。The image signal quantized by the A / D converter 5 is written into the memory 18 and, at the same time, the noise is further removed by the clamp circuit 6 via the a side of the changeover switch 24, and the white balance (hereinafter referred to as WB) circuit At this time, since the white balance coefficient register in this circuit has the initial value, the white balance processing is not performed and the function is bypassed. Next, the data is input to the delay line control unit 8 and performs processing for synchronizing data for five lines in the vertical direction using the memories 9 to 12.
【０００４】図６に、遅延線制御部８の詳細を示す。図
６において、メモリ９は、カウンタ８１の出力をアドレ
スとして、そのアドレスのデータが読み出されると同時
に、その同じアドレスにＷＢ回路７から入った信号が書
き込まれる。このとき、同様にメモリ１０、１１、１２
はカウンタ８１の出力をアドレスとして、そのアドレス
のデータが読み出されると同時に、その同じアドレス
に、メモリ１０へはメモリ９から読み出されたデータ
が、メモリ１１へはメモリ１０から読み出されたデータ
が、メモリ１２へはメモリ１１から読み出されたデータ
が書き込まれる。さらに、ＷＢ回路７から来た信号と、
メモリ９〜１２から読み出された信号の５本全てが、次
段のブロックへ送られ、垂直方向の処理が行われる。
尚、カウンタ８１はＳＳＧ（同期信号発生器）４０から
の水平同期信号Ｈｓｙｎｃによりリセットされる。FIG. 6 shows details of the delay line control unit 8. In FIG. 6, with the output of the counter 81 as an address, data of the address is read out from the memory 9 and at the same time, a signal input from the WB circuit 7 is written to the same address. At this time, similarly, the memories 10, 11, 12
With the output of the counter 81 as an address, at the same time the data at that address is read, the data read from the memory 9 to the memory 10 and the data read from the memory 10 to the memory 11 are stored at the same address. However, the data read from the memory 11 is written to the memory 12. Further, a signal coming from the WB circuit 7 and
All five of the signals read from the memories 9 to 12 are sent to the next block, where the vertical processing is performed.
The counter 81 is reset by a horizontal synchronization signal Hsync from an SSG (synchronization signal generator) 40.
【０００５】次に、ＣＣＤ３から得られた画像信号は、
輝度情報と色情報が周波数多重された信号になっている
ので、ＹＣ分離回路１３により輝度信号と色信号とに分
離される。このとき、遅延線制御部８より得られる垂直
方向５画素分が同時化された信号を用いることで、水平
のみならず垂直方向の周波数濾過フィルタ処理を行うこ
とにより、輝度信号と色信号とに分離することができ
る。色信号は色処理回路１４によってマトリクス変換処
理、γ処理などを行い、ＵＶ信号が生成される。その
際、色処理回路１４の中間で生成される色差信号によ
り、画像が撮影された時の光源の色温度を検出するため
の色温度検出回路１６へも信号が出力される。Next, the image signal obtained from the CCD 3 is
Since the luminance information and the color information are frequency-multiplexed signals, they are separated by the YC separation circuit 13 into a luminance signal and a color signal. At this time, by using a signal obtained by synchronizing five pixels in the vertical direction obtained from the delay line control unit 8, by performing frequency filtering filter processing not only in the horizontal direction but also in the vertical direction, the luminance signal and the color signal are converted. Can be separated. The color signal is subjected to matrix conversion processing, γ processing, and the like by the color processing circuit 14 to generate a UV signal. At this time, a signal is also output to a color temperature detection circuit 16 for detecting a color temperature of a light source when an image is captured, based on a color difference signal generated in the middle of the color processing circuit 14.
【０００６】色温度検出回路１６は、画像信号全面にわ
たって色差信号を積分する回路であり、その結果をＣＰ
Ｕ２１が読み取り演算することにより、光源の色温度を
推定することができるとともに、適正なホワイトバラン
スを行うためのＷＢ補正係数が算出される。この係数は
ＷＢ回路７にＣＰＵ２１によって設定される。以上の動
作により、ホワイトバランス補正を行うことができる状
態になる。以上の動作をホワイトバランス積分処理と呼
ぶ。The color temperature detecting circuit 16 is a circuit for integrating a color difference signal over the entire image signal, and outputs the result as a CP.
By performing the reading operation by the U21, the color temperature of the light source can be estimated, and the WB correction coefficient for performing an appropriate white balance is calculated. This coefficient is set in the WB circuit 7 by the CPU 21. With the above operation, a state in which white balance correction can be performed is established. The above operation is called white balance integration processing.
【０００７】次に、メモリ１８より、前回と同じ画像デ
ータが読み出される。このときスイッチ２４はｂ側に接
続されているので、メモリ１８から読み出された画像デ
ータは、前述と同じくクランプ回路６を経てＷＢ回路７
に送られるが、ここでＣＰＵ２１によって設定されたＷ
Ｂ補正係数に従って色フィルタ毎に補正され、適切なホ
ワイトバランスが行われる。以下、遅延線制御部８、Ｙ
Ｃ分離回路１３を経て色処理回路１４によってＵＶ信号
が生成される。また、分離された輝度信号は、輝度処理
回路１５により輪郭強調処理、γ処理などを行い、画像
信号として使用することのできる輝度信号となる。Next, the same image data as the previous one is read from the memory 18. At this time, since the switch 24 is connected to the b-side, the image data read from the memory 18 passes through the clamp circuit 6 and the WB circuit 7 as described above.
, Where the W set by the CPU 21
Correction is performed for each color filter according to the B correction coefficient, and an appropriate white balance is performed. Hereinafter, the delay line control unit 8, Y
The UV signal is generated by the color processing circuit 14 via the C separation circuit 13. The separated luminance signal is subjected to contour enhancement processing, γ processing, and the like by the luminance processing circuit 15, and becomes a luminance signal that can be used as an image signal.
【０００８】このようにして得られたＹＵＶ信号は、ラ
スタブロック変換制御部１７へ送られる。ここでは、８
ライン分のメモリ２３〜３０を用いて、ラスタ走査され
るＹＵＶ信号を、水平８画素、垂直８画素計６４画素単
位のブロック走査に並べ変える。この方法については、
例えば特開平８−１８７９１号公報に開示されている。
ブロック走査順に変換されたＹＵＶ信号は、ＪＰＥＧ圧
縮回路１９で圧縮され、メモリ２０へ書き込まれる。Ｃ
ＰＵ２１はこれを読み取り、フラッシュメモリカード２
２へ記録することにより、デジタル画像を記録する。[0008] The YUV signal thus obtained is sent to the raster block conversion control unit 17. Here, 8
Using the memories 23 to 30 for the lines, the YUV signal to be raster-scanned is rearranged into a block scan of a unit of 64 pixels in total of 8 horizontal pixels and 8 vertical pixels. For this method,
For example, it is disclosed in Japanese Patent Application Laid-Open No. 8-18791.
The YUV signal converted in the block scanning order is compressed by the JPEG compression circuit 19 and written to the memory 20. C
The PU 21 reads this, and reads the flash memory card 2
2 to record a digital image.
【０００９】また、この従来のデジタルカメラは、ＣＣ
Ｄ３からの画像をメモリ１８に一旦蓄積することなく、
直接処理しＤ／Ａコンバータ４１を介してＬＣＤ４２へ
表示することもできる。その場合には、スイッチ２４は
ａ側に接続される。Further, this conventional digital camera has a CC
Without temporarily storing the image from D3 in the memory 18,
It can also be processed directly and displayed on the LCD 42 via the D / A converter 41. In that case, the switch 24 is connected to the a side.
【００１０】[0010]
【発明が解決しようとする課題】しかしながら、上記従
来例では、遅延線用メモリ９〜１２、ラスタブロック変
換用メモリ２３〜３０のメモリ容量を小さくできない、
あるいは大きな画像を扱えないという問題があった。例
えば、水平１２８０画素の画像を処理しようとする場
合、遅延線用メモリ９〜１２は各々が１２８０アドレス
を必要とし、さらにラスタブロック変換用メモリ２３〜
３０も１２８０アドレス分のメモリ容量が必要となる。However, in the above conventional example, the memory capacities of the delay line memories 9 to 12 and the raster block conversion memories 23 to 30 cannot be reduced.
Another problem is that large images cannot be handled. For example, when processing an image of 1280 horizontal pixels, each of the delay line memories 9 to 12 requires 1280 addresses, and further requires the raster block conversion memories 23 to
30 also requires a memory capacity of 1280 addresses.
【００１１】民生用カラーカメラで広く用いられるＣＣ
Ｄは、そのＳ／Ｎ性能から、通常Ａ／Ｄコンバータ５は
９〜１０ｂｉｔで用いられるものが多い。例えば、Ａ／
Ｄコンバータ５が１０ｂｉｔであれば、遅延線用メモリ
９〜１２は各々１０ｂｉｔｘ１２８０＝１２８００ｂｉ
ｔ、遅延線用メモリ４本では計５１．２ｋｂｉｔのメモ
リ容量が必要となる。また、ラスタブロック変換用メモ
リ２３〜３０は、４：２：２（Ｕ、Ｖデータが水平方向
に１／２に間引かれるデータ形式）の場合、各々１２８
０×１６＝２０４８０ｂｉｔ、８ライン合計では１６
９．８ｋｂｉｔとなり、遅延線用メモリとの合計は２１
５ｋｂｉｔになる。[0011] CC widely used in consumer color cameras
As for D, the A / D converter 5 is often used in 9 to 10 bits because of its S / N performance. For example, A /
If the D converter 5 has 10 bits, the delay line memories 9 to 12 each have 10 bits × 1280 = 12800 bi.
t, four delay line memories require a total memory capacity of 51.2 kbits. In the case of 4: 2: 2 (a data format in which U and V data are decimated by に in the horizontal direction), each of the raster block conversion memories 23 to 30 has 128
0 × 16 = 20480 bits, 16 for a total of 8 lines
9.8 kbits, and the sum with the delay line memory is 21
5 kbit.
【００１２】このように、大きな水平画素数の画像を扱
おうとすると、遅延線用メモリとラスタブロック変換用
メモリの合計メモリ容量が大きくなる。消費電力の観点
からは、これらのメモリは他の回路と同時に単一ＩＣの
中に集積するのが有利であるが、メモリ容量が大きくな
ると、ＩＣのチップ面積が増大してＩＣの歩留まりが急
激に悪くなり、コストが増大するという問題があった。As described above, when an image having a large number of horizontal pixels is to be handled, the total memory capacity of the delay line memory and the raster block conversion memory increases. From the viewpoint of power consumption, it is advantageous to integrate these memories together with other circuits in a single IC. However, as the memory capacity increases, the chip area of the IC increases and the yield of the IC increases rapidly. And the cost increases.
【００１３】また、メモリ容量を減らそうとすると、扱
える画像サイズの上限が小さくなり、高画質な高画素数
のＣＣＤカメラを提供できないという問題があった。あ
るいは、これらの大きなメモリを処理ブロックと別ＩＣ
チップで構成しようとすると、データの入出力が多くな
り、消費電力が増大するという問題や、複数のＩＣを使
用せねばならなくなり、装着の小型化を阻害するという
問題があった。Further, if the memory capacity is to be reduced, the upper limit of the image size that can be handled becomes small, and there has been a problem that a CCD camera with high image quality and a high number of pixels cannot be provided. Alternatively, these large memories are separated from the processing block by a separate IC.
If a chip is used, data input / output increases, power consumption increases, and a plurality of ICs must be used, which hinders downsizing of mounting.
【００１４】本発明は上記の問題を解決するために成さ
れたもので、メモリを効率良く用いることを目的とす
る。The present invention has been made to solve the above problems, and has as its object to use a memory efficiently.
【００１５】[0015]
【課題を解決するための手段】本発明による画像処理装
置においては、ラスタ走査順次に画像信号を入力する入
力手段と、上記入力手段によって入力された画像信号の
複数ラインを同時化処理する同時化手段と、上記同時化
処理に用いられる遅延用の第１の記憶手段と、上記同時
化処理された画像信号を所定画素数から成るブロックに
ブロック化処理するブロック化手段と、上記ブロック化
処理に用いられる第２の記憶手段と、第１のモードで
は、上記同時化手段が上記第１の記憶手段のみを用いる
と共に上記ブロック化手段が上記第２の記憶手段のみを
用い、第２のモードでは、上記同時化手段が上記第１の
記憶手段と上記第２の記憶手段とを用いるように上記第
１、第２の記憶手段の入出力を切り替える切り替え制御
手段とを設けている。In an image processing apparatus according to the present invention, an input means for inputting an image signal in raster scanning order and a synchronizing processing for synchronizing a plurality of lines of the image signal input by the input means. Means, first storage means for delay used in the synchronization processing, blocking means for blocking the synchronized image signal into blocks each having a predetermined number of pixels, and In the second storage means used and the first mode, the synchronization means uses only the first storage means and the blocking means uses only the second storage means, and in the second mode, Switching control means for switching the input and output of the first and second storage means so that the synchronization means uses the first storage means and the second storage means.
【００１６】本発明による画像処理方法においては、ラ
スタ走査順次に入力される画像信号の複数ラインを第１
の記憶手段を用いて同時化処理する同時化ステップと、
上記同時化処理された画像信号を第２の記憶手段を用い
て所定画素数から成るブロックに変換するブロック化処
理ステップと、第１のモードでは、上記同時化処理が上
記第１の記憶手段のみを用いると共に上記ブロック化処
理が上記第２の記憶手段のみを用い、第２のモードで
は、上記同時化処理が上記第１の記憶手段と上記第２の
記憶手段とを用いるように上記第１、第２の記憶手段の
入出力を切り替える切り替え制御ステップとを設けてい
る。In the image processing method according to the present invention, a plurality of lines of an image signal input in raster scan order are first
A synchronization step of performing synchronization processing using the storage means of
A block processing step of converting the image signal subjected to the synchronization processing into a block having a predetermined number of pixels by using a second storage means; and in the first mode, the synchronization processing is performed only by the first storage means. And in the second mode, the first processing is performed such that the synchronization processing uses the first storage means and the second storage means in the second mode. And a switching control step of switching input / output of the second storage means.
【００１７】本発明による記憶媒体においては、ラスタ
走査順次に入力される画像信号の複数ラインを第１の記
憶手段を用いて同時化する同時化処理と、上記同時化処
理された画像信号を第２の記憶手段を用いて所定画素数
から成るブロックに変換するブロック化処理と、第１の
モードでは、上記同時化処理が上記第１の記憶手段のみ
を用いると共に上記ブロック化処理が上記第２の記憶手
段のみを用い、第２のモードでは、上記同時化処理が上
記第１の記憶手段と上記第２の記憶手段とを用いるよう
に上記第１、第２の記憶手段の入出力を切り替える切り
替え制御処理とを実行するためのプログラムを記憶して
いる。In the storage medium according to the present invention, a synchronizing process for synchronizing a plurality of lines of an image signal input in a raster scanning sequence by using a first storage means, In the first mode, a block processing for converting into a block having a predetermined number of pixels using the second storage means, and the synchronization processing uses only the first storage means and the block processing is performed in the second mode. In the second mode, input / output of the first and second storage units is switched so that the synchronization processing uses the first storage unit and the second storage unit. A program for executing the switching control process is stored.
【００１８】[0018]
【発明の実施の形態】以下、本発明の実施の形態を図面
と共に説明する。図１は本発明による画像処理装置とし
てのデジタルカメラの実施の形態を示すもので、図３と
対応する部分には同一符号を付して重複する説明は省略
する。図１において、ホワイトバランス積分処理動作及
び遅延線制御部８の動作は、図３の従来例で説明した動
作と略同様に行われるが、次の点で従来例と異なる。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an embodiment of a digital camera as an image processing apparatus according to the present invention, and portions corresponding to those in FIG. In FIG. 1, the white balance integration processing operation and the operation of the delay line control unit 8 are performed in substantially the same manner as the operation described in the conventional example of FIG. 3, but differ from the conventional example in the following points.
【００１９】すなわち、従来例と異なる点としては、本
実施の形態では、遅延線制御部８から出力されるアドレ
ス信号はラスタブロック変換用のメモリ２７〜３０へ切
り替えスイッチ３９を経て与えられる。また、ＷＢ回路
７から遅延線制御部８へ入力された信号は、切り替えス
イッチ３１を経てラスタブロック変換用メモリ２７〜３
０へも供給される。また、ラスタブロック変換用メモリ
２７〜３０から読み出された信号は、ラスタブロック変
換制御部１７のみならず、切り替えスイッチ３２〜３５
を経て遅延線制御部８へも供給される。That is, as a point different from the conventional example, in the present embodiment, the address signal output from the delay line control unit 8 is given to the raster block conversion memories 27 to 30 via the changeover switch 39. The signals input from the WB circuit 7 to the delay line control unit 8 are passed through the changeover switch 31 to the raster block conversion memories 27 to 3.
0 is also supplied. The signals read from the raster block conversion memories 27 to 30 are transmitted not only to the raster block conversion control unit 17 but also to the changeover switches 32 to 35.
, And is also supplied to the delay line control unit 8.
【００２０】ホワイトバランス積分処理時においては、
ＣＰＵ２１は「ＪＰＥＧ使用有無信号」（使用時：０、
非使用時：１）として１を出力する。この１の出力はＡ
ＮＤゲート３８に送られる。また、デコード回路３７
は、遅延線制御部８が出力するアドレスが一定値以下、
すなわち遅延線用メモリ容量以下の場合は、０を出力
し、遅延線用メモリ容量以上のアドレス値を示す場合に
は１を出力する。これによりＡＮＤゲート３８が制御さ
れ、スイッチ３１〜３５、３９が制御される。そのた
め、遅延線制御部８が受け取る５ライン分に同時化され
たデータは、そのアドレスが遅延線用メモリ容量以下の
場合、すなわち画面の左側のときには遅延線メモリ９〜
１２に記憶し読み出されたデータであり、また、アドレ
スが遅延線用メモリ容量以上の場合、すなわち画面の右
側のときには遅延線用メモリ２７〜３０に記憶し読み出
されたデータとなる。In the white balance integration processing,
The CPU 21 outputs a “JPEG use presence / absence signal” (when used: 0,
When not used: 1 is output as 1). The output of this 1 is A
It is sent to the ND gate 38. The decoding circuit 37
Indicates that the address output by the delay line control unit 8 is equal to or less than a certain value,
That is, 0 is output when the memory capacity is equal to or less than the delay line memory capacity, and 1 is output when an address value equal to or more than the delay line memory capacity is indicated. As a result, the AND gate 38 is controlled, and the switches 31 to 35 and 39 are controlled. Therefore, the data synchronized for the five lines received by the delay line control unit 8 has a delay line memory 9 to 9 when the address is equal to or less than the delay line memory capacity, that is, when the address is on the left side of the screen.
When the address is equal to or larger than the delay line memory capacity, that is, when the address is on the right side of the screen, the data is stored and read in the delay line memories 27 to 30.
【００２１】このように、ＷＢ回路７から来た信号と、
メモリ９〜１２あるいはメモリ２７〜３０から読み出さ
れた信号の５本全てが次段のＹＣ分離回路１３へ送られ
て、輝度信号と色信号とに分離される。このとき、遅延
線制御部８より得られる垂直方向５画素分に同時化され
た信号を用いることで、水平のみならず垂直方向の周波
数濾過フィルタ処理を行うことにより、輝度信号と色信
号とに分離することができる。Thus, the signal coming from the WB circuit 7 is:
All five of the signals read from the memories 9 to 12 or the memories 27 to 30 are sent to the next-stage YC separation circuit 13, where they are separated into a luminance signal and a chrominance signal. At this time, by using the signals synchronized for five pixels in the vertical direction obtained from the delay line control unit 8, by performing the frequency filtering filter processing not only in the horizontal direction but also in the vertical direction, the luminance signal and the chrominance signal are converted. Can be separated.
【００２２】色信号は色処理回路１４によってマトリク
ス変換処理、γ処理などを行い、ＵＶ信号が生成され
る。その際、色処理回路１４の中間で生成される色差信
号により、画像が撮影された時の光源の色温度を検出す
るための色温度検出回路１６へも信号が出力される。色
温度検出回路１６は、画像信号全面にわたって色差信号
を積分する回路であり、その結果をＣＰＵ２１が読み取
り演算することにより、光源の色温度を推定することが
できるとともに、適正なホワイトバランスを行うための
ＷＢ補正係数が算出される。この係数はＷＢ回路７へＣ
ＰＵ２１によって設定される。The color signal is subjected to matrix conversion processing, gamma processing and the like by the color processing circuit 14 to generate a UV signal. At this time, a signal is also output to a color temperature detection circuit 16 for detecting a color temperature of a light source when an image is captured, based on a color difference signal generated in the middle of the color processing circuit 14. The color temperature detection circuit 16 is a circuit that integrates a color difference signal over the entire image signal. The CPU 21 reads out the result and performs an arithmetic operation to estimate the color temperature of the light source and perform appropriate white balance. Is calculated. This coefficient is transferred to the WB circuit 7 by C
This is set by the PU 21.
【００２３】図２にホワイトバランス積分処理の際の処
理画素の順番を表す概念図を示す。全画面の水平サイズ
は、遅延線用メモリのアドレス数とラスタブロック変換
用メモリのアドレス数との和に等しく、画面の左から右
まで、直線的に処理を行う。以上の動作により、ホワイ
トバランス積分処理が完了する。FIG. 2 is a conceptual diagram showing the order of processing pixels in the white balance integration processing. The horizontal size of the entire screen is equal to the sum of the number of addresses in the delay line memory and the number of addresses in the raster block conversion memory, and the processing is performed linearly from left to right on the screen. With the above operation, the white balance integration processing is completed.
【００２４】次に、メモリ１８より、前回と同じ画像デ
ータが再び読み出される。このとき、ＣＰＵ２１は「Ｊ
ＰＥＧ使用有無信号」（使用時：０、非使用時：１）と
して１を出力する。このときスイッチ２４はｂ側に接続
されているので、メモリ１８から読み出された画像デー
タは、前述と同じくクランプ回路６を経てＷＢ回路７へ
送られるが、ここでＣＰＵ２１によって設定されたＷＢ
補正係数に従って色フィルタ毎に補正され、適切なホワ
イトバランスが行われる。またＡＮＤゲート３８は常に
０を出力するようになるので、遅延線制御部８は、スイ
ッチ９〜１０を介して常に遅延線用メモリ９〜１２から
の信号のみを受け取る。Next, the same image data as the previous one is read out from the memory 18 again. At this time, the CPU 21
1 is output as a "PEG use presence / absence signal" (0 when used, 1 when not used). At this time, since the switch 24 is connected to the side b, the image data read from the memory 18 is sent to the WB circuit 7 through the clamp circuit 6 as described above, but the WB set by the CPU 21 here.
Correction is performed for each color filter according to the correction coefficient, and an appropriate white balance is performed. Further, since the AND gate 38 always outputs 0, the delay line control unit 8 always receives only signals from the delay line memories 9 to 12 via the switches 9 to 10.
【００２５】以下、遅延線制御部８、ＹＣ分離回路１３
を経て色処理回路１４によってＵＶ信号が生成される。
また、分離された輝度信号は輝度処理回路１５より輪郭
強調処理、γ処理などを行い、画像信号として使用する
ことのできる輝度信号となる。このようにして得られた
ＹＵＶ信号は、ラスタブロック変換制御部１７へ送られ
る。ここでは、ラスタ走査されるＹＵＶ信号を、水平８
画素、垂直８画素計６４画素単位のブロック走査に並べ
変える８ライン分のメモリ２３〜３０へデータを記憶さ
せて行く。Hereinafter, the delay line control unit 8 and the YC separation circuit 13
, A UV signal is generated by the color processing circuit 14.
The separated luminance signal is subjected to contour enhancement processing, γ processing, and the like by the luminance processing circuit 15 and becomes a luminance signal that can be used as an image signal. The YUV signal thus obtained is sent to the raster block conversion control unit 17. Here, the YUV signal to be raster-scanned is converted to a horizontal 8
The data is stored in the memories 23 to 30 for 8 lines which are rearranged into a block scan of a total of 64 pixels, that is, 8 pixels and 8 vertical pixels.
【００２６】処理が画面の左上の画素から始まって進行
し、水平方向の画素位置が遅延線メモリ９〜１２のアド
レス数を越えると、今度は右側を処理せず、下のライン
の処理に移る。すなわち、画面の左側だけを処理する。
これを８ライン分繰り返す。８ラインの処理が完了し、
ラスタブロック変換用メモリ２３〜３０に画面の左上８
ライン分のＹＵＶデータが蓄積されると、これをブロッ
ク順に読み出すことによりＪＰＥＧ圧縮回路１９へ送ら
れる。The process starts from the upper left pixel of the screen and proceeds. When the horizontal pixel position exceeds the number of addresses in the delay line memories 9 to 12, the right side is not processed, and the process moves to the lower line. . That is, only the left side of the screen is processed.
This is repeated for eight lines. Processing of 8 lines is completed,
The upper left 8 of the screen is stored in the raster block conversion memories 23 to 30.
When the YUV data for the line is accumulated, it is sent to the JPEG compression circuit 19 by reading it out in block order.
【００２７】ブロック走査順に変換されたＹＵＶ信号
は、ＪＰＥＧ圧縮回路１９で圧縮され、メモリ２０へ書
き込まれる。このようにして画面左上８ラインの処理／
圧縮が完了したら，続いてメモリ１８より画面の右上８
ラインの処理／圧縮を行う。これが完了したら、続いて
画面の左側９ライン目から１６ライン目の処理／圧縮
を、続いて画面の右側９ライン目から１６ライン目の処
理／圧縮を行う。これを繰り返すことにより、画面全体
の処理／圧縮を行い、各々メモリ２０へ書き込まれる。
ＣＰＵ２１はこれを読み取り、フラッシュメモリカード
２２へ記録することにより、デジタル画像を記録する。
図３は記録処理における処理順序を示す。The YUV signal converted in the block scanning order is compressed by the JPEG compression circuit 19 and written to the memory 20. In this way, the processing of the upper left 8 lines /
When the compression is completed, the memory
Perform line processing / compression. When this is completed, processing / compression of the ninth to 16th lines on the left side of the screen is performed, and processing / compression of the ninth to 16th lines on the right side of the screen are subsequently performed. By repeating this, processing / compression of the entire screen is performed, and each is written to the memory 20.
The CPU 21 reads this and records it on the flash memory card 22 to record a digital image.
FIG. 3 shows a processing order in the recording processing.
【００２８】本実施の形態により、従来例と同じ画像を
扱う場合に必要となるメモリの容量を以下に示す。水平
画素数１２８０画素の画像を扱う場合、遅延線用メモリ
９〜１２は各々１０×６４０＝６４００ｂｉｔ、遅延線
メモリ４本では計２５．６ｋｂｉｔでよい。また、ラス
タブロック変換用メモリ２３〜３０は、各々６４０×１
６＝１０２４ｂｉｔ、８ライン合計では８１．９ｋｂｉ
ｔとなり、遅延線用メモリとの合計は１０７．５ｋｂｉ
ｔとなる。According to the present embodiment, the memory capacity required when handling the same image as in the conventional example is shown below. When dealing with an image having 1280 horizontal pixels, each of the delay line memories 9 to 12 may have 10 × 640 = 6400 bits, and four delay line memories may have a total of 25.6 kbits. The raster block conversion memories 23 to 30 each store 640 × 1
6 = 1024 bits, 81.9 kbi in total of 8 lines
t, and the sum with the delay line memory is 107.5 kbi
t.
【００２９】また、本実施の形態では、ＣＣＤ３からの
画像をメモリ１８に一旦蓄積することなく、直接処理し
てＬＣＤ４２へ表示することもできる。その場合には、
スイッチ２４はａ側に接続され、ＪＰＥＧ使用有無信号
には１（非使用）が出力される。全体の動作は、前述し
たホワイトバランス積分処理の場合と同様に、遅延線用
メモリとラスタブロック変換用メモリとがＡＮＤゲート
３８により切り替えられて、図２に示すように処理が進
行する。Further, in the present embodiment, the image from the CCD 3 can be directly processed and displayed on the LCD 42 without temporarily storing it in the memory 18. In that case,
The switch 24 is connected to the a side, and 1 (not used) is output as the JPEG use presence / absence signal. In the overall operation, the memory for delay lines and the memory for raster block conversion are switched by the AND gate 38, as in the case of the above-described white balance integration processing, and the processing proceeds as shown in FIG.
【００３０】尚、記憶媒体４３は、ＣＰＵ２１による上
述した動作を行うための処理を実行するための制御プロ
グラムを格納している。この記憶媒体４３としては、半
導体メモリ、光ディスク、光磁気ディスク、磁気媒体等
を用いてよい。The storage medium 43 stores a control program for executing processing for performing the above-described operation by the CPU 21. As the storage medium 43, a semiconductor memory, an optical disk, a magneto-optical disk, a magnetic medium, or the like may be used.
【００３１】上述したように、本実施の形態において
は、ラスタブロック変換用メモリ２７〜３０へ書き込む
データを、ラスタブロック変換制御部１７から出力され
るデータと遅延線制御部８から出力されるデータとに切
り替えることができる切り替えスイッチ３１と遅延線用
メモリ９〜１２と上記ラスタブロック変換用メモリとか
ら読み出されるデータとを切り替えて遅延線制御部８に
与えることができる切り替えスイッチ３２〜３５を設け
ている。As described above, in the present embodiment, the data to be written into the raster block conversion memories 27 to 30 is the data output from the raster block conversion controller 17 and the data output from the delay line controller 8. And a switch 32 to 35 that can switch between data read out from the delay line memories 9 to 12 and the data read from the raster block conversion memory and can be provided to the delay line control unit 8. ing.
【００３２】そしてＪＰＥＧ圧縮を行う場合の第１のモ
ードでは、ラスタブロック変換制御部１７から出力され
るデータをラスタブロック変換用メモリに書き込むよう
に、また、遅延線用メモリから読み出されるデータを遅
延線制御部８に与えるように、上記各スイッチを接続
し、また、ホワイトバランス積分やＥＶＦ処理、記録レ
ビュー処理時のようなＪＰＥＧ圧縮を行わない場合の第
２モードでは、水平カウンタの値に応じて、ラスタブロ
ック変換用メモリへ書き込むデータを、ラスタブロック
変換制御部１７から出力されるデータと遅延線制御部８
から出力されるデータとに切り替え、さらに、遅延線制
御部８に与えるデータを、遅延線用メモリとラスタブロ
ック変換用メモリとから読み出されるデータとに切り替
えるように制御するようにしている。In the first mode in which JPEG compression is performed, data output from the raster block conversion control unit 17 is written to the raster block conversion memory, and data read from the delay line memory is delayed. In the second mode in which the JPEG compression is not performed, such as during white balance integration, EVF processing, and recording review processing, the switches are connected according to the value of the horizontal counter so as to be given to the line control unit 8. The data to be written to the raster block conversion memory is transferred to the data output from the raster block conversion control unit 17 and the delay line control unit 8.
To the data output from the delay line control unit 8 and to data read from the delay line memory and the raster block conversion memory.
【００３３】上記の構成、動作により、処理・ＪＰＥＧ
を行うために必要なメモリ量を減らすことができ、ＩＣ
チップのコストや消費電力の低減、装置の小型化に貢献
することができる。あるいは同じメモリ量を使用するな
らば、より大きな画像を扱うことができ、高画質化に貢
献することができる。Processing / JPEG by the above configuration and operation
The amount of memory required to perform
This can contribute to a reduction in chip cost and power consumption and a reduction in the size of the device. Alternatively, if the same memory amount is used, a larger image can be handled, which can contribute to higher image quality.
【００３４】[0034]
【発明の効果】以上説明したように、本発明によれば、
画像圧縮処理等の処理を行うモードに応じてその処理に
必要なメモリ容量を減らすことができ、これによってＩ
Ｃチップのコストや消費電力の低減及び装置の小型化を
はかることができる。また、同じメモリ量を使用するの
であれば、より大きな画像を扱うことができ、高画質化
をはかることができる。As described above, according to the present invention,
The memory capacity required for the processing such as image compression processing can be reduced in accordance with the mode in which the processing is performed.
The cost and power consumption of the C chip can be reduced, and the size of the device can be reduced. If the same amount of memory is used, a larger image can be handled, and higher image quality can be achieved.
【図１】本発明の実施の形態を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of the present invention.
【図２】ホワイトバランス処理時のメモリ使用順序を示
す構成図である。FIG. 2 is a configuration diagram illustrating a memory use order during white balance processing.
【図３】記録処理時のメモリ使用順序を示す構成図であ
る。FIG. 3 is a configuration diagram illustrating a memory use order during a recording process.
【図４】従来のデジタルカメラの構成を示すブロック図
である。FIG. 4 is a block diagram illustrating a configuration of a conventional digital camera.
【図５】色フィルタの構成図である。FIG. 5 is a configuration diagram of a color filter.
【図６】遅延線制御部の構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of a delay line control unit.
８ 遅延線制御部 ９〜１２ 遅延線用メモリ １７ ラスタブロック変換制御部 １９ ＪＰＥＧ圧縮回路 ２１ ＣＰＵ ２３〜３０ ラスタブロック変換制御部 ３１〜３５、３９ 切り替えスイッチ ３７ デコード回路 ３８ ＡＮＤゲート ４３ 記憶媒体 Reference Signs List 8 delay line control section 9-12 delay line memory 17 raster block conversion control section 19 JPEG compression circuit 21 CPU 23-30 raster block conversion control section 31-35, 39 changeover switch 37 decoding circuit 38 AND gate 43 storage medium
Claims (12)
力手段と、前記入力手段によって入力された画像信号の
複数ラインを同時化処理する同時化手段と、 上記同時化処理に用いられる遅延用の第１の記憶手段
と、 上記同時化処理された画像信号を所定画素数から成るブ
ロックにブロック化処理するブロック化手段と、 上記ブロック化処理に用いられる第２の記憶手段と、 第１のモードでは、上記同時化手段が上記第１の記憶手
段のみを用いると共に上記ブロック化手段が上記第２の
記憶手段のみを用い、第２のモードでは、上記同時化手
段が上記第１の記憶手段と上記第２の記憶手段とを用い
るように上記第１、第２の記憶手段の入出力を切り替え
る切り替え制御手段とを備えた画像処理装置。An input unit for inputting an image signal in a raster scanning sequence; a synchronizing unit for synchronizing a plurality of lines of the image signal input by the input unit; and a delay unit for use in the synchronizing process. A first storage unit, a blocking unit configured to block the synchronized image signal into blocks each having a predetermined number of pixels, a second storage unit used in the blocking process, and a first mode. Then, the synchronization means uses only the first storage means, and the blocking means uses only the second storage means. In the second mode, the synchronization means uses the first storage means and the first storage means. An image processing apparatus comprising: a switching control unit that switches input and output of the first and second storage units so as to use the second storage unit.
縮処理する圧縮手段を設け、上記第１のモードは上記圧
縮処理を行うモードであり、上記第２のモードは上記圧
縮を行わないモードであることを特徴とする請求項１記
載の画像処理装置。2. A compression means for compressing the block-processed image signal is provided, wherein the first mode is a mode for performing the compression process, and the second mode is a mode for not performing the compression. The image processing apparatus according to claim 1, wherein:
化手段から得られる信号と上記同時化手段から得られる
信号とを切り替えて上記第２の記憶手段に与える第１の
切り替え手段と、上記第１、第２の記憶手段からそれぞ
れ読み出した各信号を切り替えて上記同時化手段に与え
る第２の切り替え手段と、上記第１、第２の切り替え手
段を上記第１、第２のモードに応じて制御する制御手段
とから成ることを特徴とする請求項１記載の画像処理装
置。3. The switching control means includes: a first switching means that switches between a signal obtained from the blocking means and a signal obtained from the synchronization means and supplies the signal to the second storage means; A second switching unit that switches each signal read from the second storage unit and supplies the signal to the synchronization unit, and controls the first and second switching units according to the first and second modes. 2. The image processing apparatus according to claim 1, further comprising control means for performing the operation.
いて、上記第２の切り替え手段が水平アドレスに応じて
上記切り替えを行うように制御することを特徴とする請
求項３記載の画像処理装置。4. An image processing apparatus according to claim 3, wherein said control means controls said second switching means to perform said switching in accordance with a horizontal address in said second mode. .
手段を含むことを特徴とする請求項１記載の画像処理装
置。5. The image processing apparatus according to claim 1, wherein said input means includes an image pickup means for picking up an image of a subject.
を行うことを特徴とする請求項２記載の画像処理装置。6. The image processing apparatus according to claim 2, wherein said compression means performs JPEG-compliant image compression.
画像信号を記録媒体に記録する記録手段を備えたことを
特徴とする請求項６記載の画像処理装置。7. The image processing apparatus according to claim 6, further comprising recording means for recording the image signal compressed by said compression means on a recording medium.
複数ラインを第１の記憶手段を用いて同時化処理する同
時化処理ステップと、 上記同時化処理された画像信号を第２の記憶手段を用い
て所定画素数から成るブロックに変換するブロック化処
理ステップと、 第１のモードでは、上記同時化処理が上記第１の記憶手
段のみを用いると共に上記ブロック化処理が上記第２の
記憶手段のみを用い、第２のモードでは、上記同時化処
理が上記第１の記憶手段と上記第２の記憶手段とを用い
るように上記第１、第２の記憶手段の入出力を切り替え
る切り替え制御ステップとを有することを特徴とする画
像処理方法。8. A synchronizing processing step of synchronizing a plurality of lines of image signals input sequentially in raster scanning using a first storage means, and a second storage means for storing the synchronized image signals in a second storage means. In the first mode, the synchronization processing uses only the first storage means and the blocking processing performs the second storage means in the first mode. A switching control step of switching input and output of the first and second storage means so that the synchronization processing uses the first storage means and the second storage means in the second mode. An image processing method comprising:
複数ラインを第１の記憶手段を用いて同時化する同時化
処理と、 上記同時化処理された画像信号を第２の記憶手段を用い
て所定画素数から成るブロックに変換するブロック化処
理と、 第１のモードでは、上記同時化処理が上記第１の記憶手
段のみを用いると共に上記ブロック化処理が上記第２の
記憶手段のみを用い、第２のモードでは、上記同時化処
理が上記第１の記憶手段と上記第２の記憶手段とを用い
るように上記第１、第２の記憶手段の入出力を切り替え
る切り替え制御処理とを実行するためのプログラムを記
憶したコンピュータ読み取り可能な記憶媒体。9. A synchronizing process for synchronizing a plurality of lines of an image signal input sequentially in raster scanning using a first storage unit, and using the second storage unit for the synchronized image signal. In the first mode, the synchronization processing uses only the first storage means and the blocking processing uses only the second storage means. In the second mode, a switching control process for switching between input and output of the first and second storage units is performed such that the synchronization process uses the first storage unit and the second storage unit. Computer-readable storage medium storing a program for executing the program.
圧縮処理を設け、上記第１のモードは上記圧縮処理を行
うモードであり、上記第２のモードは上記圧縮を行わな
いモードであることを特徴とする請求項９記載のコンピ
ュータ読み取り可能な記憶媒体。10. A compression processing of the block-processed image signal is provided, wherein the first mode is a mode in which the compression processing is performed, and the second mode is a mode in which the compression is not performed. The computer-readable storage medium according to claim 9, wherein the storage medium is a computer-readable storage medium.
ク化処理により得られる信号と上記同時化処理により得
られる信号とを切り替えて上記第２の記憶処理に与える
第１の切り替え処理と、上記第１、第２の記憶手段から
それぞれ読み出した各信号を切り替えて上記同時化処理
に与える第２の切り替え処理と、上記第１、第２の切り
替え処理を上記第１、第２のモードに応じて制御する制
御処理とから成ることを特徴とする請求項９記載のコン
ピュータ読み取り可能な記憶媒体。11. The switching control process includes: a first switching process that switches between a signal obtained by the blocking process and a signal obtained by the synchronization process and provides the second storage process with the first switching process; A second switching process for switching each signal read from the second storage means and providing the same to the synchronization process, and controlling the first and second switching processes according to the first and second modes. 10. The computer-readable storage medium according to claim 9, comprising:
おいて、上記第２の切り替え処理が水平アドレスに応じ
て上記切り替えを行うように制御することを特徴とする
請求項１１記載のコンピュータ読み取り可能な記憶媒
体。12. The computer-readable computer according to claim 11, wherein the control processing controls the second switching processing to perform the switching in accordance with a horizontal address in the second mode. Storage media.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05948698A JP4181655B2 (en) | 1998-03-11 | 1998-03-11 | Image processing apparatus, image processing method, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05948698A JP4181655B2 (en) | 1998-03-11 | 1998-03-11 | Image processing apparatus, image processing method, and computer-readable storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11261949A true JPH11261949A (en) | 1999-09-24 |
| JP4181655B2 JP4181655B2 (en) | 2008-11-19 |
Family
ID=13114690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05948698A Expired - Fee Related JP4181655B2 (en) | 1998-03-11 | 1998-03-11 | Image processing apparatus, image processing method, and computer-readable storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4181655B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1320823C (en) * | 2002-07-19 | 2007-06-06 | 三星电子株式会社 | Image processing device and method |
| US7379609B2 (en) | 2002-07-19 | 2008-05-27 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for conversion between raster and block formats |
-
1998
- 1998-03-11 JP JP05948698A patent/JP4181655B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1320823C (en) * | 2002-07-19 | 2007-06-06 | 三星电子株式会社 | Image processing device and method |
| US7379609B2 (en) | 2002-07-19 | 2008-05-27 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for conversion between raster and block formats |
| US7580565B2 (en) | 2002-07-19 | 2009-08-25 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4181655B2 (en) | 2008-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3887060B2 (en) | Image correction information recording apparatus and image restoration processing apparatus for electronic still camera | |
| US5153730A (en) | Electronic still camera having two recording stages for recording still-image signals | |
| US9560256B2 (en) | Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices | |
| US7230643B2 (en) | Digital camera with electronic zooming function | |
| JPH06350907A (en) | Electronic still camera | |
| JPH06253251A (en) | Digital electronic camera device | |
| JP2001169167A (en) | Electronic camera | |
| JP4004346B2 (en) | Imaging apparatus and distortion correction method | |
| US6433821B1 (en) | Digital electronic still-video camera, and method of controlling same | |
| US7671896B2 (en) | Image sensing apparatus | |
| US7499597B2 (en) | Image processing device | |
| US6774940B1 (en) | Electronic camera apparatus having image reproducing function and method for controlling reproduction thereof | |
| JP2001203969A (en) | Image pickup device and its operation control method | |
| JP4027122B2 (en) | Imaging apparatus and control method thereof | |
| JP4181655B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| US20040169737A1 (en) | Image sensing apparatus, image sensing method, recording medium, and program | |
| JP3858447B2 (en) | Electronic camera device | |
| JP4281161B2 (en) | Electronic camera | |
| JPH1042244A (en) | Picture processor | |
| JP2000354193A (en) | Camera system and video signal processor | |
| JP2006287733A (en) | Imaging apparatus, operating method thereof, storage medium, and program | |
| JP2006197548A (en) | Imaging apparatus | |
| JP2009033438A (en) | Imaging apparatus | |
| KR100577646B1 (en) | Apparatus and method for operating memory of digital still camera | |
| JP3718239B2 (en) | Image signal processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070417 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |