JPH0385891A - Digital camera - Google Patents

Abstract

PURPOSE:To reduce the cost of the digital camera by dividing a video signal of one frame into several subframes, writing the subframes in a compact and inexpensive memory and executing the operation following matrix operation in each subframe. CONSTITUTION:A signal scanned by an image pickup element is converted into a non-interlaced signal by an non-interlace conversion circuit 1 and written in a frame memory 2 in each frame, the signal read out from the frame memory 2 is divided into subframes by a division processing circuit 3 and respective subframes are successively scanned, converted and written in the 1st subframe memory 4. The data of 2X2 picture elements in each subframe are matrixed into a brightness signal and a color difference signal by a matric operation circuit 5 while shifting the data in each picture element and written in the 2nd subframe memory 6. The band-limited brightness signal and color difference signal are subsampled by a subsampling circuit 8 and written in the 3rd subframe memory 9 and coded by a two-dimensional rectangular conversion coder 10. Since the frame memory 2 can be substituted by the subframe memories 4, 6, 9, the cost of the digital camera can be reduced.

Description

【発明の詳細な説明】 産業上の利用分野 本発明は２次元直交変換符号化を用いたディジタルカメ
ラに関するものである。DETAILED DESCRIPTION OF THE INVENTION Field of Industrial Application The present invention relates to a digital camera using two-dimensional orthogonal transform encoding.

従来の技術 第４図に従来のカメラ信号処理のブロック図を示す。撮
像素子（図示せず）からのインクレース走査された信号
１−１１　　増幅、ガンマ補正、°ホワイトバランス等
の前処理が行われた後、ノンインタレ−ス変換回路４ｔ
でノンインタレース変換の処理が行われ、第１のフレー
ムメモリ４２に書き込まれる。ここで、撮像素子は、偽
色信号に発生の少ないＳ／Ｎの良い色信号と分解能の高
い輝度信号を得るために、第５図に示すような原色フィ
ルタを用い、ノンインタレース走査変換時の隣接した任
意の２×２画素で、１つのＲ，Ｂと２つのＧ信号が納ま
るように配列されている。BACKGROUND OF THE INVENTION FIG. 4 shows a block diagram of conventional camera signal processing. An increment scanned signal 1-11 from an image sensor (not shown) is subjected to pre-processing such as amplification, gamma correction, and white balance, and then sent to a non-interlace conversion circuit 4t.
A non-interlaced conversion process is performed in step 1, and the data is written into the first frame memory 42. Here, in order to obtain a color signal with a good S/N ratio and a luminance signal with high resolution, the image sensor uses a primary color filter as shown in Fig. 5, and performs non-interlaced scan conversion. The pixels are arranged so that one R, B and two G signals can be accommodated in any 2×2 adjacent pixels.

次に、第１のフレームメモリ４２の中の２×２のマトリ
クスのＲ，Ｇ、　　Ｂから輝度信号と色差信号を得るた
めに、マトリクス演算回路４３によりマトリクス演算さ
れる。そして、水平、垂直方向に順次１画素ずつシフト
して、ラインメモリ４４に書き込まれる。ラインメモリ
４４に書き込まれた信号は、２次元ローパスフィルタ４
５により帯域制限され、サブサンプリング回路４６でサ
ブサンプリングされる。ここで、２次元ローパスフィル
タ４５は、折り返し歪みを無くすため、サブサンプリン
グのナイキスト周波数以下に帯域制限する。また、サブ
サンプリング回路４６では、輝度信号は、２：１にオフ
セットサンプリングされ、色差信号は水平、垂直方向に
２＝１（画素数の比は４：１）にサンプリングされる。Next, in order to obtain a luminance signal and a color difference signal from the 2×2 matrix of R, G, and B in the first frame memory 42, a matrix calculation circuit 43 performs a matrix calculation. Then, the pixels are sequentially shifted one pixel at a time in the horizontal and vertical directions and written into the line memory 44. The signal written in the line memory 44 is passed through the two-dimensional low-pass filter 4
5, and subsampled by a subsampling circuit 46. Here, the two-dimensional low-pass filter 45 limits the band to below the Nyquist frequency of subsampling in order to eliminate aliasing distortion. Further, in the sub-sampling circuit 46, the luminance signal is sampled with an offset of 2:1, and the color difference signal is sampled horizontally and vertically with a ratio of 2=1 (the ratio of the number of pixels is 4:1).

そして、サブサンプリングされた信号は、バッファ用の
第２のフレームメモリ４７に書き込まれ、分割処理回路
４８で複数のブロックに分割処理された後、２次元直交
変換符号器４９へ送られる。ここでいう分割処理とは、
ブロック毎に順次走査変換することであり、画面を構成
する画素のアドレス変換がおこなわれる。The subsampled signal is then written to a second frame memory 47 for buffering, divided into a plurality of blocks by a division processing circuit 48, and then sent to a two-dimensional orthogonal transform encoder 49. What is the division process here?
This is sequential scan conversion for each block, and address conversion of the pixels that make up the screen is performed.

第６図を参照、して説明すると、例えば、分割処理前（
同図（Ａ））の画素の座標を （縦、　横）＝（ｉ、ｊ） 分割処理後（同図（Ｂ））の座標を （ブロックＮｉ１．　　縦、横）：ｃ）ｃ、　　ｉ、　
　ｍ）としたとき、 ｉ＝　ｉ　ｎ　ｔ　（ｋ／ＫＨ）　ＸＬ＋１ｊ　＝ｍｏ
　ｄ　（ｋ／ＫＨ）　ＸＭ＋ｍの関係が成り立つ。従っ
て、分割処理とはアドレス変換を行うことであるから分
割処理前のアドレスをｎ’、分割処理後のアドレスをｎ
２とするとｎ＋＝ｉ＋Ｊ＋ｊ ｎａ”　　ｒｉ　　ｎ　ｔ　　（ｋ／ＫＩ４）ＸＬ＋　
ｌ）　　ＸＪ＋　　（ｍｏ　ｄ　　（ｋ／Ｋｅ）ＸＭ＋
ｍ）となる。To explain with reference to FIG. 6, for example, before division processing (
The coordinates of the pixel in (A) of the same figure are (vertical, horizontal) = (i, j) The coordinates of the pixel after the division process ((B) of the same figure) are (block Ni1. vertical, horizontal): c) c, i,
m), then i= i n t (k/KH) XL+1j =mo
The relationship d (k/KH) XM+m holds true. Therefore, since dividing processing means performing address conversion, the address before dividing processing is n', and the address after dividing processing is n'.
2, n+=i+J+j na”ri n t (k/KI4)XL+
l) XJ+ (mod (k/Ke)XM+
m).

発明が解決しようとする課題 しかしながら上記従来の構成では、ノンインタレース回
路の後段と２次元直交変換符号器の前段にフレームメモ
リ、及びマトリクス演算回路の後段には輝度信号用及び
色差信号用のラインメモリと大容量メモリが多数必要と
なり、コスト削減において重要な課題となっていた。Problems to be Solved by the Invention However, in the above conventional configuration, a frame memory is provided after the non-interlace circuit and before the two-dimensional orthogonal transform encoder, and lines for luminance signals and color difference signals are provided after the matrix calculation circuit. This required a large amount of memory and large-capacity memory, making cost reduction an important issue.

課題を解決するための手段 上記課題を解決するために本発明のディジタルカメラは
、第１のサブフレームメモリの出力である映像信号を輝
度成分と色成分に分けるマトリクス演算手段の前段に映
像信号を複数のザブフレームに分割する分割手段と、前
記分割手段の出力であるサブフレーム単位の映像信号を
書き込む前記第１のサブフレームメモリとを備え、後段
には前記マトリクス演算手段の出力を書き込む第２のサ
グフレームメモリと、前記第２のサブフレームメモリの
出力をサンプリングするサンプリング手段と、前記サン
プリング手段の出力を書き込む第３のサブフレームメモ
リとを具備してなるものである。Means for Solving the Problems In order to solve the above-mentioned problems, the digital camera of the present invention includes a method in which a video signal is input to a stage upstream of a matrix calculation means that divides the video signal output from the first sub-frame memory into a luminance component and a color component. The first subframe memory includes dividing means for dividing into a plurality of subframes, and the first subframe memory for writing the video signal in units of subframes which is the output of the dividing means, and the second subframe memory for writing the output of the matrix calculation means at a subsequent stage. A sag frame memory, a sampling means for sampling the output of the second subframe memory, and a third subframe memory for writing the output of the sampling means.

作用 上記した構成により本願発明のディジタルカメラは、大
容量で高価なメモリを使うフレームメモリやラインメモ
リのかわりに１フレームの映像信号をいくつかのサブフ
レームに分割し、小容量で安価なメモリに書き込み、マ
トリクス演算以降の処理をサブフレーム単位でおこなう
。Effects With the above-described configuration, the digital camera of the present invention divides one frame of video signal into several subframes, instead of using a frame memory or line memory that uses large-capacity and expensive memory, and uses a small-capacity, inexpensive memory. Processing after writing and matrix calculation is performed in subframe units.

実施例 次に、上記手段を用いた本発明の実施例を図を用いて説
明する。Embodiment Next, an embodiment of the present invention using the above means will be described with reference to the drawings.

第１図において、撮像素子（図示せず）からインクレー
ス走査された信号は、増幅、ガンマ補正。In FIG. 1, an increment scanned signal from an image sensor (not shown) is amplified and gamma corrected.

ホワイトバランス等の前処理が行われた後、ノンインタ
レース変換回路１でノンインタレース変換され、フレー
ム単位にフレームメモリ２に書き込まれる。次に、フレ
ームメモリ２から読み出された信号は、分割処理回路３
で分割処理され（分割処理された個々のフレームをサブ
フレームと呼ぶ）、サブフレーム単位に第１のサブフレ
ームメモリ４に順次走査変換され書き込まれる。After pre-processing such as white balance is performed, the non-interlace conversion circuit 1 performs non-interlace conversion, and the data is written into the frame memory 2 frame by frame. Next, the signal read from the frame memory 2 is sent to the division processing circuit 3.
(each divided frame is called a subframe), and is sequentially scan-converted and written into the first subframe memory 4 in subframe units.

ここで、サブフレームのサイズ（画素数）は、後で行わ
れる２次元直交変換のブロックに合わせるために、２次
元直交変換のサイズに対して、水平、垂直共に２の倍数
を乗じた値を選ぶ。Here, the subframe size (number of pixels) is determined by multiplying the size of the 2D orthogonal transformation by a multiple of 2 both horizontally and vertically in order to match the block of the 2D orthogonal transformation that will be performed later. choose.

また、フィルタリング等の処理を行う場合、サブフレー
ムの境界部において歪みが生じるが、これを防ぐため、
フィルタのタップ数の数の分だけサブフレームの、サイ
ズを多くして、第２図に示すサブフレーム２１のように
オーバラップして分割するのが良い。同図斜線ハツチン
グ部がオーバラップ領域である。Also, when performing processing such as filtering, distortion occurs at the boundaries of subframes, but in order to prevent this,
It is preferable to increase the size of the subframe by the number of taps of the filter, and to divide the subframes into overlapped frames like the subframe 21 shown in FIG. 2. The hatched area in the figure is the overlap area.

サブフレームの２×２画素（１つのＲ，Ｂｉ号と２つの
Ｇ信号）のデータを使って、１画素ずつシフトしながら
、輝度信号と色差信号にマトリクス演算回路５でマトリ
クス演算され、それぞれ第２のサブフレームメモリ６に
書き込まれる。第２のサブフレームメモリ６に書き込ま
れた信号は、サブサンプルした時に折り返し歪みが生じ
ないように、２次元ローパスフィルタ７により帯域制限
される。そして、帯域制限された輝度信号と色差信号は
、それぞれ、２：１と４；１にサブサンプリング回路８
でサブサンプリングされ、第３のサブフレームメモリ９
に書き込まれる。ここで第３のサブフレームメモリ９は
、第３図に示すように２次元直交変換のブロックのサイ
ズに合わせて、輝度信号ブロック３１と、色差信号ブロ
ック３２に分けて書き込む。Using the data of 2×2 pixels (one R, Bi signal and two G signals) of the subframe, the matrix calculation circuit 5 performs matrix calculation on the luminance signal and color difference signal while shifting one pixel at a time. 2 is written into the subframe memory 6. The signal written in the second subframe memory 6 is band-limited by a two-dimensional low-pass filter 7 so that aliasing distortion does not occur when subsampled. The band-limited luminance signal and color difference signal are then processed by sub-sampling circuits 8 to 2:1 and 4:1, respectively.
and the third subframe memory 9
will be written to. Here, as shown in FIG. 3, the third subframe memory 9 writes data divided into a luminance signal block 31 and a color difference signal block 32 according to the block size of the two-dimensional orthogonal transformation.

次に第３のサブフレームメモリ９に書き込まれた信号は
、それぞれブロックごとに２次元直交変換符号器１０へ
送られ、符号化される。Next, the signals written in the third subframe memory 9 are sent block by block to a two-dimensional orthogonal transform encoder 10 and encoded.

本実施例によれば上記した構成により、大容損のメモリ
であるラインメモリとフレームメモリを小容量のメモリ
に置き換えることができる。According to this embodiment, with the above-described configuration, the line memory and frame memory, which are memories with large capacity losses, can be replaced with memories with a small capacity.

発明の効果 以上のように本発明によれば、撮像信号からの映像信号
をノンインターレス変換するノンインターレス変換手段
と、前記ノンインターレス変換手段の出力である映像信
号をフレーム単位に複数のサブフレームに分割する分割
手段と、前記分割手段の出力であるサブフレーム単位の
映像信号を書き込む第１のサブフレームメモリと、前記
第１のサブフレームメモリの出力を輝度成分と色成分に
分けるマトリクス演算手段と、前記マトリクス演算手段
の出力をサブフレーム単位に書き込む第２のサブフレー
ムメモリと、前記第２のサブフレームメモリの出力を帯
域制限するディジタルフィルタと、前記ディジタルフィ
ルタの出力をサンプリングするサンプリング手段と、前
記サンプリング手段の出力を書き込む第３のサブフレー
ムメモリと、前記第３のサブフレームメモリの出力を符
号化する符号化手段とを設けることにより、従来フィル
タリングに必要とされたラインメモリと直交変換前に映
像信号のブロック化に必要とされたフレームメモリをは
るかにメモリ容蚤の少ないサブフレームメモリに置き換
えることができ、低コスト化が図れ実用上その効果は大
である。Effects of the Invention As described above, according to the present invention, there is provided a non-interlace converting means for non-interlace converting a video signal from an image pickup signal, and a plurality of video signals output from the non-interlace converting means in frame units. a dividing means for dividing into subframes; a first subframe memory for writing a video signal in units of subframes which is an output of the dividing means; and a matrix for dividing the output of the first subframe memory into a luminance component and a color component. a calculation means, a second subframe memory for writing the output of the matrix calculation means in subframe units, a digital filter for band-limiting the output of the second subframe memory, and a sampling for sampling the output of the digital filter. By providing a third subframe memory for writing the output of the sampling means, and an encoding means for encoding the output of the third subframe memory, it is possible to eliminate the need for a line memory and a line memory conventionally required for filtering. The frame memory required to block the video signal before orthogonal transformation can be replaced with a subframe memory that requires much less memory capacity, resulting in cost reduction, which has a great practical effect.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は、本発明のディジタルカメラのブロック図、第
２図はサブフレームを示した図、第３図は２次元直交変
換前の映像信号の輝度成分と色成分のブロック配列図、
第４図は従来のディジタルカメラのブロック図、第５図
は撮像素子の色フィルタの配列図、第８図は分割処理を
説明するための模式図である。 １・・・ノンインタレース変換回路、　　２・・・第１
のフレームメモリ、　　３・・・分割処理回路、　　４
・・・第ｉのサブフレームメモリ、　　５・・・マトリ
クス演算回路、　　６・・・第２のサブフレームメモリ
、　　７・・・２次元ローパスフィルタ、　　８・・・
サブサンプリング回路、　　９・・・第３のサブフレー
ムメモリ、１０・・・２次元直交変換符号器。FIG. 1 is a block diagram of the digital camera of the present invention, FIG. 2 is a diagram showing subframes, and FIG. 3 is a block arrangement diagram of luminance components and color components of a video signal before two-dimensional orthogonal transformation.
FIG. 4 is a block diagram of a conventional digital camera, FIG. 5 is an arrangement diagram of color filters of an image sensor, and FIG. 8 is a schematic diagram for explaining division processing. 1...Non-interlace conversion circuit, 2...First
frame memory, 3... division processing circuit, 4
...i-th subframe memory, 5...matrix calculation circuit, 6...second subframe memory, 7...two-dimensional low-pass filter, 8...
Subsampling circuit, 9... Third subframe memory, 10... Two-dimensional orthogonal transform encoder.

Claims (3)

【特許請求の範囲】[Claims] （１）撮像素子からの映像信号をノンインターレス変換
するノンインターレス変換手段と、前記ノンインターレ
ス変換手段の出力である映像信号をフレーム単位に複数
のサブフレームに分割する分割手段と、前記分割手段の
出力であるサブフレーム単位の映像信号を書き込む第１
のサブフレームメモリと、前記第１のサブフレームメモ
リの出力を輝度成分と色成分に分けるマトリクス演算手
段と、前記マトリクス演算手段の出力をサブフレーム単
位に書き込む第２のサブフレームメモリと、前記第２の
サブレームメモリの出力を帯域制限するディジタルフィ
ルタと、前記ディジタルフィルタの出力をサンプリング
するサンプリング手段と、前記サンプリング手段の出力
を書き込む第３のサブフレームメモリと、前記第３のサ
ブフレームメモリの出力を符号化する符号化手段とを具
備してなるディジタルカメラ。(1) non-interlace converting means for non-interlace converting a video signal from an image sensor; dividing means for dividing the video signal output from the non-interlace converter into a plurality of subframes in units of frames; The first one writes the video signal in subframe units which is the output of the dividing means.
a subframe memory; a matrix calculation means for dividing the output of the first subframe memory into a luminance component and a color component; a second subframe memory for writing the output of the matrix calculation means in subframe units; a digital filter for band-limiting the output of the second subframe memory; a sampling means for sampling the output of the digital filter; a third subframe memory for writing the output of the sampling means; A digital camera comprising: encoding means for encoding output. （２）サブフレームのサイズは、 （縦、横）＝（ｍ＊２＾ａ＋ｒ、ｎ＊２＾ａ＋ｒ）（ｐ
、ｑは整数）但し、符号化を行うブロックサイズを（ｍ
、ｎ）、ディジタルフィルタのタップ数をｒとすること
を特徴とする請求項１記載のディジタルカメラ。(2) The size of the subframe is (vertical, horizontal) = (m*2^a+r, n*2^a+r) (p
, q is an integer) However, the block size for encoding is (m
, n), and the number of taps of the digital filter is r. （３）分割手段は、隣接するサブフレームがｒ以上（ｒ
はディジタルフィルタのタップ数）画素が重なるように
１フレームの映像信号を分割することを特徴とする請求
項１記載のディジタルカメラ。(3) The dividing means is configured such that adjacent subframes are r or more (r
2. The digital camera according to claim 1, wherein one frame of the video signal is divided so that pixels (wherein is the number of taps of the digital filter) overlap each other.