JP4831006B2 - Image processing apparatus and electronic camera - Google Patents
Image processing apparatus and electronic camera Download PDFInfo
- Publication number
- JP4831006B2 JP4831006B2 JP2007192284A JP2007192284A JP4831006B2 JP 4831006 B2 JP4831006 B2 JP 4831006B2 JP 2007192284 A JP2007192284 A JP 2007192284A JP 2007192284 A JP2007192284 A JP 2007192284A JP 4831006 B2 JP4831006 B2 JP 4831006B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- compression
- processing
- frame
- compression processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置および電子カメラに関する。
The present invention relates to an image processing apparatus and an electronic camera .
一般に、カメラなどで撮影した画像を画像処理して記憶媒体に保存する手順は、先ず撮影した画像の補間処理や色処理を行い、最後に画像圧縮処理を行って記憶媒体に保存する。ところが、各部の処理速度が異なるため、遅い処理によって全体の処理速度が決まってしまうという問題がある。 In general, the procedure of processing an image captured by a camera or the like and storing it in a storage medium is to first perform interpolation processing and color processing of the captured image, and finally perform image compression processing and store it in the storage medium. However, since the processing speed of each part is different, there is a problem that the overall processing speed is determined by slow processing.
このため、全体の処理速度を向上するために、撮像素子から２系統の信号を取り出して並列処理する方法など、様々な技術が考えられている（例えば、特許文献１参照）。 For this reason, in order to improve the overall processing speed, various techniques such as a method of taking out two systems of signals from the image sensor and performing parallel processing have been considered (for example, see Patent Document 1).
また、撮影した画像を圧縮処理した時の符号量は、画像の種類によって異なる。例えば一般的に用いられている画像圧縮処理のＪＰＥＧ方式では、同じスケールファクタ（量子化テーブルに掛けて量子化ビット数を可変する圧縮パラメータ）を用いて画像圧縮を行うと、高周波成分が多い画像は符号量が多くなり、高周波成分が少ない画像では符号量は少なくなる。 Also, the amount of code when the captured image is compressed varies depending on the type of image. For example, in the commonly used JPEG method of image compression processing, when image compression is performed using the same scale factor (a compression parameter that varies the number of quantization bits applied to a quantization table), an image with many high-frequency components Increases the amount of code, and the amount of code decreases for images with few high-frequency components.
このような可変長圧縮を行う場合、メモリ量が一定の電子カメラでは、撮影する画像によって撮影可能枚数が異なり、残りの撮影可能枚数を把握できないという問題が生じる。
また、画像圧縮後の符号量が所定範囲内に収まるようにスケールファクタを予測して調整する固定長圧縮も用いられている（例えば、特許文献２参照）。
In addition, fixed-length compression is also used in which a scale factor is predicted and adjusted so that the code amount after image compression falls within a predetermined range (see, for example, Patent Document 2).
従来技術では、補間処理や色処理に対して画像圧縮処理の方が処理が重いため、処理時間が長く掛かってしまうという問題があった。また、撮像素子から２系統の信号を取り出す方法は、専用の撮像素子が必要になり、画像処理装置のコストが高くなってしまうという問題があった。さらに、画像圧縮後の符号量を所定範囲内に収めるためのスケールファクタの予測やスケールファクタを更新するタイミングなどについては詳しく検討されていなかった。 In the prior art, the image compression process is heavier than the interpolation process and the color process, so that there is a problem that it takes a long processing time. In addition, the method of taking out two systems of signals from the image sensor requires a dedicated image sensor, which increases the cost of the image processing apparatus. Furthermore, details of the prediction of the scale factor for keeping the code amount after image compression within a predetermined range, the timing for updating the scale factor, and the like have not been studied in detail.
本発明の目的は、全体の処理時間を短縮することが可能な画像処理装置および電子カメラを提供することである。
An object of the present invention is to provide an image processing device and an electronic camera which can shorten the processing time of the entire body.
請求項１に記載の画像処理装置は、連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、前記補間色処理回路で処理中および処理済の複数フレーム分の画像を巡回的に記憶する記憶部と、前記補間色処理回路で処理済のフレームの画像を前記記憶部から読み出して画像圧縮処理を行い、フレーム毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部とを有し、前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたことを特徴とする。The image processing apparatus according to
請求項８に記載の電子カメラは、被写体像を撮像して連続したフレームの画像を出力する撮像部と、請求項１から請求項７のいずれか一項に記載の画像処理装置とを備えることを特徴とする。An electronic camera according to an eighth aspect includes an imaging unit that captures a subject image and outputs a continuous frame image, and the image processing apparatus according to any one of the first to seventh aspects. It is characterized by.
本発明によれば、全体の処理時間を短縮することが可能となる。
According to the present invention, it is possible to shorten the entire processing time.
以下、図面を参照して各実施形態に係る画像処理装置を有するカメラについて説明するが、各実施形態について説明する前に、先ず従来技術による画像処理装置を有するカメラ１５１について図１０を用いて説明する。
Will be described below, but a camera having an image processing apparatus according to each embodiment with reference to the drawings, before describing the embodiments, with reference to FIG. 10 for a
カメラ１５１は、ＣＰＵ１０２に予め格納されたプログラムによって動作し、使用者の操作パネル１０３の操作に基づいて、システムバス１０４を介してカメラ１５１の各部を制御する。
The
レンズ１０５から入射した被写体光は撮像素子１０６に結像され、タイミングジェネレータ（ＴＧ）１０７のタイミングに基づいて、光を電気信号に変換する。電気信号に変換されたアナログ画像信号は、アナログフロントエンド（ＡＦＥ）１０８でノイズ除去や増幅が行われ、アナログデジタル変換部（Ａ／Ｄ）１０９でデジタル画像データに変換される。デジタル画像データは、撮影画像の生データ（ＲＡＷデータ）としてＲＡＷメモリ１１０に一時的に記憶される。
The subject light incident from the
補間色処理回路１１１は、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶する。
The interpolation
圧縮回路１１３は、メモリ１１２からＹＣｒＣｂデータを読み出して、画像圧縮処理を行う。圧縮回路１１３が生成した画像圧縮データは、使用者による操作パネル１０３からの指示や設定に応じて、メモリカードＩＦ１１４を介して接続されているメモリカード１１５に保存される。尚、ＲＡＷメモリ１１０，メモリ１１２，補間色処理回路１１１および圧縮回路１１３の間のデータの入出力は、システムバス１０４を介して行われ、ＣＰＵ１０２によって制御される。
The
次に、これらの一連の動作について図１１を用いて説明する。尚、ここでは、圧縮回路１１３は、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３として説明する。同図において、補間色処理回路１１１によって補間色処理されたＹＣｒＣｂデータは、メモリ１１２に設けられた２フレーム分の記憶エリアＹＵＶ１およびＹＵＶ２に交互に記憶される。尚、ＣＰＵ１０２は、メモリ１１２に記憶されたＹＣｒＣｂデータを読み出して、表示回路１１６を介して液晶モニタ１１７に撮影された画像を表示する。
Next, a series of these operations will be described with reference to FIG. Here, the
ＪＰＥＧエンコーダ１１３は、メモリ１１２から補間色処理されたＹＣｒＣｂデータを読み出して、画像圧縮処理を行う。この時、２フレーム分の記憶エリアＹＵＶ１およびＹＵＶ２に記憶されている補間色処理済の方のＹＣｒＣｂデータを交互に読み出して画像圧縮処理を行い、生成した１フレーム分のＪＰＥＧコードを順番にメモリ１１２の画像圧縮データの記憶エリアに記憶する。例えば、図１１において、１フレーム目がＪＰＥＧｃｏｄｅ１，２フレーム目がＪＰＥＧｃｏｄｅ２，３フレーム目がＪＰＥＧｃｏｄｅ３で、ｘフレーム目がＪＰＥＧｃｏｄｅｘとなるように画像圧縮データを記憶する。
The
次に、上記の処理と時間の関係について、図１２を用いて説明する。図１２は、補間色処理回路１１１とＪＰＥＧエンコーダ１１３との処理時間の関係を説明した図である。
Next, the relationship between the above processing and time will be described with reference to FIG. FIG. 12 is a diagram for explaining the relationship between the processing times of the interpolation
尚、一般に、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間の方が長く、画像圧縮処理がボトルネックとなって、全体の処理時間を左右する。図１２は、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したものである。 In general, the time required for the image compression processing is longer than the time required for the interpolation color processing, and the image compression processing becomes a bottleneck, which affects the entire processing time. FIG. 12 assumes that the time required for image compression processing is about 1.5 times the time required for interpolation color processing.
タイミングｔ１からタイミングｔ６までの時間は、補間色処理回路１１１が７つの画像フレームを連続して処理した場合の時間である。補間色処理回路１１１は、タイミングｔ１でフレーム５０１の画像データの補間色処理を開始し、タイミングｔ２で補間色処理を完了する。つまり、タイミングｔ２の時点で、図１１のメモリ１１２の記憶エリアＹＵＶ１に処理されたＹＣｒＣｂデータの記憶が終了し、フレーム５０１は処理済となる。
The time from the timing t1 to the timing t6 is a time when the interpolation
次に、補間色処理回路１１１は、フレーム５０１の処理が終わったタイミングｔ２から次のフレーム５０２の補間色処理を開始する。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ１に記憶された補間色処理が終了したフレーム５０１のＹＣｒＣｂデータを読み出して、ＪＰＥＧ規格に基づいた画像圧縮処理を開始する。
Next, the interpolation
ところが、先に説明したように、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらい長いので、フレーム５０２の補間色処理が先に終了する。この時点で、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ１に記憶されたフレーム５０１の画像圧縮処理中なので、補間色処理回路１１１は記憶エリアＹＵＶ１を使用することができない。タイミングｔ３で、ＪＰＥＧエンコーダ１１３はフレーム５０１の画像圧縮処理を終了し、ＪＰＥＧｃｏｄｅ１の生成を完了する。この時点で、記憶エリアＹＵＶ１が使用可能となり、補間色処理回路１１１は、次のフレーム５０３の補間色処理を開始し、処理されたＹＣｒＣｂデータを記憶エリアＹＵＶ１に書き込んでいく。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ２に記憶された補間色処理が終了したフレーム５０２のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。
However, as described above, since the time required for the image compression processing is about 1.5 times longer than the time required for the interpolation color processing, the interpolation color processing of the
ところが、フレーム５０２の場合と同様に、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらい長いので、フレーム５０３の補間色処理が先に終了する。この時点で、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ２に記憶されたフレーム５０２の画像圧縮処理中なので、補間色処理回路１１１は記憶エリアＹＵＶ２を使用することができない。このため、ＪＰＥＧエンコーダ１１３がフレーム５０２の画像圧縮処理を終了するタイミングｔ４で、補間色処理回路１１１は、次のフレーム５０４の補間色処理を開始し、処理されたＹＣｒＣｂデータを記憶エリアＹＵＶ２に書き込んでいく。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ１に記憶された補間色処理が終了したフレーム５０３のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。
However, as in the case of the
同様に、ＪＰＥＧエンコーダ１１３がフレーム５０３の画像圧縮処理を終了するタイミングｔ５で、補間色処理回路１１１は、次のフレーム５０５の補間色処理を開始し、処理されたＹＣｒＣｂデータを記憶エリアＹＵＶ１に書き込んでいく。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ２に記憶された補間色処理が終了したフレーム５０４のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。
Similarly, at the timing t5 when the
このように、補間色処理回路１１１が連続して処理すれば、点線で示したフレーム１からフレーム７までの補間色処理が行える処理時間内に、図１０の構成では、フレーム５０１から５０５の５つのフレームしか処理できない。
In this way, if the interpolation
次に、上記のような課題を解決する本発明に係る各実施形態について、順に説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を有するカメラ１０１ａの構成を示すブロック図である。カメラ１０１ａの基本構成は、先に説明した図１０のカメラ１５１と同じで、ＣＰＵ１０２に予め格納されたプログラムによって動作し、使用者の操作パネル１０３の操作に基づいて、システムバス１０４を介してカメラ１０１ａの各部を制御する。ここでは、図１０と異なる部分について説明する。
Next, each embodiment according to the present invention that solves the above problems will be described in order.
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a
図１０と異なる部分は、圧縮回路１１３と同等の圧縮回路１１３ａと１１３ｂとを設けたことで、レンズ１０５から入射した被写体光が撮像素子１０６で電気信号に変換され、ＡＦＥ１０８およびＡ／Ｄ１０９を介して撮影したデジタル画像データがＲＡＷメモリ１１０に記憶される部分までは同じである。
A difference from FIG. 10 is that
また、補間色処理回路１１１ａは、図１０の補間色処理回路１１１と同様に、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶するが、メモリ１１２への記憶の仕方が異なる。この様子を図２に示す。尚、ここでは、圧縮回路１１３ａおよび１１３ｂは、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３ａおよび１１３ｂに置き換えて説明する。補間色処理されたＹＣｒＣｂデータは、メモリ１１２に設けられた３フレーム分の記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３に巡回的に記憶される。
Similarly to the interpolation
ＪＰＥＧエンコーダ１１３ａおよびｂは、交互に、メモリ１１２から補間色処理されたＹＣｒＣｂデータを読み出して、ＪＰＥＧ規格の画像圧縮処理を行う。この時、３フレーム分の記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３に記憶されている補間色処理済のＹＣｒＣｂデータを巡回的に読み出して画像圧縮処理を行う。例えば、補間色処理回路１１１ａが記憶エリアＹＵＶ１への処理済みのデータの記憶が完了した場合は、ＪＰＥＧエンコーダ１１３ａが記憶エリアＹＵＶ１のＹＣｒＣｂデータを読み出して画像圧縮処理を行う。次に、補間色処理回路１１１ａが記憶エリアＹＵＶ２への処理済みのデータの記憶が完了した場合は、ＪＰＥＧエンコーダ１１３ｂが記憶エリアＹＵＶ２のＹＣｒＣｂデータを読み出して画像圧縮処理を行う。さらに、補間色処理回路１１１ａが記憶エリアＹＵＶ３への処理済みのデータの記憶が完了した場合は、ＪＰＥＧエンコーダ１１３ａが記憶エリアＹＵＶ３のＹＣｒＣｂデータを読み出して画像圧縮処理を行う。このように、補間色処理回路１１１ａは、記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３に処理済みのＹＣｒＣｂデータを巡回的に書き込み、同時に、記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３の中の処理済みの記憶エリアからＹＣｒＣｂデータをＪＰＥＧエンコーダ１１３ａおよびｂは交互に読み出して、画像圧縮処理を行う。
The
ＪＰＥＧエンコーダ１１３ａおよびｂが交互に生成した画像圧縮データは、例えば、１フレーム目がＪＰＥＧｃｏｄｅ１，２フレーム目がＪＰＥＧｃｏｄｅ２，３フレーム目がＪＰＥＧｃｏｄｅ３で、ｘフレーム目がＪＰＥＧｃｏｄｅｘとなるようにメモリ１１２の画像圧縮データの記憶エリアに記憶される。
The compressed image data generated alternately by the JPEG encoders 113a and 113b is compressed in the
次に、上記の処理と時間の関係について、図３を用いて説明する。図３は、補間色処理回路１１１ａとＪＰＥＧエンコーダ１１３ａおよびｂとの処理時間の関係を説明した図である。図１２と比較するために、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したもので、図１２のタイミングｔ１からタイミングｔ６までの時間は、図３のｔ１１からｔ１８までの時間に対応し、補間色処理回路１１１ａが７つの画像フレームを連続して処理した場合の時間を示している。
Next, the relationship between the above processing and time will be described with reference to FIG. FIG. 3 is a diagram for explaining the relationship between the processing time of the interpolation
補間色処理回路１１１ａは、タイミングｔ１１でフレーム２０１の画像データの補間色処理を開始し、タイミングｔ１２で補間色処理を完了する。つまり、タイミングｔ１２の時点で、図２のメモリ１１２の記憶エリアＹＵＶ１に処理されたＹＣｒＣｂデータの記憶が終了し、フレーム２０１は処理済となる。
The interpolation
次に、補間色処理回路１１１ａは、フレーム２０１の処理が終わったタイミングｔ１２から次のフレーム２０２の補間色処理を開始する。同時に、ＪＰＥＧエンコーダ１１３ａは、記憶エリアＹＵＶ１に記憶された補間色処理が終了したフレーム２０１のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。
Next, the interpolation
次に、補間色処理回路１１１ａは、フレーム２０２の処理が終わったタイミングｔ１３から次のフレーム２０３の補間色処理を開始する。同時に、ＪＰＥＧエンコーダ１１３ｂは、記憶エリアＹＵＶ２に記憶された補間色処理が終了したフレーム２０２のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。
Next, the interpolation
同様に、タイミングｔ１４では、補間色処理回路１１１ａが次のフレーム２０４の補間色処理を開始し、ＪＰＥＧエンコーダ１１３ａは、記憶エリアＹＵＶ３に記憶された補間色処理が終了したフレーム２０３の画像圧縮処理を開始する。
Similarly, at timing t14, the interpolation
以降、タイミングｔ１５では、補間色処理回路１１１ａは次のフレーム２０５の処理を開始し、ＪＰＥＧエンコーダ１１３ｂは補間色処理が終了したフレーム２０４の画像圧縮処理を開始する。タイミングｔ１６では、補間色処理回路１１１ａは次のフレーム２０６の処理を開始し、ＪＰＥＧエンコーダ１１３ａは補間色処理が終了したフレーム２０５の画像圧縮処理を開始する。タイミングｔ１７では、補間色処理回路１１１ａは次のフレーム２０７の処理を開始し、ＪＰＥＧエンコーダ１１３ｂは補間色処理が終了したフレーム２０６の画像圧縮処理を開始する。
Thereafter, at timing t15, the interpolation
このように、ＪＰＥＧエンコーダ１１３ａが画像圧縮処理を行っている場合は、ＪＰＥＧエンコーダ１１３ｂが画像圧縮処理を行い、逆に、ＪＰＥＧエンコーダ１１３ｂが画像圧縮処理を行っている場合は、ＪＰＥＧエンコーダ１１３ａが画像圧縮処理を行うので、補間色処理回路１１１ａはフレーム２０１から２０７の７つのフレームを連続して処理することができる。
Thus, when the
尚、本実施形態の説明では、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の長さとしたが、例えば、２．５倍程度の場合は、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納する記憶エリアを４フレーム分（ＹＵＶ１，ＹＵＶ２，ＹＵＶ３およびＹＵＶ４）と、ＪＰＥＧエンコーダを３つ設けることにより、３つのＪＰＥＧエンコーダが巡回的に、４フレーム分の記憶エリアから補間色処理済みのＹＣｒＣｂデータを処理済みのものから順番に読み出して画像圧縮処理することにより実現できる。 In the description of the present embodiment, the time required for the image compression processing is about 1.5 times longer than the time required for the interpolation color processing. For example, when the time is about 2.5 times, the interpolation color processing circuit is used. The storage area for storing YCrCb data that has undergone interpolation color processing in (4) (YUV1, YUV2, YUV3, and YUV4) and three JPEG encoders are provided, so that three JPEG encoders store four frames cyclically. This can be realized by reading out the YCrCb data having undergone interpolation color processing from the area in order from the processed data and performing image compression processing.
つまり、圧縮回路の個数は次の式で計算できる。圧縮回路の個数＝（画像圧縮回路の１フレームの処理時間）÷（補間色処理回路の１フレームの処理時間）の計算値を切り上げた整数値。例えば、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の時、圧縮回路の個数は２個となり、２．５倍の時は３個、３．５倍の時は４個のように計算できる。尚、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納する記憶エリアの数は、圧縮回路の個数＋１個の記憶エリアが少なくとも必要である。 That is, the number of compression circuits can be calculated by the following equation. The number of compression circuits = an integer value obtained by rounding up the calculated value of (processing time of one frame of image compression circuit) / (processing time of one frame of interpolation color processing circuit). For example, when the time required for image compression processing is about 1.5 times the time required for interpolation color processing, the number of compression circuits is 2, and when 2.5 times is 3 times, when 3.5 times Can be calculated as four. The number of storage areas for storing YCrCb data subjected to interpolation color processing by the interpolation color processing circuit needs to be at least the number of compression circuits + 1.
このように、図１０の場合は、補間色処理回路１１１が７つのフレームを連続して処理する時間に、図１０の場合は５フレームの補間色処理と、約４フレームの画像圧縮データしか生成できなかったが、本実施形態の図３では７フレームの補間色処理と、約６フレームの画像圧縮データを生成することができる。
Thus, in the case of FIG. 10, the interpolation
（第２の実施形態）
次に、第２の実施形態に係る画像処理装置を有するカメラ１０１ｂのブロック図を図４に示す。カメラ１０１ｂの基本構成は、第１の実施形態の図１のカメラ１０１と同じであるが、補間色処理回路１１１ｂと圧縮回路１１３ｃおよび１１３ｄとの間にバッファ１１８ａおよび１１８ｂをそれぞれ設けた構成になっている。つまり、補間色処理回路１１１ｂと、圧縮回路１１３ｃおよび１１３ｄとが、システムバス１０４とは別に、バッファ１１８ａおよび１１８ｂを介して直接接続された構成になっている。
(Second Embodiment)
Next, FIG. 4 shows a block diagram of a
同図において、レンズ１０５から入射した被写体光が撮像素子１０６で電気信号に変換され、ＡＦＥ１０８およびＡ／Ｄ１０９を介して撮影したデジタル画像データがＲＡＷメモリ１１０に記憶される部分までは、第１の実施形態と同じである。
In the same figure, the subject light incident from the
その後、補間色処理回路１１１ｂは、図１０の補間色処理回路１１１と同様に、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶すると共に、補間色処理しているフレームの一部の処理済みデータをバッファ１１８ａおよび１１８ｂに記憶する。
After that, the interpolation
一方、圧縮回路１１３ｃおよび１１３ｄは、バッファ１１８ａおよび１１８ｂに記憶された処理済みデータを読み出して画像圧縮処理を行い、システムバス１０４を介してメモリ１１２の画像圧縮データの記憶エリアに記憶する。この様子を図５に示す。尚、第１の実施形態と同様に、ここでは、圧縮回路１１３ｃおよび１１３ｄを、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３ｃおよび１１３ｄに置き換えて説明する。
On the other hand, the
図５において、補間色処理されたＹＣｒＣｂデータは、図１１と同様に、メモリ１１２に設けられた２フレーム分の記憶エリアＹＵＶ１およびＹＵＶ２に交互に記憶される。同時に、補間色処理されたＹＣｒＣｂデータの一部は、バッファ１１８ａおよび１１８ｂに記憶される。ここで、バッファ１１８ａは記憶エリアＹＵＶ１に記憶されるフレームに対応し、バッファ１１８ｂは記憶エリアＹＵＶ２に記憶されるフレームに対応する。
In FIG. 5, the YCrCb data that has undergone interpolation color processing is alternately stored in the storage areas YUV1 and YUV2 for two frames provided in the
ＪＰＥＧエンコーダ１１３ｃおよび１１３ｄは、バッファ１１８ａおよび１１８ｂに画像圧縮処理可能なデータ量が溜まり次第、画像圧縮処理を起動する。
The
ここで、画像圧縮処理可能なデータ量について説明する。一般に、本実施形態のようなＪＰＥＧ規格の画像圧縮処理を行う場合、画像圧縮処理可能なデータ量は、ＹＣｒＣｂデータ（ＹＵＶデータ）のＹとＵＶとの画素数比率によって異なる。例えば、ＹＵＶ４２２と称される画像データは、横方向の画素数において、Ｙデータの２画素分がＵおよびＶデータの１画素分に間引かれている。一方、ＪＰＥＧ規格の圧縮処理は、ＹとＵとＶのそれぞれに対して、８×８画素の単位で離散コサイン変換が行われるので、ＵおよびＶデータが水平方向に８画素が揃うには、横方向１６画素で縦方向８画素の１６×８画素の処理単位が最低限必要である。 Here, the amount of data that can be subjected to image compression processing will be described. In general, when JPEG standard image compression processing as in the present embodiment is performed, the amount of data that can be subjected to image compression processing varies depending on the ratio of the number of Y and UV pixels in YCrCb data (YUV data). For example, in image data called YUV422, two pixels of Y data are thinned out by one pixel of U and V data in the number of pixels in the horizontal direction. On the other hand, in the compression processing of the JPEG standard, discrete cosine transform is performed in units of 8 × 8 pixels for each of Y, U, and V, so that U and V data are aligned in 8 pixels in the horizontal direction. A processing unit of 16 × 8 pixels of 16 pixels in the horizontal direction and 8 pixels in the vertical direction is at least necessary.
実際には、バッファ１１８ａおよび１１８ｂの切替時間や読み書きの時間が必要なので、複数の処理単位が必要となる。現実的には、例えば、８ライン分のバッファ１１８ａおよび１１８ｂを備えるのが好ましい。この場合、横方向の画素数が１６００画素の場合は、１６００÷１６＝１００の処理単位を確保できることになる。
Actually, since the switching time of the
図５において、ＪＰＥＧエンコーダ１１３ｃおよびｄが交互に生成した画像圧縮データは、第１の実施形態と同様に、１フレーム目がＪＰＥＧｃｏｄｅ１，２フレーム目がＪＰＥＧｃｏｄｅ２，３フレーム目がＪＰＥＧｃｏｄｅ３で、ｘフレーム目がＪＰＥＧｃｏｄｅｘとなるようにメモリ１１２の画像圧縮データの記憶エリアに記憶される。
In FIG. 5, the compressed image data generated alternately by the
次に、上記の処理と時間の関係について、図６を用いて説明する。図６は、補間色処理回路１１１ｂとＪＰＥＧエンコーダ１１３ｃおよび１１３ｄとの処理時間の関係を説明した図である。図１２および図３と比較するために、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したもので、図１２のタイミングｔ１からタイミングｔ６までの時間は、図６のタイミングｔ２１からタイミングｔ２８までの時間に相当し、補間色処理回路１１１ｂが７つの画像フレームを連続して処理した場合の時間を示している。また、時間ｔａは、画像圧縮処理可能なデータ量が溜まる時間を示しており、ここでは８ライン分のデータ量が溜まるまでの補間色処理回路１１１ｂの処理時間に相当する。
Next, the relationship between the above processing and time will be described with reference to FIG. FIG. 6 is a diagram for explaining the relationship between the processing times of the interpolation
図６において、補間色処理回路１１１ｂは、タイミングｔ２１でフレーム３０１の画像データの補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ１およびバッファ１１８ａに記憶していく。タイミングｔ１から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｃが起動され、バッファ１１８ａに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ１を生成し始める。
In FIG. 6, the interpolation
タイミングｔ２２で、補間色処理回路１１１ｂは、フレーム３０１の１フレーム分の補間色処理を完了すると同時に、フレーム３０２の補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ２およびバッファ１１８ｂに記憶していく。タイミングｔ２２から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｄが起動され、バッファ１１８ｂに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ２を生成し始める。
At the timing t22, the interpolation
次のタイミングｔ２３で、補間色処理回路１１１ｂは、フレーム３０２の１フレーム分の補間色処理を完了すると同時に、フレーム３０３の補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ１およびバッファ１１８ａに記憶していく。タイミングｔ２３から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｃが起動され、バッファ１１８ａに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ３を生成し始める。
At the next timing t23, the interpolation
以下同様に、タイミングｔ２４，ｔ２５，ｔ２６およびｔ２７において、それぞれのタイミングから時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｃまたは１１３ｄが起動され、バッファ１１８ａまたは１１８ｂに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ４から７を生成する。
Similarly, at timings t24, t25, t26, and t27, when the time ta has elapsed from the respective timings, the
このように、補間色処理回路１１１ｂが１フレーム全体の処理を終えなくても、バッファ１１８ａまたは１１８ｂに記憶された処理済みのデータを用いて画像圧縮処理を行うことができる。また、第１の実施形態と同様に、ＪＰＥＧエンコーダ１１３ｃが前のフレームの画像圧縮処理を行っている間に、ＪＰＥＧエンコーダ１１３ｄが次のフレームの画像圧縮処理を行い、逆に、ＪＰＥＧエンコーダ１１３ｄが前のフレームの画像圧縮処理を行っている間に、ＪＰＥＧエンコーダ１１３ｃが次のフレームの画像圧縮処理を行うので、１フレームの画像圧縮処理の時間が１フレームの補間色処理の時間より長い場合でも、補間色処理回路１１１ｂはフレーム３０１から３０７の７つのフレームを連続して処理することができる。
As described above, even if the interpolation
尚、本実施形態の説明では、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の長さとしたが、例えば、２．５倍程度の場合は、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納するバッファとＪＰＥＧエンコーダをそれぞれ３つ設けることにより、３つのＪＰＥＧエンコーダが巡回的に、３つのバッファから補間色処理済みのＹＣｒＣｂデータを読み出して画像圧縮処理することにより実現できる。
In the description of the present embodiment, the time required for the image compression processing is about 1.5 times longer than the time required for the interpolation color processing. For example, when the time is about 2.5 times, the interpolation color processing circuit is used. By providing three buffers and JPEG encoders for storing YCrCb data subjected to interpolation color processing in
つまり、バッファおよび圧縮回路の個数は次の式で計算できる。バッファおよび圧縮回路の個数＝（画像圧縮回路の１フレームの処理時間）÷（補間色処理回路の１フレームの処理時間）の計算値を切り上げた整数値。例えば、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の時、バッファおよび圧縮回路の個数は２個となり、２．５倍の時は３個、３．５倍の時は４個のように計算できる。尚、補間色処理回路で処理したＹＣｒＣｂデータを格納する記憶エリアの数は変わらないが、補間色処理回路は、バッファの数と同数のフレームのデータを巡回的にバッファに記憶する必要がある。 That is, the number of buffers and compression circuits can be calculated by the following equation. Number of buffers and compression circuits = an integer value obtained by rounding up the calculated value of (processing time of one frame of image compression circuit) / (processing time of one frame of interpolation color processing circuit). For example, when the time required for the image compression processing is about 1.5 times the time required for the interpolation color processing, the number of buffers and compression circuits is two. When the time is 2.5 times, three and 3.5 times. In case of, it can be calculated as four. Although the number of storage areas for storing YCrCb data processed by the interpolation color processing circuit does not change, the interpolation color processing circuit needs to cyclically store data of the same number of frames as the number of buffers in the buffer.
このように、第１の実施形態の図３の場合は、７フレームの補間色処理を行う間に、約６フレームの画像圧縮データを生成することができたが、本実施形態では約７フレームの画像圧縮データを生成することができる。また、補間色処理したＹＣｒＣｂデータを格納するメモリ１１２内の記憶エリアを、第１の実施形態に比べて１フレーム分少なくすることができ、補間色処理を連続して行いながら、メモリのコストを削減することが可能となる。
As described above, in the case of FIG. 3 of the first embodiment, the image compression data of about 6 frames can be generated while the interpolation color processing of 7 frames is performed, but in this embodiment, about 7 frames. It is possible to generate compressed image data. Further, the storage area in the
尚、本実施形態ではバッファ１１８ａおよび１１８ｂを設けたが、補間色処理したＹＣｒＣｂデータを格納するメモリ１１２内の記憶エリアに画像圧縮処理可能なデータ量が溜まり次第、圧縮回路１１３ｃおよび１１３ｄがこのデータを読み出して画像圧縮処理するようにしても構わない。
Although the
（第３の実施形態）
次に、第３の実施形態に係る画像処理装置を有するカメラ１０１ｃのブロック図を図７に示す。カメラ１０１ｃの基本構成は、第２の実施形態の図４のカメラ１０１ｂと同じであるが、圧縮回路１１３ｅおよび１１３ｆの出力がデータ並べ替え用バッファ１１９を介してシステムバス１０４に接続された構成になっている。
(Third embodiment)
Next, a block diagram of a
同図において、レンズ１０５から入射した被写体光が撮像素子１０６で電気信号に変換され、ＡＦＥ１０８およびＡ／Ｄ１０９を介して撮影したデジタル画像データがＲＡＷメモリ１１０に記憶される部分までは、第１および第２の実施形態と同じである。
In the same figure, the subject light incident from the
その後、補間色処理回路１１１ｃは、図１０の補間色処理回路１１１と同様に、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶すると共に、補間色処理しているフレームの一部の処理済みデータをバッファ１１８ａおよび１１８ｂに記憶する。
After that, the interpolation
一方、圧縮回路１１３ｅおよび１１３ｆは、バッファ１１８ａおよび１１８ｂに記憶された処理済みデータを所定のデータ量毎（処理単位毎）に読み出して画像圧縮処理を行い、データ並べ替え用バッファ１１９に記憶する。ここで、データ並べ替え用バッファ１１９に記憶する際に、圧縮回路１１３ｅおよび１１３ｆが出力する画像圧縮データを交互に並べ替えて記憶する。その後、並べ替えられた１フレーム分の画像圧縮データは、第１および第２の実施形態と同様に、システムバス１０４を介してメモリ１１２の画像圧縮データの記憶エリアに記憶される。尚、この時、データ並べ替え用バッファ１１９に記憶する際に並べ替えるのではなく、ＣＰＵ１０２がデータ並べ替え用バッファ１１９から画像圧縮データを読み出す際に、画像圧縮データを並べ替えて読み出し、メモリ１１２の画像圧縮データの記憶エリアに記憶するようにしても構わない。
On the other hand, the
次に、これらの一連の様子を図８を用いて説明する。尚、第１および第２の実施形態と同様に、ここでは、圧縮回路１１３ｅおよび１１３ｆを、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３ｅおよび１１３ｆに置き換えて説明する。
Next, a series of these states will be described with reference to FIG. Note that, similarly to the first and second embodiments, here, the
図８において、補間色処理回路１１１ｃが出力するＹＣｒＣｂデータは、メモリ１１２に設けられた１フレーム分の記憶エリアＹＵＶ１に記憶される。同時に、補間色処理されたＹＣｒＣｂデータの一部は、第２の実施形態と同様に、バッファ１１８ａおよび１１８ｂに記憶される。ここで、記憶エリアＹＵＶ１に記憶されるフレームは、複数の部分に分割され、部分毎にバッファ１１８ａおよびバッファ１１８ｂに交互に記憶される。ここで、分割する部分は、例えば、８ライン毎，１６ライン毎などである。従って、バッファ１１８ａおよびバッファ１１８ｂに記憶容量は、少なくとも、分割された部分を記憶できる容量であればよい。
In FIG. 8, the YCrCb data output from the interpolation
ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆは、バッファ１１８ａおよび１１８ｂに画像圧縮処理可能なデータ量が溜まり次第、画像圧縮処理を起動する。尚、画像圧縮処理可能なデータ量は、第２の実施形態と同じで、例えば、ＹＵＶ４２２の場合は横方向１６画素で縦方向８画素の１６×８画素の処理単位が画像圧縮処理可能なデータ量となる。
The
次に、上記の処理と時間の関係について、図９を用いて説明する。図９は、補間色処理回路１１１ｃとＪＰＥＧエンコーダ１１３ｅおよび１１３ｆとの処理時間の関係を説明した図である。図１２，図３および図６と比較するために、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したもので、図１２のタイミングｔ１からタイミングｔ６までの時間は、図９のタイミングｔ３１からタイミングｔ３８までの時間に相当し、補間色処理回路１１１ｃが７つの画像フレームを連続して処理した場合の時間を示している。また、時間ｔａは、画像圧縮処理可能なデータ量が溜まる時間を示しており、ここでは８ライン分のデータ量が溜まるまでの補間色処理回路１１１ｃの処理時間に相当する。
Next, the relationship between the above processing and time will be described with reference to FIG. FIG. 9 is a diagram illustrating the relationship between the processing times of the interpolation
図９において、補間色処理回路１１１ｃは、タイミングｔ３１でフレーム４０１の画像データの補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ１およびバッファ１１８ａに記憶していく。タイミングｔ３１から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｅが起動され、バッファ１１８ａに記憶されたデータの画像圧縮処理を開始し、ＪＰＥＧｃｏｄｅ１を部分的に生成し始める。
In FIG. 9, the interpolation
一方、タイミングｔ３１から時間ｔａが経過した時点で、補間色処理回路１１１ｃは、フレーム４０１の画像データの補間色処理したデータをメモリ１１２の記憶エリアＹＵＶ１に引き続き記憶しながら、今度はバッファ１１８ｂに記憶していく。タイミングｔ３１から時間ｔａ×２が経過した時点で、今度はＪＰＥＧエンコーダ１１３ｆが起動され、バッファ１１８ｂに記憶されたデータの画像圧縮処理を開始し、ＪＰＥＧｃｏｄｅ１を部分的に生成し始める。
On the other hand, when the time ta elapses from the timing t31, the interpolation
同様に、時間ｔａが経過する毎に（或いは、補間色処理回路１１１ｃが所定の部分を処理する毎に）、補間色処理回路１１１ｃは処理したデータをバッファ１１８ａおよび１１８ｂに交互に記憶し、ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆは、それぞれのバッファ１１８ａおよび１１８ｂから画像圧縮可能なデータ量を読み出して、画像圧縮処理を行い、画像圧縮データをデータ並べ替え用バッファ１１９に記憶する。このようにして、ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆは、ＪＰＥＧｃｏｄｅ１が処理単位毎に交互に分割された画像圧縮データＪＰＥＧｃｏｄｅ１（４０８）とＪＰＥＧｃｏｄｅ１（４０９）とをデータ並べ替え用バッファ１１９に出力する。
Similarly, whenever the time ta elapses (or every time the interpolation
ここで、ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆが交互に生成した画像圧縮データは、第２の実施形態とは異なり、例えば、１フレーム目のＪＰＥＧｃｏｄｅ１が、画像圧縮できる処理単位毎に分割されて交互に出力される。仮に、ＪＰＥＧｃｏｄｅ１がＪＰＥＧｃｏｄｅ１−１，ＪＰＥＧｃｏｄｅ１−２，ＪＰＥＧｃｏｄｅ１−３，ＪＰＥＧｃｏｄｅ１−４の４つの処理単位に分割されていたとすると、ＪＰＥＧエンコーダ１１３ｅがＪＰＥＧｃｏｄｅ１−１を出力し、次にＪＰＥＧエンコーダ１１３ｆがＪＰＥＧｃｏｄｅ１−２を出力し、次にＪＰＥＧエンコーダ１１３ｅがＪＰＥＧｃｏｄｅ１−３を出力し、次にＪＰＥＧエンコーダ１１３ｆがＪＰＥＧｃｏｄｅ１−４を出力する。データ並べ替え用バッファ１１９では、これらの分割されて交互に出力される画像圧縮データＪＰＥＧｃｏｄｅ１−１，ＪＰＥＧｃｏｄｅ１−２，ＪＰＥＧｃｏｄｅ１−３，ＪＰＥＧｃｏｄｅ１−４を並べ替え、各圧縮画像データを連続的につなぎ合わせることで、１フレーム分の画像圧縮データＪＰＥＧｃｏｄｅ１を生成する。データ並べ替え用バッファ１１９に生成された１フレーム目の画像圧縮データＪＰＥＧｃｏｄｅ１は、第１および第２の実施形態と同様に、メモリ１１２の画像圧縮データの記憶エリアに記憶される。
Here, the image compression data alternately generated by the JPEG encoders 113e and 113f is different from the second embodiment, and for example, the
タイミングｔ３２においても、タイミングｔ３１の場合と同様に、補間色処理回路１１１ｃは、フレーム４０２の画像データの補間色処理を行い、タイミングｔ３２から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｅが起動され、さらに時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｆが起動されて、それぞれＪＰＥＧｃｏｄｅ２を部分的に生成し、データ並べ替え用バッファ１１９で１フレーム分の画像圧縮データＪＰＥＧｃｏｄｅ２を生成する。
Also at the timing t32, as in the timing t31, the interpolation
以下同様に、タイミングｔ３３ではフレーム４０３の画像データが処理されて画像圧縮データＪＰＥＧｃｏｄｅ３が生成され、タイミングｔ３４ではフレーム４０４の画像データが処理されて画像圧縮データＪＰＥＧｃｏｄｅ４が生成され、タイミングｔ３５ではフレーム４０５の画像データから画像圧縮データＪＰＥＧｃｏｄｅ５が、タイミングｔ３６ではフレーム４０６の画像データから画像圧縮データＪＰＥＧｃｏｄｅ６が、タイミングｔ３７ではフレーム４０７の画像データから画像圧縮データＪＰＥＧｃｏｄｅ７が、それぞれ生成される。
Similarly, at timing t33, the image data of
尚、本実施形態ではデータ並べ替え用バッファ１１９を設けたが、メモリ１１２内で分割された画像圧縮データの並べ替えを行うようにしても構わない。
In this embodiment, the
また、本実施形態の説明では、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の長さとしたが、例えば、２．５倍程度の場合は、第２の実施形態と同様に、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納するバッファとＪＰＥＧエンコーダをそれぞれ３つ設けることにより、１フレームの画像データを処理単位毎に巡回的に３分割して、３つのＪＰＥＧエンコーダが画像圧縮処理することにより実現できる。尚、この場合は、データ並べ替え用バッファ１１９は３分割して出力される画像圧縮データを並べ替えて、１フレーム分の画像圧縮データに変換する。
In the description of the present embodiment, the time required for the image compression processing is about 1.5 times longer than the time required for the interpolation color processing. Similarly to the embodiment, by providing three buffers each storing YCrCb data subjected to interpolation color processing by the interpolation color processing circuit and three JPEG encoders, one frame of image data is cyclically divided into three for each processing unit. This can be realized by image compression processing by two JPEG encoders. In this case, the
本実施形態でのバッファおよび圧縮回路の個数は次の式で概算できる。バッファおよび圧縮回路の個数≒（画像圧縮回路の１フレームの処理時間）÷（補間色処理回路の１フレームの処理時間）の計算値を切り上げた整数値。例えば、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の時、バッファおよび圧縮回路の個数は２個となり、２．５倍の時は３個、３．５倍の時は４個のように概算できる。尚、上式は図９の時間ｔａ≒０とした場合で、時間ｔａが全体の処理時間に対して十分に短い場合に成立する。 The number of buffers and compression circuits in this embodiment can be estimated by the following equation. An integer value obtained by rounding up the calculated value of the number of buffers and compression circuits≈ (processing time of one frame of the image compression circuit) ÷ (processing time of one frame of the interpolation color processing circuit). For example, when the time required for the image compression processing is about 1.5 times the time required for the interpolation color processing, the number of buffers and compression circuits is two. When the time is 2.5 times, three and 3.5 times. In the case of, it can be estimated as four. The above equation is established when time ta≈0 in FIG. 9 and when time ta is sufficiently short with respect to the entire processing time.
このように、本実施形態では、補間色処理回路１１１ｃが１フレーム全体の処理を終えなくても、バッファ１１８ａまたは１１８ｂに記憶された処理済みのデータを用いて画像圧縮処理を行うことができる。しかも、１つのフレームを分割して２つのＪＰＥＧエンコーダ１１３ｅおよびＪＰＥＧエンコーダ１１３ｆで画像圧縮処理を行うので、補間色処理回路１１１ｃの処理時間とほぼ同じ処理時間で画像圧縮処理を終えることができる。
As described above, in the present embodiment, even when the interpolation
（第４の実施形態）
次に、第４の実施形態に係る画像処理装置を有するカメラについて説明する。尚、本実施形態のカメラの基本構成は、第１の実施形態の図１のカメラ１０１ａと同じである。また、補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂがメモリ１１２を介してデータを入出力する構成を示す図２も第１の実施形態と同じである。
(Fourth embodiment)
Next, a camera having the image processing apparatus according to the fourth embodiment will be described. Note that the basic configuration of the camera of this embodiment is the same as that of the
本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂが画像圧縮処理を行う際に、圧縮後の符号量が所定範囲内に収まるようにする固定長圧縮を行う。一般に、ＪＰＥＧ規格の画像圧縮処理は、８×８画素程度の画素ブロック毎にＤＣＴ（離散コサイン変換）などの直交変換を行って、画像データを空間周波数成分データに変換する。さらに、空間周波数成分毎の量子化係数で定義した量子化テーブルを用いて、量子化を行う。量子化ビット数が多いほど画像は精細になるが、圧縮処理後の符号量も多くなるので、固定長圧縮を行う場合は量子化テーブルにスケールファクタと呼ばれる係数を乗算して割り当てる量子化ビット数を調整する処理が行われる。その後、調整した量子化テーブルを用いてＤＣＴ変換された空間周波数成分データを量子化する。つまり、（ＤＣＴ係数）÷（量子化テーブル×スケールファクタ）の計算により量子化される。量子化されたデータはジグザグスキャンによる一次元化の後、ハフマン符号化などの可変長符号化が行われ、画像圧縮処理が完了する。
In the present embodiment, when the
ところが、圧縮後の符号量は、一度、圧縮を行ってみる必要があり、本実施形態では、図１３のように処理する。図１３は、１フレーム目（１ｆ）から８フレーム目（８ｆ）までの連続するフレームを圧縮処理する場合の補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂの処理期間と、メモリ１１２内のバッファＹＵＶ１，ＹＵＶ２，ＹＵＶ３の使用期間の時間関係を示した図である。尚、３フレーム目（３ｆ）と４フレーム目（４ｆ）との間、４フレーム目（４ｆ）と５フレーム目（５ｆ）との間に、それぞれ空き期間があるが、バッファＹＵＶ１，ＹＵＶ２，ＹＵＶ３が空くまでの補間色処理回路１１１ａの処理待ち時間である。実際には、この期間に撮影された画像は、図１のＲＡＷメモリ１１０にバッファされている。
However, the code amount after compression needs to be compressed once, and is processed as shown in FIG. 13 in this embodiment. FIG. 13 shows processing periods of the interpolation
また、本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用い、ＪＰＥＧエンコーダ１１３ａはスケールファクタＳａを、ＪＰＥＧエンコーダ１１３ｂはスケールファクタＳｂをそれぞれ使用する。また、各スケールファクタの記憶領域はメモリ１１２内に確保されている。尚、一連の画像の圧縮処理を開始する際には、予め定義されたスケールファクタＳａの初期値およびスケールファクタＳｂの初期値がそれぞれの設定され、一連の画像の圧縮処理を行っている間は、画像の圧縮処理毎にその符号量から次に圧縮処理する時のスケールファクタＳａおよびスケールファクタＳｂを予測して、それぞれのスケールファクタＳａおよびスケールファクタＳｂを更新する。
In this embodiment, the
図１３において、１フレーム目（１ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４１〜ｔ４２の期間にバッファＹＵＶ１を用いて行われる。１フレーム目（１ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ａはタイミングｔ４２〜ｔ４５の期間にバッファＹＵＶ１を用いて１フレーム目（１ｆ）の画像圧縮処理を行う。
In FIG. 13, the interpolation color processing of the first frame (1f) is performed by the interpolation
先ず、ＪＰＥＧエンコーダ１１３ａは、最初に設定された初期値のスケールファクタＳａを用いて、初期タイミングｔ４２〜ｔ６１の期間に１フレーム目（１ｆ）の画像の１回目の圧縮処理（予備圧縮処理）を行う。次に、ＪＰＥＧエンコーダ１１３ａは、１回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。
First, the
タイミングｔ６１〜ｔ４５の期間では、ＪＰＥＧエンコーダ１１３ａは、更新されたスケールファクタＳａを用いて、１フレーム目（１ｆ）の画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。
In the period from timing t61 to t45, the
同様に、２フレーム目（２ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４２〜ｔ４３の期間にバッファＹＵＶ２を用いて行われる。２フレーム目（２ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂはタイミングｔ４３〜ｔ４７の期間にバッファＹＵＶ２を用いて２フレーム目（２ｆ）の画像圧縮処理を行う。
Similarly, the interpolation color processing of the second frame (2f) is performed by the interpolation
先ず、ＪＰＥＧエンコーダ１１３ｂは、最初に設定された初期値のスケールファクタＳｂを用いて、初期タイミングｔ４３〜ｔ６２の期間に２フレーム目（２ｆ）の画像の１回目の圧縮処理（予備圧縮処理）を行う。次に、ＪＰＥＧエンコーダ１１３ｂは、１回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。
First, the
タイミングｔ６２〜ｔ４７の期間では、ＪＰＥＧエンコーダ１１３ｂは、更新されたスケールファクタＳｂを用いて、２フレーム目（２ｆ）の画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。
In the period from timing t62 to t47, the
３フレーム目（３ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４３〜ｔ４４の期間にバッファＹＵＶ３を用いて行われる。３フレーム目（３ｆ）の補間色処理が終了すると、１フレーム目（１ｆ）の圧縮処理を終えたＪＰＥＧエンコーダ１１３ａが、タイミングｔ４５〜ｔ４７の期間にバッファＹＵＶ３を用いて３フレーム目（３ｆ）の画像圧縮処理をスケールファクタＳａを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。ここで、３フレーム目（３ｆ）の補間色処理はタイミングｔ４４で終了しているが、ＪＰＥＧエンコーダ１１３ａは１フレーム目（１ｆ）の圧縮処理を実行中なので、この圧縮処理が終了するタイミングｔ４５を待って３フレーム目（３ｆ）の圧縮処理を行う。
The interpolation color processing of the third frame (3f) is performed by the interpolation
４フレーム目（４ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４５〜ｔ４６の期間にバッファＹＵＶ１を用いて行われる。ここで、３フレーム目（３ｆ）の補間色処理が終了するタイミングｔ４４では、１フレーム目（１ｆ）の圧縮処理でバッファＹＵＶ１が使用されているので、バッファＹＵＶ１が空くタイミングｔ４５を待って４フレーム目（４ｆ）の補間色処理が行われる。タイミングｔ４６で４フレーム目（４ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂの２フレーム目（２ｆ）の圧縮処理が終了するタイミングｔ４７を待って、４フレーム目（４ｆ）の画像圧縮処理をスケールファクタＳｂを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。
The interpolation color processing for the fourth frame (4f) is performed by the interpolation
次に、５フレーム目（５ｆ）の処理はバッファＹＵＶ２を用いて行われる。補間色処理回路１１１ａは、タイミングｔ４７〜ｔ４８の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ａは、タイミングｔ４８〜ｔ５３の間でスケールファクタＳａを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。
Next, the process of the fifth frame (5f) is performed using the buffer YUV2. The interpolation
同様に、６フレーム目（６ｆ）の処理はバッファＹＵＶ３を用いて行われる。補間色処理回路１１１ａは、タイミングｔ４８〜ｔ４９の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ｂは、タイミングｔ４９〜ｔ５４の間でスケールファクタＳｂを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。
Similarly, the process of the sixth frame (6f) is performed using the buffer YUV3. The interpolation
同様に、７フレーム目（７ｆ）の処理はバッファＹＵＶ１を用いて行われる。補間色処理回路１１１ａは、タイミングｔ４９〜ｔ５０の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ｂは、タイミングｔ５０〜ｔ５５の間でスケールファクタＳａを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。
Similarly, the processing of the seventh frame (7f) is performed using the buffer YUV1. The interpolation
同様に、８フレーム目（８ｆ）の処理はバッファＹＵＶ２を用いて行われる。補間色処理回路１１１ａは、タイミングｔ５０〜ｔ５１の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ｂは、タイミングｔ５１〜ｔ５６の間でスケールファクタＳｂを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。以降、同様に、一連の撮影が終了するまで行われる。
Similarly, the processing of the eighth frame (8f) is performed using the buffer YUV2. The interpolation
このように、本実施形態に係る画像処理装置を有するカメラ１０１ａは、連続して撮影された画像の圧縮処理を行う場合に、奇数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ａが行い、偶数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ｂが行うので、画像圧縮掛かる処理時間に左右されることなく高速に画像圧縮処理を行うことができる。
As described above, when the
また、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａとスケールファクタＳｂとを設け、奇数フレームおよび偶数フレームのそれぞれの最初のフレームのみで予備圧縮して適切なスケールファクタを求めるので、以降のフレームでは予備圧縮することなく、更新された適切なスケールファクタで画像圧縮処理を行うことができ、効率的な固定長圧縮処理を実現できる。
Also, an independent scale factor Sa and scale factor Sb are provided for each of the
尚、本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを用いるようにしたが、スケールファクタＳａとスケールファクタＳｂを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。
In the present embodiment, independent scale factor Sa and scale factor Sb are used for each of
（第５の実施形態）
次に、第５の実施形態に係る画像処理装置を有するカメラについて説明する。尚、本実施形態のカメラの基本構成は、第１の実施形態の図１のカメラ１０１ａと同じである。また、補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂがメモリ１１２を介してデータを入出力する構成を示す図２も第１の実施形態と同じである。
(Fifth embodiment)
Next, a camera having an image processing apparatus according to the fifth embodiment will be described. Note that the basic configuration of the camera of the present embodiment is the same as the
本実施形態においても、第４の実施形態と同様に、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用い、固定長圧縮を行う。第４の実施形態と異なるのは、図１３では、奇数フレームおよび偶数フレームのそれぞれの最初のフレームで予備圧縮して適切なスケールファクタを求めるようにしたが、本実施形態では、奇数フレームの最初のフレームだけで予備圧縮した時の符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａおよびスケールファクタＳｂの両方を更新する。以降、第４の実施形態と同様に、奇数フレームの画像圧縮処理にはスケールファクタＳａを用い、偶数フレームの画像圧縮処理にはスケールファクタＳｂを用いる。
Also in the present embodiment, as in the fourth embodiment, the
このため、本実施形態では、図１４に示すように、２フレーム目（２ｆ）の画像圧縮処理がタイミングｔ４５で終了し、４フレーム目（４ｆ）の画像圧縮処理が待たされることなく、処理することができる。また、２フレーム目（２ｆ）の処理に使用しているバッファＹＵＶ２もタイミングｔ４５で解放されるので、５フレーム目（５ｆ）の補間色処理も待たされることなく、タイミングｔ４６から処理することができる。尚、図１４において、タイミングｔ＊＊’のように「’」が付加されているタイミングは、図１３の「’」の無い同じ番号のタイミングｔ＊＊とは少し異なるタイミングであることを示している。例えば、図１３のタイミングｔ４７は５フレーム目（５ｆ）の補間色処理の開始時点を示しているが、図１４のタイミングｔ４７’は同じ５フレーム目（５ｆ）の補間色処理の開始時点を示しているが、４フレーム目（４ｆ）の補間色処理の終了タイミングｔ４６に連続したタイミングになっている。 For this reason, in this embodiment, as shown in FIG. 14, the second frame (2f) image compression processing ends at timing t45, and the fourth frame (4f) image compression processing is performed without waiting. be able to. Further, since the buffer YUV2 used for the processing of the second frame (2f) is also released at the timing t45, the interpolation color processing of the fifth frame (5f) can be processed from the timing t46 without waiting. . In FIG. 14, the timing with “′” added like the timing t ** ′ is slightly different from the timing t ** of the same number without “′” in FIG. 13. ing. For example, timing t47 in FIG. 13 indicates the start time of interpolation color processing for the fifth frame (5f), while timing t47 ′ in FIG. 14 indicates the start time of interpolation color processing for the same fifth frame (5f). However, the timing is continuous with the end timing t46 of the interpolation color processing of the fourth frame (4f).
このように、本実施形態に係る画像処理装置を有するカメラ１０１ａは、連続して撮影された画像の圧縮処理を行う場合に、奇数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ａが行い、偶数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ｂが行うので、画像圧縮掛かる処理時間に左右されることなく高速に画像圧縮処理を行うことができる。
As described above, when the
また、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを設け、奇数フレームの最初のフレームのみで予備圧縮した時の符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａおよびスケールファクタＳｂの両方を更新するので、２フレーム目（２ｆ）の予備圧縮処理を行う必要がなく、第４の実施形態に比べて、圧縮処理時間を短くすることができる。また、３フレーム目（３ｆ）以降のフレームでは、第４の実施形態と同様に処理されるので、常に更新された適切なスケールファクタで画像圧縮処理を行うことができ、効率的な固定長圧縮処理を実現できる。
In addition, independent scale factor Sa and scale factor Sb are provided for each of
尚、本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを用いるようにしたが、スケールファクタＳａとスケールファクタＳｂを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。
In the present embodiment, independent scale factor Sa and scale factor Sb are used for each of
（第６の実施形態）
次に、第６の実施形態に係る画像処理装置を有するカメラについて説明する。尚、本実施形態のカメラの基本構成は、第１の実施形態の図１のカメラ１０１ａと同じである。また、補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂがメモリ１１２を介してデータを入出力する構成を示す図２も第１の実施形態と同じである。
(Sixth embodiment)
Next, a camera having an image processing apparatus according to the sixth embodiment will be described. Note that the basic configuration of the camera of the present embodiment is the same as the
本実施形態においても、第５の実施形態と同様に、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用い、固定長圧縮を行い、奇数フレームの最初のフレームだけで予備圧縮した時の符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａおよびスケールファクタＳｂの両方を更新する。
Also in the present embodiment, as in the fifth embodiment, the
本実施形態が第５の実施形態と異なる点は、同じフレームの異なるサイズの画像の圧縮処理を行うことである。例えば、一般的な電子カメラは、撮影した画像を保存するための画像（本画像）以外に、図１の液晶モニタ１１７に表示するためのプレビュ画像や、一覧表示するためのサムネイル画像など複数のサイズの画像を圧縮する必要がある。例えば、本画像は３０７２×２３０４画素、プレビュ画像は６４０×４８０画素、サムネイル画像は１６０×１２０画素などのように画像を構成する画素数が大きく異なり、画素数が多くなるほど圧縮処理に時間を要する。本実施形態では、本画像とプレビュ画像の２つのサイズの画像を圧縮処理する場合について説明する。 This embodiment is different from the fifth embodiment in that compression processing is performed on images of different sizes in the same frame. For example, a general electronic camera has a plurality of preview images for displaying on the liquid crystal monitor 117 of FIG. 1 and thumbnail images for displaying a list in addition to an image (main image) for storing captured images. It is necessary to compress the size image. For example, the number of pixels constituting the image is greatly different, such as 3072 × 2304 pixels for the main image, 640 × 480 pixels for the preview image, and 160 × 120 pixels for the thumbnail image, and the larger the number of pixels, the more time is required for compression processing. . In the present embodiment, a case will be described in which images of two sizes, a main image and a preview image, are compressed.
実際の電子カメラでは、ほとんどプレビュ表示が行われているので、特に説明しなかったが、図１４に示す第５の実施形態でも本画像の圧縮処理に含めてプレビュ画像の圧縮処理が行われていると考えることができる。この様子を示したのが図１５である。図１５は図１４と全く同じタイミングで各処理を示しているが、各圧縮処理の斜線で示した部分がプレビュ画像の圧縮処理を行っている期間である。例えば、１フレーム目（１ｆ）の１回目の圧縮処理の後ろの部分に斜線で示した１フレーム目（１ｆ）の１回目のプレビュ画像の圧縮処理を行う期間が示されている。同様に、１フレーム目（１ｆ）の２回目の圧縮処理、２フレーム目（２ｆ）から８フレーム目（８ｆ）までの各圧縮処理の後ろの部分に斜線で示したプレビュ画像の圧縮処理を行う期間が示されている。 In an actual electronic camera, since preview display is almost performed, no particular explanation was given. However, in the fifth embodiment shown in FIG. 14, preview image compression processing is performed in addition to the main image compression processing. Can be considered. This is shown in FIG. FIG. 15 shows each process at exactly the same timing as FIG. 14, but the hatched portion of each compression process is a period during which the preview image is compressed. For example, a period for performing the first preview image compression process of the first frame (1f) indicated by hatching in the portion after the first compression process of the first frame (1f) is shown. Similarly, the second compression process of the first frame (1f) is performed, and the preview image compression process indicated by hatching is performed after the compression process from the second frame (2f) to the eighth frame (8f). The period is shown.
また、プレビュ画像も本画像と同様に、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用いて固定長圧縮を行う。また、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、プレビュ画像の奇数フレーム用のスケールファクタＳｃと、プレビュ画像の偶数フレーム用のスケールファクタＳｄとを用いる。プレビュ画像の奇数フレーム用のスケールファクタＳｃと、プレビュ画像の偶数フレーム用のスケールファクタＳｄの記憶領域は、メモリ１１２に確保されている。また、スケールファクタＳｃおよびスケールファクタＳｄの更新手順も、本画像のスケールファクタＳａおよびスケールファクタＳｂの更新手順と同じように考えることができ、１フレーム目（１ｆ）のプレビュ画像の１回目の予備画像圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｃおよびスケールファクタＳｄを更新する。さらに、更新されたスケールファクタＳｃを用いて１フレーム目（１ｆ）のプレビュ画像の２回目の圧縮処理を行い、更新されたスケールファクタＳｄを用いて２フレーム目（２ｆ）のプレビュ画像の圧縮処理を行う。以降、スケールファクタＳｃおよびスケールファクタＳｄを更新しながら、奇数フレームおよび偶数フレームのプレビュ画像の圧縮処理を繰り返し行う。
Similarly to the main image, the
このように、第５の実施形態の処理では、サイズの異なる本画像とプレビュ画像の圧縮処理は、同じフレームの処理として同じＪＰＥＧエンコーダがシリーズに行う必要があった。これに対して、本実施形態では、図１６に示すように、同じフレームの本画像の圧縮処理と、同じフレームのプレビュ画像の圧縮処理とを別のＪＰＥＧエンコーダで並列処理するようになっている。 As described above, in the processing of the fifth embodiment, the compression processing of the main image and the preview image having different sizes needs to be performed in series by the same JPEG encoder as the processing of the same frame. On the other hand, in this embodiment, as shown in FIG. 16, the compression processing of the main image of the same frame and the compression processing of the preview image of the same frame are processed in parallel by different JPEG encoders. .
尚、図１６に示した本画像の画像圧縮処理期間は、分かり易いように、図１５に示した各フレームの画像圧縮処理期間からプレビュ画像の圧縮処理時間を示した斜線部分だけ短くした図になっている。また、図１６において、タイミングｔ＊＊’’のように「’’」が付加されているタイミングは、図１５の「’」が付加された番号または「’」の無い番号のタイミングとは少し異なるタイミングであることを示している。例えば、図１５のタイミングｔ４５は４フレーム目（４ｆ）の補間色処理の開始時点を示しているが、図１６のタイミングｔ４５’’は同じ４フレーム目（４ｆ）の補間色処理の開始時点を示しているが、プレビュ画像の圧縮処理時間だけタイミングｔ４５よりも早くなっている。 For the sake of easy understanding, the image compression processing period of the main image shown in FIG. 16 is shortened from the image compression processing period of each frame shown in FIG. 15 by the hatched portion indicating the compression processing time of the preview image. It has become. Further, in FIG. 16, the timing at which "" "is added as in timing t **" is slightly different from the timing of the number with "'" added or the number without "'" in FIG. It shows that the timing is different. For example, the timing t45 in FIG. 15 indicates the start time of the interpolation color processing for the fourth frame (4f), but the timing t45 ″ in FIG. 16 indicates the start time of the interpolation color processing for the same fourth frame (4f). As shown, the preview image compression processing time is earlier than the timing t45.
さらに、本実施形態では、図１７に示すように、本画像処理用バッファＹＵＶ１〜ＹＵＶ３以外に、プレビュ画像処理用のサブバッファＹＵＶ１〜ＹＵＶ３の領域をメモリ１１２内に確保している。但し、補間色処理は本画像もプレビュ画像も処理用バッファＹＵＶ１〜ＹＵＶ３を用いて行われる。
Further, in the present embodiment, as shown in FIG. 17, in addition to the main image processing buffers YUV1 to YUV3, areas of sub-buffers YUV1 to YUV3 for preview image processing are secured in the
図１６において、１フレーム目（１ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４１〜ｔ４２の期間にバッファＹＵＶ１を用いて行われる。１フレーム目（１ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ａはバッファＹＵＶ１を用いて、１フレーム目（１ｆ）の本画像の１回目の圧縮処理（予備圧縮処理）を初期値のスケールファクタＳａを用いて行う。
In FIG. 16, the interpolation color processing of the first frame (1f) is performed by the interpolation
同時に、ＪＰＥＧエンコーダ１１３ｂはサブバッファＹＵＶ１を用いて、１フレーム目（１ｆ）のプレビュ画像の１回目の圧縮処理（予備圧縮処理）を初期値のスケールファクタＳｄを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。さらに、１フレーム目（１ｆ）のプレビュ画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｄの更新を行う。
At the same time, the
ＪＰＥＧエンコーダ１１３ａは、１回目の本画像の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。さらに、タイミングｔ６１’’で１フレーム目（１ｆ）の本画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。
The
同様に、２フレーム目（２ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４２〜ｔ４３の期間にバッファＹＵＶ２を用いて行われる。２フレーム目（２ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂはタイミングｔ４３〜ｔ４７の期間にバッファＹＵＶ２を用いて２フレーム目（２ｆ）の画像圧縮処理を行う。
Similarly, the interpolation color processing of the second frame (2f) is performed by the interpolation
また、１フレーム目（１ｆ）の画像圧縮処理を終えたＪＰＥＧエンコーダ１１３ａは、２フレーム目（２ｆｓ）のプレビュ画像の圧縮処理をスケールファクタＳｃを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｃの更新を行う。
The
３フレーム目（３ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４３〜ｔ４４の期間にバッファＹＵＶ３を用いて行われる。３フレーム目（３ｆ）の補間色処理が終了すると、２フレーム目（２ｆｓ）のプレビュ画像の圧縮処理を終えたＪＰＥＧエンコーダ１１３ａが、タイミングｔ４５’’〜ｔ４７’’の期間にバッファＹＵＶ３を用いて３フレーム目（３ｆ）の画像圧縮処理をスケールファクタＳａを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。ここで、３フレーム目（３ｆ）の補間色処理はタイミングｔ４４で終了しているが、ＪＰＥＧエンコーダ１１３ａは２フレーム目（２ｆｓ）のプレビュ画像の圧縮処理を実行中なので、この圧縮処理が終了するタイミングｔ４５’’を待って３フレーム目（３ｆ）本画像の圧縮処理を行う。
The interpolation color processing of the third frame (3f) is performed by the interpolation
同時に、ＪＰＥＧエンコーダ１１３ｂは、３フレーム目（３ｆｓ）のプレビュ画像の圧縮処理をスケールファクタＳｄを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｄの更新を行う。
At the same time, the
４フレーム目（４ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４５’’〜ｔ４６’’の期間にバッファＹＵＶ１を用いて行われる。ここで、３フレーム目（３ｆ）の補間色処理が終了するタイミングｔ４４では、１フレーム目（１ｆ）の本画像の圧縮処理でバッファＹＵＶ１が使用されているので、バッファＹＵＶ１が空くタイミングｔ４５’’を待って４フレーム目（４ｆ）の補間色処理が行われる。タイミングｔ４６’’で４フレーム目（４ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂは、４フレーム目（４ｆ）本画像の圧縮処理をスケールファクタＳｂを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。
The interpolation color processing of the fourth frame (4f) is performed by the interpolation
同時に、ＪＰＥＧエンコーダ１１３ａは、３フレーム目（３ｆ）の本画像の圧縮処理が終了するタイミングｔ４７’’を待って、４フレーム目（４ｆｓ）のプレビュ画像の圧縮処理をスケールファクタＳｃを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｃの更新を行う。
At the same time, the
以降、同様に、５フレーム目（５ｆ）から８フレーム目（８ｆ）までの本画像の圧縮処理が行われる間に、５フレーム目（５ｆｓ）から８フレーム目（８ｆｓ）までのプレビュ画像の圧縮処理が本画像とは異なるＪＰＥＧエンコーダで並列して行われる。 Thereafter, similarly, the compression of the preview image from the fifth frame (5fs) to the eighth frame (8fs) is performed while the compression processing of the main image from the fifth frame (5f) to the eighth frame (8f) is performed. Processing is performed in parallel with a JPEG encoder different from the main image.
このように、本実施形態に係る画像処理装置を有するカメラ１０１ａは、連続して撮影された画像をサイズの異なる２種類の圧縮処理を行う場合に、同じフレームの本画像の圧縮処理と、同じフレームのプレビュ画像の圧縮処理とを別のＪＰＥＧエンコーダで並列処理することができるので、より高速に画像圧縮処理を行うことができる。
As described above, the
尚、本実施形態では、本画像の圧縮処理において、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを用いるようにしたが、スケールファクタＳａとスケールファクタＳｂを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。同様に、プレビュ画像の圧縮処理において、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳｃおよびスケールファクタＳｄを用いるようにしたが、スケールファクタＳｃとスケールファクタＳｄを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。さらに、本画像とプレビュ画像とのスケールファクタＳａ，スケールファクタＳｂ，スケールファクタＳｃ，スケールファクタＳｄを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。
In this embodiment, in the compression processing of the main image, the scale factor Sa and the scale factor Sb that are independent of each of the
以上、本発明について詳細に説明してきたが、上記の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。 As mentioned above, although this invention was demonstrated in detail, said embodiment and its modification are only examples of this invention, and this invention is not limited to this. Obviously, modifications can be made without departing from the scope of the present invention.
１０１ａ〜ｃ，１５１・・・カメラ
１０２・・・ＣＰＵ １０５・・・レンズ
１０６・・・撮像素子 １１０・・・ＲＡＷメモリ
１１１，１１１ａ〜ｃ・・・補間色処理回路
１１２・・・メモリ １１５・・・メモリカード
１１３，１１３ａ〜ｆ・・・圧縮回路（ＪＰＥＧエンコーダ）
１１８ａ，１１８ｂ・・・バッファ
１１９・・・バッファ
101a to c, 151 ...
118a, 118b ... buffer 119 ... buffer
Claims (8)
前記補間色処理回路で処理中および処理済の複数フレーム分の画像を巡回的に記憶する記憶部と、
前記補間色処理回路で処理済のフレームの画像を前記記憶部から読み出して画像圧縮処理を行い、フレーム毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、
前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部とを有し、
前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたこと
を特徴とする画像処理装置。 An interpolated color processing circuit that inputs images of successive frames and performs interpolation and color processing;
A storage unit for cyclically storing images for a plurality of frames being processed and processed by the interpolation color processing circuit;
A plurality of image compression processing circuits that read out an image of a frame processed by the interpolation color processing circuit from the storage unit and perform image compression processing, and are cyclically activated for each frame and processed in parallel;
It possesses a compressed data storing unit for storing the compressed data processed by the image compression processing circuit,
The number of the image compression processing circuits is equal to or more than the number obtained by rounding up the calculated value of (processing time of one frame of the image compression processing circuit) / (processing time of one frame of the interpolation color processing circuit). An image processing apparatus.
前記補間色処理回路で処理中のフレームから予め設定した所定量のデータをフレーム毎に記憶する複数の記憶バッファと、A plurality of storage buffers for storing, for each frame, a predetermined amount of data set in advance from the frame being processed by the interpolation color processing circuit;
前記記憶バッファに記憶された処理済のデータを画像処理単位毎に読み出して画像圧縮処理を行い、フレームの最初の前記画像処理単位が読み出される毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、The processed data stored in the storage buffer is read out for each image processing unit and image compression processing is performed, and each time the first image processing unit of a frame is read, a plurality of images that are cyclically activated and processed in parallel A compression processing circuit;
前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部とを有し、A compressed data storage unit that stores compressed data processed by the image compression processing circuit;
前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間−前記補間色処理回路の前記処理単位データの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたことThe number of the image compression processing circuits is (processing time of one frame of the image compression processing circuit−processing time of the processing unit data of the interpolation color processing circuit) ÷ (processing time of one frame of the interpolation color processing circuit) The calculated value of the number should be more than the rounded-up number
することを特徴とする画像処理装置。An image processing apparatus.
前記複数の画像圧縮処理回路を、前記連続したフレームの画像のうち奇数番目フレームの画像に対して画像圧縮処理を行う第１の画像圧縮処理部と、該連続したフレームの画像のうち偶数番目フレームの画像に対して画像圧縮処理を行う第２の画像圧縮処理部とで構成し、A plurality of image compression processing circuits, a first image compression processing unit that performs image compression processing on an image of an odd-numbered frame among the images of the consecutive frames; and an even-numbered frame of the images of the consecutive frames A second image compression processing unit that performs image compression processing on the image of
前記第１の画像圧縮処理部において画像圧縮処理に使用された第１圧縮条件、または前記第２の画像圧縮処理部において画像圧縮処理に使用された第２圧縮条件のうち少なくとも一方を記憶する圧縮条件記憶部と、Compression that stores at least one of the first compression condition used for image compression processing in the first image compression processing unit or the second compression condition used for image compression processing in the second image compression processing unit A condition storage unit;
前記第１の画像圧縮処理部および前記第２の画像圧縮処理部における画像圧縮処理、および前記圧縮条件記憶部における圧縮条件記憶処理を制御する圧縮制御部を更に有することA compression control unit for controlling the image compression processing in the first image compression processing unit and the second image compression processing unit, and the compression condition storage processing in the compression condition storage unit;
を特徴とする画像処理装置。An image processing apparatus.
前記圧縮制御部は、The compression control unit
前記第１圧縮条件および前記第２圧縮条件のうち最新の圧縮条件を前記圧縮条件記憶部に逐次更新記憶し、The latest compression condition of the first compression condition and the second compression condition is sequentially updated and stored in the compression condition storage unit,
前記圧縮条件記憶部に記憶された前記最新の圧縮条件を参照して前記第１の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第１圧縮条件を設定し、Setting the first compression condition to be used for the image compression processing of the next frame in the first image compression processing unit with reference to the latest compression condition stored in the compression condition storage unit;
前記圧縮条件記憶部に記憶された前記最新の圧縮条件を参照して前記第２の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第２圧縮条件を設定することSetting the second compression condition to be used for the image compression processing of the next frame in the second image compression processing unit with reference to the latest compression condition stored in the compression condition storage unit;
を特徴とする画像処理装置。An image processing apparatus.
前記圧縮制御部は、The compression control unit
前記第１圧縮条件および前記第２圧縮条件を前記圧縮条件記憶部にそれぞれ個別に記憶し、Storing the first compression condition and the second compression condition individually in the compression condition storage unit,
前記圧縮条件記憶部に記憶された前フレームの前記第１圧縮条件を参照して前記第１の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第１圧縮条件を更新設定し、Updating the first compression condition used for the image compression processing of the next frame in the first image compression processing unit with reference to the first compression condition of the previous frame stored in the compression condition storage unit;
前記圧縮条件記憶部に記憶された前フレームの前記第２圧縮条件を参照して前記第２の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第２圧縮条件を更新設定することUpdating the second compression condition used for the image compression process of the next frame in the second image compression processing unit with reference to the second compression condition of the previous frame stored in the compression condition storage unit;
を特徴とする画像処理装置。An image processing apparatus.
前記圧縮制御部は、The compression control unit
前記連続したフレームの画像の１番目フレーム画像を前記第１の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記１番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第１圧縮条件を設定し、設定した前記第１圧縮条件を用いて前記１番目フレーム画像を圧縮処理するよう前記第１の画像圧縮処理部を制御し、When image compression processing is performed on the first frame image of the continuous frame images in the first image compression processing unit, pre-compression processing is performed on the first frame image using a predetermined initial compression condition. The first compression condition is set based on the compression code amount obtained as a result of the preliminary compression processing so that the final compression code amount is within a predetermined range, and the set first compression condition is used. Controlling the first image compression processing unit to compress the first frame image,
前記連続したフレームの画像の２番目フレーム画像を前記第２の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記２番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第２圧縮条件を設定し、設定した前記第２圧縮条件を用いて前記２番目フレーム画像を圧縮処理するよう前記第２の画像圧縮処理部を制御することWhen the second frame image of the continuous frame image is subjected to image compression processing in the second image compression processing unit, a pre-compression process is performed on the second frame image using a predetermined initial compression condition. The second compression condition is set based on the compression code amount obtained as a result of the preliminary compression processing so that the final compression code amount is within a predetermined range, and the set second compression condition is used. And controlling the second image compression processing unit to compress the second frame image.
を特徴とする画像処理装置。An image processing apparatus.
前記圧縮処理部は、The compression processing unit
前記連続したフレームの画像の１番目フレーム画像を前記第１の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記１番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第１圧縮条件を設定し、設定した前記第１圧縮条件を用いて前記１番目フレーム画像を圧縮処理するよう前記第１の画像圧縮処理部を制御し、When image compression processing is performed on the first frame image of the continuous frame images in the first image compression processing unit, pre-compression processing is performed on the first frame image using a predetermined initial compression condition. The first compression condition is set based on the compression code amount obtained as a result of the preliminary compression processing so that the final compression code amount is within a predetermined range, and the set first compression condition is used. Controlling the first image compression processing unit to compress the first frame image,
前記連続したフレームの画像の２番目フレーム画像を前記第２の画像圧縮処理部において画像圧縮処理する場合に、前記１番目フレーム画像に対する予備圧縮処理の結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第２圧縮条件を設定し、設定した前記第２圧縮条件を用いて前記２番目フレーム画像を圧縮処理するよう前記第２の画像圧縮処理部を制御することWhen the second image compression processing unit performs image compression processing on the second frame image of the continuous frame images, the final image is finally determined based on the compression code amount obtained as a result of the preliminary compression processing on the first frame image. The second compression condition is set so that the compression code amount is within a predetermined range, and the second image compression processing unit is configured to compress the second frame image using the set second compression condition. To control
を特徴とする画像処理装置。An image processing apparatus.
請求項１から請求項７のいずれか一項に記載の画像処理装置とを備えることAn image processing apparatus according to any one of claims 1 to 7.
を特徴とする電子カメラ。An electronic camera characterized by
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007192284A JP4831006B2 (en) | 2006-08-01 | 2007-07-24 | Image processing apparatus and electronic camera |
| PCT/JP2007/000808 WO2008015781A1 (en) | 2006-08-01 | 2007-07-30 | Image processing device and electronic camera |
| US12/309,741 US8249339B2 (en) | 2006-08-01 | 2007-07-30 | Image processing device and electronic camera |
| EP07790302.9A EP2053841B1 (en) | 2006-08-01 | 2007-07-30 | Image processing device and electronic camera |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006209476 | 2006-08-01 | ||
| JP2006209476 | 2006-08-01 | ||
| JP2007192284A JP4831006B2 (en) | 2006-08-01 | 2007-07-24 | Image processing apparatus and electronic camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008061228A JP2008061228A (en) | 2008-03-13 |
| JP4831006B2 true JP4831006B2 (en) | 2011-12-07 |
Family
ID=39243410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007192284A Expired - Fee Related JP4831006B2 (en) | 2006-08-01 | 2007-07-24 | Image processing apparatus and electronic camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4831006B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101011987B1 (en) * | 2009-09-09 | 2011-01-31 | 윤대일 | Linux server system literacy json-rpc firewall fixing complement method |
| JP5665309B2 (en) * | 2009-12-10 | 2015-02-04 | キヤノン株式会社 | Imaging device |
| CN113365101B (en) * | 2020-03-05 | 2023-06-30 | 腾讯科技（深圳）有限公司 | Method for multitasking video and related equipment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2871139B2 (en) * | 1991-03-19 | 1999-03-17 | オリンパス光学工業株式会社 | Image data encoding device and decoding device |
| JP4560180B2 (en) * | 2000-06-28 | 2010-10-13 | キヤノン株式会社 | Imaging device |
| JP2004186978A (en) * | 2002-12-03 | 2004-07-02 | Sanyo Electric Co Ltd | Method and device for data write and digital camera |
| JP4494866B2 (en) * | 2004-05-21 | 2010-06-30 | 株式会社リコー | Information processing apparatus, information processing method, information processing program, and recording medium |
-
2007
- 2007-07-24 JP JP2007192284A patent/JP4831006B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008061228A (en) | 2008-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2053841B1 (en) | Image processing device and electronic camera | |
| US9082206B2 (en) | Image processing apparatus having a buffer memory for image data storage | |
| JP3096618B2 (en) | Imaging device | |
| US8009337B2 (en) | Image display apparatus, method, and program | |
| JP2001275116A (en) | Image processor | |
| EP1596328A1 (en) | Resolution-conversion of image data | |
| US20060044420A1 (en) | Image pickup apparatus | |
| JP4831006B2 (en) | Image processing apparatus and electronic camera | |
| JP2008017405A (en) | Two-dimensional orthogonal transforming apparatus, two-dimensional orthogonal transforming method, and imaging system | |
| JP2007329903A (en) | Variable length decoding device, variable length decoding method and imaging system | |
| US20100135644A1 (en) | Photographing apparatus and method of controlling the same | |
| WO2012111825A1 (en) | Image processor, image processing method, and program | |
| JP2947389B2 (en) | Image processing memory integrated circuit | |
| US8238676B2 (en) | Image data compressor and image data decompressor | |
| US20100254618A1 (en) | Method for Accessing Image Data and Related Apparatus | |
| JP2002101310A (en) | Filter processing unit and method | |
| JP7451131B2 (en) | Image encoding device, image encoding method, and program | |
| JP2006024993A (en) | Image pickup signal processing apparatus | |
| JP2006197548A (en) | Imaging apparatus | |
| JP4449694B2 (en) | Video predictive coding apparatus | |
| JP5347706B2 (en) | Recording apparatus, recording method, and program | |
| JP2005159995A (en) | Imaging apparatus and imaging method | |
| JP2020195038A (en) | Image processing apparatus, image processing method, and program | |
| JP3352346B2 (en) | Image signal processing device | |
| JP2009135836A (en) | Digital image radio transmitter and its image data processing method, digital image radio receiver, and digital image radio transmitting and receiving system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110905 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4831006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |