JP4724637B2 - Imaging apparatus, imaging system, imaging method, program, and recording medium - Google Patents

Imaging apparatus, imaging system, imaging method, program, and recording medium Download PDF

Info

Publication number
JP4724637B2
JP4724637B2 JP2006280585A JP2006280585A JP4724637B2 JP 4724637 B2 JP4724637 B2 JP 4724637B2 JP 2006280585 A JP2006280585 A JP 2006280585A JP 2006280585 A JP2006280585 A JP 2006280585A JP 4724637 B2 JP4724637 B2 JP 4724637B2
Authority
JP
Japan
Prior art keywords
evaluation value
signal
image data
imaging
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006280585A
Other languages
Japanese (ja)
Other versions
JP2008099141A (en
Inventor
和紀 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006280585A priority Critical patent/JP4724637B2/en
Publication of JP2008099141A publication Critical patent/JP2008099141A/en
Application granted granted Critical
Publication of JP4724637B2 publication Critical patent/JP4724637B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Focusing (AREA)

Description

本発明は撮像装置、撮像システム、撮像方法、プログラム及び記録媒体に関し、特に、フレーム間予測符号化が破綻しそうな場合に、発生符号量を減少させるために用いて好適な技術に関する。   The present invention relates to an imaging apparatus, an imaging system, an imaging method, a program, and a recording medium, and more particularly, to a technique suitable for use in reducing the amount of generated code when interframe predictive coding is likely to fail.

一般的にフレーム間予測符号化では、送信符号量をある一定のレートを超えないように符号量制御を行う。すなわち、出力バッファの残留量を逐次監視し、発生符号量が残留量を超えそうな時には、粗く量子化することによって符号量を減少させる制御を行う。ところが、動画撮影時には、手ぶれ等が原因で多くの符号量が必要となる場合が多い。このような時には粗く量子化するため、ブロックノイズ等が現れ、画質が大きく劣化してしまう。   Generally, in inter-frame predictive coding, code amount control is performed so that the transmission code amount does not exceed a certain rate. That is, the residual amount of the output buffer is sequentially monitored, and when the generated code amount is likely to exceed the residual amount, control is performed to reduce the code amount by coarse quantization. However, in moving image shooting, a large amount of code is often required due to camera shake or the like. In such a case, since quantization is performed roughly, block noise or the like appears and the image quality is greatly deteriorated.

そこで、従来から、AF評価値に対してスレッショルドの値を設定し、該設定されたスレッショルドに応じて符号化の精度を調節することにより圧縮符号化が破綻しないように制御する撮像装置が提案されている(例えば、特許文献1参照)。   Therefore, conventionally, an imaging apparatus has been proposed that controls the compression coding so as not to fail by setting a threshold value for the AF evaluation value and adjusting the coding accuracy according to the set threshold. (For example, refer to Patent Document 1).

特開2003−219416号公報JP 2003-219416 A

しかしながら、特許文献1に記載のビデオカメラ装置では、圧縮符号化が破綻しないように制御するためのスレッショルドの値を設定することが難しかった。また、スレッショルドの値を設定する処理が必要となるので、発生符号量を減少させるための処理が複雑となるという問題点があった。さらに、スレッショルドの値を設定することに失敗すると、発生符号量を減少させるための処理が不安定であるという問題点があった。   However, in the video camera device described in Patent Document 1, it is difficult to set a threshold value for controlling the compression encoding so as not to fail. In addition, since a process for setting a threshold value is required, there is a problem in that the process for reducing the amount of generated codes becomes complicated. Furthermore, if setting the threshold value fails, there is a problem that the process for reducing the generated code amount is unstable.

本発明は前述の問題点に鑑み、圧縮符号化が破綻しそうな場合に、簡単にかつ安定して発生符号量を減少させることができるようにすることを目的としている。   An object of the present invention is to make it possible to easily and stably reduce the amount of generated codes when compression encoding is likely to fail.

本発明の撮像装置は、撮像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記画像信号を画像データに信号処理する信号処理手段と、前記信号処理手段によって信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得手段と、前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節手段と、前記信号処理手段によって信号処理された画像データを圧縮符号化する圧縮符号化手段とを備え、前記評価値取得手段は、前記圧縮符号化手段から出力される圧縮符号量情報に応じて、前記信号処理手段によって信号処理された画像データのRGB成分の比率を変更して前記評価値を取得することを特徴とする。   An image pickup apparatus according to the present invention includes an image pickup unit that photoelectrically converts a subject image formed by an image pickup optical system and outputs an image signal, a signal processing unit that processes the image signal into image data, and the signal processing unit. Evaluation value acquisition means for acquiring an evaluation value indicating the in-focus state of the imaging optical system based on the image data processed by the signal processing, and adjusting the focus by moving the imaging optical system according to the evaluation value A focus adjustment unit for controlling the image data, and a compression encoding unit for compressing and encoding the image data signal-processed by the signal processing unit, wherein the evaluation value acquisition unit is a compressed code output from the compression encoding unit. According to the quantity information, the evaluation value is obtained by changing a ratio of RGB components of the image data signal-processed by the signal processing means.

本発明の撮像システムは前記の撮像装置と、撮像光学系とを有することを特徴とする。   An imaging system according to the present invention includes the imaging device and an imaging optical system.

本発明の撮像方法は、撮像光学系により結像された被写体像を光電変換して得られた画像信号を画像データに信号処理する信号処理工程と、前記信号処理工程で信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得工程と、前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節工程と、前記信号処理工程によって信号処理された画像データを圧縮符号化する圧縮符号化工程とを備え、前記評価値取得工程では、前記圧縮符号化工程により出力される圧縮符号量情報に応じて、前記信号処理工程によって信号処理された画像データのRGB成分の比率を変更して前記評価値を取得することを特徴とする。   An image pickup method of the present invention includes a signal processing step for performing signal processing on image data obtained by photoelectrically converting a subject image formed by an image pickup optical system, and image data subjected to signal processing in the signal processing step. An evaluation value acquisition step of acquiring an evaluation value indicating the in-focus state of the imaging optical system based on the focus, and a focus adjustment step of controlling the focus adjustment by moving the imaging optical system according to the evaluation value; A compression encoding step of compressing and encoding image data signal-processed by the signal processing step, and in the evaluation value acquisition step, according to the compression code amount information output by the compression encoding step, The evaluation value is obtained by changing a ratio of RGB components of the image data subjected to signal processing in the signal processing step.

本発明のプログラムは、前記の撮像方法をコンピュータに実行させることを特徴とする。   A program according to the present invention causes a computer to execute the imaging method.

本発明の記録媒体は、前記のプログラムを記録したことを特徴とする。   The recording medium of the present invention is characterized in that the program is recorded.

本発明によれば、圧縮符号化が破綻しそうな場合に、簡単にかつ安定して発生符号量を減少させることができる。   According to the present invention, it is possible to easily and stably reduce the amount of generated code when compression encoding is likely to fail.

(第1の実施形態)
以下、本発明の好適な実施形態について、添付図面を参照しながら詳細に説明する。
図1は、本実施形態の撮像装置の機能構成例を示すブロック図である。
図1において、1はレンズ(フォーカスレンズを含む)であり、2は絞りである。3は撮像素子であり、4はCDS回路及びA/D変換器を含むアナログフロントエンド部(AFEと図示する)である。
(First embodiment)
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a functional configuration example of the imaging apparatus according to the present embodiment.
In FIG. 1, 1 is a lens (including a focus lens), and 2 is a stop. Reference numeral 3 denotes an image sensor, and 4 denotes an analog front end unit (shown as AFE) including a CDS circuit and an A / D converter.

5はレンズ1、絞り2及び撮像素子3を駆動する駆動回路であり、6は撮像した画像データから輝度信号や色差信号を生成するカメラ信号処理回路である。7は画像データを記憶する画像メモリであり、8はカメラ信号処理回路6でカメラ信号処理された画像データをフレーム間予測符号化処理するフレーム間予測符号化処理回路である。   Reference numeral 5 denotes a drive circuit that drives the lens 1, the diaphragm 2, and the image sensor 3, and reference numeral 6 denotes a camera signal processing circuit that generates a luminance signal and a color difference signal from the captured image data. Reference numeral 7 denotes an image memory for storing image data, and reference numeral 8 denotes an inter-frame prediction encoding processing circuit that performs inter-frame prediction encoding processing on the image data processed by the camera signal processing circuit 6.

9はフレーム間予測符号化処理回路8から送られる符号量情報によりAF評価値を生成するAF評価値生成回路であり、11は撮像装置から取り外し可能な記録媒体である。このAF評価値とはレンズ1を含む撮像光学系の合焦状態を示すものである。10はフレーム間予測符号化処理された画像データを記録媒体11に記録する記録処理回路であり、12は撮像装置全体を制御するシステム制御部である。また、15はシステム制御部12と撮像装置内の各ブロックとの通信を行うバスである。   Reference numeral 9 denotes an AF evaluation value generation circuit that generates an AF evaluation value based on the code amount information sent from the inter-frame prediction encoding processing circuit 8, and reference numeral 11 denotes a recording medium that can be detached from the imaging apparatus. This AF evaluation value indicates the in-focus state of the imaging optical system including the lens 1. Reference numeral 10 denotes a recording processing circuit that records image data subjected to inter-frame predictive encoding processing on the recording medium 11, and 12 denotes a system control unit that controls the entire imaging apparatus. Reference numeral 15 denotes a bus that performs communication between the system control unit 12 and each block in the imaging apparatus.

13はシステム制御部12で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶しておく不揮発性メモリ(ROM)である。14は不揮発性メモリ13に記憶されたプログラム及び制御データを転送して記憶しておき、システム制御部12が撮像装置を制御する際に使用する揮発性メモリ(RAM)である。   Reference numeral 13 denotes a nonvolatile memory (ROM) that stores a program describing a control method executed by the system control unit 12 and control data such as parameters and tables used when executing the program. Reference numeral 14 denotes a volatile memory (RAM) that transfers and stores the program and control data stored in the nonvolatile memory 13 and is used when the system control unit 12 controls the imaging apparatus.

以下、前述のように構成された撮像装置での撮像動作について説明する。撮像動作に先立ち、撮像装置の電源投入時等のシステム制御部12の動作開始時において、不揮発性メモリ13から必要なプログラム、制御データおよび補正データを揮発性メモリ14に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部12が撮像装置を制御する際に使用するものとする。さらに、必要に応じて、追加のプログラムやデータを不揮発性メモリ13から揮発性メモリ14に転送したり、システム制御部12が直接不揮発性メモリ13内のデータを読み出して使用したりするものとする。   Hereinafter, an imaging operation in the imaging apparatus configured as described above will be described. Prior to the imaging operation, necessary programs, control data, and correction data are transferred from the nonvolatile memory 13 to the volatile memory 14 and stored at the start of the operation of the system control unit 12 such as when the imaging apparatus is turned on. Shall. These programs and data are used when the system control unit 12 controls the imaging apparatus. Furthermore, it is assumed that an additional program or data is transferred from the nonvolatile memory 13 to the volatile memory 14 or the data in the nonvolatile memory 13 is directly read and used as necessary. .

まず、システム制御部12から送られる制御信号により、絞り2とレンズ1とを駆動して、適切な明るさに設定された被写体像を撮像素子3上に結像させる。撮像素子3は、システム制御部12により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。   First, the aperture 2 and the lens 1 are driven by a control signal sent from the system control unit 12 to form a subject image set to an appropriate brightness on the image sensor 3. The image pickup device 3 is driven by a drive pulse controlled by the system control unit 12, converts the subject image into an electrical signal by photoelectric conversion, and outputs it as an analog image signal.

撮像素子3から出力されたアナログの画像信号は、システム制御部12により制御される動作パルスにより、AFE4内部のCDS回路でクロック同期性ノイズを除去し、AFE4内部のA/D変換器でデジタル画像信号に変換される。システム制御部12により制御されるカメラ信号処理回路6は、AFE4の出力であるデジタル画像信号から、輝度色差の画像データを生成する。   The analog image signal output from the image pickup device 3 is subjected to an operation pulse controlled by the system control unit 12 to remove clock synchronous noise by the CDS circuit inside the AFE 4, and is converted into a digital image by the A / D converter inside the AFE 4. Converted to a signal. The camera signal processing circuit 6 controlled by the system control unit 12 generates image data of luminance color difference from the digital image signal which is the output of the AFE 4.

画像メモリ7は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。フレーム間予測符号化処理回路8は、信号処理されたデジタル画像信号を圧縮符号化する。フレーム間予測符号化処理回路8によって符号化された画像データは、記録処理回路10において記録媒体11に適したデータ(例えば、階層構造を持つファイルシステムデータ)に変換されて記録媒体11に記録される。また、AF評価値生成回路9はフレーム間予測符号化処理回路8から出力される符号量情報に応じて、AF評価値の演算の仕方を変えるよう制御する。   The image memory 7 is used for temporarily storing a digital image signal during signal processing or for storing image data which is a digital image signal subjected to signal processing. The inter-frame predictive encoding processing circuit 8 compresses and encodes the digital image signal subjected to signal processing. The image data encoded by the inter-frame prediction encoding processing circuit 8 is converted into data suitable for the recording medium 11 (for example, file system data having a hierarchical structure) by the recording processing circuit 10 and recorded on the recording medium 11. The Further, the AF evaluation value generation circuit 9 performs control so as to change the way of calculating the AF evaluation value according to the code amount information output from the inter-frame prediction encoding processing circuit 8.

システム制御部12は、バス15を介して、駆動回路5、カメラ信号処理回路6、フレーム間予測符号化処理回路8、AF評価値生成回路9及び記録処理回路10を制御する。各信号処理回路に必要な制御パラメータや、回路を制御するプログラム等の情報は、システム制御部12に接続された不揮発性メモリ13から読み出される。   The system control unit 12 controls the drive circuit 5, the camera signal processing circuit 6, the inter-frame prediction encoding processing circuit 8, the AF evaluation value generation circuit 9, and the recording processing circuit 10 via the bus 15. Information such as control parameters necessary for each signal processing circuit and a program for controlling the circuit is read from the nonvolatile memory 13 connected to the system control unit 12.

次に、図2に、本実施形態におけるカメラ信号処理回路6の構成例を示す。なお、本実施形態では、原色フィルタがベイヤー状に配置された撮像素子を持つ単板撮像装置を例に説明する。   Next, FIG. 2 shows a configuration example of the camera signal processing circuit 6 in the present embodiment. In the present embodiment, a single plate imaging apparatus having an imaging element in which primary color filters are arranged in a Bayer shape will be described as an example.

画素ごとに、撮像素子3の色フィルタに対応した色のデジタル画像データ(RAWと表記)がAFE4からカメラ信号処理回路6に入力される。このRAWデータの状態では、各画素位置に対して、RGBいずれかの色フィルタに対応した色の値しか持たない。そのため、同時化処理回路600では、入力されるRAWデータに対して、RGBの画素に分離した後、すべての画素位置でRGBの値を持つように補間演算を行う。   For each pixel, digital image data (indicated as RAW) of a color corresponding to the color filter of the image sensor 3 is input from the AFE 4 to the camera signal processing circuit 6. In this RAW data state, each pixel position has only a color value corresponding to one of RGB color filters. Therefore, in the synchronization processing circuit 600, the input RAW data is separated into RGB pixels, and then interpolation processing is performed so as to have RGB values at all pixel positions.

同時化処理回路600で生成されるRGBの画像信号は、YCマトリクス処理回路601において、例えば、以下の数1〜数3に示す演算によって、輝度信号YLと色差信号CR、CBとに変換される。   The RGB image signal generated by the synchronization processing circuit 600 is converted into a luminance signal YL and color difference signals CR and CB by, for example, calculations shown in the following equations 1 to 3 in the YC matrix processing circuit 601. .

Figure 0004724637
Figure 0004724637

Figure 0004724637
Figure 0004724637

Figure 0004724637
Figure 0004724637

輪郭補償回路602においては、AFE4から入力されるRAWデータから、Gの画素を分離した後、輝度の高周波成分YHを抽出する処理を行う。また、加算回路603においては、YLとYHとを合成し、Y'としてフレーム間予測符号化処理回路8へ出力する。   The contour compensation circuit 602 performs a process of extracting a high frequency component YH of luminance after separating G pixels from RAW data input from the AFE 4. In addition, in addition circuit 603, YL and YH are combined and output as Y ′ to interframe predictive coding processing circuit 8.

図3に、本実施形態におけるフレーム間予測符号化処理回路8の構成例を示す。
図3において、ブロック化回路800は、カメラ信号処理回路6で信号処理された画像データを8×8画素の入力ブロックに分割して、第1の加算器801に出力する。
FIG. 3 shows a configuration example of the inter-frame prediction encoding processing circuit 8 in the present embodiment.
In FIG. 3, the blocking circuit 800 divides the image data signal-processed by the camera signal processing circuit 6 into 8 × 8 pixel input blocks and outputs the input blocks to the first adder 801.

第1の加算器801は、ブロック化回路800によって分割された入力ブロックと、フレームメモリ809より出力された予測値とを加算して、両者の差として差分画像を直交変換回路802に出力する。そして、直交変換回路802は、この差分画像を直交変換し、直交変換された変換係数を量子化回路803に出力する。   The first adder 801 adds the input block divided by the blocking circuit 800 and the predicted value output from the frame memory 809 and outputs a difference image to the orthogonal transform circuit 802 as the difference between the two. Then, the orthogonal transform circuit 802 performs orthogonal transform on the difference image, and outputs the transform coefficient subjected to the orthogonal transform to the quantization circuit 803.

量子化回路803は、直交変換された変換係数をレート設定等で決まるテーブルによって量子化する。そして、量子化された変換係数を逆量子化回路806及びランレングス符号化回路804に出力する。ランレングス符号化回路804は、量子化回路803で量子化された変換係数をランレングス符号化して、多重化回路805に出力する。   The quantization circuit 803 quantizes the orthogonally transformed transform coefficient using a table determined by rate setting or the like. The quantized transform coefficient is output to the inverse quantization circuit 806 and the run length encoding circuit 804. Run-length encoding circuit 804 performs run-length encoding on the transform coefficient quantized by quantization circuit 803 and outputs the result to multiplexing circuit 805.

多重化回路805は、ランレングス符号化回路804で符号化された結果と動きベクトル検出回路810で検出された動きベクトルとを多重化する。そして、多重化された信号がバッファ811に一時保存され、ある一定のレートで記録処理回路10へ出力される。   The multiplexing circuit 805 multiplexes the result encoded by the run length encoding circuit 804 and the motion vector detected by the motion vector detection circuit 810. The multiplexed signal is temporarily stored in the buffer 811 and output to the recording processing circuit 10 at a certain rate.

一方、逆量子化回路806は、量子化回路803で量子化された変換係数を逆量子化して直交変換係数に戻し、逆直交変換回路807に出力する。逆直交変換回路807は、逆量子化回路806で逆量子化した直交変換係数を逆直交変換し、逆直交変換によって得られた差分画像を第2の加算器808に出力する。   On the other hand, the inverse quantization circuit 806 inversely quantizes the transform coefficient quantized by the quantization circuit 803 to return it to the orthogonal transform coefficient, and outputs it to the inverse orthogonal transform circuit 807. The inverse orthogonal transform circuit 807 performs inverse orthogonal transform on the orthogonal transform coefficient inversely quantized by the inverse quantization circuit 806, and outputs a difference image obtained by the inverse orthogonal transform to the second adder 808.

第2の加算器808は、フレームメモリ809から出力された予測値と逆直交変換回路807から出力された差分画像とを加算して、再生画素をフレームメモリ809に出力する。フレームメモリ809は、第2の加算器808から出力された再生画素値から再生画像を生成して保存し、その再生画像を次フレームの予測値として動きベクトル検出回路810に出力する。   The second adder 808 adds the predicted value output from the frame memory 809 and the difference image output from the inverse orthogonal transform circuit 807, and outputs the reproduced pixel to the frame memory 809. The frame memory 809 generates and stores a reproduction image from the reproduction pixel value output from the second adder 808, and outputs the reproduction image to the motion vector detection circuit 810 as a predicted value of the next frame.

動きベクトル検出回路810は、カメラ信号処理回路6で信号処理された画像データとフレームメモリ809から出力された再生画像とから動きベクトルを求め、多重化回路805及びフレームメモリ809へ出力する。また、符号量情報算出回路812は、バッファ811の占有量から換算した符号量情報をAF評価値生成回路9へ出力する。   The motion vector detection circuit 810 obtains a motion vector from the image data signal-processed by the camera signal processing circuit 6 and the reproduced image output from the frame memory 809, and outputs the motion vector to the multiplexing circuit 805 and the frame memory 809. The code amount information calculation circuit 812 outputs the code amount information converted from the occupation amount of the buffer 811 to the AF evaluation value generation circuit 9.

ここで符号量情報とは、目標符号量に対して発生符号量がどのくらい多いか少ないかについての情報、または、このままだとフレーム間予測符号化が破綻してしまうかどうかという情報である。また、本実施形態では、符号量情報についてはバッファの占有量から換算するようにしているが、量子化する際の量子化係数から換算するなど、符号量の状態がわかればよい。   Here, the code amount information is information on how much the generated code amount is smaller or smaller than the target code amount, or information on whether or not the inter-frame predictive coding will fail. In this embodiment, the code amount information is converted from the buffer occupancy, but it is only necessary to know the state of the code amount, such as conversion from the quantization coefficient at the time of quantization.

次に、本実施形態のAF評価値生成回路9の制御動作について、図4のフローチャートを参照しながら説明する。
まず、ステップS400において、フレーム間予測符号化処理回路8内部の符号量情報算出回路812から符号量情報を読み出す。
Next, the control operation of the AF evaluation value generation circuit 9 of this embodiment will be described with reference to the flowchart of FIG.
First, in step S400, the code amount information is read from the code amount information calculation circuit 812 in the interframe predictive coding processing circuit 8.

ここで、図5に示すように、画像データの高周波成分と発生符号量とは、高周波成分が少ないと発生符号量も少なくなるという関係にある。すなわち、発生符号量を減らしたい場合には、画像データの高周波成分を減らせばよいということになる。ここで、レンズにはその光学特性によって軸上色収差が存在し、RGB成分単色で見た場合のベストピントのフォーカスレンズの位置は、図6に示すように、わずかにずれる。   Here, as shown in FIG. 5, the high-frequency component and the generated code amount of the image data have a relationship that the generated code amount decreases when the high-frequency component is small. That is, when it is desired to reduce the amount of generated code, it is only necessary to reduce the high frequency component of the image data. Here, the lens has axial chromatic aberration due to its optical characteristics, and the position of the best focus focus lens when viewed in RGB single color is slightly shifted as shown in FIG.

一般的なAF動作では、Gの高周波成分のピーク位置が人の目にはベストピントとなることから、例えば、Rg:Gg:Bg=0.25:0.5:0.25のようにGの比率を高くしてAF評価値を生成している。また、輝度信号はGの比率が高いため、AF評価値がGの高周波成分のピーク位置に近ければ近いほど、映像信号に高周波成分が多くなり、発生符号量が増加する。   In a general AF operation, the peak position of the high-frequency component of G is the best focus for the human eye. Therefore, for example, G such as Rg: Gg: Bg = 0.25: 0.5: 0.25 The AF evaluation value is generated at a higher ratio. Further, since the luminance signal has a high G ratio, the closer the AF evaluation value is to the peak position of the G high-frequency component, the more high-frequency components are included in the video signal and the amount of generated code increases.

そこで、ステップS401において、図7(a)に示すように符号量に応じてRg、Gg、Bgのゲインを設定する。次に、ステップS402において、カメラ信号処理回路6内部の同時化処理回路600から、色成分信号RGBをそれぞれ読み出す。そして、ステップS403において、例えば、以下の数4に示す演算によって、輝度信号YAFを生成する。   Therefore, in step S401, gains of Rg, Gg, and Bg are set according to the code amount as shown in FIG. Next, in step S402, the color component signals RGB are read from the synchronization processing circuit 600 inside the camera signal processing circuit 6, respectively. In step S403, for example, the luminance signal YAF is generated by the calculation shown in the following equation 4.

Figure 0004724637
Figure 0004724637

次に、ステップS404において、高周波成分を取り出し、ステップS405において、高周波成分を積算する。次に、ステップS406において、高周波成分の積算が完了したかどうかを判断する。この判断の結果、完了していなかったら、ステップS402へ戻る。一方、ステップS406の判断の結果、積算が完了であれば、ステップS407において、AF評価値として積算した値をシステム制御部12へ出力する。   Next, in step S404, high frequency components are extracted, and in step S405, the high frequency components are integrated. Next, in step S406, it is determined whether or not the integration of the high frequency components has been completed. If the result of this determination is that it has not been completed, processing returns to step S402. On the other hand, if the integration is completed as a result of the determination in step S406, the integrated value is output to the system control unit 12 in step S407 as the AF evaluation value.

以上、説明したように、符号量情報に応じてAF評価値制御の際のRGBゲインを変え、AF評価値のピーク位置をベストピークから安定してずらすことにより、入力画像をぼかし、発生符号量を減少させることができる。また、ずれる範囲は軸上色収差の範囲なので、ずらし過ぎて大きくぼやけることはない。なお、Rg、Gg、Bgは、AF評価値生成回路9内にテーブルとして持っていたり、演算したりしてもよい。また、具体的な数値はこれに限るものではなく、外部から制御できるものであってもよい。   As described above, the RGB gain at the time of AF evaluation value control is changed according to the code amount information, and the peak position of the AF evaluation value is stably shifted from the best peak, thereby blurring the input image and generating the generated code amount. Can be reduced. In addition, since the shift range is a range of axial chromatic aberration, the shift is not excessively blurred. Rg, Gg, and Bg may be stored as a table in the AF evaluation value generation circuit 9 or may be calculated. Further, specific numerical values are not limited to this, and may be those that can be controlled from the outside.

(第2の実施形態)
次に、図7〜図10を参照しながら、本実施形態について説明する。
図8は本実施形態における撮像装置のブロック図である。また、図9に本実施形態におけるカメラ信号処理回路6のブロック図である。
(Second Embodiment)
Next, the present embodiment will be described with reference to FIGS.
FIG. 8 is a block diagram of the imaging apparatus in the present embodiment. FIG. 9 is a block diagram of the camera signal processing circuit 6 in the present embodiment.

本実施形態は、第1の実施形態と略同様であって、同一部材には同一番号を付しており、重複する構成の説明は省略する。第1の実施形態と異なっている点は、カメラ信号処理回路6に色相検出回路604が含まれている点である。色相検出回路604は、被写体の色相を検出し、色相に応じた制御信号COLをAF評価値生成回路9へ出力する。そして、制御信号COLとフレーム間予測符号化処理回路8内部の符号量情報算出回路812とを用いてAF評価値生成回路9の制御方法を変える。   This embodiment is substantially the same as the first embodiment, and the same members are denoted by the same reference numerals, and the description of the overlapping configuration is omitted. The difference from the first embodiment is that the camera signal processing circuit 6 includes a hue detection circuit 604. The hue detection circuit 604 detects the hue of the subject and outputs a control signal COL corresponding to the hue to the AF evaluation value generation circuit 9. Then, the control method of the AF evaluation value generation circuit 9 is changed using the control signal COL and the code amount information calculation circuit 812 inside the inter-frame prediction encoding processing circuit 8.

図9において、色相検出回路604は、YCマトリクス処理回路601からの色差信号CB、CRを用いて、例えば以下の数5に示す演算によって被写体の色相θを算出する。   In FIG. 9, the hue detection circuit 604 calculates the hue θ of the subject by using the color difference signals CB and CR from the YC matrix processing circuit 601, for example, by the calculation shown in Equation 5 below.

Figure 0004724637
Figure 0004724637

また、色相θが以下のようなとき、制御信号COLを以下の数6に示すように出力する。   When the hue θ is as follows, the control signal COL is output as shown in the following equation (6).

Figure 0004724637
Figure 0004724637

また、πは円周率を表す。すなわち、制御信号COLが「1」の場合は被写体が比較的赤いものであることを示し、制御信号COLが「0」の場合は被写体が比較的青いものであることを示す。   Further, π represents a circumference ratio. That is, when the control signal COL is “1”, the subject is relatively red, and when the control signal COL is “0”, the subject is relatively blue.

次に、本実施形態におけるAF評価値生成回路9の制御動作について、図10のフローチャートを参照しながら説明する。
まず、ステップS900において、フレーム間予測符号化処理回路8内部の符号量情報算出回路812から、符号量情報を読み出す。
Next, the control operation of the AF evaluation value generation circuit 9 in the present embodiment will be described with reference to the flowchart of FIG.
First, in step S900, the code amount information is read from the code amount information calculation circuit 812 in the interframe predictive coding processing circuit 8.

次に、ステップS901において、カメラ信号処理回路6内部の色相検出回路604から被写体の色相に応じた制御信号COLを読み出す。そして、読み出した制御信号COLが「0」であるか「1」であるかを判断する。この判断の結果、制御信号COLが「0」であったならば、ステップS902において、RGBゲインを図7(a)に示すようにRgの比率が高くなるように設定する。一方、ステップS901の判断の結果、制御信号COLが「1」であったならば、ステップS903において、RGBゲインを図7(b)に示すようにBgの比率が高くなるように設定する。   In step S901, the control signal COL corresponding to the hue of the subject is read from the hue detection circuit 604 inside the camera signal processing circuit 6. Then, it is determined whether the read control signal COL is “0” or “1”. If the result of this determination is that the control signal COL is “0”, in step S902, the RGB gain is set so that the ratio of Rg is high as shown in FIG. On the other hand, if the result of determination in step S901 is that the control signal COL is “1”, in step S903, the RGB gain is set so that the ratio of Bg is increased as shown in FIG.

例えば、制御信号COLが「0」、すなわち、被写体が青いものであったならば、画像データは、Bの高周波成分を多く有する。ここで、AF評価値のBの比率を高めてしまうと、高周波成分を効率よく減少させることができないため、発生符号量を効率よく減少させることができない。そこで、RGBゲインのRgの比率を高くし、AF評価値のRの比率を高くすることによって、AF評価値のピークをRの方向へずらし、画像データの高周波成分を効率よく減少させる。これにより、発生符号量を効率よく減少させることができる。   For example, if the control signal COL is “0”, that is, if the subject is blue, the image data has many B high frequency components. Here, if the ratio of B of the AF evaluation value is increased, the high frequency component cannot be reduced efficiently, and the generated code amount cannot be reduced efficiently. Therefore, by increasing the Rg ratio of the RGB gain and increasing the R ratio of the AF evaluation value, the peak of the AF evaluation value is shifted in the R direction, and the high-frequency component of the image data is efficiently reduced. Thereby, the amount of generated codes can be efficiently reduced.

次に、ステップS904において、カメラ信号処理回路6内部の同時化処理回路600から、色成分信号RGBをそれぞれ読み出す。そして、ステップS905において、例えば数4に示した演算によって、輝度信号YAFを生成する。   Next, in step S904, the color component signals RGB are read from the synchronization processing circuit 600 inside the camera signal processing circuit 6, respectively. In step S905, for example, the luminance signal YAF is generated by the calculation shown in Equation 4.

次に、ステップS906において、高周波成分を取り出し、ステップS907において、高周波成分を積算する。また、ステップS908において、高周波成分の積算が完了であるか否かを判断する。この判断の結果、積算が完了していなかったらステップS904へ戻る。一方、ステップS908の判断の結果、積算が完了であれば、ステップS909において、AF評価値として積算した値をシステム制御部12へ出力する。   Next, in step S906, high frequency components are extracted, and in step S907, the high frequency components are integrated. In step S908, it is determined whether or not the integration of high frequency components is complete. If the integration is not completed as a result of this determination, the process returns to step S904. On the other hand, if the integration is completed as a result of the determination in step S908, the integrated value is output to the system control unit 12 in step S909 as the AF evaluation value.

以上、説明したように、本実施形態においては、色相検出回路604を用いて検出した色相から被写体が比較的青いか、比較的赤いかを判断するようにしたので、RGB比率を変えても発生符号量を効率よく減少できない状態を防ぐことができる。   As described above, in the present embodiment, it is determined whether the subject is relatively blue or relatively red from the hue detected using the hue detection circuit 604. It is possible to prevent a state where the code amount cannot be reduced efficiently.

(第3の実施形態)
次に、図11を参照しながら、本実施形態について説明する。
本実施形態は、第2の実施形態と略同様であって、同一部材には同一番号を付しており、重複する構成の説明は省略する。異なっている点は、カメラ信号処理回路6の色相検出回路604から、色相に応じた制御信号COLだけではなく、色相θも出力し、圧縮符号量情報、制御信号COL及び色相θに応じて、AF評価値生成回路9の評価値生成方法を変える点である。
(Third embodiment)
Next, the present embodiment will be described with reference to FIG.
This embodiment is substantially the same as the second embodiment, and the same members are denoted by the same reference numerals, and the description of the overlapping configuration is omitted. The difference is that the hue detection circuit 604 of the camera signal processing circuit 6 outputs not only the control signal COL corresponding to the hue but also the hue θ, and according to the compression code amount information, the control signal COL and the hue θ, The point is that the evaluation value generation method of the AF evaluation value generation circuit 9 is changed.

図11に、本実施形態におけるAF評価値生成回路9の評価値生成方法のフローチャートを示す。
まず、ステップS1100において、フレーム間予測符号化処理回路8内部の符号量情報算出回路812から符号量情報を読み出す。
FIG. 11 shows a flowchart of an evaluation value generation method of the AF evaluation value generation circuit 9 in the present embodiment.
First, in step S1100, code amount information is read from the code amount information calculation circuit 812 inside the inter-frame predictive coding processing circuit 8.

次に、ステップS1101において、カメラ信号処理回路6内部の色相検出回路604から、制御信号COLと色相θとから成る色相情報を読み出す。そして、読み出した制御信号COLが「0」であるか「1」であるかを判断する。この判断の結果、制御信号COLが「0」であったならば、ステップS1102へ進み、RGBゲインを図7(a)に示すようにRgの比率が高くなるように設定する。また、ステップS1101の判断の結果、制御信号COLが「1」であったならば、ステップS1103へ進み、RGBゲインを図7(b)に示すように、Bgの比率が高くなるように設定する。   In step S1101, hue information including the control signal COL and the hue θ is read from the hue detection circuit 604 inside the camera signal processing circuit 6. Then, it is determined whether the read control signal COL is “0” or “1”. If the control signal COL is “0” as a result of this determination, the process proceeds to step S1102, and the RGB gain is set so that the ratio of Rg is high as shown in FIG. If the result of determination in step S1101 is that the control signal COL is “1”, processing proceeds to step S1103, and the RGB gain is set so that the ratio of Bg is increased as shown in FIG. 7B. .

次に、ステップS1104において、輝度信号の計算に必要な係数α、β、γを図12に示すようにそれぞれ設定する。例えば、被写体がマゼンタの場合は、赤と青の高周波成分を多く有する。この場合に発生符号量を減らすために、高周波成分が少ないGのピーク位置にAF評価値を合わせる。そこで、α=0、β=1、γ=0として、AF評価値内のGの比率を高めることによって、高周波成分が少ないGのピーク位置にAF評価値を合わせる。   Next, in step S1104, coefficients α, β, and γ necessary for calculation of the luminance signal are set as shown in FIG. For example, if the subject is magenta, it has many red and blue high frequency components. In this case, in order to reduce the amount of generated codes, the AF evaluation value is adjusted to the G peak position where the high frequency component is small. Therefore, by setting α = 0, β = 1, and γ = 0 and increasing the ratio of G in the AF evaluation value, the AF evaluation value is adjusted to the peak position of G with a small number of high-frequency components.

次に、ステップS1105へ進み、カメラ信号処理回路6内部の同時化処理回路600から、色成分をそれぞれ読み出す。そして、ステップS1106において、例えば、以下の数7に示す演算によって、輝度信号YAFを生成する。   In step S 1105, the color components are read from the synchronization processing circuit 600 inside the camera signal processing circuit 6. In step S1106, for example, the luminance signal YAF is generated by the calculation shown in the following Expression 7.

Figure 0004724637
Figure 0004724637

次に、ステップS1107において、高周波成分を取り出し、ステップS1108において、高周波成分を積算する。次に、ステップS1109において、高周波成分の積算が完了したか否かを判断する。この判断の結果、完了していなかったならば、ステップS1105へ戻る。一方、ステップS1109の判断の結果、積算が完了であれば、ステップS1110において、AF評価値として積算した値をシステム制御部12へ出力する。   Next, in step S1107, high frequency components are extracted, and in step S1108, the high frequency components are integrated. Next, in step S1109, it is determined whether or not the integration of high frequency components has been completed. If the result of this determination is that it has not been completed, processing returns to step S1105. On the other hand, if the integration is completed as a result of the determination in step S1109, the integrated value is output to the system control unit 12 in step S1110 as the AF evaluation value.

以上、説明したように、制御信号COLと色相θとを用いることにより、それぞれの色相に適したAF評価値を生成できるようになる。これにより効果的にAF評価値のピーク位置をベストピークから安定してずらすことができ、入力画像を効果的にぼかし、発生符号量を減少させることができる。   As described above, by using the control signal COL and the hue θ, an AF evaluation value suitable for each hue can be generated. Thereby, the peak position of the AF evaluation value can be effectively shifted from the best peak, the input image can be effectively blurred, and the generated code amount can be reduced.

また、ずれる範囲は軸上色収差の範囲なので、ずらし過ぎて大きくぼやけることはない。なお、α、β、γは、AF評価値制御回路内にテーブルとして持っていたり、演算したりしてもよい。また、具体的な数値はこれに限るものではなく、外部から制御できるものであってもよい。   In addition, since the shift range is a range of axial chromatic aberration, the shift is not excessively blurred. Α, β, and γ may be stored as a table in the AF evaluation value control circuit or may be calculated. Further, specific numerical values are not limited to this, and may be those that can be controlled from the outside.

(第4の実施形態)
次に、図13〜図15を参照しながら、本実施形態について説明する。
図13は、本実施形態における撮像装置のブロック図である。また、図14は、本実施形態におけるカメラ信号処理回路6のブロック図である。
本実施形態は第3の実施形態と略同様であって、同一部材には同一番号を付しており、重複する構成の説明は省略する。異なっている点は、カメラ信号処理回路6に色抑圧回路605が含まれており、AF評価値生成回路9から評価値生成情報Tを入力する点である。
(Fourth embodiment)
Next, the present embodiment will be described with reference to FIGS.
FIG. 13 is a block diagram of the imaging apparatus according to the present embodiment. FIG. 14 is a block diagram of the camera signal processing circuit 6 in the present embodiment.
This embodiment is substantially the same as the third embodiment, and the same members are denoted by the same reference numerals, and the description of the overlapping configuration is omitted. The difference is that the camera signal processing circuit 6 includes a color suppression circuit 605, and the evaluation value generation information T is input from the AF evaluation value generation circuit 9.

図14において、色抑圧回路605は、YCマトリクス処理回路601から色差信号CBと色差信号CR、AF評価値生成回路9からAF評価値生成情報、及び輪郭補償回路602から輝度信号の高周波成分YHを入力する。そして、これらを用いて、AF評価値のRGB比率を変えた際に、輝度のエッジ周辺に発生する色にじみを、システム制御部12から読み出したCRg、CBgを用いて、例えば、以下の数8及び数9に示す演算によって抑圧する。   In FIG. 14, the color suppression circuit 605 receives the color difference signal CB and the color difference signal CR from the YC matrix processing circuit 601, the AF evaluation value generation information from the AF evaluation value generation circuit 9, and the high frequency component YH of the luminance signal from the contour compensation circuit 602. input. Then, using these, when the RGB ratio of the AF evaluation value is changed, the color blur that occurs around the edge of the brightness is read using the CRg and CBg read from the system control unit 12, for example, And suppression by the calculation shown in Equation 9.

Figure 0004724637
Figure 0004724637

Figure 0004724637
Figure 0004724637

本実施形態における色抑圧回路605の制御動作について図15に示すフローチャートを参照しながら説明する。
まず、ステップS1400において、輪郭補償回路602から、輝度信号の高周波成分YHを読み出す。次に、ステップS1401において、着目画素が高輝度部周辺か否かを判断する。この判断の結果、高輝度部周辺であったならば、色抑圧処理を行うため、ステップS1402に進む。一方、ステップS1401の判断の結果、高輝度部周辺でなければ、ステップS1406へ進む。
The control operation of the color suppression circuit 605 in this embodiment will be described with reference to the flowchart shown in FIG.
First, in step S1400, the high frequency component YH of the luminance signal is read from the contour compensation circuit 602. Next, in step S1401, it is determined whether the pixel of interest is in the vicinity of the high luminance part. If the result of this determination is that it is in the vicinity of the high luminance part, the process proceeds to step S1402 in order to perform color suppression processing. On the other hand, if the result of the determination in step S1401 is not the vicinity of the high luminance part, the process proceeds to step S1406.

ステップS1402において、AF評価値生成回路9からAF評価値生成情報を読み出す。次に、ステップS1403において、AF評価値生成情報からRGBゲイン設定情報を読み出し、RGBゲインの設定がどのようになっているかを判別する。ここで、RGBゲイン設定情報は、第2の実施形態の図7に示したように、色相から設定されたRGBゲイン比率をどのように設定するかという情報を指す。   In step S1402, AF evaluation value generation information is read from the AF evaluation value generation circuit 9. Next, in step S1403, RGB gain setting information is read from the AF evaluation value generation information, and it is determined how the RGB gain is set. Here, the RGB gain setting information indicates information on how to set the RGB gain ratio set from the hue as shown in FIG. 7 of the second embodiment.

この判別の結果、RGBゲイン設定がRgの比率が高くなるように設定されていた場合は、AF評価値のピークはRのピーク方向へずれるため、Bがぼけて入力され、高輝度部周辺ではBの色にじみが発生する。そこで、ステップS1404へ進み、CBの抑圧ゲインであるCBgを0に設定し、高輝度部周辺に発生するBの色にじみを抑圧するように設定する。   As a result of this determination, when the RGB gain setting is set so that the ratio of Rg is high, the peak of the AF evaluation value is shifted in the direction of the peak of R, so that B is blurred and input. B color blur occurs. Therefore, the process proceeds to step S1404, where CBg, which is a CB suppression gain, is set to 0, and B color blurring that occurs around the high-luminance portion is set to be suppressed.

一方、ステップS1403の判別の結果、RGBゲイン設定がBgの比率が高くなるように設定されていた場合は、AF評価値のピークがBのピーク方向へずれるために、Rがぼけて入力され、高輝度部周辺ではRの色にじみが発生する。そこで、ステップS1405へ進み、CRの抑圧ゲインであるCRgを0に設定し、高輝度部周辺に発生するRの色にじみを抑圧するように設定する。ここで、CBg、CRgは0に設定したが、外部から抑圧を制御してもよい。   On the other hand, as a result of the determination in step S1403, when the RGB gain setting is set so that the ratio of Bg is increased, the AF evaluation value peak is shifted in the B peak direction, so that R is blurred and input. In the vicinity of the high-luminance portion, a color blur of R occurs. Accordingly, the process proceeds to step S1405, where CRg, which is a CR suppression gain, is set to 0 and is set so as to suppress the R color blurring that occurs around the high luminance portion. Here, although CBg and CRg are set to 0, suppression may be controlled from the outside.

次に、ステップS1406において、設定されたCBg、CRgを用いて演算を行い、処理を終了する。本実施形態では、高輝度部周辺に発生する色にじみを抑圧した。一方、同時化処理回路600から入力された色成分信号RGBの高周波成分やYCマトリクス回路601から入力された色差信号CB、CRの高周波成分を抽出して、色の境界で発生する色にじみを抑圧するようにしてもよい。   Next, in step S1406, calculation is performed using the set CBg and CRg, and the process ends. In the present embodiment, the color blur that occurs around the high luminance portion is suppressed. On the other hand, the high frequency component of the color component signal RGB input from the synchronization processing circuit 600 and the high frequency component of the color difference signals CB and CR input from the YC matrix circuit 601 are extracted to suppress the color blur generated at the color boundary. You may make it do.

以上説明したように、本実施形態によれば、色抑圧回路605を用いることによって、AF評価値のRGB比率を変えた場合に高輝度部周辺に発生する色にじみを抑圧することができる。   As described above, according to the present embodiment, by using the color suppression circuit 605, it is possible to suppress the color blur that occurs around the high-luminance portion when the RGB ratio of the AF evaluation value is changed.

(本発明に係る他の実施形態)
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the image pickup apparatus and each step of the image pickup method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図4、10、11、15に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 4, 10, 11, and 15) for realizing the functions of the above-described embodiments is directly or remotely supplied to the system or apparatus. To do. This includes the case where the system or apparatus computer also achieves by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。   Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   As another method, the program of the present invention is encrypted, stored in a recording medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本発明の第1の実施形態における撮像装置の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of an imaging device according to a first embodiment of the present invention. 本発明の第1の実施形態におけるカメラ信号処理回路の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera signal processing circuit in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるフレーム間予測符号化処理回路の構成例を示すブロック図である。It is a block diagram which shows the structural example of the inter-frame prediction encoding process circuit in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるAF評価値生成回路の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of AF evaluation value generation circuit in the 1st Embodiment of this invention. 本発明の第1の実施形態において、画像データの高周波成分と発生符号量との関係を示す図である。In the 1st Embodiment of this invention, it is a figure which shows the relationship between the high frequency component of image data, and the generated code amount. 本発明の第1の実施形態において、高周波成分とフォーカスレンズの位置との関係を示す図である。In the 1st Embodiment of this invention, it is a figure which shows the relationship between a high frequency component and the position of a focus lens. 本発明の第1の実施形態において、発生符号量とRg、Gg、Bgのゲイン量との関係を示す図である。In the 1st Embodiment of this invention, it is a figure which shows the relationship between the amount of generated codes and the gain amount of Rg, Gg, and Bg. 本発明の第2の実施形態における撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device in the 2nd Embodiment of this invention. 本発明の第2の実施形態におけるカメラ信号処理回路の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera signal processing circuit in the 2nd Embodiment of this invention. 本発明の第2の実施形態におけるAF評価値生成回路の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of AF evaluation value generation circuit in the 2nd Embodiment of this invention. 本発明の第3の実施形態におけるAF評価地生成回路の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of AF evaluation ground generation circuit in the 3rd Embodiment of this invention. 本発明の第3の実施形態において、色相とα、β、γとの関係を示す図である。In the 3rd Embodiment of this invention, it is a figure which shows the relationship between a hue, (alpha), (beta), and (gamma). 本発明の第4の実施形態における撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device in the 4th Embodiment of this invention. 本発明の第4の実施形態におけるカメラ信号処理回路の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera signal processing circuit in the 4th Embodiment of this invention. 本発明の第4の実施形態におけるAF評価値生成回路の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of AF evaluation value generation circuit in the 4th Embodiment of this invention.

符号の説明Explanation of symbols

1 レンズ
2 絞り
3 撮像素子
4 AFE
5 駆動回路
6 カメラ信号処理回路
7 画像メモリ
8 フレーム間予測符号化処理回路
9 AF評価値生成回路
10 記録処理回路
11 記録媒体
12 システム制御部
13 不揮発性メモリ(ROM)
14 揮発性メモリ(RAM)
15 バス
600 同時化処理回路
601 YCマトリクス処理回路
602 輪郭補償回路
603 加算回路
604 色相検出回路
605 色抑圧回路
800 ブロック化回路
801 第1の加算器
802 直交変換回路
803 量子化回路
804 ランレングス符号化回路
805 多重化回路
806 逆量子化回路
807 逆直交変換回路
808 第2の加算器
809 フレームメモリ
810 動きベクトル検出回路
811 バッファ
812 符号量情報算出回路
1 Lens 2 Aperture 3 Image Sensor 4 AFE
DESCRIPTION OF SYMBOLS 5 Drive circuit 6 Camera signal processing circuit 7 Image memory 8 Inter-frame prediction encoding processing circuit 9 AF evaluation value generation circuit 10 Recording processing circuit 11 Recording medium 12 System control part 13 Non-volatile memory (ROM)
14 Volatile memory (RAM)
15 Bus 600 Synchronization processing circuit 601 YC matrix processing circuit 602 Contour compensation circuit 603 Addition circuit 604 Hue detection circuit 605 Color suppression circuit 800 Blocking circuit 801 First adder 802 Orthogonal transformation circuit 803 Quantization circuit 804 Run length coding Circuit 805 Multiplexing circuit 806 Inverse quantization circuit 807 Inverse orthogonal transformation circuit 808 Second adder 809 Frame memory 810 Motion vector detection circuit 811 Buffer 812 Code amount information calculation circuit

Claims (8)

撮像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記画像信号を画像データに信号処理する信号処理手段と、
前記信号処理手段によって信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得手段と、
前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節手段と、
前記信号処理手段によって信号処理された画像データを圧縮符号化する圧縮符号化手段とを備え、
前記評価値取得手段は、前記圧縮符号化手段から出力される圧縮符号量情報に応じて、前記信号処理手段によって信号処理された画像データのRGB成分の比率を変更して前記評価値を取得することを特徴とする撮像装置。
Imaging means for photoelectrically converting a subject image formed by an imaging optical system and outputting an image signal;
Signal processing means for processing the image signal into image data;
Evaluation value acquisition means for acquiring an evaluation value indicating an in-focus state of the imaging optical system based on image data signal-processed by the signal processing means;
Focus adjusting means for controlling the focus by moving the imaging optical system according to the evaluation value;
Compression encoding means for compressing and encoding the image data signal-processed by the signal processing means,
The evaluation value acquisition unit changes the RGB component ratio of the image data signal-processed by the signal processing unit according to the compression code amount information output from the compression encoding unit, and acquires the evaluation value. An imaging apparatus characterized by that.
被写体の色情報を検出する色情報検出手段を有し、
前記評価値取得手段は、前記色情報検出手段によって検出された色情報と前記圧縮符号量情報とに応じて、前記RGB成分の比率を変更して前記評価値を取得することを特徴とする請求項1に記載の撮像装置。
Color information detecting means for detecting color information of the subject;
The evaluation value acquisition unit acquires the evaluation value by changing a ratio of the RGB components according to color information detected by the color information detection unit and the compression code amount information. Item 2. The imaging device according to Item 1.
前記評価値取得手段は、前記圧縮符号化手段から出力される圧縮符号量情報に応じて、前記信号処理手段によって信号処理された画像データのRGB成分のうち、RまたはBの比率を高くして前記評価値を取得することを特徴とする請求項1又は2に記載の撮像装置。   The evaluation value acquisition unit increases the ratio of R or B among the RGB components of the image data signal-processed by the signal processing unit according to the compression code amount information output from the compression encoding unit. The imaging apparatus according to claim 1, wherein the evaluation value is acquired. 前記信号処理手段は、前記画像データの色信号を抑圧する色抑圧手段と、前記画像データの輝度の高周波成分を抽出する抽出手段とを有し、前記色抑圧手段は、前記評価値取得手段によって取得された評価値における情報と前記抽出手段によって抽出された輝度の高周波成分とに基づいて色信号を抑圧することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。   The signal processing means includes color suppression means for suppressing a color signal of the image data, and extraction means for extracting a high-frequency component of luminance of the image data. The color suppression means is obtained by the evaluation value acquisition means. The imaging apparatus according to claim 1, wherein the color signal is suppressed based on information on the acquired evaluation value and a high-frequency component of luminance extracted by the extraction unit. 請求項1乃至4のいずれか1項に記載の撮像装置と、
撮像光学系とを有することを特徴とする撮像システム。
The imaging device according to any one of claims 1 to 4,
An imaging system comprising: an imaging optical system.
撮像光学系により結像された被写体像を光電変換して得られた画像信号を画像データに信号処理する信号処理工程と、
前記信号処理工程で信号処理された画像データに基づいて前記撮像光学系の合焦状態を示す評価値を取得する評価値取得工程と、
前記評価値に応じて前記撮像光学系を移動させて焦点の調節をするよう制御する焦点調節工程と、
前記信号処理工程によって信号処理された画像データを圧縮符号化する圧縮符号化工程とを備え、
前記評価値取得工程では、前記圧縮符号化工程により出力される圧縮符号量情報に応じて、前記信号処理工程によって信号処理された画像データのRGB成分の比率を変更して前記評価値を取得することを特徴とする撮像方法。
A signal processing step of signal-processing image signals obtained by photoelectrically converting a subject image formed by an imaging optical system into image data;
An evaluation value acquisition step of acquiring an evaluation value indicating the in-focus state of the imaging optical system based on the image data signal-processed in the signal processing step;
A focus adjustment step for controlling the focus by moving the imaging optical system according to the evaluation value;
A compression encoding step of compression encoding the image data signal-processed by the signal processing step,
In the evaluation value acquisition step, the evaluation value is acquired by changing a ratio of RGB components of the image data signal-processed by the signal processing step according to the compression code amount information output by the compression encoding step. An imaging method characterized by the above.
請求項6に記載の撮像方法をコンピュータに実行させることを特徴とするプログラム。   A program causing a computer to execute the imaging method according to claim 6. 請求項7に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium, wherein the program according to claim 7 is recorded.
JP2006280585A 2006-10-13 2006-10-13 Imaging apparatus, imaging system, imaging method, program, and recording medium Expired - Fee Related JP4724637B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006280585A JP4724637B2 (en) 2006-10-13 2006-10-13 Imaging apparatus, imaging system, imaging method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006280585A JP4724637B2 (en) 2006-10-13 2006-10-13 Imaging apparatus, imaging system, imaging method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2008099141A JP2008099141A (en) 2008-04-24
JP4724637B2 true JP4724637B2 (en) 2011-07-13

Family

ID=39381486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006280585A Expired - Fee Related JP4724637B2 (en) 2006-10-13 2006-10-13 Imaging apparatus, imaging system, imaging method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4724637B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523141B2 (en) * 2009-05-28 2014-06-18 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP5889010B2 (en) * 2012-01-31 2016-03-22 キヤノン株式会社 Imaging apparatus and control method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3607857B2 (en) * 2000-07-27 2005-01-05 オリンパス株式会社 Endoscope device
JP2003219416A (en) * 2002-01-18 2003-07-31 Hitachi Ltd Video camera device
JP2005236603A (en) * 2004-02-19 2005-09-02 Victor Co Of Japan Ltd Photographing method of image compression coding and photographing image coding apparatus

Also Published As

Publication number Publication date
JP2008099141A (en) 2008-04-24

Similar Documents

Publication Publication Date Title
US10122947B2 (en) Image pickup apparatus and image processing method
JP3893099B2 (en) Imaging system and imaging program
US8170345B2 (en) Imaging system, image processing method, and image processing program
US8269850B2 (en) Signal processing method and signal processing system
KR20070089085A (en) Image capturing apparatus, imaging circuit, and image capturing method
US10021325B2 (en) Image sensor and image capturing apparatus
US10600170B2 (en) Method and device for producing a digital image
JP2020178292A5 (en) Communication equipment and its control method, program
WO2019003676A1 (en) Image processing device, image processing method, and program
KR20160135826A (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
JP4724637B2 (en) Imaging apparatus, imaging system, imaging method, program, and recording medium
JP2010021710A (en) Imaging device, image processor, and program
JP2023052939A (en) Coding device, decoding device, coding method, decoding method, coding program, and decoding program
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
US11823422B2 (en) Image processing apparatus, control method of the same, and storage medium
JP5213604B2 (en) Imaging device
US8368782B2 (en) Multiple exposure image pickup apparatus, multiple exposure image pickup method, program, and recording medium
JP4702088B2 (en) Image signal noise reduction method, noise reduction apparatus, and imaging apparatus
JP6152642B2 (en) Moving picture compression apparatus, moving picture decoding apparatus, and program
JP4074323B2 (en) Playback system and playback program
JP4741989B2 (en) Imaging apparatus and imaging method
JP7289642B2 (en) IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM
WO2016047250A1 (en) Signal processing apparatus, imaging apparatus and signal processing method
US9554108B2 (en) Image processing device and storage medium storing image processing program
JP5180734B2 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees