JPH05300421A - Automatic focusing device - Google Patents
Automatic focusing deviceInfo
- Publication number
- JPH05300421A JPH05300421A JP4097631A JP9763192A JPH05300421A JP H05300421 A JPH05300421 A JP H05300421A JP 4097631 A JP4097631 A JP 4097631A JP 9763192 A JP9763192 A JP 9763192A JP H05300421 A JPH05300421 A JP H05300421A
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- calculating
- evaluation amount
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Automatic Focus Adjustment (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、撮像用光学系の自動焦
点調節を行う自動焦点調節装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic focusing device for automatically focusing an optical system for image pickup.
【０００２】[0002]
【従来の技術】一般に、ビデオカメラ等の撮像装置は、
被写体に自動的に焦点を合わせる、いわゆるフォーカシ
ングを行う自動焦点調節装置を備えている。このような
自動焦点調節装置には各種方式が知られており、撮像部
から得られる画像信号を用いてフォーカシングする方式
もその中の一つである。2. Description of the Related Art Generally, an image pickup device such as a video camera is
It is equipped with an automatic focusing device that performs so-called focusing, which automatically focuses on a subject. Various systems are known for such an automatic focus adjustment device, and one of them is a system for focusing using an image signal obtained from an image pickup unit.
【０００３】撮像映像信号を用いて焦点制御するオート
フォーカス方式は、他の方式に比べてオートフォーカス
用の特別な光学系やセンサを必要とせず機構が極めて簡
単になると共に撮像レンズの被写体深度に関わらず正確
に焦点合わせを行うことができるという多くの利点を有
する。このようなオートフォーカス方式の一例である山
登りサーボ方式が文献『ＮＨＫ技術報告（昭和４０年第
１７巻、第１号通巻８６号２６頁）「山登りサーボ方式
によるテレビカメラの自動焦点調節」』に開示されてい
る。The autofocus system in which focus control is performed by using a picked-up image signal does not require a special optical system or sensor for autofocus as compared with other systems, and the mechanism is extremely simple. Regardless, it has many advantages of being able to focus accurately. A mountain climbing servo system, which is an example of such an auto focus system, is described in the document "NHK Technical Report (Vol. 17, 1970, No. 1, Vol. 86, No. 26, pp. 26)" Automatic focus adjustment of TV camera by mountain climbing servo system "". It is disclosed.
【０００４】この方式の原理は、フォーカスが合ってい
る場合には画像のエッジ部分に存在する高域成分が大き
く、デフォーカスすればするほどその高域成分が小さく
なるという事実を利用している。The principle of this system utilizes the fact that the high-frequency component existing at the edge portion of the image is large when the image is in focus, and the high-frequency component becomes smaller as the defocusing is performed. ..
【０００５】撮像映像信号を用いてオートフォーカスを
行う基本方式は上記文献で開示されており、より具体的
な動作について図に基づき説明する。The basic method for performing autofocus using a picked-up image signal is disclosed in the above-mentioned document, and a more specific operation will be described with reference to the drawings.
【０００６】図７は従来のオートフォーカス装置を示す
ブロック図であり、図において、５０は映像信号抽出領
域、つまりサンプリングエリアとして撮像画面内の比較
的狭い特定の領域を設定するためのゲート開閉信号ＧＣ
１を発生するゲート制御回路、５１はゲート制御回路５
０からサンプリングエリアの輝度信号のみを通過させる
ゲート回路、フォーカス評価値作成部６０は高域通過濾
波器（ＨＰＦ）５２、検波回路５３、積分回路５４、Ａ
／Ｄ変換器５５から構成され、評価量をデジタル信号で
出力するシステムである。FIG. 7 is a block diagram showing a conventional autofocus device. In the figure, reference numeral 50 denotes a video signal extraction area, that is, a gate opening / closing signal for setting a relatively narrow specific area in an image pickup screen as a sampling area. GC
1 is a gate control circuit, 51 is a gate control circuit 5
The gate circuit that passes only the luminance signal in the sampling area from 0, the focus evaluation value creation unit 60 includes a high-pass filter (HPF) 52, a detection circuit 53, an integration circuit 54, A
This is a system that includes an A / D converter 55 and outputs the evaluation amount as a digital signal.
【０００７】フォーカス評価値作成部６０においてＨＰ
Ｆ５２はカットオフ周波数として２００ｋＨｚ〜８００
ｋＨｚの間で選択される値を有し、撮像素子（図示せ
ず）から撮像信号をテレビジョン系の映像信号として出
力する撮像回路５６からの輝度信号の中でゲート回路５
１を通過したサンプリングエリアに対応する信号から高
域成分のみを抽出する。得られた高域成分は次の検波回
路５３で振幅検波された輝度信号を１フィールド毎に積
分し輝度信号の相当フィールドにおける高域成分のレベ
ルを表す信号として送出する。積分回路５４の出力はＡ
／Ｄ変換器５５でデジタル信号に変換され評価量として
抽出される。In the focus evaluation value creating section 60, HP
F52 has a cutoff frequency of 200 kHz to 800
Among the luminance signals from the image pickup circuit 56, which has a value selected between kHz and which outputs an image pickup signal from an image pickup element (not shown) as a television system video signal, the gate circuit 5
Only high frequency components are extracted from the signal corresponding to the sampling area that has passed 1. The obtained high frequency component is integrated with the luminance signal amplitude-detected by the next detection circuit 53 for each field, and is transmitted as a signal representing the level of the high frequency component in the corresponding field of the luminance signal. The output of the integrating circuit 54 is A
The signal is converted into a digital signal by the / D converter 55 and extracted as an evaluation amount.
【０００８】以上述べたような構成において、次にその
動作を説明する。被写体は撮像回路５６によって水平同
期信号と垂直同期信号を有する輝度信号を含む映像信号
に変換される。The operation of the above-described structure will be described below. The subject is converted by the image pickup circuit 56 into a video signal including a luminance signal having a horizontal synchronizing signal and a vertical synchronizing signal.
【０００９】この映像信号の中の輝度信号はゲート回路
５１及び同期分離回路５７に入力されるが、同期分離回
路５７では与えられた輝度信号から垂直と水平の各同期
信号を分離し、ゲート制御回路５０に与える。ゲート制
御回路５０は一定の周波数で発振する固定発振器を有し
ており、垂直同期信号、水平同期信号並びに固定発振器
出力に基づいて輝度信号の所定の領域を時間的に規定し
て輝度信号の必要部分のみを通過させるべくゲート開閉
信号ＧＣ１を発生しそれをゲート回路５１に出力する。The luminance signal in this video signal is input to the gate circuit 51 and the sync separation circuit 57. The sync separation circuit 57 separates the vertical and horizontal sync signals from the given luminance signal, and performs gate control. It is given to the circuit 50. The gate control circuit 50 has a fixed oscillator that oscillates at a constant frequency, and a predetermined region of the luminance signal is temporally defined based on the vertical synchronizing signal, the horizontal synchronizing signal, and the fixed oscillator output, and the luminance signal is required. A gate opening / closing signal GC1 is generated so as to pass only the portion and is output to the gate circuit 51.
【００１０】その結果、ゲート回路５１からＨＰＦ５２
に対してはゲート制御回路５０により設定されたサンプ
リングエリアに対応する輝度信号成分のみが与えられ、
相当エリアの高域成分だけが抽出される。ＨＰＦ５２で
抽出された高域成分は次段の検波回路５３により振幅検
波される。検波回路５３の検波出力、すなわち高域成分
のレベルは積分回路５４に与えられ、ここで１フィール
ド毎に積分されフォーカス評価値としてＡ／Ｄ変換器５
５に与えられる。Ａ／Ｄ変換器５５は評価量をデジタル
信号で出力する。As a result, the gate circuit 51 to the HPF 52
Is given only the luminance signal component corresponding to the sampling area set by the gate control circuit 50,
Only the high frequency components of the corresponding area are extracted. The high frequency component extracted by the HPF 52 is amplitude-detected by the detection circuit 53 at the next stage. The detection output of the detection circuit 53, that is, the level of the high frequency component is given to the integration circuit 54, where it is integrated for each field and the A / D converter 5 is used as a focus evaluation value.
Given to 5. The A / D converter 55 outputs the evaluation amount as a digital signal.
【００１１】この評価量をもとに、評価量が小さくなれ
ばフォーカスレンズを反射側に移動し、評価量の山の頂
上を試行錯誤で求めるのが山登りサーボ方式オートフォ
ーカスである。On the basis of this evaluation amount, the hill-climbing servo type autofocus is a process in which the focus lens is moved to the reflection side when the evaluation amount becomes small and the peak of the evaluation amount is obtained by trial and error.
【００１２】上記従来例で、画像のエッジ成分を抽出す
るためのＨＰＦ５２のカットオフ周波数は固定ではな
く、状況に応じて変える必要がある。なぜなら、デフォ
ーカス状態では画像のエッジ成分は小さく、しかも低周
波に集中しているためカットオフ周波数をあまり高くで
きない。ところが、合焦点に近づくにつれて高周波成分
が増大してくるが、フォーカスレンズの移動に対応する
変化量はカットオフ周波数が低いままでは撮影画像の絵
柄などによる低周波成分のため精度良く検出できない。
そこで、一般には合焦点に近づくにつれてカットオフ周
波数を高くする必要がある。In the above-mentioned conventional example, the cutoff frequency of the HPF 52 for extracting the edge component of the image is not fixed but needs to be changed according to the situation. This is because in the defocused state, the edge components of the image are small and are concentrated in low frequencies, so the cutoff frequency cannot be made too high. However, although the high-frequency component increases as it approaches the in-focus point, the amount of change corresponding to the movement of the focus lens cannot be accurately detected if the cutoff frequency remains low because of the low-frequency component due to the pattern of the captured image.
Therefore, it is generally necessary to increase the cutoff frequency as the focal point is approached.
【００１３】更に、ビデオカメラやカメラ一体型ビデオ
テープレコーダーにおいては、光学系にズーム機能を持
つものが多く、撮影画角が変化する場合が多々ある。こ
のような機器において、図７に示したゲート制御回路５
０とゲート回路５１で設定されるサンプリングエリアの
大きさが固定である場合は、ズームによる被写体の大き
さの変化に対応して正確に画像のエッジ部分の高周波成
分を抽出できない。例えば、望遠側で撮像している時は
被写体が大きくなり、サンプリングエリアを飛び出すこ
とが考えられる。一方、広角側では被写体が小さくな
り、フォーカス評価量に占める被写体のエッジ成分量が
少なくなるため、ズーム中は評価量変化がデフォーカス
変化と対応関係がなくなり、山登りサーボを行えなくな
る。これを解決するために、ズーム（すなわち、焦点距
離）に応じて、サンプリングエリアの大きさを可変にし
ている。Furthermore, in many video cameras and video tape recorders with a built-in camera, the optical system has a zoom function, and the photographing field angle often changes. In such a device, the gate control circuit 5 shown in FIG.
When 0 and the size of the sampling area set by the gate circuit 51 are fixed, the high frequency component of the edge portion of the image cannot be accurately extracted in response to the change in the size of the subject due to zooming. For example, it is conceivable that the subject becomes large when the image is picked up on the telephoto side and jumps out of the sampling area. On the other hand, the subject becomes smaller on the wide-angle side and the amount of edge components of the subject in the focus evaluation amount decreases, so that the change in the evaluation amount has no correspondence with the change in the defocus during zooming, and the mountain climbing servo cannot be performed. To solve this, the size of the sampling area is made variable according to the zoom (that is, the focal length).
【００１４】[0014]
【発明が解決しようとする課題】従来のオートフォーカ
ス装置は以上のように構成されているので、アナログで
処理する部分が多く、回路のばらつきや温度特性により
精度よく評価量を抽出できなかった。また、入力される
画像信号の状態によって回路を切り替えなければならな
かった。Since the conventional autofocus device is constructed as described above, there are many parts to be processed by analog, and the evaluation amount cannot be accurately extracted due to circuit variations and temperature characteristics. Also, the circuit has to be switched depending on the state of the input image signal.
【００１５】更に、従来のオートフォーカス装置では、
サンプリングエリア全体の高域成分を対象としているの
で、例えば、距離の異なる被写体や奥行きのある被写体
に対しては、デフォーカス量と評価量が正確に対応せ
ず、自動焦点調節機構の迷いを生ずるという問題があっ
た。Further, in the conventional autofocus device,
Since the high frequency components of the entire sampling area are targeted, for example, for subjects with different distances or subjects with depth, the defocus amount and the evaluation amount do not correspond exactly, and the autofocus adjustment mechanism gets confused. There was a problem.
【００１６】本発明は上記のような問題点を解消するた
めになされたもので、構成が簡単で、高速に処理するこ
とが可能である自動焦点調節装置を得ることを目的とす
る。The present invention has been made to solve the above problems, and an object of the present invention is to obtain an automatic focusing apparatus having a simple structure and capable of high-speed processing.
【００１７】[0017]
【課題を解決するための手段】本発明の請求項１の自動
焦点調節装置においては、撮像装置からの画像信号の画
素間差分を算出する画素間差分処理手段と、その出力の
絶対値を算出する絶対値処理手段と、その出力の値のば
らつきを算出するエントロピー算出手段から構成され、
上記エントロピー算出手段より出力された値をオートフ
ォーカスの評価量として抽出するものである。According to another aspect of the present invention, there is provided an inter-pixel difference processing means for calculating an inter-pixel difference of an image signal from an image pickup device and an absolute value of its output. And an entropy calculation means for calculating the variation in the output values,
The value output from the entropy calculating means is extracted as an autofocus evaluation amount.
【００１８】本発明の請求項２の自動焦点調節装置にお
いては、撮像装置からの画像信号の画素間差分を算出す
る画素間差分処理手段と、その出力の絶対値を算出する
絶対値処理手段とその出力値から最も大きな値、或い
は、値の大きいものから複数個選択する最大値算出手段
から構成され、上記最大値算出手段から出力された値を
オートフォーカスのい評価量として抽出するものであ
る。According to another aspect of the present invention, there is provided an inter-pixel difference processing means for calculating the inter-pixel difference of the image signal from the image pickup device, and an absolute value processing means for calculating the absolute value of its output. It is composed of a maximum value calculating means for selecting a maximum value from the output values or a plurality of values having a large value, and the value output from the maximum value calculating means is extracted as an evaluation amount without autofocus. ..
【００１９】本発明の請求項３の自動焦点調節装置にお
いては、撮像装置からの画像信号の中から、エントロピ
ー算出を行う領域である画像特徴抽出領域の画像信号を
抜き出し、上記画像特徴抽出領域を複数個の小領域に分
割する小領域分割処理手段と、第１のエントロピー算出
手段と、上記第１のエントロピー算出手段の出力を特徴
量とし、上記特徴量についてその中で、最大値を算出す
る最大値算出手段、或いは、上記特徴量を複数加算する
総和算出手段、或いは、上記特徴量の各値の平均値を算
出する平均値算出手段から構成され、上記最大値算出手
段、或いは、総和上記算出処理手段、或いは、上記平均
値算出手段より出力された値をオートフォーカス評価量
として抽出するものである。In the automatic focusing apparatus according to the third aspect of the present invention, the image signal of the image feature extraction area which is an area for performing entropy calculation is extracted from the image signal from the image pickup device, and the image feature extraction area is extracted. The small area division processing means for dividing into a plurality of small areas, the first entropy calculation means, and the output of the first entropy calculation means are used as the characteristic amount, and the maximum value is calculated among the characteristic amounts. The maximum value calculating means, or the sum total calculating means for adding a plurality of the characteristic amounts, or the average value calculating means for calculating the average value of the respective values of the characteristic amounts, the maximum value calculating means or the sum total The value output from the calculation processing means or the average value calculation means is extracted as the autofocus evaluation amount.
【００２０】本発明の請求項４の自動焦点調節装置にお
いては、撮像装置からの画像信号の中から、エントロピ
ー算出処理を行う領域である画像特徴抽出領域の画像信
号を抜き出し、上記画像特徴抽出領域を複数個の小領域
に分割する小領域分割処理手段と、第１のエントロピー
算出手段と、上記第１のエントロピー算出手段の出力を
特徴量とし、上記特徴量のうち、値の大きい小領域を一
つ、或いは複数個選択する小領域選択手段と小領域を更
に細分化するブロック分割処理手段と、各ブロックにお
いて行う第２のエントロピー算出手段から構成され、上
記第２のエントロピー算出手段より出力された値をオー
トフォーカス評価量として抽出するものである。In the automatic focusing apparatus according to the fourth aspect of the present invention, the image signal of the image feature extraction area which is an area for performing entropy calculation processing is extracted from the image signal from the image pickup device, and the image feature extraction area is extracted. Is divided into a plurality of small areas, a first entropy calculating means, and an output of the first entropy calculating means as feature quantities, and a small area having a large value among the feature quantities is selected. It is composed of a small area selecting means for selecting one or a plurality of areas, a block division processing means for further subdividing the small areas, and a second entropy calculating means for each block, which is output from the second entropy calculating means. This value is extracted as the autofocus evaluation amount.
【００２１】本発明の請求項５の自動焦点調節装置にお
いては、上記小領域分割処理手段と、小領域内におい
て、直交変換を行う直交変換手段と、上記直交変換より
得られる変換係数の最大値を算出する最大値算出手段、
或いは、上記直交変換より得られる変換係数の分散値を
算出する分散値算出手段から構成され、上記最大値算出
手段、或いは、上記分散値算出手段から出力された値を
オートフォーカス評価量として抽出するものである。In the automatic focusing apparatus according to claim 5 of the present invention, the small area division processing means, the orthogonal transformation means for performing orthogonal transformation within the small area, and the maximum value of the transformation coefficient obtained by the orthogonal transformation. Maximum value calculating means for calculating
Alternatively, it is composed of a variance value calculating means for calculating the variance value of the transform coefficient obtained by the orthogonal transformation, and the maximum value calculating means or the value output from the variance value calculating means is extracted as an autofocus evaluation amount. It is a thing.
【００２２】[0022]
【作用】本発明の請求項１に係る自動焦点調節装置で
は、撮像装置から出力された画像信号について、画素間
差分処理を行い、その出力値のばらつき具合を算出し、
その処理結果をデフォーカス量に対応する評価量として
自動焦点調節を行うようにしている。In the automatic focusing apparatus according to the first aspect of the present invention, the pixel signal difference processing is performed on the image signal output from the image pickup apparatus, and the degree of variation in the output value is calculated,
Automatic focus adjustment is performed by using the processing result as an evaluation amount corresponding to the defocus amount.
【００２３】本発明の請求項２に係るエントロピー算出
手段では、画素間差分値のばらつき具合を最大値算出手
段を用いて評価量を算出するようにしている。In the entropy calculation means according to the second aspect of the present invention, the evaluation amount is calculated by using the maximum value calculation means for the variation in the inter-pixel difference value.
【００２４】請求項３に係る自動焦点調節装置では、撮
像装置からの画像信号を小領域に分割し、各小領域につ
いてエントロピー算出手段を用いて評価量を算出し、そ
れに基づき自動焦点調節を行うようにしている。In the automatic focus adjusting device according to the third aspect, the image signal from the image pickup device is divided into small regions, the evaluation amount is calculated for each small region using the entropy calculating means, and the automatic focus adjustment is performed based on the evaluation amount. I am trying.
【００２５】請求項４に係る自動焦点調節装置では、小
領域選択手段により特徴量の大きい小領域を選択し、そ
の選択された小領域内で、第２のエントロピー算出処理
手段により、評価量を算出し、それに基づき自動焦点調
節を行うようにしている。In the automatic focusing apparatus according to the fourth aspect, the small area selecting means selects a small area having a large feature amount, and the second entropy calculation processing means selects the evaluation amount in the selected small area. It is calculated and the automatic focus adjustment is performed based on it.
【００２６】請求項５に係る自動焦点調節装置では、画
像信号を直交変換手段により周波数領域成分に変換し、
その領域スペクトルの大きさを示す直交変換係数のばら
つき具合を算出し、その算出結果をデフォーカス量に対
応する評価量として自動焦点調節を行うようにしてい
る。In the automatic focusing apparatus according to the fifth aspect, the image signal is transformed into the frequency domain component by the orthogonal transformation means,
The degree of variation in the orthogonal transform coefficient indicating the size of the region spectrum is calculated, and the calculation result is used as the evaluation amount corresponding to the defocus amount to perform automatic focus adjustment.
【００２７】[0027]
【実施例】実施例１．図１は本発明の自動焦点調節装置
に画素間差分処理装置を用いた一例を示すブロック図で
ある。画像光は撮像用の光学系１と光電変換器２より構
成された撮像装置３により、画像信号に変換され、上記
画像信号は画素間差分処理装置５と絶対値処理装置６を
通り、エントロピー算出装置７から出力された値をオー
トフォーカス評価量８とする。EXAMPLES Example 1. FIG. 1 is a block diagram showing an example in which an inter-pixel difference processing device is used in the automatic focus adjustment device of the present invention. The image light is converted into an image signal by an image pickup device 3 including an image pickup optical system 1 and a photoelectric converter 2, and the image signal passes through an inter-pixel difference processing device 5 and an absolute value processing device 6 to calculate entropy. The value output from the device 7 is the autofocus evaluation amount 8.
【００２８】上記撮像装置３より出力される映像信号４
は、デジタル信号であるとする。上記画素間差分処理装
置は、画像の特徴を抽出する為の処理であり、隣接画素
間の差分を取りることによって、隣接画素間の輝度の変
化量を抽出することができる。隣接画素間差分データの
確率密度分布は、一般的に統計学で用いられるラプラス
分布を示し、標準偏差をσとすると次の(1)式で表すこ
とができる。Video signal 4 output from the image pickup device 3
Is a digital signal. The inter-pixel difference processing device is a process for extracting a feature of an image, and by obtaining a difference between adjacent pixels, it is possible to extract an amount of change in luminance between adjacent pixels. The probability density distribution of the difference data between adjacent pixels shows a Laplace distribution generally used in statistics, and can be expressed by the following equation (1) where the standard deviation is σ.
【００２９】[0029]
【数１】 [Equation 1]
【００３０】合焦点付近では、隣接画素間差分データの
ばらつきが大きく、非合焦では、小さく概ね０付近に集
中する。In the vicinity of the in-focus point, the difference in the difference data between adjacent pixels is large, and in the out-of-focus state, it is small and concentrates in the vicinity of 0.
【００３１】隣接画素間差分データは、今後の処理で変
化量のみを必要とするので、絶対値処理装置６により、
絶対値処理を行う。Since the difference data between adjacent pixels requires only the amount of change in future processing, the absolute value processing device 6
Performs absolute value processing.
【００３２】上記絶対値処理装置６より出力された処理
データは、エントロピー算出装置７で処理される。上記
エントロピー処理装置７は、上記隣接画素間差分データ
のばらつきを算出するためのもので、統計学で用いられ
ている分散値算出を行う。上記隣接画素間差分データに
ついて述べたように、合焦点付近では、データのばらつ
きが大きくなるので、分散値算出処理を行うことにより
そのばらつきを数値の大きさで評価することができる。The processed data output from the absolute value processing device 6 is processed by the entropy calculating device 7. The entropy processing device 7 is for calculating the variation in the difference data between adjacent pixels, and calculates the variance value used in statistics. As described above with respect to the difference data between adjacent pixels, the variation of the data becomes large near the focal point, and therefore the variation can be evaluated by the numerical value by performing the variance value calculation process.
【００３３】従って、フォーカスレンズのある位置で上
記分散値を算出し、次にフォーカスレンズを移動した後
で同様に分散値を算出した場合、もし合焦点に近づく方
にレンズが移動されていれば、後者の値が大きくなり、
合焦点から遠ざかる方に移動されていれば後者が小さく
なるので、上記分散値の変化を用いて自動焦点調節を行
うことができる。Therefore, when the dispersion value is calculated at a certain position of the focus lens and then the dispersion value is similarly calculated after moving the focus lens, if the lens is moved toward the in-focus point. , The latter value becomes larger,
Since the latter becomes smaller if it is moved away from the in-focus point, automatic focus adjustment can be performed using the change in the dispersion value.
【００３４】上記エントロピー算出装置７からの出力を
評価量８とし、自動焦点調節装置におけるフォーカスレ
ンズ駆動量を決定するための算出出力をオートフォーカ
スの評価値とする。The output from the entropy calculation device 7 is used as the evaluation amount 8, and the calculated output for determining the focus lens drive amount in the automatic focus adjustment device is used as the evaluation value of autofocus.
【００３５】また、上記エントロピー算出処理を行う前
に、上記隣接画素間差分データの間引き処理を行うこと
によって、演算時間を短縮することができる。上記エン
トロピー算出処理では隣接画素間データの全てに対して
以下の (2)式で示したような演算を行うわけであるが、
これをデータ数１／２に間引きしてしまえば、演算量も
１／２となることは明かである。ただし、間引き量を大
きくすると、評価値の精度が悪くなるので、必用精度が
保てる範囲内で上記隣接画素間差分データの間引きを行
わなければならい。Further, the calculation time can be shortened by performing the thinning-out process of the adjacent pixel difference data before the entropy calculation process. In the entropy calculation process, the calculation shown in the following equation (2) is performed on all the data between adjacent pixels.
Obviously, if the number of data is thinned to 1/2, the amount of calculation will also be 1/2. However, if the thinning-out amount is increased, the accuracy of the evaluation value becomes worse. Therefore, it is necessary to thin out the adjacent pixel difference data within a range in which the required accuracy can be maintained.
【００３６】[0036]
【数２】 [Equation 2]
【００３７】また、上記エントロピー算出処理を行う前
に、上記隣接画素間差分データについて階調化処理を行
うことにより、上記隣接画素間差分データのデータ長を
短縮することができる。更に、階調化処理を行うことに
より、階調幅の間におさまるノイズを平滑する事ができ
るので、処理データのノイズを低減する効果がある。Further, the data length of the adjacent pixel difference data can be shortened by performing the gradation process on the adjacent pixel difference data before the entropy calculation process. Further, by performing the gradation processing, it is possible to smooth the noise contained in the gradation width, which has the effect of reducing the noise in the processed data.
【００３８】また、上記実施例では、隣接画素間差分を
用いたが、これは精度が落ちるが、１画素おき、或いは
２画素おきに差分値を求めてもよい。この手法はデフォ
ーカス量との相関は弱くなるが、ノイズに対して強くな
るという利点もある。また、演算量を軽減できるという
利点がある。さらに画素間の差分がラプラス分布を示す
という統計学的性質は、画像の水平方向に限らず、垂直
方向でも同様の性質を持っているので、どちらかの一
方、或いは両方共に算出し評価量としてもよい。In the above embodiment, the difference between adjacent pixels is used. However, this is less accurate, but the difference value may be obtained every other pixel or every two pixels. This method has a weak correlation with the defocus amount, but has an advantage of being strong against noise. In addition, there is an advantage that the calculation amount can be reduced. Furthermore, the statistical property that the difference between pixels shows a Laplace distribution has the same property not only in the horizontal direction of the image but also in the vertical direction, so either or both of them are calculated and used as the evaluation amount. Good.
【００３９】実施例２．図２は最大値算出装置９を用い
た自動焦点調節装置の構成図である。撮像装置３より出
力された画像信号は、画素間差分処理装置５で画素間差
分処理され、次に絶対値処理装置６により、絶対値処理
される。上記絶対値処理された処理データは、上記最大
値算出装置９により上記処理データの最大値が算出さ
れ、それを評価量１０とする。Example 2. FIG. 2 is a block diagram of an automatic focus adjusting device using the maximum value calculating device 9. The image signal output from the image pickup device 3 is subjected to the inter-pixel difference processing by the inter-pixel difference processing device 5, and is then subjected to the absolute value processing by the absolute value processing device 6. For the processing data subjected to the absolute value processing, the maximum value of the processing data is calculated by the maximum value calculation device 9, and the calculated maximum value is used as the evaluation amount 10.
【００４０】上記撮像装置３及び上記画素間差分処理装
置５及び上記絶対値処理装置６は、例えば上記実施例１
で述べたものと同様なものである。The image pickup device 3, the inter-pixel difference processing device 5, and the absolute value processing device 6 are provided, for example, in the first embodiment.
Is the same as that described in.
【００４１】上記最大値算出装置９は上記実施例１で述
べた上記画素間差分データがラプラス分布を示し、合焦
点付近では、ばらつきが大きくなることに注目し、分散
を算出する代わりに、上記画素間差分データの中で最大
のものを選出する最大値算出手段を用いても同様な結果
を得ることができる。実施例１での分散値演算は、乗算
と加算を各データについて施すため、演算時間を要す
が、最大値算出は減算だけでよいので演算時間的に有利
である。The maximum value calculation device 9 pays attention to the fact that the inter-pixel difference data described in the first embodiment shows a Laplace distribution and the variation becomes large near the focal point, and instead of calculating the variance, Similar results can be obtained by using the maximum value calculating means for selecting the largest value among the pixel difference data. The distributed value calculation in the first embodiment requires a calculation time because multiplication and addition are performed for each data, but the maximum value calculation is advantageous because it only requires subtraction.
【００４２】また、被写体が高輝度なものであるという
ような特異点が存在した場合、デフォーカス状態でも画
素間差分は大きな傾きを示すので、その点の処理データ
を評価値として選択してしまう可能性がある。そこで、
上記画素間差分データの大きいものから複数個の処理デ
ータを算出し、その値の和を評価量とする事により、特
異点のみの処理データを選択してしまい、評価量とデフ
ォーカス量の相関関係が崩れる場合でも誤った処理デー
タを評価量とする事はない。また、ノイズについても、
同様な効果を得ることができる。Further, when there is a singular point such that the subject has a high brightness, the difference between pixels shows a large inclination even in the defocused state, so the processing data at that point is selected as the evaluation value. there is a possibility. Therefore,
By calculating a plurality of processing data from the one with the largest inter-pixel difference data and using the sum of the values as the evaluation amount, the processing data of only the singular point is selected, and the correlation between the evaluation amount and the defocus amount. Even if the relationship is broken, erroneous processed data will not be used as the evaluation amount. Also, regarding noise,
Similar effects can be obtained.
【００４３】カメラ一体型ビデオテープレコーダのよう
に動画像を対象とする機器においては、フォーカシング
に要する時間がその性能上問題となる。すなわち、上記
評価量をもとにデフォーカス量やフォーカスレンズを動
かす方向などを判断させるわけであるが、評価量算出に
時間を要する場合、演算が終了したときには被写体が動
いており、撮影状況が変化している（結果的に真の評価
量は変化している）ということが生じる。このような場
合、動きのある被写体に対してオートフォーカスがうま
く機能していないということになる。従って、実施例２
で示したような演算量の低減は必須となる。In a device for moving images such as a video tape recorder with a built-in camera, the time required for focusing becomes a problem in terms of performance. That is, the defocus amount and the direction in which the focus lens is moved are determined based on the above evaluation amount. However, when it takes time to calculate the evaluation amount, the subject is moving when the calculation is completed, and the shooting situation is It is changing (as a result, the true evaluation amount is changing). In such a case, it means that autofocus does not work well for a moving subject. Therefore, Example 2
It is essential to reduce the amount of calculation as shown in.
【００４４】実施例３．図３は本発明の自動焦点調節装
置に小領域分割処理装置を用いた一例を示すブロック図
である。撮像装置３は、上記実施例１と同様のものであ
る。上記撮像装置３より出力された画像信号４は、小領
域分割処理装置１１により小領域に分割され、上記画素
間分処理装置５で画素間差分処理を行われ、上記絶対値
処理装置６で絶対値処理が行われる。Example 3. FIG. 3 is a block diagram showing an example in which a small area division processing device is used in the automatic focus adjustment device of the present invention. The image pickup device 3 is the same as that in the first embodiment. The image signal 4 output from the image pickup device 3 is divided into small regions by the small region division processing device 11, the inter-pixel difference processing device 5 performs inter-pixel difference processing, and the absolute value processing device 6 performs absolute processing. Value processing is performed.
【００４５】上記絶対値処理後の各領域で算出されたデ
ータは、上記エントロピー算出装置７で各々算出され、
領域各々のエントロピー算出データについて、最大値算
出１２を行い、その出力を評価量１５とする。The data calculated in each area after the absolute value processing is calculated by the entropy calculating device 7,
The maximum value calculation 12 is performed on the entropy calculation data of each area, and the output is set as the evaluation amount 15.
【００４６】上記小領域分割処理装置１１は、画像信号
の全領域（画面全体）に対し、エントロピー算出処理を
行う領域、例えば、画像中心部分で、全領域面積の２分
の１の領域を画像特徴抽出領域とし、その領域内を複数
のブロック、例えば、３０個の小領域に分割を行う。The small area division processing device 11 performs an entropy calculation processing on the entire area (entire screen) of the image signal, for example, an image of a half area of the entire area at the center of the image. A feature extraction area is defined, and the area is divided into a plurality of blocks, for example, 30 small areas.
【００４７】上記小領域に分割した後、各々の領域にお
いてエントロピー算出装置７において分散度合を算出す
ることによって、その小領域での画像の複雑性を示す特
徴量３０が算出される。After the division into the small areas, the degree of dispersion is calculated by the entropy calculating device 7 in each area, whereby the characteristic amount 30 indicating the complexity of the image in the small area is calculated.
【００４８】上記全領域において上記エントロピー算出
処理を行う、つまり、１領域中から１つの特徴量を抽出
すると、画像の特性が現れるものの、細部の変化につい
ての検知能力は無い。しかし、上記小領域分割処理は上
記小領域分割処理を行った後に、分割された各領域にお
いて、後の算出処理を行うと、分割した領域各々の場所
の特徴量が分かり、また、全ての特徴量から総合的に判
断する処理を行うことにより、上記のものとは違った、
画像の細部まで考慮した評価量が抽出できる。When the entropy calculation processing is performed in the entire area, that is, when one feature amount is extracted from one area, the characteristic of the image appears, but there is no ability to detect a change in detail. However, in the small area division processing, after performing the small area division processing, if the subsequent calculation processing is performed in each divided area, the feature amount of each divided area can be known, and all the characteristics By performing the process of comprehensively judging from the amount, different from the above,
It is possible to extract the evaluation amount considering the details of the image.
【００４９】また、上記小領域に分割することによっ
て、各々の領域に含まれる被写体の距離に応じて特徴量
が抽出されるため、各々の領域の特徴量の変化を見るこ
とにより距離の異なる被写体や奥行きのある被写体につ
いても対応することができる。Further, since the feature amount is extracted according to the distance of the subject included in each region by dividing the region into the above-mentioned small regions, the subject having different distance can be seen by observing the change in the feature amount of each region. It is also possible to handle subjects with depth.
【００５０】上記特徴量３０は、合焦点であると、大き
な値が算出されるので、上記特徴量３０の中から上記最
大値算出装置１２により最大値を算出し、その値を評価
量１５としても、同様な結果が得られる。A large value is calculated for the characteristic amount 30 when it is in focus, so the maximum value is calculated from the characteristic amount 30 by the maximum value calculating device 12, and the value is set as the evaluation amount 15. Produces similar results.
【００５１】また、上記特徴量３０は、高輝度被写体な
どの特異点が含まれる領域の処理データはデフォーカス
してもデータの大きさが変化しないためデフォーカス量
との相関関係が崩れるものの、それ以外の領域では、画
像本来の特徴量が抽出される。もし、上記最大値算出１
２において、特異点の含まれる領域が選択された場合、
それは誤った特徴量として抽出されてしまう。Further, although the feature amount 30 is not related to the defocus amount because the size of the processed data of the region including a singular point such as a high brightness subject does not change even if defocused, the feature amount 30 is destroyed. In the other areas, the original feature amount of the image is extracted. If the above maximum value calculation 1
In 2, when a region including a singular point is selected,
It will be extracted as an incorrect feature amount.
【００５２】そこで、上記特徴量の全て、或いは複数個
を加算する総和算出処理装置１３で処理することによ
り、上記特異点の特徴量は、他の特徴量に埋もれてしま
い、評価量１６への影響は少なくなる。Therefore, by processing the sum of all or a plurality of the above feature quantities by the sum calculation processing unit 13, the feature quantity of the singular point is buried in the other feature quantities, and the evaluation quantity 16 is stored. The impact will be less.
【００５３】また、上記特徴量の平均を求める平均値算
出装置１４で処理することにより、上記同様、上記特異
点の特徴量の評価量１７に与える影響は少なくなる。ま
た、平均化することにより上記評価量１７の出力データ
長（Bit 数）が上記総和算出処理よりも軽減される。Further, by the processing by the average value calculating device 14 for obtaining the average of the feature quantities, the influence on the evaluation quantity 17 of the feature quantity of the singular point is reduced as in the above. Further, by averaging, the output data length (the number of bits) of the evaluation amount 17 is reduced as compared with the total sum calculation process.
【００５４】なお、図３には最大値算出装置１２、総和
算出装置１３、平均値算出装置１４を並列に示している
が、これは、少なくともその内の一つを備えていればよ
い。Although the maximum value calculating device 12, the sum total calculating device 13 and the average value calculating device 14 are shown in parallel in FIG. 3, it is sufficient that at least one of them is provided.
【００５５】また、図３では小領域分割処理装置１１を
画素間差分処理装置５と絶対値処理装置６のまえに置い
ているが、これは、後に置いてもよいし、間に置いても
よいのは明かである。Further, in FIG. 3, the small area division processing device 11 is placed in front of the inter-pixel difference processing device 5 and the absolute value processing device 6, but this may be placed later or in between. The good thing is clear.
【００５６】実施例４．図４は本発明の自動焦点調節装
置にブロック分割処理装置を用いた一例を示すブロック
図である。上記撮像装置３から出力された画像信号４
は、上記小領域分割処理装置１１で小領域分割処理さ
れ、画素間差分処理装置５、絶対値処理装置６で処理さ
れる。次に、第１のエントロピー算出装置１８で算出さ
れた値を特徴量２３とし、上記特徴量２３により小領域
選択処理装置１９で小領域の選択処理を行う。Example 4. FIG. 4 is a block diagram showing an example in which a block division processing device is used in the automatic focus adjustment device of the present invention. Image signal 4 output from the imaging device 3
Is subjected to small area division processing by the small area division processing device 11, and is processed by the inter-pixel difference processing device 5 and the absolute value processing device 6. Next, the value calculated by the first entropy calculation device 18 is set as the feature amount 23, and the small region selection processing device 19 performs the small region selection processing based on the feature amount 23.
【００５７】選択された上記小領域は、ブロック分割処
理装置２０により領域内を更に細かいブロックに分割さ
れる。ブロック分割された小領域の処理データは、エン
トロピー演算装置２８と評価量算出処理装置２９から成
る。第２のエントロピー算出装置２１で処理され、出力
された値を評価量２２とする。The selected small area is divided into smaller blocks by the block division processing device 20. The processing data of the block-divided small area includes an entropy calculation device 28 and an evaluation amount calculation processing device 29. The value processed and output by the second entropy calculation device 21 is used as the evaluation amount 22.
【００５８】上記第１のエントロピー算出装置１８によ
り出力される上記特徴量２３は、次の上記小領域選択処
理装置１９において小領域を選択するための値である。
上記第１のエントロピー算出装置１８は、分割された上
記小領域について、上記評価量２２を算出するのに適し
た領域を選択するための特徴量を抽出する。従って、処
理は高速に行われるような簡単なアルゴリズムのものが
適している。The feature amount 23 output by the first entropy calculation device 18 is a value for selecting a small region in the next small region selection processing device 19.
The first entropy calculation device 18 extracts a feature amount for selecting a region suitable for calculating the evaluation amount 22 from the divided small regions. Therefore, a simple algorithm that can be processed at high speed is suitable.
【００５９】上記第１のエントロピー算出装置１８は最
大値算出を行うもので、次の上記小領域選択処理装置１
９では一番大きな隣接画素間差分値を有する小領域を選
択する。The first entropy calculation device 18 calculates the maximum value, and the following small area selection processing device 1 is used.
In 9, the small area having the largest difference value between adjacent pixels is selected.
【００６０】上記小領域選択処理装置１９で選択された
小領域を更に小さなブロックに分割し、ブロック単位に
次の上記第２のエントロピー算出装置２１で値を算出す
ることにより、全画像の中から、特徴的な部分について
のみ評価量を算出することができ、より複雑な特徴抽出
処理を効率よく実行することが可能となる。The small area selected by the small area selection processing device 19 is divided into smaller blocks, and the second entropy calculating device 21 next calculates the value for each block, so that all the images are selected. As a result, the evaluation amount can be calculated only for the characteristic part, and more complicated feature extraction processing can be efficiently executed.
【００６１】なお、上記第１のエントロピー算出装置１
８は最大値算出を行うものとしたが、これは分散値や平
均値と最大値の差を求めても同様の結果が得られる。ま
た、ある閾値以上の値を持つデータの数を求めてもよ
い。The first entropy calculating device 1
Although the maximum value 8 is calculated, the same result can be obtained by calculating the difference between the variance value and the average value and the maximum value. Further, the number of data having a value equal to or larger than a certain threshold may be obtained.
【００６２】上記ブロック分割処理装置２０は、例えば
上記小領域内を５×５画素のブロックに分割し、上記第
２のエントロピー算出装置２１中のエントロピー演算装
置２８は、分散値算出を行うものである。分散値算出処
理はエントロピー算出処理としては精度が高く有効であ
るが演算量が多く、処理時間がかかる。しかし、本実施
例のように領域を限定してその中で分散値算出処理を行
うようにすれば評価量算出に対する大幅な時間短縮を行
うことができる。The block division processing device 20 divides the small area into blocks of 5 × 5 pixels, for example, and the entropy calculation device 28 in the second entropy calculation device 21 calculates the variance value. is there. The variance value calculation process is highly accurate and effective as the entropy calculation process, but the calculation amount is large and the processing time is long. However, if the region is limited and the variance value calculation process is performed therein as in the present embodiment, it is possible to significantly reduce the time for calculating the evaluation amount.
【００６３】また、上記小領域で評価量を求める場合、
領域内に２つ以上の距離の違う被写体が存在すると、そ
れぞれの被写体付近から抽出される特徴量が相乗され、
この領域の評価量を見てもフォーカスの山登り制御を行
うことが出来ない。しかし、５×５画素のブロックで上
記ブロック分割を行い、小さくした領域内でエントロピ
ー算出処理を行うことにより、ブロック中に２つの被写
体が入る確率は低減される。上記小領域内における各ブ
ロックのエントロピー算出結果を、上記評価量算出装置
２９により、複数或いは全数の和を算出することで、上
記各被写体それぞれのフォーカス位置で評価量が山登り
の頂点を示すようになる。When the evaluation amount is calculated in the small area,
If there are two or more subjects with different distances in the area, the features extracted from each subject will be synergized,
Even when looking at the evaluation amount in this area, it is not possible to perform the hill climbing control of the focus. However, by performing the block division with a block of 5 × 5 pixels and performing the entropy calculation process in the reduced area, the probability that two subjects are included in the block is reduced. The entropy calculation result of each block in the small area is calculated by the evaluation amount calculation device 29 to calculate the sum of a plurality or all of the entropy calculation results so that the evaluation amount indicates the peak of hill climbing at the focus position of each subject. Become.
【００６４】上記小領域をまず特徴量２３で選択するこ
とは、カメラ一体型ビデオテープレコーダのように撮影
者が手に持って撮影をする場合、その撮影中の撮像装置
３の揺動いわゆる「手振れ」に対し有効となる。即ち、
５×５画素のブロック単位だけで評価量を算出し、それ
をもってデフォーカス量を判断するようなシステムで
は、上記のような手振れで、時々刻々評価量とそれを得
られるブロックが変化するため山登りサーボによるオー
トフォーカスは不可能となる。これに対し、５×５画素
ブロックより大きい小領域単位で評価量を監視していれ
ば、振幅の大きくない手振れが生じた場合、上記小領域
中で画像が動くだけであるから評価量は変化しないため
正常に山登りサーボオートフォーカスが実現できる。ま
た、振幅の大きい手振れで、小領域間を動く画像であっ
ても、上記実施例のように高速演算を可能としたシステ
ムでは、手振れの主要周波数成分（10Hz以下）に比べ、
十分高速に（1/30Hz以下）上記小領域選択と評価量算出
が行えるので、この場合も小領域中の評価量が急激に変
化することはなく山登りを正常に行える。When the photographer holds the image in the hand like a camera-integrated video tape recorder, the small area is first selected by the feature amount 23. That is, the so-called "swing" of the image pickup device 3 during the image pickup. It is effective against camera shake. That is,
In a system in which the evaluation amount is calculated only in 5 × 5 pixel block units and the defocus amount is determined based on the evaluation amount, the evaluation amount and the block from which it can be obtained change momentarily due to the hand shake as described above. Servo autofocus is not possible. On the other hand, if the evaluation amount is monitored in units of a small area larger than the 5 × 5 pixel block, when a shake with a small amplitude occurs, the image only moves in the small area and the evaluation amount changes. Because it does not, you can achieve hill climbing servo auto focus normally. Further, even in the case of an image that moves between small areas due to a large shake, in a system that enables high-speed calculation as in the above embodiment, compared to the main frequency component (10 Hz or less) of the shake,
Since the small area selection and the evaluation amount calculation can be performed sufficiently fast (1/30 Hz or less), the evaluation amount in the small area does not change abruptly and the mountain climbing can be performed normally.
【００６５】なお、上記実施例における第２のエントロ
ピー算出装置２１中のエントロピー演算装置２８は分散
値を算出するとしたが、これは実施例２、３で示したよ
うな最大値算出や平均値算出でも実現できる。The entropy calculation unit 28 in the second entropy calculation unit 21 in the above embodiment calculates the variance value, but this is the maximum value calculation or average value calculation as shown in the second and third embodiments. But it can be achieved.
【００６６】また、上記実施例における第２のエントロ
ピー算出装置２１中の評価量算出装置２９は、ブロック
毎に算出された値の複数或いは全数の総和を求めるよう
にしていたが、これは平均値算出でもよい。Further, the evaluation amount calculation device 29 in the second entropy calculation device 21 in the above-mentioned embodiment is arranged to obtain the sum of a plurality of or all the values calculated for each block, but this is the average value. It may be calculated.
【００６７】実施例５．図５は本発明の自動焦点調節装
置に直交変換装置を用いた一例を示すブロック図であ
る。上記撮像装置３より出力された画像信号４は、上記
小領域分割処理装置１１で小領域分割を行い、直交変換
処理装置２４で直交変換処理を行う。次に、上記直交変
換処理された小領域のデータのばらつき具合いを算出す
る分散値算出装置２５により算出されたデータを評価値
２７として抽出する。上記分散値算出装置２５は、上記
最大値算出装置或は、エントロピー算出処理等を行な
う。Example 5. FIG. 5 is a block diagram showing an example in which an orthogonal transformation device is used in the automatic focus adjustment device of the present invention. The image signal 4 output from the image pickup device 3 is divided into small regions by the small region division processing device 11, and orthogonal transformation processing is performed by the orthogonal transformation processing device 24. Next, the data calculated by the variance value calculation device 25 that calculates the degree of variation in the data of the small area subjected to the orthogonal transformation process is extracted as the evaluation value 27. The variance value calculation device 25 performs the maximum value calculation device or entropy calculation processing.
【００６８】上記小領域分割処理装置は、８×８画素の
小領域に分割するものである。上記直交変換処理装置２
４は、上記画素間差分差分処理が画像のエッジの傾きに
よって評価量を抽出していたことに対し、画像の周波数
成分に注目して評価量を抽出するものである。The small area division processing device divides into small areas of 8 × 8 pixels. The orthogonal transform processing device 2
4 is to extract the evaluation amount by paying attention to the frequency component of the image, whereas the above-mentioned inter-pixel difference processing has extracted the evaluation amount based on the inclination of the edge of the image.
【００６９】画像の周波数成分を見ると、複雑な画像、
或いは、焦点のあった画像は高い周波数成分が多く含ま
れるとともに、変換係数のばらつきが大きくなってい
る。一方、単純な画像或いは、ボケた画像は、高い周波
数成分はあまり含まれないし、変換係数の絶対値が小さ
く、かつばらつきも小さいという特性がある。Looking at the frequency components of the image, a complex image,
Alternatively, the focused image contains many high frequency components, and the variation of the conversion coefficient is large. On the other hand, a simple image or a blurred image does not contain high frequency components so much, the absolute value of the conversion coefficient is small, and the variation is small.
【００７０】上記直交変換処理装置２４は、ＤＣＴ（Di
screte Cosine Transform ：離散的コサイン変換）であ
り、上記分散値算出装置２５では、上記直交変換処理装
置２４より出力されたデータの内、ブロック中の左上の
直流成分の値を除いたものについて処理を行う。８×８
画素の小領域に対するＤＣＴ係数と周波数の対応関係を
図６に示す。なお、ＤＣＴ係数の定義は次の通りであ
る。The orthogonal transform processing device 24 uses the DCT (Di
screte Cosine Transform (discrete cosine transform), and the dispersion value calculation device 25 processes the data output from the orthogonal transform processing device 24 excluding the value of the upper left DC component in the block. To do. 8 x 8
FIG. 6 shows the correspondence between the DCT coefficient and the frequency for the small area of the pixel. The definition of the DCT coefficient is as follows.
【００７１】[0071]
【数３】 [Equation 3]
【００７２】上記分散値算出装置２５より出力された値
が、上記評価量２７となるが、上記評価量２７は、デフ
ォーカス状態では小さく、合焦に近づくにつれ、漸次増
加してくるので、実施例１〜４で説明した山登りサーボ
が可能なレンズ位置に対する変化特性を示す。The value output from the variance value calculating device 25 becomes the evaluation amount 27, but the evaluation amount 27 is small in the defocus state and gradually increases as the focus approaches, so The change characteristic with respect to the lens position in which the hill climbing servo described in Examples 1 to 4 is possible is shown.
【００７３】上記直交変換処理を用いると、周波数領域
において特徴量を抽出するため、照度変化による影響を
受けにくい。When the above orthogonal transformation process is used, the feature quantity is extracted in the frequency domain, and therefore, it is less affected by the change in illuminance.
【００７４】なお、上記分散値算出装置２５は、直交変
換係数のばらつき度合を算出するものであるから、ばら
つきと相関関係のある量であればどのようなものでもよ
く、図６に示したブロックの左上の直流成分以外の周波
数成分につき、ある閾値以上（或は以下）の値を持つ係
数の和や係数の個数を出力としてもかまわない。Since the variance value calculating device 25 calculates the degree of variation of the orthogonal transformation coefficient, any amount having a correlation with the variation may be used, and the block shown in FIG. For the frequency components other than the DC component on the upper left of the above, the sum of the coefficients having a value (or below) a certain threshold value or the number of coefficients may be output.
【００７５】さらに、上記実施例のブロック図の図１〜
図５の各処理装置は、デジタル・シグナル・プロセッサ
（ＤＳＰ）等を用いて高速なハードウエアで実行するこ
ともできるが、図１〜図５に示したブロック図の処理の
流れに沿って、マイクロコンピュータ内でソフトウエア
処理も可能である。この場合、動きのある被写体や手振
れに対応するため実施例２〜４で示した高速な演算方法
を活用することは必須となる。Further, FIG. 1 to FIG. 1 of the block diagram of the above embodiment.
Each processing device in FIG. 5 can be executed by high-speed hardware using a digital signal processor (DSP) or the like, but along the process flow of the block diagrams shown in FIGS. Software processing is also possible in the microcomputer. In this case, it is indispensable to utilize the high-speed calculation method described in Embodiments 2 to 4 in order to deal with a moving subject and camera shake.
【００７６】[0076]
【発明の効果】本発明の請求項１に係る自動焦点調節装
置では、撮像装置から出力された画像信号について、画
素間差分処理を行い、その出力値のばらつき具合を算出
し、その処理データをデフォーカス量に対応する評価量
として自動焦点調節を行うようにしているので、従来よ
りも構成が簡単であり、高速に処理することができる。In the automatic focus adjusting device according to the first aspect of the present invention, the image signal output from the image pickup device is subjected to inter-pixel difference processing, the degree of variation in the output value is calculated, and the processed data is stored. Since the automatic focus adjustment is performed as the evaluation amount corresponding to the defocus amount, the configuration is simpler than the conventional one and the processing can be performed at high speed.
【００７７】本発明の請求項２に係るエントロピー算出
手段において、最大値検出手段を用いることにより、処
理するデータ量を低減し、自動焦点調節の評価量を高速
に算出するようにしたので、動きの速い被写体や、撮影
状況の急激な変化に対しても高速な合焦動作が可能にな
るという効果がある。In the entropy calculating means according to the second aspect of the present invention, the maximum value detecting means is used to reduce the amount of data to be processed and to calculate the evaluation amount of automatic focus adjustment at high speed. There is an effect that a high-speed focusing operation can be performed even for a fast-moving subject or a sudden change in shooting conditions.
【００７８】本発明の請求項３に係る自動焦点調節装置
では、撮像装置からの画像信号を領域分割処理によって
小さな領域に分け、各小領域で、画素間差分処理のデー
タのばらつき具合を算出するようにしたので、デフォー
カス量に対する評価量を精度良く抽出できるという効果
がある。In the automatic focus adjusting device according to the third aspect of the present invention, the image signal from the image pickup device is divided into small areas by the area division processing, and the degree of data variation in the inter-pixel difference processing is calculated in each small area. As a result, there is an effect that the evaluation amount with respect to the defocus amount can be accurately extracted.
【００７９】本発明の請求項４に係る自動焦点調節装置
では、小領域選択処理手段により、特徴量の大きい小領
域を選択し、その選択された小領域内で第２のエントロ
ピー算出処理手段により、評価量を算出するようにした
ので、高速でかつ精度良く評価量が抽出できるととも
に、画像の揺動に対しても安定な評価量が得られるとい
う効果がある。In the automatic focusing apparatus according to the fourth aspect of the present invention, the small area selection processing means selects a small area having a large feature amount, and the second entropy calculation processing means within the selected small area. Since the evaluation amount is calculated, there is an effect that the evaluation amount can be extracted at high speed and with high accuracy, and a stable evaluation amount can be obtained even when the image is shaken.
【００８０】本発明の請求項５に係る自動焦点調節装置
では、画像信号を直交変換手段により周波数領域成分に
変換し、その領域スペクトルの大きさを示す直交変換係
数のばらつき具合を算出し、その算出結果をデフォーカ
ス量に対応する評価量とすることにより、従来よりも構
成が簡単であり、被写体の照度変化に対しても安定で高
速に処理することができるIn the automatic focusing apparatus according to the fifth aspect of the present invention, the image signal is transformed into the frequency domain component by the orthogonal transformation means, the variation degree of the orthogonal transformation coefficient indicating the magnitude of the domain spectrum is calculated, and the By using the calculation result as the evaluation amount corresponding to the defocus amount, the configuration is simpler than in the past, and stable and high-speed processing can be performed even when the illuminance of the subject changes.
【００８１】なお、上記実施例では、画素間差分処理手
段、絶対値処理手段、エントロピー算出手段、最大値算
出手段、総和算出手段、小領域選択手段、ブロック分割
手段、及び直交変換手段と分散値算出手段等を自動焦点
調節装置として用いているが、それらは画像の複雑性を
算出することが可能であるから、例えば、高能率符号化
方式（画像圧縮）における冗長度の検出にも使える。ま
た、画像処理等における適応処理を行なう場合の画像の
特徴を表わす評価量検出装置として使用できることは明
かである。In the above embodiment, the inter-pixel difference processing means, the absolute value processing means, the entropy calculating means, the maximum value calculating means, the sum total calculating means, the small area selecting means, the block dividing means, the orthogonal transforming means and the variance value. Although the calculation means and the like are used as the automatic focus adjustment device, since they can calculate the complexity of the image, they can be used, for example, for the detection of the redundancy in the high efficiency coding system (image compression). Further, it is obvious that it can be used as an evaluation amount detection device that represents the characteristics of an image when adaptive processing such as image processing is performed.
【図１】本発明の自動焦点処理装置に画素間差分処理装
置を用いた一例を示すブロック図である。FIG. 1 is a block diagram showing an example in which an inter-pixel difference processing device is used in an automatic focus processing device of the present invention.
【図２】本発明の自動焦点処理装置に最大値算出装置装
置を用いた一例を示すブロック図である。FIG. 2 is a block diagram showing an example in which a maximum value calculation device device is used in the automatic focus processing device of the present invention.
【図３】本発明の自動焦点処理装置に領域分割処理装置
を用いた一例を示すブロック図である。FIG. 3 is a block diagram showing an example in which a region division processing device is used in the automatic focus processing device of the present invention.
【図４】本発明の自動焦点処理装置に領域選択処理装置
を用いた一例を示すブロック図である。FIG. 4 is a block diagram showing an example in which a region selection processing device is used in the automatic focus processing device of the present invention.
【図５】本発明の自動焦点処理装置に直交変換処理装置
を用いた一例を示すブロック図である。FIG. 5 is a block diagram showing an example in which an orthogonal transform processing device is used in the automatic focus processing device of the present invention.
【図６】直交変換係数と周波数の関係を示す図である。FIG. 6 is a diagram showing a relationship between orthogonal transform coefficients and frequencies.
【図７】従来のオートフォーカス装置を示すブロック図
である。FIG. 7 is a block diagram showing a conventional autofocus device.
１ 光学系レンズ ２ 光電変換器 ３ 撮像装置 ４ 画像信号 ５ 画素間差分処理装置 ６ 絶対値処理装置 ７ エントロピー算出装置 ９、１２ 最大値算出装置 １１ 小領域分割処理装置 １３ 総和算出装置 １４ 平均値算出装置 １８ 第１のエントロピー算出装置 １９ 小領域選択処理装置 ２０ ブロック分割処理装置 ２１ 第２のエントロピー算出装置 ２３ 特徴量 ２４ 直交変換処理装置 ２５ 分散値算出装置 ８、１０、１５、１６、１７、２２、２６、２７ 評価
量DESCRIPTION OF SYMBOLS 1 Optical system lens 2 Photoelectric converter 3 Imaging device 4 Image signal 5 Inter-pixel difference processing device 6 Absolute value processing device 7 Entropy calculation device 9, 12 Maximum value calculation device 11 Small area division processing device 13 Summation calculation device 14 Average value calculation Device 18 First entropy calculation device 19 Small area selection processing device 20 Block division processing device 21 Second entropy calculation device 23 Feature amount 24 Orthogonal transformation processing device 25 Variance value calculation device 8, 10, 15, 16, 17, 22 , 26, 27 Evaluation amount
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成４年７月１４日[Submission date] July 14, 1992
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項１[Name of item to be corrected] Claim 1
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正２】[Procedure Amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項２[Name of item to be corrected] Claim 2
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正３】[Procedure 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１７[Correction target item name] 0017
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１７】[0017]
【課題を解決するための手段】本発明の請求項１の自動
焦点調節装置においては、撮像装置からの画像信号の画
素間差分を算出する画素間差分処理手段と、その出力の
値のばらつきを算出するエントロピー算出手段から構成
され、上記エントロピー算出手段より出力された値をオ
ートフォーカスの評価量として抽出するものである。An automatic focusing device according to claim 1 of the present invention According to an aspect of the pixel difference processing means for calculating a pixel difference of the image signal from the imaging device, variation in the value of the output of its The entropy calculation means for calculating the value is output, and the value output from the entropy calculation means is extracted as an autofocus evaluation amount.
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００３１[Correction target item name] 0031
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００３１】隣接画素間差分データは、式（１）より輝
度ｘに対し原点に対称となる。また、今後の処理で変化
量のみを必要とするので、絶対値処理装置６により、絶
対値処理を行う。しかし、この絶対値処理は、本発明に
おいて必須のものではなく、例えば正負の符号付きデー
タのままで処理することも可能であるから除去してもよ
い。 The difference data between adjacent pixels can be calculated from the formula (1) as
It is symmetrical about the origin with respect to the degree x. Moreover, since it requires only a change amount in future processing, the absolute value processing unit 6 performs absolute value processing. However, this absolute value processing is
Is not mandatory in
It is also possible to remove it because it can be processed as it is.
Yes.
Claims (5)
信号を得る撮像装置において、上記撮像装置からの画像
信号の画素間の差分を算出する画素間差分処理手段と、
上記画素間差分処理手段の出力の絶対値を算出する絶対
値処理手段と上記絶対値処理手段の出力値の分散度合を
算出するエントロピー算出手段を具備し、上記エントロ
ピー算出手段の出力を評価量として、それに基づき自動
焦点調節用の光学系を制御することを特徴とする自動焦
点調節装置。1. An image pickup optical system, and an image pickup apparatus for obtaining an image signal from a photoelectric converter, an inter-pixel difference processing means for calculating a difference between pixels of an image signal from the image pickup apparatus,
The absolute value processing means for calculating the absolute value of the output of the inter-pixel difference processing means and the entropy calculation means for calculating the degree of dispersion of the output values of the absolute value processing means are provided, and the output of the entropy calculation means is used as the evaluation amount. An automatic focus adjusting device characterized by controlling an optical system for automatic focus adjustment based on it.
記絶対値処理後の出力値の中で、最も値の大きいものを
算出する、或いは、値の大きいものから複数個選択し、
その値を評価量として抽出する最大値算出手段を具備し
ていることを特徴とする請求項第１項記載の自動焦点調
節装置。2. The entropy calculating means calculates the largest value among the output values after the absolute value processing, or selects a plurality of values from the largest value,
The automatic focus adjusting device according to claim 1, further comprising maximum value calculating means for extracting the value as an evaluation amount.
を、上記エントロピー算出処理を行う画像特徴抽出領域
において複数個の小領域に分割し、それぞれの上記小領
域において第１のエントロピー算出処理を行い、その出
力を特徴量とし、上記特徴量についてその中で、最大値
を算出する最大値算出手段、または上記特徴量を複数加
算する総和算出処理手段、または上記特徴量の平均値を
算出する平均値算出手段のいずれかを具備し、それぞれ
の手段において算出された値を評価量として、それに基
づき自動焦点調節用の光学系を制御することを特徴とす
る自動焦点調節装置。3. The image signal obtained from the image pickup device is divided into a plurality of small areas in an image feature extraction area for performing the entropy calculation processing, and the first entropy calculation processing is performed in each of the small areas. The output is used as a feature amount, and a maximum value calculating means for calculating the maximum value among the feature amounts, a sum calculation processing means for adding a plurality of the feature amounts, or an average value of the feature amounts is calculated. An automatic focus adjusting device comprising any one of average value calculating means, wherein the value calculated by each means is used as an evaluation amount to control an optical system for automatic focus adjustment based on the evaluation amount.
記特徴量のうち値の大きい小領域を１つ、或いは複数個
選択する小領域選択処理手段と、選択された小領域につ
いて、更に領域を細分化するブロック分割処理手段と、
それぞれのブロックにおいて、第２のエントロピー算出
処理手段を行い、上記第２のエントロピー算出処理手段
の出力を評価量とすることを特徴とする請求項第３項記
載の自動焦点調節装置。4. After the first entropy calculation processing, small area selection processing means for selecting one or a plurality of small areas having a large value in the feature amount, and further area for the selected small areas. Block division processing means for subdividing,
The automatic focus adjustment device according to claim 3, wherein the second entropy calculation processing means is performed in each block, and the output of the second entropy calculation processing means is used as an evaluation amount.
より画像信号を得る撮像装置において、上記撮像装置よ
り得られた上記画像信号の中から、画像処理を行う領域
である上記画像特徴抽出領域の画像信号を抜き出し、上
記画像特徴抽出領域を複数個の小領域に分割する小領域
分割処理手段と、上記小領域内において、直交変換を行
う直交変換手段と、上記直交変換より得られる変換係数
の交流成分の分散度合を算出する分散値算出手段を具備
し、上記分散値算出手段の出力を評価量としてそれに基
づき、自動焦点調節用の光学系を制御することを特徴と
する自動焦点調節装置。5. In the image pickup apparatus for obtaining an image signal from the optical system for image pickup and the photoelectric converter, the image feature which is an area for performing image processing from the image signal obtained from the image pickup apparatus. The image signal of the extraction area is extracted, and the small area division processing means for dividing the image feature extraction area into a plurality of small areas, the orthogonal transformation means for performing orthogonal transformation in the small area, and the orthogonal transformation are obtained. An automatic focusing system comprising a dispersion value calculating means for calculating the degree of dispersion of the AC component of the conversion coefficient, and controlling the optical system for automatic focus adjustment based on the output of the dispersion value calculating means as an evaluation amount. Adjustment device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4097631A JP2957800B2 (en) | 1992-04-17 | 1992-04-17 | Automatic focusing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4097631A JP2957800B2 (en) | 1992-04-17 | 1992-04-17 | Automatic focusing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05300421A true JPH05300421A (en) | 1993-11-12 |
| JP2957800B2 JP2957800B2 (en) | 1999-10-06 |
Family
ID=14197516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4097631A Expired - Fee Related JP2957800B2 (en) | 1992-04-17 | 1992-04-17 | Automatic focusing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2957800B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993614A (en) * | 1995-09-27 | 1997-04-04 | Nec Corp | Three-dimension image coder |
| JP2005331738A (en) * | 2004-05-20 | 2005-12-02 | Seiko Epson Corp | Mis-focus judging method and program thereabout |
| JP2005333587A (en) * | 2004-05-21 | 2005-12-02 | Seiko Epson Corp | Photographing apparatus and its control method |
| WO2009054248A1 (en) * | 2007-10-26 | 2009-04-30 | Fujifilm Corporation | Data compression device, data compression program, imaging device |
| JP2009117997A (en) * | 2007-11-02 | 2009-05-28 | Fujifilm Corp | Image capturing apparatus |
| JP2010008438A (en) * | 2008-06-24 | 2010-01-14 | Micronics Japan Co Ltd | Focusing method of liquid crystal panel inspection device |
| KR101025568B1 (en) * | 2009-10-12 | 2011-03-28 | 중앙대학교 산학협력단 | Apparatus and method for focusing position decision using entropy of image |
| JP2011154042A (en) * | 2004-03-11 | 2011-08-11 | Icos Vision Systems Nv | Wavefront operation and improved 3d measuring apparatus |
| JP2013140288A (en) * | 2012-01-06 | 2013-07-18 | Canon Inc | Focusing device |
| US8692926B2 (en) | 2009-11-26 | 2014-04-08 | Fujitsu Semiconductor Limited | Focus adjustment based on indicator of randomness of pixel values |
| JP2014074777A (en) * | 2012-10-03 | 2014-04-24 | Fujitsu Semiconductor Ltd | Focus evaluation value generation device, focus evaluation value generation method, and focus evaluation value generation program |
| CN114845042A (en) * | 2022-03-14 | 2022-08-02 | 南京大学 | Camera automatic focusing method based on image information entropy |
-
1992
- 1992-04-17 JP JP4097631A patent/JP2957800B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993614A (en) * | 1995-09-27 | 1997-04-04 | Nec Corp | Three-dimension image coder |
| JP2011154042A (en) * | 2004-03-11 | 2011-08-11 | Icos Vision Systems Nv | Wavefront operation and improved 3d measuring apparatus |
| JP2005331738A (en) * | 2004-05-20 | 2005-12-02 | Seiko Epson Corp | Mis-focus judging method and program thereabout |
| JP4661084B2 (en) * | 2004-05-20 | 2011-03-30 | セイコーエプソン株式会社 | Misfocus determination method and related program |
| JP2005333587A (en) * | 2004-05-21 | 2005-12-02 | Seiko Epson Corp | Photographing apparatus and its control method |
| WO2009054248A1 (en) * | 2007-10-26 | 2009-04-30 | Fujifilm Corporation | Data compression device, data compression program, imaging device |
| JP2009117997A (en) * | 2007-11-02 | 2009-05-28 | Fujifilm Corp | Image capturing apparatus |
| JP2010008438A (en) * | 2008-06-24 | 2010-01-14 | Micronics Japan Co Ltd | Focusing method of liquid crystal panel inspection device |
| KR101025568B1 (en) * | 2009-10-12 | 2011-03-28 | 중앙대학교 산학협력단 | Apparatus and method for focusing position decision using entropy of image |
| US8692926B2 (en) | 2009-11-26 | 2014-04-08 | Fujitsu Semiconductor Limited | Focus adjustment based on indicator of randomness of pixel values |
| JP2013140288A (en) * | 2012-01-06 | 2013-07-18 | Canon Inc | Focusing device |
| JP2014074777A (en) * | 2012-10-03 | 2014-04-24 | Fujitsu Semiconductor Ltd | Focus evaluation value generation device, focus evaluation value generation method, and focus evaluation value generation program |
| CN114845042A (en) * | 2022-03-14 | 2022-08-02 | 南京大学 | Camera automatic focusing method based on image information entropy |
| CN114845042B (en) * | 2022-03-14 | 2023-03-10 | 南京大学 | Camera automatic focusing method based on image information entropy |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2957800B2 (en) | 1999-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3175175B2 (en) | Focus detection device | |
| KR950003569B1 (en) | Photographic apparatus and automatic focusing control device using the same | |
| KR101228978B1 (en) | Main face choosing device, method for controlling same, and image capturing apparatus | |
| US7812880B2 (en) | Optical apparatus | |
| US20080259172A1 (en) | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method | |
| JP5780756B2 (en) | Focus adjustment apparatus and method | |
| JPH09243906A (en) | Automatic focusing device and method | |
| JP2006258944A (en) | Autofocus system | |
| JP2011029905A (en) | Imaging device, method and program | |
| JP2008170508A (en) | Imaging apparatus | |
| US8855479B2 (en) | Imaging apparatus and method for controlling same | |
| KR100423939B1 (en) | Autofocus control apparatus and method | |
| JP2006267221A (en) | Auto focus system | |
| JP2004325517A (en) | Imaging unit | |
| JP2006196965A (en) | Optical apparatus | |
| KR20100013171A (en) | Method and apparatus for compensating a motion of the autofocus region, and autofocus method and apparatus using thereof | |
| JP2957800B2 (en) | Automatic focusing device | |
| JP2006243373A (en) | Video signal processor, imaging apparatus mounted with the same, and method and program for processing video signal | |
| CN110062150B (en) | Automatic focusing method and device | |
| JPH0829667A (en) | Automatic focusing method | |
| KR19990049877A (en) | Automatic focusing device of camera system and its focusing method | |
| JP3109819B2 (en) | Automatic focusing device | |
| JP3116422B2 (en) | Camera control device | |
| JPH0698232A (en) | Image recognizing device and image pickup device | |
| JPH0933792A (en) | Lens driving device and image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |