JP3187861B2 - Autofocus device - Google Patents
Autofocus deviceInfo
- Publication number
- JP3187861B2 JP3187861B2 JP12006191A JP12006191A JP3187861B2 JP 3187861 B2 JP3187861 B2 JP 3187861B2 JP 12006191 A JP12006191 A JP 12006191A JP 12006191 A JP12006191 A JP 12006191A JP 3187861 B2 JP3187861 B2 JP 3187861B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- image
- true
- subject
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Automatic Focus Adjustment (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、例えばカメラ等に利用
される自動焦点装置に係り、特に、ニューラルネットワ
ークを使用した自動焦点装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic focusing device used for a camera or the like, and more particularly to an automatic focusing device using a neural network.
【０００２】[0002]
【従来の技術】従来より、例えばカメラに利用される自
動焦点装置として、種々の構成を持ったものが知られて
いる。そのような自動焦点装置に於いて、近年、ニュー
ラルネットワークを用いたものが開発されている。2. Description of the Related Art Conventionally, as an automatic focusing device used for a camera, for example, one having various configurations is known. In recent years, such an autofocus apparatus using a neural network has been developed.
【０００３】そのようなニューラルネットワークを用い
た自動焦点装置は、撮影画面内の被写体全体に対して、
何ケ所かについてカメラからの距離を計測し、得られた
距離パターンを入力し、被写体全体のどの部分が撮影対
象かを判定し、その判定した対象に焦点を合わるように
している。この時用いるニューラルネットワークは、予
め通常の撮影と同じ場面について、多数の距離パターン
によって学習されている。[0003] An automatic focusing apparatus using such a neural network is used for an entire subject in a photographing screen.
The distance from the camera is measured at several locations, the obtained distance pattern is input, which part of the entire subject is determined as a shooting target, and the determined target is focused. The neural network used at this time is learned in advance by using a large number of distance patterns for the same scene as that of normal shooting.
【０００４】[0004]
【発明が解決しようとする課題】この種の自動焦点装置
では、撮影画面内全体にわたって被写体までの距離を計
測し、各測定点での距離データのパターンによって、撮
影対象を撮影画面内より探し出そうという方式を採用し
ているものであり、撮影対象そのものの情報は全く用い
ていない。このため、予め学習した距離パターンと同じ
状況であっても、撮影対象が学習した時の画面上での場
所と異なる場所にある場合には、撮影対象には焦点が合
わなかった。In this type of automatic focusing device, the distance to the subject is measured over the entire photographing screen, and the object to be photographed is searched for from the photographing screen according to the pattern of the distance data at each measurement point. It adopts such a method, and does not use any information of the photographing target itself. For this reason, even in the same situation as the distance pattern learned in advance, if the photographing target is in a place different from the place on the screen at the time of learning, the photographing target is not focused.
【０００５】本発明は、上記の点に鑑みてなされたもの
で、予め学習した距離パターンによって撮影対象を捜し
出す方法と異なり、撮影対象そのものを学習し、学習し
た撮影対象を撮影画面中より探し出し、その対象に焦点
を合わせることができる自動焦点装置を提供することを
目的とする。The present invention has been made in view of the above points, and is different from a method of searching for an object to be photographed by a distance pattern learned in advance, learning the object to be photographed, searching for the learned object to be photographed from a photographing screen, It is an object of the present invention to provide an automatic focusing device capable of focusing on the target.
【０００６】[0006]
【課題を解決するための手段】上記のような目的を達成
するために、本発明による自動焦点装置は、真の撮影対
象を含む画像領域中の被写体像を撮像するための撮像手
段と、前記撮像手段より得られた画像から、真の撮像対
象に関する第１の特徴量に基づいて撮影の候補を少なく
とも１個抽出する第１のニューラルネットワークと、前
記第１のニューラルネットワークにより抽出された撮影
対象候補を、該第１の特徴量とは異なる、真の撮影対象
に関する第２の特徴量に基づいて真の被写体か否か判定
する第２のニューラルネットワークと、前記第２のニュ
ーラルネットワークによって真の撮影対象と判定された
画像領域に焦点を合わせる手段と、前記真の撮影対象の
サンプル画像によって、前記第１のニューラルネットワ
ークに対しては該第１の特徴量で、前記第２のニューラ
ルネットワークに対しては該第２の特微量で、予めそれ
ぞれを学習させる手段とを備えている。また、本発明に
よる自動焦点装置は、真の撮影対象を含む画像領域中の
被写体像を撮像するための撮像手段と、前記撮像手段よ
り得られた画像から、該真の撮像対象に関する色彩情報
に基づいて撮影の候補を少なくとも１個抽出する第１の
ニューラルネットワークと、前記第１のニューラルネッ
トワークにより抽出された撮影対象候補を、該色彩情報
とは異なる、真の撮影対象に関する情報に基づいて真の
被写体と一致するか否か判定する第２のニューラルネッ
トワークと、前記第２のニューラルネットワークによっ
て真の撮影対象と判定された画像領域に焦点を合わせる
手段と、前記真の撮影対象のサンプル画像によって、前
記第１のニューラルネットワークに対しては該色彩情報
で、前記第２のニューラルネットワークに対しては該色
彩情報とは異なる、真の撮影対象に関する情報で、予め
それぞれを学習させる手段とを備えている。 In order to achieve the above object, an automatic focusing apparatus according to the present invention comprises: an image pickup means for picking up a subject image in an image area including a true subject; A first neural network for extracting at least one candidate for photographing from an image obtained by the imaging means based on a first feature amount relating to a true object to be photographed, and a photographing object extracted by the first neural network A candidate is a true object to be photographed that is different from the first feature amount.
A second neural network for determining whether or not the subject is a true subject based on a second feature amount of the second neural network; a means for focusing on an image area determined to be a true shooting target by the second neural network; According to the sample image of the photographing target, the first neural network
In the feature amount of the first for over click, to said second neural network with feature amount of the second pre it
And a means to make learning, respectively. In addition, the present invention
The autofocus device according to
Imaging means for imaging a subject image;
From the obtained image, color information about the true imaging target
Extracting at least one photographing candidate based on
A neural network, the first neural network;
The shooting target candidates extracted by the
Different from the true subject based on the information
The second neural network that determines whether or not the
Network and the second neural network.
Focus on the image area determined to be the true subject
Means and the sample image of the true subject
For the first neural network, the color information
And the color for the second neural network
This is information about the true subject that is different from the color information.
Means for learning each of them.
【０００７】[0007]
【作用】即ち、本発明による自動焦点装置では、真の撮
影対象に関する第１の特徴量、例えば色彩等により、撮
影画像から撮影対象の候補となる部分画像を１個あるい
は複数個第１のニューラルネットワークで選び出し、第
２のニューラルネットワークで、上記第１の特徴量とは
異なる、真の撮影対象に関する第２の特徴量に基づいて
真の被写体か否かを判定し、該第２のニューラルネット
ワークによって真の撮影対象と判定された部分画像に焦
点を合わせる。また、真の撮影対象のサンプル画像によ
って、上記第１のニューラルネットワークに対しては上
記第１の特徴量で、上記第２のニューラルネットワーク
に対しては上記第２の特微量で、予めそれぞれを学習に
よって登録することができる。さらに、上記第１のニュ
ーラルネットワークにより抽出された撮影候補を記憶手
段に記憶した後、この記憶手段に記憶された撮影候補に
対して、上記第２のニューラルネットワークは、真の被
写体と一致するか否かを判定するようにしている。 That is, in the automatic focusing apparatus according to the present invention, one or a plurality of partial images that are candidates for a photographing target are obtained from the photographed image based on the first feature amount , for example, color or the like regarding the true photographing target. The first feature amount is selected by the first neural network, and the first feature amount is determined by the second neural network.
Based on different, second features of the true subject
It is determined whether or not the subject is a true subject , and the second neural network
The focus is on the partial image determined as a true shooting target by the work . Also, depending on the sample image of the true subject ,
Therefore, for the first neural network,
The first feature amount and the second neural network
, The second special amount, which can be registered in advance by learning. Furthermore, the first news
The shooting candidates extracted by the neural network
After storing in the column, the shooting candidate stored in this storage means
On the other hand, the second neural network
It is determined whether or not the object matches.
【０００８】[0008]
【実施例】以下、図面を参照して、本発明の一実施例を
説明する。図１は、本発明の一実施例に係る自動焦点装
置のブロック構成図である。An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of an automatic focusing apparatus according to an embodiment of the present invention.
【０００９】光学系１を通して入射したカラーイメージ
は、ＣＣＤイメージセンサ２により撮影される。ＣＣＤ
イメージセンサ２によって撮影されたカラー画像は、１
ピクセルずつ読み出され、Ａ／Ｄ変換器３によりディジ
タル量に変換されて、色補正器４に送られる。A color image incident through the optical system 1 is photographed by the CCD image sensor 2. CCD
The color image captured by the image sensor 2 is 1
Each pixel is read out, converted into a digital quantity by the A / D converter 3, and sent to the color corrector 4.
【００１０】一方、撮影場所の照明光は、外部光センサ
５によって検出される。図２は、この外部光センサ５の
構成を示すブロック図である。外部光は、白色拡散板３
６により拡散されて、３種類の色フィルタ、即ち赤色フ
ィルタ３０，緑色フィルタ３１，青色フィルタ３２を通
して、それぞれＲ光，Ｇ光，及びＢ光に分けられる。そ
れらＲ光，Ｇ光，及びＢ光は、それぞれ光学系３３ａ〜
３３ｃを通して、光センサ３４ａ〜３４ｃに入射する。
光センサ３４ａ〜３４ｃで検出したＲ光，Ｇ光，及びＢ
光の強度は、Ａ／Ｄ変換器３５ａ〜３５ｃによってデジ
タル量に変換されて、上記色補正器４に入力する。On the other hand, the illumination light at the photographing place is detected by the external light sensor 5. FIG. 2 is a block diagram showing the configuration of the external optical sensor 5. The external light is the white diffuser 3
The light is diffused by the filter 6 and is divided into R light, G light, and B light through three types of color filters, that is, a red filter 30, a green filter 31, and a blue filter 32, respectively. The R light, the G light, and the B light are respectively transmitted through the optical systems 33a to 33a.
The light enters the optical sensors 34a to 34c through 33c.
R light, G light, and B detected by the optical sensors 34a to 34c
The light intensity is converted into a digital quantity by the A / D converters 35 a to 35 c and input to the color corrector 4.
【００１１】色補正器４では、ＣＣＤイメージセンサ２
で撮影され、Ａ／Ｄ変換器２でディジタル量に変換され
たカラー画像の１ピクセルのＲデータ，Ｇデータ，及び
Ｂデータに対し、上記外部光センサ５より入力した照明
光のＲ光，Ｇ光，及びＢ光の強度データをもとにして、
白色照明下で撮影したものと等価となるように補正が施
される。後述するように、被写体登録時にも同等の補正
を行なうことにより、被写体登録時と撮影時との照明の
色温度の違いを補正することができる。The color corrector 4 includes a CCD image sensor 2
The R data, G data, and B data of one pixel of the color image captured by the A / D converter 2 and converted into the digital amount by the A / D converter 2 are compared with the R light, G light of the illumination light input from the external optical sensor 5. Based on the intensity data of light and B light,
Correction is performed so as to be equivalent to that taken under white illumination. As will be described later, by performing the same correction at the time of subject registration, it is possible to correct the difference in color temperature of illumination between the subject registration and the shooting.
【００１２】こうして色補正されたＲＧＢデータは変換
器６に送られ、そこで明度データ，彩度データ，及び色
相データに変換される。図３の（Ａ）に示されるよう
に、カラー画像の１ピクセルのＲＧＢ値は、ＲＧＢ直交
座標系に於いて、１点Ｃで表わされるので、ＲＧＢ直交
座標系の原点Ｏと点Ｃとを結ぶカラーベクトル６０を考
え、このカラーベクトル６０の明度軸６１への射影がそ
のピクセルの明度６２となる。なお、明度軸６１とは、
ＲＧＢ直交座標系で、原点Ｏから（１，１，１）方向へ
伸ばした軸のことである。The color-corrected RGB data is sent to a converter 6, where it is converted into lightness data, chroma data, and hue data. As shown in FIG. 3A, the RGB value of one pixel of the color image is represented by one point C in the RGB rectangular coordinate system, so that the origin O and the point C of the RGB rectangular coordinate system are determined. Considering a color vector 60 to be connected, the projection of the color vector 60 onto a lightness axis 61 becomes the lightness 62 of the pixel. The lightness axis 61 is
In the RGB orthogonal coordinate system, an axis extending from the origin O in the (1,1,1) direction.
【００１３】一方、Ｒ軸，Ｇ軸，Ｂ軸上のそれぞれ座標
値“１”を通る平面６３を考えると、この平面６３は明
度軸６１と直交している。この平面６３と明度軸６１と
の交点を点Ｑ、また、この平面６３と前記カラーベクト
ル６０との交点を点Ｐとすると、点ＰＱ間の距離が彩度
６４となる。On the other hand, considering a plane 63 passing through the coordinate value “1” on each of the R axis, the G axis, and the B axis, the plane 63 is orthogonal to the lightness axis 61. If the intersection between the plane 63 and the lightness axis 61 is a point Q, and the intersection between the plane 63 and the color vector 60 is a point P, the distance between the points PQ becomes the saturation 64.
【００１４】また、図３の（Ｂ）に示すように、点Ｑと
前記平面６３のＲ軸との交点と６５をむすぶ直線６６と
直線ＰＱとのなす角度が色相６７を表わす。なお、色相
６７を表わす角度の原点となる直線は、上記のように、
点Ｑと前記平面６３のＲ軸との交点６５とをむすぶ直線
６６のみが許されるのではなく、一般には、点Ｑを始点
とする前記平面６３上の任意の直線で良い。As shown in FIG. 3B, an angle between a straight line 66 and a straight line PQ passing through the intersection point 65 between the point Q and the R axis of the plane 63 represents the hue 67. Note that the straight line that is the origin of the angle representing the hue 67 is, as described above,
Not only a straight line 66 connecting the point Q and the intersection point 65 of the plane 63 with the R axis is allowed, but in general, any straight line on the plane 63 starting from the point Q may be used.
【００１５】変換器６は入力されたＲＧＢデータに対応
する明度データ，彩度データ，及び色相データを出力
し、これらのデータはゲート７及びニューラルネットワ
ーク１０に送られる。ニューラルネットワーク１０は、
図４のように階層構造をしている。後述するように、こ
のニューラルネットワーク１０の被写体登録時に、撮影
対象の有する彩度と色相領域データで学習されており、
変換器６から入力した彩度データ及び色相データが、撮
影対象の有する彩度と色相と同じか近いならば、ゲート
７を開く信号を発生する。The converter 6 outputs brightness data, saturation data, and hue data corresponding to the input RGB data, and these data are sent to the gate 7 and the neural network 10. The neural network 10
It has a hierarchical structure as shown in FIG. As will be described later, when the subject is registered in the neural network 10, the learning has been performed using the saturation and hue region data of the shooting target.
If the saturation data and hue data input from the converter 6 are the same as or close to the saturation and hue of the object to be photographed, a signal for opening the gate 7 is generated.
【００１６】ゲート７は、ニューラルネットワーク１０
がゲートを開く信号を出力した時には、変換器６から送
られてきた明度データ，彩度データ，及び色相データを
画像メモリ８に記憶するように、それらのデータを通過
させる。また、ニューラルネットワーク１０がゲートを
開く信号を出力しなかった場合には、画像メモリ８に彩
度，色相共に“０”を画像メモリに書き込むように、明
度データのみを通す。The gate 7 includes a neural network 10
Outputs a signal to open the gate, the lightness data, the saturation data, and the hue data sent from the converter 6 are passed through the image memory 8 so as to be stored in the image memory 8. When the neural network 10 does not output a signal for opening the gate, only brightness data is passed to the image memory 8 so that "0" is written to the image memory for both saturation and hue.
【００１７】ＣＣＤイメージセンサ２で得られた画像の
全てのピクセルについて上述の処理繰り返される。これ
により、画像メモリ８には、予めニューラルネットワー
ク１０に学習した撮影対象の彩度と色相に同じか近い彩
度と色相を有するピクセルのみ値を持ち、他のピクセル
については彩度，色相共に“０”である画像が記憶され
る。The above processing is repeated for all the pixels of the image obtained by the CCD image sensor 2. As a result, the image memory 8 has values only for pixels having saturation and hue that are the same as or close to the saturation and hue of the shooting target learned in advance in the neural network 10, and the saturation and hue of the other pixels are “ The image which is "0" is stored.
【００１８】抽出器１６は、画像メモリ８に記憶されて
いる彩度，色相が共に“０”でないピクセルに対してラ
ベル付けを行ない、撮影対象の候補となる部分画像を抽
出する。即ち、彩度，色相が共に“０”でないピクセル
に対して、隣り合うピクセルには同一のラベルを割り当
て、隣り合わないピクセルには異なるラベルを割り当て
る。そして、異なるラベルの領域が接合する場合には、
どちらか一方のラベルに統一する。このことによって、
同一ラベルは連続的につながった画像領域となり、ま
た、異なったラベルの画像領域間には連結はないことに
なる。正規化器１７は、上記抽出器１６によって抽出さ
れた撮影対象候補の画像が、所定の大きさｋ×ｌの長方
形に内接するように拡大あるいは縮小する。The extractor 16 labels pixels stored in the image memory 8 for which neither the saturation nor the hue is "0", and extracts a partial image that is a candidate for photographing. That is, for pixels whose saturation and hue are not both "0", the same label is assigned to adjacent pixels, and different labels are assigned to non-adjacent pixels. And when the areas of different labels join,
Use one of the labels. This allows
The same label becomes a continuously connected image area, and there is no connection between image areas of different labels. The normalizer 17 enlarges or reduces the image of the imaging target candidate extracted by the extractor 16 so as to be inscribed in a rectangle having a predetermined size k × 1.
【００１９】ニューラルネットワーク２０は、上記正規
化器１７により正規化されたｋ×ｌ画素の撮影対象候補
の画像を入力し、被写体登録時に学習した撮影対象と一
致するかどうかを判定し、判定結果の信号をウィンドウ
回路２１に送る。The neural network 20 inputs the image of the candidate for shooting of k × l pixels normalized by the normalizer 17 and determines whether or not the image matches the shooting target learned at the time of object registration. Is sent to the window circuit 21.
【００２０】ニューラルネットワーク２０及び前述した
ニューラルネットワーク１０は、図４に示すような階層
構造を有している。同図に於いて、分配器４０が入力
層、ニューロンユニット４１1 〜４１n が中間層、ニュ
ーロンユニット４２が出力層を構成する。中間層のニュ
ーロンユニット４１1 〜４１n 及び出力ニューロンユニ
ット４２は、以下の（１）式の計算を実行する。なお、
ニューラルネットワーク１０の入力ユニット数は２個、
出力ユニット数は１個であり、ニューラルネットワーク
２０の入力ユニット数はｋ×ｌ×２個、出力ユニット数
は１個である。The neural network 20 and the aforementioned neural network 10 have a hierarchical structure as shown in FIG. In the figure, a distributor 40 constitutes an input layer, neuron units 41 1 to 41 n constitute an intermediate layer, and a neuron unit 42 constitutes an output layer. The neuron units 41 1 to 41 n and the output neuron unit 42 in the intermediate layer execute the calculation of the following equation (1). In addition,
The number of input units of the neural network 10 is two,
The number of output units is one, the number of input units of the neural network 20 is k × l × 2, and the number of output units is one.
【００２１】[0021]
【数１】 (Equation 1)
【００２２】ここで、Ｘi はｉ番目の端子の入力、Ｗi
はｉ番目の端子に対する重み係数、Ｎは入力端子の数、
θはニューロンユニットの閾値、ｙはニューロンユニッ
トの出力、ｆは以下の（２）式に示すシグモイド関数で
ある。Here, X i is the input of the i-th terminal, W i
Is the weighting factor for the ith terminal, N is the number of input terminals,
θ is the threshold of the neuron unit, y is the output of the neuron unit, and f is the sigmoid function shown in the following equation (2).
【００２３】[0023]
【数２】 (Equation 2)
【００２４】図５は、上記ニューロンユニット４１1 〜
４１n ，４２のブロック構成図である。即ち、正規化器
１７より出力されたｋ×ｌ×２個のデータ（ｋ×ｌ画素
の彩度データ及び色相データ）は、分配器４０を介し
て、中間層のニューロンユニット４１1 〜４１n へ入力
する。中間層の各ニューロンユニットでは、入力バッフ
ァ５０を通って入力してきた最初のデータと、予め重み
メモリ５５に記憶されている重み係数の最初の値との積
が演算器５２で計算され、その結果がレジスタ５３に記
憶される。次に、２番目の入力データと重み係数の２番
目の値との積が演算器５２で計算され、レジスタ５３の
値に加算される。同様の動作がｋ×ｌ×２個のデータに
ついて繰り返し実行されると、レジスタ５３の値は、
（１）式のFIG. 5 shows the neuron units 41 1 to 41 1 .
It is a block diagram of 41 n and 42. That is, k × l × 2 data (saturation data and hue data of k × l pixels) output from the normalizer 17 are passed through the distributor 40 to the neuron units 41 1 to 41 n of the intermediate layer. Enter In each neuron unit of the intermediate layer, the calculator 52 calculates the product of the first data input through the input buffer 50 and the first value of the weight coefficient stored in the weight memory 55 in advance. Is stored in the register 53. Next, the product of the second input data and the second value of the weighting coefficient is calculated by the arithmetic unit 52 and added to the value of the register 53. When the same operation is repeatedly performed for k × l × 2 data, the value of the register 53 becomes
(1)
【００２５】[0025]
【数３】 (Equation 3)
【００２６】の計算を実行した結果となる。このレジス
タ５３の値から閾値メモリ５４に記憶されていた値を減
算し、その結果に関数テーブル５６に記憶されている
（２）式のｘとｆ（ｘ）の関係より（１）式の出力ｙを
得て、出力バッファ５２を介して出力する。ここで、中
間層のニューロンユニット４１1 〜４１n は順番に出力
する。The result of executing the above calculation is as follows. The value stored in the threshold memory 54 is subtracted from the value of the register 53, and the result is output from the expression (1) based on the relationship between x and f (x) in the expression (2) stored in the function table 56. y is obtained and output via the output buffer 52. Here, the neuron units 41 1 to 41 n of the intermediate layer sequentially output.
【００２７】従って、出力層のニューロンネット４２に
於いては、まず、ニューロンユニット４１1 の出力が、
入力バッファ５０を介して入力される。ニューロンユニ
ット４１1 の出力データは、演算器５１で重みメモリ５
５に記憶されている第１番目の重み係数との積が計算さ
れ、レジスタ５３に記憶される。次に、中間層の２番目
のニューロンユニット４１2 の出力データが入力バッフ
ァ５０を介して入力し、演算器５２で重みメモリ５５に
記憶されている２番目の重み係数との積が計算され、レ
ジスタ５３のデータに加えられる。同様の動作が、中間
層の全てのニューロンユニットの出力について実行され
ると、レジスタ５３の値は（１）式の[0027] Therefore, at the neuron net 42 in the output layer, firstly, the output neuron units 41 1,
The data is input via the input buffer 50. The output data of the neuron unit 41 1 is output from the arithmetic unit 51 to the weight memory 5.
The product with the first weighting coefficient stored in 5 is calculated and stored in the register 53. Next, the output data of the second neuron unit 412 in the intermediate layer is input via the input buffer 50, and the product of the second neuron unit 412 and the second weight coefficient stored in the weight memory 55 is calculated by the arithmetic unit 52, It is added to the data in the register 53. When the same operation is performed for the outputs of all the neuron units in the hidden layer, the value of the register 53 becomes
【００２８】[0028]
【数４】 (Equation 4)
【００２９】の計算を実行した結果となる。但し、ここ
で、ｎは中間層のニューロンユニットの数である。そし
て、レジスタ５３の値から閾値メモリ５４に記憶されて
いる値を減算し、関数テーブル５６に記憶されている
（２）式のｘとｆ（ｘ）の関係より（１）式の出力ｙを
得て、出力バッファ５２を介して、ニューラルネットワ
ーク２０の判定結果として出力する。The result of executing the above calculation is as follows. Here, n is the number of neuron units in the intermediate layer. Then, the value stored in the threshold value memory 54 is subtracted from the value of the register 53, and the output y of the expression (1) is obtained from the relationship between x and f (x) of the expression (2) stored in the function table 56. Then, the output is output as a determination result of the neural network 20 via the output buffer 52.
【００３０】ウィンドウ回路２１は、抽出器１６により
現在抽出されている画像領域が撮影対象であるとニュー
ラルネットワーク２０が判定した場合は、ゲート回路９
によって画像メモリ８に記憶されている明度データよ
り、抽出画像に対応する領域をフーリエ変換器２２に送
る。フーリエ変換器２２は、撮影対象領域の明度データ
をフーリエ変換し、バンドパスフィルタ（ＢＰＦ）２３
により所定の波長領域の信号を抽出する。制御器２５
は、光学系１の駆動部２６を制御し、ピーク検出器２４
によって、ＢＰＦ２３の出力の２乗がピークとなる位置
に光学系１をセットする。When the neural network 20 determines that the image area currently extracted by the extractor 16 is the object to be photographed, the window circuit 21 activates the gate circuit 9.
Then, an area corresponding to the extracted image is sent to the Fourier transformer 22 based on the brightness data stored in the image memory 8. The Fourier transformer 22 performs a Fourier transform on the brightness data of the shooting target area, and performs a band-pass filter (BPF) 23.
To extract a signal in a predetermined wavelength region. Controller 25
Controls the driving unit 26 of the optical system 1 and controls the peak detector 24
Thus, the optical system 1 is set at a position where the square of the output of the BPF 23 becomes a peak.
【００３１】このように、撮影対象についての大まかな
特徴、即ち色彩等により、撮影画像から撮影対象の候補
となる部分画像を１個あるいは複数個ニューラルネット
ワーク１０で選び出し、ニューラルネットワーク２０
で、予め登録してあった撮影対象と一致するかどうかを
判定し、撮影対象と判定した部分画像に焦点を合わせる
ようにしている。従って、予め学習した距離パターンと
同じ状況に於いて撮影対象が学習した時の画面上での場
所と異なる場所にある場合であっても、その撮影対象を
撮影画面中より探し出し、その対象に焦点を合わせるこ
とができるようになる。なお、本発明による自動焦点装
置に於いては、予め以下に述べる撮影対象の登録を行な
っておくことが必要である。As described above, one or a plurality of partial images which are candidates for a photographing object are selected from the photographed image by the neural network 10 based on the rough characteristics of the photographing object, that is, the color and the like.
Then, it is determined whether or not the target image coincides with a previously registered imaging target, and the partial image determined as the imaging target is focused. Therefore, even in the same situation as the distance pattern learned in advance, even if the photographing target is located at a place different from the place on the screen at the time of learning, the photographing target is searched for from the photographing screen and focused on the target. Will be able to match. Note that, in the automatic focusing device according to the present invention, it is necessary to register an imaging target described below in advance.
【００３２】まず、撮影対象の画像を撮影部２８で撮影
する。ＣＣＤイメージセンサ２で得られた画像は、各ピ
クセル毎に順番に読み出され、Ａ／Ｄ変換器３によって
ディジタル量に変換される。ディジタル量に変換された
各ピクセルのＲＧＢデータは、色補正器４によって色補
正される。色補正器４で行なわれる補正処理は、前述し
たように、外部光センサ５より得られる照明光のＲ光，
Ｇ光，及びＢ光の強度データをもとにして、白色照明下
で撮影したのと等価となるようにするものである。色補
正器６で色補正されたＲＧＢデータは、変換器６で明度
データ，彩度データ，及び色相データに変換される。変
換されたデータはゲート７を通過して画像メモリ８に記
憶される。この撮影対象登録時には、ゲート７は、通過
するデータに対して何の作用もしない。以上の動作が、
ＣＣＤイメージセンサ２で撮影した画像の全てのピクセ
ルについて繰り返され、画像メモリ８に明度，彩度，及
び色相で表わされた撮影画像が記憶される。First, an image to be photographed is photographed by the photographing section 28. The image obtained by the CCD image sensor 2 is sequentially read out for each pixel, and is converted into a digital quantity by the A / D converter 3. The RGB data of each pixel converted into a digital amount is color-corrected by the color corrector 4. The correction processing performed by the color corrector 4 includes, as described above, the R light of the illumination light obtained from the external light sensor 5,
Based on the intensity data of the G light and the B light, it is made to be equivalent to that taken under white illumination. The RGB data color-corrected by the color corrector 6 is converted by the converter 6 into lightness data, saturation data, and hue data. The converted data passes through the gate 7 and is stored in the image memory 8. At the time of the registration of the photographing target, the gate 7 has no effect on the passing data. The above operation is
The processing is repeated for all the pixels of the image captured by the CCD image sensor 2, and the captured image represented by brightness, saturation, and hue is stored in the image memory 8.
【００３３】一方、ＣＣＤイメージセンサ２で撮影され
た画像は、Ａ／Ｄ変換器３でディジタル量で変換された
後、ファインダ１５で表示するようになっている。画像
メモリ８に記憶されている画像より、所定領域の彩度デ
ータ及び色相データが抽出される。所定領域とは、登録
しようとする画像を特徴づける色彩をしている部分であ
り、その領域の範囲はファインダ１５に撮影した全体画
像と共に表示され、コントローラ１２によって撮影者に
よって彩度及び色相の範囲を調節することが可能であ
る。On the other hand, an image photographed by the CCD image sensor 2 is converted into a digital amount by the A / D converter 3 and then displayed on the finder 15. From the image stored in the image memory 8, saturation data and hue data of a predetermined area are extracted. The predetermined region is a portion having a color that characterizes an image to be registered, and the range of the region is displayed together with the entire image photographed in the finder 15. Can be adjusted.
【００３４】抽出された画像領域の各ピクセルの彩度デ
ータ及び色相データは学習器１１に送られる。学習器１
１では、乱数器１３によって発生する乱数をもとに、前
記の抽出画像領域の全ピクセルの彩度と色相が分布する
範囲以外の彩度と色相の疑似データを所定個数発生し、
抽出データに対しては“１”を、疑似データに対しては
“０”を出力するように、ニューラルネットワーク１０
を学習する。この学習は、Ramelhart （ラメルハート）
らによって考案されたバックプロパゲーションアルゴリ
ズムにより、以下の（５）式で定義される自乗誤差が減
少するように（１）式の重み係数Ｗi と閾値θを更新し
ていく。The saturation data and hue data of each pixel in the extracted image area are sent to the learning unit 11. Learning device 1
In step 1, based on a random number generated by the random number unit 13, a predetermined number of pseudo data of saturation and hue other than the range in which the saturation and hue of all the pixels in the extracted image area are distributed,
The neural network 10 outputs "1" for the extracted data and "0" for the pseudo data.
To learn. This learning is Ramelhart
The weighting coefficient W i and the threshold θ in the equation (1) are updated by the back propagation algorithm devised by the authors so as to reduce the square error defined by the following equation (5).
【００３５】[0035]
【数５】 (Equation 5)
【００３６】なお、ここで、Ｐは学習データの数であ
り、本実施例のニューラルネットワーク１０の場合に
は、抽出画像領域のピクセル数と疑似データの和とな
る。ｙi は、学習データＸi をニューラルネットワーク
に与えた時の、ニューラルネットワークの出力値であ
り、ｄi は学習データＸi に対するニューラルネットワ
ークの望ましい出力で、本実施例のニューラルネットワ
ーク１０では、抽出領域のデータについては“１”、疑
似データについては“０”である。なお、学習データＸ
iは、彩度と色相の２つの要素をもつベクトルである。
バックプロパゲーションアルゴリズムでは、最急降下法
によって重みを変化させるので、重みの更新量ΔＷは、Here, P is the number of learning data. In the case of the neural network 10 of the present embodiment, P is the sum of the number of pixels in the extracted image area and the pseudo data. y i is an output value of the neural network when the learning data X i is given to the neural network, and d i is a desired output of the neural network for the learning data X i . It is "1" for the data in the area and "0" for the pseudo data. The learning data X
i is a vector having two elements of saturation and hue.
In the back propagation algorithm, the weight is changed by the steepest descent method.
【００３７】[0037]
【数６】 である。上記（６）式の計算を出力ユニットの入力端子
ｊについて実行すると、重みの変化量ΔＷj は、(Equation 6) It is. When the calculation of the above expression (6) is executed for the input terminal j of the output unit, the amount of change ΔW j of the weight becomes
【００３８】[0038]
【数７】 で与えられ、中間層のニューロンユニットｊの入力端子
ｈについては、重みの変化量ΔＷjhは、(Equation 7) For the input terminal h of the neuron unit j in the intermediate layer, the weight change amount ΔW jh is
【００３９】[0039]
【数８】 (Equation 8)
【００４０】となる。なお、ここで、ｙi 及びｄi はそ
れぞれ学習データＸi をニューラルネットワークに与え
た時のネットワークの出力及び望ましい出力である。ｙ
ijは学習データＸi をニューラルネットワークに与えた
時の中間層のニューロンユニットｊの出力、Ｘihは学習
データＸi のｈ要素である。また、各ニューロンユニッ
トの閾値は、常に−１が入力する端子の重みと同等であ
るので、閾値の変化量は、（７）式又は（８）式で求め
られる。## EQU4 ## Here, y i and d i are the output of the network and the desired output when the learning data X i is given to the neural network, respectively. y
ij is the output of the neuron unit j in the intermediate layer when the learning data X i is given to the neural network, and X ih is the h element of the learning data X i . Also, since the threshold value of each neuron unit is always equal to the weight of the terminal to which −1 is input, the amount of change of the threshold value can be obtained by the equation (7) or (8).
【００４１】それぞれの重み係数に対して、上記（７）
式及び（８）式を繰り返し実行し、上記（５）式のＥが
十分小さくなったところで終了し、その時得られた重み
の値を、各ニューロンユニットの重みメモリ５５及び閾
値メモリ５４に記憶する。なお、バックプロパゲーショ
ンアルゴリズムの実行に先だって、各重みは乱数器１３
による乱数によって初期化しておく。以上の過程によ
り、ニューラルネットワーク１０への学習は終了する。For each weight coefficient, the above (7)
Equations (8) and (8) are repeatedly executed, and the processing is terminated when E in the above equation (5) becomes sufficiently small. The weight value obtained at that time is stored in the weight memory 55 and the threshold memory 54 of each neuron unit. . Prior to execution of the back propagation algorithm, each weight is
Initialized by random numbers according to. Through the above process, learning to the neural network 10 ends.
【００４２】一方、抽出器１６によって抽出された抽出
画像は、正規化器１７によって、所定のｋ×ｌピクセル
の長方形に内接するように拡大あるいは縮小される。こ
の時、ｋ×ｌの長方形領域のピクセルのうち、抽出画像
以外の部分については彩度，色相とも“０”としてお
く。さらに画像発生器１８により、ｋ×ｌピクセルの疑
似画像を所定個数発生し、抽出画像と共に学習画像とす
る。なお、疑似画像も、抽出画像領域と重ならない部分
については彩度，色相とも“０”とする。On the other hand, the extracted image extracted by the extractor 16 is enlarged or reduced by the normalizer 17 so as to be inscribed in a rectangle of predetermined k × 1 pixels. At this time, among the pixels of the k × 1 rectangular area, the portions other than the extracted image are set to “0” for both the saturation and the hue. Further, a predetermined number of k × l pixel pseudo images are generated by the image generator 18 and used as a learning image together with the extracted image. The saturation and hue of the pseudo image are also set to “0” for the portion that does not overlap the extracted image area.
【００４３】学習器１９は、前記のバックプロパゲーシ
ョンアルゴリズムにより、抽出画像に対しては“１”を
出力するように、また疑似画像については“０”が出力
するように学習を実行し、得られた重みの値をニューラ
ルネットワーク２０の各ニューロンユニットの重みメモ
リ５５及び閾値メモリ５４に記憶する。The learning unit 19 executes learning by the above-described back propagation algorithm so as to output “1” for an extracted image and to output “0” for a pseudo image. The obtained weight value is stored in the weight memory 55 and the threshold memory 54 of each neuron unit of the neural network 20.
【００４４】以上の過程により、ニューラルネットワー
ク１０は、撮影対象の色を識別するようになり、ニュー
ラルネットワーク２０は、撮影対象の形状を識別するよ
うになる。Through the above process, the neural network 10 identifies the color of the object to be photographed, and the neural network 20 identifies the shape of the object to be photographed.
【００４５】[0045]
【発明の効果】以上詳述したように、本発明によれば、
予め登録してある撮影対象を撮影画面上より選び出し、
その対象に焦点を合わせることができる。また、撮影対
象の登録は、学習によって簡単に行なうことができる。As described in detail above, according to the present invention,
Select a shooting object registered in advance from the shooting screen,
You can focus on that object. Further, the registration of the shooting target can be easily performed by learning.
【図１】本発明の一実施例に係る自動焦点装置のブロッ
ク構成図である。FIG. 1 is a block diagram of an automatic focusing apparatus according to an embodiment of the present invention.
【図２】図１中の外部光センサのブロック構成図であ
る。FIG. 2 is a block diagram of an external optical sensor in FIG. 1;
【図３】（Ａ）は図１中の変換器が入力ＲＧＢ値からど
のように明度データ及び彩度データを得るかを説明する
ための図であり、（Ｂ）はどのように色相データを得る
かを説明するための図である。3A is a diagram for explaining how a converter in FIG. 1 obtains brightness data and chroma data from input RGB values, and FIG. 3B is a diagram for explaining how hue data is converted. It is a figure for explaining whether to obtain.
【図４】図１中の各ニューラルネットワークの階層構造
を説明するためのブロック図である。FIG. 4 is a block diagram for explaining a hierarchical structure of each neural network in FIG. 1;
【図５】図４中の各ニューロンユニットのブロック構成
図である。FIG. 5 is a block diagram of each neuron unit in FIG. 4;
６…変換器、８…画像メモリ、１０，２０…ニューラル
ネットワーク、１１，１９…学習器、１６…抽出器、１
７…正規化器、２１…ウィンドゥ回路、２２…フーリエ
変換器、２４…ピーク検出器、２５…制御器、２６…駆
動部、４１1〜４１n ，４２…ニューロンユニット、５
１…演算器、５３…レジスタ、５４…閾値メモリ、５５
…重みメモリ、５６…関数テーブル。6 ... Converter, 8 ... Image memory, 10, 20 ... Neural network, 11, 19 ... Learning device, 16 ... Extractor, 1
7 Normalizer, 21 Window circuit, 22 Fourier transformer, 24 Peak detector, 25 Controller, 26 Driver, 41 1 to 41 n , 42 Neuron unit, 5
1: arithmetic unit, 53: register, 54: threshold memory, 55
... weight memory, 56 ... function table.
Claims (3)
像を撮像するための撮像手段と、 前記撮像手段より得られた画像から、真の撮像対象に関
する第１の特徴量に基づいて撮影の候補を少なくとも１
個抽出する第１のニューラルネットワークと、 前記第１のニューラルネットワークにより抽出された撮
影対象候補を、該第１の特徴量とは異なる、真の撮影対
象に関する第２の特徴量に基づいて真の被写体か否か判
定する第２のニューラルネットワークと、 前記第２のニューラルネットワークによって真の撮影対
象と判定された画像領域に焦点を合わせる手段と、 前記真の撮影対象のサンプル画像によって、前記第１の
ニューラルネットワークに対しては該第１の特徴量で、
前記第２のニューラルネットワークに対しては該第２の
特微量で、予めそれぞれを学習させる手段と、 を具備することを特徴とする自動焦点装置。An imaging unit configured to capture an image of a subject in an image region including a true imaging target; and
At least one shooting candidate based on the first feature value
A first neural network for extracting individual images, and a photographing target candidate extracted by the first neural network , the true photographing pair different from the first feature amount.
A second neural network for determining whether or not the subject is a true subject based on a second feature amount relating to an elephant; and focusing on an image region determined as a true subject by the second neural network. means for combining, by the true imaging target sample images, the first
For a neural network, the first feature
For the second neural network , the second
An autofocus device, comprising: means for learning each of them in a very small amount in advance.
像を撮像するための撮像手段と、 前記撮像手段より得られた画像から、該真の撮像対象に
関する色彩情報に基づいて撮影の候補を少なくとも１個
抽出する第１のニューラルネットワークと、 前記第１のニューラルネットワークにより抽出された撮
影対象候補を、該色彩情報とは異なる、真の撮影対象に
関する情報に基づいて真の被写体と一致するか否か判定
する第２のニューラルネットワークと、 前記第２のニューラルネットワークによって真の撮影対
象と判定された画像領域に焦点を合わせる手段と、 前記真の撮影対象のサンプル画像によって、前記第１の
ニューラルネットワークに対しては該色彩情報で、前記
第２のニューラルネットワークに対しては該色彩情報と
は異なる、真の撮影対象に関する情報で、予めそれぞれ
を学習させる手段と、 を具備することを特徴とする自動焦点装置。 2. A subject in an image area including a true photographing target.
An image pickup unit for picking up an image; and an image obtained by the image pickup unit.
At least one shooting candidate based on color information
A first neural network to be extracted, and an image captured by the first neural network.
Make the shadow target candidate a true shooting target different from the color information
Whether or not it matches the true subject based on the related information
A second neural network, and a true imaging pair by the second neural network.
Means for focusing on an image area determined to be an elephant and the sample image of the true shooting target,
For the neural network, the color information
For the second neural network, the color information and
Are different information about the true subject,
And a means for learning .
り抽出された撮影候 補を記憶する記憶手段を更に具備
し、 上記第２のニューラルネットワークは、この記憶手段に
記憶された撮影候補に対して真の被写体と一致するか否
かを判定することを特徴とする請求項１又は２に記載の
自動焦点装置。 3. The first neural network according to claim 1 ,
Further comprising a storage means for storing photographic candidates extracted Ri
Then, the second neural network stores
Whether the stored shooting candidate matches the true subject
3. The method according to claim 1, wherein
Autofocus device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12006191A JP3187861B2 (en) | 1991-05-24 | 1991-05-24 | Autofocus device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12006191A JP3187861B2 (en) | 1991-05-24 | 1991-05-24 | Autofocus device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04346580A JPH04346580A (en) | 1992-12-02 |
| JP3187861B2 true JP3187861B2 (en) | 2001-07-16 |
Family
ID=14776924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12006191A Expired - Fee Related JP3187861B2 (en) | 1991-05-24 | 1991-05-24 | Autofocus device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3187861B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2139225B1 (en) * | 2007-04-23 | 2015-07-29 | Sharp Kabushiki Kaisha | Image picking-up device, computer readable recording medium including recorded program for control of the device, and control method |
| JP2009055432A (en) * | 2007-08-28 | 2009-03-12 | Sony Corp | Photographing apparatus, photographing method and program |
| KR102162829B1 (en) * | 2016-06-22 | 2020-10-07 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Rendering of two-dimensional (2D) images in a wide color gamut on three-dimensional (3D) capable displays |
| JP7353847B2 (en) | 2019-07-29 | 2023-10-02 | キヤノン株式会社 | Information processing device, imaging device, control method and program |
-
1991
- 1991-05-24 JP JP12006191A patent/JP3187861B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04346580A (en) | 1992-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6768509B1 (en) | Method and apparatus for determining points of interest on an image of a camera calibration object | |
| CN102844705B (en) | Focus adjusting device and focus adjusting method | |
| CN110519489B (en) | Image acquisition method and device | |
| JP4431532B2 (en) | Target image position detecting device and method, and program for controlling target image position detecting device | |
| CN110149482A (en) | Focusing method, device, electronic equipment and computer readable storage medium | |
| JP4930509B2 (en) | Image tracking device, image tracking method, and camera | |
| US8340512B2 (en) | Auto focus technique in an image capture device | |
| WO2014023231A1 (en) | Wide-view-field ultrahigh-resolution optical imaging system and method | |
| US20120242888A1 (en) | Image Recognition Device, Focus Adjustment Device, Image-Capturing Device, and Image Recognition Method | |
| KR940012384A (en) | Video camera system | |
| JP2003061105A (en) | Image processing method, image processing program, image processing apparatus, and digital still camera using the image processing apparatus | |
| JP4931227B2 (en) | Image processing apparatus and image processing program | |
| JP4489848B2 (en) | Method for correcting image steadyness error in television film scanning, method for changing the motion sequence of a predetermined image object in a television image, and apparatus for performing the method | |
| JP2008011289A (en) | Digital camera | |
| JPH0787376A (en) | Focusing information detection device | |
| JP3187861B2 (en) | Autofocus device | |
| JP2001174696A (en) | Color image pickup unit | |
| CN109191398A (en) | Image processing method, device, computer readable storage medium and electronic equipment | |
| JP3774495B2 (en) | Image information extracting apparatus and method | |
| WO2023240963A1 (en) | Multispectral multi-sensor synergistic processing method and apparatus, and storage medium | |
| WO2019202984A1 (en) | Image capturing device, distance measuring method, distance measuring program, and recording medium | |
| JP5070856B2 (en) | Imaging device | |
| WO2005033763A1 (en) | Imaging lens position control device | |
| CN114460862A (en) | Camera equipment ring test simulation method applied to ADAS | |
| JP2012070443A (en) | Image processing device and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010417 |
|
| LAPS | Cancellation because of no payment of annual fees |