JP3187861B2 - 自動焦点装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばカメラ等に利用
される自動焦点装置に係り、特に、ニューラルネットワ
ークを使用した自動焦点装置に関する。

【０００２】

【従来の技術】従来より、例えばカメラに利用される自
動焦点装置として、種々の構成を持ったものが知られて
いる。そのような自動焦点装置に於いて、近年、ニュー
ラルネットワークを用いたものが開発されている。

【０００３】そのようなニューラルネットワークを用い
た自動焦点装置は、撮影画面内の被写体全体に対して、
何ケ所かについてカメラからの距離を計測し、得られた
距離パターンを入力し、被写体全体のどの部分が撮影対
象かを判定し、その判定した対象に焦点を合わるように
している。この時用いるニューラルネットワークは、予
め通常の撮影と同じ場面について、多数の距離パターン
によって学習されている。

【０００４】

【発明が解決しようとする課題】この種の自動焦点装置
では、撮影画面内全体にわたって被写体までの距離を計
測し、各測定点での距離データのパターンによって、撮
影対象を撮影画面内より探し出そうという方式を採用し
ているものであり、撮影対象そのものの情報は全く用い
ていない。このため、予め学習した距離パターンと同じ
状況であっても、撮影対象が学習した時の画面上での場
所と異なる場所にある場合には、撮影対象には焦点が合
わなかった。

【０００５】本発明は、上記の点に鑑みてなされたもの
で、予め学習した距離パターンによって撮影対象を捜し
出す方法と異なり、撮影対象そのものを学習し、学習し
た撮影対象を撮影画面中より探し出し、その対象に焦点
を合わせることができる自動焦点装置を提供することを
目的とする。

【０００６】

【課題を解決するための手段】上記のような目的を達成
するために、本発明による自動焦点装置は、真の撮影対
象を含む画像領域中の被写体像を撮像するための撮像手
段と、前記撮像手段より得られた画像から、真の撮像対
象に関する第１の特徴量に基づいて撮影の候補を少なく
とも１個抽出する第１のニューラルネットワークと、前
記第１のニューラルネットワークにより抽出された撮影
対象候補を、該第１の特徴量とは異なる、真の撮影対象
に関する第２の特徴量に基づいて真の被写体か否か判定
する第２のニューラルネットワークと、前記第２のニュ
ーラルネットワークによって真の撮影対象と判定された
画像領域に焦点を合わせる手段と、前記真の撮影対象の
サンプル画像によって、前記第１のニューラルネットワ
ークに対しては該第１の特徴量で、前記第２のニューラ
ルネットワークに対しては該第２の特微量で、予めそれ
ぞれを学習させる手段とを備えている。また、本発明に
よる自動焦点装置は、真の撮影対象を含む画像領域中の
被写体像を撮像するための撮像手段と、前記撮像手段よ
り得られた画像から、該真の撮像対象に関する色彩情報
に基づいて撮影の候補を少なくとも１個抽出する第１の
ニューラルネットワークと、前記第１のニューラルネッ
トワークにより抽出された撮影対象候補を、該色彩情報
とは異なる、真の撮影対象に関する情報に基づいて真の
被写体と一致するか否か判定する第２のニューラルネッ
トワークと、前記第２のニューラルネットワークによっ
て真の撮影対象と判定された画像領域に焦点を合わせる
手段と、前記真の撮影対象のサンプル画像によって、前
記第１のニューラルネットワークに対しては該色彩情報
で、前記第２のニューラルネットワークに対しては該色
彩情報とは異なる、真の撮影対象に関する情報で、予め
それぞれを学習させる手段とを備えている。

【０００７】

【作用】即ち、本発明による自動焦点装置では、真の撮
影対象に関する第１の特徴量、例えば色彩等により、撮
影画像から撮影対象の候補となる部分画像を１個あるい
は複数個第１のニューラルネットワークで選び出し、第
２のニューラルネットワークで、上記第１の特徴量とは
異なる、真の撮影対象に関する第２の特徴量に基づいて
真の被写体か否かを判定し、該第２のニューラルネット
ワークによって真の撮影対象と判定された部分画像に焦
点を合わせる。また、真の撮影対象のサンプル画像によ
って、上記第１のニューラルネットワークに対しては上
記第１の特徴量で、上記第２のニューラルネットワーク
に対しては上記第２の特微量で、予めそれぞれを学習に
よって登録することができる。さらに、上記第１のニュ
ーラルネットワークにより抽出された撮影候補を記憶手
段に記憶した後、この記憶手段に記憶された撮影候補に
対して、上記第２のニューラルネットワークは、真の被
写体と一致するか否かを判定するようにしている。

【０００８】

【実施例】以下、図面を参照して、本発明の一実施例を
説明する。図１は、本発明の一実施例に係る自動焦点装
置のブロック構成図である。

【０００９】光学系１を通して入射したカラーイメージ
は、ＣＣＤイメージセンサ２により撮影される。ＣＣＤ
イメージセンサ２によって撮影されたカラー画像は、１
ピクセルずつ読み出され、Ａ／Ｄ変換器３によりディジ
タル量に変換されて、色補正器４に送られる。

【００１０】一方、撮影場所の照明光は、外部光センサ
５によって検出される。図２は、この外部光センサ５の
構成を示すブロック図である。外部光は、白色拡散板３
６により拡散されて、３種類の色フィルタ、即ち赤色フ
ィルタ３０，緑色フィルタ３１，青色フィルタ３２を通
して、それぞれＲ光，Ｇ光，及びＢ光に分けられる。そ
れらＲ光，Ｇ光，及びＢ光は、それぞれ光学系３３ａ〜
３３ｃを通して、光センサ３４ａ〜３４ｃに入射する。
光センサ３４ａ〜３４ｃで検出したＲ光，Ｇ光，及びＢ
光の強度は、Ａ／Ｄ変換器３５ａ〜３５ｃによってデジ
タル量に変換されて、上記色補正器４に入力する。

【００１１】色補正器４では、ＣＣＤイメージセンサ２
で撮影され、Ａ／Ｄ変換器２でディジタル量に変換され
たカラー画像の１ピクセルのＲデータ，Ｇデータ，及び
Ｂデータに対し、上記外部光センサ５より入力した照明
光のＲ光，Ｇ光，及びＢ光の強度データをもとにして、
白色照明下で撮影したものと等価となるように補正が施
される。後述するように、被写体登録時にも同等の補正
を行なうことにより、被写体登録時と撮影時との照明の
色温度の違いを補正することができる。

【００１２】こうして色補正されたＲＧＢデータは変換
器６に送られ、そこで明度データ，彩度データ，及び色
相データに変換される。図３の（Ａ）に示されるよう
に、カラー画像の１ピクセルのＲＧＢ値は、ＲＧＢ直交
座標系に於いて、１点Ｃで表わされるので、ＲＧＢ直交
座標系の原点Ｏと点Ｃとを結ぶカラーベクトル６０を考
え、このカラーベクトル６０の明度軸６１への射影がそ
のピクセルの明度６２となる。なお、明度軸６１とは、
ＲＧＢ直交座標系で、原点Ｏから（１，１，１）方向へ
伸ばした軸のことである。

【００１３】一方、Ｒ軸，Ｇ軸，Ｂ軸上のそれぞれ座標
値“１”を通る平面６３を考えると、この平面６３は明
度軸６１と直交している。この平面６３と明度軸６１と
の交点を点Ｑ、また、この平面６３と前記カラーベクト
ル６０との交点を点Ｐとすると、点ＰＱ間の距離が彩度
６４となる。

【００１４】また、図３の（Ｂ）に示すように、点Ｑと
前記平面６３のＲ軸との交点と６５をむすぶ直線６６と
直線ＰＱとのなす角度が色相６７を表わす。なお、色相
６７を表わす角度の原点となる直線は、上記のように、
点Ｑと前記平面６３のＲ軸との交点６５とをむすぶ直線
６６のみが許されるのではなく、一般には、点Ｑを始点
とする前記平面６３上の任意の直線で良い。

【００１５】変換器６は入力されたＲＧＢデータに対応
する明度データ，彩度データ，及び色相データを出力
し、これらのデータはゲート７及びニューラルネットワ
ーク１０に送られる。ニューラルネットワーク１０は、
図４のように階層構造をしている。後述するように、こ
のニューラルネットワーク１０の被写体登録時に、撮影
対象の有する彩度と色相領域データで学習されており、
変換器６から入力した彩度データ及び色相データが、撮
影対象の有する彩度と色相と同じか近いならば、ゲート
７を開く信号を発生する。

【００１６】ゲート７は、ニューラルネットワーク１０
がゲートを開く信号を出力した時には、変換器６から送
られてきた明度データ，彩度データ，及び色相データを
画像メモリ８に記憶するように、それらのデータを通過
させる。また、ニューラルネットワーク１０がゲートを
開く信号を出力しなかった場合には、画像メモリ８に彩
度，色相共に“０”を画像メモリに書き込むように、明
度データのみを通す。

【００１７】ＣＣＤイメージセンサ２で得られた画像の
全てのピクセルについて上述の処理繰り返される。これ
により、画像メモリ８には、予めニューラルネットワー
ク１０に学習した撮影対象の彩度と色相に同じか近い彩
度と色相を有するピクセルのみ値を持ち、他のピクセル
については彩度，色相共に“０”である画像が記憶され
る。

【００１８】抽出器１６は、画像メモリ８に記憶されて
いる彩度，色相が共に“０”でないピクセルに対してラ
ベル付けを行ない、撮影対象の候補となる部分画像を抽
出する。即ち、彩度，色相が共に“０”でないピクセル
に対して、隣り合うピクセルには同一のラベルを割り当
て、隣り合わないピクセルには異なるラベルを割り当て
る。そして、異なるラベルの領域が接合する場合には、
どちらか一方のラベルに統一する。このことによって、
同一ラベルは連続的につながった画像領域となり、ま
た、異なったラベルの画像領域間には連結はないことに
なる。正規化器１７は、上記抽出器１６によって抽出さ
れた撮影対象候補の画像が、所定の大きさｋ×ｌの長方
形に内接するように拡大あるいは縮小する。

【００１９】ニューラルネットワーク２０は、上記正規
化器１７により正規化されたｋ×ｌ画素の撮影対象候補
の画像を入力し、被写体登録時に学習した撮影対象と一
致するかどうかを判定し、判定結果の信号をウィンドウ
回路２１に送る。

【００２０】ニューラルネットワーク２０及び前述した
ニューラルネットワーク１０は、図４に示すような階層
構造を有している。同図に於いて、分配器４０が入力
層、ニューロンユニット４１₁ 〜４１_n が中間層、ニュ
ーロンユニット４２が出力層を構成する。中間層のニュ
ーロンユニット４１₁ 〜４１_n 及び出力ニューロンユニ
ット４２は、以下の（１）式の計算を実行する。なお、
ニューラルネットワーク１０の入力ユニット数は２個、
出力ユニット数は１個であり、ニューラルネットワーク
２０の入力ユニット数はｋ×ｌ×２個、出力ユニット数
は１個である。

【００２１】

【数１】

【００２２】ここで、Ｘ_i はｉ番目の端子の入力、Ｗ_i
はｉ番目の端子に対する重み係数、Ｎは入力端子の数、
θはニューロンユニットの閾値、ｙはニューロンユニッ
トの出力、ｆは以下の（２）式に示すシグモイド関数で
ある。

【００２３】

【数２】

【００２４】図５は、上記ニューロンユニット４１₁ 〜
４１_n ，４２のブロック構成図である。即ち、正規化器
１７より出力されたｋ×ｌ×２個のデータ（ｋ×ｌ画素
の彩度データ及び色相データ）は、分配器４０を介し
て、中間層のニューロンユニット４１₁ 〜４１_n へ入力
する。中間層の各ニューロンユニットでは、入力バッフ
ァ５０を通って入力してきた最初のデータと、予め重み
メモリ５５に記憶されている重み係数の最初の値との積
が演算器５２で計算され、その結果がレジスタ５３に記
憶される。次に、２番目の入力データと重み係数の２番
目の値との積が演算器５２で計算され、レジスタ５３の
値に加算される。同様の動作がｋ×ｌ×２個のデータに
ついて繰り返し実行されると、レジスタ５３の値は、
（１）式の

【００２５】

【数３】

【００２６】の計算を実行した結果となる。このレジス
タ５３の値から閾値メモリ５４に記憶されていた値を減
算し、その結果に関数テーブル５６に記憶されている
（２）式のｘとｆ（ｘ）の関係より（１）式の出力ｙを
得て、出力バッファ５２を介して出力する。ここで、中
間層のニューロンユニット４１₁ 〜４１_n は順番に出力
する。

【００２７】従って、出力層のニューロンネット４２に
於いては、まず、ニューロンユニット４１₁ の出力が、
入力バッファ５０を介して入力される。ニューロンユニ
ット４１₁ の出力データは、演算器５１で重みメモリ５
５に記憶されている第１番目の重み係数との積が計算さ
れ、レジスタ５３に記憶される。次に、中間層の２番目
のニューロンユニット４１₂ の出力データが入力バッフ
ァ５０を介して入力し、演算器５２で重みメモリ５５に
記憶されている２番目の重み係数との積が計算され、レ
ジスタ５３のデータに加えられる。同様の動作が、中間
層の全てのニューロンユニットの出力について実行され
ると、レジスタ５３の値は（１）式の

【００２８】

【数４】

【００２９】の計算を実行した結果となる。但し、ここ
で、ｎは中間層のニューロンユニットの数である。そし
て、レジスタ５３の値から閾値メモリ５４に記憶されて
いる値を減算し、関数テーブル５６に記憶されている
（２）式のｘとｆ（ｘ）の関係より（１）式の出力ｙを
得て、出力バッファ５２を介して、ニューラルネットワ
ーク２０の判定結果として出力する。

【００３０】ウィンドウ回路２１は、抽出器１６により
現在抽出されている画像領域が撮影対象であるとニュー
ラルネットワーク２０が判定した場合は、ゲート回路９
によって画像メモリ８に記憶されている明度データよ
り、抽出画像に対応する領域をフーリエ変換器２２に送
る。フーリエ変換器２２は、撮影対象領域の明度データ
をフーリエ変換し、バンドパスフィルタ（ＢＰＦ）２３
により所定の波長領域の信号を抽出する。制御器２５
は、光学系１の駆動部２６を制御し、ピーク検出器２４
によって、ＢＰＦ２３の出力の２乗がピークとなる位置
に光学系１をセットする。

【００３１】このように、撮影対象についての大まかな
特徴、即ち色彩等により、撮影画像から撮影対象の候補
となる部分画像を１個あるいは複数個ニューラルネット
ワーク１０で選び出し、ニューラルネットワーク２０
で、予め登録してあった撮影対象と一致するかどうかを
判定し、撮影対象と判定した部分画像に焦点を合わせる
ようにしている。従って、予め学習した距離パターンと
同じ状況に於いて撮影対象が学習した時の画面上での場
所と異なる場所にある場合であっても、その撮影対象を
撮影画面中より探し出し、その対象に焦点を合わせるこ
とができるようになる。なお、本発明による自動焦点装
置に於いては、予め以下に述べる撮影対象の登録を行な
っておくことが必要である。

【００３２】まず、撮影対象の画像を撮影部２８で撮影
する。ＣＣＤイメージセンサ２で得られた画像は、各ピ
クセル毎に順番に読み出され、Ａ／Ｄ変換器３によって
ディジタル量に変換される。ディジタル量に変換された
各ピクセルのＲＧＢデータは、色補正器４によって色補
正される。色補正器４で行なわれる補正処理は、前述し
たように、外部光センサ５より得られる照明光のＲ光，
Ｇ光，及びＢ光の強度データをもとにして、白色照明下
で撮影したのと等価となるようにするものである。色補
正器６で色補正されたＲＧＢデータは、変換器６で明度
データ，彩度データ，及び色相データに変換される。変
換されたデータはゲート７を通過して画像メモリ８に記
憶される。この撮影対象登録時には、ゲート７は、通過
するデータに対して何の作用もしない。以上の動作が、
ＣＣＤイメージセンサ２で撮影した画像の全てのピクセ
ルについて繰り返され、画像メモリ８に明度，彩度，及
び色相で表わされた撮影画像が記憶される。

【００３３】一方、ＣＣＤイメージセンサ２で撮影され
た画像は、Ａ／Ｄ変換器３でディジタル量で変換された
後、ファインダ１５で表示するようになっている。画像
メモリ８に記憶されている画像より、所定領域の彩度デ
ータ及び色相データが抽出される。所定領域とは、登録
しようとする画像を特徴づける色彩をしている部分であ
り、その領域の範囲はファインダ１５に撮影した全体画
像と共に表示され、コントローラ１２によって撮影者に
よって彩度及び色相の範囲を調節することが可能であ
る。

【００３４】抽出された画像領域の各ピクセルの彩度デ
ータ及び色相データは学習器１１に送られる。学習器１
１では、乱数器１３によって発生する乱数をもとに、前
記の抽出画像領域の全ピクセルの彩度と色相が分布する
範囲以外の彩度と色相の疑似データを所定個数発生し、
抽出データに対しては“１”を、疑似データに対しては
“０”を出力するように、ニューラルネットワーク１０
を学習する。この学習は、Ramelhart （ラメルハート）
らによって考案されたバックプロパゲーションアルゴリ
ズムにより、以下の（５）式で定義される自乗誤差が減
少するように（１）式の重み係数Ｗ_i と閾値θを更新し
ていく。

【００３５】

【数５】

【００３６】なお、ここで、Ｐは学習データの数であ
り、本実施例のニューラルネットワーク１０の場合に
は、抽出画像領域のピクセル数と疑似データの和とな
る。ｙ_i は、学習データＸ_i をニューラルネットワーク
に与えた時の、ニューラルネットワークの出力値であ
り、ｄ_i は学習データＸ_i に対するニューラルネットワ
ークの望ましい出力で、本実施例のニューラルネットワ
ーク１０では、抽出領域のデータについては“１”、疑
似データについては“０”である。なお、学習データＸ
_iは、彩度と色相の２つの要素をもつベクトルである。
バックプロパゲーションアルゴリズムでは、最急降下法
によって重みを変化させるので、重みの更新量ΔＷは、

【００３７】

【数６】 である。上記（６）式の計算を出力ユニットの入力端子
ｊについて実行すると、重みの変化量ΔＷ_j は、

【００３８】

【数７】 で与えられ、中間層のニューロンユニットｊの入力端子
ｈについては、重みの変化量ΔＷ_jhは、

【００３９】

【数８】

【００４０】となる。なお、ここで、ｙ_i 及びｄ_i はそ
れぞれ学習データＸ_i をニューラルネットワークに与え
た時のネットワークの出力及び望ましい出力である。ｙ
_ijは学習データＸ_i をニューラルネットワークに与えた
時の中間層のニューロンユニットｊの出力、Ｘ_ihは学習
データＸ_i のｈ要素である。また、各ニューロンユニッ
トの閾値は、常に−１が入力する端子の重みと同等であ
るので、閾値の変化量は、（７）式又は（８）式で求め
られる。

【００４１】それぞれの重み係数に対して、上記（７）
式及び（８）式を繰り返し実行し、上記（５）式のＥが
十分小さくなったところで終了し、その時得られた重み
の値を、各ニューロンユニットの重みメモリ５５及び閾
値メモリ５４に記憶する。なお、バックプロパゲーショ
ンアルゴリズムの実行に先だって、各重みは乱数器１３
による乱数によって初期化しておく。以上の過程によ
り、ニューラルネットワーク１０への学習は終了する。

【００４２】一方、抽出器１６によって抽出された抽出
画像は、正規化器１７によって、所定のｋ×ｌピクセル
の長方形に内接するように拡大あるいは縮小される。こ
の時、ｋ×ｌの長方形領域のピクセルのうち、抽出画像
以外の部分については彩度，色相とも“０”としてお
く。さらに画像発生器１８により、ｋ×ｌピクセルの疑
似画像を所定個数発生し、抽出画像と共に学習画像とす
る。なお、疑似画像も、抽出画像領域と重ならない部分
については彩度，色相とも“０”とする。

【００４３】学習器１９は、前記のバックプロパゲーシ
ョンアルゴリズムにより、抽出画像に対しては“１”を
出力するように、また疑似画像については“０”が出力
するように学習を実行し、得られた重みの値をニューラ
ルネットワーク２０の各ニューロンユニットの重みメモ
リ５５及び閾値メモリ５４に記憶する。

【００４４】以上の過程により、ニューラルネットワー
ク１０は、撮影対象の色を識別するようになり、ニュー
ラルネットワーク２０は、撮影対象の形状を識別するよ
うになる。

【００４５】

【発明の効果】以上詳述したように、本発明によれば、
予め登録してある撮影対象を撮影画面上より選び出し、
その対象に焦点を合わせることができる。また、撮影対
象の登録は、学習によって簡単に行なうことができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る自動焦点装置のブロッ
ク構成図である。

【図２】図１中の外部光センサのブロック構成図であ
る。

【図３】（Ａ）は図１中の変換器が入力ＲＧＢ値からど
のように明度データ及び彩度データを得るかを説明する
ための図であり、（Ｂ）はどのように色相データを得る
かを説明するための図である。

【図４】図１中の各ニューラルネットワークの階層構造
を説明するためのブロック図である。

【図５】図４中の各ニューロンユニットのブロック構成
図である。

【符号の説明】

６…変換器、８…画像メモリ、１０，２０…ニューラル
ネットワーク、１１，１９…学習器、１６…抽出器、１
７…正規化器、２１…ウィンドゥ回路、２２…フーリエ
変換器、２４…ピーク検出器、２５…制御器、２６…駆
動部、４１₁〜４１_n ，４２…ニューロンユニット、５
１…演算器、５３…レジスタ、５４…閾値メモリ、５５
…重みメモリ、５６…関数テーブル。

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 真の撮影対象を含む画像領域中の被写体
   像を撮像するための撮像手段と、 前記撮像手段より得られた画像から、真の撮像対象に関
   する第１の特徴量に基づいて撮影の候補を少なくとも１
   個抽出する第１のニューラルネットワークと、 前記第１のニューラルネットワークにより抽出された撮
   影対象候補を、該第１の特徴量とは異なる、真の撮影対
   象に関する第２の特徴量に基づいて真の被写体か否か判
   定する第２のニューラルネットワークと、 前記第２のニューラルネットワークによって真の撮影対
   象と判定された画像領域に焦点を合わせる手段と、 前記真の撮影対象のサンプル画像によって、前記第１の
   ニューラルネットワークに対しては該第１の特徴量で、
   前記第２のニューラルネットワークに対しては該第２の
   特微量で、予めそれぞれを学習させる手段と、 を具備することを特徴とする自動焦点装置。
2. 【請求項２】 真の撮影対象を含む画像領域中の被写体
   像を撮像するための撮像手段と、 前記撮像手段より得られた画像から、該真の撮像対象に
   関する色彩情報に基づいて撮影の候補を少なくとも１個
   抽出する第１のニューラルネットワークと、 前記第１のニューラルネットワークにより抽出された撮
   影対象候補を、該色彩情報とは異なる、真の撮影対象に
   関する情報に基づいて真の被写体と一致するか否か判定
   する第２のニューラルネットワークと、 前記第２のニューラルネットワークによって真の撮影対
   象と判定された画像領域に焦点を合わせる手段と、 前記真の撮影対象のサンプル画像によって、前記第１の
   ニューラルネットワークに対しては該色彩情報で、前記
   第２のニューラルネットワークに対しては該色彩情報と
   は異なる、真の撮影対象に関する情報で、予めそれぞれ
   を学習させる手段と、 を具備することを特徴とする自動焦点装置。
3. 【請求項３】 上記第１のニューラルネットワークによ
   り抽出された撮影候 補を記憶する記憶手段を更に具備
   し、 上記第２のニューラルネットワークは、この記憶手段に
   記憶された撮影候補に対して真の被写体と一致するか否
   かを判定することを特徴とする請求項１又は２に記載の
   自動焦点装置。