JPH10142490A

JPH10142490A - 環境認識装置及びカメラ

Info

Publication number: JPH10142490A
Application number: JP8318566A
Authority: JP
Inventors: Hitoshi Oonoda; 仁大野田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-11-15
Filing date: 1996-11-15
Publication date: 1998-05-29

Abstract

(57)【要約】【課題】距離差が少ない物体が存在する状況に於て
も、正確な環境認識を可能にする。【解決手段】例えば一部のみが近接する複数の物体１
１，１２が存在する場合に於ても、個々の物体の平均的
な距離が異なりさえすれば、個々の物体の存在は頻度分
布の別々のピークとして現れる（ｐｅａｋ−Ｄ，ｐｅａ
ｋ−Ｅ）ことが多いという点に着目し、被写界空間の距
離分布情報から該情報の頻度分布を作成し、この頻度分
布の情報に基づき領域分割を行うようにしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、外界の距離分布情
報に基づいて画面を個々の物体毎に切り分けるが如く領
域分割し、各領域を評価することにより環境認識を行う
環境認識装置及び該環境認識装置を具備したカメラの改
良に関するものである。

【０００２】

【従来の技術】複数の方向に存在する物体までの距離を
光学的に測定する技術として、本願出願人による特公平
４−６７６０７号が開示されている。この技術によれ
ば、被写界に存在する物体の距離分布情報が得られ、そ
の分布情報から被写界の物体配置状況を認識することが
可能である。

【０００３】従来行われていた典型的な環境認識方法に
ついて、以下に説明する。

【０００４】図２１（ａ）に示した様なシーンをＣＣＤ
等を用いたステレオカメラなどで撮影する。そして、該
ステレオカメラで得られる、互いに視差を持った２つの
画像をそれぞれ「ｍ×ｎ」個のブロックに分割し、一方
のカメラで撮影した画像のあるブロック内の信号と他方
のカメラで撮影した対応するブロック内の信号の間で公
知の相関演算を行うと、三角測量の原理により、前ブロ
ック内の物体までの距離やデフォーカスを測定すること
ができる。この測定をすべてのブロックに対して行うこ
とにより、図２１（ｂ）の様な「ｍ×ｎ」ブロックから
成る距離分布情報が得られる。

【０００５】次に、被写界を構成する各物体を画面上で
分離するために領域分割（グルーピング）を行う。この
グルーピングが行われると、前述の「ｍ×ｎ」ブロック
からなる被写界空間は、図２１（ｃ）の様に物体毎に領
域分割される（図中の斜線部分は像信号のコントラスト
不足などで、相関演算結果の信頼性が低いと判断された
領域である）。

【０００６】領域分割（グルーピング）の手法として、
被写界空間を構成するブロックとこれに隣接するブロッ
クに関する二つのパラメータの類似度を比較して、類似
度が高ければ同一物体、類似度が低ければ別の物体と判
断する方法が存在する。前記パラメータとして用いられ
る情報は、緻密な距離分布データが得られる場合には面
の法線ベクトルであることが多く、本従来例のように比
較的荒い距離分布データの場合には単純に距離値やデフ
ォーカス値などが用いられる。

【０００７】例えば、図２１（ｂ）の各ブロックの距離
情報に対して、隣接する左右の二つのブロックの距離情
報を比較してこの距離の差が所定値以内であれば「二つ
のブロックを構成する物体は同一物体を形成する」と判
断し、また距離の差が所定値より大きければ「二つのブ
ロックを構成する物体は別物体である」と判断する。す
べてのブロックとその隣接関係にあるブロックとの間
で、前述の判断を行うことで、画面全体を物体毎に領域
分けすることができ、分割された各領域は一つの物体を
表すグループとして扱うことができる。

【０００８】このように画面内を物体毎に領域分割して
環境を認識する技術は、例えば自らの進行方向を決定す
る自動走行ロボットや、前後の障害物を判断して自動的
に危険回避を行う車に利用可能である。

【０００９】さらに、各領域を評価して画面内の主要物
体を検出することにより主被写体を自動認識し、該主被
写体に焦点を合せるカメラや、主被写体のみを測光して
逆光状況下に於ても主被写体に適正に露出を合せること
が可能なカメラ、または室内で人物が存在する方向を判
断して適切に送風制御するエアコンなど、幅広い技術分
野で利用可能である。

【００１０】

【発明が解決しようとする課題】従来は、比較的荒い距
離分布情報に基づき領域分割を行う場合、隣接する二つ
の領域の距離（あるいはデフォーカス量）などの差が所
定値以下かどうかで、二つのブロックが同一物体である
かどうかを判定していたのは前述の通りである。しか
し、このような方法では正確な領域分割を行うことがで
きない場合があった。

【００１１】例えば、二人の人間が体の一部が重なるよ
うに前後に並んでいる場合、たとえ二人の平均的な距離
差が前記の所定値以上存在する場合でも、体のごく一部
が接しているだけで、この部分の距離差が前述の所定値
以下になる場合があり、二つの物体を一つの領域として
まとめてしまう場合があった。

【００１２】また、相関演算により距離を求めているの
で、同一演算ブロック内に遠近二つの物体像が映り込ん
でいる場合、二つの物体の間の距離が導出されることが
ある（必ずしも中間ではなく、どの距離になるかは像信
号のパターンに依存する）。このような「遠近競合」と
呼ばれる状態が生じた場合、二つの物体の距離差が前記
所定値以上であっても、境界の一部に中間的な距離値が
算出され、結果的に二つの物体を一つの物体としてまと
めて領域分けしてしまうことがあった。

【００１３】以上のように従来の方法では、被写界の物
体配置を正確に認識できないことがあるため、主要物体
の認識を誤り、例えば、カメラの場合では焦点調節量の
算出や露光量の算出を正確に行えないことがあった。

【００１４】（発明の目的）本発明の第１の目的は、距
離の頻度分布情報を領域分割に利用することにより、距
離差が少ない物体が存在する状況に於ても、正確な環境
認識を行える環境認識装置を提供することにある。

【００１５】本発明の第２の目的は、距離の頻度分布情
報の極大値を検出し、極大値の前後に境界値を設定する
ことにより、正確な環境認識を行える環境認識装置を提
供することにある。

【００１６】本発明の第３の目的は、距離の頻度分布情
報の極値の尖鋭度を評価し、所定の尖鋭度を有する極値
の情報のみを領域分割に利用することにより、さらに正
確な環境認識を行える環境認識装置を提供することにあ
る。

【００１７】本発明の第４の目的は、距離の頻度分布情
報の極小値を領域分割に利用することにより、さらに正
確な環境認識を行える環境認識装置を提供することにあ
る。

【００１８】本発明の第５の目的は、デフォーカスの頻
度分布情報を領域分割に利用することにより、正確な環
境認識を行える環境認識装置を提供することにある。

【００１９】本発明の第６の目的は、デフォーカスの頻
度分布情報の極大値を検出し、極大値の前後に境界値を
設定することにより、さらに正確な環境認識を行える環
境認識装置を提供することにある。

【００２０】本発明の第７の目的は、デフォーカスの頻
度分布情報の極値の尖鋭度を評価し、所定の尖鋭度を有
する極値の情報のみを領域分割に利用することにより、
さらに正確な環境認識を行える環境認識装置を提供する
ことにある。

【００２１】本発明の第８の目的は、デフォーカスの頻
度分布情報の極小値を領域分割に利用することにより、
さらに正確な環境認識を行える環境認識装置を提供する
ことにある。

【００２２】本発明の第９の目的は、環境認識装置によ
り得られる環境認識結果から主被写体領域を検出し、主
被写体領域の検出結果に基づき適切な撮影パラメータを
設定することのできるカメラを提供することにある。

【００２３】本発明の第１０の目的は、検出された主被
写体に対して焦点を調節することにより、撮影者が焦点
調節位置を意識することなく、正確に主被写体を判定し
て自動的に焦点を合わせることのできるカメラを提供す
ることにある。

【００２４】本発明の第１１の目的は、検出された主被
写体領域の光量に基づき、露出を調節することにより、
逆光などの悪条件下などに於ても、主被写体に正確に露
出を合せることのできるカメラを提供することにある。

【００２５】本発明の第１２の目的は、検出された主被
写体領域の情報に基づき、焦点距離を調節することによ
り、撮影者が焦点距離を調節することなく、主被写体に
対して適切な画角を自動的に設定することのできるカメ
ラを提供することにある。

【００２６】

【課題を解決するための手段】上記第１の目的を達成す
るために、請求項１又は９記載の本発明は、外界の距離
分布情報に基づいて画面を個々の物体毎に切り分けるが
如く領域分割する領域分割手段を備え、該領域分割手段
の出力を基に環境認識を行う環境認識装置において、前
記領域分割手段は、前記距離分布情報に基づいて距離の
頻度分布情報を作成し、該頻度分布情報を領域分割の判
定要素の一つとして用いるようにしている。

【００２７】更に詳述すると、被写界空間の距離分布情
報から該情報の頻度分布を作成する。この頻度の分布に
於ては、例えば一部のみが近接する複数の物体が存在す
る場合に於ても、個々の物体の平均的な距離が異なりさ
えすれば、個々の物体の存在は頻度分布の別々のピーク
として現れることが多いという点に着目し、頻度分布の
情報に基づき領域分割を行うようにしている。

【００２８】上記第２の目的を達成するために、請求項
２又は９記載の本発明は、頻度分布情報の極大値を検出
し、該極大値の前後の所定分量だけ離れた距離に境界値
を設定し、この境界値の情報に基づいて領域分割を行う
ようにしている。

【００２９】上記第３の目的を達成するために、請求項
３又は９記載の本発明は、検出したすべての極値に対し
てその尖鋭度を評価し、所定値以上の尖鋭度を有する極
値の情報のみを領域分割の判定要素の一つとして用いる
ようにしている。

【００３０】上記第４の目的を達成するために、請求項
４又は９記載の本発明は、頻度分布情報の極小値を検出
し、極小値の距離をもって境界値と設定し、この境界値
の情報に基づいて領域分割を行うようにしている。

【００３１】上記第５の目的を達成するために、請求項
５又は１０記載の本発明は、被写界のデフォーカスの分
布情報に基づき、画面を個々の物体毎に切り分けるが如
く領域分割する前記領域分割手段を備え、該領域分割手
段の出力に基づいて環境認識を行う環境認識装置におい
て、前記領域分割手段は、前記デフォーカス分布情報に
基づいてデフォーカスの頻度分布情報を作成し、該頻度
分布情報を前記領域分割の判定要素の一つとして用いる
ようにしている。

【００３２】更に詳述すると、被写界空間のデフォーカ
ス分布情報から該情報の頻度分布を作成する。この頻度
の分布に於ては、例えば一部のみが近接する複数の物体
が存在する場合に於ても、個々の物体の平均的なデフォ
ーカスが異なりさえすれば、個々の物体の存在は頻度分
布の別々のピークとして現れることが多いという点に着
目し、頻度分布の情報に基づき領域分割を行うようにし
ている。

【００３３】上記第６の目的を達成するために、請求項
６又は１０記載の本発明は、頻度分布情報の極大値を検
出し、該極大値の前後の所定分量だけ離れたデフォーカ
ス値に境界値を設定し、この境界値の情報に基づいて領
域分割を行うようにしている。

【００３４】上記第７の目的を達成するために、請求項
７又は１０記載の本発明は、検出したすべての極値に対
してその尖鋭度を評価し、所定値以上の尖鋭度を有する
極値の情報のみを領域分割の判定要素の一つとして用い
るようにしている。

【００３５】上記第８の目的を達成するために、請求項
８又は１０記載の本発明は、頻度分布情報の極大値と極
小値を検出し、極大値の前後に存在する極小値のデフォ
ーカス値をもって境界値と設定し、この境界値の情報に
基づいて領域分割を行うようにしている。

【００３６】上記第９の目的を達成するために、請求項
１１記載の本発明は、前述の請求項９又は１０記載の環
境認識装置と、該環境認識装置の環境認識結果から主被
写体の領域を検出する主被写体検出手段と設けた構成に
している。

【００３７】上記第１０の目的を達成するために、請求
項１２記載の本発明は、主被写体検出手段の出力結果に
基づいて主被写体に焦点を合わせる自動焦点調節手段を
備えた構成にしている。

【００３８】上記第１１の目的を達成するために、請求
項１３記載の本発明は、主被写体検出手段の出力結果に
基づいて主被写体領域の光量を測定する測定手段と、そ
の光量に基づいて露光量を調節する自動露光量調節手段
とを備えた構成にしている。

【００３９】上記第１２の目的を達成するために、請求
項１４記載の本発明は、主被写体検出手段の出力結果に
基づいて主被写体が適切な大きさになるようにレンズの
焦点距離を調節する自動焦点調節手段を備えた構成にし
ている。

【００４０】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００４１】カメラの自動測距点選択機能を例に、被写
界の物体配置状況を認識する本発明の実施の第１の形態
について説明する。

【００４２】図１は撮影画面内のデフォーカスあるいは
距離の分布を検出するためのカメラの光学構成要素の配
置図であり、図中、１は撮影レンズ、２はフィールドレ
ンズ、３は二次結像レンズ、４はエリアセンサである。
前記エリアセンサ４の２つの撮像画面４ａ，４ｂ上には
各々撮影レンズ１のお互いに異なる瞳位置からの光束が
導かれ、フィールドレンズ２，二次結像レンズ３により
定まる結像倍率で再結像される。前記エリアセンサ４は
撮影レンズ１に対して撮影フィルム面と光学的に等価な
位置にあり、撮像画面４ａ，４ｂは各々撮影画面の一部
または撮影画面に等しい視野を有している。

【００４３】図２は図１に示した検出光学系をカメラに
適用した場合のレイアウトを示したものであり、図中、
５はクイックリターンミラー、６はペンタプリズム、７
は分割プリズム、８は反射ミラーであり、他は図１と同
様である。

【００４４】また、図３は図２のレイアウトをカメラ上
部方向より見た図である。

【００４５】以上の様な構成により、所定の視差を持っ
た撮像画面４ａと４ｂを得ることができる。

【００４６】尚、前述の構成を有するカメラについて
は、特願平５−２７８４３３号等で詳細に開示されてい
る。

【００４７】図４は上記の如き各装置を備えたカメラの
具体的な構成の一例を示す回路図であり、先ず各部の構
成について説明する。

【００４８】図４において、ＰＲＳはカメラの各種の制
御を司る、例えば、内部にＣＰＵ（中央処理装置），Ｒ
ＯＭ，ＲＡＭ，Ａ／Ｄ変換機能を有する１チップのマイ
クロコンピュータ（以下、マイコンと記す）である。該
マイコンＰＲＳはＲＯＭに格納されたカメラのシーケン
ス・プログラムに従って、自動露出制御機能，自動焦点
調節機能，フィルムの巻き上げ・巻き戻し等のカメラの
一連の動作を行っている。その為にマイコンＰＲＳは、
通信用信号ＳＯ，ＳＩ，ＳＣＬＫ、通信選択信号ＣＬＣ
Ｍ，ＣＤＤＲ，ＣＩＣＣを用いて、カメラ本体内の周辺
回路および後述のレンズ内制御装置と通信を行って、各
々の回路やレンズの動作を制御する。

【００４９】ＳＯはマイコンＰＲＳから出力されるデー
タ信号、ＳＩはマイコンＰＲＳに入力されるデータ信
号、ＳＣＬＫは前記データ信号ＳＯ，ＳＩの同期クロッ
クである。

【００５０】ＬＣＭはレンズ通信バッファ回路であり、
カメラが動作中のときにはレンズ用電源端子ＶＬに電力
を供給するとともに、マイコンＰＲＳからの選択信号Ｃ
ＬＣＭが高電位レベル（以下、“Ｈ”と略記し、低電位
レベルは“Ｌ”と略記する）のときには、カメラとレン
ズ間の通信バッファとなる。

【００５１】マイコンＰＲＳが選択信号ＣＬＣＭを
“Ｈ”にして、クロックＳＣＬＫに同期して所定のデー
タをＳＯとして送出すると、レンズ通信バッファ回路Ｌ
ＣＭはカメラ・レンズ間通信接点を介して、前記ＳＣＬ
Ｋ，ＳＯの各々のバッファ信号ＬＣＫ，ＤＣＬをレンズ
へ出力する。それと同時にレンズからの信号ＤＬＣのバ
ッファ信号をＳＩとして出力し、マイコンＰＲＳはＳＣ
ＬＫに同期してレンズのデータをＳＩとして入力する。

【００５２】ＤＤＲは各種のスイッチＳＷＳの検知及び
表示用回路であり、信号ＣＤＤＲが“Ｈ”のとき選択さ
れ、ＳＯ，ＳＩ，ＳＣＬＫを用いてマイコンＰＲＳから
制御される。即ち、マイコンＰＲＳから送られてくるデ
ータに基づいてカメラの表示部材ＤＳＰの表示を切り換
えたり、カメラの各種操作部材のオン，オフ状態を通信
によってマイコンＰＲＳに報知する。ＯＬＣはカメラ上
部に位置する外部液晶表示装置であり、ＩＬＣはファイ
ンダ内液晶表示装置である。

【００５３】ＳＷ１，ＳＷ２は不図示のレリーズボタン
に連動したスイッチであり、レリーズボタンの第１段階
の押下によりスイッチＳＷ１がオンし、引き続いて第２
段階の押下でスイッチＳＷ２がオンする。マイコンＰＲ
Ｓは、前記スイッチＳＷ１のオンで測光，自動焦点調節
を行い、スイッチＳＷ２のオンをトリガとして露出制御
とその後のフィルムの巻き上げを行う。

【００５４】尚、スイッチＳＷ２はマイコンＰＲＳの
「割り込み入力端子」に接続され、スイッチＳＷ１のオ
ン時のプログラム実行中でも、該スイッチＳＷ２のオン
によって割り込みがかかり、直ちに所定の割り込みプロ
グラムへ制御を移すことができる。

【００５５】ＭＴＲ１はフィルム給送用の、ＭＴＲ２は
ミラーアップ・ダウン及びシャッタばねチャージ用の、
それぞれモータであり、各々のモータ駆動回路ＭＤＲ
１，ＭＤＲ２により正転，逆転の制御が行われる。マイ
コンＰＲＳからモータ駆動回路ＭＤＲ１，ＭＤＲ２に入
力されている信号Ｍ１Ｆ，Ｍ１Ｒ，Ｍ２Ｆ，Ｍ２Ｒは、
モータ制御用の信号である。

【００５６】ＭＧ１，ＭＧ２は各々シャッタ先幕用及び
後幕走行開始用マグネットで、信号ＳＭＧ１，ＳＭＧ２
により増幅トランジスタＴＲ１，ＴＲ２を介して通電さ
れ、マイコンＰＲＳによりシャッタ制御が行われる。

【００５７】尚、前記モータ駆動回路ＭＤＲ１，ＭＤＲ
２や、シャッタ制御に関しては、本発明と直接関りがな
いので、詳しい説明は省略する。

【００５８】レンズ内制御回路（以下、レンズ内マイコ
ンと記す）ＬＰＲＳにＬＣＫと同期して入力される信号
ＤＣＬは、カメラからレンズＬＮＳに対する命令のデー
タであり、命令に対するレンズＬＮＳ側での動作は予め
決められている。レンズ内マイコンＬＰＲＳは所定の手
続きに従ってその命令を解析し、焦点調節や絞り制御の
動作や、ＤＬＣによりレンズの各部動作状況（焦点調節
光学系の駆動状況や、絞りの駆動状態等）や各種パラメ
ータ（開放Ｆナンバー，焦点距離，デフォーカス量対焦
点調節光学系の移動量の係数，各種ピント補正量等）の
出力を行う。

【００５９】この実施の形態では、ズームレンズの例を
示しており、カメラから焦点調節の命令が送られた場合
には、同時に送られてくる駆動量・方向に従って焦点調
節用モータＬＴＭＲを信号ＬＭＦ，ＬＭＲによって駆動
して、光学系を光軸方向に移動させて焦点調節を行う。
光学系の移動量は光学系に連動して回動するパルス板の
パターンをフォトカプラにて検出し、移動量に応じた数
のパルスを出力するエンコーダ回路ＥＮＣＦのパルス信
号ＳＥＮＣＦでモニタし、レンズ内マイコンＬＰＲＳ内
のカウンタで計数しており、所定の移動が完了した時点
でレンズ内マイコンＬＰＲＳ自身が信号ＬＭＦ，ＬＭＲ
を“Ｌ”にして，前記焦点調節用モータＬＭＴＲを制動
する。

【００６０】このため、一旦カメラから焦点調節の命令
が送られた後は、カメラ側のマイコンＰＲＳはレンズの
駆動が終了するまで、レンズ駆動に関して全く関与する
必要がない。また、カメラから要求があった場合には、
上記カウンタの内容をカメラに送出することも可能な構
成になっている。

【００６１】カメラから絞り制御の命令が送られた場合
は、同時に送られてくる絞り段数に従って、絞り駆動用
としては公知のステッピングモータＤＭＴＲを駆動す
る。

【００６２】尚、前記ステッピングモータはオープン制
御が可能なため、動作をモニタするためのエンコーダを
必要としない。

【００６３】ＥＮＣＺはズーム光学系に付随したエンコ
ーダ回路であり、レンズ内マイコンＬＰＲＳは該エンコ
ーダ回路ＥＮＣＺからの信号ＳＥＮＣＺを入力してズー
ム位置を検出する。レンズ内マイコンＬＰＲＳ内には各
ズーム位置におけるレンズ・パラメータが格納されてお
り、カメラ側のマイコンＰＲＳから要求があった場合に
は、現在のズーム位置に対応したパラメータをカメラに
送出する。

【００６４】ＩＣＣはＣＣＤ等から構成される焦点検出
と露出制御（測光）用のエリアセンサ及びその駆動部を
具備したセンサ・駆動回路であり、信号ＣＩＣＣが
“Ｈ”のときに選択され、信号ＳＯ，ＳＩ，ＳＣＬＫを
用いてマイコンＰＲＳにて制御される。

【００６５】φＶ，φＨ，φＲは二つのエリアセンサ出
力の読み出しの為の信号やリセット信号であり、マイコ
ンＰＲＳから信号に基づいてセンサ・駆動回路ＩＣＣ内
の駆動部によりセンサ制御信号が生成される。センサ出
力はセンサ部からの読み出し後増幅され、出力信号ＩＭ
ＡＧＥとしてマイコンＰＲＳのアナログ入力端子に入力
され、マイコンＰＲＳはこの信号をＡ／Ｄ変換した後、
そのデジタル値をＲＡＭ上の所定のアドレスへ順次格納
してゆく。そして、これらデジタル変換された信号を用
いて被写界の環境認識と焦点調節あるいは測光を行うこ
とになる。

【００６６】尚、上記図４ではカメラとレンズが別体
（レンズ交換が可能）となるもので表現されているが、
カメラ・レンズ一体なるものでも何等問題なく、これ等
に限定されるものではない。

【００６７】図５は、被写界空間の距離の頻度分布を利
用して物体配置状況を認識し、主要被写体を検出した
後、該主要被写体にレンズの焦点を合せる機能を有する
カメラの動作、特に環境を認識して主被写体を判断する
測距点選択の動作を示すフローチャートであり、以下こ
れに従って説明する。

【００６８】撮影者がレリーズボタンを押すとスイッチ
ＳＷ１がオンになり、マイコンＰＲＳ内のＣＰＵはＲＯ
Ｍに記録されているプログラムに従い、図５のフローチ
ャートに従った制御を開始する。

【００６９】ステップ（１０１）においては、センサ画
像の取り込みを行う。センサ画像の取り込みは次のよう
にして実行される。

【００７０】まず、センサのリセットを行う。具体的に
は、制御信号φＶ，φＨ，φＲをマイコンＰＲＳにて同
時に一定時間“Ｈ”にすることで、センサ・駆動回路Ｉ
ＣＣ内部でリセット動作が行われる。次に、マイコンＰ
ＲＳから蓄積開始命令を送り蓄積を開始し、後に蓄積終
了を検知する。そして、制御信号φＶ，φＨを駆動して
センサ出力ＩＭＡＧＥを順次読み出し、マイコンＰＲＳ
にてＡ／Ｄ変換してＲＡＭに格納する。これにより、こ
のステップ（１０１）でのセンサ画像の取り込みが完了
する。尚、二つのセンサの出力信号データはＲＡＭ上の
所定領域ＩＭＧ１，ＩＭＧ２に格納される。

【００７１】次のステップ（１０２）においては、「ｍ
×ｎ」ブロック（ｍ，ｎは１以上の整数）で構成される
距離分布情報（距離マップ）の作成を行う。ここで実行
される距離マップ作成について、図６のフローチャート
を用いて説明する。

【００７２】図６のステップ（２０１）においては、ブ
ロックの座標を指示する変数ｘ，ｙを初期化する。そし
て、次のステップ（２０２）において、ブロック（ｘ，
ｙ）の距離演算に必要な信号をＲＡＭ上の画像データＩ
ＭＧ１の中から抽出し、ＲＡＭ上の所定アドレスＡにコ
ピーする。続くステップ（２０３）においては、ブロッ
ク（ｘ，ｙ）の距離演算に必要なもう一方の信号をＩＭ
Ｇ２の中から抽出し、ＲＡＭ上の所定アドレスＢにコピ
ーする。次いでステップ（２０４）において、アドレス
ＡとアドレスＢに記録された輝度分布信号に対して公知
の相関演算ＣＯＲ（Ａ，Ｂ）を実行し、二つの像信号の
ずれ量δを算出する。

【００７３】次のステップ（２０５）においては、上記
の像ずれ量δからデフォーカス又は距離値の算出を公知
の関数ｆ（δ）により実行し、ＲＡＭ上の距離分布記録
用に確保された所定のアドレスＤ（ｘ，ｙ）に距離値又
はデフォーカスを格納する。ここでは、距離値を算出す
る場合について説明を行う。

【００７４】次のステップ（２０６）においては、ｘの
値を一つ増加して、処理対象を隣接ブロックに移す。そ
して、ステップ（２０７）において、ｘと距離マップの
ｘ方向の解像度ｍとの比較を行い、「ｘ＜ｍ」が真（こ
の関係に有ることを意味する）と判定した場合は先のス
テップ（２０２）に戻り、ｘ方向の隣のブロックに対し
て前述と同様に距離値の演算と格納を繰り返す。

【００７５】一方上記ステップ（２０７）において、
「ｘ＜ｍ」が偽（この関係に無いことを意味する）と判
定した場合はステップ（２０８）へ移り、ｘを初期化
し、ｙを１増加する。そして、次のステップ（２０９）
において、ｙの値を評価し、「ｙ＜ｎ」が真と判定した
ときは再びステップ（２０２）に戻り、次のブロック列
に対する演算を開始する。また、「ｙ＜ｎ」が偽と判定
したときは、すべてのブロックに対する距離演算が完了
したとして、距離マップの作成を終了する。

【００７６】図５の説明に戻り、次のステップ（１０
３）においては、頻度分布の作成を行う。以下、この頻
度分布作成について、図７のフローチャートを用いて説
明する。

【００７７】ステップ（３０１）においては、頻度分布
データを作成するためにＲＡＭに確保されている変数Ｈ
（０）〜Ｈ（ｔ_num −１）の内容を０クリアする。ここ
で、Ｈ（ｔ）（但し、０＜ｔ＜ｔ_num ）は、ｔで表現さ
れる所定の距離範囲内に存在するデータの個数を表し、
ｔ_num は頻度分布データの個数を表す。

【００７８】この距離範囲の設定方法の一例を説明す
る。

【００７９】演算対象とする距離検出範囲が例えば１０
ｃｍ〜１００ｍである場合、この距離範囲を等間隔、例
えば１ｍ毎に区切って領域を１００分割する方法が考え
られる（この場合、ｔ_num ＝１００）。

【００８０】また、距離に逆比例してレンズの焦点深度
は深くなるので、この特性を反映するために、距離範囲
を対数空間に変換して、例えば１０ｃｍ〜１００ｍを−
2.0〜2.0 （＝ｌｏｇ₁₀0.01〜ｌｏｇ₁₀１００）として
この範囲を0.1 毎に区切って領域を２０分割する方法が
考えられる（この場合、ｔ_num ＝２０）。

【００８１】他にも、装置の特性や用途に合せて、何等
かの非線形分割を施すことも、もちろん可能である。

【００８２】この実施の形態では、前述の様に対数空間
で等間隔となるように領域を分割する場合について説明
する。

【００８３】次のステップ（３０２）においては、ブロ
ックの座標を指示する変数ｘ，ｙを初期化し、続くステ
ップ（３０３）において、ブロック（ｘ，ｙ）の距離値
Ｄ（ｘ，ｙ）が含まれる距離範囲を検索して、その範囲
を表す番号ｔを決定する。距離範囲が複雑な非線形特性
を有する場合などは、距離範囲を一つ一つ検索して調べ
ていくが、本実施の形態の場合は、前述のように距離範
囲は対数空間で等間隔になるように分割しているので、
ｔはｔ＝ＩＮＴ（ｌｏｇ₁₀（Ｄ（ｘ，ｙ）／ｄ_min ）／ｓ）で直接求めることができる。ここで、ＩＮＴは少数以下
切り捨ての関数、ｓは対数空間での範囲幅（前述の例だ
と、ｓ＝0.1)である。また、ｄ_min は距離検出範囲の最
小値（前述の場合、ｄ_min ＝１０ｃｍ）であり、最至近
の範囲番号を０とするための調整に用いている。

【００８４】次のステップ（３０４）においては、ｔに
対応する頻度分布の値を１つ増加する。そして、ステッ
プ（３０５）において、ｘの値を１つ増加して隣接ブロ
ックに処理を移す。続くステップ（３０６）において
は、ｘと距離マップｘ方向の解像度ｍとの比較を行い、
「ｘ＜ｍ」が真と判定した場合はステップ（３０３）に
戻り、次のブロックに対して前述と同様に頻度分布作成
を続ける。

【００８５】一方、上記ステップ（３０６）において
「ｘ＜ｍ」が偽と判定した場合はステップ（３０７）に
移り、ｘを初期化し、ｙを１増加する。そして、ステッ
プ（３０８）において、ｙの値を評価し、ここで「ｙ＜
ｎ」が真と判定したときは再びステップ（３０３）に戻
り、次のブロック例に対する演算を開始する。また、
「ｙ＜ｎ」が偽と判定したときは、すべてのブロックの
データを頻度分布データに反映する作業が完了して、頻
度分布の作成を終了する。

【００８６】尚、図７のフローチャートでは明記してい
ないが、低コントラストなどの原因により相関演算の信
頼性が低いと判定されたブロックの場合には、当然その
演算結果の距離値の信頼性も低いため、こうしたブロッ
クのデータは頻度分布に加える必要は全くない。

【００８７】こうした処理は、距離マップを作成する
際、各ブロックの演算結果の信頼性を配列変数に記録し
ておき、頻度分布作成の際にその配列変数の値を参照し
て、信頼性の低いブロックであれば頻度分布へのデータ
登録（図７ではステップ（３０３）と（３０４））をパ
スするようにすれば良く、容易に実現可能であるが、本
発明の本質ではないのでこの部分のフローは省略してい
る。

【００８８】再び図５の説明に戻り、ステップ（１０
４）においては、頻度分布中の極値、本実施の形態の場
合は特に極大値の検出を行う。例えば、図８のようなヒ
ストグラムが得られた場合、その極大値である図中のｐ
ｅａｋ−Ａやｐｅａｋ−Ｂ，ｐｅａｋ−Ｃの距離値を検
出する。

【００８９】この検出の方法を、図９のフローチャート
を用いて説明する。

【００９０】ステップ（４０１）において、極大値の番
号を表す数値ｕを初期化する。次のステップ（４０２）
においては、頻度分布のデータ番号を表す数値ｔを１に
初期化する。続くステップ（４０３）においては、頻度
分布の値Ｈ（ｔ）と、前後の頻度分布の値Ｈ（ｔ−
１），Ｈ（ｔ＋１）とを比較し、Ｈ（ｔ）が頂点を形成
しているかどうか調べる。この結果、Ｈ（ｔ）＞Ｈ（ｔ
−１）かつＨ（ｔ）＞Ｈ（ｔ＋１）であれば、Ｈ
（ｔ）は極大値を形成していると判定することができ、
ステップ（４０４）に移る。そして、このステップ（４
０４）において、ＲＡＭ上に確保された極値記憶用の変
数Ｐ（ｕ）にｔが表す距離の代表値を記憶する。代表値
は、ｔが表す距離範囲の中央の値が適当であり、例えば
「１０^s(t+0.5)・ｄ_min 」で与えられる。

【００９１】次のステップ（４０５）においては、頂点
の番号を表す数値ｕを１だけ増加させ、続くステップ
（４０５）において、検出対象頻度分布のデータ番号を
表す数値ｔを１だけ増加させ、検出対象の頻度分布を変
更する。そして、ステップ（４０６）において、ｔが頻
度分布データの範囲内であるかどうか、すなわち「ｔ＜
ｔ_num 」であるかどうかを調べ、「ｔ＜ｔ_num 」が真で
あれば、極値の検索途中であるのでステップ（４０３）
に戻り、「ｔ＜ｔ_num 」が偽であれば、検索は終了した
ものとして次のステップ（４０７）に移る。

【００９２】ステップ（４０７）においては、後の処理
のために実際に登録された頂点の数を変数ｕ_num に保存
して頂点検出処理は終了する。

【００９３】再び図５の説明に戻り、上述の様にして極
大点の検出が終了すると、ステップ（１０５）の境界値
設定に移る。この境界値とは、次のステップ（１０６）
で領域分割を行う際に参照される値である。

【００９４】本実施の形態における境界値設定の概念に
ついて説明する。

【００９５】ヒストグラムにおいて、ピーク部分の距離
周辺にはある物体が存在する可能性が高い。したがっ
て、ピークの前後の所定距離範囲を一つのグループとし
て認識するのが妥当である。すなわち、二つの所定値Ｒ
ｆ，Ｒｂ（ともに正の実数）を設定しておき、ピーク位
置の距離ｄに対して近距離側の境界値として「ｄ−Ｒ
ｆ」、遠距離側の境界値として「ｄ＋Ｒｂ」を設定する
と、前記物体に対して領域分割を適切に行うことができ
るようになる。例えば、主要物体の検出対象を人間と限
定した場合、特にカメラなどの場合には人間はカメラに
正対することが多いので奥行きはせいぜい５０ｃｍ程度
と考えられ、Ｒｆ，Ｒｂをそれぞれ３０ｃｍ程度に設定
することが考えられる。

【００９６】また、物体毎に領域を分割するという観点
から考察すると、近距離の物体は距離に対する分割を細
かく、遠距離の物体は分割の幅を大きくとるなどの非線
型性を持たせることが効果的であり、この効果を実現す
るためには対数空間で所定値を加減算して境界値を決定
するのが妥当である。例えば、「ｌｏｇ₁₀（ｄ）−Ｒ
ｆ」と「ｌｏｇ₁₀（ｄ）＋Ｒｂ」として対数空間で境界
値を設定する方法が考えられる。これは実距離では境界
値を「ｄ×１０^-Rf 」，「ｄ×１０^Rb」に設定すること
に相当し、前述の効果が得られる。もちろん実距離で直
接「ｄ×１０^-Rf」，「ｄ×１０^Rb」を求めて境界値と
して設定可能であるのは明らかである。

【００９７】前述のように極大点の前後に境界値を設定
することにより、極大点に反映された物体を一つのグル
ープとして領域分割を行うことが可能となる。

【００９８】例を示す。図１０（ａ）に示すシーンに対
してこれまでの処理を施すと、図１０（ｂ）のように３
つの極大点ｐｅａｋ−Ｄ，ｐｅａｋ−Ｅ，ｐｅａｋ−Ｆ
を有するヒストグラムが生成される。ｐｅａｋ−Ｄとｐ
ｅａｋ−Ｅは、それぞれ被写体１１と１２により形成さ
れ、ｐｅａｋ−Ｆは背景により形成される。ｐｅａｋ−
Ｄ，ｐｅａｋ−Ｅ，ｐｅａｋ−Ｆに対して境界値を設定
すると、図中のｂｏｒｄｅｒ−Ｄｆ，ｂｏｒｄｅｒ−Ｄ
ｒ，ｂｏｒｄｅｒ−Ｅｆ，ｂｏｒｄｅｒ−Ｅｒ，ｂｏｒ
ｄｅｒ−Ｆｆ，ｂｏｒｄｅｒ−Ｆｒで表される距離が境
界値になる。後の領域分割では、隣接ブロックの二つの
距離の間にこれらの境界値が存在する場合には隣接ブロ
ックの間が物体の境界であると判断する。この処理を画
面すべての隣接関係を構成するブロック間に実施するこ
とにより、前述のケースにおいて三つの被写体１１，１
２と背景は明確に分離することができる。

【００９９】さらに、二つの物体の一部が接近している
場合、従来方法では隣接ブロックの単に距離差に基づい
て領域分割を行ってために誤判断が生じていたが、この
実施の形態では、距離差が少ないブロックは図１０
（ｂ）のａｒｅａ−Ａの分布内に存在することになるの
で、二つの物体を明確に分離できる。つまり、二つの物
体の一部が接近している場合においても、個々の物体の
平均的な距離が異なりさえすれば、個々の物体の存在は
頻度分布の別々のピークとして現れることが多いという
点に着目し、頻度分布の情報に基づき領域分割の境界値
を決定する様にしている為、距離差が少ない物体が存在
する状況であっても、又遠近競合が生じる状況に於て
も、正確に二つの物体を分離できる。

【０１００】このステップ（１０５）で行われる境界値
設定について、図１１のフローチャートを用いて説明す
る。

【０１０１】ステップ（５０１）において、極大値の番
号を表す数値ｕを初期化し、次のステップ（５０２）に
おいて、極大値の近距離側の境界値として「Ｐ（ｕ）・
１０^-Rf 」を演算して、境界値を記録するメモリＳ（２
ｕ）に記録する。続くステップ（５０３）においては、
極大値の遠距離側の境界値として「Ｐ（ｕ）・１０^Rb」
をメモリＳ（２ｕ＋１）に記録する。そして、ステップ
（５０４）において、次の極大値の処理に移るために数
値ｕの値を１だけ増加させる。

【０１０２】次のステップ（５０５）においては、ｕの
値を、前処理で求めた極大値の数ｕ_num と比較して、す
べての極大値に対する処理が完了したかどうかを調べ
る。この結果、「ｕ＜ｕ_num 」であれば、完了していな
いのでステップ（５０２）に戻り、「ｕ＜ｕ_num 」が偽
であれば、すべての極値に対する処理が完了する。

【０１０３】以上の処理により、すべての境界値が、Ｒ
ＡＭ上に確保されたメモリＳ（０）〜Ｓ（２ｕ_num −
１）に記憶される。

【０１０４】再び図５の説明に戻り、上記の様にして境
界値の設定が完了すると、次はステップ（１０６）にお
いて、実際に領域分割を行う。

【０１０５】例えば、図１２の様に、画面の左上のブロ
ックから図中の矢印のようにラスタ・スキャンしながら
分割処理を行う場合、注目ブロックＧ（ｘ，ｙ）の上の
ブロックＧ（ｘ，ｙ−１）と、左ブロックＧ（ｘ−１，
ｙ）との間で、同じグループかどうかの判定を行えば、
結果的にすべての隣接ブロック間で同一ブロックかどう
かの判定を行うことができる。このとき、画面の上辺
（ｙ＝０）と左辺（ｘ＝０）のブロックは、それぞれ上
のブロックと左のブロックが存在しないので、それらに
対する処理は行わない。

【０１０６】また、判定の結果はＲＡＭ上のメモリＧ
（０，０）〜Ｇ（ｍ−１，ｎ−１）に記録する。まず、
（ｘ，ｙ）＝（０，０）のブロックはグループ番号ｇ＝
１として登録して、領域が異なるグループが検出されれ
ばｇの数を一つ増やしてそのブロックのグループ番号と
する。

【０１０７】この処理により、例えば図１０（ａ）のよ
うな撮影シーンは、図１３のように各グループ毎に番号
が与えられる。

【０１０８】こうした、番号付けの処理自体は「ラベリ
ング法」と呼ばれる公知技術であるので、領域分け全体
のフローチャートは省略するが、本実施の形態のキーポ
イントの一つであり、領域分け処理の中で行われる「隣
接ブロックが同一グループかどうかを判定するアルゴリ
ズム」を以下に説明する。

【０１０９】図１４は、スキャン中のある注目ブロック
Ｇ（ｘ，ｙ）とその左のブロックＧ（ｘ−１，ｙ）との
ブロックの間で、二つのブロックが同一物体であるか別
物体であるか判定する場合のフローチャートである。

【０１１０】ステップ（６０１）においては、注目ブロ
ックＧ（ｘ，ｙ）の距離値Ｄ（ｘ，ｙ）をワーク用の変
数ｄ₁ に、次のステップ（６０２）においては、比較ブ
ロックＧ（ｘ−１，ｙ）の距離値Ｄ（ｘ−１，ｙ）をワ
ーク用の変数ｄ₂ に、それぞれコピーする。

【０１１１】次のステップ（６０３）においては、境界
値の番号を表す数値ｕと、二つのブロックが同一か否か
を表すフラグＦｌａｇを初期化する。「Ｆｌａｇ＝０」
で二つの物体が同一であることを表し、「Ｆｌａｇ＝
１」で二つの物体が別個であることを表すものとする。

【０１１２】続くステップ（６０４）においては、比較
する二つの距離の間に境界値Ｓ（ｕ）が存在するかどう
かを調べる。「ｄ₁ ＜Ｓ（ｕ）and Ｓ（ｕ）＜ｄ₂ 」は
「ｄ₁ ＜ｄ₂ 」の場合の条件であり、ｄ₂ ＜Ｓ（ｕ）an
d Ｓ（ｕ）＜ｄ₁ 」は「ｄ₂＜ｄ₁ 」の場合の条件であ
る。

【０１１３】これらの論理和をとった結果が真であれ
ば、二つのブロックは別個の物体であると判定すること
ができるので、次のステップ（６０５）にて、フラグを
立てて終了する。

【０１１４】一方、論理和が偽であれば、次の境界値と
の比較を行うためにステップ（６０６）でｕの値を一つ
増やす。そして、次のステップ（６０７）において、ｕ
が境界値の個数をオーバーしていないかどうか調べ、オ
ーバーしていなければステップ（６０４）に戻り、次の
境界値でのチェックを行う。また、オーバーしていれ
ば、Ｆｌａｇ＝０のままチェックは終了したことにな
り、二つのブロックは同一物体であるとして終了する。

【０１１５】以上の判定をすべてのブロックのすべての
隣接関係について行い、領域分割（グルーピング）が完
了する。

【０１１６】再び図５の説明に戻り、次のステップ（１
０７）においては、撮影空間を構成する各領域（各グル
ープ）の特性を評価して、すべてのグループの中から主
被写体を表すグループを決定する。

【０１１７】例えば図２１（ｃ）の場合、図示した１１
〜１７の各グループすべてについて、平均的な距離や、
領域の幅，高さ、画面上の位置などの特性をそれぞれ演
算して、それらを総合評価して主被写体と考えられる領
域を判定する。

【０１１８】例えば、以下の（１）式の様な主被写体度
評価関数が考えられる。

【０１１９】（主被写体度）＝Ｗ₁ ×（幅）×（高さ）＋Ｗ₂ ／（画面中心からの距離）＋Ｗ₃ ／（平均距離） ………（１）上記（１）式に於て、Ｗ₁ ，Ｗ₂ ，Ｗ₃ は重み付けの定
数、画面中心からの距離は画面中心と領域の重心位置と
の距離であり、また平均距離は領域内の全ブロックの平
均距離を表している。この主被写体度をすべての領域に
対して演算して、この主被写体度が最も大きい被写体を
主要被写体として判定する。

【０１２０】主被写体を表す領域が、例えば図１０
（ａ）の１１と判定した後、ステップ（１０８）に於て
この領域内の距離情報に基づき「合焦距離」を決定し、
この距離に焦点が合うようにレンズ駆動を行う。合焦距
離の決定方法は、前記領域に含まれるすべてのブロック
の距離平均や、領域内で最至近のブロックの距離などが
考えられる。

【０１２１】以上、ステップ（１０２）からステップ
（１０８）までの演算は、マイコンＰＲＳ内で行われ
る。

【０１２２】続くステップ（１０９）においては、上記
ステップ（１０８）で決定した距離に焦点が合うように
マイコンＰＲＳからレンズＬＮＳに対して焦点調節の命
令が送られ、レンズ内マイコンＬＰＲＳが焦点調節用モ
ータＬＭＴＲを制御して主被写体に焦点を合せ主被写体
への焦点調節が完了する。

【０１２３】以上のように、距離の頻度分布情報を利用
して画面を領域分割し、物体毎のグループに分け、さら
にすべてのグループの中から主被写体と考えられるグル
ープを選択して、その物体に対して合焦するようにレン
ズを駆動することで、撮影者は主被写体の位置を意識す
ることなく構図に専念するだけで、主被写体に焦点があ
った写真を得ることが可能である。

【０１２４】さらに本実施の形態では、距離の頻度分布
の極大値の前後に、領域分割の境界値を設定することに
より、従来の方法では分離できなかった複数の物体を分
離することが可能となり、環境を正確に認識することが
できる。この結果、実施の形態のようにカメラの場合、
合焦距離の正確な判断を行うことができるようになる。

【０１２５】また、本実施の形態では、環境認識の結果
を焦点検出に利用したが、主被写体と考えられる領域の
輝度情報に基づき露出を決定することにより、逆光状態
などの悪条件下に於ても主被写体に露出があった写真を
得ることができる。

【０１２６】また、主被写体領域が判れば、例えば主被
写体が画面内で５０％の面積を占めるように、ズームモ
ータＺＭＦ，ＺＭＲを駆動することにより焦点距離を調
整して、主被写体に自動的に画角を合せるオートズーム
機能も容易に実現できる。

【０１２７】尚、以上の説明では距離の分布情報を利用
した場合の説明を行ったが、分布情報の要素として距離
ではなくデフォーカス量を用いて、同様の処理を行うこ
とが可能である。

【０１２８】また、本実施の形態では、距離マップは
「ｍ×ｎ」の桝目上のブロックに対して作成したが、距
離測定ブロックの分布は必ずしも桝目状である必要はな
く、例えば千鳥配置などであっても問題なく、同様の処
理が可能である。

【０１２９】（実施の第２の形態）本発明の実施の第２
の形態は、上記実施の第１の形態に対して、極大値の検
出の精度をさらに高めたものであり、全体の処理の流れ
は図５に準ずる。

【０１３０】この実施の第２の形態では、図５のステッ
プ（１０４）の極大値検出の方法が異なる。

【０１３１】極大値として検出すべき点は、図１５のｐ
ｅａｋ−Ｇやｐｅａｋ−Ｈ，ｐｅａｋ−Ｊのようにある
程度の尖鋭度のあるピークが望ましく、ｐｅａｋ−Ｉの
様に僅かな変動により生じた極大値は、そこに特定の物
体が存在することにより生じたピークではないことが多
いので、極大値として検出しないことが望ましい。

【０１３２】そこで、本発明の実施の第２の形態では、
極大値の尖鋭度を評価して、所定値以上の尖鋭度を有す
る極値のみを後の領域分割点の決定に用いるようにす
る。

【０１３３】この極大値評価について、図１６のフロー
チャートを用いて説明する。

【０１３４】ステップ（７０１）において、極大値の番
号を表す数値ｕを初期化し、次のステップ（７０２）に
おいて、頻度分布のデータ番号を表す数値ｔを１に初期
化する。そして、ステップ（７０３）において、頻度分
布の値Ｈ（ｔ）と、前後の頻度分布の値Ｈ（ｔ−１），
Ｈ（ｔ＋１）とを比較し、Ｈ（ｔ）が頂点を形成してい
るかどうか調べる。この結果、Ｈ（ｔ）＞Ｈ（ｔ−１）
かつＨ（ｔ）＞Ｈ（ｔ＋１）であれば、Ｈ（ｔ）は
極大値を形成していると判断することができ、ステップ
（７０４）に移る。また、極大値を形成していない場合
にはステップ（７０９）へ移る。

【０１３５】ステップ（７０４）とステップ（７０５）
においては、検出された極大値と前後に所定値ｅだけ離
れた頻度分布の値の差をＲＡＭ上に確保した変数ａ，ｂ
にコピーする。そして、ステップ（７０６）において、
これらの値をしきい値Ｔと比較して、いずれかの値がし
きい値を上回っていればこのピークは所定の尖鋭度を有
するものと判定して、ステップ（７０７）以降の極大値
登録へ移る。上記ステップ（７０６）で、ａ，ｂのいず
れの値も所定値を上回っていない場合、極大値の尖鋭度
は低いものと判定して、ステップ（７０９）へ移る。

【０１３６】ステップ（７０７）においては、ＲＡＭ上
に確保された極値記憶用の変数Ｐ（ｕ）にｔが表す距離
の代表値を記憶する。ｔが表す距離の代表値は、ｔが表
す距離範囲の中央の値が適当であり、例えば１０
^s(t+0.5)・ｄ_min で与えられる。次のステップ（７０
８）においては、頂点の番号を表す数値ｕを１だけ増加
させ、続くステップ（７０９）において、検出対象頻度
分布のデータ番号を表す数値ｔを１だけ増加させ、検出
対象の頻度分布を変更する。

【０１３７】次のステップ（７１０）においては、頻度
分布のデータ番号を表す数値ｔが頻度分布データの範囲
内であるかどうか、すなわち「ｔ＜ｔ_num 」であるかど
うかを調べ、「ｔ＜ｔ_num 」が真であれば、極値の検索
途中であるのでステップ（７０３）に戻る。また、「ｔ
＜ｔ_num 」が偽であれば、検索は終了したものとしてス
テップ（７１１）に移る。

【０１３８】ステップ（７１１）においては、後の処理
のために実際に登録された頂点の数を変数ｕ_num に保存
して頂点検出処理は終了する。

【０１３９】以上のフローにより、後の領域分割の境界
値として利用される極大値は所定値以上の尖鋭度を有す
る極大値に限定されることになるので、微細な極大値に
影響されることがなく実施の第１の形態に比べてさらに
精度良く環境を認識することが可能となる。

【０１４０】また、本実施の形態においても利用データ
は距離に限るものではなく、デフォーカスの情報や像ず
れ量に基づいて同様の判定を行うことも可能である。

【０１４１】（実施の第３の形態）本発明の実施の第３
の形態は、頻度分布の極小値を利用して、領域分割に利
用する境界値を設定するものである。

【０１４２】全体の処理の流れは、実施の第１の形態に
準ずるが、図５のステップ（１０４）の極値検出と、ス
テップ（１０５）の境界値設定の内容が異なる。

【０１４３】本実施の形態では、図５のステップ（１０
４）の極値検出において、極大値と極小値の位置を記憶
する。この処理について、図１７のフローチャートを用
いて説明する。

【０１４４】ステップ（８０１）において、極大値の番
号を表す変数ｕを初期化し、次のステップ（８０２）に
おいて、頻度分布のデータ番号を表す数値ｔを１に初期
化する。次のステップ（８０３）においては、処理の開
始を表すフラグＦｉｒｓｔの値を１とする。そして、ス
テップ（８０４）において、頻度分布の値Ｈ（ｔ）と、
前後の頻度分布の値Ｈ（ｔ−１），Ｈ（ｔ＋１）とを比
較し、Ｈ（ｔ）が極大値を形成しているかどうか調べ
る。この結果、Ｈ（ｔ）＞Ｈ（ｔ−１）かつＨ
（ｔ）＞Ｈ（ｔ＋１）であれば、Ｈ（ｔ）は極大値を形
成していると判定することができ、ステップ（８０５）
に移る。

【０１４５】ステップ（８０５）においては、極値が最
初に検出されたものであるかどうか調べ、最初の極値で
あればステップ（８０６）に移り、最初の極値が極大値
であることを表すフラグを立てる。そして、次のステッ
プ（８０７）において、最初の極値登録が完了したの
で、処理の開始を表すフラグＦirstの値を０とする。

【０１４６】また、上記ステップ（８０４）にて極大値
ではないと判定した場合は、ステップ（８０８）に移
り、Ｈ（ｔ）が極小値を形成しているかどうか調べる。
この結果、Ｈ（ｔ）＜Ｈ（ｔ−１）かつＨ（ｔ）＜
Ｈ（ｔ＋１）であれば、Ｈ（ｔ）は極小値を形成してい
ると判定することができ、ステップ（８０９）に移る。

【０１４７】ステップ（８０９）においては、極値が最
初に検出されたものであるかどうか調べ、最初の極値で
あればステップ（８１０）に移り、最初の極値が最小値
であることを表すフラグを立てる。そして、次のステッ
プ（８１１）において、最初の極値登録が完了したの
で、処理の開始を表すフラグＦirstの値を０とする。

【０１４８】極大値か極小値が検出された場合、ステッ
プ（８１２）において、ＲＡＭ上に確保された極値記憶
用の変数Ｐ（ｕ）にｔが表す距離の代表値を記憶する。
ｔが表す距離の代表値は、ｔが表す距離範囲の中央の値
が適当であり、例えば１０^s(t+0.5)・ｄ_min で与えられ
る。

【０１４９】次に、ステップ（８１３）において、極値
の番号を表す数値ｕを１だけ増加させ、続くステップ
（８１４）において、検出対象頻度分布のデータ番号を
表す数値ｔを１だけ増加させ、検出対象を変更する。そ
して、ステップ（８１５）において、ｔが頻度分布デー
タの範囲内であるかどうか、すなわち「ｔ＜ｔ_num 」で
あるかどうかを調べ、「ｔ＜ｔ_num 」が真であれば、極
値の検索途中であるのでステップ（８０４）に戻る。

【０１５０】このループを繰り返した場合、Ｐ（ｕ）に
は極大値と極小値が交互に記録される。従って、フラグ
ＦirstMAX が１であれば、奇数と偶数のｕに対してＰ
（ｕ）はそれぞれ極大値と極小値、フラグＦirstMAX が
０であれば、その逆を表すことになる。

【０１５１】また、上記ステップ（８１５）にて「ｔ＜
ｔ_num 」が偽であれば、検索は終了したものとしてステ
ップ（８１６）に移り、後の処理のために、実際に登録
された頂点の数を変数ｕ_unm に保存して頂点検出処理は
終了する。

【０１５２】次に、ステップ（１０５）の境界値設定に
ついて説明する。

【０１５３】本実施の形態では、極大値の前後に存在す
る極小値に、領域分割の境界値を設定する。また、極大
値と極小値が所定距離より離れている場合には、極小値
ではなく極大値から前所定距離だけ離れた距離に境界値
を設定する。この境界値の設定のフローを図１８を用い
て説明する。

【０１５４】ステップ（９０１）において、境界値の番
号を表す変数ｖを初期化し、次のステップ（９０２）に
おいて、上記ステップ（１０４）で設定したフラグＦir
stMAX が１かどうかを調べる。もし、「ＦirstMAX ＝
１」であれば、最初の極値が極大値であり、０であれば
最初の極値は極小値である。そこで、極大値であれば、
ステップ（９０４）にて極大値の番号を表す数値ｕを最
初の極大値の番号０とし、最初が極小値であれば、ステ
ップ（９０５）にて上記数値ｕを最初の極大値の番号１
に設定する。

【０１５５】次にステップ（９０５）においては、極大
値の番号を表す数値ｕが１以上かどうか調べ、１以上で
あれば、極大値の手前の極小値を境界値に設定するため
にステップ（９０６）に移り、極大値と極小値の間の距
離差が所定距離Ｔより大きいかどうかを調べる。この結
果、所定距離より小さければ、次のステップ（９０７）
において、境界値を表す変数Ｓ（ｖ）に極小値の値を設
定し、一方、所定距離より大きければステップ（９０
８）へ移り、極大値から所定距離だけ手前の位置に境界
値を設定する。そして、次のステップ（９０９）におい
ては、境界値の番号を表す変数ｖの値を一つ増加させ
る。

【０１５６】また、ステップ（９０５）にて極大値の番
号を表す数値ｕが１より小さいとき（すなわちｕ＝０の
とき）は、最初の極大値の前に極小値は存在しないこと
になるので、そのままステップ（９１０）へ移る。

【０１５７】ステップ（９１０）では、極大値の番号を
表す数値ｕが「ｕ_max −１」より小さいかどうか調べ、
小さければ極大値の後ろ側の極小値を境界値として設定
するためにステップ（９１１）に移る。そして、このス
テップ（９１１）において、極大値と極小値の間の距離
差が所定距離Ｔより大きいかどうかを調べる。この結
果、所定距離より小さければ、ステップ（９１２）にお
いて、境界値を表す変数Ｓ（ｖ）に極小値の値を設定
し、一方、所定距離より大きければ、ステップ（９１
３）へ移り、極大値から所定距離だけ遠方の位置に境界
値を設定する。そして、次のステップ（９１４）におい
て、境界値の番号を表す変数ｖの値を一つ増加させる。

【０１５８】上記ステップ（９１０）にて極大値の番号
を表す数値ｕがｕ_max 以上である場合は、極大値の後ろ
に極小値が存在しなかったことになり、そのままステッ
プ（９１５）へ移る。

【０１５９】ステップ（９１５）においては、次の極大
値に処理を移すために極大値の番号を表す数値ｕの値を
２だけ増加させる。そして、次のステップ（９１６）に
おいて、上記数値ｕの値がｕ_num より小さいかどうか調
べ、小さければ未だデータが存在するので、次の境界値
を設定するためにステップ（９０５）に戻る。また、上
記数値ｕの値がｕ_num 以上の場合、すべての極値につい
て境界値設定が完了したことになり処理は終了する。

【０１６０】以上の処理により、境界値は図１９の点１
４，１５の様に、極大値の前後の極小値に境界値が設定
される。また、極大値と極小値の間の距離が長すぎる場
合には、点１３のように極大値から所定量離れた位置に
境界値が設定され、適切な境界値が設定できることにな
る。

【０１６１】極大値と極小値の距離差のしきい値Ｔを単
に実距離で設定した例を示したが、距離を対数空間に変
換した状態で差をとる方法も可能である。

【０１６２】以上のフローにより、後の領域分割の境界
値として利用される境界値は、物体と物体の間に設定さ
れる事になり、適切に環境を認識することが可能とな
る。

【０１６３】また、本実施の形態においても利用データ
は距離に限るものではなく、デフォーカスの情報に基づ
いて同様の判定を行うことも可能である。

【０１６４】（実施の第４の形態）本発明の実施の第４
の形態は、従来の方法にさらに頻度分布データによる手
法を組合せたものであり、領域分割の手法として非常に
精度が高いものである。全体の処理の流れは図５に準ず
る。

【０１６５】この実施の第４の形態では、図５のステッ
プ（１０６）の領域分割の判定手法が異なり、他は処理
は、前述の実施の第１の形態に準ずる。

【０１６６】領域分割の判定方法について、図２０の境
界判定フローチャートを用いて説明する。

【０１６７】ステップ（１００１）において、注目ブロ
ックＧ（ｘ，ｙ）の距離値Ｄ（ｘ，ｙ）をワーク用の変
数ｄ₁ に、次のステップ（１００２）において、比較ブ
ロックＧ（ｘ−１，ｙ）の距離値Ｄ（ｘ−１，ｙ）をワ
ーク用の変数ｄ₂ に、それぞれコピーする。

【０１６８】次のステップ（１００３）においては、境
界値の番号を表す数値ｕと、二つのブロックが同一か否
かを表すフラグＦｌａｇを初期化する。「Ｆｌａｇ＝
０」で二つの物体が同一であることを表し、「Ｆｌａｇ
＝１」で二つの物体が別個であることを表すものとす
る。

【０１６９】次のステップ（１００４）においては、二
つのブロックの距離の差が所定値Ｔｓより小さいかどう
か調べる。小さければ、二つの物体は同一物体である可
能性が高いものとしてステップ（１００５）に移る。ま
た、距離差がＴｓ以上であれば、二つの物体は別物体と
してステップ（１００６）に移る。

【０１７０】ステップ（１００５）においては、比較す
る二つの距離の間に境界値Ｓ（ｕ）が存在するかどうか
を調べる。「ｄ₁ ＜Ｓ（ｕ）and Ｓ（ｕ）＜ｄ₂ 」は
「ｄ₁＜ｄ₂ 」の場合の条件であり、「ｄ₂ ＜Ｓ（ｕ）a
nd Ｓ（ｕ）＜ｄ₁ 」は「ｄ₂＜ｄ₁ 」の場合の条件であ
る。

【０１７１】これらの論理和をとった結果が真であれ
ば、二つのブロックは別個の物体であると判定すること
ができるので、ステップ（１００６）でフラグを立てて
終了する。

【０１７２】一方、論理和が偽であれば、次の境界値と
の比較を行うためにステップ（１００７）で極大値の番
号を表す数値ｕの値を一つ増やす。そして、次のステッ
プ（１００８）において、極大値の番号を表す数値ｕが
境界値の個数をオーバーしていないかどうか調べ、オー
バーしていなければステップ（１００５）に戻り、次の
境界値でのチェックを行う。また、オーバーしていれ
ば、「Ｆｌａｇ＝０」のままチェックは終了したことに
なり、二つのブロックは同一物体であるとして終了す
る。

【０１７３】以上の判定をすべてのブロックのすべての
隣接関係について行い、領域分割（グルーピング）が完
了する。

【０１７４】以上の方法で領域分割を行うことにより、
従来一つの領域としてまとめて分割してしまう一部のみ
が近接する複数物体でも、頻度分布により設定した境界
値でさらにチェックを行うことにより、正しく領域分割
を行うことができる。

【０１７５】（変形例）本発明は、一眼レフカメラに適
用した例を述べているが、ビデオカメラや電子スチルカ
メラ等の映像装置にも適用可能である。更には、以下の
様な装置にも適用可能である。

【０１７６】例えば、自らの進行方向を決定する自動走
行ロボットや、前後の障害物を判断して自動的に危険回
避を行う車に利用可能である。さらには、室内で人物が
存在する方向を判断して適切に送風制御するエアコンな
ど、幅広い技術分野で利用可能である。

【０１７７】また、本発明は、以上の実施の各形態、又
はそれらの技術を適当に組み合わせた構成にしてもよ
い。

【０１７８】

【発明の効果】以上説明したように、請求項１及び９記
載の本発明によれば、距離の頻度分布情報の極値の情報
を領域分割に利用することにより、従来誤判定が多かっ
た距離差が少ない物体が存在する状況においても、正し
く領域分割を行うことができるようになり、正確な環境
認識を実現することができる。

【０１７９】また、請求項２及び９記載の本発明によれ
ば、距離の頻度分布情報の極大値を検出し、極大値の前
後に、領域分割の判定要素として用いる境界値を設定す
ることにより、正しく領域分割を行うことができるよう
になり、正確な環境認識を実現することができる。

【０１８０】また、請求項３及び９記載の本発明によれ
ば、距離の頻度分布情報の極値の尖鋭度を評価し、所定
の尖鋭度を有する極値の情報のみを領域分割に利用する
ことにより、さらに正しく領域分割を行うことができる
ようになり、正確な環境認識を実現することができる。

【０１８１】また、請求項４及び９記載の本発明によれ
ば、距離の頻度分布情報の極小値を領域分割に利用する
ことにより、正しく領域分割を行うことができるように
なり、正確な環境認識を実現することができる。

【０１８２】また、請求項５及び１０記載の記載の本発
明によれば、デフォーカスの頻度分布情報の極値の情報
を領域分割に利用することにより、従来誤判定が多かっ
た距離差が少ない物体が存在する状況においても、正し
く領域分割を行うことができるようになり、正確な環境
認識を実現することができる。

【０１８３】また、請求項６及び１０記載の本発明によ
れば、デフォーカスの頻度分布情報の極大値を検出し、
極大値の前後に、領域分割の判定要素として用いる境界
値を設定することにより、正しく領域分割を行うことが
できるようになり、正確な環境認識を実現することがで
きる。

【０１８４】また、請求項７及び１０記載の本発明によ
れば、デフォーカスの頻度分布情報の極値の尖鋭度を評
価し、所定の尖鋭度を有する極値の情報のみを領域分割
に利用することにより、さらに正しく領域分割を行うこ
とができるようになり、正確な環境認識を実現すること
ができる。

【０１８５】また、請求項８及び１０記載の本発明によ
れば、デフォーカスの頻度分布情報の極小値を領域分割
に利用することにより、正しく領域分割を行うことがで
きるようになり、正確な環境認識を実現することができ
る。

【０１８６】また、請求項１１記載の本発明によれば、
距離またはデフォーカス情報を利用した環境認識装置を
備えており、主被写体に対して適切な撮影パラメータを
自動的に設定することができるカメラを実現することが
できる。

【０１８７】また、請求項１２記載の本発明によれば、
距離またはデフォーカス情報を利用した環境認識装置を
備えており、主被写体に対して自動的に焦点調節を行う
カメラを実現することができる。

【０１８８】また、請求項１３記載の本発明によれば、
距離またはデフォーカス情報を利用した環境認識装置を
備えており、逆光などの悪条件下等においても、正確に
主被写体に露出を合せることが可能なカメラを実現する
ことができる。

【０１８９】また、請求項１４記載の本発明によれば、
距離またはデフォーカス情報を利用した環境認識装置を
備えており、撮影者がレンズの焦点距離の調節を行うこ
となく、主被写体に適切に画角を調節することが可能な
カメラを実現することができる。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係るカメラの光学
系配置図である。

【図２】図１の光学系の更に詳細な構造を示した斜視図
である。

【図３】図２の光学系の平面図である。

【図４】本発明の実施の第１の形態に係るカメラの電気
的構成を示すブロック図である。

【図５】図４のカメラの主要部分の動作を示すフローチ
ャートである。

【図６】図５のステップ（１０２）における距離マップ
作成時の動作を示すフローチャートである。

【図７】図５のステップ（１０３）における頻度分布作
成時の動作を示すフローチャートである。

【図８】図７の動作により作成されるヒストグラム例で
ある。

【図９】図５のステップ（１０４）における極値検出時
の動作を示すフローチャートである。

【図１０】図１１の境界値設定の動作説明を助ける為の
図である。

【図１１】図５のステップ（１０５）における境界値設
定時の動作を示すフローチャートである。

【図１２】本発明の実施の第１の形態における領域分割
方法を説明する為の図である。

【図１３】同じく本発明の実施の第１の形態におけるラ
ベリング結果の一例を示す図である。

【図１４】同じく本発明の実施の第１の形態における境
界判定時の動作を示すフローチャートである。

【図１５】本発明の実施の第２の形態に係るカメラの検
出すべきピークを説明する為の図である。

【図１６】本発明の実施の第２の形態に係るカメラの境
大値検出時の動作を示すフローチャートである。

【図１７】本発明の実施の第２の形態に係るカメラの境
値検出時の動作を示すフローチャートである。

【図１８】本発明の実施の第３の形態に係るカメラの境
界値設定時の動作を示すフローチャートである。

【図１９】本発明の実施の第３の形態に係るカメラにお
いて境界値設定例を示す図である。

【図２０】本発明の実施の第４の形態に係るカメラの境
界判定時の動作を示すフローチャートである。

【図２１】カメラでの撮影シーンの一例を示す図であ
る。

【符号の説明】

１撮影レンズ４エリアセンサ４ａ，４ｂ撮像画面１１〜１７距離マップから抽出した被写体例ＰＲＳマイコンＩＣＣエリアセンサＬＮＳレンズＬＰＲＳレンズ内マイコン

Claims

【特許請求の範囲】

【請求項１】被写界の距離分布情報に基づいて画面を
個々の物体毎に切り分けるが如く領域分割する領域分割
手段を備え、該領域分割手段の出力を基に環境認識を行
う環境認識装置において、前記領域分割手段は、前記距
離分布情報に基づいて距離の頻度分布情報を作成し、該
頻度分布情報を領域分割の判定要素の一つとして用いる
ことを特徴とする環境認識装置。
【請求項２】前記領域分割手段は、前記頻度分布情報
の極大値を検出し、該極大値の前後の所定分量だけ離れ
た距離に境界値を設定し、この境界値の情報に基づいて
領域分割を行うことを特徴とする請求項１記載の環境認
識装置。
【請求項３】前記領域分割手段は、検出したすべての
極値に対してその尖鋭度を評価し、所定値以上の尖鋭度
を有する極値の情報のみを領域分割の判定要素の一つと
して用いることを特徴とする請求項１記載の環境認識装
置。
【請求項４】前記領域分割手段は、前記頻度分布情報
の極小値を検出し、極小値の距離をもって境界値と設定
し、この境界値の情報に基づいて領域分割を行うことを
特徴とする請求項１記載の環境認識装置。
【請求項５】被写界のデフォーカスの分布情報に基づ
き、画面を個々の物体毎に切り分けるが如く領域分割す
る前記領域分割手段を備え、該領域分割手段の出力に基
づいて環境認識を行う環境認識装置において、前記領域
分割手段は、前記デフォーカス分布情報に基づいてデフ
ォーカスの頻度分布情報を作成し、該頻度分布情報を前
記領域分割の判定要素の一つとして用いることを特徴と
する環境認識装置。
【請求項６】前記領域分割手段は、前記頻度分布情報
の極大値を検出し、該極大値の前後の所定分量だけ離れ
たデフォーカス値に境界値を設定し、この境界値の情報
に基づいて領域分割を行うことを特徴とする請求項５記
載の環境認識装置。
【請求項７】前記領域分割手段は、検出したすべての
極値に対してその尖鋭度を評価し、所定値以上の尖鋭度
を有する極値の情報のみを領域分割の判定要素の一つと
して用いることを特徴とする請求項５記載の環境認識装
置。
【請求項８】前記領域分割手段は、前記頻度分布情報
の極大値と極小値を検出し、極大値の前後に存在する極
小値のデフォーカス値をもって境界値と設定し、この境
界値の情報に基づいて領域分割を行うことを特徴とする
請求項５記載の環境認識装置。
【請求項９】複数の方向の距離を測定する距離測定手
段を有し、前記領域分割手段は、前記距離測定手段によ
り得られる距離分布情報に基づいて領域分割を行うこと
を特徴とする請求項１，２，３又は４記載の環境認識装
置。
【請求項１０】撮影光学系の焦点位置に対する複数の
方向のデフォーカスを測定するデフォーカス測定手段を
有し、前記領域分割手段は、前記デフォーカス測定手段
により得られるデフォーカス分布情報に基づいて領域分
割を行うことを特徴とする請求項５，６，７又は８記載
の環境認識装置。
【請求項１１】請求項９又は１０記載の環境認識装置
と、該環境認識装置の環境認識結果から主被写体の領域
を検出する主被写体検出手段と設けたことを特徴とする
カメラ。
【請求項１２】前記主被写体検出手段の出力結果に基
づいて主被写体に焦点を合わせる自動焦点調節手段を具
備したことを特徴とする請求項１１記載のカメラ。
【請求項１３】前記主被写体検出手段の出力結果に基
づいて主被写体領域の光量を測定する測定手段と、その
光量に基づいて露光量を調節する自動露光量調節手段と
を具備したことを特徴とする請求項１１記載のカメラ。
【請求項１４】前記主被写体検出手段の出力結果に基
づいて主被写体が適切な大きさになるようにレンズの焦
点距離を調節する自動焦点調節手段を具備したことを特
徴とする請求項１１記載のカメラ。