JPH0861932A

JPH0861932A - 多眼視覚装置の信号処理方法

Info

Publication number: JPH0861932A
Application number: JP22252694A
Authority: JP
Inventors: Shinya Uemachi; 新也上町; Cho Nakamura; 兆中村; Akio Ozawa; 明夫小澤; Takeshi Ishibashi; 武石橋
Original assignee: Tokyo Electric Power Co Inc; Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd; Tokyo Electric Power Company Holdings Inc
Priority date: 1994-08-23
Filing date: 1994-08-23
Publication date: 1996-03-08
Anticipated expiration: 2019-08-04
Also published as: JP3549259B2

Abstract

(57)【要約】【目的】複数のカメラを同一平面上に並べて、共通の
対象物を撮像し、対象物の輪郭線上などにある特徴点を
抽出し、同一の物体特徴点に対する画面上の特徴点の組
を同定し、特徴点の三次元座標を決定する多眼視覚装置
の改良を与える。特徴点の組を同定するために従来は、
カメラ相互の位置の差異による幾何学的条件を満足する
か否かによってのみ判断していた。しかし、特徴点が多
い場合はこのような幾何学的方法だけによると誤った対
応付けをしてしまう。より厳密な特徴点の組分けをする
事のできる方法を提供することが目的である。【構成】特徴点において、明度の変化の量と、変化の
方向を計算する。明度変化が同一である、明度変化の方
向が同一であるという条件を満足するものが、同一の特
徴点の組に属するものと判断する。同じ対象物の同じ特
徴点から派生する画面の特徴点であるから、明度変化
量、明度変化方向は共通するはずである。このような特
徴点自身の性質により特徴点を同定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、多眼視覚装置の信号
処理方法に関する。多眼視覚装置というのは、３台以上
のカメラによって、同一の対象物を観察し、共通の三次
元座標に置ける対象物の座標を求める装置である。焦点
距離が等しいカメラ群を使う。カメラの軸線（視線）は
互いに平行になるようにする。カメラの画面に同じ点Ｐ
の像点が写る。レンズ中心と画面の距離（焦点距離に設
定する）は全てのカメラについて共通である。すると、
２台のカメラによる同一点の像から、点Ｐの三次元座標
を計算することができる。３台以上のカメラを使い冗長
性のある測定をすると精度を高めることができる。原理
は三角測量であるが、従来の三角測量よりも測定データ
が多いので、冗長なデータを利用し、データの真偽、誤
差のチェックに利用することができる。

【０００２】実際には対象は点ではない。三次元的な広
がりを持つ。カメラで見ても画面上では二次元的な広が
りがある。広がりのある対象物を対象にする場合は、輪
郭線上の特徴ある点を抽出し、この点を対象となる点Ｐ
として全てのカメラにより、三次元計測する。このよう
な点を特徴点という。ここで２種類の特徴点を区別する
必要がある。一つは物体上の特徴点である。これは物体
特徴点、又は物体の特徴的な点と呼ぶ。もう一つは画面
上の特徴点である。これは画面特徴点、あるいは単に特
徴点と呼ぶ。物体上の多くの特徴点を抽出し、これの三
次元座標を求めることにより、輪郭線の三次元座標を決
定することができる。

【０００３】このような計測は瞬時になされる。実時間
計測である。実時間であるから、重機と送電線の接近な
どの監視に用いることができる。その他の用途にも利用
することができよう。このような計測において、最も重
要なことは同一の物体特徴点に対応する画面特徴点を、
全てのカメラにおいて正しく同定することである。異な
る物体特徴点を、同じ画面特徴点というふうに認識する
と、計算の誤りを生ずる。一つの物体特徴点に対して、
カメラの数ｎだけの画面特徴点が存在する。この画面特
徴点を「組」ということにする。結局同一の物体特徴点
に対する、画面特徴点の組を正しく判別することが最も
重要である。本発明は特徴点の組の同定に関する発明で
ある。

【０００４】

【従来の技術】例えば特開昭６４−１６９０７号は多眼
視覚装置を提案している。これは３台以上のカメラを、
画面が同一平面に並び、レンズも同一平面に並ぶように
固定する。全てのカメラの画面中心から立てた法線は平
行である。画面は電気的に走査するので、走査面と呼ぶ
こともある。画面が同一平面にあるということを走査面
が同一平面にあると言い替えてもよい。この発明は、３
台以上のカメラが、同一の点を画面上に写し出した時
に、画面上に定義される二次元座標で、どのような関係
を満足するべきであるのかを考察している。これは、簡
単な幾何学的考察によって決められる。この関係を拘束
条件とみなし、積極的に特徴点組の同定に利用してい
る。これが前記特開昭６４−１６９０７号の骨子であ
る。

【０００５】図３によりこの拘束条件を説明する。カメ
ラは、前にレンズがあり、その背後に画面がある。レン
ズにより倒立の実像が画面にできる。これでも考察でき
るが、前記の発明の発明者は、レンズ中心を背後に、画
面を全面に持ってきた配置で考えている。こうすると、
倒立ではなく、正立の像になって直感的に理解し易いか
らであろう。結局全てのカメラのレンズ中心Ｏ_j がＸＹ
平面に並ぶ（レンズ平面Ｚ＝０）。それより焦点距離ｆ
だけ前に全ての画面Ｓ_j が存在する（画面平面Ｚ＝
ｆ）。カメラの視線（画面法線）はＺ方向である。

【０００６】カメラはＸ方向にも、Ｙ方向にも並んでい
て良いのである。ここでは、Ｘ軸方向にカメラが並んで
いるものとする。ｊ番目のカメラをＣ_j によって表わ
す。これは画面座標の原点をも表現している。カメラＣ
_j の画面Ｓ_j 上での点Ｐの像をＱ_j とする。Ｑ_j のｘ，
ｙ座標を、（ｕ_j ，ｖ_j ）とする。全体の三次元座標を
定義する。どのカメラでも良いが、ある一つのカメラの
中心を共通三次元座標の原点に取る。この三次元座標に
関して対象点Ｐの座標を（ｘ，ｙ，ｚ）とする。カメラ
はｙ軸方向には同じ座標点にあるので、ｙ方向に関して
は簡単な比例式

【０００７】ｖ_j ／ｆ＝ｙ／ｚ（１）

【０００８】が成り立つ。これは全てのカメラについ
て、像のｙ座標が同じであるということを意味してい
る。ここではｚが分からないので、ｙを決定できない。
ｚを決めるのは三角測量と同じ手法である。カメラのレ
ンズ中心Ｏ_j のｘ座標をＯ_j とすると、

【０００９】ｕ_j ／ｆ＝（ｘ−Ｏ_j ）／ｚ（２）

【００１０】この式が全てのカメラの像について成り立
つ。ｕ_j はカメラの像のｘ座標であり観測により与えら
れる。Ｃ_j は既知である。ｘとｙのみが未知数である。
カメラが２台以上あればこの式を解くことができる。３
台以上のカメラを使うと、（２）式は単に、ｘ、ｙを決
めるだけでなく、特徴点対応をチェックするのに用いる
ことができる。（２）式は、カメラｊ，ｋの間で引算す
る事により、（２）式からｘを除去する事ができる。

【００１１】（ｕ_j −ｕ_k ）／ｆ＝（Ｏ_k −Ｏ_j ）／ｚ（３）すると、ｆ／ｚは、ｆ／ｚ＝（ｕ_j −ｕ_k ）／（Ｏ_k −Ｏ_j ）（４）

【００１２】となる。ｚはカメラによらない値である。
分母の（Ｏ_k −Ｏ_j ）は予め決まっている定数である。
ｕ_j とｕ_k が画面上のｘ座標の値で、これは計測する事
によって分かる。つまり（ｕ_j −ｕ_k ）／（Ｏ_k −Ｏ
_j ）という値は、全てのカメラに共通の値である。これ
は恒量であるということである。（４）式は、カメラが
ふたつの場合は、単にｚを決定する方程式にすぎない。
しかしカメラが３台以上の場合は、特徴点の同定が正し
いか否かを判断する基準になる。（４）により特徴点対
応をチェックする事ができる。

【００１３】カメラの数ｎとする。カメラ対の数はｎ
（ｎ−１）／２である。この内一つはＺの決定に使われ
るから、チェックのために利用できる式の数Ｔはｎ（ｎ
−１）／２−１である。ｎ＝３であればＴ＝２、ｎ＝４
であればＴ＝５、ｎ＝５であればＴ＝９である。（４）
は、各カメラの像の座標の間の幾何学的な拘束条件を与
える。これを簡単に、幾何条件を呼ぶことにする。前記
の特願昭６２−１７２８２３号は、これを提案してい
る。幾何条件を満足する場合のみこのパラメータを使っ
て、対象物の三次元座標を計算する。幾何条件により篩
がかかっているので計算量が少なく誤りも少ない。

【００１４】さらに特願平３−９８１９４号はこのよう
な多眼視覚装置において、式（４）が成立する場合の
み、そのデータを用いて、対象点の三次元座標を計算し
て特徴点からなる対象物の三次元座標を求め、これを時
間微分して、動いている対象物のみを抽出するようにし
ている。これは動くもののみを監視して、クレーンと送
電線との相対運動を監視するようになっている。いま一
つ特願平３−９８１９３号は、式（４）によりデータを
確かめた後、データの範囲を限定し、計算の基礎になる
データを減らしている。これによって不要なデータを省
き、処理の高速化を図っている。

【００１５】

【発明が解決しようとする課題】特願昭６２−１７２８
２３号、特願平３−９８１９４、特願平３−９８１９３
号に提案されている手法は、恒量である（４）式による
チェックをするだけであった。孤立した対象物の輪郭に
ある、特徴点の場合は、これでも良いのであろう。しか
し、特徴点が数多くある場合は、隣接する画面特徴点の
間隔が狭くなる。このために一つの物体特徴点Ｐに対応
する全てのカメラの特徴点の組｛Ｑ_j ｝を正しく同定で
きない場合がある。ｊ番目のカメラにおいて、Ｑ_j であ
るべきものが、他の物体特徴点Ｒに対応する画面特徴点
Ｕ_j と混同することがある。前述の（４）式による幾何
学的チェックによっても、これを正しく弁別できないこ
とがある。

【００１６】そうなると、計算に誤りが発生し、対象物
の三次元座標を正しく決定することができない。監視装
置に利用する場合は、誤動作することになる。これは危
険である。同一の物体特徴点Ｐに対応する、カメラの全
画面特徴点の組｛Ｑ_j ｝を的確に指摘できることが望ま
れる。異なるカメラにより求められた多くの特徴点を同
一物体特徴点に対する画面特徴点にまとめることを、特
徴点組の同定、または組分けということにする。他の特
徴点組と混同する事なく、正しく特徴点組｛Ｑ_j ｝を同
定するための新規な手段を与えることが本発明の目的で
ある。より厳しい、特徴点組の同定のための基準を用い
て、誤りなく、特徴点組｛Ｑ_j ｝を組分けすることが本
発明の目指すものである。

【００１７】

【課題を解決するための手段】本発明は、特徴点の内部
的な性質を用いて特徴点を正しく弁別しようとする。特
徴点自体の属性の同一性によって、特徴点を組分けす
る。その属性として本発明者は二つ考えた。一つは相対
明度（コントラスト）である。もう一つは明度変化の方
向である。このような特徴点自体の属性によって組分け
するのが本発明の特徴である。

【００１８】明度というのはその点の明るさである。相
対明度（コントラスト）というのは、その特徴点の周囲
に対する明るさである。特徴点というのは他の点に対し
て、明るさの違いがあるので、抽出されているのであ
る。特徴点は、明るさが著しく変化するとか、明るさが
極大、極小であるとかという条件により選ばれる。明度
がなめらかに連続的に変化する場所や明度の変化しない
ところは特徴点として選ばれない。特徴点は何らかの明
度の変化のある部分である。

【００１９】画像処理して画素を単位として処理するの
で、ここでは特徴点は一つの画素とする。周囲の画素と
の明度を比較し、ここで明度の大きい相違があるので、
特徴点となっている。つまり相対明度のあるところが特
徴点になっている。コントラストのある点であるという
こともできる。コントラストというのは近接する２点
の、明度の差があるということである。コントラストは
明度の変化を表現している。本発明では、コントラスト
という言葉よりも明度という言葉を使うことにする。

【００２０】画素の明度は、画面を走査することにより
電圧信号として求められる。これは画像メモリに格納す
ることにより、画素データとなる。明度の比較もこれに
基づいて容易に行なわれる。相対明度またはコントラス
トは特徴点の明度から、周囲画素の明度の平均値を差し
引いたものとして定義することができる。同じ物体特徴
点から発生した画面特徴点は、相対明度が殆ど同一であ
るはずである。強烈に光る物体特徴点は、画面上でも強
い輝点になるはずである。反対にぼんやりした物体特徴
点は、画面上でもぼんやりした特徴点を作り出すはずで
ある。特徴点組を形成するものは、相対明度においても
ほぼ同じ価になるはずである。そこで、本発明は、全て
のカメラの特徴点を、相対明度の同一性により組分けす
る。

【００２１】もう一つは、明度変化の方向である。明度
が同一である画素を結ぶ線を等明度線ということにす
る。等明度線に直交し、明度が上昇する方向の曲線を明
度勾配線ということにする。例えば、ｘ方向に伸びる電
線の場合、電線と背景の境界が連続した特徴点になる。
等明度線はｘ方向に伸びる。明度勾配線はｙ方向を指
す。同じ物体特徴点によって発生した画面特徴点の組
は、同じ明度勾配線を持つはずである。そこで、本発明
は特徴点の組み分けに、明度変化の方向の同一性を利用
する。つまり、本発明は、特徴点を同定するために、は
じめに（４）式の幾何学的条件を用い、これに合格した
特徴点組に対して、さらに、相対明度（コントラスト）
の同一性の試験をする。これに合格した特徴点組に、更
に明度変化の方向の同一性を調べる。これも満足してい
て初めて、特徴点を同一組に配属する。

【００２２】相対明度が同一であるべきであるという条
件を簡単に明度条件と呼ぶ。明度変化の方向が同一であ
るべきであるという条件を、方位条件と呼ぶ。結局、本
発明は、同一特徴点に対応する画面特徴点を、幾何条
件、明度条件、方位条件によって試験し、全てに合格し
て初めてこれらをその組に属するものと認めるのであ
る。明度条件、方位条件が本発明により新規に追加され
た条件である。

【００２３】

【作用】従来の特徴点の組分け方法は、特徴点の位置に
のみ着目していた。特徴点自体の内部属性については全
く考慮していなかった。本発明は、特徴点の内部属性に
着眼し、内部属性により特徴点を同定するようにした。
同じ物体特徴点から共通に派生した画面特徴点であるか
ら内部属性も共通であるはずである。そこで内部属性に
同一性があるものを、同じ特徴点組に属するものとして
組分けする。内部属性としては、相対明度（コントラス
ト）と、明度の変化の方位を採用する。

【００２４】図２により、相対明度や、明度変化方位を
説明する。図２において、右上にカメラの画像の例を示
す。これにはクレーン車が描かれている。画面は小さい
単位である画素に分割される。左には画素が描かれてい
る。３×３の９つの画素である。これにより最も単純な
相対明度、明度変化方向を説明する。画素をＡ、Ｂ、
Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉとする。これらの記号は、
画素を表わすと同時に画素の明暗の諧調をも表わすもの
とする。つまり明度の程度を表わす。明暗の諧調は一般
に２のｎ乗によって与えられる。例えば８、１６、３
２、６４…である。中心画素がＥである。この点Ｅに関
して明度変化ベクトルΔｘ、Δｙを定義する。

【００２５】 Δｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ）（５） Δｙ＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ）（６）

【００２６】ΔｘはＥの右の画素の明度の重み付き和
と、左の画素の明度の重み付き和の差になっている。Δ
ｘはｘ軸方向に明度の変化がないときに０になる。ｘ軸
方向に明度が増大する場合これは正の値になる。Ｅ自体
の値を含まない。これは近隣での明度の差（コントラス
ト）を問題にしているからである。点Ｅからみて、ｘ軸
上の点Ｄ、点Ｆは重みが２になっている。左右上下斜め
にある画素についての重みは１になっている。重みの２
と１の違いにより、正しくｘ軸方向の隣接画素伸方向Ｄ
Ｆへの明度の差を表現する事になる。

【００２７】ΔｙはＥの上の画素の明度の重み付き和
と、下の画素の明度の重み付き和の差になっている。こ
れはｙ軸方向に明度が増大すると正の値になる。ｙ軸方
向の明度の変化がないと、これが０になる。この定義
は、ｘとｙについて対称である。ｘとｙに関して非対称
にする事もできる。

【００２８】（５）、（６）の明度変化ベクトルの定義
は一例である。これ以外の定義を採用することもでき
る。（５）、（６）は周囲の１周分の８画素のみを計算
に入れているが、周囲の２周目までの２４画素を明度変
化ベクトルの計算に入れるようにする事もできる。１周
分の８画素によるとしても、軸線上の４画素の重みを
２、斜めの画素の重みを１にするとは限らない。軸線上
の画素の重みを３にしてもよい。あるいは単純化して、
ΔｘをＤ−Ｆに、ΔｙをＢ−Ｈにする事もできる。図４
は明度変化ベクトルの第２、第３の定義を示す。図２と
同じように近傍８画素のみによってベクトルを定義す
る。

【００２９】［第２の定義］ Δｘ＝Ｄ−Ｆ（７） Δｙ＝Ｂ−Ｈ（８）最も単純なものである。対象画素の縦横４画素のみを考
慮している。

【００３０】［第３の定義］ Δｘ＝（２^1/2 Ａ＋２Ｄ＋２^1/2 Ｇ）−（２^1/2 Ｃ＋２Ｆ＋２^1/2 Ｉ）（９） Δｙ＝（２^1/2 Ａ＋２Ｂ＋２^1/2 Ｃ）−（２^1/2 Ｇ＋２Ｈ＋２^1/2 Ｉ）（10）図２と同じく近傍８画素を考慮に入れる。隣接画素に対
する斜め画素の重みが少し増えている。

【００３１】図５は明度変化ベクトルの第４の定義を示
す。これは近傍２４画素を計算に含めて明度変化ベクト
ルを定義している。中心画素をＥとする。第１近傍画素
を左上から右回りにＡＢＣＦＩＨＧＤとする。ここまで
は図４と同じである。更に第２周目の画素も考える。第
２近傍は，左上から右回りにＪＫＬＭＮＯＰＱＲＳＴＵ
ＶＷＸＹとする。第１近傍には第２近傍の約２倍の重み
を付ける。一直線上に並ぶ５つの近傍画素の内、真中の
ものには係数を最も重くし端のものは軽くする。これら
の係数の比は、２の平方程度にする。

【００３２】 Δｘ＝｛（５^1/2 Ｊ＋２^3/2 Ｙ＋１０^1/2 Ｘ＋２^3/2 Ｗ＋５^1/2 Ｖ）＋（２^3/2 Ｋ＋２・５^1/2 Ａ＋２・１０^1/2 Ｄ＋２・５^1/2 Ｇ＋２^3/2 Ｕ）｝−｛（５^1/2 Ｎ＋２^3/2 Ｏ＋１０^1/2 Ｐ＋２^3/2 Ｑ＋５^1/2 Ｒ）＋（２^3/2 Ｍ＋２・５^1/2 Ｃ＋２・１０^1/2 Ｆ＋２・５^1/2 Ｉ＋２^3/2 Ｓ）｝（１１） Δｙ＝｛（５^1/2 Ｊ＋２^3/2 Ｋ＋１０^1/2 Ｌ＋２^3/2 Ｍ＋５^1/2 Ｎ）＋（２^3/2 Ｙ＋２・５^1/2 Ａ＋２・１０^1/2 Ｂ＋２・５^1/2 Ｃ＋２^3/2 Ｏ）｝−｛（５^1/2 Ｖ＋２^3/2 Ｕ＋１０^1/2 Ｔ＋２^3/2 Ｓ＋５^1/2 Ｒ）＋（２^3/2 Ｗ＋２・５^1/2 Ｇ＋２・１０^1/2 Ｈ＋２・５^1/2 Ｉ＋２^3/2 Ｑ）｝（１２）

【００３３】係数の与え方はこれ以外にも可能である。
これらは一例に過ぎない。上の定義は正規化をしていな
いが、係数の２乗の和が１になるようにすることもでき
る。定義が複雑であるほど特徴点抽出が明確になるが、
反面計算速度が遅くなる。目的と要求仕様に応じて、適
当な計算式を決定する。点Ｅでの明度の変化Ｋは、全体
として、これら要素によって決まる明度変化ベクトルの
長さになるので、

【００３４】明度変化（コントラスト）Ｋ＝｛Δｘ² ＋Δｙ² ｝^1/2 （１３）

【００３５】というふうに定義できる。これも明度変化
量の定義の一例にすぎない。２乗の和の平方根が扱い難
い場合は、絶対値をとって、｜Δｘ｜＋｜Δｙ｜と言う
ふうにする事もできる。変化の方向は、明度変化ベクト
ルの方向に等しいが、ｘ軸とｙ軸の定義が反対になって
いるから、上向きにｙ軸を、右向きにｘ軸をとる場合、
明度変化のベクトルと、ｘ軸の交角Θは、

【００３６】変化方向ｔａｎΘ＝（Δｙ／Δｘ）（１４）

【００３７】によって定義する。明度変化Ｋと変化方向
角Θを新しく定義した。本発明は、これらの二つの新規
なパラメータを用いて、特徴点の組分けをより厳密に行
なおうとする。複数のカメラの画面に写った像点が、同
一の対象物に由来する特徴点であれば、明度が良く似て
いる筈である。また相対明度も似ている筈である。更に
明度変化の方向も近似している筈である。これらの内在
的な特徴点の性質の類似性を用いて、特徴点の組分けを
より厳密に行なうのが本発明の骨子である。

【００３８】一つは、異なるカメラの特徴点が、その明
度変化（コントラスト）Ｋを同一にすれば、これらは、
同じ特徴点組として分類されるべきである。これはコン
トラストの同一性を調べるものである。コントラストの
値が近似しているかどうかを調べて、同一組あるいは別
異の組に属すると言うことを判定する。明度変化Ｋが同
一と言っても完全に同一であることは要求されない。カ
メラの性能の違い、対象物に対するカメラの傾き、カメ
ラの距離などが違うので、同じ像点に対する画面の特徴
点と言っても、明度、明度変化が同一であるとは限らな
い。そこで適当な幅εを設けて、この範囲内なら同一性
があると判定する。カメラの番号をｊ、ｋとして、これ
らのカメラの特徴点をＱ_j 、Ｑ_k とする。（５）によっ
て定義されるこれらの特徴点の明度をＫ_j 、Ｋ_k とする
と、

【００３９】｜Ｋ_j ーＫ_k ｜＜ε （１５）

【００４０】であれば、これらの特徴点はこの試験に対
しては合格とする。明度変化の同一性を明度条件と簡単
に呼ぶ。εはカメラの性能上、対称物の性質、目的など
に応じて適当に決めておく。それに加えて、明度変化の
方向についての同一性をも調べる。これは変化方向Ｗの
同一性である。同じ物体特徴点に対応する、異なるカメ
ラの画面特徴点は、明度、明度変化、明度変化の方向も
同一であるはずである。そこで本発明は、特徴点の組分
けに対して、明度変化方向の同一性をも用いる。これは
異なるカメラＣ_j 、Ｃ_k 間において、

【００４１】｜Θ_j −Θ_k ｜＜δ （１６）

【００４２】とする。δも予め決めておく。明度変化方
向の同一性条件を、簡単に方位条件と呼ぶことにする。
この条件を満足するなら、同じ組の特徴点であると判定
する。これを満足しないなら、異なる組の特徴点である
とするのである。本発明は、まず幾何条件を用いて異な
るカメラ間の特徴点の組分けをする。これに合格した特
徴点間で、さらにコントラストの同一性（明度条件）を
調べる試験をする。これにも合格した特徴点間で最後
に、明度変化の方向についての同一性（方位条件）を調
べる。いずれの試験にも合格した特徴点を初めて同一の
組に属する特徴点と決定する。簡単に言うと、本発明
は、幾何条件、明度条件、方位条件を順に調べて、特徴
点が組をなすかどうかを判定するのである。条件が３つ
もあるので、異なる特徴点組のものを誤って同一組に配
属する誤りが少ない。本発明により、多数の特徴点が画
面上に近接して存在した場合でも、各カメラの画面特徴
点が、同一の組をなすか否かを容易に決定することがで
きる。

【００４３】

【実施例】以下に本発明を利用した重機接近監視システ
ムの例を説明する。重機接近監視システムとは、複数の
カメラから得られた画像情報より、送電線と重機との空
間的な離隔距離を瞬時に計算するものである。送電線と
重機が接近して危険である時は、重機のオペレータへ注
意を喚起し、送電線と重機との接触事故を未然に防止す
る。

【００４４】カメラは、縦横に（ｘ方向）５つ、あるい
はそれ以上あっても良い。最も簡単には、横に３つある
場合である。これは最もカメラが少ない場合である。ｘ
方向にカメラが並ぶと、ｙ方向の測定精度は悪い。そこ
で、ｙ方向にもカメラを３つ並べる事も有用である。そ
の場合は、中心のカメラがｘ方向、ｙ方向に共通である
から、合計５つのカメラを持つことになる。ここでは最
も簡単な、３つカメラの例を説明する。これらのカメラ
は同等のカメラである。レンズ面が、共通の平面にあ
る。画面も共通の平面にある。カメラは回転しない。カ
メラの視線は平行である。図１にこれを示す。

【００４５】１．対象物を３つのカメラで同時に撮像す
る。これらのカメラは、同等のカメラである。レンズ面
が共通の平面にある。画面も共通の平面にある。カメラ
は回転せず、視線は平行である。２．各カメラにおいて画像処理により画像の特徴点（輪
郭点など）を抽出する。３．はじめに左カメラの特徴点Ｐ_L を決める。これの、
左カメラでの三次元座標が計算できる。次いで左のカメ
ラの特徴点Ｐ_L に対応可能な右カメラの特徴点Ｐ_R を選
ぶ。

【００４６】４．右のカメラでのＰの像点はＰ_R であ
る。中央のカメラでの像点をＰ_M とする。Ｐ_M は、Ｐ_L
とＰ_R の中間にある。Ｐ_L とＰ_R が決まるので、幾何条
件を課して、中央カメラでの特徴点の座標を計算する。
これに適合する特徴点があるかどうかを調べる。これが
あれば、像点の二次元座標から、中央カメラの像点Ｐ_M
の座標を計算する事ができる。３つの特徴点の組が求ま
る。これらは幾何条件を満足する。５．３つの特徴点に関して、各カメラにおいて、相対明
度（コントラスト）Ｋを計算する。３つの特徴点Ｐ_L 、
Ｐ_R 、Ｐ_M が同じコントラスト（相対明度Ｋ）を持つか
どうか調べる。

【００４７】６．コントラストＫの試験を合格したもの
について、明度変化方向Θが同一であるかどうかを調べ
る。７．４〜６の条件を満足している場合、３つの特徴点Ｐ
_L 、Ｐ_R 、Ｐ_M は特徴点の組をなすと判断する。そし
て、左右の特徴点のＰ_L 、Ｐ_R より対象点Ｐの三次元座
標を計算する。

【００４８】このように本発明は、特願昭６２−１７２
８２３号による、幾何条件に加えて、明度条件、方位条
件を用いている。これにより特徴点の対応をより正確厳
密に行なう事ができる。誤った特徴点対応をする恐れが
ない。画面中に背景の雲が写っている時、特徴点が多数
発生する。このような場合、従来法であれば、特徴点の
対応に関して誤りを犯す事があった。本発明は、雲があ
る場合など背景が明度変化を持つ場合でも、誤対応が発
生する事がなかった。

【００４９】

【発明の効果】この発明は画像上に多数の特徴点が存在
した場合でも、異なるカメラ間の画面特徴点が、同一の
特徴点組の組に属するか否かを、明度の相対変化、変化
の方向の同一性を調べる事により正しく判別する事がで
きる。従来の幾何学的な拘束条件では分からない、特徴
点の内在的な性質を使って特徴点を類別するので、数多
くの特徴点があっても対応を誤ることがない。優れた発
明である。

【図面の簡単な説明】

【図１】本発明の特徴点の判別の手順を示す説明図。

【図２】本発明において、重要な変数である相対明度
（コントラスト）、明度変化方向（コントラスト方向）
の決定方法の例を示す説明図。

【図３】本発明において用いる多眼視覚装置の概略構成
図。

【図４】本発明において重要な変数である相対明度、明
度変化方向の定義の第２、第３の例を示すための図。

【図５】本発明において重要な変数である相対明度、明
度変化方向の定義の第４の例を示すための図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者小澤明夫東京都千代田区内幸町一丁目１番３号東京電力株式会社内 (72)発明者石橋武東京都豊島区東池袋三丁目６番８号東京電力株式会社内

Claims

【特許請求の範囲】

【請求項１】焦点距離が等しく、画面が同一平面上に
あり、レンズ面も焦点距離離れた他の同一平面上にあ
り、画面中心とレンズ中心を結ぶカメラ視線が平行であ
る３台以上のカメラにより、対象物体を撮像し、対象物
の特徴点を抽出し、同一の対象物特徴点に対応するカメ
ラ画面上の特徴点を組にまとめ、特徴点の像の画面にで
きる位置から物体特徴点の三次元座標を計算し、特徴点
の三次元座標の集合によって、対象物の位置を認識でき
るようにした、多眼視覚装置において、同一の対象物特
徴点に対するカメラＣ_j 、Ｃ_k の画面上の特徴点座標の
カメラの配列方向の成分ｕ_j 、ｕ_k の差を、カメラＣ
_j 、Ｃ_k 間の距離（Ｏ_k −Ｏ_j ）で割った値（ｕ_j −ｕ
_k ）／（Ｏ_k −Ｏ_j ）が一定値でなければならないとす
る幾何条件を満足するかどうかを調べ、これを満足した
場合、更に特徴点の近傍での、明度変化の大きさが同一
であることを要求する明度条件をこれらの特徴点が満足
するかどうかを調べ、両方の条件を満足する場合のみ、
これらの特徴点が同一の対象物特徴点に基づく特徴点の
組であるというように判断し、これらの特徴点の画面上
の位置座標の値に基づいて計算をして、その特徴点の三
次元座標を求めるようにしたことを特徴とする多眼視覚
装置の信号処理方法。
【請求項２】カメラの画面に二次元座標を定義し、中
心画素をＥとして、ｘ方向に座標が一つ大きい画素をＦ
とし、ｘ方向に座標が一つ小さい画素をＤとし、ｙ方向
に座標が一つ大きい画素をＢとし、ｙ方向に座標が一つ
大きい画素をＨとし、ＢとＤに隣接する画素をＡ、Ｈと
Ｄに隣接する画素をＧ、ＨとＦに隣接する画素をＩと
し、ＢとＦに隣接する画素をＣとして、明度変化ベクト
ルをΔｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ）、Δｙ
＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ）によって定義
し、明度変化量Ｋを、Ｋ＝｛Δｘ＋Δｙ｝によって計算
し、カメラＣ_j 、Ｃ_k の特徴点の明度変化量をＫ_j 、Ｋ
_k として、ある定数εにより定義される不等式｜Ｋ_j −
Ｋ_k ｜＜εが成り立てば、これらふたつの特徴点が同一
組に属するものと判断するようにした事を特徴とする請
求項１記載の多眼視覚装置の信号処理方法。
【請求項３】焦点距離が等しく、画面が同一平面上に
あり、レンズ面も焦点距離離れた他の同一平面上にあ
り、画面中心とレンズ中心を結ぶカメラ視線が平行であ
る３台以上のカメラにより、対象物体を撮像し、対象物
の特徴点を抽出し、同一の対象物特徴点に対応するカメ
ラ画面上の特徴点を組にまとめ、特徴点の像の画面にで
きる位置から物体特徴点の三次元座標を計算し、特徴点
の三次元座標の集合によって、対象物の位置を認識でき
るようにした、多眼視覚装置において、同一の対象物特
徴点に対するカメラＣ_j 、Ｃ_k の画面上の特徴点座標の
カラの配列方向の成分ｕ_j 、ｕ_k の差を、カメラＣ_j 、
Ｃ_k 間の距離（Ｏ_k −Ｏ_j ）で割った値（ｕ_j −ｕ_k ）
／（Ｏ_k −Ｏ_j ）が一定値でなければならないとする幾
何条件を満足するかどうかを調べ、これを満足した場
合、更に明度変化方向が同一であるとする方位条件をこ
れらの特徴点が満足するかどうかを調べ、特徴点がこれ
らの三つの条件を満足する場合のみ、これらの特徴点が
同一の対象物特徴点に基づく特徴点の組であるというよ
うに判断し、これらの特徴点の画面上の位置座標の値に
基づいて計算をして、その特徴点の三次元座標を求める
ようにしたことを特徴とする多眼視覚装置の信号処理方
法。
【請求項４】カメラの画面に二次元座標を定義し、中
心画素をＥとして、ｘ方向に座標が一つ大きい画素をＦ
とし、ｘ方向に座標が一つ小さい画素をＤとし、ｙ方向
に座標が一つ大きい画素をＢとし、ｙ方向に座標が一つ
大きい画素をＨとし、ＢとＤに隣接する画素をＡ、Ｈと
Ｄに隣接する画素をＧ、ＨとＦに隣接する画素をＩと
し、ＢとＦに隣接する画素をＣとして、明度変化ベクト
ルをΔｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ）、Δｙ
＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ）によって定義
し、明度変化の方向角ΘをｔａｎΘ＝Δｙ／Δｘによっ
て定義し、カメラＣ_j 、Ｃ_k の特徴点の明度変化方向角
をΘ_j 、Θ_k として、ある定数δにより定義される不等
式｜Θ_j −Θ_k ｜＜δが成り立てば、これら二つの特徴
点が同一組に属するものと判断するようにした事を特徴
とする請求項３に記載の多眼視覚装置の信号処理方法。
【請求項５】焦点距離が等しく、画面が同一平面上に
あり、レンズ面も焦点距離離れた他の同一平面上にあ
り、画面中心とレンズ中心を結ぶカメラ視線が平行であ
る３台以上のカメラにより、対象物体を撮像し、対象物
の特徴点を抽出し、同一の対象物特徴点に対応するカメ
ラ画面上の特徴点を組にまとめ、特徴点の像の画面にで
きる位置から物体特徴点の三次元座標を計算し、特徴点
の三次元座標の集合によって、対象物の位置を認識でき
るようにした、多眼視覚装置において、同一の対象物特
徴点に対するカメラＣ_j 、Ｃ_k の画面上の特徴点座標の
カメラの配列方向の成分ｕ_j 、ｕ_k の差を、カメラＣ
_j 、Ｃ_k 間の距離（Ｏ_k −Ｏ_j ）で割った値（ｕ_j −ｕ
_k ）／（Ｏ_k −Ｏ_j ）が一定値でなければならないとす
る幾何条件を満足するかどうかを調べ、これを満足した
場合、更に特徴点の近傍での、明度変化の大きさが同一
であることを要求する明度条件をこれらの特徴点が満足
するかどうかを調べ、更に明度変化方向が同一であると
する方位条件をこれらの特徴点が満足するかどうかを調
べ、特徴点がこれらの三つの条件を満足する場合のみ、
これらの特徴点が同一の対象物特徴点に基づく特徴点の
組であるというように判断し、これらの特徴点の画面上
の位置座標の値に基づいて計算をして、その特徴点の三
次元座標を求めるようにしたことを特徴とする多眼視覚
装置の信号処理方法。