JPH0869532A

JPH0869532A - 長方形の固体を検出する方法

Info

Publication number: JPH0869532A
Application number: JP7059366A
Authority: JP
Inventors: Kashi Rao; ラオカシ; Piyush Sarwal; サーワルピユシュ
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1994-03-17
Filing date: 1995-03-17
Publication date: 1996-03-12
Also published as: US5666441A; EP0686932A2; EP0686932A3

Abstract

(57)【要約】【目的】検出率の高い３−Ｄ長方形固体の検出方法。【構成】全般的に、この発明は長方形の固体を検出す
る方法と装置を提供した。この方法は、データの像を受
取り、データの像から辺を検出し、データの像から線を
見付け、線からジャンクションを見付け、第１組の或る
判断基準を満たすジャンクション及び線をフィルタにか
け、第２組の或る判断基準を満たすジャンクション及び
線を群にまとめ、この群の分け方に従って、像内に長方
形の固体が存在するかどうかを検出する工程を含む。判
断基準は線の三重子及びフォーク・ジャンクションを使
うことを含む。この装置及び方法は単独のフレーム、又
は基準フレームと対になった単独のフレームを解析する
こともできる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は全体的にコンピュータ
視覚装置、特にコンピュータ視覚装置による３次元の長
方形の固体の検出に関する。

【０００２】

【従来の技術及び課題】他の構造が存在する中にある長
方形の３−Ｄの物体の検出は多数の用途がある。例え
ば、包装箱、トラックのトレーラ及び長方形の建物は、
３−Ｄ（３次元）の長方形の固体を分離する能力を用い
て検出することのできる若干の物体である。こう云う物
体の検出は、兵器及びその他の軍用、商用及び消費者用
製品内の保安装置、監視装置及び目標追跡装置の様な種
々の用途に用いることができる。長方形の固体の検出
は、駐車場又は公道にあるトラックの監視及び建物の検
出に用いることができる。この為、長方形の固体の検出
は、種々の分野で非常に役に立つことがある。

【０００３】建物の検出について云うと、装置が建物を
垂直に見た図の辺の輪郭及び線分を用いて屋根の天辺
（大抵は部分的な長方形の屋根の天辺）を見付けること
ができる（ＩＥＥＥトランザクションズ・オン・パター
ン・アナリシス・アンド・マシーン・インテリジェン
ス，１１（１１）：１１２１−１１３９，１９８９年１
１月号所載のＲ．モハン及びＲ．ネバティヤの論文「３
−Ｄ構造を抽出する為の知覚構成の利用」）。別の装置
は、辺及び領域発見装置の両方を用いる。これは建物の
証拠を確認する為に影を使う（コンピュータ・ビジョ
ン、グラフィックス・アンド・イメージ・プロセッシン
グ誌，４９：２４２−２７７，１９９０年所載のＹ−
Ｔ．リオウ及びＴ．パブリディスの論文「空中撮影像内
の建物を抽出する為の影の利用」）。空中撮影像で部分
的な長方形の屋根を見付ける別の装置が開発されている
（モーガン・カウフマン・パブリッシャーズから出版さ
れた１９８９年５月のパロー・アルト，ＣＡでのプロシ
ーディングズ・オブ・ザＤＡＲＰＡイメージ・アンダー
スタンディング・ワークショップ，第４４３頁乃至第４
０６頁所載のＰ．フア及びＡ．Ｊ．ハンソンの論文「特
徴弁別理論の為の目標関数」）。

【０００４】建物を検出する為の非立体的な方式も開発
されている（１９９０年６月，ニュージャージー州アト
ランティック・シティに於けるプロシーディングズ，イ
ンターナションナル・コンファレンス・オン・パターン
・リコグニッション，第１巻第２０４頁乃至第２０６頁
所載のＶ．ベンカテスワール及びＲ．チェラパの論文
「空中撮影像を解釈する為の枠組」、及び１９９１年８
月にマリーランド大学センター・フォー・オートメーシ
ョン・リサーチから発表されたテクニカル・リポートＣ
ＡＲ−ＴＲ−５６７所載のＶ．ベンカテスワール及び
Ｒ．チェラパの論文「空中撮影像内の建物を検出する為
の階層形方式」）。この方式は、関心のある建物とその
影の間の対応性に基づいている。太陽の位置と共に影を
使って、建物の寸法を推定する。この方式は辺の輪郭に
も基づいている（１９９１年８月にマリーランド大学セ
ンター・フォー・オートメーション・リサーチから発表
されたテクニカル・リポートＣＡＲ−ＴＲ−５６７所載
のＶ．ベンカテスワール及びＲ．チェラパの論文「空中
撮影像内の建物を検出する階層形方式」）。この他の関
連する装置も開発されている（１９９１年にカーネギー
・メロン大学から発表されたテクニカル・リポートＣＭ
Ｕ−ＴＲ−所載のＺ．アビアド及びＤ．Ｍ．マックケオ
ン・ジュニアの論文「単眼視の図からの建物の仮説の発
生」。ＡＩマガジン誌９（２）：４７−５８，１９８８
年夏季号所載のＥ．Ｌ．ウォーカ，Ｍ．ハーマン及び
Ｔ．カナデの論文「視覚の為に３次元物体を表示し且つ
推論する枠組」。アーティフィシャル・インテリジェン
ス誌，３０：２８９−３４１，１９８６年所載のＭ．ハ
ーマン及びＴ．カナデの論文「多重の複雑な像からの３
−Ｄ場面の増分的な再生」）。

【０００５】これに代わる方法は、ボックスを検出する
為に型板整合（template matching）を使うことであろ
う（１９９１年４月フロリダ州オランドで開催されたＳ
ＰＩＥコンファレンス・オン・アプリケーションズ・オ
ブ・アーティフィシャル・インテリジェンスIX，ＯＥ／
エアロスペース・センシング・シンポジウム所載のＪ．
オーイ及びＫ．ラオの論文「相関に基づく型板整合の新
しい洞察」。コンピュータ・ビジョン，グラフィック
ス，アンド・イメージ・プロセッシング誌，５１
（３）：２１９−２３４，１９９０年９月号所載のＡ．
マルガリット及びＡ．ローゼンフェルトの論文「型板整
合の予想計算コストを減らす為の確率論的な領域の知識
の利用」。１９８６年６月にフロリダ州マイアミ・ビー
チで開催されたプロシーディングズ・オブ・コンピュー
タ・ビジョン・アンド・パターン・リコグニッション・
コンファレンス，第６１０頁乃至６１３頁所載のＸ．リ
ー，Ｍ．フェルドゥーシ，Ｍ．チェン及びＴ．Ｔ．グイ
エンの論文「多重の型板を用いた像の釣合せ」。ＩＥＥ
Ｅトランザクションズ・オン・パターン・アナリシス・
アンド・マシーン・インテリジェンス誌，６（３）：３
７４−３７８，１９８４年５月号所載のＡ．ゴシュタス
ビー，Ｓ．Ｈ．ゲイジー及びＪ．Ｆ．バーソリックの論
文「型板整合に対する２段階相互相関方式」。コンピュ
ータ・グラフィックス・アンド・イメージ・プロセッシ
ング誌，１６：３５６−３６９，１９８１年所載のＳ．
Ｌ．タニモトの論文「ピラミッドに於ける型板整
合」）。しかし、こう云う方式は特定の物体及び観察条
件の先験的な知識に頼っている。一般的に、こう云う方
法は、物体の寸法及び像の強度が殆ど一定にとゞまる様
な単純な像に対して適している。こう云う方法が長方形
の固体の検出に成功する為には、異なる向き、像の寸法
及び像の強度を捕捉する為に非常に多数の型板を必要と
する。この様に多数の型板を用いても、こう云う方法は
特定の種類のボックスに限られる。

【０００６】関連した研究として、線にラベルを付ける
こと並びに場面を多角形の物体でセグメントに分割する
ことが用いられている（ＡＦＩＰＳプロシーディングス
・フォール・ジョイント・コンピュータ・コンファレン
ス，第３３巻，１９６８年所載のＡ．グズマンの論文
「可視的な場面を３次元の物体に分解すること」）。し
かし、この方法は、物体からの完全な辺が形成されるこ
とを仮定している。この方法では、辺及びジャンクショ
ンを用いて、長方形の物体の輪郭全体を追跡する。この
方法が満足に作用するのは、物体の完全な姿が利用でき
る場合だけである。ブロックス・ワールド・リサーチに
この他の関連する研究がある（アーティフィシャル・イ
ンテリジェンス誌，３：１０１−１４４，１９７２年所
載のＧ．フォークの論文「不完全な線データの３次元の
場面としての解釈」。１９７２年にニューヨークのマッ
クグローヒル・ブック・カンパニーから出版されたＰ．
Ｈ．ウィンストン編集の本の第３章所載のＹ．シライの
論文「場面に関する知識を用いた強度アレイの解析」。
１９７２年ニューヨークのマックグローヒル・ブック・
カンパニーから出版されたＰ．Ｈ．ウィンストンの本の
第２章所載のＴ．Ｌ．ウォルツの論文「影を持つ場面の
図面からの意味論的な記述の作成」。１９７１年エジン
バラのエジンバラ大学プレスから出版された、Ｂ．メル
ツァー及びＤ．ミチー編集の本の第６巻第２９５頁乃至
第３２３頁所載のＤ．Ａ．ハフマンの論文「ナンセンス
文としての不可能な物体」。アーティフィシャル・イン
テリジェンス誌，２（１）：７９−１１６，１９７１年
所載のＭ．クローズの論文「物を見ること」）。

【０００７】

【課題を解決する為の手段及び作用】従って、長方形の
固体を検出する際に上に述べた問題の何れか又は全てを
解決する様な改良が現在望まれている。完全な辺を必要
とせずに、３−Ｄの長方形の固体を検出する能力を持つ
コンピュータ視覚装置に対する要望も存在することが認
識される。装置が或る閉塞状態の下でも十分に作用する
ことが望ましい。この発明はこう云う要望を満たそうと
するものである。

【０００８】この発明は３−Ｄの長方形の物体を検出す
る装置を提供する。この発明は、カメラ及び照明からの
任意の向き、位置及び距離にある現実の像内の長方形の
固体を検出する方法をも提供する。この方法は、長方形
の固体のジャンクション及び隣接する辺を検出すること
によって作用する。利用できるものであれば、背景の大
まかな基準像も使うことができる。この発明は何百もの
現実の像に対して首尾よく作用した。特に、受信器動作
特性曲線（虚偽警報の確率に対する検出の確率）を描く
ことによって装置の性能を評価する。豊富な背景構造を
持つ場面（この場面は多数の背景の線及び矩形を持って
いた）内で収集した５００個の像の結果が得られる様に
描かれた。この様な環境では、装置は虚偽警報率１３％
で９３％の検出を達成した。

【０００９】要約すると、長方形の固体の検出装置とし
て、フォーク・ジャンクション（典形的なフォーク・ジ
ャンクションが図５（ａ）及び５（ｂ）に示されてい
る）を利用する装置が開発された。その後、フォーク・
ジャンクションを長方形の固体の頂点の投影として利用
する。この為、長方形の固体の仮説を形成する為に、考
えられるフォーク・ジャンクション及び長方形の三重子
（３本１組の接続線）を群にまとめることを利用する判
断基準が作成された。更に、背景を関心のある物体から
しっかりと分離する為に、辺の大きさの差分を求める役
に立つ方法を開発した。これは、背景に対する基準像が
利用し得る場合、特に照明の変化に適応し得る。

【００１０】この発明の別の利点は、現実の像からの不
完全なデータを使っても、高い成功率で長方形の固体を
検出することができることである。この発明は、物体の
特定の寸法を何等仮定せずに、３−Ｄの長方形の物体を
検出する汎用方法をも提供する。この発明の更に別の利
点は、基準フレームを伴うフレームと共に、単独フレー
ムを入力として利用することができることである。基準
フレームを追加すると、動いている長方形の固体を検出
する時に装置の助けになる。

【００１１】全般的に云うと、この発明は、データの像
を受取り、該データの像から辺を検出し、該データの像
から線を見付け、線からジャンクションを見付け、第１
組の或る判断基準を満たすジャンクション及び線をフィ
ルタにかけ、第２組の或る判断基準を満たすジャンクシ
ョン及び線を群にまとめ、この群の分け方に従って、像
内に長方形の固体が存在するかどうかを検出することを
含む長方形の固体を検出する方法と装置を提供する。こ
の発明の上記並びにその他の面は、図面に例示されてい
る。図面全体に渡り、同様の部分には同じ参照記号を用
いている。

【００１２】

【実施例】図１は好ましい実施例の流れ図を示す。図２
では、担持される（carried ）ボックスを求めてフレー
ムを解析している。背景情報が雑然としていて、他の装
置では、長方形の固体と混同しやすいことに注意された
い。図３では、背景のクラッタが小さい像内で、ボック
スを担持する人が描かれている。図４は検出装置のブロ
ック図を示す。装置は最初に辺を検出し、次に線を見付
け、その後ジャンクションを見付ける。次に角度に基づ
いてジャンクションをフィルタにかけ、ジャンクション
を群にまとめてボックスの仮説を形成する。

【００１３】他の大抵の方式と対照的に、好ましい実施
例はフォーク・ジャンクション及び三重子に基づいてい
る。典形的なフォーク・ジャンクションが図５（ａ）及
び５（ｂ）に示されている。これらの図は考えられる２
つのフォーク・ジャンクションを示している。図５
（ａ）はＹに似たジャンクションを示し、図５（ｂ）は
矢印に似たジャンクションを示す。これらのジャンクシ
ョンは包括的にＹ形ジャンクションと呼ばれている。フ
ォーク・ジャンクションは３−Ｄ物体にとって典形的で
あり、３つの次元全部を捕捉する。更に、この情報を利
用して、３−Ｄ物体の寸法を推定することができる。好
ましい実施例は、フォーク・ジャンクションの他に、三
重子を大幅に用いる。三重子は、ＩＥＥＥトランザクシ
ョンズ・オン・パターン・アナリシス・アンド・マシー
ン・インテリジェンス誌，１１（１１）：１１２１−１
１３９，１９８９年１１月号所載のＲ．モハン及びＲ．
ネバティアの論文「３−Ｄ構造を抽出する為の知覚構成
の利用」に使われるＵ構造と幾分似ている。こう云う三
重子は後で更に詳しく説明する。要点を云うと、長方形
の固体の検出は、釣合う（マッチング）フォークか三重
子か或いは釣合うフォーク及び三重子の何れかに基づい
ている。低レベルの処理

【００１４】好ましい実施例の装置は、異なる２種類の
状況から長方形の物体を検出する。第１の状況は、各々
の検出に対し、１個の像フレームしか利用できない場合
であり、第２の場合は、基準フレームも利用できる場合
である。第２の状況は、動き情報が利用できる場合に重
要であり、こう云う場合の一例は、ボックスの様な長方
形の物体を運んでいる場合である。理想的な基準フレー
ムは、相対的な動きのない、解析される場面の像であ
る。後で明らかになるが、順序（シーケンス）内の全て
のフレームは別々に解析される。動きに関する情報を用
いて、基準枠を推定並びに更新することができる。しか
し、動き情報を持たない基準フレームを選ぶことができ
れば、動き情報を必要としない。

【００１５】好ましい実施例を、図２に示した像と同様
なボックスを検出する場合について説明する。好ましい
実施例では、フレームの図、従ってカメラは常に固定の
まゝであると仮定する。基準フレームが、担持されるボ
ックスについて解析される像との差分を求められるか
ら、基準フレームの期間は、処理中の現在の像の期間に
近いことが望ましい。これは、照明が時間と共に変化す
ることがあり、２つの像の相対的な画素の間のグレー値
の差がかなりになる為に、必要である。像が屋外の場面
である場合、特にそうである。図２の対応する基準フレ
ームが図６に示されている。この図から明らかな様に、
理想的な条件及び完全な照明を仮定すると、２つの像の
間の単純な差は、像の不動部分がなくなる。然し、この
方法は２つの問題がある。この差をとる作業が、関心の
ある領域（人間と担持されるボックス）に於けるグレー
値を変える。関心のある区域に於ける画素値のこの変化
は、線形又は対称的でないことがあり、背景の生地の関
数である。２番目に、理想的な条件は決して存在せず、
照明を一定にしても、グレー値はフレーム毎に変化す
る。

【００１６】こう云う問題を解決する為、合成像の画素
値がゼロである所では、変形差分方法を使う。基準フレ
ームと処理中の像のグレー値の間の差が或る閾値Ｔ未満
である場合、合成値は特定の画素に対してゼロである。
この代わりに、差分がＴより大きければ、合成の画素値
は、解析中の像の対応する画素のグレー・レベルに等し
い。ボックスが不動の物体とは異なる材料であると仮定
すると、この変形差分は、関心のある領域をそのまゝに
し、画素値の小さな変化の影響を受ない様にするのを助
ける。この仮定は、ボッスクが厚紙で作られていて、背
景がコンクリートと硝子で構成される好ましい実施例で
は、非常によく働く。然し、この発明はこの好ましい実
施例に限られない。

【００１７】前に述べた様に、場面の照明は突然に又は
或る期間の間変化することがある。更に、連続的な動き
の為、基準フレームを更新することは長い期間の間はで
き得ないことがある。従って、辺の変化は照明の変化に
適応し得る様にすべきである。この為、辺の差分を求め
ることを利用して変化を容易にすべきである。特に、変
形差分方法を使うべきである。更に、関心の持たれる区
域に於ける辺を途切れさせることを避ける為に、閾値を
とった辺の像よりも、辺の大きさの像を使うことが重要
である。

【００１８】然し、こう云う辺はあまりしっかりしてい
ないことがあって、１画素か２画素移動する傾向を持つ
ことがある。これは、背景の物体が不動ではない場合
（例えば、好ましい実施例に於ける回転ドアの様に、こ
れは必ずしも常に正確に同じ場所で止まらないことがあ
る）、特にそうである。周囲の物体が完全に不動であっ
たとしても、照明の変化によって辺が若干移動すること
がある。その埋合せの為、単独の画素の辺を３画素まで
太くする。この様に太くした辺は、関心のある像からの
辺に対するマスクとして作用する。変形差分を用いて差
分が計算されるから、太い像は関心のある像に影響しな
い。辺差分方法は基準フレームを連続的に更新すること
を必要としない。例えば、好ましい実施例では、全ての
シミュレーションに対して単一の基準フレームが使われ
る。更に、照明の変化が目立たなければ、辺差分方法は
同じ様によく作用する。辺差分方法の主な欠点は、計算
に手間がかかり、場合によってはシミュレーション時間
の５０％になることである。然し、差分フレームの辺
は、基準フレームが更新された場合にだけ計算される。
更に、解析中の像の辺は線及びジャンクションを見付け
る為に必要である。

【００１９】動き情報又は基準像の情報が仮定されてい
ない場合、辺像は、利用し得るグレー・レベル像に辺演
算子を使って直接的に求められる。任意の辺検出器を使
うことができるが、好ましい実施例はカニー辺検出器を
利用する（ＩＥＥＥトランザクションズ・オン・パター
ン・アナリシス・アンド・マシーン・インテリジェンス
誌，ＰＡＭＩ−８（６）：６７９−６９８，１９８６年
１１月号所載のＪ．カギーの論文「辺の検出に対する計
算方式」）。カニー辺検出器の出力は、画素１個分の太
さの辺で構成される像である。差分計算の最終工程とし
て、合成差分像を閾値にかけ、それが線を見付ける方法
の入力として役立つ。

【００２０】好ましい実施例は、１９９２年８月のサリ
ー大学テクニカルリポート所載のＡ．エテマジー，Ｊ−
Ｐ．シュミット，Ｇ．マタス，Ｊ．イリングワース及び
Ｊ．キトラーの論文「真直ぐな線分の低レベルのグルー
プ分け」に述べられている線を見付ける方法及びジャン
クションを見付ける方法を用いる。更に、好ましい実施
例は、ＯＲＴと呼ばれるコンピュータ・ソフトウェアと
共にこの方法を利用する。このソフトウェアは、辺像を
入力とし、辺データを真直ぐな線及び円弧に変換する。
然し、真直ぐな線だけに関心があるから、円弧は排除す
る。次に、Ｖ形ジャンクションを形成する。Ｖ形ジャン
クションの例が図７（ａ），７（ｂ）及び７（ｃ）に示
されている。図７（ａ）に示すＶ形ジャンクションは、
一対の交差する線によって形成され、その交点は２本の
線のどちらの上にもない。こう云うＶ形ジャンクション
の特別な場合が図７（ｂ）に示すＬ形ジャンクションで
あり、交わる角度は９０°である。２本の線の接続点が
一方の線の上にある場合、ジャンクションはλ形ジャン
クションと呼ばれる。λ形ジャンクションの一例が図７
（ｃ）に示されている。更に、Ｖ形及びＬ形ジャンクシ
ョンが一層高いレベルのジャンクションを構成する基本
になる。各々のＶ形ジャンクションに対し、対応する品
質係数Ｑも計算する。図７（ａ）の品質について云う
と、Ｑは次の様に定義される。

【００２１】

【数１】こゝでｐ₁，ｐ₂，ｐ₃，ｐ₄及びｐは点ベクトル（原
点から点までのベクトル）であり、‖はＬ₂ノルムを表
わす。１の品質は、交点が両方の線の頂点上にある場合
を示す。例えば、Ｌ形ジャンクションに対する図７
（ｂ）は１の品質を持つ。品質が１より大きいことは、
交点が一方の線の上にあることを意味する。従って、ジ
ャンクションはＶ形ジャンクションではなく、λ形ジャ
ンクションである。好ましい実施例は、Ｌ及びＶ形ジャ
ンクションだけを考える。Ｑの値を変えることにより、
形成されるジャンクションの数も変わることに注意され
たい。同様に、Ｑの値が減少すると、形成されるジャン
クションの数が増加する。好ましい実施例では、０．７
又はそれより大きい品質を使う。高レベルの群分け

【００２２】好ましい実施例は３−Ｄの長方形の物体を
検出する為に、フォーク・ジャンクション及び三重子を
使う。図８（ａ），８（ｂ），８（ｃ）は、３本の線及
び２つのＶ形ジャンクションで構成される典形的な三重
子を示す。具体的に云うと、三重子は、１本の線を共有
する２つのＶ形ジャンクションによって形成される。２
つの典形的なフォーク・ジャンクションが図５（ａ）及
び５（ｂ）に示されている。フォーク・ジャンクション
も三重子も３本の線で構成される。然し、フォーク・ジ
ャンクションの場合、全ての線が互いにＶ形ジャンクシ
ョンを形成するが、三重子の場合、Ｖ形ジャンクション
を形成しない一対の線がある。

【００２３】図９は３−Ｄの長方形の物体を示す。この
物体は線の組合せとして示されている。目に見える９本
の線にはＡ乃至Ｉの符号が付せられている。三重子の例
では、線Ｃ，Ｄ及びＡを考える。これらの線は長方形の
物体の辺に対応し、投影は正射であるから、線Ｃ及びＡ
が互いに平行である。線Ｃ及びＡは三重子の外側の枝と
呼ばれ、線Ｄは中心の枝と呼ばれる。更に、線Ｃ及びＡ
は中心の枝の同じ側にあるので、線は互いに重なる。上
に述べた情報を使って三重子のフィルタ作用をする。考
えられる全ての三重子の内、外側の枝が平行であって重
なる三重子だけを受理し、他の全ての三重子を排除す
る。例えば、図９で云うと、線Ａ，Ｃ及びＤによって形
成される三重子は受理されるが、線Ａ，Ｂ及びＩによっ
て形成される三重子は排除される。後に述べた種類の三
重子を考えないのは、それが長方形の物体に特有ではな
く、他の物体によっても形成されることがあるからであ
る。

【００２４】長方形の物体によって形成されるフォーク
・ジャンクションの他に、長方形ではない３−Ｄの物体
によってもフォーク・ジャンクションが形成されること
がある。長方形の物体にだけ関心があるから、フォーク
・ジャンクションの間に形成される角度に或る制限を課
すことができる。こう云う制限によって、不所望のフォ
ーク・ジャンクションをフィルタ作用で除くことができ
る。図２６に示す様に、α，β及びγをフォーク・ジャ
ンクションの３つの角度とする。フォーク・ジャンクシ
ョンが長方形の３−Ｄの物体の頂点の正射投影である場
合、どの角度も２７０°より大きくなることはない。図
１０（ａ）及び（ｂ）は考えられるフォーク・ジャンク
ション及び考えられないフォーク・ジャンクションの両
方を示す。もう１つの考えられないシナリオは、２つの
角度が９０°より大きく、１つの角度が９０°未満であ
る場合である。こう云う角度の制限の証明をこれから示
す。

【００２５】ｖ₁，ｖ₂及びｖ₃を図２６に示す様に像
平面内の単位ベクトルとする（各式内ではベクトル記号
を“→”で付す）（関連する研究が１９９３年のＪ．マ
リクの「パーソナル・コミュニケーョン」と、コンピュ
ータ・ビジョン・グラフィックス・アンド・イメージ・
プロセッシング誌，４１：２８−４２，１９８８年所載
のＫ．カナタニの論文「長さ及び角度の制限」にあ
る）。像から、ｖ₁・ｖ₂＝ｃｏｓ（α）、ｖ₂・ｖ₃
＝ｃｏｓ（β）、ｖ₃・ｖ₁＝ｃｏｓ（γ）が出てく
る。ｖ₁，ｖ₂及びｖ₃を、３−Ｄに於ける互いに直交
する３つのベクトルμ ₁，μ₂及びμ₃の（正射）投影
とする（各式内ではベクトル記号を“→”で付す）。
（特に断らない限り、正射投影を仮定する。）３つの地
理ベクトルを次の様に表わすことができる様に、地理座
標が変換されていると仮定する。

【数２】

【００２６】上に示したベクトルは、何等一般性を失わ
ずに得られることを証明することができる。ベクトルμ
₁，μ₂及びμ₃が直交であるから、次の様になる。

【数３】式（２）及び（５）から、次の様になる。

【数４】

【００２７】式（６）の意味することは次の通りであ
る。

【数５】同様に、次の様になることを証明することができる。

【数６】式（７），（８）及び（９）から次の様になる。

【数７】即ち、

【数８】上に示した式の左辺の量は実数であるから、ｃｏｓ
（α）ｃｏｓ（β）ｃｏｓ（γ）は負になるはずである
ことになる。（α＋β＋γ＝３６０°であることにも注
意されたい）。下記の表１は、α，β及びγとその余弦
の考えられる値及び考えられない値（余弦に対する制限
を括弧内に示してある）を示すことによって、この結果
をまとめている。

【００２８】

【表１】考えられる考えられない２つの角度が鋭角、１つの角度＞２７０°、１つの角度が鈍角２つの角度が鋭角（１つの負の余弦、（全て正の余弦）２つの正の余弦）３つの角度全部が鈍角２つの角度が鈍角、１つの角度が鋭角（３つの余弦全部が負）（２つの負の余弦、１つの正の余弦）表１：３−Ｄの直交する３面体の頂点の２−Ｄ投影に於
ける角度及び角度の余弦（括弧内に示す）の考えられる
値及び考えられない値。

【００２９】要約すると、フォークのフィルタ作用の
間、１）は２つの角度が鋭角で、１つの角度が鈍角、又
は２）３つの角度全部が鈍角の何れかを満たす全てのフ
ォーク・ジャンクションが受理される。その他のフォー
ク・ジャンクションは排除される。フィルタ作用の後に
得られたフォーク・ジャンクションの他に、Ｔλ形ジャ
ンクションも使われる。こう云うジャンクションは実際
には、３本の線が夫々９０°，９０°及び１８０°にあ
るフォーク・ジャンクションの特別の場合である。Ｔλ
形ジャンクションが図１１（ａ）に示されている。この
ジャンクションは、２つの線分だけによって形成される
Ｔ形ジャンクションとは異なる。図１１（ｂ）はＴ形ジ
ャンクションの例を示す。全てのＴλ形ジャンクション
がボックス検出過程では残され、フォーク・ジャンクシ
ョンの特別の場合として扱われる。

【００３０】然し、フィルタ作用にかけたフォーク・ジ
ャンクション、Ｔλ形ジャンクション及び三重子が存在
することが、長方形の物体の検出にとって十分ではな
い。これは、こう云うジャンクションが、周囲の物体に
より、又は長方形でない固体の長方形のジャンクション
によって偶発的に形成されることがあるからである。長
方形の物体を検出する為の別の条件を作出す為、再び図
９を考える。図９で、線Ａ，Ｂ及びＣは三重子を表わ
し、線Ａ，Ｇ及びＢがフォーク・ジャンクションを形成
する。これらの４本の線によって形成された三重子及び
フォークは２本の線を共有する。その外側の枝が平行で
あって重なる三重子だけが受理されるから、長方形の物
体が存在する為の必要条件は、三重子及びフォークが２
本の線を共有することである。線が完全であれば、即ち
物体全体を表わし、カメラの較正が分かっていれば、フ
ォーク及び三重子を形成する４本の線を使って、長方形
の物体の寸法も決定することができる。

【００３１】然し、多くの場合、カメラにはボックスの
１つの面しか見ることができない。この場合、フォーク
・ジャンクションは形成されない。従って、２番目の条
件として、２つの釣合う三重子を求める。２つの三重子
は、それらが３つの枝の内の２つを共有すれば、釣合う
と云う。共有される枝が両方の三重子で２つの外側の枝
であれば、両方の三重子の中心の枝は、少なくとも、２
つの枝の長さの最大値の距離の所になければならない。
３番目の釣合う特徴として、２つの釣合うフォーク・ジ
ャンクションを求める。２つのフォーク・ジャンクショ
ンが釣合う為には、２つのフォーク・ジャンクションが
１つの辺を共通に持っていなければならない。２つのフ
ォーク・ジャンクションの内、一方はＹ形で、他方は矢
印形でなければならない。更に、釣合う辺は中心の枝で
なければならない。更に、夫々の外側の枝は互いに平行
でなければならない。例として、図９で、線ＡＢＧ及び
ＣＢＩによって形成されたフォーク・ジャンクションを
考える。ＡＧＢがＹ形のフォークであり、ＣＢＩが矢印
形のフォーク・ジャンクションである。更に、両方のジ
ャンクションが中心の辺Ｂを共有する。更に、線Ａ及び
Ｃが平行であり、線Ｇ及びＩが平行である。

【００３２】上に述べた条件で、フォーク・ジャンクシ
ョンをＴλ形ジャンクションに置換えることができる。
これは、Ｔλ形ジャンクションがフォーク・ジャンクシ
ョンの特別の場合であるからである。上に述べた条件の
内、釣合うフォーク・ジャンクション及び三重子が最も
強い条件である。これは、この条件が満たされる為に
は、フォーク及び三重子が長方形の物体に属していなけ
ればならないからである。別の強い条件は２つの釣合う
フォークが見付かる時である。然し、釣合う三重子の条
件は、３−Ｄの長方形の固体と同じく、平坦な（２−
Ｄ）物体によっても形成されることがあるので、それほ
ど強くない。

【００３３】上に述べた方式を例示する為、ボックスの
存在を求めて像を解析する図２を考え直す。図１２及び
１３は、夫々図２及び６の像の辺マップを示す（図２が
解析される像であり、図６が基準像である）。図１２の
像の辺マップは、ボックスと分類される可能性を持つ周
囲からの数多くの辺を示している。こう云う余分の線
は、虚偽警報の惧れがある他に、計算時間をも長くす
る。図１２及び１３に示す辺マップを使う前に、図２及
び６からの２つの像は前に述べた様に差分を求める。差
分像が図１４に示されている。図１４に示す様に、周囲
に対応する数多くの線が、差分方法によって除かれてい
る。図１４の差分像が、この後、線を見付ける為に解析
される。合成像が図１５に示されている。この後、図１
５の像をジャンクションを見付ける為の入力として使
う。この後の解析により、図１６に示す様にボックスが
検出される。

【００３４】好ましい実施例がユニックスで動作するＳ
ＵＭスパークステーション２のＣで実施された。像の収
集からボックスの検出結果までの処理全体は、像フレー
ム当たり約２０秒かかる。コードは毎秒１フレームで運
転するのが容易である。或いは、（データキューブ・マ
ックスビデオ２０画像処理装置の様な）像処理ハードウ
ェアでは実時間（毎秒数フレーム）でもできる。コンピ
ュータ・ソフトウェア及びコンピュータ・ハードウェア
の仕様は例として用いたにすぎない。この発明は、この
発明を実施し得る任意のコンピュータ・ソフトウェア及
びコンピュータ・ハードウェアに容易に適応することが
できる。結果及び性能の評価装置を更に詳しく評価する為、下記の実験を行なった。
１つの建物の２つの異なる回転ドアを歩いて通る人の５
００個の像を集めた。この様な像の一例が図２に示され
ている。５００個の像の内、約２００個はボックスを持
たない人であり、他の像はボックスを担持する人であっ
た。これらの像は、１日の内の相異なる時刻の担持され
た相異なるボッスクを表わしている。これに対して、１
日の内の時刻が異なることにより、照明条件が異なる。

【００３５】実験の若干の結果が図１７，１８，１９及
び２０に示されている。これらの４つの図全ては、元の
像の上に重ねられた検出されたボックスを示している。
４つの図の内、最初の２つの図は閉塞がなく、これに対
して３番目の像は手及び周囲の構造による若干の閉塞が
ある。４番目の図は、２つのボックスが存在する場合を
表わす。それでも、装置は両方のボックスを検出するこ
とができた。この実験の５００個の像は、１２５個の順
序（シーケンス）に対応しており、各々の順序は４つの
像で構成されている。特性曲線を描く為、或る順序内の
４つの像の内のどれか１つにボックスが見付かった場
合、長方形のボックスが検出されたと云う。各々の像に
対し、アルゴリズムは品質（品質ついては前に定義し
た）の５つの異なる値を用いて実行した。使われた品質
の異なる値は０．９０，０．８５，０．８０，０．７５
及び０．７０であった。こう云う異なる値により、受信
器動作特性（ＲＯＣ）曲線を描くことができる。各々の
場合に対し、アルゴリズムの最終判定を記録した。最終
判定及び入力像に応じて、４つの異なる事象が起こり得
る。第１の場合は、像にボックスがあって、ボックスが
検出されたと云うシナリオであり、これは検出と見做さ
れる。第２の場合は像内にあるボックスが検出されなか
った場合であり、この事象は見逃しと呼ばれる。第３の
場合は像にボックスがなくて、ボックスが検出された時
であり、これは虚偽警報と呼ばれる。最後の場合は像に
ボックスがなく、ボックスが検出されなかった時のシナ
リオである。

【００３６】検出確率Ｐ_Dは次の様に定義される。

【数９】虚偽警報確率Ｐ_Fは次の様に定義される。

【数１０】

【００３７】Ｐ_D及びＰ_Fを品質の各々の値に対して計
算する。これらの２つの確率を使って受信器動作特性
（ＲＯＣ）曲線を描く（１９８２年ニューヨーク州のジ
ュン・ワイディ社から出版されたＨ．Ｌ．ヴァン・トリ
ーズの著書「検出、推定及び変調理論」）。更に、像が
焦点外れになった時もＲＯＣ曲線を描く。焦点外れの実
験を行なったのは、焦点合せが不正確である為、又は視
野の中で物体があまりに速く動き過ぎる為に、収集され
た像が焦点に外れていることがある場合を示す為であ
る。焦点外れ又は一層低い解像度での像の収集をシミュ
レーションする為、元の像を異なる分散を持つガウス・
マスクを用いて平滑した。各々のガウス・マスクに対
し、異なるＲＯＣ曲線を描く。図２１は異なる曲線を示
している。ＲＯＣの他に、品質に対してＰ_D及びＰ_Fも
描かれた。これらは夫々図２２及び２３に示されてい
る。これらの図で、「ぼけ」は１の分散を用いたガウス
平滑に対応し、「ぼけ３」は１２．７８の分散を用い
たガウス平滑に対応する。これらの分散は、実験で使わ
れたユーティリティ・プログラム１及び３の平滑レベル
に対応する。然し、像のガウス平滑ができる任意のユー
ティリティ・プログラムを使うことができる。

【００３８】これらのグラフから次に述べる点が要約さ
れる。１）検出確率が増加すると、虚偽警報の確率も増
加する−図２１。２）品質が増加すると、検出確率が低
下する−図２２。３）品質が増加すると、虚偽警報の確
率も減少する−図２３。４）像の焦点外れがひどくなる
と、検出確率も虚偽警報の確率も所定の品質に対して減
少する。像が焦点外れになると、形成される線の数が少
なくなり、ボックスに対して群にまとめることが一層少
なくなりがちであるので、これは予想された所である。
包装箱を検出する他に、この装置はトラック及び建物を
検出する為に使うことができる。図２４はトラックの検
出結果を示し、図２５は建物の検出結果を示す。

【００３９】以上、若干の好ましい実施例を詳しく説明
した。この発明の範囲は、こゝに説明したものと異なる
ものであっても、特許請求の範囲に含まれる実施例をも
含むことを承知されたい。この発明の範囲を考えるに当
たっては、どう云うものが含まれるかを表わすことは全
てを網羅するものではないと解釈されたい。実施例につ
いてこの発明を説明したが、この説明はこの発明を制約
するものと解してはならない。以上の説明から、当業者
には、図示の実施例の種々の変更や組合せ並びにこの発
明のその他の実施例が容易に考えられる。従って、特許
請求の範囲は、この様な全ての変更又は実施例を包括す
るものであることを承知されたい。

【００４０】（１）データの基準像を受取り、処理し
ようとするデータの像を受取り、変形差分方法を用いて
前記データの基準像からの処理しようとするデータの像
の差分を求めて、データの差分像を発生し、前記データ
の差分像から長方形の固体を検出する工程を含む長方形
の固体を検出する方法。（２）請求項１記載の方法に於て、前記差分を求める
ことが、画素値がゼロである所で前記変形差分方法を利
用することを含む方法。（３）請求項２記載の方法に於て、前記差分を求める
ことが単独の画素の辺を複数個の画素に増大することを
含む方法。（４）請求項１記載の方法に於て、前記長方形の固体
を検出することが、前記データの差分像から辺を検出
し、前記データの差分像から線を見付け、前記差分像か
らフォーク・ジャンクションを見付け、第１組の或る判
断基準を満たすフォーク・ジャンクション及び線の三重
子をフィルタにかけ、第２組の或る判断基準を満たす前
記ジャンクション及び前記線の三重子を群にまとめ、こ
の群のまとめ方によって、前記像内に長方形の固体が存
在するかどうかを検出することを含む方法。

【００４１】（５）請求項４記載の方法に於て、前記
フォーク・ジャンクションを見付けることが品質係数を
利用し、該品質係数は前記フォーク・ジャンクションの
２本の線の交点の位置に関係する方法。（６）請求項４記載の方法に於て、前記第１組の或る
判断基準が、外側の枝が平行で重なり合う様な線の三重
子を受理し、角度が２７０°より大きいフォーク・ジャ
ンクションを排除し、２つの鈍角及び１つの鋭角を持つ
フォーク・ジャンクションを排除し、残りの全てのフォ
ーク・ジャンクションを受理することを含む方法。（７）請求項４記載の方法に於て、前記第２組の或る
判断基準が、２本の線を共有するフォーク・ジャンクシ
ョン及び線の三重子を群にまとめ、２本の線を共有する
線の三重子を群にまとめ、１つの辺を共有するフォーク
・ジャンクションを群にまとめることを含む方法。

【００４２】（８）データの像を受取り、該データの
像から辺を検出し、該データの像から線の三重子を見付
け、該線からフォーク・ジャンクションを見付け、第１
組の或る判断基準を満たすフォーク・ジャンクション及
び線の三重子をフィルタにかけ、第２組の或る判断基準
を満たすフォーク・ジャンクション及び線の三重子を群
にまとめ、この群のまとめ方に従って、前記像内に長方
形の固体が存在するかどうかを検出する工程を含む長方
形の固体を検出する方法。（９）請求項８記載の方法に於て、前記第１組の或る
判断基準が、外側の枝が平行で重なり合う線の三重子を
受理し、角度が２７０°より大きいフォーク・ジャンク
ションを排除し、２つの鈍角及び１つの鋭角を持つフォ
ーク・ジャンクションを排除し、残りの全てのフォーク
・ジャンクションを受理することを含む方法。（１０）請求項８記載の方法に於て、前記フォーク・
ジャンクションを見付けることが品質係数を利用し、該
品質係数は前記フォーク・ジャンクションの２本の線の
交点の位置に関係する方法。

【００４３】（１１）請求項８記載の方法に於て、前
記第２組の或る判断基準が、２本の線を共有するフォー
ク・ジャンクション及び線の三重子を群にまとめ、２本
の線を共有する線の三重子を群にまとめ、１つの辺を共
有するフォーク・ジャンクションを群にまとめることを
含む方法。（１２）請求項１１記載の方法に於て、１つの辺を共
有するフォーク・ジャンクションを群にまとめること
が、前記１つの辺が前記フォーク・ジャンクションの中
心の枝である場合にだけ、前記フォーク・ジャンクショ
ンを群にまとめることを含む方法。

【００４４】（１３）データの像を受取り、該データ
の像から辺を検出し、前記データの像から線の三重子を
見付け、該線からフォーク・ジャンクションを見付け、
フォーク・ジャンクション及び線の三重子をフィルタに
かける工程を含んでいて、該フィルタにかける工程は、
外側の枝が平行で重なり合う線の三重子を受理し、角度
が２７０°より大きいフォーク・ジャンクションを排除
し、２つの鈍角及び１つの鋭角を持つフォーク・ジャン
クションを排除し、残りの全てのフォーク・ジャンクシ
ョンを受理することを含み、更に、前記フォーク・ジャ
ンクション及び線の三重子を群にまとめる工程を含み、
該群にまとめる工程は、２本の線を共有する前記受理さ
れたフォーク・ジャンクション及び受理された線の三重
子を群にまとめ、２本の線を共有する受理された線の三
重子を群にまとめ、１つの辺を共有する受理されたフォ
ーク・ジャンクションを群にまとめることを含み、更
に、群が検出された時、前記像内に長方形の固体が存在
することを表示する工程を含む長方形の固体を検出する
方法。

【００４５】（１４）データの像を受取るデータ収集
装置と、該データの像を記憶する記憶媒質と、該データ
の像から辺を検出する様に作用し得る第１の手段と、前
記データの像から線を見付ける様に作用し得る第２の手
段と、前記データの像からジャンクションを見付ける様
に作用し得る第３の手段と、特定された３つの判断基準
を満たすジャンクションをフィルタにかける様に作用し
得る第４の手段と、第２組の判断基準を満たすジャンク
ションを群にまとめる様に作用し得る第５の手段と、前
記像内に長方形の固体が存在するかどうかを判定する様
に作用し得る第６の手段とを有する長方形の固体を検出
する装置。（１５）全般的に、この発明は長方形の固体を検出す
る方法と装置を提供した。この方法は、データの像を受
取り、データの像から辺を検出し、データの像から線を
見付け、線からジャンクションを見付け、第１組の或る
判断基準を満たすジャンクション及び線をフィルタにか
け、第２組の或る判断基準を満たすジャンクション及び
線を群にまとめ、この群の分け方に従って、像内に長方
形の固体が存在するかどうかを検出する工程を含む。判
断基準は線の三重子及びフォーク・ジャンクションを使
うことを含む。この装置及び方法は単独のフレーム、又
は基準フレームと対になった単独のフレームを解析する
こともできる。

【図面の簡単な説明】

【図１】好ましい実施例のブロック図。

【図２】回転ドアから出てくるボックスを担持する人の
像。

【図３】背景のクラッタが小さい状態での、ボックスを
担持する人の像。

【図４】好ましい実施例の流れ図。

【図５】ａは典形的なＹ形フォーク・ジャンクションを
示す図。ｂは典形的な矢印形フォーク・ジャンクション
を示す図。

【図６】図２の場合の基準像。

【図７】ａはＶ形ジャンクションの一例を示す図。ｂは
Ｖ形ジャンクションの別の例を示す図。ｃはＶ形ジャン
クションの別の例を示す図。

【図８】ａは三重子の一例を示す図。ｂは三重子の別の
例を示す図。ｃは三重子の別の例を示す図。

【図９】ボックスの直交図。

【図１０】ａは考えられるジャンクションの例を示す
図。ｂは考えられないジャンクションの例を示す図。

【図１１】ａはＴλ形ジャンクションの一例を示す図。
ｂはＴ形ジャンクションの一例を示す図。

【図１２】図２の辺像。

【図１３】図６の辺像。

【図１４】図１２及び１３で構成される差分像。

【図１５】図１２の線像。

【図１６】検出されたボックス。

【図１７】例の結果からの像。

【図１８】別の例の結果からの像。

【図１９】別の例の結果からの像。

【図２０】更に別の例の結果からの像。

【図２１】ボックス検出実験に対するＲＯＣ曲線を示す
グラフ。

【図２２】品質に対する検出確率を示すグラフ。

【図２３】品質に対する虚偽警報確率を示すグラフ。

【図２４】検出されたトラックの像。

【図２５】検出された建物の像。

【図２６】考えられる角度及び考えられない角度を判定
する為の幾何学的な関係を設定するのに使われる１組の
軸線のグラフ。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年８月２８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】好ましい実施例のブロック図。

【図２】回転ドアから出てくるボックスを担持する人の
像の写真。

【図３】背景のクラッタが小さい状態での、ボックスを
担持する人の像の写真。

【図４】好ましい実施例の流れ図。

【図６】図２の場合の基準像の写真。

【図９】ボックスの直交図。

【図１２】図２の辺像の写真。

【図１３】図６の辺像の写真。

【図１４】図１２及び１３で構成される差分像の写真。

【図１５】図１２の線像の写真。

【図１６】検出されたボックスの写真。

【図１７】例の結果からの像の写真。

【図１８】別の例の結果からの像の写真。

【図１９】別の例の結果からの像の写真。

【図２０】更に別の例の結果からの像の写真。

【図２２】品質に対する検出確率を示すグラフ。

【図２３】品質に対する虚偽警報確率を示すグラフ。

【図２４】検出されたトラックの像の写真。

【図２５】検出された建物の像の写真。

Claims

【特許請求の範囲】

【請求項１】データの基準像を受取り、処理しようと
するデータの像を受取り、変形差分方法を用いて前記デ
ータの基準像からの処理しようとするデータの像の差分
を求めて、データの差分像を発生し、前記データの差分
像から長方形の固体を検出する工程を含む長方形の固体
を検出する方法。