JPH0766445B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JPH0766445B2 JPH0766445B2 JP63226761A JP22676188A JPH0766445B2 JP H0766445 B2 JPH0766445 B2 JP H0766445B2 JP 63226761 A JP63226761 A JP 63226761A JP 22676188 A JP22676188 A JP 22676188A JP H0766445 B2 JPH0766445 B2 JP H0766445B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- plane
- segments
- line segment
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、同一の処理対象物体を異なる複数の位置で撮
像した画像を処理することにより三次元空間中の物体を
構成する面を特定しその情報を得るための画像処理方法
に関する。
像した画像を処理することにより三次元空間中の物体を
構成する面を特定しその情報を得るための画像処理方法
に関する。
三次元空間における位置関係等の情報を得る手法とし
て、二つの撮像装置により異なる位置から同一物体を撮
像した画像に基づいて画像処理を行う、所謂ステレオ法
が知られている。
て、二つの撮像装置により異なる位置から同一物体を撮
像した画像に基づいて画像処理を行う、所謂ステレオ法
が知られている。
具体的には、二つの撮像装置により撮像された濃淡画像
それぞれから明るさの差に基づいて同一の明るさの領域
を抽出し、そのエッジ検出を行い、検出されたエッジ単
位て両画像間の対応付けを行う。相互に対応するエッジ
については三角測量の原理に基づいて距離に関する情報
が得られる。
それぞれから明るさの差に基づいて同一の明るさの領域
を抽出し、そのエッジ検出を行い、検出されたエッジ単
位て両画像間の対応付けを行う。相互に対応するエッジ
については三角測量の原理に基づいて距離に関する情報
が得られる。
ところで上述の手法では、検出されたエッジについては
距離情報は得られるが、物体の面上の各点についての情
報は得られない。そこで、距離の情報が得られたエッジ
の情報を用いて面の情報を求めることになるが、しかし
エッジのいずれの側の領域が実在する平面であるかある
いは両方の領域が実在する平面であるかを決定すること
が出来なければ、実在しない面を実在するかの如く判断
する可能性がある。
距離情報は得られるが、物体の面上の各点についての情
報は得られない。そこで、距離の情報が得られたエッジ
の情報を用いて面の情報を求めることになるが、しかし
エッジのいずれの側の領域が実在する平面であるかある
いは両方の領域が実在する平面であるかを決定すること
が出来なければ、実在しない面を実在するかの如く判断
する可能性がある。
また、上述の手法では、画像の接続点，線及び領域がそ
れぞれ対象物体の頂点，エッジ，面に対応している点に
着目している。このため、対象物体がいずれの頂点にお
いても正確に３平面が交差している３面頂点の多面体あ
るいは折紙のモデルをも含む３面以下頂点に対象が限定
されており、現実には平面相互の構成に関して複数の解
釈が成立する余地がある。
れぞれ対象物体の頂点，エッジ，面に対応している点に
着目している。このため、対象物体がいずれの頂点にお
いても正確に３平面が交差している３面頂点の多面体あ
るいは折紙のモデルをも含む３面以下頂点に対象が限定
されており、現実には平面相互の構成に関して複数の解
釈が成立する余地がある。
本発明はこのような事情に鑑みてなされたものであり、
ステレオ画像から得られたエッジの情報に基づいて更に
実在する平面を抽出するための画像処理方法の提供を目
的とする。また本発明は、上述の如くして実在する平面
を抽出することにより更に各エッジを平面相互の関係に
応じて分類し得る画像処理方法の提供を目的とする。
ステレオ画像から得られたエッジの情報に基づいて更に
実在する平面を抽出するための画像処理方法の提供を目
的とする。また本発明は、上述の如くして実在する平面
を抽出することにより更に各エッジを平面相互の関係に
応じて分類し得る画像処理方法の提供を目的とする。
本発明に係る画像処理方法は，三次元空間中に位置する
同一の認識対象を同一平面上の異なる位置に配された複
数の撮像装置により撮像した複数の画像それぞれから共
通の線分の情報を得て、それらが連結されて閉塞された
境界線にて囲繞される平面を抽出する画像処理方法にお
いて、求められた境界線の各線分について、それぞれの
線分に沿う両方向のセグメントを設定し、各セグメント
を、各線分の中途から他の線分が分岐する場合にその線
分の前記他の線分が分岐しない側に沿うセグメントを、
物体がその後方の物体または背景を隠している面の境界
を表す実セグメントとして、各線分の中途から他の線分
が分岐する場合にその線の前記他の線分が分岐する側に
沿うセグメントを、その前記撮像装置側の物体とその後
方の物体または背景との境界を示す虚セグメントとし
て、いずれとも決定不可能なセグメントを未確認セグメ
ントとして分類し、それぞれの境界線について、総ての
実セグメントを含み虚セグメントを含まないセグメント
の組合わせにて平面を仮定し、総てのセグメントが仮定
された平面上またはその平面によって分割された二つの
空間の内の前記撮像装置側の空間に位置するような唯一
の平面である場合に前記仮定された平面を実在する平面
として抽出し、前記抽出された平面上のセグメントを実
セグメントとし、前記抽出された平面の前記撮像装置側
の空間に位置するセグメントを虚セグメントとして未確
認セグメントを分類し、それぞれのエッジについて、そ
れぞれに沿う両セグメントが実セグメントである場合は
二つの面の交線を表す稜エッジとして、また一方のみが
実セグメントである場合は物体と背景またはその後方に
位置する物体に対する輪郭を表す輪郭エッジとして分類
し、前記稜エッジを、その両側に位置する実在する平面
相互間の法線方向角度により凹エッジ，凸エッジ及び平
坦エッジに分類することを特徴とする。
同一の認識対象を同一平面上の異なる位置に配された複
数の撮像装置により撮像した複数の画像それぞれから共
通の線分の情報を得て、それらが連結されて閉塞された
境界線にて囲繞される平面を抽出する画像処理方法にお
いて、求められた境界線の各線分について、それぞれの
線分に沿う両方向のセグメントを設定し、各セグメント
を、各線分の中途から他の線分が分岐する場合にその線
分の前記他の線分が分岐しない側に沿うセグメントを、
物体がその後方の物体または背景を隠している面の境界
を表す実セグメントとして、各線分の中途から他の線分
が分岐する場合にその線の前記他の線分が分岐する側に
沿うセグメントを、その前記撮像装置側の物体とその後
方の物体または背景との境界を示す虚セグメントとし
て、いずれとも決定不可能なセグメントを未確認セグメ
ントとして分類し、それぞれの境界線について、総ての
実セグメントを含み虚セグメントを含まないセグメント
の組合わせにて平面を仮定し、総てのセグメントが仮定
された平面上またはその平面によって分割された二つの
空間の内の前記撮像装置側の空間に位置するような唯一
の平面である場合に前記仮定された平面を実在する平面
として抽出し、前記抽出された平面上のセグメントを実
セグメントとし、前記抽出された平面の前記撮像装置側
の空間に位置するセグメントを虚セグメントとして未確
認セグメントを分類し、それぞれのエッジについて、そ
れぞれに沿う両セグメントが実セグメントである場合は
二つの面の交線を表す稜エッジとして、また一方のみが
実セグメントである場合は物体と背景またはその後方に
位置する物体に対する輪郭を表す輪郭エッジとして分類
し、前記稜エッジを、その両側に位置する実在する平面
相互間の法線方向角度により凹エッジ，凸エッジ及び平
坦エッジに分類することを特徴とする。
本発明方法では、セグメントの分類結果により物体がそ
の後方または背景を隠している面の境界を表すセグメン
トを抽出し、これから実在する平面のみが生成され、更
にセグメントの分類結果によりエッジの分類が行われ
る。
の後方または背景を隠している面の境界を表すセグメン
トを抽出し、これから実在する平面のみが生成され、更
にセグメントの分類結果によりエッジの分類が行われ
る。
以下、本発明をその実施例を示す図面に基づいて詳述す
る。
る。
第１図は本発明方法の実施に使用される画像処理装置の
構成を示すブロック図である。
構成を示すブロック図である。
この装置は、全体の制御中枢としてのコンピュータシス
テム1,二台の撮像装置としてのテレビジョンカメラユニ
ット２及び3,画像メモリ4,CRTディスプレイ5,プリンタ
6,フロッピーディスクシステム7,キーボードターミナル
８及びそれぞれを接続するデータバス９等にて構成され
ている。
テム1,二台の撮像装置としてのテレビジョンカメラユニ
ット２及び3,画像メモリ4,CRTディスプレイ5,プリンタ
6,フロッピーディスクシステム7,キーボードターミナル
８及びそれぞれを接続するデータバス９等にて構成され
ている。
テレビジョンカメラユニット２及び３はそれぞれ、前方
のシーンを撮像してたとえば512×512画素区分のアナロ
グ画像データを出力する同一諸元のITVカメラ21,31及び
その出力アナログデータをディジタル変換してたとえば
256階調のディジタル画像データを生成するA/D変換器2
2,32等にて構成されている。
のシーンを撮像してたとえば512×512画素区分のアナロ
グ画像データを出力する同一諸元のITVカメラ21,31及び
その出力アナログデータをディジタル変換してたとえば
256階調のディジタル画像データを生成するA/D変換器2
2,32等にて構成されている。
ITVカメラ21,31は第２図に示す如く、ITVカメタ21を左
側に、ITVカメラ31を右側に配置して水平に並べられて
おり、それぞれの光軸211,311は並行且つそれぞれの撮
像面212,312は同一面上に位置されている。従って、両
撮像面212,312の下辺をそれぞれXL軸,XR軸、左辺をそれ
ぞれYL軸,YR軸とすると、XL軸とXR軸とは同一直線上に
位置し、YL軸とYR軸とは平行である。
側に、ITVカメラ31を右側に配置して水平に並べられて
おり、それぞれの光軸211,311は並行且つそれぞれの撮
像面212,312は同一面上に位置されている。従って、両
撮像面212,312の下辺をそれぞれXL軸,XR軸、左辺をそれ
ぞれYL軸,YR軸とすると、XL軸とXR軸とは同一直線上に
位置し、YL軸とYR軸とは平行である。
画像メモリ４は書込み，読出しが自由なRAMであり、ITV
カメラ21にて撮像さた左画像及びITVカメラ31にて撮像
された右画像のディジタル画像データは勿論のこと、他
の種々のデータの格納に使用される。
カメラ21にて撮像さた左画像及びITVカメラ31にて撮像
された右画像のディジタル画像データは勿論のこと、他
の種々のデータの格納に使用される。
CRTディスプレイ５及びプリンタ６はコンピュータシス
テム１の処理結果等の出力に、またフロッピーディスク
システム７はコンピュータシステム１の処理結果を登録
しておくためにそれぞれ使用される。更にキーボードタ
ーミナル８はオペレータによる種々の指令の入力等に使
用される。
テム１の処理結果等の出力に、またフロッピーディスク
システム７はコンピュータシステム１の処理結果を登録
しておくためにそれぞれ使用される。更にキーボードタ
ーミナル８はオペレータによる種々の指令の入力等に使
用される。
第３図は上述のような画像処理装置により実施される本
発明方法の手順を示すジェネラルフローチャートであ
る。
発明方法の手順を示すジェネラルフローチャートであ
る。
まず第１図に示した画像処理装置の初期化を実行した後
（ステップS1）、ITVカメラ21,31により左右の画像を撮
像する（ステップS2）。
（ステップS1）、ITVカメラ21,31により左右の画像を撮
像する（ステップS2）。
次に、一次微分オペレータにより画像の各点についてエ
ッジの強さと方向を求め、エッジの細線化，閾値処理，
延長処理等により画像上のそれぞれの領域を囲繞する閉
塞したエッジを得る（ステップS3）。
ッジの強さと方向を求め、エッジの細線化，閾値処理，
延長処理等により画像上のそれぞれの領域を囲繞する閉
塞したエッジを得る（ステップS3）。
次に領域が右側に見えるようにエッジを追跡し、領域の
境界線を求めて領域分割を行う（ステップS4）。この境
界線を分岐点で分割した後、更に曲率が一定値以上の屈
曲点で分割する。分割された線分に対して直線または２
次曲線の当て嵌めを行ってセグメント化する（ステップ
S5）。
境界線を求めて領域分割を行う（ステップS4）。この境
界線を分岐点で分割した後、更に曲率が一定値以上の屈
曲点で分割する。分割された線分に対して直線または２
次曲線の当て嵌めを行ってセグメント化する（ステップ
S5）。
第４図は境界線を求めた例を示す模式図である。
ハッチングを付した領域Ｒには外周境界Ｂと穴の境界Ｈ
とが有り、各境界線はそれぞれを構成するセグメントＳ
のリストにより表現される。以下のセグメントの対応付
けはこのデータ構造上で行われる（ステップS6）。
とが有り、各境界線はそれぞれを構成するセグメントＳ
のリストにより表現される。以下のセグメントの対応付
けはこのデータ構造上で行われる（ステップS6）。
たとえば第５図に示す如き三次元ブロックについて考え
ると、ブロックはB1〜B4の四つの境界線により表現され
る。各境界線B1〜B4を構成するセグメントは実際にはエ
ッジ上に位置するが、各エッジにはその右側に領域が存
在することを表すセグメントが存在しているため、相互
に逆向きの二つのセグメントが存在する。
ると、ブロックはB1〜B4の四つの境界線により表現され
る。各境界線B1〜B4を構成するセグメントは実際にはエ
ッジ上に位置するが、各エッジにはその右側に領域が存
在することを表すセグメントが存在しているため、相互
に逆向きの二つのセグメントが存在する。
ところで、たとえば境界線B4上に存在するセグメントは
実際には存在しない面を表す虚セグメントである。虚セ
グメントは実際には存在しない面があたかも実在するよ
うに表現するため、除去する必要がある。この手法につ
いては後述する。
実際には存在しない面を表す虚セグメントである。虚セ
グメントは実際には存在しない面があたかも実在するよ
うに表現するため、除去する必要がある。この手法につ
いては後述する。
次にオクルージョンを検出する（ステップS7）。
第６図に処理手順の模式図を示す。第６図（ａ）はITV
カメラ21,31によりそれぞれ撮像された左右の原画像，
同（ｂ）は原画像から抽出されたセグメントを示す画
像，同（ｃ）はオクルージョンの検出結果（○が付され
ている）を示す画像である。
カメラ21,31によりそれぞれ撮像された左右の原画像，
同（ｂ）は原画像から抽出されたセグメントを示す画
像，同（ｃ）はオクルージョンの検出結果（○が付され
ている）を示す画像である。
オクルージョンの検出は以下のようにして行われる。第
７図（ａ）に示されているように、左画像中の境界線L
1,L2に対して右画像中の境界線R1,R2がそれぞれ対応し
ているとする。また、右画像中の分岐点P3に対して左画
像中の点P1,P2が対応しているとする。この場合、点P2
とP3との間の視差（D23）が点P1とP3との間の視差（D1
3）よりも大である（D23＞D13）場合、右画像中の点P3
はオクルージョン点と見做される。なおここで、視差が
大きいということは視点に近いということを表す。即
ち、第７図（ａ）においては、点P1が点P2よりも視点に
近い位置にあるので、右画像の点P3においてオクルージ
ョンが発生していることになる。左右画像の関係が逆の
場合も同様に、第７図（ｂ）に示されているように、左
画像中の分岐点P1に対して右画像中の点P2,P3が対応し
ているとする。この場合、点P1とP3との間の視差（D1
3）が点P2とP3との間の視差（D23）よりも大である（D1
3＞D23）場合、左画像中の点P1はオクルージョン点と見
做される。
７図（ａ）に示されているように、左画像中の境界線L
1,L2に対して右画像中の境界線R1,R2がそれぞれ対応し
ているとする。また、右画像中の分岐点P3に対して左画
像中の点P1,P2が対応しているとする。この場合、点P2
とP3との間の視差（D23）が点P1とP3との間の視差（D1
3）よりも大である（D23＞D13）場合、右画像中の点P3
はオクルージョン点と見做される。なおここで、視差が
大きいということは視点に近いということを表す。即
ち、第７図（ａ）においては、点P1が点P2よりも視点に
近い位置にあるので、右画像の点P3においてオクルージ
ョンが発生していることになる。左右画像の関係が逆の
場合も同様に、第７図（ｂ）に示されているように、左
画像中の分岐点P1に対して右画像中の点P2,P3が対応し
ているとする。この場合、点P1とP3との間の視差（D1
3）が点P2とP3との間の視差（D23）よりも大である（D1
3＞D23）場合、左画像中の点P1はオクルージョン点と見
做される。
次にセグメントの方向とオクルージョンの検出位置とに
基づいてセグメントの分類を行う（ステップS8）。
基づいてセグメントの分類を行う（ステップS8）。
オクルージョン点ては第７図（ｃ）に示す如く、中途に
オクルージョン点を有するエッジにおいて他のエッジが
分岐する側と逆の側に沿うセグメントが明らかな実セグ
メント（太線）として見出され、中途にオクルージョン
点を有するエッジにおいて他のエッジが分岐する側に沿
うセグメントが明らかな虚セグメント（波線）として見
出される。ここで、明らかな実セグメントとは、物体の
表面を構成する実在する平面が画像上でその後方の物体
または背景を隠している境界を表すセグメントであり、
また虚セグメントとは、画像上で撮像装置に近い側に位
置する物体とその後方の物体との境界または背景との境
界を表すセグメントである。そして、明らかな実セグメ
ントであるかまたは明らかな虚セグメントであるかを判
定出来ない他のセグメントを未確認セグメントとする。
この未確認セグメント（細線）が実セグメントであるか
虚セグメントであるかを判定する手順は以下の如くであ
る。
オクルージョン点を有するエッジにおいて他のエッジが
分岐する側と逆の側に沿うセグメントが明らかな実セグ
メント（太線）として見出され、中途にオクルージョン
点を有するエッジにおいて他のエッジが分岐する側に沿
うセグメントが明らかな虚セグメント（波線）として見
出される。ここで、明らかな実セグメントとは、物体の
表面を構成する実在する平面が画像上でその後方の物体
または背景を隠している境界を表すセグメントであり、
また虚セグメントとは、画像上で撮像装置に近い側に位
置する物体とその後方の物体との境界または背景との境
界を表すセグメントである。そして、明らかな実セグメ
ントであるかまたは明らかな虚セグメントであるかを判
定出来ない他のセグメントを未確認セグメントとする。
この未確認セグメント（細線）が実セグメントであるか
虚セグメントであるかを判定する手順は以下の如くであ
る。
境界線は第８図（ａ）の模式図及び（ｂ）の表に示すよ
うに、そのセグメントの状況により、具体的には境界線
は未確認であることが前提であるので、明らかな実セグ
メントを含むか、明らかな虚セグメントを含むかにより
２の２乗の４種類に、また右回りであるか左回りである
かにより２種類に、計８種類に分類される。即ち、明ら
かな実セグメントも明らかな虚セグメントも含まない未
確認セグメントのみの境界線（及び）、明らかな実
セグメント及び未確認セグメントのみを含む境界線（
及び）。明らかな虚セグメント及び未確認セグメント
のみを含む境界線（及び）、明らかな実セグメント
と明らかな虚セグメントの双方を含む境界線（及び
）である。
うに、そのセグメントの状況により、具体的には境界線
は未確認であることが前提であるので、明らかな実セグ
メントを含むか、明らかな虚セグメントを含むかにより
２の２乗の４種類に、また右回りであるか左回りである
かにより２種類に、計８種類に分類される。即ち、明ら
かな実セグメントも明らかな虚セグメントも含まない未
確認セグメントのみの境界線（及び）、明らかな実
セグメント及び未確認セグメントのみを含む境界線（
及び）。明らかな虚セグメント及び未確認セグメント
のみを含む境界線（及び）、明らかな実セグメント
と明らかな虚セグメントの双方を含む境界線（及び
）である。
まず、手順（１）として、虚セグメントは含まず、未確
認セグメント及び総てのセグメントを含むセグメントの
組み合わせにて平面を仮定する。
認セグメント及び総てのセグメントを含むセグメントの
組み合わせにて平面を仮定する。
次に手順（２）として、境界線上で総てのセグメントが
手順（１）で仮定された平面またはその平面の上空（平
面の上空とは、その平面によって分割された二つの空間
の内の視点、即ち撮像位置側に位置する空間を意味す
る）に存在するような平面が唯一存在する場合に、その
平面が実在する平面（実平面と称する）であると決定す
る。
手順（１）で仮定された平面またはその平面の上空（平
面の上空とは、その平面によって分割された二つの空間
の内の視点、即ち撮像位置側に位置する空間を意味す
る）に存在するような平面が唯一存在する場合に、その
平面が実在する平面（実平面と称する）であると決定す
る。
以上により実平面上のセグメントは実セグメントであ
り、実平面の上空に位置するセグメントは虚セグメント
であるとそれぞれ決定され、未確認セグメントの分類が
可能になるので、虚セグメントを除去する（ステップS
9）。そして、実セグメントの情報に基づいて実平面の
生成を行う（ステップS10）。
り、実平面の上空に位置するセグメントは虚セグメント
であるとそれぞれ決定され、未確認セグメントの分類が
可能になるので、虚セグメントを除去する（ステップS
9）。そして、実セグメントの情報に基づいて実平面の
生成を行う（ステップS10）。
以下、具体的例に即して説明する。
第９図に示す如く、一つのブロック上に他のブロックが
載置されているシーンについて考える。抽出された境界
線をB1〜B7とし、虚セグメントが含まれていない右回り
の境界B1,B2,B3,B5,B6を対像とする。
載置されているシーンについて考える。抽出された境界
線をB1〜B7とし、虚セグメントが含まれていない右回り
の境界B1,B2,B3,B5,B6を対像とする。
まず、セグメントS11〜S14にて構成される境界線B1上の
セグメントについて手順（１）を実行する。セグメント
S11及びS12にて平面を仮定すると、境界線B1上の他のセ
グメントS13,S14はこの仮定された平面上に存在するこ
とは明白である。従って、手順（２）を実行すると、セ
グメントS11,S12にて仮定される平面は実平面であり、
他のセグメントS13,S14をも含めて境界線B1を構成する
総てのセグメントS11,S12,S13,S14を実セグメントであ
ると決定する。他の平面B2,B3,B5,B6に関しても同様の
結果が得られる。
セグメントについて手順（１）を実行する。セグメント
S11及びS12にて平面を仮定すると、境界線B1上の他のセ
グメントS13,S14はこの仮定された平面上に存在するこ
とは明白である。従って、手順（２）を実行すると、セ
グメントS11,S12にて仮定される平面は実平面であり、
他のセグメントS13,S14をも含めて境界線B1を構成する
総てのセグメントS11,S12,S13,S14を実セグメントであ
ると決定する。他の平面B2,B3,B5,B6に関しても同様の
結果が得られる。
次に、セグメントS41〜S48にて構成され、その内のS43
及びS46が虚セグメントである右回りの境界線B4につい
て考える。手順（１）に従って、セグメントS43,S46以
外のセグメントの組合わせにて平面を仮定する。ここ
で、二つのブロックが接触している場合（一方が他方の
上に載置されている場合）と離隔している場合とに分け
て考える。
及びS46が虚セグメントである右回りの境界線B4につい
て考える。手順（１）に従って、セグメントS43,S46以
外のセグメントの組合わせにて平面を仮定する。ここ
で、二つのブロックが接触している場合（一方が他方の
上に載置されている場合）と離隔している場合とに分け
て考える。
まず、両ブロックが接触している場合は、たとえばセグ
メントS41とS42とで平面を仮定すると、他の未確認セグ
メントは総ての平面上に存在するため、手順（２）に従
ってセグメントS43,S46以外のセグメントは、第10図
（ａ）に示す如く、総て実セグメント（実線）であると
決定する。
メントS41とS42とで平面を仮定すると、他の未確認セグ
メントは総ての平面上に存在するため、手順（２）に従
ってセグメントS43,S46以外のセグメントは、第10図
（ａ）に示す如く、総て実セグメント（実線）であると
決定する。
両ブロックが非接触である場合には、手順（１）により
総てのセグメントによる平面の仮定を試みる。まず、S4
4,S45の二つのセグメントで平面を仮定すると、手順
（２）においてセグメントS41等が仮定された平面より
更に遠い位置に存在することになるため、この面は実平
面ではない。
総てのセグメントによる平面の仮定を試みる。まず、S4
4,S45の二つのセグメントで平面を仮定すると、手順
（２）においてセグメントS41等が仮定された平面より
更に遠い位置に存在することになるため、この面は実平
面ではない。
次に、セグメントS45,S47の組合わせで平面を仮定した
場合には、相互にねじれの位置にあるため、平面の決定
は出来ない。またセグメントS45,S48の組合わせでは、
手順（２）においてセグメントS41等が平面のより更に
遠い位置に存在するため、実平面ではない。更にセグメ
ントS41,S42の組合わせではセグメントS47,S48が仮定さ
れた平面上に位置し、セグメントS43,S44,S45,S46は総
て平面の上空に位置するため、手順（２）によりこの平
面は実平面として決定することが出来、第10図（ｂ）に
示す如く、セグメントS41,S42,S47,S48は実セグメント
として、また他を虚セグメントとして決定出来る。
場合には、相互にねじれの位置にあるため、平面の決定
は出来ない。またセグメントS45,S48の組合わせでは、
手順（２）においてセグメントS41等が平面のより更に
遠い位置に存在するため、実平面ではない。更にセグメ
ントS41,S42の組合わせではセグメントS47,S48が仮定さ
れた平面上に位置し、セグメントS43,S44,S45,S46は総
て平面の上空に位置するため、手順（２）によりこの平
面は実平面として決定することが出来、第10図（ｂ）に
示す如く、セグメントS41,S42,S47,S48は実セグメント
として、また他を虚セグメントとして決定出来る。
続いて、実セグメントが存在しない左回りの境界線B7に
ついて考える。右側の周囲の面が床面あるいは道路等の
ように既に実平面として定義されており、下側に位置す
るブロックがその上に接触している場合は、第11図
（ａ）に示す如く、下側のブロックの下辺の二つのセグ
メントは実セグメントとする。
ついて考える。右側の周囲の面が床面あるいは道路等の
ように既に実平面として定義されており、下側に位置す
るブロックがその上に接触している場合は、第11図
（ａ）に示す如く、下側のブロックの下辺の二つのセグ
メントは実セグメントとする。
一方、ブロック全体が空間中に浮いている場合は、第11
図（ｂ）に示す如く、境界線の総てのセグメントは虚セ
グメントであるとする。
図（ｂ）に示す如く、境界線の総てのセグメントは虚セ
グメントであるとする。
次に第12図に示す如き穴の空いたブロックの例について
考える。なお、ここでは上述の例には現れなかった種類
の境界線についてのみ考える。
考える。なお、ここでは上述の例には現れなかった種類
の境界線についてのみ考える。
実セグメントを含む左回りの境界線B4は穴に対す境界線
である。換言すれば、オクルージョン点が存在しない左
回りの境界線は穴とは見做さない。穴の境界上のセグメ
ントで同様に手順（１）及び手順（２）を実行すると、
境界線B4上の総てのセグメントは実セグメントであると
決定出来る。
である。換言すれば、オクルージョン点が存在しない左
回りの境界線は穴とは見做さない。穴の境界上のセグメ
ントで同様に手順（１）及び手順（２）を実行すると、
境界線B4上の総てのセグメントは実セグメントであると
決定出来る。
虚セグメントが存在する穴の内側の右回りの境界線B5,B
6を考える。第13図に示す如く、境界線B5上のセグメン
トS51,S52,S54について手順（１）を実行する。セグメ
ントS53,S54にて平面を仮定すると、セグメントS51はそ
の下側に位置するため手順（２）により実平面とは考え
られない。
6を考える。第13図に示す如く、境界線B5上のセグメン
トS51,S52,S54について手順（１）を実行する。セグメ
ントS53,S54にて平面を仮定すると、セグメントS51はそ
の下側に位置するため手順（２）により実平面とは考え
られない。
セグメントS53と同S51とはねじれの関係にあるので、平
面は仮定出来ない。
面は仮定出来ない。
セグメントS52は虚セグメントであるから、残りの組合
わせ、即ちセグメントS54,S51にて平面を仮定する。こ
の場合、セグメントS52,S53はこのセグメントS54,S51に
て仮定された平面の上空に位置するので、この平面を実
平面として決定し、セグメントS54,S51は実セグメン
ト、同S52,S53は虚セグメントであると決定出来る。
わせ、即ちセグメントS54,S51にて平面を仮定する。こ
の場合、セグメントS52,S53はこのセグメントS54,S51に
て仮定された平面の上空に位置するので、この平面を実
平面として決定し、セグメントS54,S51は実セグメン
ト、同S52,S53は虚セグメントであると決定出来る。
境界線B6についても同様に処理すると、セグメントS61,
S63が実セグメントであると決定出来る。
S63が実セグメントであると決定出来る。
以上のような本発明方法の処理手順を、前述の第６図
（ａ）に示す如きシーンについて適用すると、第14図
（ａ），（ｂ）に示す如く実平面が決定される。また同
様に第９図に示す如き二つのブロックが重なったシーン
及び第12図に示す如き穴が空いたブロックのシーンそれ
ぞれについて実平面を抽出した結果を第15図（ａ）及び
（ｂ）に示す。
（ａ）に示す如きシーンについて適用すると、第14図
（ａ），（ｂ）に示す如く実平面が決定される。また同
様に第９図に示す如き二つのブロックが重なったシーン
及び第12図に示す如き穴が空いたブロックのシーンそれ
ぞれについて実平面を抽出した結果を第15図（ａ）及び
（ｂ）に示す。
次にエッジの分類が行われる（ステップS11）。
具体的にはたとえば、第５図に示した３次元ブロックに
おいてはB1〜B4の四つの境界線が得られる。そして、こ
のブロックが空中に浮かんでいる場合には、B1〜B3の三
つの境界線は実セグメントのみにて構成され、B4の境界
線は総て虚セグメントである。
おいてはB1〜B4の四つの境界線が得られる。そして、こ
のブロックが空中に浮かんでいる場合には、B1〜B3の三
つの境界線は実セグメントのみにて構成され、B4の境界
線は総て虚セグメントである。
各エッジには相互に逆方向の二つのセグメントが存在す
るが、たとえば境界線B2のセグメントS22が存在するエ
ッジに注目すると、このエッジのセグメントS22と逆方
向のセグメントS41は虚セグメントである。従って、こ
のエッジ上には実セグメントはS22一つのみである。こ
れに対して、セグメントS21が存在するエッジではセグ
メントS21と逆方向のセグメントS31も実セグメントであ
り、このエッジ上に存在するセグメントS21,S31は共に
実セグメントである。
るが、たとえば境界線B2のセグメントS22が存在するエ
ッジに注目すると、このエッジのセグメントS22と逆方
向のセグメントS41は虚セグメントである。従って、こ
のエッジ上には実セグメントはS22一つのみである。こ
れに対して、セグメントS21が存在するエッジではセグ
メントS21と逆方向のセグメントS31も実セグメントであ
り、このエッジ上に存在するセグメントS21,S31は共に
実セグメントである。
従って、エッジ上のセグメントの内の実セグメントの
数、換言すればエッジ上のセグメントから虚セグメント
を除去した残りのセグメントの数によってエッジを分類
することが可能である。即ち、エッジ上にセグメントが
二つ残っている場合はそのエッジは二つの実平面が交差
する稜エッジであり、エッジにセグメントが一つしか残
っていない場合にはそのエッジは手前、即ち画像上で撮
像装置に近い側に位置する物体がその後方の物体または
背景を隠すことにより生じた輪郭エッジであると見做す
ことが出来る。
数、換言すればエッジ上のセグメントから虚セグメント
を除去した残りのセグメントの数によってエッジを分類
することが可能である。即ち、エッジ上にセグメントが
二つ残っている場合はそのエッジは二つの実平面が交差
する稜エッジであり、エッジにセグメントが一つしか残
っていない場合にはそのエッジは手前、即ち画像上で撮
像装置に近い側に位置する物体がその後方の物体または
背景を隠すことにより生じた輪郭エッジであると見做す
ことが出来る。
稜エッジは第16図に示す如く、そのエッジの両側に位置
する平面の法線のなす角度により更に分類することが可
能である。即ち、法線のなす角度が正，負及び零であれ
ばそれぞれ凸稜エッジ，凹稜エッジ，平坦稜エッジとし
て分類し得る。
する平面の法線のなす角度により更に分類することが可
能である。即ち、法線のなす角度が正，負及び零であれ
ばそれぞれ凸稜エッジ，凹稜エッジ，平坦稜エッジとし
て分類し得る。
たとえば、第17図（ａ）に示す如く、二つのブロックが
重なったシーン及び同図（ｂ）に示す如く、穴が空いた
シーンそれぞれについてオクルージョン検出点（○にて
示す）及びエッジの分類（凸稜エッジは にて、凹稜エッジは にて、輪郭エッジは にてそれぞれ示す）を示す。
重なったシーン及び同図（ｂ）に示す如く、穴が空いた
シーンそれぞれについてオクルージョン検出点（○にて
示す）及びエッジの分類（凸稜エッジは にて、凹稜エッジは にて、輪郭エッジは にてそれぞれ示す）を示す。
また、第18図（ａ）に示す如き同一平面上に明るさの異
なる領域に分割された模様が有る場合には、その模様が
存在する平面は同図（ｂ）に示す如く、エッジの分類を
行うと模様に起因するエッジが平坦稜エッジ（にて示
す）であることが判明する。
なる領域に分割された模様が有る場合には、その模様が
存在する平面は同図（ｂ）に示す如く、エッジの分類を
行うと模様に起因するエッジが平坦稜エッジ（にて示
す）であることが判明する。
従って、この平坦稜エッジを除去すれば、同図（ｃ）に
示す如く、物体の純粋な外形形状を得ることが可能にな
る。
示す如く、物体の純粋な外形形状を得ることが可能にな
る。
以上のように本発明によれば、ステレオ法により得られ
た画像からエッジのいずれの側に面が存在するかを決定
して実平面を抽出することか可能になり、従来はエッジ
単位でのみ距離情報が得られていたのが、面の情報とし
て得られるようになる。従って、特定の面上の任意の点
に関しての距離情報等を得ることが可能になる。またそ
れぞれのエッジから虚セグメントを除去した残りの実セ
グメントの数によりエッジを分類し、更に実セグメント
が二つ残っている稜エッジをその両側の平面の法線がな
す角度により凸，凹，平坦の稜エッジに分類しているの
で、従来では複数の解釈が行われて処理が中断するよう
な場合にもより厳密で正確な定量的画像処理が可能にな
る。
た画像からエッジのいずれの側に面が存在するかを決定
して実平面を抽出することか可能になり、従来はエッジ
単位でのみ距離情報が得られていたのが、面の情報とし
て得られるようになる。従って、特定の面上の任意の点
に関しての距離情報等を得ることが可能になる。またそ
れぞれのエッジから虚セグメントを除去した残りの実セ
グメントの数によりエッジを分類し、更に実セグメント
が二つ残っている稜エッジをその両側の平面の法線がな
す角度により凸，凹，平坦の稜エッジに分類しているの
で、従来では複数の解釈が行われて処理が中断するよう
な場合にもより厳密で正確な定量的画像処理が可能にな
る。
第１図は本発明に係る画像処理方法を実施するための画
像処理装置の構成を示すブロック図、第２図はその撮像
装置の撮像の状況を示す模式図、第３図は本発明方法の
手順を示すフローチャート、第４図は画像処理結果の境
界線表現の例を示す模式図、第５図は３次元ブロックの
境界線を示す模式図、第６図（ａ）はステレオ法により
得られる原画像の模式図、同（ｂ）は（ａ）の画像をセ
グメントにて示した模式図、同（ｃ）はそのオクルージ
ョン点の検出結果を示す模式図、第７図（ａ）及び
（ｂ）はオクルージョンの検出方法を説明するための模
式図、同（ｃ）はオクルージョン点での実セグメント及
び虚セグメントを示す模式図、第８図は境界線とそれに
含まれるセグメントの種類による分類を示す模式図、第
９図はあるブロック上に他のブロックが位値する場合の
シーンの境界線を示す模式図、第10図（ａ）は第９図に
おいて両ブロックが接触している場合の実セグメントと
虚セグメントとを示す模式図、同図（ｂ）は両ブロック
が接触していない場合の実セグメントと虚セグメントと
を示す模式図、第11図（ａ）はブロックが床面上に存在
する場合のセグメントの分類を示す模式図、同図（ｂ）
ブロックが床面上空に浮いている場合のセグメントの分
類を示す模式図、第12図は穴が空いたブロックの存在す
るシーンの境界線を示す模式図、第13図はその穴の内側
の右回りの境界線を示す模式図、第14図（ａ），（ｂ）
は三つのブロックにて構成されるシーンの実平面を抽出
した結果を示す模式図、第15図（ａ）は二つのブロック
が重なって存在するシーンから実平面を抽出した結果を
示す模式図、同図（ｂ）は穴が空いたブロックが存在す
るシーンから実平面を抽出した結果を示す模式図、第16
図は３次元ブロックのエッジとその両側に存在する平面
相互間の法線を示す模式図、第17図（ａ）は二つのブロ
ックが重なって存在するシーンのオクルージョン点及び
エッジの分類結果を示す模式図、同（ｂ）は穴が空いた
ブロックのオクルージョン点及びエッジの分類結果を示
す模式図、第18図（ａ）は模様が有る平面を有するブロ
ックの原画像の模式図，同（ｂ）はそのエッジ分類の結
果を示す模式図、同（ｃ）はそれから平坦稜エッジを除
去して純粋な立体形状を抽出した結果を示す模式図であ
る。 B1,B2…：境界線、S11,S12…：セグメント
像処理装置の構成を示すブロック図、第２図はその撮像
装置の撮像の状況を示す模式図、第３図は本発明方法の
手順を示すフローチャート、第４図は画像処理結果の境
界線表現の例を示す模式図、第５図は３次元ブロックの
境界線を示す模式図、第６図（ａ）はステレオ法により
得られる原画像の模式図、同（ｂ）は（ａ）の画像をセ
グメントにて示した模式図、同（ｃ）はそのオクルージ
ョン点の検出結果を示す模式図、第７図（ａ）及び
（ｂ）はオクルージョンの検出方法を説明するための模
式図、同（ｃ）はオクルージョン点での実セグメント及
び虚セグメントを示す模式図、第８図は境界線とそれに
含まれるセグメントの種類による分類を示す模式図、第
９図はあるブロック上に他のブロックが位値する場合の
シーンの境界線を示す模式図、第10図（ａ）は第９図に
おいて両ブロックが接触している場合の実セグメントと
虚セグメントとを示す模式図、同図（ｂ）は両ブロック
が接触していない場合の実セグメントと虚セグメントと
を示す模式図、第11図（ａ）はブロックが床面上に存在
する場合のセグメントの分類を示す模式図、同図（ｂ）
ブロックが床面上空に浮いている場合のセグメントの分
類を示す模式図、第12図は穴が空いたブロックの存在す
るシーンの境界線を示す模式図、第13図はその穴の内側
の右回りの境界線を示す模式図、第14図（ａ），（ｂ）
は三つのブロックにて構成されるシーンの実平面を抽出
した結果を示す模式図、第15図（ａ）は二つのブロック
が重なって存在するシーンから実平面を抽出した結果を
示す模式図、同図（ｂ）は穴が空いたブロックが存在す
るシーンから実平面を抽出した結果を示す模式図、第16
図は３次元ブロックのエッジとその両側に存在する平面
相互間の法線を示す模式図、第17図（ａ）は二つのブロ
ックが重なって存在するシーンのオクルージョン点及び
エッジの分類結果を示す模式図、同（ｂ）は穴が空いた
ブロックのオクルージョン点及びエッジの分類結果を示
す模式図、第18図（ａ）は模様が有る平面を有するブロ
ックの原画像の模式図，同（ｂ）はそのエッジ分類の結
果を示す模式図、同（ｃ）はそれから平坦稜エッジを除
去して純粋な立体形状を抽出した結果を示す模式図であ
る。 B1,B2…：境界線、S11,S12…：セグメント
───────────────────────────────────────────────────── フロントページの続き 審査官 広岡 浩平
Claims (4)
- 【請求項１】三次元空間中に位置する同一の認識対象を
同一平面上の異なる位置に配された複数の撮像装置によ
り撮像した複数の画像それぞれから共通の線分の情報を
得て、それらが連結されて閉塞された境界線にて囲繞さ
れる平面を抽出する画像処理方法において、 求められた境界線の各線分について、それぞれの線分に
沿う両方向のセグメントを設定し、 各セグメントを、各線分の中途から他の線分が分岐する
場合にその線分の前記他の線分が分岐しない側に沿うセ
グメントを、物体がその後方の物体または背景を隠して
いる面の境界を表す実セグメントとして、各線分の中途
から他の線分が分岐する場合にその線分の前記他の線分
が分岐する側に沿うセグメントを、その前記撮像装置側
の物体とその後方の物体または背景との境界を表す虚セ
グメントとして、いずれとも決定不可能なセグメントを
未確認セグメントとして分類し、 それぞれの境界線について、 総ての実セグメントを含み虚セグメントを含まないセグ
メントの組合わせにて平面を仮定し、 総てのセグメントが仮定された平面上またはその平面に
よって分割された二つの空間の内の前記撮像装置側の空
間に位置するような唯一の平面である場合に前記仮定さ
れた平面を実在する平面として抽出し、 前記抽出された平面上の未確認セグメントを実セグメン
トとして、前記抽出された平面の前記撮像装置側の空間
に位置する未確認セグメントを虚セグメントとして未確
認セグメントを分類すること を特徴とする画像処理方法。 - 【請求項２】三次元空間中に位置する同一の認識対象を
同一平面上の異なる位置に配された複数の撮像装置によ
り撮像した複数の画像それぞれから共通の線分の情報を
得て、それらが連結されて閉塞された境界線にて囲繞さ
れる平面を抽出する画像処理方法において、 求められた境界線の各線分について、それぞれの線分に
沿う両方向のセグメントを設定し、 各セグメントを、各線分の中途から他の線分が分岐する
場合にその線分の前記他の線分が分岐しない側に沿うセ
グメントを、物体がその後方の物体または背景を隠して
いる面の境界を表す実セグメントとして、各線分の中途
から他の線分が分岐する場合にその線分の前記他の線分
が分岐する側に沿うセグメントを、その前記撮像装置側
の物体とその後方の物体または背景との境界の表す虚セ
グメントとして、いずれとも決定不可能なセグメントを
未確認セグメントとして分類し、 それぞれの境界線について、 総ての実セグメントを含み虚セグメントを含まないセグ
メントの組合わせにて平面を仮定し、 総てのセグメントが仮定された平面上またはその平面に
よって分割された二つの空間の内の前記撮像装置側の空
間に位置するような唯一の平面である場合に前記仮定さ
れた平面を実在する平面として抽出し、 前記抽出された平面上のセグメントを実セグメントと
し、前記抽出された平面の前記撮像装置側の空間に位置
するセグメントを虚セグメントとして未確認セグメント
を分類し、 それぞれのエッジについて、 それぞれに沿う両セグメントが実セグメントである場合
は二つの面の交線を表す稜エッジとして、また一方のみ
が実セグメントである場合は物体と背景またはその後方
に位置する物体に対する輪郭を表す輪郭エッジとして分
類し、 前記稜エッジを、その両側に位置する実在する平面相互
間の法線方向角度により凹エッジ，凸エッジ及び平坦エ
ッジに分類すること を特徴とする画像処理方法。 - 【請求項３】三次元空間中に位置する同一の認識対象を
同一平面上の異なる位置に配された複数の撮像装置によ
り撮像した複数の画像それぞれから共通の線分の情報を
得て、それらが連結されて閉塞された境界線にて囲繞さ
れる平面を抽出する画像処理方法において、 求められた境界線の各線分について、それぞれの線分に
沿う両方向のセグメントを設定し、 複数の画像それぞれの共通する線分に対して、前記画像
の一つまたは複数において各線分の中途から他の線分が
分岐している場合に、一方の画像上での分岐位置が他方
の画像の分岐位置と共通しない場合にその分岐点をオク
ルージョン点と見做し、 各セグメントを、前記オクルージョン点を通る各線分の
中途から他の線分が分岐する場合に前記各線分の前記他
の線分が分岐しない側に沿うセグメントを、物体がその
後方の物体または背景を隠している面の境界を表す実セ
グメントとして、前記オクルージョン点を通る各線分の
中途から他の線分が分岐する場合に前記各線分の前記他
の線分が分岐する側に沿うセグメントを、その前記撮像
装置側の物体とその後方の物体または背景との境界を表
す虚セグメントとして、いずれとも決定不可能なセグメ
ントを未確認セグメントとして分類し、 それぞれの境界線について、 総ての実セグメントを含み虚セグメントを含まないセグ
メントの組合わせにて平面を仮定し、 総てのセグメントが仮定された平面上またはその平面に
よって分割された二つの空間の内の前記撮像装置側の空
間に位置するような唯一の平面である場合に前記仮定さ
れた平面を実在する平面として抽出し、 前記抽出された平面上の未確認セグメントを実セグメン
トとして、前記抽出された平面の前記撮像装置側の空間
に位置する未確認セグメントを虚セグメントとして未確
認セグメントを分類すること を特徴とする画像処理方法。 - 【請求項４】三次元空間中に位置する同一の認識対象を
同一平面上の異なる位置に配された複数の撮像装置によ
り撮像した複数の画像それぞれから共通の線分の情報を
得て、それらが連結されて閉塞された境界線にて囲繞さ
れる平面を抽出する画像処理方法において、 求められた境界線の各線分について、それぞれの線分に
沿う両方向のセグメントを設定し、 複数の画像それぞれの共通する線分に対して、前記画像
の一つまたは複数において各線分の中途から他の線分が
分岐している場合に、一方の画像上での分岐位置が他方
の分岐位置と共通しない場合にその分岐点をオクルージ
ョン点と見做し、 各セグメントを、前記オクルージョン点を通る各線分の
中途から他の線分が分岐する場合に前記各線分の前記他
の線分が分岐しない側に沿うセグメントを、物体がその
後方の物体または背景を隠している面の境界を表す実セ
グメントとして、前記オクルージョン点を通る各線分の
中途から他の線分が分岐する場合に前記各線分の前記他
の線分が分岐する側に沿うセグメントを、その前記撮像
装置側の物体とその後方の物体または背景との境界を表
す虚セグメントとして、いずれとも決定不可能なセグメ
ントを未確認セグメントとして分類し、 それぞれの境界線について、 総ての実セグメントを含み虚セグメントを含まないセグ
メントの組合わせにて平面を仮定し、 総てのセグメントが仮定された平面上またはその平面に
よって分割された二つの空間の内の前記撮像装置側の空
間に位置するような唯一の平面である場合に前記仮定さ
れた平面を実在する平面として抽出し、 前記抽出された平面上のセグメントを実セグメントと
し、前記抽出された平面の前記撮像装置側の空間に位置
するセグメントを虚セグメントとして未確認セグメント
を分類し、 それぞれのエッジについて、 それぞれに沿う両セグメントが実セグメントである場合
は二つの面の交線を表す稜エッジとして、また一方のみ
が実セグメントである場合は物体と背景またはその後方
に位置する物体に対する輪郭を表す輪郭エッジとして分
類し、 前記稜エッジを、その両側に位置する実在する平面相互
間の法線方向角度により凹エッジ，凸エッジ及び平坦エ
ッジに分類することを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63226761A JPH0766445B2 (ja) | 1988-09-09 | 1988-09-09 | 画像処理方法 |
| US07/601,657 US5202928A (en) | 1988-09-09 | 1989-07-21 | Surface generation method from boundaries of stereo images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63226761A JPH0766445B2 (ja) | 1988-09-09 | 1988-09-09 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0273474A JPH0273474A (ja) | 1990-03-13 |
| JPH0766445B2 true JPH0766445B2 (ja) | 1995-07-19 |
Family
ID=16850201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63226761A Expired - Lifetime JPH0766445B2 (ja) | 1988-09-09 | 1988-09-09 | 画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5202928A (ja) |
| JP (1) | JPH0766445B2 (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69132486T2 (de) * | 1990-09-04 | 2001-05-10 | Canon Kk | Dreidimensionales Modellierungsgerät-und Verfahren |
| JPH0831136B2 (ja) * | 1990-09-19 | 1996-03-27 | 工業技術院長 | 画像処理方法 |
| US5448692A (en) * | 1991-03-27 | 1995-09-05 | Ricoh Company, Ltd. | Digital image processing device involving processing of areas of image, based on respective contour line traces |
| US5682198A (en) * | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
| US5768404A (en) * | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
| JP2989744B2 (ja) * | 1994-06-13 | 1999-12-13 | 株式会社東芝 | 測定面抽出装置及びその方法 |
| JP3486461B2 (ja) * | 1994-06-24 | 2004-01-13 | キヤノン株式会社 | 画像処理装置及び方法 |
| JPH0877356A (ja) * | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
| US5963664A (en) * | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
| JP3054681B2 (ja) * | 1995-07-19 | 2000-06-19 | 工業技術院長 | 画像処理方法 |
| US5825915A (en) * | 1995-09-12 | 1998-10-20 | Matsushita Electric Industrial Co., Ltd. | Object detecting apparatus in which the position of a planar object is estimated by using hough transform |
| US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
| US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| US6647146B1 (en) | 1997-08-05 | 2003-11-11 | Canon Kabushiki Kaisha | Image processing apparatus |
| EP0901105A1 (en) | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
| DE69823116D1 (de) | 1997-08-05 | 2004-05-19 | Canon Kk | Bildverarbeitungsverfahren und -gerät |
| US6205242B1 (en) * | 1997-09-29 | 2001-03-20 | Kabushiki Kaisha Toshiba | Image monitor apparatus and a method |
| JP4698831B2 (ja) * | 1997-12-05 | 2011-06-08 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | 画像変換および符号化技術 |
| US6873723B1 (en) * | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
| US6307959B1 (en) | 1999-07-14 | 2001-10-23 | Sarnoff Corporation | Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation |
| US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
| US6865289B1 (en) * | 2000-02-07 | 2005-03-08 | Canon Kabushiki Kaisha | Detection and removal of image occlusion errors |
| JP3518465B2 (ja) * | 2000-02-18 | 2004-04-12 | 日本電気株式会社 | 被写体抽出装置、被写体抽出方法、及び被写体抽出プログラムを記録した記録媒体 |
| US7660444B2 (en) * | 2000-02-24 | 2010-02-09 | Nokia Corporation | Method and apparatus for user recognition using CCD cameras |
| US6775397B1 (en) | 2000-02-24 | 2004-08-10 | Nokia Corporation | Method and apparatus for user recognition using CCD cameras |
| US7043080B1 (en) * | 2000-11-21 | 2006-05-09 | Sharp Laboratories Of America, Inc. | Methods and systems for text detection in mixed-context documents using local geometric signatures |
| US6751345B2 (en) | 2001-02-12 | 2004-06-15 | Koninklijke Philips Electronics N.V. | Method and apparatus for improving object boundaries extracted from stereoscopic images |
| JP4679757B2 (ja) * | 2001-06-01 | 2011-04-27 | パナソニック株式会社 | ３次元図形生成装置、及び３次元図形生成方法 |
| JP4156893B2 (ja) * | 2002-09-27 | 2008-09-24 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
| US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
| US7030881B2 (en) * | 2003-03-25 | 2006-04-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for converting two-dimensional objects to distance fields |
| US7106332B2 (en) * | 2003-03-25 | 2006-09-12 | Mitsubishi Electric Research Laboratories, Inc. | Method for converting two-dimensional pen strokes to distance fields |
| US20040223640A1 (en) * | 2003-05-09 | 2004-11-11 | Bovyrin Alexander V. | Stereo matching using segmentation of image columns |
| DE102004007049A1 (de) * | 2004-02-13 | 2005-09-01 | Robert Bosch Gmbh | Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera |
| GB2418310B (en) * | 2004-09-18 | 2007-06-27 | Hewlett Packard Development Co | Visual sensing for large-scale tracking |
| US7862336B2 (en) * | 2004-11-26 | 2011-01-04 | Cadent Ltd. | Method and system for providing feedback data useful in prosthodontic procedures associated with the intra oral cavity |
| US8300085B2 (en) * | 2005-10-14 | 2012-10-30 | Microsoft Corporation | Occlusion handling in stereo imaging |
| US8675951B2 (en) * | 2007-05-11 | 2014-03-18 | Three Pixels Wide Pty Ltd. | Method and system for generating a 3D model |
| CN101540050B (zh) * | 2009-04-30 | 2011-10-26 | 清华大学 | 一种获取景物边界的方法和装置 |
| JP5713159B2 (ja) * | 2010-03-24 | 2015-05-07 | 独立行政法人産業技術総合研究所 | ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム |
| US8989481B2 (en) * | 2012-02-13 | 2015-03-24 | Himax Technologies Limited | Stereo matching device and method for determining concave block and convex block |
| JP6021541B2 (ja) * | 2012-09-13 | 2016-11-09 | キヤノン株式会社 | 画像処理装置及び方法 |
| CN103903246A (zh) | 2012-12-26 | 2014-07-02 | 株式会社理光 | 物体检测方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4594673A (en) * | 1983-06-28 | 1986-06-10 | Gti Corporation | Hidden surface processor |
| US4901252A (en) * | 1984-07-13 | 1990-02-13 | International Business Machines Corporation | Method for producing planar geometric projection images |
| JPH0756678B2 (ja) * | 1985-11-01 | 1995-06-14 | 株式会社日立製作所 | 対話形形状モデリングシステム |
| JPS62293381A (ja) * | 1986-06-11 | 1987-12-19 | Toshiba Corp | 立体画像表示装置 |
| JPH0785271B2 (ja) * | 1986-06-27 | 1995-09-13 | 株式会社日立製作所 | 形状モデリング方法 |
| US4791482A (en) * | 1987-02-06 | 1988-12-13 | Westinghouse Electric Corp. | Object locating system |
-
1988
- 1988-09-09 JP JP63226761A patent/JPH0766445B2/ja not_active Expired - Lifetime
-
1989
- 1989-07-21 US US07/601,657 patent/US5202928A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0273474A (ja) | 1990-03-13 |
| US5202928A (en) | 1993-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0766445B2 (ja) | 画像処理方法 | |
| CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| JP5713159B2 (ja) | ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム | |
| CN112793564B (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助*** | |
| CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| KR19990067273A (ko) | 컴퓨터 입체 관찰 시스템 및 그 방법 | |
| CN111178150A (zh) | 车道线检测方法、***及存储介质 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| CN113807451A (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
| CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| Collins et al. | Site model acquisition and extension from aerial images | |
| JP2532985B2 (ja) | ３次元画像評価装置 | |
| JP3797686B2 (ja) | 形状認識装置及びその方法 | |
| CN113409242A (zh) | 一种轨交弓网点云智能监测方法 | |
| JP7363504B2 (ja) | オブジェクト検出方法、検出装置及び電子機器 | |
| CN111179271B (zh) | 一种基于检索匹配的物体角度信息标注方法及电子设备 | |
| CN115239801B (zh) | 一种对象定位方法及装置 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| CN113379899B (zh) | 一种建筑工程工作面区域图像自动提取方法 | |
| JP4172236B2 (ja) | 顔画像処理装置及びプログラム | |
| CN114359352A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| Cobzas et al. | Planar patch extraction with noisy depth data | |
| AU5937796A (en) | Visual recognition method | |
| CN111798431A (zh) | 一种实时消失点检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 14 |