JP3864491B2 - 視差算出装置、距離算出装置およびこれらの方法 - Google Patents
視差算出装置、距離算出装置およびこれらの方法 Download PDFInfo
- Publication number
- JP3864491B2 JP3864491B2 JP09933497A JP9933497A JP3864491B2 JP 3864491 B2 JP3864491 B2 JP 3864491B2 JP 09933497 A JP09933497 A JP 09933497A JP 9933497 A JP9933497 A JP 9933497A JP 3864491 B2 JP3864491 B2 JP 3864491B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- parallax
- corresponding point
- image
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、２台以上のカメラで同一の対象物の基準画像と参照画像とを撮影し、これらの画像の画素それぞれを相互に対応付けて、２台のカメラの対象物に対する視差、および、対象物と２台のカメラとの間の距離を、画素ごとに求める視差測定装置、距離算出装置（いわゆるステレオ画像処理装置）およびこれらの方法に関する。
【０００２】
【従来の技術】
例えば、文献「解説，ビデオレート・ステレオマシン（A Video-rate Stereomachine；金出，木村 著、日本ロボット学会誌 vol.13 No.3, pp.322〜pp.326 1995 ）」には、２箇所以上から同一の対象物を撮影することにより、あるいは、２台以上のカメラで撮影することにより得た複数の画像の間で、互いに対応する画素の間の視差情報を得て、対象物上の各点の距離、あるいは、対象物の形状を計測する、いわゆるステレオ画像処理装置が開示されている。
【０００３】
しかしながら、従来のステレオ画像処理装置を用いると、背景と対象物との位置関係によっては、対象物の輪郭の近傍において複数の画像間で画素の対応付けが不正確になり、画素間の視差情報、対象物の距離および形状を正しく計測できないという問題が生じる。
【０００４】
【発明が解決しようとする課題】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができる視差測定装置を提供することを目的とする。
また、本発明は、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することにより、対象物の正確な距離および形状を計測することができる距離算出装置を提供することを目的とする。
また、本発明は、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができ、対象物の正確な距離および形状を計測することができる視差・距離算出方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明によれば、対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成する第１の画像生成手段と、前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成する第２の画像生成手段と、前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段とを有し、
前記視差補正手段は、前記第１の画素それぞれと前記対応点それぞれとのエリアベースマッチング法に基づく評価関数を参照して対応が確実か否かを評価する確実性評価手段と、前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する補正手段とを有し、
前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
視差算出装置が提供される。
【０００６】
好ましくは、前記視差補正手段は、前記算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する。
【０００７】
また好ましくは、前記対応点検出手段は、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記視差算出手段の前記補正手段は、前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記エリアベースマッチング法による評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する。
【０００８】
また本発明によれば、対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成する第１の画像生成手段と、前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成する第２の画像生成手段と、前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、前記算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段と、前記補正した前記第１の視差と、前記第１の画像生成手段および前記第２の画像生成手段の撮影位置または撮影方向の関係とに基づいて、前記第１の画像生成手段および前記第２の画像生成手段と、前記対象物との間の距離を算出する距離算出手段とを有し、
前記視差補正手段は、前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かをエリアベースマッチング法に基づく評価関数を用いて評価する確実性評価手段と、前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する補正手段とを有し、
前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
距離算出装置が提供される。
【０００９】
本発明によれば、対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成し、
前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成し、
前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出し、
前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出し、
前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正し、
前記補正した前記第１の視差と、前記第１の画像および前記第２の画像の撮影位置とに基づいて、前記第１の画像および前記第２の画像の撮影位置と、前記対象物との間の距離を算出し、
前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成し、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
視差・距離算出方法が提供される。
【００１０】
本発明に係る視差測定装置において、第１の画像生成手段および第２の画像生成手段は、異なる位置に配置され、同一の対象物を撮影する２台以上のカメラ、あるいは、移動して異なる位置から同一の対象物を撮影する１台のカメラであって、異なる位置それぞれから対象物を撮影して、同一対象物の第１の画像（基準画像）および第２の画像（参照画像）を生成する。
【００１１】
対応点検出手段は、基準画像の画素（基準画素）それぞれと、参照画像の画素（参照画素）それぞれとを対応付けて、基準画素それぞれに対応する参照画素（対応点）を検出する。
【００１２】
具体的には、対応点検出手段は、例えば、第ｋ番目の基準画素の位置と、第１の画像生成手段および第２の画像生成手段の位置関係とから与えられ、第ｋ番目の基準画素と対応する参照画素が存在する範囲を示す仮想的な直線（エピポーラライン；epipolar line ）上の参照画素を中心画素とするｎ×ｎ構成の画素ブロック（第１の画素ブロック）と、第ｋ番目の基準画素を中心画素とするｎ×ｎ構成の画素ブロックとの間で、対応する画素間の差分の２乗値の総和〔ＳＳＤ(sum of squared differences)〕を順次、算出し、第ｋ番目の基準画素に対する対応点として、ＳＳＤが最も小さい値を示す参照画素を検出する。
【００１３】
つまり、対応点検出手段は、例えば、ＳＳＤを評価関数として用い、第ｋ番目の基準画素を中心画素とする画素ブロックに含まれる画素それぞれの画素値と、エピポーラライン上の参照画素を中心画素とする同一構成の画素ブロックに含まれる画素値とを評価関数に代入し、第ｋ番目の基準画素の対応点として、画素ブロック間の差分（差分の自乗和）が最小となり、相関性が最も高いと考えられる参照画素を検出する。なお、この評価関数としてのＳＳＤの値は、対応点の検出の確からしさ（確実性）をも示している。
【００１４】
第１の視差算出手段は、第ｋ番目の基準画素とその対応点との視差（第１の視差）を、例えば画素単位で算出する。
【００１５】
確実性評価手段は、例えば、ＳＳＤの値が所定の閾値以下となる対応点の検出を確実であり、第ｋ番目の基準画素と対応点とは確実に対応すると評価し、ＳＳＤの値が所定の閾値以下とならない対応点の検出は確実でなく、第ｋ番目の基準画素と対応点との対応は不確実であると評価する。
【００１６】
視差補正手段は、対応点の検出が確実でない場合には、例えば、第ｋ番目の基準画素を中心画素とするｍ×ｍ構成（ｍ≧ｎ）の画素ブロック（第２の画素ブロック）に含まれる画素それぞれと、これらの画素の対応点のＳＳＤの内、最小のＳＳＤを示す基準画素と対応点との間の視差で、第ｋ番目の基準画素とその対応点との間の視差を置換することにより補正を行い、第２の視差を算出する。
【００１７】
つまり、換言すると、第２の視差算出手段は、対応点の検出が確実でない場合には、例えば、第ｋ番目の基準画素の近傍の基準画素を中心画素とするｎ×ｎ構成の基準画像内の画素ブロックそれぞれと、第ｋ番目の基準画素の近傍の画素を中心画素とするｎ×ｎ構成の画素ブロックに含まれる基準画素それぞれの対応点を中心とするｎ×ｎ構成の参照画像内の画素ブロックそれぞれとの相関性を判定し、第ｋ番目の基準画素とその対応点との間の視差を、最も高い相関性を示す画素ブロックの中心画素の基準画素と、最も高い相関性を示す画素ブロックの中心画素の対応点と間の視差で置き換えて、第ｋ番目の基準画素とその対応点との間の視差（第１の視差）を補正し、第２の視差を生成する。
【００１８】
このように、第２の視差算出手段が、対応が確実でない基準画素および対応点についてのみ視差の補正を行うようにすることにより、無条件に視差を補正する場合に比べて、本発明に係る視差算出装置全体として、視差の算出に要する演算量の増加を抑制することができる。
また、第ｋ番目の基準画素とその対応点との間の視差を、第ｋ番目の基準画素の近傍の基準画素と、この第ｋ番目の基準画素の近傍の基準画素の対応点との視差で置き換えることは、例えば、背景と対象物の境界（エッジ）部分を避けて視差を検出することを意味し、エッジ等の部分で生じやすい視差の誤差を少なくする。
【００１９】
また、本発明に係る距離算出装置は、対象物を撮影して第１の画像を生成する第１の画像生成手段と、前記対象物を撮影して第２の画像を生成する第２の画像生成手段と、生成した前記第１の画像の画素（第１の画素）それぞれと、生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、前記第１の画素それぞれと、検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段と、補正した前記第１の視差と、前記第１の画像生成手段および前記第２の画像生成手段の位置関係とに基づいて、前記第１の画像生成手段および前記第２の画像生成手段と、前記対象物との間の距離を算出する距離算出手段とを有する。
【００２０】
好適には、前記視差補正手段は、算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する。
【００２１】
好適には、前記視差補正手段は、前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かを評価する確実性評価手段と、算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する補正手段とを有する。
【００２２】
好適には、前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、所定の評価関数を用いて前記対応点を検出し、前記視差補正手段の前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記所定の評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する。
【００２３】
好適には、前記対応点検出手段は、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記所定の評価関数を用いて前記対応点を検出し、前記視差算出手段の前記補正手段は、前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する。
【００２４】
また、本発明に係る視差・距離算出方法は、対象物を撮影して第１の画像を生成し、前記対象物を撮影して第２の画像を生成し、生成した前記第１の画像の画素（第１の画素）それぞれと、生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出し、前記第１の画素それぞれと、検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出し、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正し、補正した前記第１の視差と、前記第１の画像および前記第２の画像の撮影位置とに基づいて、前記第１の画像および前記第２の画像の撮影位置と、前記対象物との間の距離を算出する。
【００２５】
好適には、算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する。
【００２６】
好適には、前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かを評価し、算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する。
【００２７】
好適には、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、所定の評価関数を用いて前記対応点を検出し、前記第１の画素と、この第１の画素の対応点とに対する前記所定の評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する。
【００２８】
好適には、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記所定の評価関数を用いて前記対応点を検出し、前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する。
【００２９】
【発明の実施の形態】
ステレオ画像処理
本発明の実施例の理解を容易にするために、まず、図１（Ａ）〜（Ｃ）を参照して、ステレオ画像処理を説明する。
図１（Ａ）〜（Ｃ）は、ステレオ画像処理を示す図である。
【００３０】
上述のように、ステレオ画像処理は、２つ以上の方向からカメラで同一対象物を撮影して得られる複数の画像間の画素同士を対応付け、対応する画素間の視差情報を、カメラから対象物までの距離情報に変換し、対象物の距離および形状またはこれらのいずれかを測定する。
【００３１】
つまり、例えば、図１（Ａ）に示すように、２台のカメラＡ１０1 およびカメラＢ１０2 で対象物２２を撮影すると、図１（Ｂ）に示すように、カメラＡ１０1 からは対象物の画像２２０ａを含む画像２４ａ（基準画像）が得られ、カメラＢ１０2 からは対象物の画像２２０ｂを含む画像（参照画像）２４ｂが得られ、対象物の画像２２０ａ，２２０ｂには、対象物２２上の同一の部分を撮影した画素（対応点ｋ，ｋ’）が含まれる。
【００３２】
基準画像２４ａおよび参照画像２４ｂの間の対応点を検出すると、図１（Ｃ）に示すように、これらの対応点ｋ，ｋ’間の視差を画素単位に求めることができる。
このように求めた対応点ｋ，ｋ’間の視差と、２台のカメラＡ，Ｂ１０1 ，１０2 の角度（カメラアングル）および距離等とに基づいて、３角測量の原理を応用して、対象物２２上の各点とカメラＡ１０1 およびカメラＢ１０2 との間の距離を測定することができ、さらに、対象物２２上の各点までの距離から、対象物２２の形状を解析することができる。
【００３３】
エリアベースマッチング
ステレオ画像処理において、基準画像２４ａの対象物の画像２２０ａ上の点（画素）ｋと、参照画像２４ｂの対象物の画像２２０ｂ上の対応する画素（対応点）ｋ’とを対応付ける方法として、例えば、エリアベースマッチング法が採られる。
【００３４】
エリアベースマッチング法は、カメラＡ１０1 およびカメラＡ１０1 の距離および角度（位置関係）と、基準画像２４ａの対象物の画像２２０ａ上の画素の位置とに基づいて、例えば、図１（Ｂ）に破線で示すように、参照画像２４ｂ内に仮想的に引かれる直線であって、画素ｋの参照画像２４ｂにおける対応点ｋ’が存在する範囲を示すエピポーラライン上の画素それぞれを中心画素として、ｎ×ｎ個（例えば、ｎ＝５）の画素を含む参照画像２４ｂの正方形の画素ブロックと、画素ｋを中心画素として、ｎ×ｎ個の画素を含む基準画像２４ａの正方形の画素ブロックとの相関性を、所定の評価関数を用いて判定し、最も高い相関性を示す参照画像２４ｂの画素ブロックの中心画素を、画素ｋの対応点ｋ’として検出する。
【００３５】
なお、対称点の検出に、ｎ×ｎ構成の画素ブロックを用いる理由は、ノイズの影響を軽減し、画素ｋの周囲の画素のパターンの特徴と、参照画像２４ｂの対象点ｋ’の周囲の画素のパターンの特徴との相関性を明確化して判断することにより、対応点の検出の確実を期すためであり、特に、変化が少ない基準画像２４ａおよび参照画像２４ｂに対しては、大きい画素ブロックを用いれば用いるほど対応点の検出の確実性が増す。
【００３６】
エリアベースマッチング法において、画素ブロック間の相関性を評価する評価関数としては、例えば、２つの画素ブロックの対応する画素同士の画素データの差分値の２乗値の総和（ＳＳＤ；式１）、２つの画素ブロックの対応する画素同士の画素データの差分値の絶対値の総和、あるいは、正規化された相互相関(normalized cross correlation)が用いられる。以下、エリアベースマッチング法の評価関数として、ＳＳＤが用いられる場合を例に説明する。
【００３７】
【数１】
【００３８】
ただし、式１において、Ｉ（ｘ，ｙ）は、基準画像２４ａ内の座標（ｘ，ｙ）の画素の画素データを示し、Ｊ（ｘ，ｙ）は参照画像２４ｂ内の座標（ｘ，ｙ）の画素の画素データを示し、ηはｘ方向の視差を示し、ξはｙ方向の視差を示し、ｗは各画素ブロックを示す。
【００３９】
つまり、ステレオ画像処理は、エリアベースマッチング法により、参照画像２４ａ内の画素ｋに対応する参照画像２４ｂ内のエピポーララインに沿って、視差（η，ξ）を変化させながら、基準画像２４ａおよび参照画像２４ｂの画素ブロック間のＳＳＤを順次、求め、ＳＳＤが最小値ＳＳＤmin となる参照画像２４ｂの画素を、画素ｋの対応点ｋ’として検出し、さらに、検出した対応点ｋ’の視差（ηmin ，ξmin ）を、式２に代入して視差ζを算出する。
カメラＡ１０1 およびカメラＢ１０2 から対象物２２上の各点までの距離は、上述のように、求めた視差ζとカメラＡ１０1 およびカメラＢ１０2 の位置関係から算出することができる。
【００４０】
【数２】
【００４１】
評価関数（ＳＳＤ）の値
なお、ＳＳＤの値は、基準画像２４ａおよび参照画像２４ｂの画素ブロックに含まれ、互いに対応する画素の画素データの値（画素値）の差が少なければ少ないほど小さくなる。
【００４２】
従って、ＳＳＤの最小値ＳＳＤmin の値は、基準画像２４ａの画素ｋの参照画像２４ｂにおける対応点ｋ’の検出の確実性に対応し、最小値ＳＳＤmin の値が小さければ小さいほど、画素ｋと対応点ｋ’の対応が正しい可能性が増し、検出が確実であることを示し、逆に、最小値ＳＳＤmin の値が大きければ大きいほど、画素ｋと対応点ｋ’の対応が正しくない可能性が増し、検出が不確実であることを示す。
【００４３】
エリアベースマッチング法の問題点
次に、図２および図３を参照して、エリアベースマッチング法の問題点を説明する。
図２（Ａ），（Ｂ）は、背景２０の前方に置かれた対象物２２をカメラＡ１０1 およびカメラＢ１０2 で撮影して得られる基準画像２４ａおよび参照画像２４ｂを示す図である。
図３は、エリアベースマッチング法による対応点の誤検出を例示する図である。
【００４４】
例えば、図２（Ａ）に示したように、背景２０に前置された対象物２２をカメラＡ１０1 およびカメラＢ１０2 で撮影して得られた、図２（Ｂ）に示す基準画像２４ａおよび参照画像２４ｂに対して、エリアベースマッチング法を用いて対応点の検出処理を行った場合、図３に示す基準画像２４ａの対象物２２と背景の境界（エッジ）部分の画素ｋの参照画像２４ｂにおける対応点ｋ’を検出する場合、誤検出が生じやすくなることがある。
【００４５】
例えば、画素ｋと対応点ｋ’の間の視差（η，ξ）が非常に大きい場合、図３（ａ）に示すように、カメラＡ１０1 が撮影した基準画像２４ａにおいて、対象物の画像２２０ａに接した背景の画像２００ａの画素ｋの参照画像２４ｂにおける背景の画像２００ｂの本来の対応点ｋ’が、カメラＢ１０2 が撮影した参照画像２４ｂにおいては、図３（ｃ）に示すように、対象物の画像２２０ａから離れた位置にある場合がある。
【００４６】
このような場合、図３（ｂ）に示すように、基準画像２４ａの画素ｋを中心画素とし、一方は対象物の画像２２０ａに含まれ、他方は背景の画像２００ａに含まれるｎ×ｎ構成（以下、ｎ＝５の場合を例に説明を行う）の画素ブロックの２つの領域の画素それぞれの本来の対応点は、参照画像２４ｂにおいては、図３（ｄ）に示すように、離れた位置にあり、視差（η，ξ）が大きく異なる２つの領域に分かれてしまうことがある。
【００４７】
さらに、例えば、背景の画像２００ａ，２００ｂの絵柄と、対象物の画像２２０ａ，２２０ｂの絵柄が大きく異なっている場合には、対象物の画像２２０ａ，２２０ｂと背景の画像２００ａ，２００ｂとを含む画素ブロックを用いたＳＳＤの値が、背景の画像２００ａ，２００ｂのみを含む画素ブロックの値よりも小さくなる。従って、図３（ｅ）に示すように、基準画像２４ａの画素ｋの参照画像２４ｂにおける本来の対応点ｋ’ではなく、対象物の画像２２０ｂに接した画素ｋ”が、画素ｋの参照画像２４ｂにおける対応点として誤検出される可能性が高くなる。なお、このような不具合は、背景の画像２００ａ，２００ｂの絵柄と、対象物の画像２２０ａ，２２０ｂの絵柄が大きく異なっている場合のみではなく、背景の画像２００ａ，２００ｂの絵柄と、対象物の画像２２０ａ，２２０ｂの絵柄が異なっている場合に一般的に生じる。
【００４８】
このような対応点の誤検出は、画素ブロックを小さくすることにより軽減することができるが、画素ブロックを小さくすると、エリアベースマッチング法による対応点の検出の確実性が低くなってしまう。
本発明の実施例は、かかる問題に鑑みてなされたものであり、エリアベースマッチング法による対応点の検出の確実性を高く保ちつつ、画像のエッジ部分等で生じうる対応点の誤検出の影響を減じることができるように構成されている。
【００４９】
距離測定装置１の構成
以下、本発明の実施例として示す距離測定装置１の構成を説明する。
図４は、本発明に係る距離測定装置１の構成を示す図である。
【００５０】
図４に示すように、距離測定装置１は、２台のカメラＡ１０1 ，Ｂ１０2 および距離測定部１２から構成され、距離測定部１２は、カメラインターフェース（カメラＩＦ）回路１２０、画像メモリ回路１２２、演算処理回路（ＣＰＵ）１２４、記録装置（ＨＤＤ）１２６および出力装置１２８から構成される。
【００５１】
距離測定装置１は、これらの構成部分により、カメラＡ１０1 ，Ｂ１０2 により対象物２２を撮影して得られた基準画像２４ａの画素および参照画像２４ｂの画素の間の対応をとり、対応をとった画素間の視差ζを測定し、測定した視差ζに基づいて対象物２２とカメラＡ１０1 ，Ｂ１０2 との間の距離および対象物２２の形状を測定する。
【００５２】
距離測定装置１の構成部分
以下、距離測定装置１の各構成部分を説明する。
【００５３】
カメラＡ１０ 1 ，カメラＢ１０ 2
カメラＡ１０1 およびカメラＢ１０2 は、例えば、異なる位置に固定された２台以上のＣＣＤビデオカメラ、あるいは、移動可能な１台以上のＣＣＤビデオカメラであって、異なる位置から同一の背景２０および対象物２２（図２）を撮影し、それぞれ基準画像２４ａおよび参照画像２４ｂを生成して距離測定部１２に対して出力する。
【００５４】
カメラインターフェース回路１２０
カメラインターフェース回路１２０は、カメラＡ１０1 およびカメラＢ１０2 から入力された基準画像２４ａおよび参照画像２４ｂを受け入れて、画像メモリ回路１２２に対して出力する。
【００５５】
画像メモリ回路１２２
画像メモリ回路１２２は、カメラインターフェース回路１２０を介して入力された基準画像２４ａおよび参照画像２４ｂを、フレーム単位で記憶し、演算処理回路１２４に対して供給する。
【００５６】
演算処理回路１２４
演算処理回路１２４は、例えば、画像処理用のＤＳＰ、制御用のＣＰＵ、ＲＯＭ、ＲＡＭおよびその他の周辺回路（図示せず）から構成され、距離測定装置１の各構成部分を制御するとともに、基準画像２４ａおよび参照画像２４ｂに対してステレオ画像処理を行い、カメラＡ１０1 およびカメラＢ１０2 に対する対象物２２上の各点の視差ζの測定、カメラＡ１０1 およびカメラＢ１０2 と対象物２２上の各点との距離の測定、および、対象物２２の形状の解析を行い、これらの結果を記録装置１２６に記録し、あるいは、出力装置１２８を介して外部に出力する。
【００５７】
演算処理回路１２４のステレオ画像処理
以下、図５をさらに参照して、演算処理回路１２４によるステレオ画像処理の内容を説明する。
図５（Ａ），（Ｂ）は、本発明に係る距離測定装置１（図４）の演算処理回路１２４による視差ζの補正処理を示す図である。
【００５８】
視差の算出
まず、演算処理回路１２４は、基準画像２４ａの各画素と、参照画像２４ｂの各画素とを、例えば上述したように、式１に示したＳＳＤを評価関数として用いてエリアベースマッチング法により対応付け、式２に示した視差ζ1 （第１の視差）を算出し、基準画像２４ａまたは参照画像２４ｂの対応する画素と対応付けて視差画像を生成し、演算処理回路１２４内のＲＡＭに記憶する。
【００５９】
対応点の検出の確実性の評価
次に、演算処理回路１２４は、基準画像２４ａの画素ｋと参照画像２４ｂの対応点ｋ’を検出した際のＳＳＤの最小値ＳＳＤmin が、所定の閾値以下である場合に、基準画像２４ａの画素ｋと対応点ｋ’との対応が確実であると評価し、所定の閾値以下でない場合に、基準画像２４ａの画素ｋと対応点ｋ’との対応が不確実であると評価する。なお、対応点の検出に用いられる閾値は、例えば、実験等により最適な値に設定する。
【００６０】
基準画像２４ａの画素ｋの参照画像２４ｂにおける対応点ｋ’の検出が確実であると判定した場合には、演算処理回路１２４は、算出した第１の視差ζ1 をそのまま正しい視差ζとし、基準画像２４ａの画素ｋの参照画像２４ｂにおける対応点ｋ’の検出が確実でないと判定した場合には、演算処理回路１２４は、以下のような視差ζの補正を行う。
【００６１】
視差の補正
演算処理回路１２４は、図５（Ａ）に示すように、対応が確実でないと判定した基準画素ｋを中心画素とし、対応点の検出に用いたｎ×ｎ構成の画素ブロックを含み、この画素ブロックよりも大きいｍ×ｍ構成（ｍ≧ｎ；但し、ｍ＝ｎの場合を例示）の画素ブロックに含まれる基準画素それぞれと、このｍ×ｍ構成の画素ブロックに含まれる基準画素それぞれとの間のＳＳＤの内、最も小さいＳＳＤの値（ＳＳＤmin ）を示す基準画素と、その対応点とを検出する。
【００６２】
つまり、演算処理回路１２４は、基準画像２４ａの基準画素ｋを中心画素とするｍ×ｍ構成の画素ブロックに含まれるｍ×ｍ個の基準画素それぞれを中心画素とするｎ×ｎ構成の基準画像２４ａ内の画素ブロックそれぞれと、基準画像２４ａの基準画素ｋを中心画素するｍ×ｍ構成の画素ブロックに含まれるｍ×ｍ個の基準画素それぞれの対応点を中心画素とするｎ×ｎ構成の参照画像２４ｂ内の画素ブロックそれぞれとの間のｍ×ｍ個のＳＳＤの値の内、最も小さいＳＳＤの値（ＳＳＤmin ）を示す基準画像２４ａの基準画素が、その対応点と最も確からしく対応すると判定する。
【００６３】
さらに、演算処理回路１２４は、対応点と最も確からしく対応すると判定した基準画像２４ａの画素とその対応点との視差で、視差画像中の画素ｋとその対応点ｋ”との第１の視差ζ1 を置換して、視差ζを補正する。
【００６４】
演算処理回路１２４は、以上のようにして得られた視差ζの値それぞれを、基準画像２４ａまたは参照画像２４ｂの画素それぞれに対応付けた視差画像を生成し、さらに、視差画像に基づいてカメラＡ１０1 およびカメラＢ１０2 と対象物２２上の各点との距離の測定、および／または、対象物２２の形状の解析を行って、これらの結果を記録装置１２６に記憶し、あるいは、出力装置１２８に対して出力する。
【００６５】
視差の補正の意味
このように、基準画像２４ａの画素ｋと、その対応点として最初に検出された参照画像２４ｂの対応点ｋ”との間の第１の視差ζ1 を、基準画像２４ａの画素ｋの近傍において、ＳＳＤの最も小さい値を与える基準画像２４ａの画素とその対応点ｋ’との間の視差に置き換えるということは、例えば、図３（ｂ），（ｄ）に示したように、対象物２２と背景２０の境界（エッジ）部分で誤検出された対応点ｋ”を捨て、図５（Ｂ）に例示するように、対応点の誤検出が生じやすいエッジ部分を避けて、背景の画像２００ａの画素と対象物の画像２２０ａの画素とが混在しない画素ブロックを用いて、最も確からしい対応点との間の視差を求めることを意味する。
【００６６】
従って、基準画像２４ａの画素ｋと対応点ｋ”との間の第１の視差ζ1 の値よりも、基準画像２４ａの画素ｋと対応点ｋ’との間の第２の視差ζ2 の値の方が、より正確であると考えることができる。
【００６７】
距離測定装置１の動作
以下、図６をさらに参照して、距離測定装置１の動作を説明する。
図６は、本発明に係る距離測定装置１の動作を示すフローチャートである。
【００６８】
図６に示すように、ステップ１００（Ｓ１００）において、距離測定装置１の距離測定部１２は、カメラＡ１０1 およびカメラＢ１０2 から複数（２つ）の画像（基準画像２４ａおよび参照画像２４ｂ）を取り込む。
【００６９】
ステップ１０２（Ｓ１０２）において、距離測定部１２の演算処理回路１２４は、基準画像２４ａの画素それぞれを中心画素とするｎ×ｎ構成の画素ブロックと、そのエピポーラライン上の参照画像２４ｂの画素それぞれを中心画素とするｎ×ｎ構成の画素ブロックとの間のＳＳＤを算出し、基準画像２４ａの画素と最小値ＳＳＤmin を与える参照画像２４ｂの画素ブロックの中心画素とを対応付けて対応点の検出を行う。つまり、演算処理回路１２４は、基準画像２４ａの画素と参照画像２４ｂの画素との間で、エリアベースマッチング法による対応点の検出を行う。
【００７０】
ステップ１０４（Ｓ１０４）において、演算処理回路１２４は、基準画像２４ａの画素それぞれと、Ｓ１０２の処理において検出された参照画像２４ｂの対応点との間の第１の視差ζ1 を算出し、基準画像２４ａまたは参照画像２４ｂの画素それぞれと対応付けて視差画像を生成する。
【００７１】
ステップ１０６（Ｓ１０６）において、演算処理回路１２４は、算出した視差ζ1 に対応するＳＳＤの最小値ＳＳＤmin の値と、上記閾値とを比較し、最小値ＳＳＤmin の値が閾値よりも大きい場合には、対応点と最も確からしく対応すると判定した基準画像２４ａの画素とその対応点との視差ζ2 で、視差画像中の視差ζ1 を置換することにより、補正を行う。
【００７２】
ステップ１０８（Ｓ１０８）において、演算処理回路１２４は、補正した視差画像、および、補正した視差画像から得られた対象物２２とカメラＡ１０1 およびカメラＢ１０2 との距離、および、解析の結果として得られた対象物２２の形状を示すデータを、記録装置１２６および／または出力装置１２８に対して出力する。
【００７３】
以上説明したように、本発明に係る距離測定装置１によれば、エリアベースマッチング法を用いたステレオマッチング画像処理により求められる視差の精度を大きく改善することができ、形状解析により鮮明な対象物の画像を得ることができる。
【００７４】
なお、実施例に示した他、例えば、距離測定装置１の動作を、最小値ＳＳＤmin が閾値以上の値を示す視差ζ1 のみでなく、全ての視差ζ1 に対して無条件に補正を行うように変更することができる。
また、視差ζ1 の算出処理と補正処理とを順番（シーケンシャル）に行うと、多くの処理時間が必要になるので、例えば、ＳＳＤの最小値ＳＳＤmin の算出が終了した時点で、視差ζ1 の算出処理と補正処理とを並行して行うように距離測定装置１の動作を変更することができる。
【００７５】
また、補正処理において、最初に検出された対応点を中心画素とする画素ブロックに含まれる画素それぞれを中心とする画素ブロックの全てについて、ＳＳＤを算出すると多くの処理時間が必要となるので、例えば、最初に検出された対応点を中心画素とする画素ブロックの外周の画素を中心画素とする画素ブロックについてのみＳＳＤを算出する、あるいは、最初に検出された対応点を中心画素とする画素ブロックに含まれる画素を、１つおきに中心画素とする画素ブロックについてＳＳＤを算出するように、距離測定装置１の補正処理を変更することができる。
【００７６】
また、実施例における距離測定装置１の各構成部分は例示であって、例えば、同一の機能および性能が実現可能である限り、ソフトウェア的な手段によるかハードウェア的な手段によるかを問わない。
また、対応点の検出処理および視差の補正処理に用いる画素ブロックの構成は例示であり、他の構成の画素ブロック、例えば長方形の画素ブロックを用いて対応点の検出処理および視差の補正処理を行ってもよい。
また、距離測定装置１は、２台のカメラを用いて基準画像２４ａおよび参照画像２４ｂを得るように構成されているが、さらに多くのカメラを用いて、これらのカメラの任意の２台から基準画像２４ａおよび参照画像２４ｂを得たり、あるいは、１台のカメラを移動させて基準画像２４ａおよび参照画像２４ｂを得たりするように距離測定装置１の構成を変更することが可能である。
【００７７】
【発明の効果】
以上説明したように本発明によれば、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができる。
また、本発明によれば、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することにより、対象物の正確な距離および形状を計測することができる。
また、本発明によれば、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができ、対象物の正確な距離および形状を計測することができる。
【図面の簡単な説明】
【図１】（Ａ）〜（Ｃ）は、ステレオ画像処理を示す図である。
【図２】（Ａ），（Ｂ）は、背景の前方に置かれた対象物をカメラＡおよびカメラＢ１で撮影して得られる基準画像および参照画像を示す図である。
【図３】エリアベースマッチング法による対応点の誤検出を例示する図である。
【図４】本発明に係る距離測定装置の構成を示す図である。
【図５】（Ａ），（Ｂ）は、本発明に係る距離測定装置（図４）の演算処理回路による視差ζの補正処理を示す図である。
【図６】本発明に係る距離測定装置の動作を示すフローチャートである。
【符号の説明】
１…距離測定装置、１０1 …カメラＡ、１０2 …カメラＢ、１２…距離測定部、１２０…カメラインターフェース回路、１２２…画像メモリ回路、１２４…演算処理回路、１２６…記録装置、１２８…出力装置、２０…背景、２００ａ，２００ｂ…背景の画像、２２…対象物、２２０ａ，２２０ｂ…対象物の画像、２４ａ…基準画像、２４ｂ…参照画像。
【発明の属する技術分野】
本発明は、２台以上のカメラで同一の対象物の基準画像と参照画像とを撮影し、これらの画像の画素それぞれを相互に対応付けて、２台のカメラの対象物に対する視差、および、対象物と２台のカメラとの間の距離を、画素ごとに求める視差測定装置、距離算出装置（いわゆるステレオ画像処理装置）およびこれらの方法に関する。
【０００２】
【従来の技術】
例えば、文献「解説，ビデオレート・ステレオマシン（A Video-rate Stereomachine；金出，木村 著、日本ロボット学会誌 vol.13 No.3, pp.322〜pp.326 1995 ）」には、２箇所以上から同一の対象物を撮影することにより、あるいは、２台以上のカメラで撮影することにより得た複数の画像の間で、互いに対応する画素の間の視差情報を得て、対象物上の各点の距離、あるいは、対象物の形状を計測する、いわゆるステレオ画像処理装置が開示されている。
【０００３】
しかしながら、従来のステレオ画像処理装置を用いると、背景と対象物との位置関係によっては、対象物の輪郭の近傍において複数の画像間で画素の対応付けが不正確になり、画素間の視差情報、対象物の距離および形状を正しく計測できないという問題が生じる。
【０００４】
【発明が解決しようとする課題】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができる視差測定装置を提供することを目的とする。
また、本発明は、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することにより、対象物の正確な距離および形状を計測することができる距離算出装置を提供することを目的とする。
また、本発明は、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができ、対象物の正確な距離および形状を計測することができる視差・距離算出方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明によれば、対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成する第１の画像生成手段と、前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成する第２の画像生成手段と、前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段とを有し、
前記視差補正手段は、前記第１の画素それぞれと前記対応点それぞれとのエリアベースマッチング法に基づく評価関数を参照して対応が確実か否かを評価する確実性評価手段と、前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する補正手段とを有し、
前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
視差算出装置が提供される。
【０００６】
好ましくは、前記視差補正手段は、前記算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する。
【０００７】
また好ましくは、前記対応点検出手段は、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記視差算出手段の前記補正手段は、前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記エリアベースマッチング法による評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する。
【０００８】
また本発明によれば、対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成する第１の画像生成手段と、前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成する第２の画像生成手段と、前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、前記算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段と、前記補正した前記第１の視差と、前記第１の画像生成手段および前記第２の画像生成手段の撮影位置または撮影方向の関係とに基づいて、前記第１の画像生成手段および前記第２の画像生成手段と、前記対象物との間の距離を算出する距離算出手段とを有し、
前記視差補正手段は、前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かをエリアベースマッチング法に基づく評価関数を用いて評価する確実性評価手段と、前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する補正手段とを有し、
前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
距離算出装置が提供される。
【０００９】
本発明によれば、対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成し、
前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成し、
前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出し、
前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出し、
前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正し、
前記補正した前記第１の視差と、前記第１の画像および前記第２の画像の撮影位置とに基づいて、前記第１の画像および前記第２の画像の撮影位置と、前記対象物との間の距離を算出し、
前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成し、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
視差・距離算出方法が提供される。
【００１０】
本発明に係る視差測定装置において、第１の画像生成手段および第２の画像生成手段は、異なる位置に配置され、同一の対象物を撮影する２台以上のカメラ、あるいは、移動して異なる位置から同一の対象物を撮影する１台のカメラであって、異なる位置それぞれから対象物を撮影して、同一対象物の第１の画像（基準画像）および第２の画像（参照画像）を生成する。
【００１１】
対応点検出手段は、基準画像の画素（基準画素）それぞれと、参照画像の画素（参照画素）それぞれとを対応付けて、基準画素それぞれに対応する参照画素（対応点）を検出する。
【００１２】
具体的には、対応点検出手段は、例えば、第ｋ番目の基準画素の位置と、第１の画像生成手段および第２の画像生成手段の位置関係とから与えられ、第ｋ番目の基準画素と対応する参照画素が存在する範囲を示す仮想的な直線（エピポーラライン；epipolar line ）上の参照画素を中心画素とするｎ×ｎ構成の画素ブロック（第１の画素ブロック）と、第ｋ番目の基準画素を中心画素とするｎ×ｎ構成の画素ブロックとの間で、対応する画素間の差分の２乗値の総和〔ＳＳＤ(sum of squared differences)〕を順次、算出し、第ｋ番目の基準画素に対する対応点として、ＳＳＤが最も小さい値を示す参照画素を検出する。
【００１３】
つまり、対応点検出手段は、例えば、ＳＳＤを評価関数として用い、第ｋ番目の基準画素を中心画素とする画素ブロックに含まれる画素それぞれの画素値と、エピポーラライン上の参照画素を中心画素とする同一構成の画素ブロックに含まれる画素値とを評価関数に代入し、第ｋ番目の基準画素の対応点として、画素ブロック間の差分（差分の自乗和）が最小となり、相関性が最も高いと考えられる参照画素を検出する。なお、この評価関数としてのＳＳＤの値は、対応点の検出の確からしさ（確実性）をも示している。
【００１４】
第１の視差算出手段は、第ｋ番目の基準画素とその対応点との視差（第１の視差）を、例えば画素単位で算出する。
【００１５】
確実性評価手段は、例えば、ＳＳＤの値が所定の閾値以下となる対応点の検出を確実であり、第ｋ番目の基準画素と対応点とは確実に対応すると評価し、ＳＳＤの値が所定の閾値以下とならない対応点の検出は確実でなく、第ｋ番目の基準画素と対応点との対応は不確実であると評価する。
【００１６】
視差補正手段は、対応点の検出が確実でない場合には、例えば、第ｋ番目の基準画素を中心画素とするｍ×ｍ構成（ｍ≧ｎ）の画素ブロック（第２の画素ブロック）に含まれる画素それぞれと、これらの画素の対応点のＳＳＤの内、最小のＳＳＤを示す基準画素と対応点との間の視差で、第ｋ番目の基準画素とその対応点との間の視差を置換することにより補正を行い、第２の視差を算出する。
【００１７】
つまり、換言すると、第２の視差算出手段は、対応点の検出が確実でない場合には、例えば、第ｋ番目の基準画素の近傍の基準画素を中心画素とするｎ×ｎ構成の基準画像内の画素ブロックそれぞれと、第ｋ番目の基準画素の近傍の画素を中心画素とするｎ×ｎ構成の画素ブロックに含まれる基準画素それぞれの対応点を中心とするｎ×ｎ構成の参照画像内の画素ブロックそれぞれとの相関性を判定し、第ｋ番目の基準画素とその対応点との間の視差を、最も高い相関性を示す画素ブロックの中心画素の基準画素と、最も高い相関性を示す画素ブロックの中心画素の対応点と間の視差で置き換えて、第ｋ番目の基準画素とその対応点との間の視差（第１の視差）を補正し、第２の視差を生成する。
【００１８】
このように、第２の視差算出手段が、対応が確実でない基準画素および対応点についてのみ視差の補正を行うようにすることにより、無条件に視差を補正する場合に比べて、本発明に係る視差算出装置全体として、視差の算出に要する演算量の増加を抑制することができる。
また、第ｋ番目の基準画素とその対応点との間の視差を、第ｋ番目の基準画素の近傍の基準画素と、この第ｋ番目の基準画素の近傍の基準画素の対応点との視差で置き換えることは、例えば、背景と対象物の境界（エッジ）部分を避けて視差を検出することを意味し、エッジ等の部分で生じやすい視差の誤差を少なくする。
【００１９】
また、本発明に係る距離算出装置は、対象物を撮影して第１の画像を生成する第１の画像生成手段と、前記対象物を撮影して第２の画像を生成する第２の画像生成手段と、生成した前記第１の画像の画素（第１の画素）それぞれと、生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、前記第１の画素それぞれと、検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段と、補正した前記第１の視差と、前記第１の画像生成手段および前記第２の画像生成手段の位置関係とに基づいて、前記第１の画像生成手段および前記第２の画像生成手段と、前記対象物との間の距離を算出する距離算出手段とを有する。
【００２０】
好適には、前記視差補正手段は、算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する。
【００２１】
好適には、前記視差補正手段は、前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かを評価する確実性評価手段と、算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する補正手段とを有する。
【００２２】
好適には、前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、所定の評価関数を用いて前記対応点を検出し、前記視差補正手段の前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記所定の評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する。
【００２３】
好適には、前記対応点検出手段は、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記所定の評価関数を用いて前記対応点を検出し、前記視差算出手段の前記補正手段は、前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する。
【００２４】
また、本発明に係る視差・距離算出方法は、対象物を撮影して第１の画像を生成し、前記対象物を撮影して第２の画像を生成し、生成した前記第１の画像の画素（第１の画素）それぞれと、生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出し、前記第１の画素それぞれと、検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出し、前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正し、補正した前記第１の視差と、前記第１の画像および前記第２の画像の撮影位置とに基づいて、前記第１の画像および前記第２の画像の撮影位置と、前記対象物との間の距離を算出する。
【００２５】
好適には、算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する。
【００２６】
好適には、前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かを評価し、算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、第２の視差を生成する。
【００２７】
好適には、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、所定の評価関数を用いて前記対応点を検出し、前記第１の画素と、この第１の画素の対応点とに対する前記所定の評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する。
【００２８】
好適には、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記所定の評価関数を用いて前記対応点を検出し、前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する。
【００２９】
【発明の実施の形態】
ステレオ画像処理
本発明の実施例の理解を容易にするために、まず、図１（Ａ）〜（Ｃ）を参照して、ステレオ画像処理を説明する。
図１（Ａ）〜（Ｃ）は、ステレオ画像処理を示す図である。
【００３０】
上述のように、ステレオ画像処理は、２つ以上の方向からカメラで同一対象物を撮影して得られる複数の画像間の画素同士を対応付け、対応する画素間の視差情報を、カメラから対象物までの距離情報に変換し、対象物の距離および形状またはこれらのいずれかを測定する。
【００３１】
つまり、例えば、図１（Ａ）に示すように、２台のカメラＡ１０1 およびカメラＢ１０2 で対象物２２を撮影すると、図１（Ｂ）に示すように、カメラＡ１０1 からは対象物の画像２２０ａを含む画像２４ａ（基準画像）が得られ、カメラＢ１０2 からは対象物の画像２２０ｂを含む画像（参照画像）２４ｂが得られ、対象物の画像２２０ａ，２２０ｂには、対象物２２上の同一の部分を撮影した画素（対応点ｋ，ｋ’）が含まれる。
【００３２】
基準画像２４ａおよび参照画像２４ｂの間の対応点を検出すると、図１（Ｃ）に示すように、これらの対応点ｋ，ｋ’間の視差を画素単位に求めることができる。
このように求めた対応点ｋ，ｋ’間の視差と、２台のカメラＡ，Ｂ１０1 ，１０2 の角度（カメラアングル）および距離等とに基づいて、３角測量の原理を応用して、対象物２２上の各点とカメラＡ１０1 およびカメラＢ１０2 との間の距離を測定することができ、さらに、対象物２２上の各点までの距離から、対象物２２の形状を解析することができる。
【００３３】
エリアベースマッチング
ステレオ画像処理において、基準画像２４ａの対象物の画像２２０ａ上の点（画素）ｋと、参照画像２４ｂの対象物の画像２２０ｂ上の対応する画素（対応点）ｋ’とを対応付ける方法として、例えば、エリアベースマッチング法が採られる。
【００３４】
エリアベースマッチング法は、カメラＡ１０1 およびカメラＡ１０1 の距離および角度（位置関係）と、基準画像２４ａの対象物の画像２２０ａ上の画素の位置とに基づいて、例えば、図１（Ｂ）に破線で示すように、参照画像２４ｂ内に仮想的に引かれる直線であって、画素ｋの参照画像２４ｂにおける対応点ｋ’が存在する範囲を示すエピポーラライン上の画素それぞれを中心画素として、ｎ×ｎ個（例えば、ｎ＝５）の画素を含む参照画像２４ｂの正方形の画素ブロックと、画素ｋを中心画素として、ｎ×ｎ個の画素を含む基準画像２４ａの正方形の画素ブロックとの相関性を、所定の評価関数を用いて判定し、最も高い相関性を示す参照画像２４ｂの画素ブロックの中心画素を、画素ｋの対応点ｋ’として検出する。
【００３５】
なお、対称点の検出に、ｎ×ｎ構成の画素ブロックを用いる理由は、ノイズの影響を軽減し、画素ｋの周囲の画素のパターンの特徴と、参照画像２４ｂの対象点ｋ’の周囲の画素のパターンの特徴との相関性を明確化して判断することにより、対応点の検出の確実を期すためであり、特に、変化が少ない基準画像２４ａおよび参照画像２４ｂに対しては、大きい画素ブロックを用いれば用いるほど対応点の検出の確実性が増す。
【００３６】
エリアベースマッチング法において、画素ブロック間の相関性を評価する評価関数としては、例えば、２つの画素ブロックの対応する画素同士の画素データの差分値の２乗値の総和（ＳＳＤ；式１）、２つの画素ブロックの対応する画素同士の画素データの差分値の絶対値の総和、あるいは、正規化された相互相関(normalized cross correlation)が用いられる。以下、エリアベースマッチング法の評価関数として、ＳＳＤが用いられる場合を例に説明する。
【００３７】
【数１】
ただし、式１において、Ｉ（ｘ，ｙ）は、基準画像２４ａ内の座標（ｘ，ｙ）の画素の画素データを示し、Ｊ（ｘ，ｙ）は参照画像２４ｂ内の座標（ｘ，ｙ）の画素の画素データを示し、ηはｘ方向の視差を示し、ξはｙ方向の視差を示し、ｗは各画素ブロックを示す。
【００３９】
つまり、ステレオ画像処理は、エリアベースマッチング法により、参照画像２４ａ内の画素ｋに対応する参照画像２４ｂ内のエピポーララインに沿って、視差（η，ξ）を変化させながら、基準画像２４ａおよび参照画像２４ｂの画素ブロック間のＳＳＤを順次、求め、ＳＳＤが最小値ＳＳＤmin となる参照画像２４ｂの画素を、画素ｋの対応点ｋ’として検出し、さらに、検出した対応点ｋ’の視差（ηmin ，ξmin ）を、式２に代入して視差ζを算出する。
カメラＡ１０1 およびカメラＢ１０2 から対象物２２上の各点までの距離は、上述のように、求めた視差ζとカメラＡ１０1 およびカメラＢ１０2 の位置関係から算出することができる。
【００４０】
【数２】
評価関数（ＳＳＤ）の値
なお、ＳＳＤの値は、基準画像２４ａおよび参照画像２４ｂの画素ブロックに含まれ、互いに対応する画素の画素データの値（画素値）の差が少なければ少ないほど小さくなる。
【００４２】
従って、ＳＳＤの最小値ＳＳＤmin の値は、基準画像２４ａの画素ｋの参照画像２４ｂにおける対応点ｋ’の検出の確実性に対応し、最小値ＳＳＤmin の値が小さければ小さいほど、画素ｋと対応点ｋ’の対応が正しい可能性が増し、検出が確実であることを示し、逆に、最小値ＳＳＤmin の値が大きければ大きいほど、画素ｋと対応点ｋ’の対応が正しくない可能性が増し、検出が不確実であることを示す。
【００４３】
エリアベースマッチング法の問題点
次に、図２および図３を参照して、エリアベースマッチング法の問題点を説明する。
図２（Ａ），（Ｂ）は、背景２０の前方に置かれた対象物２２をカメラＡ１０1 およびカメラＢ１０2 で撮影して得られる基準画像２４ａおよび参照画像２４ｂを示す図である。
図３は、エリアベースマッチング法による対応点の誤検出を例示する図である。
【００４４】
例えば、図２（Ａ）に示したように、背景２０に前置された対象物２２をカメラＡ１０1 およびカメラＢ１０2 で撮影して得られた、図２（Ｂ）に示す基準画像２４ａおよび参照画像２４ｂに対して、エリアベースマッチング法を用いて対応点の検出処理を行った場合、図３に示す基準画像２４ａの対象物２２と背景の境界（エッジ）部分の画素ｋの参照画像２４ｂにおける対応点ｋ’を検出する場合、誤検出が生じやすくなることがある。
【００４５】
例えば、画素ｋと対応点ｋ’の間の視差（η，ξ）が非常に大きい場合、図３（ａ）に示すように、カメラＡ１０1 が撮影した基準画像２４ａにおいて、対象物の画像２２０ａに接した背景の画像２００ａの画素ｋの参照画像２４ｂにおける背景の画像２００ｂの本来の対応点ｋ’が、カメラＢ１０2 が撮影した参照画像２４ｂにおいては、図３（ｃ）に示すように、対象物の画像２２０ａから離れた位置にある場合がある。
【００４６】
このような場合、図３（ｂ）に示すように、基準画像２４ａの画素ｋを中心画素とし、一方は対象物の画像２２０ａに含まれ、他方は背景の画像２００ａに含まれるｎ×ｎ構成（以下、ｎ＝５の場合を例に説明を行う）の画素ブロックの２つの領域の画素それぞれの本来の対応点は、参照画像２４ｂにおいては、図３（ｄ）に示すように、離れた位置にあり、視差（η，ξ）が大きく異なる２つの領域に分かれてしまうことがある。
【００４７】
さらに、例えば、背景の画像２００ａ，２００ｂの絵柄と、対象物の画像２２０ａ，２２０ｂの絵柄が大きく異なっている場合には、対象物の画像２２０ａ，２２０ｂと背景の画像２００ａ，２００ｂとを含む画素ブロックを用いたＳＳＤの値が、背景の画像２００ａ，２００ｂのみを含む画素ブロックの値よりも小さくなる。従って、図３（ｅ）に示すように、基準画像２４ａの画素ｋの参照画像２４ｂにおける本来の対応点ｋ’ではなく、対象物の画像２２０ｂに接した画素ｋ”が、画素ｋの参照画像２４ｂにおける対応点として誤検出される可能性が高くなる。なお、このような不具合は、背景の画像２００ａ，２００ｂの絵柄と、対象物の画像２２０ａ，２２０ｂの絵柄が大きく異なっている場合のみではなく、背景の画像２００ａ，２００ｂの絵柄と、対象物の画像２２０ａ，２２０ｂの絵柄が異なっている場合に一般的に生じる。
【００４８】
このような対応点の誤検出は、画素ブロックを小さくすることにより軽減することができるが、画素ブロックを小さくすると、エリアベースマッチング法による対応点の検出の確実性が低くなってしまう。
本発明の実施例は、かかる問題に鑑みてなされたものであり、エリアベースマッチング法による対応点の検出の確実性を高く保ちつつ、画像のエッジ部分等で生じうる対応点の誤検出の影響を減じることができるように構成されている。
【００４９】
距離測定装置１の構成
以下、本発明の実施例として示す距離測定装置１の構成を説明する。
図４は、本発明に係る距離測定装置１の構成を示す図である。
【００５０】
図４に示すように、距離測定装置１は、２台のカメラＡ１０1 ，Ｂ１０2 および距離測定部１２から構成され、距離測定部１２は、カメラインターフェース（カメラＩＦ）回路１２０、画像メモリ回路１２２、演算処理回路（ＣＰＵ）１２４、記録装置（ＨＤＤ）１２６および出力装置１２８から構成される。
【００５１】
距離測定装置１は、これらの構成部分により、カメラＡ１０1 ，Ｂ１０2 により対象物２２を撮影して得られた基準画像２４ａの画素および参照画像２４ｂの画素の間の対応をとり、対応をとった画素間の視差ζを測定し、測定した視差ζに基づいて対象物２２とカメラＡ１０1 ，Ｂ１０2 との間の距離および対象物２２の形状を測定する。
【００５２】
距離測定装置１の構成部分
以下、距離測定装置１の各構成部分を説明する。
【００５３】
カメラＡ１０ 1 ，カメラＢ１０ 2
カメラＡ１０1 およびカメラＢ１０2 は、例えば、異なる位置に固定された２台以上のＣＣＤビデオカメラ、あるいは、移動可能な１台以上のＣＣＤビデオカメラであって、異なる位置から同一の背景２０および対象物２２（図２）を撮影し、それぞれ基準画像２４ａおよび参照画像２４ｂを生成して距離測定部１２に対して出力する。
【００５４】
カメラインターフェース回路１２０
カメラインターフェース回路１２０は、カメラＡ１０1 およびカメラＢ１０2 から入力された基準画像２４ａおよび参照画像２４ｂを受け入れて、画像メモリ回路１２２に対して出力する。
【００５５】
画像メモリ回路１２２
画像メモリ回路１２２は、カメラインターフェース回路１２０を介して入力された基準画像２４ａおよび参照画像２４ｂを、フレーム単位で記憶し、演算処理回路１２４に対して供給する。
【００５６】
演算処理回路１２４
演算処理回路１２４は、例えば、画像処理用のＤＳＰ、制御用のＣＰＵ、ＲＯＭ、ＲＡＭおよびその他の周辺回路（図示せず）から構成され、距離測定装置１の各構成部分を制御するとともに、基準画像２４ａおよび参照画像２４ｂに対してステレオ画像処理を行い、カメラＡ１０1 およびカメラＢ１０2 に対する対象物２２上の各点の視差ζの測定、カメラＡ１０1 およびカメラＢ１０2 と対象物２２上の各点との距離の測定、および、対象物２２の形状の解析を行い、これらの結果を記録装置１２６に記録し、あるいは、出力装置１２８を介して外部に出力する。
【００５７】
演算処理回路１２４のステレオ画像処理
以下、図５をさらに参照して、演算処理回路１２４によるステレオ画像処理の内容を説明する。
図５（Ａ），（Ｂ）は、本発明に係る距離測定装置１（図４）の演算処理回路１２４による視差ζの補正処理を示す図である。
【００５８】
視差の算出
まず、演算処理回路１２４は、基準画像２４ａの各画素と、参照画像２４ｂの各画素とを、例えば上述したように、式１に示したＳＳＤを評価関数として用いてエリアベースマッチング法により対応付け、式２に示した視差ζ1 （第１の視差）を算出し、基準画像２４ａまたは参照画像２４ｂの対応する画素と対応付けて視差画像を生成し、演算処理回路１２４内のＲＡＭに記憶する。
【００５９】
対応点の検出の確実性の評価
次に、演算処理回路１２４は、基準画像２４ａの画素ｋと参照画像２４ｂの対応点ｋ’を検出した際のＳＳＤの最小値ＳＳＤmin が、所定の閾値以下である場合に、基準画像２４ａの画素ｋと対応点ｋ’との対応が確実であると評価し、所定の閾値以下でない場合に、基準画像２４ａの画素ｋと対応点ｋ’との対応が不確実であると評価する。なお、対応点の検出に用いられる閾値は、例えば、実験等により最適な値に設定する。
【００６０】
基準画像２４ａの画素ｋの参照画像２４ｂにおける対応点ｋ’の検出が確実であると判定した場合には、演算処理回路１２４は、算出した第１の視差ζ1 をそのまま正しい視差ζとし、基準画像２４ａの画素ｋの参照画像２４ｂにおける対応点ｋ’の検出が確実でないと判定した場合には、演算処理回路１２４は、以下のような視差ζの補正を行う。
【００６１】
視差の補正
演算処理回路１２４は、図５（Ａ）に示すように、対応が確実でないと判定した基準画素ｋを中心画素とし、対応点の検出に用いたｎ×ｎ構成の画素ブロックを含み、この画素ブロックよりも大きいｍ×ｍ構成（ｍ≧ｎ；但し、ｍ＝ｎの場合を例示）の画素ブロックに含まれる基準画素それぞれと、このｍ×ｍ構成の画素ブロックに含まれる基準画素それぞれとの間のＳＳＤの内、最も小さいＳＳＤの値（ＳＳＤmin ）を示す基準画素と、その対応点とを検出する。
【００６２】
つまり、演算処理回路１２４は、基準画像２４ａの基準画素ｋを中心画素とするｍ×ｍ構成の画素ブロックに含まれるｍ×ｍ個の基準画素それぞれを中心画素とするｎ×ｎ構成の基準画像２４ａ内の画素ブロックそれぞれと、基準画像２４ａの基準画素ｋを中心画素するｍ×ｍ構成の画素ブロックに含まれるｍ×ｍ個の基準画素それぞれの対応点を中心画素とするｎ×ｎ構成の参照画像２４ｂ内の画素ブロックそれぞれとの間のｍ×ｍ個のＳＳＤの値の内、最も小さいＳＳＤの値（ＳＳＤmin ）を示す基準画像２４ａの基準画素が、その対応点と最も確からしく対応すると判定する。
【００６３】
さらに、演算処理回路１２４は、対応点と最も確からしく対応すると判定した基準画像２４ａの画素とその対応点との視差で、視差画像中の画素ｋとその対応点ｋ”との第１の視差ζ1 を置換して、視差ζを補正する。
【００６４】
演算処理回路１２４は、以上のようにして得られた視差ζの値それぞれを、基準画像２４ａまたは参照画像２４ｂの画素それぞれに対応付けた視差画像を生成し、さらに、視差画像に基づいてカメラＡ１０1 およびカメラＢ１０2 と対象物２２上の各点との距離の測定、および／または、対象物２２の形状の解析を行って、これらの結果を記録装置１２６に記憶し、あるいは、出力装置１２８に対して出力する。
【００６５】
視差の補正の意味
このように、基準画像２４ａの画素ｋと、その対応点として最初に検出された参照画像２４ｂの対応点ｋ”との間の第１の視差ζ1 を、基準画像２４ａの画素ｋの近傍において、ＳＳＤの最も小さい値を与える基準画像２４ａの画素とその対応点ｋ’との間の視差に置き換えるということは、例えば、図３（ｂ），（ｄ）に示したように、対象物２２と背景２０の境界（エッジ）部分で誤検出された対応点ｋ”を捨て、図５（Ｂ）に例示するように、対応点の誤検出が生じやすいエッジ部分を避けて、背景の画像２００ａの画素と対象物の画像２２０ａの画素とが混在しない画素ブロックを用いて、最も確からしい対応点との間の視差を求めることを意味する。
【００６６】
従って、基準画像２４ａの画素ｋと対応点ｋ”との間の第１の視差ζ1 の値よりも、基準画像２４ａの画素ｋと対応点ｋ’との間の第２の視差ζ2 の値の方が、より正確であると考えることができる。
【００６７】
距離測定装置１の動作
以下、図６をさらに参照して、距離測定装置１の動作を説明する。
図６は、本発明に係る距離測定装置１の動作を示すフローチャートである。
【００６８】
図６に示すように、ステップ１００（Ｓ１００）において、距離測定装置１の距離測定部１２は、カメラＡ１０1 およびカメラＢ１０2 から複数（２つ）の画像（基準画像２４ａおよび参照画像２４ｂ）を取り込む。
【００６９】
ステップ１０２（Ｓ１０２）において、距離測定部１２の演算処理回路１２４は、基準画像２４ａの画素それぞれを中心画素とするｎ×ｎ構成の画素ブロックと、そのエピポーラライン上の参照画像２４ｂの画素それぞれを中心画素とするｎ×ｎ構成の画素ブロックとの間のＳＳＤを算出し、基準画像２４ａの画素と最小値ＳＳＤmin を与える参照画像２４ｂの画素ブロックの中心画素とを対応付けて対応点の検出を行う。つまり、演算処理回路１２４は、基準画像２４ａの画素と参照画像２４ｂの画素との間で、エリアベースマッチング法による対応点の検出を行う。
【００７０】
ステップ１０４（Ｓ１０４）において、演算処理回路１２４は、基準画像２４ａの画素それぞれと、Ｓ１０２の処理において検出された参照画像２４ｂの対応点との間の第１の視差ζ1 を算出し、基準画像２４ａまたは参照画像２４ｂの画素それぞれと対応付けて視差画像を生成する。
【００７１】
ステップ１０６（Ｓ１０６）において、演算処理回路１２４は、算出した視差ζ1 に対応するＳＳＤの最小値ＳＳＤmin の値と、上記閾値とを比較し、最小値ＳＳＤmin の値が閾値よりも大きい場合には、対応点と最も確からしく対応すると判定した基準画像２４ａの画素とその対応点との視差ζ2 で、視差画像中の視差ζ1 を置換することにより、補正を行う。
【００７２】
ステップ１０８（Ｓ１０８）において、演算処理回路１２４は、補正した視差画像、および、補正した視差画像から得られた対象物２２とカメラＡ１０1 およびカメラＢ１０2 との距離、および、解析の結果として得られた対象物２２の形状を示すデータを、記録装置１２６および／または出力装置１２８に対して出力する。
【００７３】
以上説明したように、本発明に係る距離測定装置１によれば、エリアベースマッチング法を用いたステレオマッチング画像処理により求められる視差の精度を大きく改善することができ、形状解析により鮮明な対象物の画像を得ることができる。
【００７４】
なお、実施例に示した他、例えば、距離測定装置１の動作を、最小値ＳＳＤmin が閾値以上の値を示す視差ζ1 のみでなく、全ての視差ζ1 に対して無条件に補正を行うように変更することができる。
また、視差ζ1 の算出処理と補正処理とを順番（シーケンシャル）に行うと、多くの処理時間が必要になるので、例えば、ＳＳＤの最小値ＳＳＤmin の算出が終了した時点で、視差ζ1 の算出処理と補正処理とを並行して行うように距離測定装置１の動作を変更することができる。
【００７５】
また、補正処理において、最初に検出された対応点を中心画素とする画素ブロックに含まれる画素それぞれを中心とする画素ブロックの全てについて、ＳＳＤを算出すると多くの処理時間が必要となるので、例えば、最初に検出された対応点を中心画素とする画素ブロックの外周の画素を中心画素とする画素ブロックについてのみＳＳＤを算出する、あるいは、最初に検出された対応点を中心画素とする画素ブロックに含まれる画素を、１つおきに中心画素とする画素ブロックについてＳＳＤを算出するように、距離測定装置１の補正処理を変更することができる。
【００７６】
また、実施例における距離測定装置１の各構成部分は例示であって、例えば、同一の機能および性能が実現可能である限り、ソフトウェア的な手段によるかハードウェア的な手段によるかを問わない。
また、対応点の検出処理および視差の補正処理に用いる画素ブロックの構成は例示であり、他の構成の画素ブロック、例えば長方形の画素ブロックを用いて対応点の検出処理および視差の補正処理を行ってもよい。
また、距離測定装置１は、２台のカメラを用いて基準画像２４ａおよび参照画像２４ｂを得るように構成されているが、さらに多くのカメラを用いて、これらのカメラの任意の２台から基準画像２４ａおよび参照画像２４ｂを得たり、あるいは、１台のカメラを移動させて基準画像２４ａおよび参照画像２４ｂを得たりするように距離測定装置１の構成を変更することが可能である。
【００７７】
【発明の効果】
以上説明したように本発明によれば、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができる。
また、本発明によれば、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することにより、対象物の正確な距離および形状を計測することができる。
また、本発明によれば、対象物の複数の画像から得られた画素間の視差情報を確からしい値に補正することができ、対象物の正確な距離および形状を計測することができる。
【図面の簡単な説明】
【図１】（Ａ）〜（Ｃ）は、ステレオ画像処理を示す図である。
【図２】（Ａ），（Ｂ）は、背景の前方に置かれた対象物をカメラＡおよびカメラＢ１で撮影して得られる基準画像および参照画像を示す図である。
【図３】エリアベースマッチング法による対応点の誤検出を例示する図である。
【図４】本発明に係る距離測定装置の構成を示す図である。
【図５】（Ａ），（Ｂ）は、本発明に係る距離測定装置（図４）の演算処理回路による視差ζの補正処理を示す図である。
【図６】本発明に係る距離測定装置の動作を示すフローチャートである。
【符号の説明】
１…距離測定装置、１０1 …カメラＡ、１０2 …カメラＢ、１２…距離測定部、１２０…カメラインターフェース回路、１２２…画像メモリ回路、１２４…演算処理回路、１２６…記録装置、１２８…出力装置、２０…背景、２００ａ，２００ｂ…背景の画像、２２…対象物、２２０ａ，２２０ｂ…対象物の画像、２４ａ…基準画像、２４ｂ…参照画像。
Claims (5)
- 対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成する第１の画像生成手段と、
前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成する第２の画像生成手段と、
前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、
前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、
前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段と
を有し、
前記視差補正手段は、
前記第１の画素それぞれと前記対応点それぞれとのエリアベースマッチング法に基づく評価関数を参照して対応が確実か否かを評価する確実性評価手段と、
前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する補正手段と
を有し、
前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
視差算出装置。 - 前記視差補正手段は、
前記算出した前記第１の視差それぞれを、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する、
請求項１に記載の視差算出装置。 - 前記対応点検出手段は、前記第１の画素それぞれを中心とする第１の画素ブロックに含まれる第１の画素それぞれの画素値と、前記第１の画素それぞれの対応点である可能性を有する範囲の前記第２の画素それぞれを中心とする前記第１の画素ブロックに含まれる第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記視差算出手段の前記補正手段は、
前記第１の画素それぞれを中心とする前記第１の画素ブロックを含む第２の画素ブロックに含まれる前記第１の画素と、前記第２の画素ブロックに含まれる前記第１の画素の対応点とに対する前記エリアベースマッチング法による評価関数の値に基づいて、対応点との対応が最も確実な前記第１の画素を検出し、
対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の第１の視差で置換して補正し、前記第２の視差を生成する、
請求項１に記載の視差算出装置。 - 対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成する第１の画像生成手段と、
前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成する第２の画像生成手段と、
前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出する対応点検出手段と、
前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出する第１の視差算出手段と、
前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、前記算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正する視差補正手段と、
前記補正した前記第１の視差と、前記第１の画像生成手段および前記第２の画像生成手段の撮影位置または撮影方向の関係とに基づいて、前記第１の画像生成手段および前記第２の画像生成手段と、前記対象物との間の距離を算出する距離算出手段と
を有し、
前記視差補正手段は、
前記第１の画素それぞれと前記対応点それぞれとの対応が確実か否かをエリアベースマッチング法に基づく評価関数を用いて評価する確実性評価手段と、
前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成する補正手段と
を有し、
前記対応点検出手段は、前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、前記エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記確実性評価手段は、前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
距離算出装置。 - 対象物を第１方向からまたは第１の位置で撮影して第１の画像を生成し、
前記対象物を第２方向からまたは第２の位置で撮影して第２の画像を生成し、
前記生成した前記第１の画像の画素（第１の画素）それぞれと、前記生成した前記第２の画像の画素（第２の画素）それぞれとを対応付けて、前記第１の画素それぞれと対応する前記第２の画素（対応点）を検出し、
前記第１の画素それぞれと、前記検出したこれら第１の画素それぞれの前記対応点との間の第１の視差を算出し、
前記第１の画素それぞれを含む所定の範囲内の第１の画素の内、対応点との対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の前記第１の視差に基づいて、算出した前記第１の画素それぞれと前記対応点との間の前記第１の視差それぞれを補正し、
前記補正した前記第１の視差と、前記第１の画像および前記第２の画像の撮影位置とに基づいて、前記第１の画像および前記第２の画像の撮影位置と、前記対象物との間の距離を算出し、
前記算出した前記第１の視差の内、対応が確実でない前記第１の画素と前記対応点との間の前記第１の視差を、前記対応が最も確実な前記第１の画素と、この対応が最も確実な第１の画素の前記対応点との間の視差で置換して補正し、第２の視差を生成し、
前記第１の画素それぞれの画素値と、前記第１の画素それぞれに対応する可能性を有する範囲の前記第２の画素それぞれの画素値とに対して、エリアベースマッチング法に基づく評価関数を用いて前記対応点を検出し、
前記第１の画素と、この第１の画素の対応点とに対する前記エリアベースマッチング法に基づく評価関数の値に基づいて、前記第１の画素と、この第１の画素の対応点との対応が確実か否かを評価する、
視差・距離算出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09933497A JP3864491B2 (ja) | 1997-04-16 | 1997-04-16 | 視差算出装置、距離算出装置およびこれらの方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09933497A JP3864491B2 (ja) | 1997-04-16 | 1997-04-16 | 視差算出装置、距離算出装置およびこれらの方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10289316A JPH10289316A (ja) | 1998-10-27 |
| JP3864491B2 true JP3864491B2 (ja) | 2006-12-27 |
Family
ID=14244738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09933497A Expired - Fee Related JP3864491B2 (ja) | 1997-04-16 | 1997-04-16 | 視差算出装置、距離算出装置およびこれらの方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3864491B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7262799B2 (en) | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
| JP4554316B2 (ja) * | 2004-09-24 | 2010-09-29 | 富士重工業株式会社 | ステレオ画像処理装置 |
| US8023016B2 (en) | 2004-12-22 | 2011-09-20 | Panasonic Corporation | Imaging device and manufacturing method thereof |
| WO2017108413A1 (en) * | 2015-12-21 | 2017-06-29 | Koninklijke Philips N.V. | Processing a depth map for an image |
| WO2018023333A1 (en) | 2016-08-01 | 2018-02-08 | SZ DJI Technology Co., Ltd. | System and method for obstacle avoidance |
-
1997
- 1997-04-16 JP JP09933497A patent/JP3864491B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10289316A (ja) | 1998-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6865289B1 (en) | Detection and removal of image occlusion errors | |
| JP4887374B2 (ja) | ステレオビジョンにおいて散乱視差場を求める方法 | |
| TWI393980B (zh) | The method of calculating the depth of field and its method and the method of calculating the blurred state of the image | |
| US8538198B2 (en) | Method and apparatus for determining misalignment | |
| JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| KR20140000195A (ko) | 입체 카메라를 위한 자동초점 | |
| US6519358B1 (en) | Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media | |
| JP2007278845A (ja) | 画像処理装置及びその処理方法 | |
| CN110084133B (zh) | 障碍物检测方法、装置、车辆、计算机设备和存储介质 | |
| JPWO2011155161A1 (ja) | 画像処理装置および画像処理方法 | |
| JP4055998B2 (ja) | 距離検出装置、距離検出方法、及び距離検出プログラム | |
| WO2012137621A1 (ja) | 画像処理方法及び装置 | |
| US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
| JP2006090896A (ja) | ステレオ画像処理装置 | |
| US20080226159A1 (en) | Method and System For Calculating Depth Information of Object in Image | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| JP3864491B2 (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| JP2000121319A5 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP6867487B2 (ja) | 撮像装置 | |
| JPH10289315A (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| JP2009104366A (ja) | ステレオ画像処理方法 | |
| CN112233164B (zh) | 一种视差图错误点识别与校正方法 | |
| JP2807137B2 (ja) | 立体形状検出方法 | |
| CN112262411B (zh) | 图像关联方法、***和装置 | |
| TW202141351A (zh) | 影像檢查裝置以及影像檢查方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060522 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060811 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060925 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |